JP2022547596A - チャットボットシステムにおける無関係な発話の検出 - Google Patents

Abstract

入力発話がマスタボットに関連付けられたスキルボットのセットと無関係であるかどうかを判断するための技術を説明する。いくつかの実施形態では、本明細書に記載のシステムは、トレーニングシステムおよびマスタボットを含む。トレーニングシステムは、マスタボットの分類器をトレーニングする。トレーニングは、スキルボットに関連付けられたトレーニング発話にアクセスすることと、トレーニング発話からトレーニング特徴ベクトルを生成することとを含む。トレーニングはさらに、トレーニング特徴ベクトルの複数のセット表現を生成することを含み、各セット表現はトレーニング特徴ベクトルのサブセットに対応しており、トレーニングはさらに、当該複数のセット表現で分類器を構成することを含む。マスタボットは、入力発話にアクセスするとともに、入力特徴ベクトルを生成する。マスタボットは、分類器を用いて、入力特徴ベクトルを複数のセット表現と比較することで、入力特徴が範囲外にありこのためスキルボットによって対処不可能であるかどうかを判断する。

Description

関連出願の相互参照
本願は、米国特許法第１１９条（ｅ）に準拠して、２０１９年９月１２日出願の「チャットボットシステムにおける無関係な発話の検出（Detecting Unrelated Utterances in a Chatbot System）」と題された米国仮出願第６２／８９９，７００号の利益および優先権を主張するものであって、その内容があらゆる目的のために引用により本明細書に援用されている。

背景
チャットボットは、人のユーザとの会話のためのインターフェイスを提供する人工知能ベースのソフトウェアアプリケーションまたはデバイスである。チャットボットは、会話中に提供されるユーザ入力に応答してさまざまなタスクを実行するようにプログラムすることができる。ユーザ入力は、たとえば、音声入力およびテキスト入力を含むさまざまな形式で供給することができる。このため、自然言語理解、音声テキスト化、および他の言語処理技術は、チャットボットによって実行される処理の一部として採用され得る。いくつかのコンピューティング環境では、ユーザと対話するために複数のチャットボットが利用可能であり、各チャットボットはそれぞれ異なるセットのタスクに対処する。

概要
本明細書に記載の技術は、ユーザからの入力発話が、マスタボットにとって利用可能な１つ以上のスキルボットのセット内のチャットボットとも称されるいずれのスキルボットにも関係しないことを判断するためのものである。いくつかの実施形態では、マスタボットは、入力発話を評価し得るとともに、当該入力発話がスキルボットと無関係であると判断し得るか、または入力発話を適切なスキルボットへとルーティングし得る。

いくつかの実施形態では、本明細書に記載のシステムは、トレーニングシステムおよびマスタボットを含む。トレーニングシステムは、分類器モデルをトレーニングするように構成される。分類器モデルをトレーニングすることは、スキルボットに関連付けられたトレーニング発話にアクセスすることを含み、当該トレーニング発話は、スキルボットの各スキルボットに関連付けられたそれぞれのトレーニング発話を含む。各スキルボットは、ユーザとの対話を提供するように構成される。トレーニングすることはさらに、トレーニング発話からトレーニング特徴ベクトルを生成することを含む。トレーニング特徴ベクトルは、各スキルボットに関連付けられたそれぞれのトレーニング特徴ベクトルを含む。トレーニングすることはさらに、トレーニング特徴ベクトルの複数のセット表現を生成することを含む。複数のセット表現の各セット表現は、トレーニング特徴ベクトルのサブセットに対応する。トレーニングすることはさらに、入力特徴ベクトルを複数のセット表現と比較するように分類器モデルを構成することを含む。マスタボットは、ユーザ入力としての入力発話にアクセスするとともに入力発話から入力特徴ベクトルを生成するように構成される。マスタボットはさらに、分類器モデルを用いて入力特徴ベクトルをトレーニング特徴ベクトルの複数のセット表現と比較するとともに、入力特徴ベクトルが複数のセット表現の範囲外にあることに基づいて、スキルボットによってユーザ入力に対処することができないという指示を出力するように構成される。

付加的または代替的な実施形態においては、本明細書に記載の方法は、コンピュータシステムによって、スキルボットに関連付けられたトレーニング発話にアクセスするステップを含み、当該トレーニング発話は、当該スキルボットの各スキルボットごとにトレーニング発話のそれぞれのサブセットを含む。各スキルボットは、ユーザとの対話を提供するように構成される。当該方法はさらに、当該トレーニング発話からトレーニング特徴ベクトルを生成するステップを含み、当該トレーニング特徴ベクトルは、各トレーニング発話ごとにそれぞれのトレーニング特徴ベクトルを含む。当該方法はさらに、特徴空間におけるクラスタについての重心位置を決定するステップと、当該クラスタの中から当該トレーニング特徴ベクトルが最も近接するそれぞれの重心位置を有するそれぞれのクラスタに各トレーニング特徴ベクトルを割当てるステップとを含む。当該方法はさらに、停止条件が満たされるまで当該クラスタを繰返し修正するステップを含む。当該クラスタを修正するステップは、当該クラスタのカウントを更新されたカウントにまで増加するステップと、当該更新されたカウントに等しい量で当該クラスタについての新しい重心位置を決定するステップと、当該新しい重心位置への近接性に基づいて、当該トレーニング特徴ベクトルを当該クラスタに再割当てするステップとを含む。当該方法はさらに、当該クラスタの境界を決定するステップを含み、当該境界は当該クラスタの各クラスタごとにそれぞれの境界を含む。当該方法はさらに、入力発話にアクセスするステップと、当該入力発話を入力特徴ベクトルに変換するステップと、当該入力特徴ベクトルを当該クラスタの当該境界と比較することによって、当該入力特徴ベクトルが当該クラスタの当該境界の範囲外にあると判断するステップとを含む。加えて、当該方法は、当該入力特徴ベクトルが当該特徴空間内の当該クラスタの範囲外にあることに基づいて、当該スキルボットによって当該入力発話に対処することができないという指示を出力するステップを含む。

さらに付加的または代替的な実施形態においては、本明細書に記載の方法は、コンピュータシステムによって、スキルボットに関連付けられたトレーニング発話にアクセスするステップを含む。当該トレーニング発話は、当該スキルボットの各スキルボットごとにトレーニング発話のそれぞれのサブセットを含む。各スキルボットは、ユーザとの対話を提供するように構成される。当該方法はさらに、当該トレーニング発話からトレーニング特徴ベクトルを生成するステップを含み、当該トレーニング特徴ベクトルは、当該トレーニング発話の各トレーニング発話ごとにそれぞれのトレーニング特徴ベクトルを含み、当該方法はさらに、当該トレーニング発話を会話カテゴリに分割するステップを含む。当該方法はさらに、当該会話カテゴリに対応する合成特徴ベクトルを生成するステップを含む。当該合成特徴ベクトルを生成するステップは、当該会話カテゴリの各会話カテゴリごとに、当該会話カテゴリ内の当該トレーニング発話のそれぞれのトレーニング特徴ベクトルの集合としてそれぞれの合成特徴ベクトルを生成するステップを含む。当該方法はさらに、入力発話にアクセスするステップと、当該入力発話を入力特徴ベクトルに変換するステップと、当該入力特徴ベクトルを当該合成特徴ベクトルと比較することによって、当該入力特徴ベクトルが当該合成特徴ベクトルに十分に類似していないと判断するステップとを含む。加えて、当該方法は、当該入力特徴ベクトルが当該合成特徴ベクトルと十分に類似していないことに基づいて、当該スキルボットによって当該入力発話に対処することができないという指示を出力するステップを含む。

さらに付加的または代替的な実施形態においては、本明細書に記載のシステムはマスタボットを含む。当該マスタボットは、ユーザ入力としての入力発話にアクセスする動作と、入力発話から入力特徴ベクトルを生成する動作と、分類器モデルを用いて、入力特徴ベクトルをトレーニング特徴ベクトルの複数のセット表現と比較する動作と、入力特徴ベクトルが複数のセット表現の範囲外にあることに基づいて、スキルボットによってユーザ入力に対処することができないという指示を出力する動作とを含む動作を実行するように構成される。スキルボットの各スキルボットは、ユーザとの対話を提供するように構成される。

さらに付加的または代替的な実施形態においては、本明細書に記載の方法は、入力発話にアクセスするステップを含む。当該方法はさらに、当該入力発話を入力特徴ベクトルに変換するステップを含む。当該方法はさらに、当該入力特徴ベクトルを特徴空間内のクラスタの境界と比較することによって、当該入力特徴ベクトルが当該クラスタの当該境界の範囲外にあると判断するステップを含む。当該方法はさらに、当該入力特徴ベクトルが当該特徴空間内の当該クラスタの範囲外にあることに基づいて、当該スキルボットによって当該入力発話に対処することができないという指示を出力するステップを含む。当該スキルボットの各スキルボットは、ユーザとの対話を提供するように構成される。

さらに付加的または代替的な実施形態においては、本明細書に記載の方法は、入力発話にアクセスするステップを含む。当該方法はさらに、当該入力発話を入力特徴ベクトルに変換するステップを含む。当該方法はさらに、当該入力特徴ベクトルを合成特徴ベクトルと比較することによって、当該入力特徴ベクトルが当該合成特徴ベクトルに十分に類似していないと判断するステップを含む。当該合成特徴ベクトルは会話カテゴリに対応する。当該方法はさらに、当該入力特徴ベクトルが当該合成特徴ベクトルに十分に類似していないことに基づいて、スキルボットによって当該入力発話に対処することができないという指示を出力するステップを含む。当該スキルボットの各スキルボットは、ユーザとの対話を提供するように構成される。

さらに付加的または代替的な実施形態においては、本明細書に記載の方法は、ユーザ入力としての入力発話にアクセスするステップを含む。当該方法はさらに、当該入力発話から入力特徴ベクトルを生成するステップを含む。当該方法はさらに、分類器モデルを用いて、当該入力特徴ベクトルを当該トレーニング特徴ベクトルの複数のセット表現と比較するステップを含む。当該方法はさらに、当該入力特徴ベクトルが当該複数のセット表現の範囲外にあることに基づいて、スキルボットによって当該ユーザ入力に対処することができないという指示を出力するステップを含む。当該スキルボットの各スキルボットは、ユーザとの対話を提供するように構成される。

さらに付加的または代替的な実施形態においては、本明細書に記載の方法は、分類器モデルをトレーニングするために用いられる。当該方法は、スキルボットに関連付けられたトレーニング発話にアクセスするステップを含み、当該トレーニング発話は、当該スキルボットの各スキルボットに関連付けられたそれぞれのトレーニング発話を含む。当該スキルボットの各スキルボットは、ユーザとの対話を提供するように構成される。当該方法はさらに、当該トレーニング発話からトレーニング特徴ベクトルを生成するステップを含み、当該トレーニング特徴ベクトルは、当該スキルボットの各スキルボットに関連付けられたそれぞれのトレーニング特徴ベクトルを含む。当該方法はさらに、当該トレーニング特徴ベクトルの複数のセット表現を生成するステップを含む。当該複数のセット表現の各セット表現は、当該トレーニング特徴ベクトルのサブセットに対応する。当該方法はさらに、入力特徴ベクトルを当該トレーニング特徴ベクトルの当該複数のセット表現と比較するように当該分類器モデルを構成するステップを含む。

さらに付加的または代替的な実施形態においては、本明細書に記載の方法は、スキルボットによって入力発話に対処することができるかどうかを判断するために用いることができるクラスタを生成するために用いられる。当該方法は、コンピュータシステムによって、スキルボットに関連付けられたトレーニング発話にアクセスするステップを含み、当該トレーニング発話は、当該スキルボットの各スキルボットごとにトレーニング発話のそれぞれのサブセットを含む。当該スキルボットの各スキルボットは、ユーザとの対話を提供するように構成される。当該方法はさらに、当該トレーニング発話からトレーニング特徴ベクトルを生成するステップを含み、当該トレーニング特徴ベクトルは、当該トレーニング発話の各トレーニング発話ごとにそれぞれのトレーニング特徴ベクトルを含む。当該方法はさらに、特徴空間内のクラスタについての重心位置を決定するステップ含む。当該方法はさらに、当該クラスタのうち、当該クラスタの中から当該トレーニング特徴ベクトルが最も近接するそれぞれの重心位置を有するそれぞれのクラスタに、当該トレーニング特徴ベクトルの各トレーニング特徴ベクトルを割当てるステップと、停止条件が満たされるまで当該クラスタを繰返し修正するステップとを含む。当該クラスタを修正するステップは、当該クラスタのカウントを更新されたカウントにまで増加するステップと、更新されたカウントに等しい量で当該クラスタについての新しい重心位置を決定するステップと、当該新しい重心位置への近接性に基づいて、当該トレーニング特徴ベクトルを当該クラスタに再割当てするステップとを含む。当該方法はさらに、当該クラスタの境界を決定するステップを含み、当該境界は、当該クラスタの各クラスタごとにそれぞれの境界を含む。

さらに付加的または代替的な実施形態においては、本明細書に記載の方法は、スキルボットによって入力発話に対処することができるかどうかを判断するために用いることができる合成特徴ベクトルを生成するために用いられる。当該方法はさらに、コンピュータシステムによって、スキルボットに関連付けられたトレーニング発話にアクセスするステップを含み、当該トレーニング発話は、当該スキルボットの各スキルボットごとにトレーニング発話のそれぞれのサブセットを含む。当該スキルボットの各スキルボットは、ユーザとの対話を提供するように構成される。当該方法はさらに、当該トレーニング発話からトレーニング特徴ベクトルを生成するステップを含み、当該トレーニング特徴ベクトルは、当該トレーニング発話の各トレーニング発話ごとにそれぞれのトレーニング特徴ベクトルを含む。当該方法はさらに、当該トレーニング発話を会話カテゴリに分割するステップを含む。当該方法はさらに、当該会話カテゴリに対応する合成特徴ベクトルを生成するステップを含む。当該合成特徴ベクトルを生成するステップは、当該会話カテゴリの各会話カテゴリごとに、当該会話カテゴリ内の当該トレーニング発話のそれぞれのトレーニング特徴ベクトルの集合としてそれぞれの合成特徴ベクトルを生成するステップを含む。

さらに付加的または代替的な実施形態では、本明細書に記載のシステムは、上述の方法のいずれかを実行するための手段を含む。

上述したことは、他の特徴および実施形態とともに、以下の明細書、添付の特許請求の範囲、および添付の図面を参照すると、より明らかになるだろう。

本明細書に記載のいくつかの実施形態に従った、チャットボットとも称されるさまざまなスキルボットと通信するマスタボットを含む環境を示すブロック図である。 本明細書に記載のいくつかの実施形態に従った、入力発話をスキルボットに向けるとともに、適用可能な場合、特定の入力発話が利用可能なスキルボットと無関係であると判断するためにマスタボットを構成および使用する方法を示すフロー図である。 本明細書に記載の特定の実施形態に従った、入力発話が利用可能なスキルボットと無関係であるかどうかを判断するように構成されたマスタボットを示すブロック図である。 本明細書に記載の特定の実施形態に従った、スキルボットを示す図である。 本明細書に記載のいくつかの実施形態に従った、入力発話が利用可能なスキルボットと無関係であるかどうかを判断するためにマスタボットの分類器モデルを初期化する方法を示すフロー図である。 本明細書に記載のいくつかの実施形態に従った、分類器モデルをトレーニングするために用いられるトレーニング発話からのトレーニング特徴ベクトルの生成を示す図である。 本明細書に記載のいくつかの実施形態に従った、マスタボットの分類器モデルを用いて、入力発話がマスタボットに関連付けられたいずれの利用可能なスキルボットとも無関係であるかどうかを判断する方法の一例を示すフロー図である。 本明細書に記載のいくつかの実施形態に従った、マスタボットの分類器モデルを用いて、入力発話がマスタボットに関連付けられたいずれの利用可能なスキルボットとも無関係であるかどうかを判断する方法の別の例を示すフロー図である。 本明細書に記載のいくつかの実施形態に従った、例示的な発話の特徴ベクトルを表わす点を含む特徴空間の一例を示す図である。 本明細書に記載のいくつかの実施形態に従った、例示的な発話の特徴ベクトルのインテントクラス間にクラス境界を有する図９の特徴空間の一例を示す図である。 本明細書に記載のいくつかの実施形態に従った、共通のインテントに関連付けられた特徴ベクトルをそれぞれのクラスタに分離するクラス境界を有する図９の特徴空間の一例を示す図である。 本明細書に記載のいくつかの実施形態に従った、共通のインテントに関連付けられた特徴ベクトルをそれぞれのクラスタに分離する、重複するクラス境界を有する図９の特徴空間の一例を示す図である。 本明細書に記載のいくつかの実施形態に従った、特徴ベクトルをクラスタに分離するクラス境界を有する図９の特徴空間の別の例を示す図である。 本明細書に記載のいくつかの実現例に従った、クラスタを利用して、入力発話が利用可能なスキルボットと無関係であるかどうかを判断するために、マスタボットの分類器モデルを初期化する方法を示すフロー図である。 本明細書に記載のいくつかの実施形態に従った、図１４の方法の特定の局面の実行例を示す図である。 本明細書に記載のいくつかの実施形態に従った、マスタボットの分類器モデルを用いて、入力発話がマスタボットに関連付けられたいずれの利用可能なスキルボットとも無関係であるかどうかを判断する方法を示すフロー図である。 本明細書に記載のいくつかの実施形態に従った、入力特徴ベクトルがすべてのクラスタ境界の範囲外にある場合に当該方法を実行する一例を示す図である。 本明細書に記載のいくつかの実施形態に従った、合成特徴ベクトルを利用して、入力発話が利用可能なスキルボットと無関係であるかどうかを判断するために、マスタボットの分類器モデルを初期化する方法を示すフロー図である。 本明細書に記載のいくつかの実施形態に従った、インテントベースの会話カテゴリを用いた合成特徴ベクトルの生成を示す図である。 本明細書に記載のいくつかの実施形態に従った、ボットベースの会話カテゴリを用いた合成特徴ベクトルの生成を示す図である。 本明細書に記載のいくつかの実施形態に従った、マスタボットの分類器モデルを用いて、入力発話がマスタボットに関連付けられたいずれの利用可能なスキルボットとも無関係であるかどうかを判断する方法を示すフロー図である。 本明細書に記載のいくつかの実施形態に従った、入力発話に対処するためにスキルボットを選択する方法の一例を示すフロー図である。 本明細書に記載のいくつかの実施形態に従った、入力発話に対処するためにスキルボットを選択する方法の別の例を示す図である。 本明細書に記載のいくつかの実施形態を実現するための分散システムを示す図である。 本明細書に記載のいくつかの実施形態に従った、さまざまなチャットボット関連のサービスがクラウドサービスとして提供され得るクラウドベースのシステム環境を示す図である。 本明細書に記載のいくつかの実施形態を実現するために用いられ得るコンピュータシステムの一例を示す図である。

詳細な説明
以下の記載では、説明を目的として、特定の実施形態を完全に理解できるようにするために具体的な詳細が述べられる。しかしながら、さまざまな実施形態がこれらの具体的な詳細なしでも実施され得ることは明らかであるだろう。図および説明は限定的であることを意図するものではない。「例示的」という語は、本明細書では、「例、事例、または例示としての役割を果たす」ことを意味するために用いられる。本明細書で「例示的」と説明される実施形態または設計はいずれも、必ずしも他の実施形態または設計よりも好ましいかまたは有利であると解釈されるべきではない。

本明細書では、方法、システム、１つ以上のプロセッサによって実行可能なプログラム、コードまたは命令を格納する非一時的なコンピュータ可読記憶媒体などを含むさまざまな実施形態について説明する。

上述したように、特定の環境は、本明細書ではスキルボットとも称される複数のチャットボットを含んでおり、このため、各チャットボットは、タスクまたはスキルのそれぞれのセットに対処するように特化されている。その場合、或るユーザからのユーザ入力をそのユーザ入力に対処するのに最も適したチャットボットに自動的に向けることと、さらに、ユーザ入力がチャットボットと無関係でありこのため利用可能なチャットボットのいずれによっても対処することができなくなる時を迅速に識別することと、が有利となるだろう。本明細書に記載のいくつかの実施形態は、マスタボットなどのコンピューティングシステムが、ユーザ入力に対する予備的処理を実行して、ユーザ入力がチャットボットと無関係である（すなわち、チャットボットによって対処することができない）かどうかを判断することを可能にする。その結果、チャットボットが無関係なユーザ入力を処理しようと試みることによってコンピューティングリソースが浪費されることがなくなる。したがって、本明細書に記載の特定の実施形態は、チャットボットのコンピューティングリソースを節約し、無関係なユーザ入力を早期に検出することで、或る環境内のチャットボットがそのようなユーザ入力を処理することを防ぐ。さらに、特定の実施形態は、そのようなユーザ入力に対処することができない１つ以上のチャットボットにそのようなユーザ入力をマスタボットが送信するのを防ぐことによって、ネットワークリソースを節約する。

複数のチャットボットを含む或る環境では、マスタボットは、どのチャットボットが入力発話を処理すべきかを判断する分類器を含み得る。たとえば、分類器は、確率のセットを出力するニューラルネットワークまたは他の何らかのＭＬモデルとして実現され得る。各々の確率は、チャットボットに関連付けられるとともに、チャットボットが入力発話に対処することができる信頼度レベルを示す。このタイプのマスタボットは、信頼度レベルが最も高いチャットボットを選択するとともに、そのチャットボットに入力発話を転送する。しかしながら、マスタボットは、無関係な入力発話に関して、誤って高い信頼度スコアを提供する可能性もある。なぜなら、チャットボットが入力発話に対処するように構成されているかどうかに関して全く考慮することなく、利用可能なチャットボット間で信頼度が実質的に分割されるからである。これは、チャットボットが対処するように定められていない入力発話を当該チャットボットが処理するという結果をもたらす可能性がある。チャットボットは、最終的に、入力発話またはユーザに対する明確化を求める要求に対処することができないという指示を提供する可能性もある。しかしながら、これは、チャットボットが入力発話を処理するためにリソースを消費した後に起こり得る。

代替的には、開発者は、いずれの利用可能なチャットボットによっても対処することができない発話をマスタボットが認識するのを助けるために、マスタボットをトレーニングすることもある。たとえば、マスタボットは、無関係な発話を認識するようマスタボットを教育するために、関係する発話（すなわち、チャットボットによって対処することができる）と、無関係な発話（すなわち、チャットボットによって対処することができない）とを含むラベル付けされたトレーニングデータでトレーニングされ得る。しかしながら、マスタボットがすべての無関係な発話を認識することを可能にするためにトレーニングデータの範囲が充分である可能性は低い。トレーニング中に用いられる無関係な発話のいずれにも類似していない入力発話が、最終的に、処理のためにチャットボットに転送されることになり得る。結果として、マスタボットをトレーニングするための計算リソースが増加することとなり、当該マスタボットは、依然として、広範囲にわたる無関係な発話を認識することに失敗するだろう。

本明細書に記載される特定の実施形態は、上述の技術の欠点に対処するとともに、そのような技術の代わりに、またはそのような技術と併せて使用され得る。特定の実施形態では、ユーザ入力として提供される入力発話（すなわち、テキスト形式である可能性のある自然言語フレーズ）が、利用可能なスキルボットのセット内のいずれのスキルボットにも関係しているかどうかに関して、本明細書中で分類器モデルと称されるトレーニング済み機械学習（machine-learning：ＭＬ）モデルを用いて、判断が下される。この判断は、たとえば、分類器モデルを利用するマスタボットによって実行することができる。マスタボットは、入力発話から入力特徴ベクトルを生成する。一例では、マスタボットの分類器モデルは、特徴ベクトルをトレーニングデータの特徴ベクトルであるトレーニング特徴ベクトルのクラスタのセットと比較して、入力特徴ベクトルがクラスタのいずれかの範囲内に収まるかどうかを判断する。入力特徴ベクトルが全てのクラスタの範囲外にある場合、マスタボットは、入力発話がスキルボットと無関係であると判断する。別の例では、マスタボットの分類器モデルは、入力特徴ベクトルを合成特徴ベクトルのセットと比較する。各々の合成特徴ベクトルは、それぞれのカテゴリに属する１つ以上のトレーニング特徴ベクトルを表わしている。入力特徴ベクトルが合成特徴ベクトルのいずれとも十分に類似していない場合、マスタボットは、当該入力発話がスキルボットと無関係であると判定する。入力発話がいずれのボットとも無関係であると判断された場合、入力発話は「非クラス（none class）」と見なされる可能性があり、対処用のいずれのボットにもルーティングされない。代わりに、入力発話の処理が終了する可能性があるか、または、ユーザが意図したものを明確にするようマスタボットがユーザを促す可能性がある。

このように改善されたルーティングは、最終的にシステムによって有効に対処されない恐れのあるクエリへの対処に計算リソースが振り向けられることを防ぎ得る。これにより、システムの全体的な応答性が改善され得る。加えて、適切にトレーニングされた専門のチャットボットまたはチャットボットのセットによってより容易に対処されるようにクエリを言い換えるかまたは明確化するようにユーザが指導され得るので、ユーザ経験が改善され得る。このため、処理およびネットワークリソースが節約されることに加えて、ユーザクエリに対処するための平均時間が、ボットネットワークを介するこのような改善されたルーティングによって短縮され得る。

入力発話が少なくとも１つのボットに関係していると判断された場合、入力発話はインテント分類がなされてもよい。インテント分類では、そのインテントに関連付けられた会話フローを開始させるために、入力発話に最も密に合致するインテントが判断される。たとえば、スキルボットの各インテントは、ユーザとの会話に関するさまざまな会話状態を定義する状態機械に関連付けられてもよい。インテント分類は、個々のボットレベルで実行することができる。たとえば、マスタボットに登録された各スキルボットは、その特定のボットに関連付けられた所定の発話に関してトレーニングされる独自の分類器（たとえば、ＭＬベースの分類器）を有してもよい。入力発話は、ボットのインテントのうちどれが発話に最もよく合致しているかを判断するために、入力発話に最も密に関係するボットのインテント分類器に入力され得る。

これにより、結果として、ユーザ経験が改善され得る。なぜなら、ユーザのクエリが、非専門的な一般的ボットよりもより適切に当該ユーザのクエリに対処するように備えられ得るかまたは非専門的な一般的ボットよりも迅速に当該ユーザのクエリに対処し得る、選択されたスキルボットまたは選択されたスキルボットのセットに迅速にルーティングされ得るからである。改善されたルーティングにより、付加的または代替的には、結果として、用いられる計算リソースがより少なくなり得る。なぜなら、選択されたスキルボットまたはスキルボットの選択されたセットがユーザクエリへの対処時に消費する処理リソースが、非専門的な一般的ボットの場合よりも少なくなり得るからである。

例示的なチャットボットシステムの概要
図１は、本明細書に記載のいくつかの実施形態に従った、チャットボットとも称されるさまざまなスキルボット１１６と通信するマスタボット１１４を含む環境のブロック図である。この環境は、開発者がデジタルアシスタント（digital assistant：ＤＡ）１０６またはチャットボットシステムをプログラムおよび展開することを可能にするデジタルアシスタントビルダープラットフォーム（digital assistant builder platform：ＤＡＢＰ）１０２を含む。ＤＡ１０６は、１つ以上のスキルボット１１６を含むかまたは１つ以上のスキルボット１１６にアクセスするマスタボット１１４を含むかまたは当該マスタボット１１４にアクセスする。各スキルボット１１６は、ユーザに１つ以上のスキルまたはタスクを提供するように構成される。いくつかの実施形態では、マスタボット１１４およびスキルボット１１６は、ＤＡ１０６自体の上で実行される。しかしながら、代替的には、マスタボット１１４のみがＤＡ１０６上で実行されて、他の場所で（たとえば、別のコンピューティングデバイス上で）実行されるスキルボット１１６と通信する。

いくつかの実施形態では、ＤＡＢＰ１０２を用いて、１つ以上のＤＡ１０６をプログラムすることができる。たとえば、図１に示すように、開発者は、ＤＡＢＰ１０２を用いて、ユーザがアクセスするためのデジタルアシスタント１０６を作成および展開することができる。たとえば、ＤＡＢＰ１０２は、銀行の顧客が使用するための１つ以上のデジタルアシスタントを作成するために銀行によって用いられ得る。デジタルアシスタント１０６を作成するために、同じＤＡＢＰ１０２プラットフォームが複数の企業によって用いられ得る。別の例として、レストラン（たとえば、ピザ屋）の所有者は、ＤＡＢＰ１０２を用いて、レストランの顧客が食品を注文すること（たとえば、ピザを注文すること）を可能にするデジタルアシスタントを作成および展開することもある。付加的にまたは代替的には、たとえば、ＤＡＢＰ１０２は、１つ以上のスキルボット１１６が既存のデジタルアシスタント１０６のマスタボット１１４にアクセス可能になるように１つ以上のスキルボット１１６を展開するために、開発者によって用いられ得る。

付加的または代替的には、いくつかの実施形態では、以下でさらに説明するように、ＤＡＢＰ１０２は、デジタルアシスタントのマスタボット１１４をトレーニングすることで、入力発話が利用可能なスキルボット１１６のうちのいずれとも無関係になる時にマスタボット１１４が認識することを可能にするように構成される。

本開示の目的のために、「デジタルアシスタント」は、デジタルアシスタントのユーザが自然言語の会話を通じてさまざまなタスクを達成するのを助けるエンティティである。デジタルアシスタントは、ソフトウェアのみを用いて（たとえば、デジタルアシスタントは、１つ以上のプロセッサによって実行可能なプログラム、コード、または命令を用いて実現されるデジタルエンティティである）、ハードウェアを用いて、またはハードウェアとソフトウェアとの組合わせを用いて、実現され得る。デジタルアシスタントは、コンピュータ、携帯電話、腕時計、電化製品、車両などの汎用または専用のハードウェアを含み得るさまざまな物理的なシステムまたはデバイスにおいて具現化または実現することができる。デジタルアシスタントはチャットボットシステムと称されることもある。したがって、本開示の目的のために、デジタルアシスタントおよびチャットボットシステムという語は同義であり得る。

いくつかの実施形態では、デジタルアシスタント１０６は、当該デジタルアシスタントとそのユーザ１０８との間の自然言語ベースの会話を通じてさまざまなタスクを実行するために用いることができる。会話の一部として、ユーザは、ユーザ入力１１０に対して応答１１２を提供し得るとともに、任意には、（たとえば、ユーザ入力がタスクを実行するための命令を含む場合）ユーザ入力１１０に関係する１つ以上のタスクを実行し得るデジタルアシスタント１０６にユーザ入力１１０を提供し得る。会話または対話は、１つ以上のユーザ入力１１０および応答１１２を含み得る。会話を通じて、ユーザは、デジタルアシスタント１０６によって実行されるべき１つ以上のタスクを要求することができ、デジタルアシスタント１０６は、それに応じて、ユーザが要求したタスクを実行するとともにユーザに対して適切な応答で返答するように構成される。

ユーザ入力１１０は、発話と称される自然言語形式であり得る。発話は、ユーザが文、質問、テキスト断片、またはさらには単一の単語などの句をタイプして当該テキストをデジタルアシスタント１０６に入力として提供するなどの場合、テキスト形式であり得る。いくつかの実施形態では、ユーザ発話は、ユーザがデジタルアシスタント１０６への入力として提供される何かを発話するなどの場合、音声入力または発話形式であり得る。デジタルアシスタント１０６は、このような発話を取込むためのマイクロフォンを含み得るかまたは当該マイクロフォンにアクセスし得る。発話は、典型的には、ユーザによって話される言語である。発話が音声入力の形式である場合、当該音声入力は同じ言語のテキスト発話に変換されてもよく、デジタルアシスタント１０６はテキスト発話をユーザ入力として処理してもよい。音声入力をテキスト発話に変換するために、さまざまな音声－テキスト処理技術が用いられ得る。いくつかの実施形態では、音声－テキスト変換はデジタルアシスタント１０６自体によって実行されるが、さまざまな実現例が本開示の範囲内にある。本開示の目的のために、入力発話（すなわち、ユーザ入力として提供される発話）は、デジタルアシスタント１０６のユーザ１０８によって直接提供されたテキスト発話であるか、または、入力音声発話をテキスト形式に変換した結果であると想定される。しかしながら、これは、いかなる態様にも限定または制限することを意図するものではない。

発話は、断片、文、複数の文、１つ以上の単語、１つ以上の質問、または、上述のタイプの組合せなどであり得る。いくつかの実施形態では、対応するマスタボット１１４およびスキルボット１１６を含むデジタルアシスタント１０６は、自然言語理解（natural language understanding：ＮＬＵ）技術を発話に適用して、ユーザ入力の意味を理解するように構成される。発話のためのＮＬＵ処理の一環として、デジタルアシスタント１０６は、発話の意味を理解するための処理を実行してもよく、これは、１つ以上のインテントと、その発話に対応する１つ以上のエンティティとを識別することを伴う。発話の意味を理解すると、そのマスタボット１１４およびスキルボット１１６を含むデジタルアシスタント１０６は、理解された意味またはインテントに応じて１つ以上のアクションまたは動作を実行し得る。

たとえば、ユーザ入力は、「ピザを注文したい」などの入力発話を提供することによって、ピザの注文を要求してもよい。このような発話を受信すると、デジタルアシスタント１０６は、この発話の意味を判断して適切なアクションを取る。適切なアクションは、たとえば、ユーザが注文したいピザのタイプ、ピザのサイズ、またはピザの任意のトッピングなどに関するユーザ入力を要求する質問を用いてユーザに応答することを含み得る。デジタルアシスタント１０６によって提供される応答１１２はまた、自然言語形式であってもよく、典型的には入力発話と同じ言語であってもよい。これらの応答１１２を生成する一環として、デジタルアシスタント１０６は、自然言語生成（natural language generation：ＮＬＧ）を実行してもよい。ユーザがピザを注文するために、ユーザとデジタルアシスタント１０６との間の会話を通じて、デジタルアシスタントは、ピザを注文するのに必要な全ての情報を提供するようにユーザを案内してもよく、さらに、会話の終了時に、ピザを注文させてもよい。デジタルアシスタント１０６は、ピザが注文されたことを示す情報をユーザに出力することによって、会話を終了させてもよい。

概念レベルでは、デジタルアシスタント１０６は、そのマスタボット１１４および関連するスキルボット１１６と共に、ユーザから受信した発話に応答してさまざまな処理を実行する。いくつかの実施形態では、この処理は、たとえば、（ＮＬＵを用いて）入力発話の意味を理解すること、発話に応答して実行されるべきアクションを決定すること、適切な時にアクションを実行させること、発話に応答してユーザに出力すべき応答を生成すること、および、応答をユーザに出力することを含む、一連または一続きの処理ステップを含む。ＮＬＵ処理は、発話の構造および意味を理解するために受信した入力発話を構文解析することと、より容易に構文解析および理解される形式（たとえば、論理形式）を展開するために発話を精緻化および改良することとを含み得る。応答を生成することはＮＬＧ技術を使用することを含み得る。したがって、デジタルアシスタント１０６によって実行される自然言語処理は、ＮＬＵ処理とＮＬＧ処理との組合わせを含み得る。

デジタルアシスタント１０６によって実行されるＮＬＵ処理は、文解析（たとえば、トークン化、見出語別の分類、品詞タグの識別、名前付きエンティティの識別、文構造を表わすための従属ツリーの生成、文の節への発話の分割、個々の節の分析、前方照応の分解、チャンキングの実行など）などのさまざまなＮＬＵ処理を含み得る。特定の実施形態では、ＮＬＵ処理またはその一部は、デジタルアシスタント１０６自体によって実行される。付加的にまたは代替的には、デジタルアシスタント１０６は、ＮＬＵ処理のいくつかの部分を実行するために他のリソースを用いてもよい。たとえば、入力発話の構文および構造は、パーサ、品詞のタグ付けツール、または、デジタルアシスタント１０６とは別個の名前きエンティティ認識器を用いて入力発話を処理することによって識別され得る。

この開示において提供されるさまざまな例は英語での発話を示しているが、これは一例としてのみ意図されるものである。特定の実施形態では、デジタルアシスタント１０６は、付加的または代替的には、英語以外の言語での発話に対処することができる。デジタルアシスタント１０６は、さまざまな言語のための処理を実行するように構成されたサブシステム（たとえば、ＮＬＵ機能を実現する構成要素）を提供し得る。これらのサブシステムは、デジタルアシスタント１０６上で実行され得るＮＬＵコアサーバからのサービスコールを用いて呼出すことができるプラグ可能なユニットとして実現されてもよい。これにより、さまざまな順序での処理を可能にすることを含め、ＮＬＵ処理を各言語ごとに融通性があり拡張可能なものにする。言語パックは個々の言語のために提供されてもよい。言語パックはＮＬＵコアサーバから提供され得るサブシステムのリストを登録することができる。

いくつかの実施形態では、デジタルアシスタント１０６は、さまざまな異なるチャネルを介して、たとえば、特定のアプリケーションを介して、ソーシャルメディアプラットフォームを介して、さまざまなメッセージングサービスおよびアプリケーション（たとえば、インスタントメッセージングアプリケーション）を介して、または他のアプリケーションもしくはチャネルを介して、そのユーザ１０８にとって利用可能またはアクセス可能となり得る。単一のデジタルアシスタントは、それが実行され得るとともに異なるサービスによって同時にアクセスされ得るように構成されるいくつかのチャネルを有し得る。付加的または代替的には、デジタルアシスタント１０６は、ユーザにとってローカルなデバイス上で実現されてもよく、このため、ユーザまたは他の近くのユーザによってい用いられるパーソナルデジタルアシスタントであってもよい。

デジタルアシスタント１０６は１つ以上のスキルに関連付けられてもよい。特定の実施形態では、これらのスキルは、スキルボット１１６と称される個々のチャットボットを通じて実現され、その各々は、在庫を追跡すること、タイムカードを提出すること、費用レポートを作成すること、食品を注文すること、銀行口座をチェックすること、予約を行なうこと、ウィジェットを購入すること、または他のタスクなどの特定のタイプのタスクを履行するためにユーザと対話するように構成されている。たとえば、図１に示される実施形態の場合、デジタルアシスタント１０６は、各々が特定のスキルまたはスキルのセットを実現する３つのスキルボット１１６を含むか、または当該３つのスキルボット１１６にアクセスする。しかしながら、さまざまな量のスキルボット１１６がデジタルアシスタント１０６によってサポートされ得る。各スキルボット１１６は、ハードウェア、ソフトウェア、または両方の組合わせとして実現されてもよい。

デジタルアシスタント１０６に関連付けられ、これによりスキルボット１１６として実現される各スキルは、デジタルアシスタント１０６のユーザとの会話を通じて、当該ユーザがタスクを完了するのを支援するように構成される。会話は、ユーザによって提供されるテキストまたは音声のユーザ入力１１０と、デジタルアシスタント１０６を介してスキルボット１１６によって提供される応答１１２との組合わせを含み得る。これらの応答１１２は、ユーザへのテキストメッセージまたは音声メッセージの形式であってもよく、または、ユーザに提示されて当該ユーザが選択を行なうための単純なユーザインターフェイス要素（たとえば、選択リスト）を用いて提供されてもよい。

スキルボット１１６をデジタルアシスタントに関連付けるかまたは追加することができるさまざまな方法がある。いくつかの事例では、スキルボット１１６は、企業によって開発され得るとともに、さらに、たとえば、スキルボット１１６をデジタルアシスタント１０６に登録するためにＤＡＢＰ１０２によって提供されるユーザインターフェイスを介して、ＤＡＢＰ１０２を用いてデジタルアシスタント１０６に追加され得る。他の事例では、スキルボット１１６は、ＤＡＢＰ１０２を用いて開発および作成され得るとともに、さらに、ＤＡＢＰ１０２を用いてデジタルアシスタント１０６に追加され得る。さらに他の事例では、ＤＡＢＰ１０２は、広範囲のタスクに向けられた複数のスキルを提供するオンラインデジタルストア（「スキルストア」と称される）を提供する。スキルストアを介して提供されるスキルはまた、さまざまなクラウドサービスを公開し得る。ＤＡＢＰ１０２を用いてデジタルアシスタント１０６にスキルを追加するために、開発者は、ＤＡＢＰ１０２を介してスキルストアにアクセスし、所望のスキルを選択し、選択されたスキルがデジタルアシスタント１０６に追加されるべきであることを示すことができる。スキルストアからのスキルは、そのまま、または変更した形態で、デジタルアシスタントに追加することができる。スキルを追加するためにスキルボット１１６の形態でデジタルアシスタント１０６に追加されるＤＡＢＰ１０２は、スキルボット１１６と通信するようにデジタルアシスタント１０６のマスタボット１１４を構成し得る。加えて、ＤＡＢＰ１０２は、入力発話がデジタルアシスタント１０６のスキルボット１１６のいずれかと無関係であるかどうかを判断するために、スキルボット１１６が、マスタボット１１４によって用いられるデータに対処し、これにより当該データを更新することができる発話をマスタボット１１４が認識することを可能にするスキルボットデータでマスタボット１１４を構成し得る。このようにマスタボット１１４を構成するための動作を以下でより詳細に説明する。

デジタルアシスタント１０６で使用可能なスキルボット１１６と、これによるスキルとは大きく異なり得る。たとえば、企業のために開発されたデジタルアシスタント１０６の場合、デジタルアシスタントのマスタボット１１４は、特定の機能を有するスキルボット１１６、たとえば、顧客関係管理（customer relationship management：ＣＲＭ）に関係する機能を実行するためのＣＲＭボット、企業資源計画（enterprise resource planning：ＥＲＰ）に関係する機能を実行するためのＥＲＰボット、人的資本管理（human capital management：ＨＣＭ）に関係する機能を実行するためのＨＣＭボットなどとインターフェイスを取り得る。他のさまざまなスキルも、デジタルアシスタントにとって利用可能であり得るとともに、デジタルアシスタント１０６の意図された用途に左右され得る。

デジタルアシスタント１０６を実現するために、さまざまなアーキテクチャが用いられ得る。特定の実施形態では、デジタルアシスタント１０６は、マスタ・子のパラダイムまたはアーキテクチャを用いて実現されてもよい。このパラダイムに従うと、デジタルアシスタント１０６は、マスタボット１１４を含むことによって、またはマスタボット１１４にアクセスすることによってマスタボット１１４として機能し、スキルボット１１６である１つ以上の子ボットと対話する。スキルボット１１６は、デジタルアシスタント１０６上で直接実行されてもされなくてもよい。図１に示す例では、デジタルアシスタント１０６は、マスタボット１１４および３つのスキルボット１１６を含む（すなわち、アクセスして用いる）。しかしながら、過剰な量のスキルボット１１６を用いることもでき、その量は、スキルがデジタルアシスタント１０６に追加されるかまたはそこから除去されるのに応じて時間とともに変化し得る。

マスタ・子のアーキテクチャに従って実現されるデジタルアシスタント１０６は、デジタルアシスタント１０６のユーザが複数のスキルボット１１６と対話することを可能にし、これにより、統合ユーザインターフェイスを通じて、すなわちマスタボット１１４を介して、別個に実現され得る複数のスキルを利用することを可能にする。いくつかの実施形態では、ユーザがデジタルアシスタント１０６に関与すると、ユーザ入力がマスタボット１１４によって受信される。次いで、マスタボット１１４は、ユーザ入力として作用する入力発話の意味を判断するために予備処理を実行する。この場合、入力発話は、たとえば、ユーザ入力自体またはユーザ入力のテキストバージョンであり得る。マスタボット１１４は、入力発話が、当該入力発話にとって利用可能なスキルボット１１６と無関係であるかどうかを判断する。これは、たとえば、入力発話がスキルボット１１６のスキル以外のスキルを必要とする場合に該当し得る。入力発話がスキルボット１１６と無関係である場合、マスタボット１１４は、入力発話がスキルボット１１６と無関係であるという指示をユーザに返し得る。たとえば、デジタルアシスタント１０６は、明確化することをユーザに要求することができるか、または、入力発話が理解されていないことを報告することができる。しかしながら、マスタボット１１４が適切なスキルボット１１６を識別する場合、マスタボット１１４は、入力発話と、これにより進行中の会話とをそのスキルボット１１６にルーティングしてもよい。これにより、ユーザが、共通のインターフェイスを介して複数のスキルボット１１６を有するデジタルアシスタント１０６と対話することが可能になる。

図１の実施形態はマスタボット１１４およびスキルボット１１６を含むデジタルアシスタント１０６を示しているが、これは限定を意図するものではない。いくつかの実施形態では、デジタルアシスタント１０６は、デジタルアシスタント１０６の機能を提供する他のシステムまたはサブシステムなどの他のさまざまな構成要素を含み得る。これらのシステムおよびサブシステムは、ソフトウェアでのみ（たとえば、コンピュータ可読媒体上に記憶されて、１つ以上のプロセッサによって実行可能なコードとして）、ハードウェアで、または、ソフトウェアとハードウェアとの組合せを用いる実現例において、実現され得る。

特定の実施形態では、マスタボット１１４は、利用可能なスキルボット１１６を認識するように構成される。たとえば、マスタボット１１４は、さまざまな利用可能なスキルボット１１６と、各スキルボット１１６ごとに当該スキルボット１１６によって実行され得るタスクを含むスキルボット１１６の能力とを識別するメタデータにアクセスし得る。入力発話の形態でユーザ要求を受信すると、マスタボット１１４は、複数の利用可能なスキルボット１１６から、ユーザ要求に対して最もよく機能するかもしくはユーザ要求に最もよく対処することができる特定のスキルボット１１６を識別もしくは予測するように、または、代替例においては、入力発話がスキルボット１１６のいずれとも無関係であると判断するように、構成される。スキルボット１１６が入力発話に対処できると判断された場合、マスタボット１１４は、さらに対処するために、入力発話または当該入力発話の少なくとも一部分をそのスキルボット１１６にルーティングしてもよい。したがって、制御がマスタボット１１４からスキルボット１１６へと続く。

いくつかの実施形態では、ＤＡＢＰ１０２は、ＤＡＢＰ１０２の開発者ユーザが１つ以上のスキルボット１１６を含むデジタルアシスタント１０６を作成することを可能にするインフラストラクチャならびにさまざまなサービスおよび特徴を提供する。いくつかの事例では、スキルボット１１６は、既存のスキルボット１１６をクローニングすることによって、たとえば、スキルストアにおいて提供されるスキルボット１１６をクローニングすることによって、作成することができる。上述のように、ＤＡＢＰ１０２は、さまざまなタスクを実行するための複数のスキルボット１１６を提供するスキルストアを提供することができる。ＤＡＢＰ１０２のユーザは、スキルストアからスキルボット１１６をクローニングすることができ、必要に応じて、クローニングされたスキルボット１１６に修正またはカスタマイズが施されてもよい。他のいくつかの事例では、ＤＡＢＰ１０２の開発者ユーザは、ＤＡＢＰ１０２によって提供されるツールおよびサービスを用いることなどによって、ゼロの状態からスキルボット１１６を作成する。

特定の実施形態では、高レベルでスキルボット１１６を作成またはカスタマイズすることは以下の動作を伴う。

（１）新たなスキルボットについての設定を構成する。
（２）スキルボットについての１つ以上のインテントを構成する。

（３）１つ以上のインテントについての１つ以上のエンティティを構成する。
（４）スキルボットをトレーニングする。

（５）スキルボットのための対話フローを作成する。
（６）必要に応じてカスタムコンポーネントをスキルボットに追加する。

（７）スキルボットをテストおよび展開する。
以下、上述の動作の各々について簡単に説明する。

（１）新しいスキルボット１１６についての設定を構成する。さまざまな設定がスキルボット１１６に関して構成され得る。たとえば、スキルボット開発者は、作成されているスキルボット１１６についての１つ以上の呼び出し名を指定することができる。スキルボット１１６についての識別子として機能するこれらの呼び出し名は、さらに、スキルボット１１６を明確に呼び出すためにデジタルアシスタント１０６のユーザによって用いられ得る。たとえば、ユーザは、対応するスキルボット１１６を明確に呼び出すために、ユーザの入力発話に呼び出し名を含めることができる。

（２）スキルボット１１６についての１つ以上のインテントおよび関連する例示的な発話を構成する。スキルボット１１６の設計者は、作成されているスキルボット１１６に関して、チャットボットインテントとも称される１つ以上のインテントを指定する。次いで、スキルボット１１６は、これらの指定されたインテントに基づいてトレーニングされる。これらのインテントは、入力発話について推測するためにスキルボット１１６がトレーニングされるカテゴリまたはクラスを表わしている。発話を受信すると、トレーニングされたスキルボット１１６は、発話についてのインテントを推測する（すなわち、判断する）。この場合、推測されたインテントは、スキルボット１１６をトレーニングするために用いられる予め定義されたインテントのセットから選択される。次いで、スキルボット１１６は、発話に関して推測されたインテントに基づいて、その発話に応じた適切なアクションを取る。場合によっては、スキルボット１１６についてのインテントは、スキルボット１１６がデジタルアシスタントのユーザのために実行することができるタスクを表わしている。各インテントには、インテント識別子またはインテント名が与えられる。たとえば、銀行についてトレーニングされたスキルボット１１６の場合、スキルボット１１６について指定されたインテントは、「CheckBalance」、「TransferMoney」、「DepositCheck」などを含み得る。

スキルボット１１６について定義された各インテントごとに、スキルボット１１６の設計者はまた、インテントを表わすとともに例示する１つ以上の例示的な発話を提供し得る。これらの例示的な発話は、ユーザがそのインテントについてのスキルボット１１６に入力し得る発話を表わすよう意図されている。たとえば、CheckBalanceインテントの場合、例示的な発話は、「私の普通預金口座の残高はどうなっているでしょうか？（What's my savings account balance？）」、「私の当座預金口座にはいくら入っているでしょうか？（How much is in my checking account？）」、「私の口座にいくら残っているでしょうか？（How much money do I have in my account？）」などを含み得る。したがって、典型的なユーザ発話のさまざまな並べ替えがインテントについての発話例として指定され得る。

インテントおよびそれらの関連する例示的な発話は、トレーニング発話とも称されるものであり、スキルボット１１６をトレーニングするためのトレーニングデータとして用いられる。さまざまな異なるトレーニング技術が用いられてもよい。このトレーニングの結果、発話を入力として受取って当該発話について推測されたインテントを出力するように構成された予測モデルが生成される。いくつかの事例では、ユーザ入力として提供される入力発話は、トレーニングされたモデルを用いて入力発話に関するインテントを予測または推測するように構成されるインテント分析エンジン（たとえば、スキルボット１１６によって実行されるルールベースまたはＭＬベースの分類器）に入力される。次いで、スキルボット１１６は、推測されたインテントに基づいて１つ以上のアクションを取り得る。

（３）スキルボット１１６の１つ以上のインテントについてのエンティティを構成する。いくつかの事例では、スキルボット１１６が入力発話に適切に応答することを可能にするために追加のコンテキストが必要となる可能性がある。たとえば、複数の入力発話がスキルボット１１６において同じインテントになる状況があり得る。たとえば、「私の普通預金口座の残高はどうなっているでしょうか？」、「私の当座預金口座にはいくら入っているでしょうか？」という発話はともに同じCheckBalanceインテントとなるが、これらの発話は異なるものを求める異なる要求である。そのような要求を明確にするために、１つ以上のエンティティをインテントに追加することができる。「当座預金」および「貯金」と称される値を定義するAccount_Typeと呼ばれるエンティティは、銀行業務スキルボット１１６の例を用いて、スキルボット１１６がユーザ要求を解析して適切に応答することを可能にし得る。上述の例では、複数の発話が同じインテントになるが、これら２つの発話の場合には、Account_Typeエンティティに関連付けられた値は異なっている。これは、２つの発話が同じインテントになるにもかかわらず、場合によってはスキルボット１１６がこれら２つの発話に対して異なるアクションを実行することを可能にする。スキルボット１１６のために構成された特定のインテントのために１つ以上のエンティティが指定され得る。したがって、エンティティは、インテント自体にコンテキストを追加するために用いられる。エンティティは、インテントをより十分に記述すること、およびスキルボット１１６がユーザ要求を履行するのを可能にすること、に役立つ。

特定の実施形態では、（ａ）ＤＡＢＰ１０２によって提供され得る埋込み型エンティティ、および、（２）開発者によって指定可能なカスタムエンティティという２つのタイプのエンティティがある。埋込み型エンティティは、多種多様なスキルボット１１６とともに用いることができる汎用エンティティである。埋込み型エンティティの例は、時間、日付、住所、番号、電子メールアドレス、持続時間、循環期間、通貨、電話番号、統一資源位置指定子（uniform resource locator：ＵＲＬ）などに関連するエンティティを含む。カスタムエンティティは、よりカスタマイズされた用途に用いられる。例えば、銀行業務スキルの場合、Account_Typeエンティティは、当座預金、普通預金およびクレジットカードなどのキーワードについてユーザ入力をチェックすることによってさまざまな銀行取引をサポートするように、開発者によって定義され得る。

（４）スキルボット１１６をトレーニングする。スキルボット１１６は、発話の形態でユーザ入力を受信し、受信されたユーザ入力を解析または処理し、受信されたユーザ入力に関連するインテントを識別または選択するように構成される。いくつかの実施形態では、上述のように、このためにスキルボット１１６をトレーニングしなければならない。特定の実施形態では、スキルボット１１６は、スキルボット１１６のために構成されたインテントとインテントに関連付けられた例示的な発話（すなわち、トレーニング発話）とに基づいてトレーニングされ、これにより、スキルボット１１６は入力発話をその構成されたインテントのうちの１つに分解することができる。特定の実施形態では、スキルボットは、トレーニングデータを用いてトレーニングされた予測モデルを用いて、ユーザが何を言っているか（または場合によっては、何を言おうとしているか）をスキルボットが識別することを可能にする。ＤＡＢＰ１０２は、さまざまなＭＬベースのトレーニング技術、ルールベースのトレーニング技術、またはこれらの組合せを含め、開発者がスキルボット１１６をトレーニングするのに用いることができるさまざまな異なるトレーニング技術を提供し得る。特定の実施形態では、トレーニングデータの一部（たとえば、８０％）は、スキルボットモデルをトレーニングするために用いられ、別の部分（たとえば、残りの２０％）は、モデルをテストまたは検証するために用いられる。トレーニングされると、トレーニング済みスキルボット１１６とも称されるトレーニング済みモデルは、入力発話に対処するとともに入力発話に応答するために用いることができる。特定の場合、入力発話は、単一の回答のみを必要とするがさらに別の会話を必要としない質問であり得る。このような状況に対処するために、スキルボット１１６に関して質問および回答（question-and-answer：Ｑ＆Ａ）インテントが定義されてもよい。いくつかの実施形態では、Ｑ＆Ａインテントは、他のインテントと同様の局面で作成されるが、Ｑ＆Ａインテントについての対話フローは通常のインテントについてのものとは異なり得る。たとえば、Ｑ＆Ａインテントのための対話フローは、他のインテントの場合とは異なり、ユーザからの追加情報（たとえば、特定のエンティティについての値）を求めるために促すことを必要としない可能性もある。

（５）スキルボット１１６のための対話フローを作成する。スキルボット１１６に関して指定された対話フローは、受信されたユーザ入力１１０に応答してスキルボット１１６に関するさまざまなインテントが分解される場合にスキルボット１１６がどのように反応するかを記述する。対話フローは、スキルボット１１６がどのようにユーザ発話に応答するか、スキルボット１１６がどのようにユーザに入力を促すか、および、スキルボット１１６がどのようにデータを返すかなど、スキルボット１１６が取るであろう動作またはアクションを定義する。対話フローは、スキルボット１１６が辿るフローチャートに類似している。スキルボット１１６の設計者は、マークダウン言語などの言語を用いて対話フローを指定する。特定の実施形態では、ＯＢｏｔＭＬと呼ばれるＹＡＭＬのバージョンを用いて、スキルボット１１６のための対話フローを指定し得る。スキルボット１１６についての対話フロー定義は、スキルボット１１６の設計者に、スキルボット１１６と当該スキルボット１１６が対応するユーザとの間の対話のコレオグラフィを行なわせる、会話自体についてのモデルとして機能する。

特定の実施形態では、スキルボット１１６についての対話フロー定義は、以下で説明する３つのセクションを含む。

（ａ）コンテキストセクション
（ｂ）デフォルト遷移セクション
（ｃ）状態セクション
コンテキストセクション：スキルボット１１６の開発者は、コンテキストセクションにおいて、会話フローで用いられる変数を定義することができる。コンテキストセクションで指名され得る他の変数は、たとえば、エラー処理のための変数、組込みエンティティまたはカスタムエンティティのための変数、スキルボット１１６がユーザの好みを認識して維持することを可能にするユーザ変数など、を含む。

デフォルト遷移セクション：スキルボット１１６についての遷移は、対話フロー状態セクションまたはデフォルト遷移セクションで定義することができる。デフォルト遷移セクションで定義される遷移はフォールバックとして作用するものであって、或る状態内に定義される適用可能な遷移がない場合、または状態遷移をトリガするために必要な条件を満たせない場合に、トリガされる。デフォルト遷移セクションは、スキルボット１１６が予想外のユーザアクションに上手く対処することを可能にするルーティングを定義するために用いることができる。

状態セクション：対話フローおよびその関連動作は、対話フロー内の論理を管理する一連の一時的な状態として定義される。対話フロー定義内の各状態ノードは、対話においてその時点に必要とされる機能を提供するコンポーネントを指名する。このようにして、コンポーネントの周囲に状態を構築する。状態は、コンポーネント固有の特性を含み、コンポーネントが実行された後にトリガされる他の状態への遷移を定義する。

特別なケースのシナリオは、状態セクションを用いて対処され得る。たとえば、ユーザが関与している第１のスキルを一時的に残しておいて、デジタルアシスタント１０６内で第２のスキルで何かを行なうというオプションを、ユーザに与えることが所望される場合があるかもしれない。たとえば、ユーザがショッピングスキルとの会話に関与している（たとえば、ユーザが購入のために何らかの選択を行なった）場合、ユーザは、銀行業務スキルにジャンプし（たとえば、ユーザが購入に十分な金額を有することを確かめることを望み）、その後、ユーザの注文を完了するためにショッピングスキルに戻ることを望む場合がある。これに対処するために、第１のスキルの対話フロー定義内の状態セクションは、同じデジタルアシスタントにおいて第２の別のスキルとの対話を開始し、次いで元の対話フローに戻るように構成され得る。

（６）カスタムコンポーネントをスキルボット１１６に追加する：上述のように、スキルボット１１６についての対話フローで指定される状態は、当該状態に対応して必要とされる機能を提供するコンポーネントを指名する。コンポーネントは、スキルボット１１６が機能を実行することを可能にする。特定の実施形態では、ＤＡＢＰ１０２は、広範囲の機能を実行するための事前構成されたコンポーネントのセットを提供する。開発者は、これらの事前構成されたコンポーネントのうちの１つ以上を選択し、それらをスキルボット１１６についての対話フロー内の状態に関連付けることができる。開発者はまた、ＤＡＢＰ１０２によって提供されるツールを用いてカスタムのコンポーネントまたは新しいコンポーネントを作成するとともに、カスタムのコンポーネントをスキルボット１１６についての対話フロー内の１つ以上の状態に関連付けることができる。

（７）スキルボット１１６をテストおよび展開する：ＤＡＢＰ１０２は、開発者が開発中のスキルボット１１６をテストすることを可能にするいくつかの特徴を提供し得る。さらに、スキルボット１１６を展開し、デジタルアシスタント１０６に含めることができる。

上述で、スキルボット１１６を作成する方法を説明しているが、同様の技術を用いてデジタルアシスタント１０６またはマスタボット１１４を作成してもよい。マスタボットレベルまたはデジタルアシスタントレベルでは、デジタルアシスタント１０６のために組込みシステムインテントが構成され得る。いくつかの実施形態では、これらの組込みシステムインテントを用いて、スキルボット１１６を呼び出すことなくマスタボット１１４が対処できる一般的なタスクを識別する。マスタボット１１４に関して定義されるシステムインテントの例は以下を含む。（１）Exit（出口）：ユーザがデジタルアシスタントにおける現在の会話またはコンテキストの終了を所望している旨を知らせる場合に該当する。（２）Help（ヘルプ）：ユーザが支援または方向性を求める場合に該当する；（３）UnresolvedIntent（未解決のインテント）：ExitインテントおよびHelpインテントとうまく合致しないユーザ入力に該当する。マスタボット１１４は、デジタルアシスタント１０６に関連付けられた１つ以上のスキルボット１１６に関する情報を記憶し得る。この情報は、マスタボット１１４が発話に対処するための特定のスキルボット１１６を選択することを可能にするか、または代替的には、発話がデジタルアシスタント１０６のいずれのスキルボット１１６とも無関係であると判断することを可能にする。

ユーザがデジタルアシスタント１０６に句または発話を入力すると、マスタボット１１４は、発話および関連する会話をどのようにルーティングするかを決定する処理を実行するように構成される。マスタボット１１４は、ルールベースであり得るか、ＭＬベースであり得るかまたはそれらの組合わせであり得る、ルーティングモデルを用いてこれを決定する。マスタボット１１４はルーティングモデルを用いて、発話に対応する会話が、対処のために特定のスキルボット１１６にルーティングされるべきか、デジタルアシスタント１０６またはマスタボット１１４自体によって、組込みシステムインテントごとに対処されるべきか、現在の会話フローでの異なる状態として対処されるべきか、または、デジタルアシスタント１０６に関連付けられたスキルボット１１６のいずれとも無関係であるか、を判断する。

特定の実施形態では、この処理の一環として、マスタボット１１４は、入力発話がその呼び出し名を用いてスキルボット１１６を明確に識別するかどうかを判断する。呼び出し名が入力発話に存在する場合、当該呼び出し名は、呼び出し名に対応するスキルボット１１６の明確な呼び出しとして扱われる。そのようなシナリオでは、マスタボット１１４は、さらに別の対処のために、明確に呼び出されたスキルボット１１６に入力発話をルーティングしてもよい。特定の呼び出しまたは明確な呼び出しがない場合、特定の実施形態では、マスタボット１１４は、入力発話を評価するとともに、デジタルアシスタント１０６に関連付けられたシステムインテントおよびスキルボット１１６に関する信頼度スコアを（たとえば、ロジスティック回帰モデルを用いて）計算する。スキルボット１１６またはシステムインテントについて計算されたスコアは、入力発話が、スキルボット１１６が実行するように構成されるタスクを表わすかまたはシステムインテントを表わす可能性がどの程度であるかを表わしている。関連する計算済み信頼度スコアが閾値を超えている任意のシステムインテントまたはスキルボット１１６が、さらに別の評価のための候補として選択されてもよい。次いで、マスタボット１１４は、入力発話にさらに対処するために、識別された候補から特定のシステムインテントまたはスキルボット１１６を選択する。特定の実施形態では、１つ以上のスキルボット１１６が候補として識別された後、それらの候補スキルボット１１６に関連付けられたインテントが、各スキルボット１１６ごとに、トレーニングされたモデルを用いることなどによって評価され、さらに、各インテントごとに信頼度スコアが決定される。概して、閾値（たとえば、７０％）を超える信頼度スコアを有する任意のインテントが候補インテントとして扱われる。特定のスキルボット１１６が選択される場合、入力発話は、さらに別の処理のためにそのスキルボット１１６にルーティングされる。システムインテントが選択されると、選択されたシステムインテントに従ってマスタボット１１４自体によって１つ以上のアクションが実行される。

本明細書に記載するマスタボット１１４のいくつかの実施形態は、適用可能な場合、入力発話を適切なスキルボット１１６に向けるだけでなく、入力発話が利用可能なスキルボット１１６と無関係になったときに無関係な入力発話が無関係であることを示す何らかの表示を促すかを判断するようにも構成される。図２は、本明細書に記載されるいくつかの実施形態に従った、入力発話をスキルボット１１６に向けるとともに、適用可能な場合、特定の入力発話が利用可能なスキルボット１１６と無関係であると判断するように、マスタボットを構成および使用する方法２００を示すフロー図である。図２の方法２００は、以下で詳細に説明されるさまざまな具体的な事例についての全体的概要である。

図２に示す方法２００および本明細書で説明する他の方法は、１つ以上の処理ユニット（たとえば、プロセッサまたはプロセッサコア）によって実行されるソフトウェアで（たとえば、コード、命令、またはプログラムとして）、ハードウェアで、またはそれらの組合せで、実現され得る。ソフトウェアは、メモリデバイスなどの非一時的記憶媒体に記憶され得る。この方法２００は、例示的かつ非限定的であるよう意図されたものである。図２は、特定の並びまたは順序で起こるさまざまな動作を示すが、これは限定することを意図するものではない。特定の実施形態では、たとえば、これらの動作が異なる順序で実行されてもよく、または、方法２００の１つ以上の動作が並行して実行されてもよい。特定の実施形態では、方法２００は、トレーニングシステムおよびマスタボット１１４によって実行されてもよい。

図２に示すように、方法２００のブロック２０５において、マスタボット１１４の分類器モデルが初期化される。いくつかの実施形態では、分類器モデルは、入力発話がいずれの利用可能なスキルボット１１６とも無関係であるかどうかを判断するように構成される。加えて、いくつかの実施形態では、分類器モデルはまた、入力発話がスキルボット１１６に関連すると見なされる場合、入力発話を処理のために好適なスキルボット１１６にルーティングするように構成されてもよい。

いくつかの実施形態では、分類器モデルの初期化は、無関係の入力発話を如何に認識するかを分類器モデルに教育することを含み得る。この目的のために、ＤＡＢＰ１０２の一部であり得るトレーニングシステムは、各スキルボット１１６ごとにトレーニング発話（すなわち、例示的な発話）へのアクセスを有し得る。トレーニングシステムは、マスタボット１１４にとって利用可能であるかまたは利用可能になるであろうさまざまなスキルボット１１６の各トレーニング発話を記述および表現するそれぞれのトレーニング特徴ベクトルを生成し得る。各トレーニング特徴ベクトルは、対応するトレーニング発話の特徴ベクトルである。次いで、トレーニングシステムは、トレーニング特徴ベクトルからさまざまなセット表現を生成し得る。各セット表現は、トレーニング特徴ベクトルの集合を表現するものであり得る。たとえば、このような集合は、以下で詳細に説明するように、クラスタまたは合成特徴ベクトルであってもよい。分類器モデルを初期化するために、トレーニングシステムは、入力ベクトルをトレーニング特徴ベクトルの集合を表わすさまざまなセット表現と比較するように分類器モデルを構成してもよい。

ブロック２１０において、マスタボット１１４は、入力発話の形式でユーザ入力１１０を受信する。たとえば、ユーザは、入力発話をユーザ入力１１０としてタイプしたかもしれず、またはユーザは、デジタルアシスタント１０６が入力発話に変換したユーザ入力１１０を話したかもしれない。入力発話は、デジタルアシスタント１０６によって、したがってマスタボット１１４によって対処されるべきユーザ要求を含み得る。

ブロック２１５において、マスタボット１１４は、分類器モデルを利用して、マスタボット１１４に関連付けられたいずれのスキルボット１１６によっても入力発話に対処することができるかどうかを判断する。いくつかの実施形態では、マスタボット１１４の分類器モデルは、入力発話を記述および表現する入力特徴ベクトルを生成する。分類器モデルは、入力特徴ベクトルをトレーニング特徴ベクトルのセット表現と比較し得るとともに、この比較に基づいて、分類器モデルは、入力発話がマスタボット１１４にとって利用可能ないずれのスキルボット１１６（すなわち、セット表現においてトレーニング発話が表現されているスキルボット１１６）とも無関係であるかどうかを判断する。

デジタルアシスタントまたはスキルボットレベルでの分類の例
図３は、本明細書で説明する特定の実施形態に従った、マスタボット（master bot：ＭＢ）システムとも称されるマスタボット１１４を示すブロック図である。マスタボット１１４は、ソフトウェアでのみ、ハードウェアでのみ、またはハードウェアとソフトウェアとの組合わせで、実現することができる。いくつかの実施形態では、マスタボット１１４は、前処理サブシステム３１０と、ルーティングサブシステム３２０とを含む。図３に示すマスタボット１１４は、マスタボット１１４内の構成要素の配置の単なる一例に過ぎない。当業者であれば、多くの実現可能な変形例、代替例および修正例を認識するだろう。たとえば、いくつかの実現例では、マスタボット１１４は、図３に示されるものよりも多いかもしくは少ないシステムもしくは構成要素を有してもよく、２つ以上のサブシステムを組合わせてもよく、または、サブシステムの異なる構成または配列を有してもよい。

いくつかの実施形態では、言語処理サブシステム３１０は、ユーザによって提供されるユーザ入力１１０を処理するように構成される。このような処理は、たとえば、ユーザ入力が音声形式またはテキストではない他の何らかの形式である場合に、自動音声認識または他の何らかのツールを用いてユーザ入力１１０をテキスト入力発話３０３に変換することを含み得る。

いくつかの実施形態では、ルーティングサブシステム３２０は、（ａ）入力発話３０３がいずれの利用可能なスキルボット１１６とも無関係であるかどうか、および、（ｂ）入力発話３０３が少なくとも１つのスキルボット１１６に関係する場合、入力発話３０３に対処するのにどのスキルボット１１６が最も適しているか、を判断するように構成される。特に、ルーティングサブシステム３２０の分類器モデル３２４は、ルールベースもしくはＭＬベース、またはそれらの組合わせであってもよく、入力発話３０３が、いずれの利用可能なスキルボット１１６とも無関係であるか、特定のスキルボット１１６を表わしているか、または、特定のスキルボット１１６のために構成された特定のインテントを表わしているかを判断するように構成されてもよい。たとえば、上述のように、スキルボット１１６は１つ以上のチャットボットインテントで構成されてもよい。各チャットボットインテントは、それ自体の対話フローを有し得るとともに、スキルボット１１６が実行できる１つ以上のタスクに関連付けられてもよい。入力発話３０３が特定のスキルボット１１６を表わしているかまたは特定のスキルボット１１６が構成されたインテントを表わしていると判断されると、ルーティングサブシステム３２０は、特定のスキルボット１１６を呼び出して、入力発話３０３を特定のスキルボット１１６についての入力３３５として伝達することができる。しかしながら、入力発話３０３がいずれの利用可能なスキルボット１１６とも無関係であると見なされる場合、入力発話３０３は、利用可能なスキルボットによって対処することができない発話のクラスである、非クラス３１６に属するものと見なされる。その場合、デジタルアシスタント１０６は、入力発話３０３に対処できないことをユーザに示してもよい。

いくつかの実施形態では、分類器モデル３２４は、ルールベースのモデルもしくはＭＬベースのモデル、またはその両方を用いて実現され得る。たとえば、いくつかの実施形態では、分類器モデル３２４は、例示的な発話を含むトレーニングデータ３５４上でトレーニングされたルールベースのモデルを含み得る。このため、ルールベースのモデルを用いて、入力発話がいずれの利用可能なスキルボット１１６（すなわち、デジタルアシスタント１０６に関連付けられたいずれかのスキルボット１１６）とも無関係であるかどうかが判断される。付加的または代替的には、いくつかの実施形態では、分類器モデル３２４は、トレーニングデータ３５４に対してトレーニングされたニューラルネットワークを含み得る。トレーニングデータ３５４は、各スキルボット１１６ごとに、例示的な発話の対応するセット（たとえば、スキルボット１１６が構成される各インテントごとに２つ以上の例示的な発話）を含み得る。たとえば、図３の例では、利用可能なスキルボット１１６は、第１のスキルボット１１６ａと、第２のスキルボット１１６ｂと、第３のスキルボット１１６ｃとを含み、トレーニングデータ３５４は、第１のスキルボット１１６ａに対応する第１のスキルボットデータ３５８ａと、第１のスキルボット１１６ｂに対応する第２のスキルボットデータ３５８ｂと、第１のスキルボット１１６ｃに対応する第３のスキルボットデータ３５８ｃとを含め、このような各スキルボット１１６ごとにそれぞれのスキルボットデータを含む。スキルボット１１６についてのスキルボットデータは、特にそのスキルボット１１６によって対処され得る発話を表わすトレーニング発話（すなわち、例示的な発話）を含み得る。したがって、トレーニングデータ３５４は、さまざまなスキルボット１１６の各々についてのトレーニング発話を含む。トレーニングシステム３５０は、ＤＡＢＰ１０２に組込まれてもよいが必ずしも組込まれる必要はなく、トレーニングデータ３５４を用いて、マスタボット１１４の分類器モデル３２４をトレーニングして、これらのタスクを実行してもよい。

いくつかの実施形態では、トレーニングシステム３５０は、トレーニングデータ３５４を用いて分類器モデル３２４をトレーニングして、入力発話がいずれの利用可能なスキルボット１１６とも無関係であるかどうかを判断する。概して、トレーニングシステム３５０は、トレーニングデータ３５４内のトレーニング発話を記述および表現するためにトレーニング特徴ベクトルを生成し得る。以下で詳細に説明するように、トレーニングシステム３５０はセット表現を生成し得る。各セット表現はトレーニング特徴ベクトルの集合を表現するものである。トレーニング後および動作中に、分類器モデル３２４は、入力発話３０３をセット表現と比較して、入力発話３０３がいずれの利用可能なスキルボット１１６とも無関係であるかどうかを判断してもよい。

いくつかの実施形態では、分類器モデル３２４は１つ以上のサブモデルを含み、各サブモデルは、入力発話３０３を分類することに関係するさまざまなタスクを実行するように構成される。上述に加えて、または上述の代わりに、たとえば、分類器モデル３２４は、入力発話３０３が少なくとも１つの利用可能なスキルボット１１６に関係する（すなわち、無関係ではない）と見なされる場合、どのスキルボット１１６が入力発話に最も適しているかを判断するように構成されたＭＬモデルまたは他のタイプのモデルを含み得る。いくつかの実施形態では、分類器モデル３２４は、最も適切なスキルボット１１６を決定し得る一方で、入力発話が少なくとも１つのスキルボット１１６に関係していると判断し得る。この場合、最も適したスキルボット１１６を識別するためのさらに別の判断を行なう必要はない。しかしながら、代替的には、分類器モデル３２４は、各スキルボット１１６ごとに、スキルボット１１６が入力発話３０３を処理するのに最も適している（すなわち、入力発話に最も適している）可能性を示す関連する信頼度スコアを（たとえば、ロジスティック回帰モデルを用いて）決定し得る。この目的のために、分類器モデル３２４に含まれるニューラルネットワークは、入力発話３０３が各スキルボット１１６を表わしているかまたはスキルボット１１６のために構成されたインテントのうちの１つを表わしている尤度を決定するために、トレーニングシステムによってトレーニングされ得る。たとえば、ニューラルネットワークは、各スキルボット１１６に関連付けられたそれぞれの信頼度スコアを決定して出力し得る。この場合、スキルボットについての信頼度スコアは、スキルボット１１６が入力発話３０３に対処することができる尤度、または入力発話に対処するための最良の利用可能なスキルボット１１６である尤度を示す。信頼度スコアを考慮して、ルーティングサブシステム３２０は、最も高い信頼度スコアに関連付けられたスキルボット１１６を選択し得るとともに、処理のために入力発話３０３をそのスキルボット１１６にルーティングし得る。

図４は、本明細書に記載の特定の実施形態に従った、スキルボットシステムとも称されるスキルボット１１６を示す図である。図４に示すスキルボット１１６のインスタンスは、図１のスキルボット１１６として用いることができ、ソフトウェアでのみ、ハードウェアでのみ、またはハードウェアとソフトウェアの組合わせで、実現することができる。図４に示すように、スキルボット１１６は、入力発話３０３のインテントを決定するボット分類器モデル４２４と、インテントに基づいて応答４３５を生成する会話マネージャ４３０とを含み得る。

ボット分類器モデル４２４は、ルールベースのモデルもしくはＭＬベースのモデル、またはその両方を用いて実現することができ、マスタボット１１４によってスキルボット１１６にルーティングされた入力発話３０３を入力として受け取ることができる。ボット分類器モデル４２４は、スキルボット１１６上のデータストア４５０内のルール４５２およびインテントデータ４５４にアクセスし得るか、または、スキルボット１１６にアクセス可能であり得る。たとえば、インテントデータ４５４は、各インテントごとに例示的な発話または他のデータを含んでもよく、ルール４５２は、入力発話３０３についてのインテントを決定するためにインテントデータをどのように用いるかを記述してもよい。ボット分類器モデル４２４は、これらのルールを入力発話３０３およびインテントデータ４５４に適用して、入力発話３０３のインテントを決定し得る。

より具体的には、いくつかの実施形態では、ボット分類器モデル４２４は、図３の分類器モデル３２４が入力発話３０３に対処するためにスキルボット１１６を決定するのと同様の方法で動作し得る。たとえば、ボット分類器モデル４２４は、（たとえば、ロジスティック回帰モデルを用いて）それぞれの信頼度レベルを決定し得るとともに、分類器モデル３２４がスキルボット１１６に信頼度レベルを割当て得るのと同様の方法で、スキルボット１１６が構成される各チャットボットインテントに当該それぞれの信頼度レベルを割当て得る。このため、信頼度レベルは、それぞれのチャットボットインテントが入力発話３０３に適用可能である可能性が最も高い尤度を示す。次いで、ボット分類器モデル４２４は、最も高い信頼度レベルが割当てられているインテントを選択し得る。付加的または代替的な実施形態では、ボット分類器モデル４２４は、入力発話３０３を記述する入力特徴ベクトルを、（ａ）それぞれのインテントに関するトレーニング特徴ベクトルを表わすために１つの合成特徴ベクトルを含む合成特徴ベクトル、または、（ｂ）トレーニング特徴ベクトルのクラスタ、のいずれかまたは両方と比較することによって、入力発話３０３に関するインテントを決定する。この場合、各クラスタはインテントまたは複数のインテントを表わしている。このような特徴ベクトルの使用について、以下でより詳細に説明する。

発話２０２が最も良く表わすインテントが識別されると、ボット分類器モデル４２４は、インテント指示４２２（すなわち、識別されたインテントの指示）を会話マネージャ４３０に伝達し得る。図４の実施形態では、会話マネージャ４３０は、スキルボット１１６に対してローカルなものとして示されている。しかしながら、会話マネージャ４３０は、マスタボット１１４と、または複数のスキルボット１１６にわたって、共有され得る。したがって、いくつかの実施形態では、会話マネージャ４３０はデジタルアシスタントまたはマスタボット１１４に対してローカルである。

インテント指示４２２の受信に応答して、会話マネージャ４３０は、発話２０２に対する適切な応答４３５を決定し得る。たとえば、応答４３５は、スキルボット１１６のシステム４００のために構成された対話フロー定義４５５において指定されるアクションまたはメッセージであり得るとともに、応答４３５は、図１の実施形態におけるＤＡ応答１１２として用いられ得る。たとえば、データストア４５０は、各インテントごとにそれぞれの対話フロー定義を含むさまざまな対話フロー定義を含み得るとともに、会話マネージャ４３０は、その対話フロー定義４５５に対応するインテントの識別に基づいて対話フロー定義４５５にアクセスし得る。会話マネージャ４３０は、対話フロー定義４５５に基づいて、対話フロー定義４５５に従って、或る対話フロー状態を、遷移すべき次の状態であるとして決定し得る。会話マネージャ４３０は、入力発話３０３のさらに別の処理に基づいて応答４３５を決定し得る。たとえば、入力発話３０３が「預金の残高をチェックする（Check balance in savings）」である場合、会話マネージャ４３０は、ユーザの預金口座に関係する対話がユーザに提示される対話フロー状態に遷移し得る。会話マネージャ４３０は、識別されたインテントがスキルボット１１６のために構成された「CheckBalance」インテントであることを示すインテント指示４２２に基づいて、さらに、「Account_Type」エンティティに関して「saving」の値が抽出されたことの認識に基づいて、この状態に遷移し得る。

発話を記述するための特徴ベクトルの使用
上述のように、分類器モデル３２４は、入力発話がいずれの利用可能なスキルボット１１６とも無関係であるかまたは関係しているかを判断するときに特徴ベクトルを使用し得る。本開示の目的のために、特徴ベクトルは、発話の特徴を記述するとともにこれにより発話自体を記述するベクトルまたは座標のセットである。発話を記述する特徴ベクトルは、本明細書で説明されるように、特定の状況における発話を表わすために用いられ得る。

特徴ベクトルの概念は、単語埋め込みの概念に基づいている。概して、単語埋め込みは、単語が対応しているベクトルにマッピングされる言語モデリングのタイプである。特定の単語埋め込みは、ベクトル空間の類似する領域に意味論的に類似する単語をマッピングし得る。このため、類似する単語同士はベクトル空間内で互いに近接し、類似していない単語同士は遠く離れることとなる。単語埋め込みの単純な例では、「ワン・ホット（one hot）」符号化を用いる。この場合、辞書内の各単語は、辞書のサイズに等しい次元の量を有するベクトルにマッピングされ、このため、当該ベクトルは、単語自体に対応する次元において１の値を有し、他のすべての次元においてゼロの値を有することとなる。たとえば、「Go intelligent bot service artificial intelligence, Oracle」という文の最初の２つの単語は、以下の「ワン・ホット」符号化を用いて表現され得る。

特徴ベクトルは、単語、文、またはさまざまなタイプの句を表わすために用いることができる。単語埋め込みの上述の単純な例を考慮すると、対応する特徴ベクトルは、発話などの一連の単語を、その一連の単語の単語埋め込みの集合である特徴ベクトルにマッピングし得る。その集合は、たとえば、合計、平均または加重平均であり得る。

互いに異なる発話の場合、そのような発話は大きく異なる意味論的意味を有する単語を含んでいるため、それぞれの特徴ベクトルも異なり得る。しかしながら、意味論的に類似しており、このため、発話間で同じであるかまたは発話間で意味論的に類似する単語を含む発話は、類似する特徴ベクトル（すなわち、ベクトル空間内で互いに近接して位置する特徴ベクトル）を有し得る。各特徴ベクトルは、特徴空間とも称されるベクトル空間内の単一の点に対応しており、その点は、特徴空間の原点に特徴ベクトルを加えたものである。いくつかの実施形態では、意味論的に互いに類似する発話についての点同士は互いに近接して位置している。本開示の全体を通じて、特徴ベクトルおよびその対応する点は、これら２つが同じ情報に関して異なる視覚的な見た目を提供するので、互換的に参照される。

マスタボットの分類器モデルを初期化するための例示的な方法
いくつかの実施形態では、マスタボット１１４の分類器モデル３２４は、入力発話がいずれの利用可能なスキルボット１１６とも無関係であるかまたは関係があるかを判断するための基準としてトレーニング発話の特徴ベクトルを利用する。図５は、本明細書で説明するいくつかの実施形態に従った、このタスクを実行するためにマスタボット１１４の分類器モデル３２４を初期化する方法５００を示す図である。たとえば、この方法５００または同様の方法は、入力発話３０３をルーティングするためにマスタボット１１４を構成および使用するための方法２００のブロック２０５において実行され得る。図５は概略的な方法５００であり、それについてのより詳細な例が図１４および図１８を参照して図示および説明される。

図５に示す方法５００ならびに本明細書で説明する他の方法は、１つ以上の処理ユニット（たとえば、プロセッサまたはプロセッサコア）によって実行されるソフトウェアで（たとえば、コード、命令、またはプログラムとして）、ハードウェアで、またはそれらの組合せで、実現され得る。ソフトウェアは、メモリデバイスなどの非一時的記憶媒体に記憶され得る。この方法５００は、例示的かつ非限定的であるよう意図されている。図５は、特定の並びまたは順序で起こるさまざまな動作を示すが、これは限定することを意図するものではない。特定の実施形態では、たとえば、これらの動作が異なる順序で実行されてもよく、または、方法５００の１つ以上の動作が並行して実行されてもよい。特定の実施形態では、方法５００は、ＤＡＢＰ１０２の一部であり得るトレーニングシステム３５０によって実行されてもよい。

ブロック５０５において、トレーニングシステム３５０は、マスタボット１１４に関連付けられたさまざまなスキルボット１１６のためのトレーニング発話（例示的な発話とも称される）にアクセスする。たとえば、トレーニング発話は、トレーニングシステム３５０がアクセス可能なトレーニングデータ３５４にスキルボットデータとして記憶されてもよい。いくつかの実施形態では、マスタボット１１４にとって利用可能な各スキルボット１１６は、トレーニング発話のサブセットと関連付けられてもよく、このようなトレーニング発話の各サブセットは、スキルボット１１６が構成される各インテントごとにトレーニング発話を含んでもよい。このため、トレーニング発話のセット一式は、あらゆるスキルボット１１６のあらゆるインテントが表わされるように、各スキルボット１１６の各インテントごとにトレーニング発話を含み得る。

ブロック５１０において、トレーニングシステム３５０は、ブロック５０５でアクセスされたトレーニング発話からトレーニング特徴ベクトルを生成する。上述のように、トレーニング発話は、各スキルボット１１６に関連付けられたサブセットを含んでもよく、さらに、各スキルボット１１６の各インテントごとにトレーニング発話を含んでもよい。したがって、いくつかの実施形態では、トレーニング特徴ベクトルは、各スキルボット１１６ごとにそれぞれのサブセットを含んでもよく、さらに、各スキルボットの各インテントごとにそれぞれの特徴ベクトルを含んでもよい。

図６は、本明細書で説明するいくつかの実施形態に従った、トレーニング発話６１５からのトレーニング特徴ベクトル６２０の生成を示す。具体的には、図６は、トレーニングデータ３５４内のスキルボットデータ３５８のトレーニング発話６１５に関係しており、スキルボットデータ３５８は特定のスキルボット１１６に関連付けられている。スキルボット１１６は、インテントＡおよびインテントＢを含む複数のインテントの入力発話３０３に対処するように構成されており、このため、トレーニング発話６１５は、インテントＡを表わすトレーニング発話６１５と、インテントＢを表わすトレーニング発話６１５とを含む。

上述したように、トレーニングシステム３５０は、それぞれのトレーニング発話６１５を記述および表現するためにトレーニング特徴ベクトル６２０を生成し得る。トレーニング発話６１５などの一連の単語をトレーニング特徴ベクトル６２０などの特徴ベクトルに変換するためのさまざまな技術が公知であり、そのような技術のうちの１つ以上が用いられてもよい。たとえば、トレーニングシステム３５０は、ワン・ホット符号化または他の何らかの符号化を用いて、各トレーニング発話６１５を対応するトレーニング特徴ベクトル６２０として符号化し得るが、必ずしも符号化する必要はない。

また、上述したように、特徴ベクトルは点として表わすことができる。いくつかの実施形態では、各トレーニング特徴ベクトル６２０は、特徴空間６３０内の点６４０として表わすことができる。この場合、特徴空間は、トレーニング特徴ベクトル６２０内の特徴の数（すなわち、次元の数）に等しい数の次元を有する。図６の例では、同じインテント、具体的にはインテントＡ、を表わす２つのトレーニング特徴ベクトル６２０は、これら２つのトレーニング特徴ベクトル６２０が意味論的に類似しているので、互いに近い点６４０としてプロットされている。しかしながら、特定のインテントに関するすべてのトレーニング特徴ベクトル６２０またはすべての特徴ベクトルが互いに近い点として表わされる必要はない。

図５に戻って、ブロック５１５において、トレーニングシステム３５０は、ブロック５１０において生成されたトレーニング特徴ベクトル６２０の複数のセット表現を生成する。各セット表現はトレーニング特徴ベクトル６２０のセットを表わしている。以下で詳細に説明するように、セット表現は、たとえば、トレーニング特徴ベクトル６２０のクラスタであり得るか、または、複数のトレーニング特徴ベクトル６２０の集合である合成特徴ベクトルであり得る。本質的に、セット表現は、共にグループ化された複数のトレーニング特徴ベクトル６２０を表わす態様であり得る。対応するセット表現で表わされるトレーニング特徴ベクトルの各セットは、共通のインテント、共通のインテントのグループ、共通のスキルボット１１６、または特徴空間６３０の共通の領域を共有し得るか、または、代替的には、単一のセット表現で表わされるトレーニング特徴ベクトルは、トレーニングデータ３５４に基づく以外にいかなる共通性も有する必要はない。

ブロック５２０において、トレーニングシステム３５０は、ユーザ入力１１０として提供される入力発話３０３をさまざまなセット表現と比較するように分類器モデル３２４を構成し得る。たとえば、セット表現は、マスタボット１１４の分類器モデル３２４にとってアクセス可能な記憶装置に記憶され得る。分類器モデル３２４は、入力発話がさまざまなセット表現に合致するかまたは合致しないかをどのように判断するかについてのルールでプログラムされ得る。合致の定義は、以下でより詳細に説明されるように、使用されている特定のセット表現に依存し得る。

図７は、本明細書で説明されるいくつかの実施形態に従った、マスタボット１１４の分類器モデル３２４を用いて、ユーザ入力１１０として提供される入力発話３０３がマスタボット１１４と関連付けられるいずれの利用可能なスキルボット１１６とも無関係であるかどうかを判断する方法７００を示す図である。この方法７００または同様の方法は、分類器モデル３２４の初期化後に、さらに、受信された各入力発話３０３ごとに実行され得る。たとえば、この方法７００または同様の方法は、入力発話３０３をルーティングするためにマスタボット１１４を構成および使用するための方法２００のブロック２１５において実行され得る。図７は概略的な方法７００であり、それについてのより詳細な例が図１６および図２１を参照して図示および説明される。

図７に示す方法７００および本明細書で説明する他の方法は、１つ以上の処理ユニット（たとえば、プロセッサまたはプロセッサコア）によって実行されるソフトウェアで（たとえば、コード、命令、またはプログラムとして）、ハードウェアで、またはそれらの組合せで、実現され得る。ソフトウェアは、メモリデバイスなどの非一時的記憶媒体に記憶され得る。この方法７００は、例示的かつ非限定的であるよう意図されている。図７は、特定の並びまたは順序で起こるさまざまな動作を示すが、これは限定することを意図するものではない。特定の実施形態では、たとえば、これらの動作が異なる順序で実行されてもよく、または、方法７００の１つ以上の動作が並行して実行されてもよい。特定の実施形態では、方法７００はマスタボット１１４によって実行されてもよい。

方法７００のブロック７０５において、マスタボット１１４は、ユーザ入力１１０として提供された入力発話３０３にアクセスする。たとえば、いくつかの実施形態では、ユーザは、音声入力の形式でユーザ入力１１０を提供し得るとともに、デジタルアシスタント１０６は、マスタボット１１４によって使用するために、そのユーザ入力１１０をテキスト入力発話３０３に変換し得る。

ブロック７１０において、マスタボット１１４は、ブロック７０５においてアクセスされた入力発話３０３から入力特徴ベクトルを生成し得る。入力特徴ベクトルは入力発話３０３を記述および表現し得る。入力発話などの一連の単語を特徴ベクトルに変換するためのさまざまな技術が公知であり、そのような技術のうちの１つ以上が用いられてもよい。たとえば、トレーニングシステム３５０は、ワン・ホット符号化または他の何らかの符号化を用いて、入力発話を対応する入力特徴ベクトルとして符号化し得るが、必ずしも符号化する必要はない。しかしながら、マスタボット１１４の一実施形態は、分類器モデル３２４をトレーニングする際にトレーニング発話からトレーニング特徴ベクトル６２０を生成するために用いられたのと同じ技術を用いる。

判定ブロック７１５において、マスタボット１１４は、分類器モデル３２４に、ブロック７１０において生成された入力特徴ベクトルを、分類器モデル３２４を初期化するための方法５００のブロック５１５において決定されたセット表現と比較させてもよく、こうして、マスタボット１１４は、入力特徴ベクトルがマスタボット１１４にとって利用可能ないずれのスキルボット１１６とも合致するかどうかを判断し得る。比較および合致のための特定の技術はセット表現の性質に依存する可能性がある。たとえば、以下で説明するように、セット表現がトレーニング特徴ベクトル６２０のクラスタである場合、分類器モデル３２４は、入力特徴ベクトル（すなわち、入力特徴ベクトルを表わす点）をクラスタと比較することで、入力特徴ベクトルがクラスタのいずれかの範囲内にあり、このため、少なくとも１つのスキルボット１１６に合致するかどうかを判断し得るか、または、セット表現がトレーニング特徴ベクトルの合成ベクトルである場合、分類器モデル３２４は、入力特徴ベクトルを合成特徴ベクトルと比較することで、入力特徴ベクトルがそのようないずれの合成特徴ベクトルにも十分に類似しており、このため、少なくとも１つのスキルボット１１６と合致するかどうかを判断し得る。さまざまな実現例が実現可能であり、本開示の範囲内にある。

判定ブロック７１５において、入力特徴ベクトルが少なくとも１つのスキルボット１１６と合致すると見なされる場合、ブロック７２０において、マスタボット１１４は、入力特徴ベクトルが合致すると見みなされているスキルボット１１６に入力発話をルーティングし得る。しかしながら、判断ブロック７１５において、入力特徴ベクトルがいずれのスキルボット１１６とも合致しないと見なされる場合、ブロック７２５において、マスタボット１１４は、発話がいずれのスキルボット１１６によっても処理することができないことを示し得る。この指示はデジタルアシスタントに渡されてもよく、当該デジタルアシスタントは、ユーザ入力１１０がデジタルアシスタントによって処理または対処できないことを示す出力をユーザに提供してもよい。

図８は、本明細書で説明するいくつかの実施形態に従った、マスタボット１１４の分類器モデル３２４を用いて、ユーザ入力１１０として提供される入力発話３０３がマスタボット１１４に関連付けられたいずれの利用可能なスキルボット１１６とも無関係であるかどうかを判断する方法８００の別の例を示す図である。この方法８００または同様の方法は、分類器モデル３２４の初期化後に、さらに、受信された各入力発話３０３ごとに実行され得る。たとえば、この方法８００または同様の方法は、入力発話３０３をルーティングするためにマスタボット１１４を構成および使用するための方法２００のブロック２１５において実行され得る。図７の方法７００と同様に、図８の方法８００は概略的な方法８００であり、それについていくつかの方法ブロックのより詳細な例が図１６および図２１を参照して図示および説明される。しかしながら、図７の方法７００とは対照的に、この方法８００は、判定ブロック８１０およびブロック８１５における予備的なフィルタリング動作を例示しており、これは、トレーニング発話６１５に類似する特定の入力発話３０３が非クラス３１６に属するものと分類されないことを確実にするために用いることができる。言い換えれば、この方法８００はフィルタを含んでおり、当該フィルタは、トレーニング発話６１５に十分に類似していると見なされるいずれの入力発話３０３も非クラスの検討事項からフィルタリングし、これにより、そのような入力発話３０３がスキルボット１１６にルーティングされることを確実にする。

図８に示す方法８００および本明細書で説明する他の方法は、１つ以上の処理ユニット（たとえば、プロセッサまたはプロセッサコア）によって実行されるソフトウェアで（たとえば、コード、命令、またはプログラムとして）、ハードウェアで、またはそれらの組合せで、実現され得る。ソフトウェアは、メモリデバイスなどの非一時的記憶媒体に記憶され得る。この方法８００は、例示的かつ非限定的であるよう意図されている。図８は、特定の並びまたは順序で起こるさまざまな動作を示すが、これは限定することを意図するものではない。特定の実施形態では、たとえば、これらの動作が異なる順序で実行されてもよく、または、方法８００の１つ以上の動作が並行して実行されてもよい。特定の実施形態では、方法８００はマスタボット１１４によって実行されてもよい。

方法８００のブロック８０５において、マスタボット１１４は、ユーザ入力１１０として提供された入力発話３０３にアクセスする。たとえば、いくつかの実施形態では、ユーザは、音声入力の形式でユーザ入力１１０を提供し得るとともに、デジタルアシスタント１０６は、マスタボット１１４によって使用するために、そのユーザ入力１１０をテキスト入力発話３０３に変換し得る。

判定ブロック８１０において、マスタボット１１４は、分類器モデル３２４に、ブロック８０５においてアクセスされた入力発話３０３のうちすべての単語、または単語のうち所定のパーセンテージの単語がトレーニング発話６１５内に見つかるかどうかを判断させ得る。たとえば、いくつかの実施形態では、分類器モデル３２４は、トレーニング発話６１５の単語に基づいてブルーム（Bloom）フィルタを利用し、このブルームフィルタを入力発話３０３に適用する。

入力発話３０３が、判定ブロック８１０でトレーニング発話６１５において見出される単語のみを含む場合、マスタボット１１４は、入力発話が少なくとも１つのスキルボット１１６に関係しており、このため、非クラス３１６には属していないと判断し得る。その場合、ブロック８１５において、マスタボット１１４は、入力発話３０３を、当該入力発話３０３に最も密に合致するスキルボット１１６にルーティングしてもよい。たとえば、上述のように、分類器モデル３２４は、入力発話についての各スキルボット１１６に（たとえば、ロジスティック回帰モデルを用いて）信頼度スコアを割当てるように構成されてもよい。マスタボット１１４は、最も高い信頼度スコアを有するスキルボット１１６を選択してもよく、入力発話３０３をそのスキルボット１１６にルーティングしてもよい。

しかしながら、判定ブロック８１０において、入力発話３０３がトレーニング発話６１５内に無い任意の単語を含むかまたは閾値よりも大きいパーセンテージの単語を含む場合、方法８００はブロック８２０に進む。ブロック８２０において、マスタボット１１４は、ブロック８０５においてアクセスされた入力発話３０３から入力特徴ベクトルを生成し得る。入力特徴ベクトルは入力発話３０３を記述および表現し得る。入力発話等の一連の単語を特徴ベクトルに変換するためのさまざまな技術が公知であり、そのような技術のうちの１つ以上が用いられてもよい。たとえば、トレーニングシステム３５０は、ワン・ホット符号化または他の何らかの符号化を用いて、各トレーニング発話６１５を対応するトレーニング特徴ベクトル６２０として符号化し得るが、必ずしも符号化する必要はない。しかしながら、マスタボット１１４の一実施形態は、トレーニング発話からトレーニング特徴ベクトル６２０を生成するために用いられたのと同じ技術を用いる。

判定ブロック８２５において、マスタボット１１４は、分類器モデル３２４に、ブロック８２０において生成された入力特徴ベクトルを、分類器モデル３２４を初期化するための方法５００のブロック５１５において決定されたセット表現と比較させてもよく、これにより、マスタボット１１４は、入力特徴ベクトルがマスタボット１１４にとって利用可能ないずれのスキルボット１１６とも合致するかどうかを判断し得る。比較および合致のための特定の技術はセット表現の性質に依存し得る。たとえば、以下で説明するように、セット表現がトレーニング特徴ベクトル６２０のクラスタである場合、分類器モデル３２４は、入力特徴ベクトル（すなわち、入力特徴ベクトルを表わす点）をクラスタと比較することで、入力特徴ベクトルがクラスタのいずれかの範囲内にあり、このため、少なくとも１つのスキルボット１１６と合致するかどうかを判断し得るか、または、セット表現がトレーニング特徴ベクトルの合成ベクトルである場合、分類器モデル３２４は、入力特徴ベクトルを合成特徴ベクトルと比較することで、入力特徴ベクトルがこのようないずれの合成特徴ベクトルにも十分に類似しており、このため、少なくとも１つのスキルボット１１６と合致するかどうかを判断し得る。さまざまな実現例が実現可能であり、本開示の範囲内にある。

判定ブロック８２５において、入力特徴ベクトルが少なくとも１つのスキルボット１１６と合致すると見なされる場合、ブロック８３０において、マスタボット１１４は、入力特徴ベクトルが合致すると見なされるスキルボット１１６に入力発話をルーティングしてもよい。しかしながら、判定ブロック８２５において、入力特徴ベクトルがいずれのスキルボット１１６とも合致しないと見なされる場合、ブロック８３５において、マスタボット１１４は、発話がいずれのスキルボット１１６によっても処理できないことを示し得る。この指示は、デジタルアシスタントに渡されてもよく、当該デジタルアシスタントは、ユーザ入力１１０がデジタルアシスタントによって処理または対処できないことを示す出力をユーザに提供してもよい。

分類器モデルによって使用可能なクラスタの種類の例
上述のとおり、分類器モデル３２４によって使用可能であるセット表現の例示的なタイプはトレーニング特徴ベクトル６２０のクラスタである。概して、利用可能なスキルボット１１６によって対処することができ、このため、利用可能なスキルボット１１６に関係している入力発話は、それらのスキルボット１１６に関するトレーニング発話６１５に対していくらかの意味論的な類似度を有すると仮定することができる。したがって、利用可能なスキルボット１１６に関係する入力発話３０３は、特徴空間６３０内の１つ以上のトレーニング発話６１５に近接する入力特徴ベクトルとして表わすことができる可能性が高い。

意味論的に類似する発話の特徴ベクトルの近接性を考慮すると、共通のインテントを有する点にプロットされた特徴ベクトルを区切るように、またはさまざまなインテントを有する特徴ベクトルを分離するように、或る境界を定義することができる。２次元空間では、当該境界は線または円であり得、このため、線などの一方側にある点は第１のインテントクラスに属し（すなわち、第１のインテントを有する発話に対応し）、線の他方側にある点は第２のインテントクラスに属する。３次元では、境界は平面または球体として表わすことができる。より概略的には、さまざまな次元では、境界は超平面、超球、または超体積であり得る。境界はさまざまな形状を有することができ、完全に球形または対称である必要はない。

図９は、本明細書で説明するいくつかの実施形態に従った、例示的な発話の特徴ベクトルを表わす点を含む特徴空間６３０の一例を示す。この例では、例示的な発話のいくつかは残高クラスに属しており、口座残高情報を求める要求に関係する第１のインテントを表わしており、例示的な発話の残りは取引クラスに属しており、取引に関する情報を求める要求に関係する第２のインテントを表わしている。図９では、残高クラス内の例示的な発話はｂでラベル付けされ、取引クラス内の例示的な発話はｔでラベル付けされている。これらのインテントクラスは、たとえば、金融関連のスキルボット１１６に関して定義され得る。

たとえば、以下の表の発話例は、第１の列の残高クラスおよび第２の列の取引クラスに属し得る。

図１０は、本明細書で説明するいくつかの実施形態に従った、例示的な発話の特徴ベクトルのインテントクラス間にクラス境界１０１０を有する図９の特徴空間６３０の例を示す。具体的には、図１０に示すように、残高クラス内の点（すなわち、例示的な発話の特徴ベクトル）を取引クラス内の点から分離するために、クラス境界１０１０として線が引かれてもよい。このクラス境界１０１０は２つのインテントクラス間の分割の大まかな近似である。インテントクラス間においてより正確な境界１０１０を作成する場合、各クラスタが単一の対応するインテントクラス内の特徴ベクトルのみを含む（すなわち、そのインテントクラスに関連付けられたインテントを有する）ように、特徴ベクトルのクラスタを定義する円または他の幾何学的体積を設けることが必要となり得る。

図１１は、本明細書で説明するいくつかの実施形態に従った、共通のインテントに関連付けられた特徴ベクトルをそれぞれのクラスタに分離する、具体的には隔離する、クラス境界１０１０を有する図９の特徴空間６３０の例を示す。この例では、いくつかの実施形態と同様に、或るインテントクラスのすべての特徴ベクトルが単一のクラスタ内にあるわけではなく、２つ以上のインテントクラスからの特徴ベクトルを含むクラスタはない。具体的には、図示される例では、第１のクラス境界１０１０によって定義される第１のクラスタ１１１０ａは、残高クラス内の特徴ベクトルのみを含み、第２のクラス境界１０１０によって定義される第２のクラスタ１１１０ｂは、取引クラス内の特徴ベクトルのみを含む。以下で詳細に説明するように、本明細書で説明するいくつかの実施形態は、クラス境界１０１０を形成して、図１１に示すようなクラスタを作成することができる。

図１２は、本明細書で説明するいくつかの実施形態に従った、共通のインテントに関連付けられた特徴ベクトルをそれぞれのクラスタに分離する、具体的には隔離する、クラス境界１０１０を有する図９の特徴空間６３０の別の例を示す。この例では、いくつかの実施形態と同様に、インテントクラスのすべての特徴ベクトルが単一のクラスタ内にあるわけではなく、２つ以上のインテントクラスからの特徴ベクトルを含むクラスタはない。具体的には、図示される例では、第１のクラス境界１０１０によって定義される第１のクラスタ１１１０ｃは残高クラス内の特徴ベクトルのみを含み、第２のクラス境界１０１０によって定義される第２のクラスタ１１１０ｄは取引クラス内の特徴ベクトルのみを含む。しかしながら、図１１の例とは対照的に、クラス境界１０１０と、このためクラスタとは重複している。本明細書に記載のいくつかの実施形態は、図１２に示すように重複するクラスタをサポートする。以下で詳細に説明するように、本明細書で説明するいくつかの実施形態は、クラス境界１０１０を形成して、図１２に示すようなクラスタを作成することができる。

図１３は、本明細書で説明するいくつかの実施形態に従った、特徴ベクトルをクラスタに分離するクラス境界１０１０を有する図９の特徴空間６３０の別の例を示す。この例では、いくつかの実施形態と同様に、或るインテントクラスのすべての特徴ベクトルが単一のクラスタ内にあるわけではなく、さらに、或るクラスタは、インテントが異なっている特徴ベクトルを含めることによってさまざまなインテントを表わし得る。具体的には、図示される例では、第１のクラス境界１０１０によって定義される第１のクラスタ１１１０ｅは残高クラス内の特徴ベクトルのみを含み、第２のクラス境界１０１０によって定義される第２のクラスタ１１１０ｆは、残高クラス内のいくつかの特徴ベクトル（すなわち、残高関連インテントを有する）と、取引クラス内のいくつかの特徴ベクトル（すなわち、取引関連インテントを有する）とを含む。本明細書に記載のいくつかの実施形態は、図１３に示すように、さまざまなインテントを有するクラスタをサポートする。以下で詳細に説明するように、本明細書で説明するいくつかの実施形態は、クラス境界１０１０を形成して、図１３に示すようなクラスタを作成することができる。

無関係の入力発話を識別するためのクラスタリング
図１４は、本明細書で説明するいくつかの実施形態に従った、マスタボット１１４の分類器モデル３２４を初期化して、トレーニング特徴ベクトルのクラスタを利用することで、入力発話が利用可能なスキルボット１１６と無関係であるかまたは関係しているかを判断するための方法１４００を示す図である。この方法１４００または同様の方法は、入力発話３０３をスキルボット１１６に向けるためにマスタボット１１４を構成および使用する上述の方法２００のブロック２０５で用いることができ、さらに、図１４の方法１４００は図５の方法５００のより具体的な変形例である。この方法のいくつかの実施形態では、以下で説明するように、分類器モデル３２４を構成するｋ平均クラスタリングが実行される。ｋ平均クラスタリングは、ｋ最近傍などの他のクラスタリング技術と比較して、クラスタのより正確な形成を可能にし得るが、ｋ平均クラスタリングの代わりに、またはｋ平均クラスタリングに加えて、さまざまなクラスタリング技術が用いられてもよい。

図１４に示す方法１４００および本明細書で説明する他の方法は、１つ以上の処理ユニット（たとえば、プロセッサまたはプロセッサコア）によって実行されるソフトウェアで（たとえば、コード、命令、またはプログラムとして）、ハードウェアで、またはそれらの組合せで、実現され得る。ソフトウェアは、メモリデバイスなどの非一時的記憶媒体に記憶され得る。この方法１４００は、例示的かつ非限定的であるよう意図されている。図１４は、特定の並びまたは順序で起こるさまざまな動作を示すが、これは限定することを意図するものではない。特定の実施形態では、たとえば、これらの動作が異なる順序で実行されてもよく、または、方法１４００の１つ以上の動作が並行して実行されてもよい。特定の実施形態では、方法１４００は、ＤＡＢＰ１０２の一部であり得るトレーニングシステム３５０によって実行されてもよい。

方法１４００のブロック１４０５において、トレーニングシステム３５０は、マスタボット１１４に関連付けられたさまざまなスキルボット１１６についての、例示的な発話とも称されるトレーニング発話６１５にアクセスする。たとえば、トレーニング発話６１５は、トレーニングシステム３５０がアクセス可能なトレーニングデータ３５４にスキルボットデータとして記憶されてもよい。いくつかの実施形態では、マスタボット１１４にとって利用可能な各スキルボット１１６はトレーニング発話６１５のサブセットに関連付けられてもよく、トレーニング発話６１５のそのような各サブセットは、スキルボット１１６が構成される各インテントごとにトレーニング発話６１５を含んでもよい。このため、トレーニング発話６１５のセット一式は、あらゆるスキルボット１１６のあらゆるインテントが表わされるように、各スキルボット１１６の各インテントごとにトレーニング発話６１５を含み得る。

図１５は、本明細書で説明するいくつかの実施形態に従った、図１４の方法１４００の局面の実行の一例を示す。図１５に示されるように、トレーニングシステム３５０はトレーニングデータ３５４にアクセスし得る。トレーニングデータ３５４は、トレーニング中の分類器モデル３２４が属するマスタボット１１４にとって利用可能なスキルボット１１６に関係するスキルボットデータを含み得る。この例では、トレーニングシステム３５０によってアクセスされるトレーニングデータ３５４は、第１のスキルボットデータ３５８ｄ、第２のスキルボットデータ３５８ｅ、および第３のスキルボットデータ３５８ｆからのトレーニング発話６１５を含み得るものであって、その各々は、マスタボット１１４にとって利用可能なそれぞれのスキルボット１１６を表わすトレーニング発話６１５を含み得る。さらに、スキルボットデータの所与のセットについては、図１５の第１のスキルボットデータ３５８ｄに関して示されるように、各トレーニング発話６１５は、関連付けられたスキルボット１１６が評価および対処するように構成されているインテントに関連付けられ得る。

図１４のブロック１４１０において、トレーニングシステム３５０は、ブロック１４０５でアクセスされたトレーニング発話６１５からトレーニング特徴ベクトル６２０を生成する。上述のように、トレーニング発話６１５は、各スキルボット１１６に関連付けられたサブセットを含んでもよく、さらに、各スキルボット１１６の各インテントごとにトレーニング発話６１５を含んでもよい。したがって、いくつかの実施形態では、トレーニング特徴ベクトル６２０は、各スキルボット１１６ごとにそれぞれのサブセットを含んでもよく、さらに、各スキルボットの各インテントごとにそれぞれの特徴ベクトルを含んでもよい。上述のように、トレーニングシステム３５０は、トレーニング特徴ベクトル６２０を生成して、それぞれのトレーニング発話６１５を記述および表現し得る。トレーニング発話６１５などの一連の単語をトレーニング特徴ベクトル６２０などの特徴ベクトルに変換するためのさまざまな技術が公知であり、そのような技術のうちの１つ以上が用いられ得る。たとえば、トレーニングシステム３５０は、ワン・ホット符号化または他の何らかの符号化を用いて、各トレーニング発話６１５を対応するトレーニング特徴ベクトル６２０として符号化し得るが、必ずしも符号化する必要はない。

図１５に示されるように、たとえば、さまざまなスキルボットデータ３５８からの各トレーニング発話６１５は、それぞれのトレーニング特徴ベクトル６２０に変換され得る。したがって、いくつかの実施形態では、結果として得られるトレーニング特徴ベクトル６２０は、トレーニング発話６１５が提供されたすべてのスキルボット１１６、およびトレーニング発話６１５が提供されたすべてのインテントを表わし得る。

図１４のブロック１４１５において、トレーニングシステム３５０は、生成されるべきクラスタの量であるカウントを設定（すなわち、初期化）し得る。いくつかの実施形態では、たとえば、カウントは最初に量ｎに設定されてもよく、ここで、ｎは、マスタボット１１４にとって利用可能なさまざまなスキルボット１１６にわたるインテントの総数である。しかしながら、カウントの初期値として、他のさまざまな量を用いることができる。

いくつかの実施形態では、トレーニングシステム３５０は、トレーニング特徴ベクトル６２０のクラスタのセットを反復的に決定するステップを１回、２回、またはそれ以上の回数だけ実行する。この方法１４００は、クラスタを決定するステップを２回を利用するが、いくつかの実施形態では、１回またはそれ以上の回数が用いられてもよい。ブロック１４２０において、トレーニングシステム３５０は、第１回目のクラスタを決定するステップを開始する。第１回目は反復ループを利用する。この反復ループでは、トレーニングシステム３５０がトレーニング特徴ベクトル６２０のクラスタを生成し、次いで、そのようなクラスタが十分であるかを判断する。以下で説明するように、クラスタが十分であると見なされる場合、トレーニングシステム３５０は第１回目の反復を終了し得る。

いくつかの実施形態では、ブロック１４２５は、クラスタを決定するための第１回目の反復ループの開始部分である。具体的には、ブロック１４２５において、トレーニングシステム３５０９は、この反復において生成されるべきさまざまなクラスタの各々についての重心位置（すなわち、各重心ごとの位置）を決定し得る。重心位置の数量は、ブロック１４１５で決定されたカウントに等しい。いくつかの実施形態では、このループの第１回目の反復において、トレーニングシステム３５０は、トレーニング発話６１５が収まる特徴空間６３０内の、カウントに等しい数量を有する、ランダムに選択された重心位置のセットを選択し得る。より具体的には、たとえば、トレーニングシステム３５０は、トレーニング特徴ベクトル６２０に対応する点に関して、最小境界ボックスなどの境界ボックスを決定し得る。次いで、トレーニングシステム３５０は、その境界ボックス内の重心位置のセットをランダムに選択し得る。この場合、選択された位置の数はクラスタに関して決定されたカウントに等しい。第１回目以外の反復中、カウントは前回の反復から増加しており、このため、いくつかの実施形態では、新たに追加される重心の重心位置のみがランダムに決定される。前回の反復で引き継がれている重心は、それらの位置を保持し得る。対応するクラスタについてのそれぞれの重心は各重心位置ごとに位置決めされ得る。

ブロック１４３０において、トレーニングシステム３５０は、各トレーニング特徴ベクトル６２０を、ブロック１４２５において位置が決定されたさまざまな重心のうちそれぞれの最も近い重心に割当てることによって、クラスタを決定し得る。たとえば、各トレーニング特徴ベクトル６２０ごとに、トレーニングシステム３５０は、各重心位置までの距離を計算し得るとともに、そのトレーニング特徴ベクトル６２０を、このような最小距離を有する重心に割当て得る。共通の重心に割当てられたトレーニング特徴ベクトル６２０のセットは、その重心に関連付けられたクラスタを一緒に形成し得る。したがって、カウントの値である重心の数量に等しいクラスタの数量が存在し得る。

図１５の例では、特徴空間６３０の一部分のみが示されており、その部分内では第１の重心１５１０ａおよび第２の重心１５１０ｂが見えている。トレーニングシステム３５０は、図示される３つのトレーニング特徴ベクトル６２０のうち、２つが第１の重心１５１０ａに最も近く、１つが第２の重心１５１０ｂに最も近いと判断した。この例では、第１の重心１５１０ａに最も近い２つのトレーニング特徴ベクトル６２０が第１のクラスタ１１１０ｇを構成し、第２の重心１５１０ｂに最も近い１つのトレーニング特徴ベクトル６２０が第２のクラスタ１１１０ｈを構成している。

図１４のブロック１４３５において、ブロック１４３０において決定されたクラスタに関して、トレーニングシステム３５０は各クラスタの重心の位置を再計算する。たとえば、いくつかの実施形態では、各クラスタの重心は、その重心に割当てられるとともにこのためそのクラスタに割当てられたトレーニング特徴ベクトル６２０の平均（たとえば、算術平均）となるように計算される。

判定ブロック１４４０において、トレーニングシステム３５０は、停止条件が満たされるかどうかを判断し得る。いくつかの実施形態では、トレーニングシステム３５０は、クラスタリングの有意な改善が起こる可能性がなくなるような収束が生じるまで、この方法１４００または同様の方法を利用して、重心の数量を繰返し増加させ（すなわち、カウントを増加させ）、トレーニング特徴ベクトル６２０をそれらの最も近い関連重心に割当て得る。いくつかの実施形態では、停止条件は十分な収束のレベルを定義する。

いくつかの実施形態では、停止条件は、以下の条件の一方または両方が真である場合に満たされ得る。すなわち、（１）平均クラスタコストは第１の閾値を満たす。たとえば、平均クラスタコストが１．５未満または他の何らかの所定の値未満であるなどである。または、（２）外れ値比は第２の閾値を満たす。たとえば、当該外れ値比が０．２５以下となるかまたは他の何らかの所定の値以下になるなどである。特定のクラスタについてのクラスタコストは、（ａ）ブロック１４３５で再計算されたクラスタの重心と、その重心に割当てられた各トレーニング特徴ベクトル６２０との間の二乗距離の合計を、その重心に割当てられたトレーニング特徴ベクトル６２０の量で割ったもの（ｂ）として定義されてもよい。したがって、平均クラスタコストは、さまざまな重心のさまざまなクラスタコストの平均であり得る。外れ値比は、クラスタ間の外れ値の総数をクラスタの数（すなわち、カウント）で割ったものとして定義されてもよい。外れ値を定義するためのさまざまな技術があり、そのような技術のうちの１つ以上がトレーニングシステム３５０によって用いられ得る。いくつかの実施形態では、停止条件は、（１）平均クラスタコストが第１の閾値（たとえば、１．５未満）を満たし、（２）外れ値比が第２の閾値（たとえば、０．２５以下）を満たす場合、およびそのような場合にのみ満たされる。

概して、平均クラスタコストは、ｋの値（すなわち、カウント）が増加するにつれて減少する傾向があるのに対して、外れ値比は、ｋが増加するにつれて増加する傾向がある。いくつかの実施形態では、両方の要因を考慮する上述の停止条件が適用される場合、クラスタカウントおよび外れ値比の両方に関してそれぞれの閾値を満たす最大ｋ値は、分類器モデル３２４についての最終ｋ値となる。

判定ブロック１４４０で停止条件が満たされない場合、方法１４００はブロック１４４５に進み得る。ブロック１４４５において、トレーニングシステムは、次の回のクラスタリングのためのカウントを増加させる。いくつかの実施形態では、カウントは、特定回数以下のループの反復後に停止条件が満たされる可能性を高める量に該当する分だけ、漸増的に増加させてもよい。たとえば、いくつかの実施形態では、カウントは、

に等しいステップサイズの値だけ増加させることができる。ここで、ｎは、利用可能なすべてのスキルボット１１６にわたるインテントの総数であり、ｕは、利用可能なすべてのスキルボット１１６にわたるトレーニング発話６１５の総数である。このステップサイズは、停止条件が最終的に満たされることを確実にするだろう。具体的には、このステップサイズの場合、ｎに等しいカウントから開始して、第２０回目の反復は発話の量であるｕ以上であるカウントを有するだろう。カウントがｕ以上である場合、各発話はそれ自体のクラスタを有する可能性があるか、またはそうでない場合、平均クラスタコストが１．５未満になり、外れ値比が０．２５以下になる可能性が依然としてあり、これは例示的な停止条件を満たしている。より概略的には、ステップサイズは、不合理な量の時間にわたるループによって上記反復がコンピューティングリソースを浪費しないことを確実にするように選択され得る。ブロック１４４５においてカウントが更新された後、方法１４００はブロック１４２５に戻り、別のループ反復を実行する。

しかしながら、判定ブロック１４４０において停止条件が満たされる場合、方法１４００は現在の反復ループを終了し、ブロック１４５０に進んでもよい。ブロック１４５０において、トレーニングシステム３５０は第２回目のクラスタリングを開始する。この場合、クラスタは、第１回目に行なわれた作業に基づいてさらに定義されてもよい。

いくつかの実施形態では、ブロック１４５５は、クラスタを決定するために第２回目の反復ループの開始部分である。具体的には、ブロック１４５５において、トレーニングシステム３５０９は、この反復において生成されるべきさまざまなクラスタについてのそれぞれの重心位置（すなわち、各重心ごとのそれぞれの位置）を決定し得る。重心位置の数量はカウントの現在の値に等しい。いくつかの実施形態では、このループの第１回目の反復において、トレーニングシステム３５０は、第１回目の終了前にブロック１４３５で再計算されたとおりの重心位置を用いる。第１回目以外の反復では、カウントは前の反復から増加している。その場合、前回の反復からの重心はそれらの重心位置を保持し得るとともに、いくつかの実施形態では、カウントが増加することによって新たに追加される重心の重心位置はランダムに決定され得る。対応するクラスタについてのそれぞれの重心は、各重心位置ごとに位置決めされ得る。

ブロック１４６０において、トレーニングシステム３５０は、各トレーニング特徴ベクトル６２０を、ブロック１４５５において位置が決定されたさまざまな重心のうちそれぞれの最も近い重心に割当てることによって、クラスタを決定し得る。たとえば、各トレーニング特徴ベクトル６２０ごとに、トレーニングシステム３５０は、各重心位置までの距離を計算し得るとともに、そのトレーニング特徴ベクトル６２０を、そのような最小距離を有する重心に割当て得る。共通の重心に割当てられたトレーニング特徴ベクトル６２０のセットは、その重心に関連付けられたクラスタを一緒に形成し得る。このため、カウントの値である重心の数量に等しいクラスタの数量が存在し得る。

ブロック１４６５において、ブロック１４６０で決定されたクラスタに関して、トレーニングシステム３５０は、各クラスタの重心の位置を再計算する。たとえば、いくつかの実施形態では、各クラスタの重心は、その重心に割当てられるとともにこのためそのクラスタに割当てられたトレーニング特徴ベクトル６２０の平均（たとえば、算術平均）となるように計算される。

判定ブロック１４７０において、トレーニングシステム３５０は、停止条件が満たされるかどうかを判断し得る。いくつかの実施形態では、トレーニングシステム３５０は、クラスタリングの有意な改善が起こる可能性がなくなるような収束が生じるまで、この方法１４００または同様の方法を利用して、重心の数量を繰返し増加させ（すなわち、カウントを増加させ）、トレーニング特徴ベクトル６２０をそれらの最も近い関連重心に割当て得る。いくつかの実施形態では、停止条件は十分な収束のレベルを定義する。

いくつかの実施形態では、停止条件は、以下の条件の一方または両方が真である場合に満たされ得る。すなわち、（１）平均クラスタコストは第１の閾値を満たす。たとえば、平均クラスタコストが１．５未満または他の何らかの所定の値未満であるなどである。または、（２）外れ値比は第２の閾値を満たす。たとえば、当該外れ値比が０．２５以下となるかまたは他の何らかの所定の値以下になるなどである。特定のクラスタについてのクラスタコストは、（ａ）ブロック１４６５で再計算されたクラスタの重心と、その重心に割当てられた各トレーニング特徴ベクトル６２０との間の二乗距離の合計を、その重心に割当てられたトレーニング特徴ベクトル６２０の量で割ったもの（ｂ）として定義されてもよい。したがって、平均クラスタコストは、さまざまな重心のさまざまなクラスタコストの平均であり得る。外れ値比は、クラスタ間の外れ値の総数をクラスタの数（すなわち、カウント）で割ったものとして定義されてもよい。外れ値を定義するためのさまざまな技術があり、そのような技術のうちの１つ以上がトレーニングシステム３５０によって用いられ得る。いくつかの実施形態では、停止条件は、（１）平均クラスタコストが第１の閾値（たとえば、１．５未満）を満たし、（２）外れ値比が第２の閾値（たとえば、０．２５以下）を満たす場合、およびそのような場合にのみ満たされる。

判定ブロック１４７０で停止条件が満たされない場合、方法１４００はブロック１４７５に進み得る。ブロック１４７５において、トレーニングシステムは、次の回のクラスタリングのためのカウントを増加させる。いくつかの実施形態では、カウントは、ループの特定回数以下のループの反復後に停止条件が満たされる可能性を高める量に該当する分だけ、漸増的に増加させてもよい。たとえば、いくつかの実施形態では、カウントは、

に等しいステップサイズの値だけ増加させることができる。このステップサイズにより、停止条件が最終的に満たされることが確実となる。具体的には、このステップサイズの場合、停止条件は、第５回目の反復の終了までに満たされる可能性が高い。より概略的には、ステップサイズは、不合理な量の時間にわたるループによって上記反復がコンピューティングリソースを浪費しないことを確実にするように選択され得る。ブロック１４７５においてカウントが更新された後、方法１４００はブロック１４５５に戻り、別のループ反復を実行する。

しかしながら、判定ブロック１４７０において停止条件が満たされる場合、方法１４００は、現在の反復ループを終了し、ブロック１４８０に進んでもよい。ブロック１４８０において、トレーニングシステム３５０は、上記において決定された各クラスタごとにそれぞれの境界１０１０を決定する。いくつかの実施形態では、クラスタのための境界１０１０は、クラスタの重心を中心とするとともに、クラスタに割当てられた全てのトレーニング特徴ベクトル６２０を含むように定義される。いくつかの実施形態では、たとえば、クラスタの境界１０１０は、重心に中心を有する超球（たとえば、円または球）である。いくつかの実施形態では、境界１０１０の半径は、マージン値（すなわち、パディング量）に対して、（１）重心から最も遠いクラスタで、中心からトレーニング特徴ベクトル６２０までの最大距離のうち大きい方を加えるか、または、（２）クラスタ内のトレーニング特徴ベクトル６２０から重心までのそれぞれの距離の平均を加え、さらに、このような距離の標準偏差の３倍を加えた値であり得る。すなわち、半径は、radius = margin ＋ max(max(distances), mean(distances) ＋ 3σ(distances))に設定され得る。この場合、距離は、クラスタのトレーニング特徴ベクトルからクラスタの重心までのそれぞれの距離の集合であり、max(distances)はその集合の最大値であり、mean(distances)はその集合の平均であり、σ(distances)はその集合の標準偏差である。さらに、マージン値（margin）は、誤差のマージンであってもよく、ゼロ以上の値を有し得る。

いくつかの実施形態では、マージンは、関連する入力発話３０３がすべてのクラスタの範囲外にあり、このため、非クラス３１６のメンバとしてラベル付けされる可能性を小さくするように、それ以外の場合よりも広い有効範囲を包含する境界１０１０を定義するために用いられ得る。言い換えれば、マージンは境界１０１０を埋め得る。たとえば、マージンは

の値を有してもよい。ここで、ｕは用いられているトレーニング発話６１５の総数である。マージンは以下の状況を考慮に入れることができる。具体的には、潜在的にトレーニング発話の量が低すぎる（たとえば、２０～３０）ので、トレーニング特徴ベクトル６２０が特徴空間６３０の有意な部分をカバーせず、このため、クラスタが小さすぎるせいで関連する入力発話３０３を捕捉できなくなるような状況である。

図１５の例に戻って、トレーニングシステム３５０は、トレーニング特徴ベクトル６２０の割当てに基づいて決定された各クラスタごとにそれぞれの境界を決定する。具体的には、この例では、第１の境界１０１０ａは、２つのトレーニング特徴ベクトル６２０を含む第１のクラスタ１１１０ｇについて決定され、第２の境界１０１０ｂは、１つのトレーニング特徴ベクトル６２０を含む第２のクラスタ１１１０ｈについて決定される。トレーニング特徴ベクトルの量は、この例のように少なくてもよいし、クラスタ当たりのトレーニング特徴ベクトル６２０の数などのように大量であってもよい。この単純化した例が非限定的なものであり、例示のみを目的として提供されていることが理解されるだろう。

図１４に示されるように、ブロック１４８５において、トレーニングシステム３５０は、ブロック１４８０において決定された、クラスタ境界とも称される境界１０１０を利用するようにマスタボット１１４の分類器モデル３２４を構成し得る。たとえば、トレーニングシステム３５０は、分類器モデルがアクセス可能な記憶装置に（たとえば、デジタルアシスタント１０６上に）クラスタ境界の指示を格納してもよい。分類器モデル３２４は、入力発話を、トレーニング特徴ベクトル６２０のセット表現として機能するこのようなクラスタ境界１０１０と比較するように構成され得る。

上述の方法１４００にさまざまな変更を加えることができ、これら変更は本開示の範囲内である。たとえば、トレーニングシステム３５０のいくつかの例は、クラスタの改良を１回分だけ実行する。その場合、ブロック１４４５からブロック１４７５までの動作は、判定ブロック１４４０において停止条件が満たされるときに方法１４００がブロック１４８０に進むようにスキップされ得る。トレーニングシステム３５０の他のいくつかの例は、２回を超える回数のクラスタの改良を実行する。その場合、ブロック１４４５からブロック１４７５までの動作は、第２の回目の実行後に回数が追加されるたびに繰返され得る。これらおよび他の実現例は本開示の範囲内である。

いくつかの実施形態では、上述の方法１４００において決定されるｋ値（すなわち、カウントの値と、これにより、クラスタの数と）は、トレーニング発話６１５の総数と、特徴空間６３０全体にわたるトレーニング特徴ベクトル６２０の分布とに依存する。したがって、ｋ値は、利用可能なスキルボット１１６と、それらのスキルボット１１６のインテントを表わすために利用可能なトレーニング発話６１５とに応じて、マスタボット１１４ごとに変化し得る。最適なｋ値は、各クラスタに関係する入力発話３０３が当該クラスタの境界１０１０の範囲内に収まる一方で無関係な発話が境界１０１０の範囲から外れるほど十分に各クラスタが大きくなるようなバランスの取れた値である。クラスタが大きすぎる場合、虚偽の合致が起こるリスクが増加する。クラスタが小さすぎる（たとえば、単一のトレーニング発話６１５からなる）場合、分類器モデル３２４が過剰適合され得るので、そのようなクラスタの有用性が制限されてしまう。

方法１４００の上記の例においては、トレーニング特徴ベクトル６２０は、インテントに基づいて分割またはグループ化されておらず、このため、或るクラスタは、さまざまなスキルボット１１６または１つ以上のスキルボット１１６のさまざまなインテントを表わすトレーニング特徴ベクトル６２０を含む可能性がある。付加的または代替的には、トレーニングシステム３５０の一実施形態は、各クラスタが、単一のスキルボット１１６、単一のインテント、または単一のサブボットを表わすトレーニング特徴ベクトル６２０のみを含むことを確実にし得る。この場合、サブボットは、単一のスキルボット１１６を表わすトレーニング発話のサブセットに関連付けられている。このようにクラスタを制限するのにさまざまな技術が用いられ得る。たとえば、トレーニング発話はインテント、サブボット、またはスキルボット１１６に基づいてグループに分離されてもよく、上記方法１４００のそれぞれの事例は各グループごとに実行されてもよい。このようにして、対応するグループ（たとえば、特定のスキルボット１１６を表わすトレーニング発話６１５）のための方法１４００の１つのインスタンス中に決定されたクラスタは、その対応するグループからのトレーニング特徴ベクトル６２０のみを含み得る。これは、単一のインテント、サブボット、またはスキルボット１１６のトレーニング発話に限定され得る。他のさまざまな実現例が可能であり、本開示の範囲内にある。

図１６は、本明細書で説明されるいくつかの実施形態に従った、マスタボット１１４の分類器モデル３２４を用いて、ユーザ入力１１０として提供される入力発話３０３が、マスタボット１１４と関連付けられるいずれの利用可能なスキルボット１１６とも無関係であるかどうかを判断する方法１６００を示す図である。この方法１６００または同様の方法は、入力発話３０３をスキルボット１１６に向けるようにマスタボット１１４を構成および使用する上述の方法２００のブロック２１５で用いることができる。図１６の方法１６００は、図７の方法７００のより具体的な変形例であり、図７の方法７００と同様に、図１６の方法１６００は、図８の方法８００に関して説明した予備的なフィルタリング動作とともに用いられ得る。より具体的には、以下で説明するように、マスタボット１１４の分類器モデル３２４は、トレーニング特徴ベクトル６２０のクラスタを利用して、入力発話３０３が非クラス３１６に属する（すなわち、利用可能なスキルボット１１６とは無関係である）かどうかを判断し得る。

図１６に示す方法１６００および本明細書で説明する他の方法は、１つ以上の処理ユニット（たとえば、プロセッサまたはプロセッサコア）によって実行されるソフトウェアで（たとえば、コード、命令、またはプログラムとして）、ハードウェアで、またはそれらの組合せで、実現され得る。ソフトウェアは、メモリデバイスなどの非一時的記憶媒体に記憶され得る。この方法１６００は、例示的かつ非限定的であるよう意図されている。図１６は、特定の並びまたは順序で起こるさまざまな動作を示すが、これは限定することを意図するものではない。特定の実施形態では、たとえば、これらの動作が異なる順序で実行されてもよく、または、方法１６００の１つ以上の動作が並行して実行されてもよい。特定の実施形態では、方法１６００は、利用可能なスキルボット１１６のセットに関連付けられたマスタボット１１４によって実行されてもよい。

方法１６００のブロック１６０５において、マスタボット１１４は、ユーザ入力１１０として提供された入力発話３０３にアクセスする。たとえば、いくつかの実施形態では、ユーザは、音声入力の形式でユーザ入力１１０を提供し得るとともに、デジタルアシスタント１０６は、マスタボット１１４によって使用するために、そのユーザ入力１１０をテキスト入力発話３０３に変換し得る。

ブロック１６１０において、マスタボット１１４は、ブロック１６０５においてアクセスされた入力発話３０３から入力特徴ベクトルを生成し得る。より具体的には、いくつかの実施形態では、マスタボット１１４は、マスタボット１１４の分類器モデル３２４に、入力発話３０３から入力特徴ベクトルを生成させる。入力特徴ベクトルは、入力発話３０３を記述および表現し得る。入力発話等の一連の単語を特徴ベクトルに変換するためのさまざまな技術が公知であり、そのような技術のうちの１つ以上が用いられてもよい。たとえば、トレーニングシステム３５０は、ワン・ホット符号化または他の何らかの符号化を用いて、入力発話３０３を対応する入力特徴ベクトルとして符号化し得るが、必ずしも符号化する必要はない。しかしながら、マスタボット１１４の一実施形態は、分類器モデル３２４をトレーニングする際にトレーニング発話６１５からトレーニング特徴ベクトル６２０を生成するために用いられたのと同じ技術を用いる。

判定ブロック１６１５において、マスタボット１１４は、ブロック１６１０で生成された入力特徴ベクトルをクラスタと比較する。より具体的には、いくつかの実施形態では、マスタボット１１４は、分類器モデル３２４に、ブロック１６１０で生成された入力特徴ベクトルを、トレーニング中に決定されたクラスタ、具体的にはクラスタの境界、と比較させる。上述のように、各クラスタは、トレーニング特徴ベクトル６２０のセットを含み得るとともに、そのクラスタのトレーニング特徴ベクトル６２０に基づく境界１０１０を含み得る。たとえば、境界１０１０は、クラスタに割当てられた全てのトレーニング特徴ベクトル６２０と、場合によっては、それらのトレーニング特徴ベクトル６２０の外側のいくつかの追加の空間とを含む。具体的には、いくつかの実施形態では、分類器モデル３２４は、入力特徴ベクトル（すなわち、入力特徴ベクトルに対応する点）がトレーニング特徴ベクトル６２０のいずれのクラスタのいずれの境界１０１０内にもあるかどうかを判断する。点が境界内にあるかどうかを判断するためのさまざまな技術が当技術分野に存在しており、１つ以上のそのような技術を用いて、入力特徴ベクトルがクラスタの境界１０１０のいずれかの範囲内にあるかどうかを判断し得る。

判定ブロック１６２０では、分類器モデル３２４は、入力特徴ベクトルをクラスタ境界と比較することに基づいて判定を行なう。入力特徴ベクトルがいずれのクラスタ境界内にもなく、このため、すべてのクラスタ境界１０１０の範囲外にある場合、方法１６００はブロック１６２５に進む。

図１７は、本明細書で説明するいくつかの実施形態に従った、入力特徴ベクトル１７１０がすべてのクラスタ境界の範囲外にある場合にこの方法１６００を実行する例を示す。いくつかの実施形態では、マスタボット１１４は、入力発話３０３を分類器モデル３２４に提供し、これにより、分類器モデル３２４に、入力発話３０３を入力特徴ベクトル１７１０に変換させるとともに、入力特徴ベクトルをクラスタ境界１０１０と比較させる。図１７の例では、特徴空間６３０に５つのクラスタ１１１０が示されている。しかしながら、より多いかまたはより少ない数のクラスタ１１１０が用いられてもよい。この例では、入力特徴ベクトル１７１０はすべてのクラスタ境界１０１０の範囲外にあり、したがって、分類器モデル３２４は、入力発話３０３が非クラス３１６に属するという指示をマスタボット１１４に出力する。

図１６に戻って、ブロック１６２５において、マスタボット１１４は、入力特徴ベクトルがすべてのクラスタ境界１０１０の範囲外にあることを分類器モデル３２４が示すことに基づいて、入力発話３０３を処理することができない（すなわち、さらに処理することができない）ことを示す。たとえば、デジタルアシスタント１０６は、明確化を要求するように、またはユーザ入力１１０がデジタルアシスタントのスキルに関連していないことを報告するように、ユーザに応答してもよい。

しかしながら、入力特徴ベクトルが１つ以上のクラスタ境界１０１０の範囲内にある場合、方法１６００はブロック１６３０までスキップする。ブロック１６３０において、マスタボット１１４は、利用可能なスキルボットの中からスキルボット１１６の１つを選択することによって、入力発話３０３に対処する（すなわち、入力発話３０３をさらに処理し、入力発話３０３に対する応答４３５を決定する）ためのスキルボット１１６を決定する。スキルボット１１６の決定は、さまざまな方法で実行することができ、用いられる技術は、入力特徴ベクトルが収まる１つ以上のクラスタ境界１０１０の構成に依存し得る。

入力発話３０３のためのスキルボット１１６を選択するために、マスタボット１１４は、入力特徴ベクトル１７１０とクラスタを共有するトレーニング特徴ベクトル６２０によって表わされるさまざまなトレーニング発話（すなわち、入力特徴ベクトル１７１０が収まっている境界１０１０内のクラスタ１１１０のメンバであるトレーニング特徴ベクトル）を考慮に入れてもよい。たとえば、トレーニング特徴ベクトル６２０が重複する２つ以上のクラスタ１１１０内に収まる場合、それらの２つ以上のクラスタ１１１０のいずれかにおいて対応するトレーニング特徴ベクトル１７１０を有するトレーニング発話６１５が考慮され得る。同様に、トレーニング特徴ベクトル６２０が単一のクラスタ１１１０内のみに収まる場合、そのクラスタ１１１０内の対応するトレーニング特徴ベクトル６２０を有するトレーニング発話６１５が考慮される。考慮されているすべてのトレーニング発話６１５が単一のスキルボット１１６を表わしている場合、場合によっては、たとえば、入力特徴ベクトル１７１０が、単一のスキルボット１１６のみに関連付けられたトレーニング特徴ベクトル６２０を含むクラスタ１１１０内に収まる場合、マスタボット１１４は、そのスキルボット１１６を選択して入力発話３０３に対処してもよい。

いくつかの実施形態では、分類器モデル３２４は、入力発話に対処するための特定のスキルボット１１６の特定のインテントを識別することが可能であり得る。たとえば、トレーニング特徴ベクトル６２０が収まる１つ以上のクラスタ１１１０が、単一のスキルボット１１６の単一のインテントを表わすトレーニング発話６１５のトレーニング特徴ベクトル６２０のみを含む場合、分類器モデル３２４は、その特定のインテントが入力発話３０３に適用可能であることを識別し得る。分類器モデル３２４が特定のスキルボット１１６の特定のインテントを識別することができる場合、マスタボット１１４は、入力発話３０３をそのスキルボット１１６にルーティングし得るとともに、そのインテントをスキルボット１１６に示し得る。その結果、スキルボット１１６は、インテントを推測するために入力発話３０３のそれ自体の分類の実行を省く可能性があるが、むしろ、マスタボット１１４によって示されるインテントを推測することもある。

しかしながら、考慮されているトレーニング発話６１５が複数のスキルボット１１６を表わす場合、場合によっては、たとえば、入力特徴ベクトル１７１０が複数のスキルボット１１６を表わすトレーニング特徴ベクトル６２０で構成されるクラスタ１１１０内に収まる場合、または、入力特徴ベクトル１７１０が複数の重複クラスタ１１１０内に収まる場合、マスタボット１１４は、入力発話３０３をさらに分類してスキルボット１１６を選択することを必要とする可能性がある。さまざまな技術を用いて入力発話３０３をさらに分類してもよい。いくつかの実施形態では、分類器モデル３２４は、機械学習モードを実現して、入力特徴ベクトル１７１０が収まる１つ以上のクラスタ１１１０内に関連付けられたトレーニング特徴ベクトル６２０を有する各スキルボット１１６ごとに、入力発話３０３に関する信頼度スコアを（たとえば、ロジスティック回帰モデルを用いて）計算する。たとえば、機械学習モデルは、合成特徴ベクトルを用いてトレーニングされてもよい。次いで、マスタボット１１４は、入力発話３０３に対処するために最も高い信頼度スコアを有するスキルボット１１６を選択してもよい。関連するスキルボット１１６を識別するための信頼度スコアの従来の用途とは対照的に、いくつかの実施形態では、入力発話３０３がスキルボット１１６に関係していることが既に判断されている。したがって、入力発話３０３を無関係のスキルボット１１６にルーティングするリスクが軽減または排除される。

付加的または代替的な実施形態では、分類器モデル３２４は、ｋ最近傍技術を利用して、入力特徴ベクトル１７１０と１つ以上のクラスタ１１１０を共有している関連するトレーニング特徴ベクトル６２０が属する２つ以上のスキルボット１１６の中から或るスキルボット１１６を選択し得る。たとえば、分類器モデル３２４は、ｋの値を選択し得るとともに、入力特徴ベクトル１７１０の１つ以上のクラスタ１１１０内に収まるトレーニング特徴ベクトル６２０の中から、入力特徴ベクトル１７１０に対するｋ最近傍トレーニング特徴ベクトル６２０を識別し得る。分類器モデル３２４は、ｋ最近傍トレーニング特徴ベクトル６２０のそのセットの中で最多数の関連するトレーニング特徴ベクトル６２０を有するスキルボット１１６を識別し得る。マスタボット１１４は、入力発話に対処するためにそのスキルボット１１６を選択し得る。スキルボット１１６を選択するための他のさまざまな実現例が実現可能であり、本開示の範囲内にある。

ブロック１６３５において、マスタボット１１４は、ブロック１６３０において選択されたスキルボットに入力発話３０３を転送し得る。次いで、スキルボット１１６は、入力発話３０３を処理してユーザ入力１１０に応答し得る。

無関係な入力発話を識別するための合成ベクトルの使用
上述したように、概して、本明細書で説明するいくつかの実施形態は、トレーニング特徴ベクトル６２０のセット表現を利用して、入力発話３０３が利用可能なスキルボット１１６のセットに関係しているかどうかを判断する。また、上述したように、セット表現はクラスタ１１１０であり得る。しかしながら、付加的または代替的には、セット表現は、本明細書では合成特徴ベクトルと称される、より高レベルの特徴ベクトルであり得る。

図１８は、本明細書で説明するいくつかの実施形態に従った、合成特徴ベクトルを利用して、入力発話３０３が利用可能なスキルボット１１６と無関係であるかまたは関係しているかを判断するためにマスタボット１１４の分類器モデル３２４を初期化する方法１８００を示す図である。この方法１８００または同様の方法は、入力発話３０３をスキルボット１１６に向けるためにマスタボット１１４を構成および使用する上述の方法２００のブロック２０５で用いることができ、さらに、図１８の方法１８００は図５の方法５００のより具体的な変形例である。

図１８に示す方法１８００および本明細書で説明する他の方法は、１つ以上の処理ユニット（たとえば、プロセッサまたはプロセッサコア）によって実行されるソフトウェアで（たとえば、コード、命令、またはプログラムとして）、ハードウェアで、またはそれらの組合せで、実現され得る。ソフトウェアは、メモリデバイスなどの非一時的記憶媒体に記憶され得る。この方法１８００は例示的かつ非限定的であるよう意図されている。図１８は、特定の並びまたは順序で起こるさまざまな動作を示すが、これは限定することを意図するものではない。特定の実施形態では、たとえば、これらの動作が異なる順序で実行されてもよく、または、方法１８００の１つ以上の動作が並行して実行されてもよい。特定の実施形態では、方法１８００は、ＤＡＢＰ１０２の一部であり得るトレーニングシステム３５０によって実行されてもよい。

方法１８００のブロック１８０５において，トレーニングシステム３５０は、マスタボット１１４に関連付けられたさまざまなスキルボット１１６についてのトレーニング発話６１５（例示的発話とも称される）にアクセスする。たとえば、トレーニング発話６１５は、トレーニングシステム３５０がアクセス可能なトレーニングデータ３５４にスキルボットデータとして記憶されてもよい。いくつかの実施形態では、マスタボット１１４にとって利用可能な各スキルボット１１６は、トレーニング発話６１５のサブセットと関連付けられてもよく、トレーニング発話６１５のそのような各サブセットは、スキルボット１１６が構成される各インテントごとにトレーニング発話６１５を含んでもよい。このため、トレーニング発話６１５のセット一式は、あらゆるスキルボット１１６のあらゆるインテントが表わされるように、各スキルボット１１６の各インテントごとにトレーニング発話６１５を含み得る。

ブロック１８１０において、トレーニングシステム３５０は、ブロック１８０５でアクセスされたトレーニング発話６１５からトレーニング特徴ベクトル６２０を生成する。上述したように、トレーニング発話６１５は、各スキルボット１１６に関連付けられたサブセットを含み得るとともに、さらに、各スキルボット１１６の各インテントごとにトレーニング発話６１５を含み得る。したがって、いくつかの実施形態では、トレーニング特徴ベクトル６２０は、各スキルボット１１６ごとにそれぞれのサブセットを含み得るとともに、さらに、各スキルボットの各インテントごとにそれぞれの特徴ベクトルを含み得る。上述したように、トレーニングシステム３５０は、それぞれのトレーニング発話６１５を記述および表現するためにトレーニング特徴ベクトル６２０を生成し得る。トレーニング発話６１５などの一連の単語をトレーニング特徴ベクトル６２０などの特徴ベクトルに変換するためのさまざまな技術が公知であり、そのような技術のうちの１つ以上が用いられ得る。たとえば、トレーニングシステム３５０は、ワン・ホット符号化または他の何らかの符号化を用いて、各トレーニング発話６１５を対応するトレーニング特徴ベクトル６２０として符号化し得るが、必ずしも符号化する必要はない。

ブロック１８１５において、トレーニングシステム３５０は、トレーニング特徴ベクトル６２０と、したがって対応するトレーニング発話６１５とを会話カテゴリに分割する。会話カテゴリは、たとえば、インテント、サブボット、またはスキルボット１１６に基づいて定義することができる。いくつかの実施形態では、会話カテゴリがインテントに基づいている場合、各会話カテゴリは、スキルボット１１６が構成される単一の対応するインテントを表わすトレーニング特徴ベクトル６２０を含む。その場合、会話カテゴリの数は、マスタボット１１４が利用可能なさまざまなスキルボット１１６にわたるインテントの数に等しい可能性がある。いくつかの実施形態では、会話カテゴリがスキルボット１１６に基づいている場合、各会話カテゴリは、単一の対応するスキルボット１１６を表わすトレーニング特徴ベクトル６２０を含む。その場合、会話カテゴリの数は、マスタボット１１４が利用可能なスキルボット１１６の数に等しい可能性がある。いくつかの実施形態では、会話カテゴリがサブボットに基づいている場合、各会話カテゴリは、単一の対応するスキルボット１１６を表わすトレーニング特徴ベクトル６２０のサブセットを含む。その場合、会話カテゴリの数は、マスタボット１１４が利用可能なスキルボット１１６の数以上であってもよい。

ブロック１８２０において、トレーニングシステム３５０は、トレーニング特徴ベクトル６２０から合成特徴ベクトルを生成し、これにより、会話カテゴリ内のそれぞれのトレーニング特徴ベクトル６２０が、その会話カテゴリを表わすとともにその会話カテゴリに対応する合成特徴ベクトルに集約されるようにする。言い換えれば、ブロック１８１５においてトレーニング特徴ベクトル６２０が割当てられた各会話カテゴリごとに、トレーニングシステム３５０は、それぞれのトレーニング特徴ベクトル６２０を会話カテゴリのための合成特徴ベクトルに組合わせ得る。集約のためにさまざまな技術を用いることができる。たとえば、合成特徴ベクトルは、それぞれのカテゴリにおけるトレーニング特徴ベクトル６２０の平均（たとえば、算術平均）であり得る。会話カテゴリに基づいて、合成特徴ベクトルは、会話カテゴリがインテント、サブボット、またはスキルボット１１６に基づいて定義されるかどうかに応じて、インテントベクトル、およびサブボットベクトル、またはボットベクトルとなり得る。

トレーニング特徴ベクトル６２０の算術平均として合成特徴ベクトルが生成され得るが、他のタイプの線形結合を含む他の数学関数を付加的または代替的に用いて、合成特徴ベクトルを生成してもよい。たとえば、いくつかの実施形態では、合成特徴ベクトルは、会話カテゴリ内のトレーニング特徴ベクトル６２０の加重平均であり得る。重み付けは、対応するトレーニング発話６１５における特定のキーワードの優先度などのさまざまな要因に基づき得るものであり、このため、特定のキーワードを有するトレーニング発話６１５に、より大きな重みが与えられることとなる。サブボットベクトルまたはボットベクトルを生成する場合、トレーニング特徴ベクトル６２０は、特定のインテントに対応するトレーニング特徴ベクトル６２０に他のトレーニング特徴ベクトル６２０よりも大きい重みが与えられるように、加重平均として集約され得る。たとえば、代表的なトレーニング発話６１５の数がより多いインテントに対応するトレーニング特徴ベクトル６２０は、代表的なトレーニング発話６１５の数がより少ないインテントに対応するトレーニング特徴ベクトル６２０と比較される集合状態では、より大きい重みが与えられ得る。さまざまな実現例が可能であり、本開示の範囲内にある。

図１９および図２０は合成特徴ベクトルの概念を示す。具体的には、図１９は、本明細書で説明されるいくつかの実施形態に従った、インテントベースの会話カテゴリを用いた合成特徴ベクトルの生成を示す。結果として、図１９に示される合成特徴ベクトルは、インテントレベルであり、したがって、インテントベクトルである。図１９の例では、少なくとも２つのスキルボット１１６がマスタボット１１４にとって利用可能である。第１のスキルボット１１６は、第１のインテントであるインテントＡを表わすトレーニング発話６１５と、第２のインテントであるインテントＢを表わす他のトレーニング発話６１５とを含む第１のスキルボットデータ３５８ｇに関連付けられている。このため、第１のスキルボット１１６は、インテントＡまたはインテントＢに関連付けられた入力発話に対処するように構成される。第２のスキルボット１１６は、第３のインテントであるインテントＣを表わすトレーニング発話６１５を含む第２のスキルボットデータ３５８ｈに関連付けられてる。このため、第２のスキルボット１１６は、インテントＣに関連付けられた入力発話に対処するように構成される。

図１９の例では、トレーニングシステム３５０は、スキルボット１１６に関するすべてのトレーニング発話６１５をそれぞれの特徴ベクトル６２０に変換する。トレーニングシステム３５０は、トレーニング特徴ベクトルをインテントベースの会話カテゴリにグループ化する。したがって、インテントＡについてのトレーニング発話６１５に対応するトレーニング特徴ベクトル６２０が第１の会話カテゴリを形成し、インテントＢについてのトレーニング発話６１５に対応するトレーニング特徴ベクトル６２０が第２の会話カテゴリを形成し、インテントＣについてのトレーニング発話６１５に対応するトレーニング特徴ベクトル６２０が第３の会話カテゴリを形成する。この例では、上述のとおり、所与のインテントベースの会話カテゴリのトレーニング特徴ベクトル６２０は、会話カテゴリについての、したがって関連するインテントについての、合成特徴ベクトルに集約（たとえば、平均化）される。具体的には、トレーニングシステム３５０は、インテントＡについてのトレーニング発話６１５に対応するトレーニング特徴ベクトル６２０を第１の合成特徴ベクトル１９１０ａに集約し、トレーニングシステム３５０は、インテントＢについてのトレーニング発話６１５に対応するトレーニング特徴ベクトル６２０を第２の合成特徴ベクトル１９１０ｂに集約し、トレーニングシステム３５０は、インテントＣについてのトレーニング発話６１５に対応するトレーニング特徴ベクトル６２０を第３の合成特徴ベクトル１９１０ｃに集約する。したがって、この例では、各合成特徴ベクトルは、スキルボット１１６のそれぞれのインテントを表わしている。

図２０は、本明細書で説明するいくつかの実施形態に従った、ボットベースの会話カテゴリとも称されるスキルボットベースの会話カテゴリを用いた合成特徴ベクトルの生成を示す。結果として、図２０に示される合成特徴ベクトルは、スキルボットレベルであり、したがって、ボットベクトルとなる。図２０の例では、少なくとも２つのスキルボット１１６がマスタボット１１４にとって利用可能である。第１のスキルボット１１６は、第１のインテントであるインテントＡを表わすトレーニング発話６１５と、第２のインテントであるインテントＢを表わす他のトレーニング発話６１５とを含む第１のスキルボットデータ３５８ｇに関連付けられている。このため、第１のスキルボット１１６は、インテントＡまたはインテントＢに関連付けられた入力発話に対処するように構成される。第２のスキルボット１１６は、第３のインテントであるインテントＣを表わすトレーニング発話６１５を含む第２のスキルボットデータ３５８ｈに関連付けられている。このため、第２のスキルボット１１６は、インテントＣに関連付けられた入力発話に対処するように構成される。

図２０の例では、トレーニングシステム３５０は、スキルボット１１６に関するすべてのトレーニング発話６１５をそれぞれの特徴ベクトル６２０に変換する。トレーニングシステム３５０は、トレーニング特徴ベクトルをスキルボットベースの会話カテゴリにグループ化する。したがって、インテントＡについてのトレーニング発話６１５に対応するトレーニング特徴ベクトル６２０は、インテントＢについてのトレーニング発話６１５に対応するトレーニング特徴ベクトル６２０とともに、第１の会話カテゴリを形成し、インテントＣについてのトレーニング発話６１５に対応するトレーニング特徴ベクトル６２０は第２の会話カテゴリを形成する。この例では、上述のように、所与のスキルボットベースの会話カテゴリのトレーニング特徴ベクトル６２０は、会話カテゴリのための、したがって関連するスキルボット１１６のための、合成特徴ベクトルに集約（たとえば、平均化）される。具体的には、トレーニングシステム３５０は、インテントＡについてのトレーニング発話６１５に対応するトレーニング特徴ベクトル６２０とインテントＢについてのトレーニング発話６１５に対応するトレーニング特徴ベクトル６２０とを第１の合成特徴ベクトル１９１０ｄに集約し、トレーニングシステム３５０は、インテントＣについてのトレーニング発話６１５に対応するトレーニング特徴ベクトル６２０を第２の合成特徴ベクトル１９１０ｅに集約する。したがって、この例では、各合成特徴ベクトルはそれぞれのスキルボット１１６を表わしている。

いくつかの実施形態では、トレーニングシステム３５０は１つのタイプの合成特徴ベクトルのみを生成することに限定されない。たとえば、トレーニングシステム３５０は、インテントベクトル、サブボットベクトル、およびスキルボットベクトルを生成し得るか、または、トレーニングシステム３５０は、これらもしくは他のタイプの合成特徴ベクトルの他の何らかの組合せを生成し得る。

図１８に戻って、ブロック１８２５において、トレーニングシステム３５０は、ブロック１８２０において決定された合成特徴ベクトルを利用するようにマスタボット１１４の分類器モデル３２４を構成し得る。たとえば、トレーニングシステム３５０は、分類器モデル３２４によってアクセス可能な（たとえば、デジタルアシスタント１０６上の）記憶装置に合成特徴ベクトルの指示を記憶することができる。分類器モデル３２４は、入力発話を、トレーニング特徴ベクトル６２０のセット表現として機能するこのような合成特徴ベクトルと比較するように構成され得る。

図２１は、本明細書で説明されるいくつかの実施形態に従った、マスタボット１１４の分類器モデル３２４を用いて、ユーザ入力１１０として提供される入力発話３０３が、マスタボット１１４と関連付けられたいずれの利用可能なスキルボット１１６とも無関係であるかどうかを判断する方法２１００を示す図である。この方法２１００または同様の方法は、入力発話３０３をスキルボット１１６に向けるようにマスタボット１１４を構成および使用する上述の方法２００のブロック２１５で用いることができる。図２１の方法２１００は図７の方法７００のより具体的な変形例であり、図７の方法７００と同様に、図２１の方法２１００は、図８の方法８００に関して説明した予備的なフィルタリング動作とともに用いられ得る。より具体的には、以下で説明するように、マスタボット１１４の分類器モデル３２４は、合成特徴ベクトルを利用して、入力発話３０３が非クラス３１６に属する（すなわち、利用可能なスキルボット１１６とは無関係である）かどうかを判断し得る。

図２１に示す方法２１００および本明細書で説明する他の方法は、１つ以上の処理ユニット（たとえば、プロセッサまたはプロセッサコア）によって実行されるソフトウェアで（たとえば、コード、命令、またはプログラムとして）、ハードウェアで、またはそれらの組合せで、実現され得る。ソフトウェアはメモリデバイスなどの非一時的記憶媒体に記憶され得る。この方法２１００は例示的かつ非限定的であるよう意図されている。図２１は、特定の並びまたは順序で起こるさまざまな動作を示すが、これは限定することを意図するものではない。特定の実施形態では、たとえば、これらの動作が異なる順序で実行されてもよく、または、方法２１００の１つ以上の動作が並行して実行されてもよい。特定の実施形態では、方法２００は、利用可能なスキルボット１１６のセットに関連付けられたマスタボット１１４によって実行されてもよい。

方法２１００のブロック２１０５において、マスタボット１１４は、ユーザ入力１１０として提供された入力発話３０３にアクセスする。たとえば、いくつかの実施形態では、ユーザは、音声入力の形式でユーザ入力１１０を提供してもよく、デジタルアシスタント１０６は、マスタボット１１４による使用のために、そのユーザ入力１１０をテキスト入力発話３０３に変換してもよい。

ブロック２１１０において、マスタボット１１４は、ブロック２１０５においてアクセスされた入力発話３０３から入力特徴ベクトル１７１０を生成し得る。より具体的には、いくつかの実施形態では、マスタボット１１４は、マスタボット１１４の分類器モデル３２４に、入力発話３０３から入力特徴ベクトル１７１０を生成させる。入力特徴ベクトル１７１０は、入力発話３０３を記述および表現し得る。入力発話３０３等の一連の単語を特徴ベクトルに変換するためのさまざまな技術が公知であり、そのような技術のうちの１つ以上が用いられてもよい。たとえば、トレーニングシステム３５０は、ワン・ホット符号化または他の何らかの符号化を用いて、入力発話３０３を対応する入力特徴ベクトル１７１０として符号化し得るが、必ずしも符号化する必要はない。しかしながら、マスタボット１１４の一実施形態は、分類器モデル３２４をトレーニングする際にトレーニング発話６１５からトレーニング特徴ベクトル６２０を生成するために用いられたのと同じ技術を用いる。

ブロック２１１５において、マスタボット１１４は、ブロック２１１０で生成された入力特徴ベクトル１７１０を合成特徴ベクトルと比較する。より具体的には、いくつかの実施形態では、マスタボット１１４は、分類器モデル３２４に、ブロック２１１０において決定された入力特徴ベクトル１７１０を、図１８に関して上述したように決定され得る合成特徴ベクトルと比較させる。入力特徴ベクトル１７１０を合成特徴ベクトルと比較する際に、分類器モデル３２４は、入力特徴ベクトル１７１０と分類器モデル３２４のために以前に構築された各合成特徴ベクトルとの間の類似度または距離を決定し得る。

入力特徴ベクトル１７１０と別の特徴ベクトル、具体的には合成特徴ベクトル、との間の類似度または距離はさまざまな方法で計算することができる。たとえば、類似度を決定するために、分類器モデル３２４は、合成特徴ベクトルと入力特徴ベクトル１７１０との間の算術差の絶対値（すなわち、ユークリッド距離）を、一方を他方から減算して絶対値を得ることによって、計算してもよい。別の例の場合、分類器モデル３２４は、入力特徴ベクトル１７１０を合成特徴ベクトルに乗じてもよい。たとえば、入力特徴ベクトル１７１０および合成特徴ベクトルのためにワン・ホット符号化が用いられる場合、各ベクトルエントリ（すなわち、各次元）は１または０の値を有することとなるだろう。この場合、１の値は特定の特徴の存在を表わし得る。入力特徴ベクトル１７１０と合成特徴ベクトルとがほとんど同じ特徴を有する場合、ベクトル－ベクトル乗算の結果は、乗算される２つのベクトルのいずれかとほぼ同じ数の１つの値を有するベクトルとなるだろう。そうでない場合、結果として生じるベクトルは、ほとんどが０となるだろう。別の例として、コサイン類似度を用いることができる。たとえば、入力特徴ベクトル１７１０と合成特徴ベクトルとの間のコサイン類似度は、両方のベクトルのユークリッド・ノルムの積で除した２つのベクトルのドット積として計算することができる。類似度を測定するための他のさまざまな技術が実現可能であり、本開示の範囲内にある。

判定ブロック２１２０において、マスタボット１１４の分類器モデル３２４は、入力特徴ベクトル１７１０が合成特徴ベクトルのいずれかに十分に類似しているかどうかを判断する。分類器モデル３２４は、類似度が閾値を満たす場合に十分であると見なされるように、所定の閾値を用いてもよい。距離メトリックの場合と同様に、２つのベクトルが類似しているときに、用いられる類似度メトリックが小さい値を提供する場合、閾値は、たとえば、類似度が閾値以下である場合に入力特徴ベクトル１７１０が合成特徴ベクトルに十分に近くなるような上限閾値であり得る。しかしながら、２つのベクトルが類似しているときに、用いられる類似度メトリックが大きな値を提供する場合、閾値は、たとえば、類似度が閾値以上である場合に入力特徴ベクトル１７１０が合成特徴ベクトルに十分に近くなるように、より低い閾値であり得る。

いくつかの実施形態では、十分な類似度であるかの判断は、合成特徴ベクトルの階層を用いて判断され得る。たとえば、入力特徴ベクトル１７１０は、十分な類似度が見出されるまで、または入力特徴ベクトル１７１０がこのようないずれの合成特徴ベクトルとも十分に類似していないと判断されるまで、ボットベクトルと比較され、次いで、必要に応じて、サブボットベクトルと比較され、次いで、必要に応じて、インテントベクトルと比較されてもよい。ボットベクトルがインテントベクトルよりも少なく、かつインテントベクトルがサブボットベクトルよりも少ないので、ボットベクトルに対する類似度を判断するために必要とされるコンピューティングリソースは、インテントベクトルに対する類似度を判断するために必要とされるコンピューティングリソースよりも少ない可能性がある、サブボットベクトルとの類似度を判断するために必要とされるコンピューティングリソースよりも少ない可能性がある。したがって、利用可能な最高レベル（たとえば、スキルボットレベル）から始めてさまざまなレベルで入力特徴ベクトル１７１０を合成特徴ベクトルと比較することにより、分類器モデル３２４は、より計算集約的な処理を採用する前に、それほど計算集約的でない処理を使用しつつ、どのスキルボット１１６が、もしいくらかでもあるのであれば、入力発話３０３に対処するのに最も適しているかを判断することができる。

いくつかの実施形態では、入力発話３０３は、入力特徴ベクトル１７１０がすべてのボットベクトルから十分に離れている（たとえば、過剰であると見なされる所定の距離を超えている）場合、利用可能なスキルボット１１６のいずれとも無関係であると見なされ得る。しかしながら、付加的または代替的な実施形態では、入力発話３０３は、ボットベクトルとの相違のみに基づいて無関係であると見なされるわけではない。たとえば、入力特徴ベクトル１７１０が全てのボットベクトルと類似していない（すなわち、十分に類似していない）場合、これは、入力発話３０３が非クラス３１６に属するという手がかりをもたらす明確な指示であるとは限らない。対応するインテントが、スキルボット１１６が構成される他のインテントと類似していないため、入力特徴ベクトル１７１０がいずれのボットベクトルからも遠く離れている（すなわち、類似していない）が、依然として或るインテントベクトルに近いという状況があり得る。いくつかの実施形態では、入力特徴ベクトル１７１０をボットベクトルおよびインテントベクトルの両方と比較することは、典型的には、無関係の入力発話３０３を識別するのに十分である。したがって、入力発話３０３は、入力特徴ベクトル１７１０がすべてのボットベクトルとは類似しておらず、かつすべてのインテントベクトルとは類似していない場合、利用可能なスキルボット１１６とは無関係であると見なされ得る。いくつかの実施形態では、入力特徴ベクトル１７１０は、付加的または代替的には、入力発話３０３が非クラスのメンバであるかどうかを判断することの一環として、サブボットベクトルまたは他の合成特徴ベクトルと比較されてもよい。さまざまな実現例が実現可能であり、本開示の範囲内にある。

判断ブロック２１２０において、どのような比較が実行されてもそれに基づいて、分類器モデル３２４が、入力特徴ベクトル１７１０がいずれの合成特徴ベクトルとも十分に類似していないと判断した場合、方法２１００はブロック２１２５に進む。ブロック２１２５において、マスタボット１１４は、入力発話が利用可能ないずれのスキルボット１１６とも無関係であると判断し、このため、マスタボット１１４は、入力発話３０３が処理できないことを示し得る。結果として、たとえば、デジタルアシスタントは、ユーザ入力１１０を明確にするようにユーザに要求してもよい。

しかしながら、判断ブロック２１２０において、入力特徴ベクトル１７１０が１つ以上の合成特徴ベクトルに十分に類似していると分類器モデル３２４が判断した場合、方法２１００はブロック２１３０に進む。ブロック２１３０において、合成特徴ベクトルとの比較に基づいて、マスタボット１１４は、入力発話３０３に対処するためのスキルボット１１６を決定（すなわち、選択）する。たとえば、マスタボット１１４は、入力特徴ベクトル１７１０に最も類似していると見なされる合成特徴ベクトルに関連するスキルボット１１６を選択してもよい。たとえば、最も類似する合成特徴ベクトルがインテントベクトルである場合、マスタボット１１４は、インテントベクトルに対応するインテントに対処するように構成されたスキルボット１１６を選択してもよい。さらに、最も類似する合成特徴ベクトルがサブボットベクトルまたはボットベクトルである場合、マスタボット１１４は、サブボットベクトルまたはボットベクトルが対応するスキルボット１１６を選択してもよい。別の例では、マスタボット１１４は、以下でさらに説明するように、スキルボット１１６を選択するためにｋ最近傍技術を用いてもよい。

ブロック２１３５において、マスタボット１１４は、ブロック２１３０において選択されたスキルボット１１６に入力発話をルーティングし得る。いくつかの実施形態では、マスタボット１１４が入力発話についての特定のインテントを識別した場合（たとえば、入力特徴ベクトル１７１０が単一のインテントベクトルに十分に近いと見なされた場合）、マスタボット１１４は、そのインテントをスキルボット１１６に示してもよく、これにより、スキルボット１１６がインテントを推測する処理をスキップすることを可能にする。次いで、スキルボット１１６は、入力発話３０３を処理してユーザ入力１１０に応答し得る。

図２２は、本明細書で説明するいくつかの実施形態に従った、入力発話に対処するためにスキルボット１１６を選択する方法２２００を示す図である。この方法２２００または同様の方法は、入力発話３０３が少なくとも１つの利用可能なスキルボット１１６に関係していると判断した後、上述の方法２１００のブロック２１３０において用いられ得る。この方法２２００は、スキルボット１１６を選択するためのｋ最近傍手法を提供するが、この手法に加えてまたはその代わりに他の技術が用いられてもよい。具体的には、この方法２２００は、入力特徴ベクトル１７１０に対するｋ最近傍トレーニング特徴ベクトル６２０を利用して、どのスキルボット１１６を選択するべきかを決定する。

図２２に示す方法２２００および本明細書で説明する他の方法は、１つ以上の処理ユニット（たとえば、プロセッサまたはプロセッサコア）によって実行されるソフトウェアで（たとえば、コード、命令、またはプログラムとして）、ハードウェアで、またはそれらの組合せで、実現され得る。ソフトウェアは、メモリデバイスなどの非一時的記憶媒体に記憶され得る。この方法２２００は例示的かつ非限定的であるよう意図されている。図２２は、特定の並びまたは順序で起こるさまざまな動作を示すが、これは限定することを意図するものではない。特定の実施形態では、たとえば、これらの動作が異なる順序で実行されてもよく、または、方法２２００の１つ以上の動作が並行して実行されてもよい。特定の実施形態では、方法２２００はマスタボット１１４によって実行されてもよい。

図２２に示されるように、ブロック２２０５において、マスタボット１１４はｋについての値を決定する。ここで、ｋは、考慮されるであろう近傍の数である。いくつかの実施形態では、ｋの値は、トレーニング特徴ベクトル６２０の総数（すなわち、トレーニング発話６１５の総数）の係数であり得る。

ブロック２２１０では、ブロック２２０５で決定されたｋの値を用いて、マスタボット１１４は、入力特徴ベクトル１７１０に最も近い（すなわち、最も類似する）ｋ個のトレーニング特徴ベクトル６２０のセットを決定する。マスタボット１１４は、入力特徴ベクトル１７１０がいずれの合成特徴ベクトルとも十分に類似しているかどうかを判断するときに、上述で用いられたのと同じまたは異なる類似度メトリックを用いてもよい。たとえば、用いられる類似度メトリックは、ユークリッド距離、ベクトル乗算、またはコサイン類似度であり得る。

ブロック２２１５において、マスタボット１１４は、ブロック２２１０で決定されたセット内の最も多くのトレーニング特徴ベクトル６２０を有するスキルボット１１６を選択する。いくつかの実施形態では、スキルボット１１６のトレーニング特徴ベクトル６２０がセットの大部分を構成する必要はなく、むしろ、セット内により大量のトレーニング特徴ベクトル６２０を有するスキルボット１１６が他にないことだけが必要となる。上述のように、このスキルボット１１６の選択後、マスタボット１１４は、処理のために、入力発話３０３を選択されたスキルボット１１６にルーティングしてもよい。

入力特徴ベクトル１７１０に最も近いトレーニング特徴ベクトル６２０を考慮することに加えて、またはその代わりに、マスタボット１１４のいくつかの実施形態は、最も近いインテントベクトルなどの最も近い合成特徴ベクトルを考慮に入れてもよい。図２３は、本明細書で説明するいくつかの実施形態に従った、入力発話に対処するためにスキルボット１１６を選択する別の例示的な方法２３００を示す図である。この方法２３００または同様の方法は、入力発話３０３が少なくとも１つの利用可能なスキルボット１１６に関係していると判断した後に、上述の方法２１００のブロック２１３０において用いられ得る。この方法２３００は、スキルボット１１６を選択するためのｋ最近傍手法を提供するが、この手法に加えてまたはその代わりに他の技術が用いられてもよい。具体的には、図２２の方法２２００とは対照的に、この方法２３００は、入力特徴ベクトル１７１０に対するｋ最近傍インテントベクトルを利用して、どのスキルボット１１６を選択するべきかを決定する。

図２３に示す方法２３００および本明細書で説明する他の方法は、１つ以上の処理ユニット（たとえば、プロセッサまたはプロセッサコア）によって実行されるソフトウェアで（たとえば、コード、命令、またはプログラムとして）、ハードウェアで、またはそれらの組合せで、実現され得る。ソフトウェアはメモリデバイスなどの非一時的記憶媒体に記憶され得る。この方法２３００は例示的かつ非限定的であるよう意図されている。図２３は、特定の並びまたは順序で起こるさまざまな動作を示すが、これは限定することを意図するものではない。特定の実施形態では、たとえば、これらの動作が異なる順序で実行されてもよく、または、方法２３００の１つ以上の動作が並行して実行されてもよい。特定の実施形態では、方法２３００はマスタボット１１４によって実行されてもよい。

図２３に示されるように、ブロック２３０５において、マスタボット１１４はｋについての値を決定する。ここで、ｋは、考慮されるであろう近傍の数である。いくつかの実施形態では、ｋの値はインテントベクトルの総数の係数であり得る。インテントベクトルの総数は、トレーニング発話６１５において表わされるインテントの総数に等しくてもよく、利用可能なスキルボット１１６が対処するように構成されるインテントの総数に等しくてもよく、ｋの値はその量の係数として選択されてもよい。

ブロック２３１０では、マスタボット１１４は、ブロック２３０５で決定されたｋの値を用いて、入力特徴ベクトル１７１０に最も近い（すなわち、最も類似する）ｋ個のインテントベクトルのセットを決定する。マスタボット１１４は、上記方法２１００において入力特徴ベクトル１７１０がいずれの合成特徴ベクトルとも十分に類似しているかどうかを判断するときに上記で使用したものと同じまたは異なる類似度メトリックを用い得る。たとえば、用いられる類似度メトリックは、ユークリッド距離、ベクトル乗算、またはコサイン類似度であり得る。

ブロック２３１５において、マスタボット１１４は、ブロック２３１０において決定されたセット内で最も多くのインテントベクトルを有するスキルボット１１６を選択する。いくつかの実施形態では、スキルボット１１６のインテントベクトルがセットの大部分を構成する必要はなく、むしろ、セット内により多くのインテントベクトルを有するスキルボット１１６が他にないことだけが必要となる。上述のように、このスキルボット１１６の選択後、マスタボット１１４は、処理のために、入力発話３０３を選択されたスキルボット１１６にルーティングしてもよい。

実現例
図２４は、一実施形態を実現するための分散型システム２４００の簡略図を示す。図示される実施形態において、分散型システム２４００は、１つ以上の通信ネットワーク２４１０を介してサーバ２４１２に結合された１つ以上のクライアントコンピューティングデバイス２４０２、２４０４、２４０６、および２４０８を含む。クライアントコンピューティングデバイス２４０２、２４０４、２４０６、および２４０８は、１つ以上のアプリケーションを実行するように構成され得る。

さまざまな例において、サーバ２４１２は、本開示に記載される処理を可能にする１つ以上のサービスまたはソフトウェアアプリケーションを実行するように適合され得る。

特定の実施形態では、サーバ２４１２はまた、非仮想環境および仮想環境を含み得る他のサービスまたはソフトウェアアプリケーションを提供し得る。いくつかの実施形態では、これらのサービスは、クライアントコンピューティングデバイス２４０２、２４０４、２４０６および／または２４０８のユーザに対して、サービスとしてのソフトウェア（Software as a Service：ＳａａＳ）モデル下のように、ウェブベースのサービスまたはクラウドサービスとして提供され得る。クライアントコンピューティングデバイス２４０２、２４０４、２４０６および／または２４０８を操作するユーザは、１つ以上のクライアントアプリケーションを利用してサーバ２４１２とやり取りすることで、これらのコンポーネントによって提供されるサービスを利用し得る。

図２４に示される構成では、サーバ２４１２は、サーバ２４１２によって実行される機能を実現する１つ以上のコンポーネント２４１８、２４２０および２４２２を含み得る。これらのコンポーネントは、１つ以上のプロセッサ、ハードウェアコンポーネント、またはそれらの組合わせによって実行され得るソフトウェアコンポーネントを含み得る。分散型システム２４００とは異なり得る多種多様なシステム構成が実現可能であることが認識されるはずである。したがって、図２４に示される実施形態は、実施形態のシステムを実現するための分散型システムの一例であり、限定するよう意図されたものではない。

ユーザは、クライアントコンピューティングデバイス２４０２、２４０４、２４０６および／または２４０８を用いて、本開示の教示に従ってサーバ２４１２と対話してもよい。クライアントデバイスは、当該クライアントデバイスのユーザが当該クライアントデバイスと対話することを可能にするインターフェイスを提供し得る。クライアントデバイスはまた、このインターフェイスを介してユーザに情報を出力してもよい。図２４は４つのクライアントコンピューティングデバイスだけを示しているが、任意の数のクライアントコンピューティングデバイスがサポートされ得る。

クライアントデバイスは、ポータブルハンドヘルドデバイス、パーソナルコンピュータおよびラップトップのような汎用コンピュータ、ワークステーションコンピュータ、ウェアラブルデバイス、ゲーミングシステム、シンクライアント、各種メッセージングデバイス、センサまたはその他の感知デバイスなどの、さまざまな種類のコンピューティングシステムを含み得る。これらのコンピューティングデバイスは、さまざまな種類およびバージョンのソフトウェアアプリケーションおよびオペレーティングシステム（たとえばＭｉｃｒｏｓｏｆｔ Ｗｉｎｄｏｗｓ（登録商標）、Ａｐｐｌｅ Ｍａｃｉｎｔｏｓｈ（登録商標）、ＵＮＩＸ（登録商標）またはＵＮＩＸ系オペレーティングシステム、Ｌｉｎｕｘ（登録商標）またはＬｉｎｕｘ系オペレーティングシステム、たとえば、各種モバイルオペレーティングシステム（たとえばＭｉｃｒｏｓｏｆｔ Ｗｉｎｄｏｗｓ Ｍｏｂｉｌｅ（登録商標）、ｉＯＳ（登録商標）、Ｗｉｎｄｏｗｓ Ｐｈｏｎｅ（登録商標）、Ａｎｄｒｏｉｄ（登録商標）、ＢｌａｃｋＢｅｒｒｙ（登録商標）、Ｐａｌｍ ＯＳ（登録商標））を含むＧｏｏｇｌｅ Ｃｈｒｏｍｅ（登録商標）ＯＳ）を実行し得る。ポータブルハンドヘルドデバイスは、セルラーフォン、スマートフォン（たとえばｉＰｈｏｎｅ（登録商標））、タブレット（たとえばｉＰａｄ（登録商標））、携帯情報端末（ＰＤＡ）などを含み得る。ウェアラブルデバイスは、Ｇｏｏｇｌｅ Ｇｌａｓｓ（登録商標）ヘッドマウントディスプレイおよびその他のデバイスを含み得る。ゲーミングシステムは、各種ハンドヘルドゲーミングデバイス、インターネット接続可能なゲーミングデバイス（たとえばＫｉｎｅｃｔ（登録商標）ジェスチャ入力デバイス付き／無しのＭｉｃｒｏｓｏｆｔ Ｘｂｏｘ（登録商標）ゲーム機、Ｓｏｎｙ ＰｌａｙＳｔａｔｉｏｎ（登録商標）システム、Ｎｉｎｔｅｎｄｏ（登録商標）が提供する各種ゲーミングシステムなど）を含み得る。クライアントデバイスは、各種インターネット関連アプリケーション、通信アプリケーション（たとえばＥメールアプリケーション、ショートメッセージサービス（ＳＭＳ）アプリケーション）のような多種多様なアプリケーションを実行可能であってもよく、各種通信プロトコルを使用してもよい。

ネットワーク２４１０は、利用可能な多様なプロトコルのうちのいずれかを用いてデータ通信をサポートできる、当該技術の当業者には周知のいずれかの種類のネットワークであればよく、上記プロトコルは、ＴＣＰ／ＩＰ（伝送制御プロトコル／インターネットプロトコル）、ＳＮＡ（システムネットワークアーキテクチャ）、ＩＰＸ（インターネットパケット交換）、ＡｐｐｌｅＴａｌｋ（登録商標）などを含むがこれらに限定されない。単に一例として、ネットワーク２４１０は、ローカルエリアネットワーク（ＬＡＮ）、Ｅｔｈｅｒｎｅｔ（登録商標）に基づくネットワーク、トークンリング、ワイドエリアネットワーク（ＷＡＮ）、インターネット、仮想ネットワーク、仮想プライベートネットワーク（ＶＰＮ）、イントラネット、エクストラネット、公衆交換電話網（ＰＳＴＮ）、赤外線ネットワーク、無線ネットワーク（たとえば電気電子学会（ＩＥＥＥ）８０２．１１プロトコルスイートのいずれかの下で動作する無線ネットワーク、Ｂｌｕｅｔｏｏｔｈ（登録商標）および／もしくは任意の他の無線プロトコル）、ならびに／または、これらおよび／もしくは他のネットワークの任意の組み合わせを含み得る。

サーバ２４１２は、１つ以上の汎用コンピュータ、専用サーバコンピュータ（一例としてＰＣ（パーソナルコンピュータ）サーバ、ＵＮＩＸ（登録商標）サーバ、ミッドレンジサーバ、メインフレームコンピュータ、ラックマウント型サーバなどを含む）、サーバファーム、サーバクラスタ、またはその他の適切な構成および／または組み合わせで構成されてもよい。サーバ２４１２は、仮想オペレーティングシステムを実行する１つ以上の仮想マシン、または仮想化を伴う他のコンピューティングアーキテクチャを含み得る。これはたとえば、サーバに対して仮想記憶装置を維持するように仮想化できる論理記憶装置の１つ以上のフレキシブルプールなどである。様々な実施形態において、サーバ２４１２を、上記開示に記載の機能を提供する１つ以上のサービスまたはソフトウェアアプリケーションを実行するように適合させてもよい。

サーバ２４１２内のコンピューティングシステムは、上述のうちのいずれかを含む１つ以上のオペレーティングシステム、および、市販されているサーバオペレーティングシステムを実行し得る。また、サーバ２４１２は、ＨＴＴＰ（ハイパーテキスト転送プロトコル）サーバ、ＦＴＰ（ファイル転送プロトコル）サーバ、ＣＧＩ（コモンゲートウェイインターフェイス）サーバ、ＪＡＶＡ（登録商標）サーバ、データベースサーバなどを含むさまざまな追加のサーバアプリケーションおよび／または中間層アプリケーションのうちのいずれかを実行し得る。例示的なデータベースサーバは、Ｏｒａｃｌｅ（登録商標）、Ｍｉｃｒｏｓｏｆｔ（登録商標）、Ｓｙｂａｓｅ（登録商標）、ＩＢＭ（登録商標）（International Business Machines）などから市販されているものを含むが、それらに限定されない。

いくつかの実現例において、サーバ２４１２は、クライアントコンピューティングデバイス２４０２、２４０４、２４０６および２４０８のユーザから受信したデータフィードおよび／またはイベントアップデートを解析および整理統合するための１つ以上のアプリケーションを含み得る。一例として、データフィードおよび／またはイベントアップデートは、センサデータアプリケーション、金融株式相場表示板、ネットワーク性能測定ツール（たとえば、ネットワークモニタリングおよびトラフィック管理アプリケーション）、クリックストリーム解析ツール、自動車交通モニタリングなどに関連するリアルタイムのイベントを含んでもよい、１つ以上の第三者情報源および連続データストリームから受信される、Ｔｗｉｔｔｅｒ（登録商標）フィード、Ｆａｃｅｂｏｏｋ（登録商標）アップデートまたはリアルタイムのアップデートを含み得るが、それらに限定されない。サーバ２４１２は、データフィードおよび／またはリアルタイムのイベントをクライアントコンピューティングデバイス２４０２、２４０４、２４０６および２４０８の１つ以上のディスプレイデバイスを介して表示するための１つ以上のアプリケーションも含み得る。

分散型システム２４００はまた、１つ以上のデータリポジトリ２４１４、２４１６を含み得る。特定の実施形態において、これらのデータリポジトリを用いてデータおよびその他の情報を格納してもよい。たとえば、データリポジトリ２４１４、２４１６のうちの１つ以上を用いて、本明細書に記載の処理によって生成されるデータもしくは情報、および／または、本明細書に記載の処理のために使用されるデータもしくは情報を格納してもよい。データリポジトリ２４１４、２４１６は、さまざまな場所に存在し得る。たとえば、サーバ２４１２が使用するデータリポジトリは、サーバ２４１２のローカル位置にあってもよく、またはサーバ２４１２から遠隔の位置にあってもよく、ネットワークベースの接続または専用接続を介してサーバ２４１２と通信する。データリポジトリ２４１４、２４１６は、異なる種類であってもよい。特定の実施形態において、サーバ２４１２が使用するデータリポジトリは、データベース、たとえば、Ｏｒａｃｌｅ Ｃｏｒｐｏｒａｔｉｏｎ（登録商標）および他の製造業者が提供するデータベースのようなリレーショナルデータベースであってもよい。これらのデータベースのうちの１つ以上を、ＳＱＬフォーマットのコマンドに応じて、データの格納、アップデート、およびデータベースとの間での取り出しを可能にするように適合させてもよい。

特定の実施形態では、データリポジトリ２４１４、２４１６のうちの１つ以上は、アプリケーションデータを格納するためにアプリケーションによって用いられてもよい。アプリケーションが使用するデータリポジトリは、たとえば、キー値ストアリポジトリ、オブジェクトストアリポジトリ、またはファイルシステムがサポートする汎用ストレージリポジトリのようなさまざまな種類のものであってもよい。

特定の実施形態において、本開示に記載される機能は、クラウド環境を介してサービスとして提供され得る。図２５は、特定の実施形態に係る、本明細書に記載の機能をクラウドサービスとして提供し得るクラウドベースのシステム環境の簡略化されたブロック図である。図２５に示される実施形態において、クラウドインフラストラクチャシステム２５０２は、ユーザが１つ以上のクライアントコンピューティングデバイス２５０４、２５０６および２５０８を用いて要求し得る１つ以上のクラウドサービスを提供し得る。クラウドインフラストラクチャシステム２５０２は、サーバ２４１２に関して先に述べたものを含み得る１つ以上のコンピュータおよび／またはサーバを含み得る。クラウドインフラストラクチャシステム２５０２内のコンピュータは、汎用コンピュータ、専用サーバコンピュータ、サーバファーム、サーバクラスタ、またはその他任意の適切な配置および／または組み合わせとして編成され得る。

ネットワーク２５１０は、クライアント２５０４、２５０６、および２５０８と、クラウドインフラストラクチャシステム２５０２との間におけるデータの通信および交換を容易にし得る。ネットワーク２５１０は、１つ以上のネットワークを含み得る。ネットワークは同じ種類であっても異なる種類であってもよい。ネットワーク２５１０は、通信を容易にするために、有線および／または無線プロトコルを含む、１つ以上の通信プロトコルをサポートし得る。

図２５に示される実施形態は、クラウドインフラストラクチャシステムの一例にすぎず、限定を意図したものではない。なお、その他いくつかの実施形態において、クラウドインフラストラクチャシステム２５０２が、図２５に示されるものよりも多くのコンポーネントもしくは少ないコンポーネントを有していてもよく、２つ以上のコンポーネントを組み合わせてもよく、または、異なる構成または配置のコンポーネントを有していてもよいことが、理解されるはずである。たとえば、図２５は３つのクライアントコンピューティングデバイスを示しているが、代替的な実施形態においては、任意の数のクライアントコンピューティングデバイスがサポートされ得る。

クラウドサービスという用語は一般に、サービスプロバイダのシステム（たとえばクラウドインフラストラクチャシステム２５０２）により、インターネット等の通信ネットワークを介してオンデマンドでユーザにとって利用可能にされるサービスを指すのに使用される。典型的に、パブリッククラウド環境では、クラウドサービスプロバイダのシステムを構成するサーバおよびシステムは、顧客自身のオンプレミスサーバおよびシステムとは異なる。クラウドサービスプロバイダのシステムは、クラウドサービスプロバイダによって管理される。よって、顧客は、別途ライセンス、サポート、またはハードウェアおよびソフトウェアリソースをサービスのために購入しなくても、クラウドサービスプロバイダが提供するクラウドサービスを利用できる。たとえば、クラウドサービスプロバイダのシステムはアプリケーションをホストし得るとともに、ユーザは、アプリケーションを実行するためにインフラストラクチャリソースを購入しなくても、インターネットを介してオンデマンドでアプリケーションをオーダーして使用し得る。クラウドサービスは、アプリケーション、リソースおよびサービスに対する容易でスケーラブルなアクセスを提供するように設計される。いくつかのプロバイダがクラウドサービスを提供する。たとえば、ミドルウェアサービス、データベースサービス、Ｊａｖａ（登録商標）クラウドサービスなどのいくつかのクラウドサービスが、カリフォルニア州レッドウッド・ショアーズのＯｒａｃｌｅ Ｃｏｒｐｏｒａｔｉｏｎ（登録商標）から提供される。

特定の実施形態において、クラウドインフラストラクチャシステム２５０２は、ハイブリッドサービスモデルを含む、サービスとしてのソフトウェア（ＳａａＳ）モデル、サービスとしてのプラットフォーム（ＰａａＳ）モデル、サービスとしてのインフラストラクチャ（ＩａａＳ）モデルなどのさまざまなモデルを使用して、１つ以上のクラウドサービスを提供し得る。クラウドインフラストラクチャシステム２５０２は、各種クラウドサービスのプロビジョンを可能にする、アプリケーション、ミドルウェア、データベース、およびその他のリソースの一式を含み得る。

ＳａａＳモデルは、アプリケーションまたはソフトウェアを、インターネットのような通信ネットワークを通して、顧客が基本となるアプリケーションのためのハードウェアまたはソフトウェアを購入しなくても、サービスとして顧客に配信することを可能にする。たとえば、ＳａａＳモデルを用いることにより、クラウドインフラストラクチャシステム２５０２がホストするオンデマンドアプリケーションに顧客がアクセスできるようにし得る。Ｏｒａｃｌｅ Ｃｏｒｐｏｒａｔｉｏｎ（登録商標）が提供するＳａａＳサービスの例は、人的資源／資本管理のための各種サービス、顧客関係管理（ＣＲＭ）、企業資源計画（ＥＲＰ）、供給管理（ＳＣＭ）、企業業績管理（ＥＰＭ）、解析サービス、ソーシャルアプリケーションなどを含むがこれらに限定されない。

ＩａａＳモデルは一般に、インフラストラクチャリソース（たとえばサーバ、ストレージ、ハードウェアおよびネットワーキングリソース）を、クラウドサービスとして顧客に提供することで柔軟な計算およびストレージ機能を提供するために使用される。各種ＩａａＳサービスがＯｒａｃｌｅ Ｃｏｒｐｏｒａｔｉｏｎ（登録商標）から提供される。

ＰａａＳモデルは一般に、顧客が、環境リソースを調達、構築、または管理しなくても、アプリケーションおよびサービスを開発、実行、および管理することを可能にするプラットフォームおよび環境リソースをサービスとして提供するために使用される。Ｏｒａｃｌｅ Ｃｏｒｐｏｒａｔｉｏｎ（登録商標）が提供するＰａａＳサービスの例は、Oracle Java Cloud Service（ＪＣＳ）、Oracle Database Cloud Service（ＤＢＣＳ）、データ管理クラウドサービス、各種アプリケーション開発ソリューションサービスなどを含むがこれらに限定されない。

クラウドサービスは一般に、オンデマンドのセルフサービスベースで、サブスクリプションベースで、柔軟にスケーラブルで、信頼性が高く、可用性が高い、安全なやり方で提供される。たとえば、顧客は、サブスクリプションオーダーを介し、クラウドインフラストラクチャシステム２５０２が提供する１つ以上のサービスをオーダーしてもよい。次いで、クラウドインフラストラクチャシステム２５０２は、処理を実行することにより、顧客のサブスクリプションオーダーで要求されたサービスを提供する。たとえば、特定の実施形態では、本明細書に記載されるチャットボット関連の機能はユーザ／サブスクライバによって提供されるクラウドサービスとして提供されてもよい。クラウドインフラストラクチャシステム２５０２を、１つのクラウドサービスまたは複数のクラウドサービスであっても提供するように構成してもよい。

クラウドインフラストラクチャシステム２５０２は、さまざまなデプロイメントモデルを介してクラウドサービスを提供し得る。パブリッククラウドモデルにおいて、クラウドインフラストラクチャシステム２５０２は、第三者クラウドサービスプロバイダによって所有されていてもよく、クラウドサービスは一般の大衆の顧客に提供される。この顧客は個人または企業であってもよい。他の特定の実施形態では、プライベートクラウドモデル下において、クラウドインフラストラクチャシステム２５０２がある組織内で（たとえば企業組織内で）機能してもよく、サービスはこの組織内の顧客に提供される。たとえば、この顧客は、人事部、給与部などの企業のさまざまな部署であってもよく、企業内の個人であってもよい。ある他の実施形態では、コミュニティクラウドモデル下において、クラウドインフラストラクチャシステム２５０２および提供されるサービスは、関連コミュニティ内のさまざまな組織で共有されてもよい。上記モデルの混成モデルなどのその他各種モデルが用いられてもよい。

クライアントコンピューティングデバイス２５０４、２５０６、および２５０８は、異なるタイプであってもよく（たとえば図２４に示されるデバイス２４０２、２４０４、２４０６および２４０８）、１つ以上のクライアントアプリケーションを操作可能であってもよい。ユーザは、クライアントデバイスを用いることにより、クラウドインフラストラクチャシステム２５０２が提供するサービスを要求することなど、クラウドインフラストラクチャシステム２５０２とのやり取りを行ない得る。たとえば、ユーザは、クライアントデバイスを使用して、本開示に記載されているチャットボット関連のサービスを要求してもよい。

いくつかの実施形態において、クラウドインフラストラクチャシステム２５０２が実行する処理は、ビッグデータ解析を含み得る。この解析は、大きなデータセットを使用し、解析し、処理することにより、このデータ内のさまざまな傾向、挙動、関係などを検出し可視化することを含み得る。この解析は、１つ以上のプロセッサが、場合によっては、データを並列に処理し、データを用いてシミュレーションを実行するなどして、実行してもよい。この解析に使用されるデータは、構造化データ（たとえばデータベースに格納されたデータもしくは構造化モデルに従って構造化されたデータ）および／または非構造化データ（たとえばデータブロブ（blob）（binary large object：バイナリ・ラージ・オブジェクト））を含み得る。

図２５の実施形態に示されるように、クラウドインフラストラクチャシステム２５０２は、クラウドインフラストラクチャシステム２５０２が提供する各種クラウドサービスのプロビジョンを容易にするために利用されるインフラストラクチャリソース２５３０を含み得る。インフラストラクチャリソース２５３０は、たとえば、処理リソース、ストレージまたはメモリリソース、ネットワーキングリソースなどを含み得る。

特定の実施形態において、異なる顧客に対しクラウドインフラストラクチャシステム２５０２が提供する各種クラウドサービスをサポートするためのこれらのリソースを効率的にプロビジョニングし易くするために、リソースを、リソースのセットまたはリソースモジュール（「ポッド」とも処される）にまとめてもよい。各リソースモジュールまたはポッドは、１種類以上のリソースを予め一体化し最適化した組み合わせを含み得る。特定の実施形態において、異なるポッドを異なる種類のクラウドサービスに対して予めプロビジョニングしてもよい。たとえば、第１のポッドセットをデータベースサービスのためにプロビジョニングしてもよく、第１のポッドセット内のポッドと異なるリソースの組み合わせを含み得る第２のポッドセットをＪａｖａサービスなどのためにプロビジョニングしてもよい。いくつかのサービスについて、これらのサービスをプロビジョニングするために割り当てられたリソースをサービス間で共有してもよい。

クラウドインフラストラクチャシステム２５０２自体が、クラウドインフラストラクチャシステム２５０２のさまざまなコンポーネントによって共有されるとともにクラウドインフラストラクチャシステム２５０２によるサービスのプロビジョニングを容易にするサービス２５３２を、内部で使用してもよい。これらの内部共有サービスは、セキュリティおよびアイデンティティサービス、統合サービス、エンタープライズリポジトリサービス、エンタープライズマネージャサービス、ウィルススキャン・ホワイトリストサービス、高可用性、バックアップおよびリカバリサービス、クラウドサポートを可能にするサービス、Ｅメールサービス、通知サービス、ファイル転送サービスなどを含み得るが、これらに限定されない。

クラウドインフラストラクチャシステム２５０２は複数のサブシステムを含み得る。これらのサブシステムは、ソフトウェア、またはハードウェア、またはそれらの組み合わせで実現され得る。図２５に示されるように、サブシステムは、クラウドインフラストラクチャシステム２５０２のユーザまたは顧客がクラウドインフラストラクチャシステム２５０２とやり取りすることを可能にするユーザインターフェイスサブシステム２５１２を含み得る。ユーザインターフェイスサブシステム２５１２は、ウェブインターフェイス２５１４、クラウドインフラストラクチャシステム２５０２が提供するクラウドサービスが宣伝広告され消費者による購入が可能なオンラインストアインターフェイス２５１６、およびその他のインターフェイス２５１８などの、各種異なるインターフェイスを含み得る。たとえば、顧客は、クライアントデバイスを用いて、クラウドインフラストラクチャシステム２５０２がインターフェイス２５１４、２５１６、および２５１８のうちの１つ以上を用いて提供する１つ以上のサービスを要求（サービス要求２５３４）してもよい。たとえば、顧客は、オンラインストアにアクセスし、クラウドインフラストラクチャシステム２５０２が提供するクラウドサービスをブラウズし、クラウドインフラストラクチャシステム２５０２が提供するとともに顧客が申し込むことを所望する１つ以上のサービスについてサブスクリプションオーダーを行ない得る。このサービス要求は、顧客と、顧客が申しむことを所望する１つ以上のサービスとを識別する情報を含んでいてもよい。

図２５に示される実施形態などの特定の実施形態において、クラウドインフラストラクチャシステム２５０２は、新しいオーダーを処理するように構成されたオーダー管理サブシステム（order management subsystem：ＯＭＳ）２５２０を含み得る。この処理の一部として、ＯＭＳ２５２０は、既に作成されていなければ顧客のアカウントを作成し、要求されたサービスを顧客に提供するために顧客に対して課金するのに使用する課金および／またはアカウント情報を顧客から受け、顧客情報を検証し、検証後、顧客のためにこのオーダーを予約し、各種ワークフローを調整することにより、プロビジョニングのためにオーダーを準備するように、構成されてもよい。

適切に妥当性確認がなされると、ＯＭＳ２５２０は、処理、メモリ、およびネットワーキングリソースを含む、このオーダーのためのリソースをプロビジョニングするように構成されたオーダープロビジョニングサブシステム（ＯＰＳ）２５２４を呼び出し得る。プロビジョニングは、オーダーのためのリソースを割り当てることと、顧客オーダーが要求するサービスを容易にするようにリソースを構成することとを含み得る。オーダーのためにリソースをプロビジョニングするやり方およびプロビジョニングされるリソースのタイプは、顧客がオーダーしたクラウドサービスのタイプに依存し得る。たとえば、あるワークフローに従うと、ＯＰＳ２５２４を、要求されている特定のクラウドサービスを判断し、この特定のクラウドサービスのために予め構成されたであろうポッドの数を特定するように構成されてもよい。あるオーダーのために割り当てられるポッドの数は、要求されたサービスのサイズ／量／レベル／範囲に依存し得る。たとえば、割り当てるポッドの数は、サービスがサポートすべきユーザの数、サービスが要求されている期間などに基づいて決定してもよい。次に、割り当てられたポッドを、要求されたサービスを提供するために、要求している特定の顧客に合わせてカスタマイズしてもよい。

クラウドインフラストラクチャシステム２５０２は、要求されたサービスがいつ使用できるようになるかを示すために、応答または通知１０４４を、要求している顧客に送ってもよい。いくつかの例において、顧客が、要求したサービスの利益の使用および利用を開始できるようにする情報（たとえばリンク）を顧客に送信してもよい。

クラウドインフラストラクチャシステム２５０２はサービスを複数の顧客に提供し得る。各顧客ごとに、クラウドインフラストラクチャシステム２５０２は、顧客から受けた１つ以上のサブスクリプションオーダーに関連する情報を管理し、オーダーに関連する顧客データを維持し、要求されたサービスを顧客に提供する役割を果たす。また、クラウドインフラストラクチャシステム２５０２は、申し込まれたサービスの顧客による使用に関する使用統計を収集してもよい。たとえば、統計は、使用されたストレージの量、転送されたデータの量、ユーザの数、ならびにシステムアップタイムおよびシステムダウンタイムの量などについて、収集されてもよい。この使用情報を用いて顧客に課金してもよい。課金はたとえば月ごとに行ってもよい。

クラウドインフラストラクチャシステム２５０２は、サービスを複数の顧客に並列に提供してもよい。クラウドインフラストラクチャシステム２５０２は、場合によっては著作権情報を含む、これらの顧客についての情報を格納してもよい。特定の実施形態において、クラウドインフラストラクチャシステム２５０２は、顧客の情報を管理するとともに管理される情報を分離することで、ある顧客に関する情報が別の顧客からアクセスされないようにするように構成された、アイデンティティ管理サブシステム（ＩＭＳ）２５２８を含む。ＩＭＳ２５２８は、情報アクセス管理などのアイデンティティサービス、認証および許可サービス、顧客のアイデンティティおよび役割ならびに関連する能力などを管理するためのサービスなどの、各種セキュリティ関連サービスを提供するように構成されてもよい。

図２６は、特定の実施形態を実現するために用いられ得る例示的なコンピュータシステム２６００を示す。たとえば、いくつかの実施形態では、コンピュータシステム２６００は、チャットボットシステムのシステムおよびサブシステムのいずれか、ならびに上記の様々なサーバおよびコンピュータシステムを実現するために用いられ得る。図２６に示されるように、コンピュータシステム２６００は、バスサブシステム２６０２を介して他のいくつかのサブシステムと通信する処理サブシステム２６０４を含むさまざまなサブシステムを含む。これらの他のサブシステムは、処理加速ユニット２６０６、Ｉ／Ｏサブシステム２６０８、ストレージサブシステム２６１８、および通信サブシステム２６２４を含み得る。ストレージサブシステム２６１８は、記憶媒体２６２２およびシステムメモリ２６１０を含む非一時的なコンピュータ可読記憶媒体を含み得る。

バスサブシステム２６０２は、コンピュータシステム２６００のさまざまなコンポーネントおよびサブシステムに意図されるように互いに通信させるための機構を提供する。バスサブシステム２６０２は単一のバスとして概略的に示されているが、バスサブシステムの代替的な実施形態は複数のバスを利用してもよい。バスサブシステム２６０２は、さまざまなバスアーキテクチャのうちのいずれかを用いる、メモリバスまたはメモリコントローラ、周辺バス、ローカルバスなどを含むいくつかのタイプのバス構造のうちのいずれかであってもよい。たとえば、このようなアーキテクチャは、業界標準アーキテクチャ（Industry Standard Architecture：ＩＳＡ）バス、マイクロチャネルアーキテクチャ（Micro Channel Architecture：ＭＣＡ）バス、エンハンストＩＳＡ（Enhanced ISA：ＥＩＳＡ）バス、ビデオ・エレクトロニクス・スタンダーズ・アソシエーション（Video Electronics Standards Association：ＶＥＳＡ）ローカルバス、およびＩＥＥＥ Ｐ１３８６．１規格に従って製造されるメザニンバスとして実現され得る周辺コンポーネントインターコネクト（Peripheral Component Interconnect：ＰＣＩ）バスなどを含み得る。

処理サブシステム２６０４は、コンピュータシステム２６００の動作を制御し、１つ以上のプロセッサ、特定用途向け集積回路（ＡＳＩＣ）、またはフィールドプログラマブルゲートアレイ（ＦＰＧＡ）を含み得る。プロセッサは、シングルコアまたはマルチコアプロセッサを含み得る。コンピュータシステム２６００の処理リソースを、１つ以上の処理ユニット２６３２、２６３４などに編成することができる。処理ユニットは、１つ以上のプロセッサ、同一のまたは異なるプロセッサからの１つ以上のコア、コアとプロセッサとの組み合わせ、またはコアとプロセッサとのその他の組み合わせを含み得る。いくつかの実施形態において、処理サブシステム２６０４は、グラフィックスプロセッサ、デジタル信号プロセッサ（ＤＳＰ）などのような１つ以上の専用コプロセッサを含み得る。いくつかの実施形態では、処理サブシステム２６０４の処理ユニットの一部または全部は、特定用途向け集積回路（ＡＳＩＣ）またはフィールドプログラマブルゲートアレイ（ＦＰＧＡ）などのカスタマイズされた回路を用いて実現され得る。

いくつかの実施形態において、処理サブシステム２６０４内の処理ユニットは、システムメモリ２６１０またはコンピュータ可読記憶媒体２６２２に格納された命令を実行し得る。さまざまな実施形態において、処理ユニットはさまざまなプログラムまたはコード命令を実行するとともに、同時に実行する複数のプログラムまたはプロセスを維持し得る。任意の所定の時点で、実行されるべきプログラムコードの一部または全部は、システムメモリ２６１０および／または潜在的に１つ以上の記憶装置を含むコンピュータ可読記憶媒体２６２２に常駐し得る。適切なプログラミングを介して、処理サブシステム２６０４は、上述のさまざまな機能を提供し得る。コンピュータシステム２６００が１つ以上の仮想マシンを実行している例において、１つ以上の処理ユニットが各仮想マシンに割り当てられてもよい。

特定の実施形態において、コンピュータシステム２６００によって実行される全体的な処理を加速するように、カスタマイズされた処理を実行するために、または処理サブシステム２６０４によって実行される処理の一部をオフロードするために、処理加速ユニット２６０６が任意に設けられてもよい。

Ｉ／Ｏサブシステム２６０８は、コンピュータシステム２６００に情報を入力するための、および／またはコンピュータシステム２６００から、もしくはコンピュータシステム２６００を介して、情報を出力するための、デバイスおよび機構を含み得る。一般に、「入力デバイス」という語の使用は、コンピュータシステム２６００に情報を入力するためのすべての考えられ得るタイプのデバイスおよび機構を含むよう意図される。ユーザインターフェイス入力デバイスは、たとえば、キーボード、マウスまたはトラックボールなどのポインティングデバイス、ディスプレイに組み込まれたタッチパッドまたはタッチスクリーン、スクロールホイール、クリックホイール、ダイアル、ボタン、スイッチ、キーパッド、音声コマンド認識システムを伴う音声入力デバイス、マイクロフォン、および他のタイプの入力デバイスを含んでもよい。ユーザインターフェイス入力デバイスは、ユーザが入力デバイスを制御しそれと対話することを可能にするＭｉｃｒｏｓｏｆｔ Ｋｉｎｅｃｔ（登録商標）モーションセンサ、Ｍｉｃｒｏｓｏｆｔ Ｘｂｏｘ（登録商標）３６０ゲームコントローラ、ジェスチャおよび音声コマンドを用いる入力を受信するためのインターフェイスを備えるデバイスなど、モーション感知および／またはジェスチャ認識デバイスも含んでもよい。ユーザインターフェイス入力デバイスは、ユーザから目の動き（たとえば、写真を撮っている間および／またはメニュー選択を行っている間の「まばたき」）を検出し、アイジェスチャを入力デバイス（たとえばＧｏｏｇｌｅ Ｇｌａｓｓ（登録商標））への入力として変換するＧｏｏｇｌｅ Ｇｌａｓｓ（登録商標）瞬き検出器などのアイジェスチャ認識デバイスも含んでもよい。加えて、ユーザインターフェイス入力デバイスは、ユーザが音声コマンドを介して音声認識システム（たとえばＳｉｒｉ（登録商標）ナビゲータ）と対話することを可能にする音声認識感知デバイスを含んでもよい。

ユーザインターフェイス入力デバイスの他の例は、三次元（３Ｄ）マウス、ジョイスティックまたはポインティングスティック、ゲームパッドおよびグラフィックタブレット、ならびにスピーカ、デジタルカメラ、デジタルカムコーダ、ポータブルメディアプレーヤ、ウェブカム、画像スキャナ、指紋スキャナ、バーコードリーダ３Ｄスキャナ、３Ｄプリンタ、レーザレンジファインダ、および視線追跡デバイスなどの聴覚／視覚デバイスも含むが、それらに限定されない。加えて、ユーザインターフェイス入力デバイスは、たとえば、コンピュータ断層撮影、磁気共鳴撮像、ポジションエミッショントモグラフィー、および医療用超音波検査デバイスなどの医療用画像化入力デバイスを含んでもよい。ユーザインターフェイス入力デバイスは、たとえば、ＭＩＤＩキーボード、デジタル楽器などの音声入力デバイスも含んでもよい。

一般に、出力デバイスという語の使用は、コンピュータシステム２６００からユーザまたは他のコンピュータに情報を出力するための考えられるすべてのタイプのデバイスおよび機構を含むことを意図している。ユーザインターフェイス出力デバイスは、ディスプレイサブシステム、インジケータライト、または音声出力デバイスなどのような非ビジュアルディスプレイなどを含んでもよい。ディスプレイサブシステムは、陰極線管（ＣＲＴ）、液晶ディスプレイ（ＬＣＤ）またはプラズマディスプレイを使うものなどのフラットパネルデバイス、投影装置、タッチスクリーンなどであってもよい。たとえば、ユーザインターフェイス出力デバイスは、モニタ、プリンタ、スピーカ、ヘッドフォン、自動車ナビゲーションシステム、プロッタ、音声出力デバイスおよびモデムなどの、テキスト、グラフィックスおよび音声／映像情報を視覚的に伝えるさまざまなディスプレイデバイスを含み得るが、それらに限定されない。

ストレージサブシステム２６１８は、コンピュータシステム２６００によって使用される情報およびデータを格納するためのリポジトリまたはデータストアを提供する。ストレージサブシステム２６１８は、いくつかの実施形態の機能を提供する基本的なプログラミングおよびデータ構成を格納するための有形の非一時的なコンピュータ可読記憶媒体を提供する。処理サブシステム２６０４によって実行されると上述の機能を提供するソフトウェア（たとえばプログラム、コードモジュール、命令）が、ストレージサブシステム２６１８に格納されてもよい。ソフトウェアは、処理サブシステム２６０４の１つ以上の処理ユニットによって実行されてもよい。ストレージサブシステム２６１８はまた、本開示の教示に従って用いられるデータを格納するためのリポジトリを提供してもよい。

ストレージサブシステム２６１８は、揮発性および不揮発性メモリデバイスを含む１つ以上の非一時的メモリデバイスを含み得る。図２６に示すように、ストレージサブシステム２６１８は、システムメモリ２６１０およびコンピュータ可読記憶媒体２６２２を含む。システムメモリ２６１０は、プログラム実行中に命令およびデータを格納するための揮発性主ランダムアクセスメモリ（ＲＡＭ）と、固定命令が格納される不揮発性読取り専用メモリ（ＲＯＭ）またはフラッシュメモリとを含む、いくつかのメモリを含み得る。いくつかの実現例において、起動中などにコンピュータシステム２６００内の要素間における情報の転送を助ける基本的なルーチンを含むベーシックインプット／アウトプットシステム（basic input/output system：ＢＩＯＳ）は、典型的には、ＲＯＭに格納されてもよい。典型的に、ＲＡＭは、処理サブシステム２６０４によって現在操作および実行されているデータおよび／またはプログラムモジュールを含む。いくつかの実現例において、システムメモリ２６１０は、スタティックランダムアクセスメモリ（ＳＲＡＭ）、ダイナミックランダムアクセスメモリ（ＤＲＡＭ）などのような複数の異なるタイプのメモリを含み得る。

一例として、限定を伴うことなく、図２６に示されるように、システムメモリ２６１０は、ウェブブラウザ、中間層アプリケーション、リレーショナルデータベース管理システム（ＲＤＢＭＳ）などのような各種アプリケーションを含み得る、実行中のアプリケーションプログラム２６１２、プログラムデータ２６１４、およびオペレーティングシステム２６１６を、ロードし得る。一例として、オペレーティングシステム２６１６は、Ｍｉｃｒｏｓｏｆｔ Ｗｉｎｄｏｗｓ（登録商標）、Ａｐｐｌｅ Ｍａｃｉｎｔｏｓｈ（登録商標）および／またはＬｉｎｕｘオペレーティングシステム、市販されているさまざまなＵＮＩＸ（登録商標）またはＵＮＩＸ系オペレーティングシステム（さまざまなＧＮＵ／Ｌｉｎｕｘオペレーティングシステム、Ｇｏｏｇｌｅ Ｃｈｒｏｍｅ（登録商標）ＯＳなどを含むがそれらに限定されない）、および／または、ｉＯＳ（登録商標）、Ｗｉｎｄｏｗｓ Ｐｈｏｎｅ、Ａｎｄｒｏｉｄ（登録商標） ＯＳ、ＢｌａｃｋＢｅｒｒｙ（登録商標） ＯＳ、Ｐａｌｍ（登録商標） ＯＳオペレーティングシステムのようなさまざまなバージョンのモバイルオペレーティングシステムなどを、含み得る。

コンピュータ可読記憶媒体２６２２は、いくつかの実施形態の機能を提供するプログラミングおよびデータ構成を格納し得る。コンピュータ可読記憶媒体２６２２は、コンピュータシステム２６００のための、コンピュータ可読命令、データ構造、プログラムモジュール、および他のデータのストレージを提供し得る。処理サブシステム２６０４によって実行されると上記機能を提供するソフトウェア（プログラム、コードモジュール、命令）は、ストレージサブシステム２６１８に格納されてもよい。一例として、コンピュータ可読記憶媒体２６２２は、ハードディスクドライブ、磁気ディスクドライブ、ＣＤ ＲＯＭ、ＤＶＤ、Ｂｌｕ－Ｒａｙ（登録商標）ディスクなどの光ディスクドライブ、またはその他の光学媒体のような不揮発性メモリを含み得る。コンピュータ可読記憶媒体２６２２は、Ｚｉｐ（登録商標）ドライブ、フラッシュメモリカード、ユニバーサルシリアルバス（ＵＳＢ）フラッシュドライブ、セキュアデジタル（ＳＤ）カード、ＤＶＤディスク、デジタルビデオテープなどを含み得るが、それらに限定されない。コンピュータ可読記憶媒体２６２２は、フラッシュメモリベースのＳＳＤ、エンタープライズフラッシュドライブ、ソリッドステートＲＯＭなどのような不揮発性メモリに基づくソリッドステートドライブ（ＳＳＤ）、ソリッドステートＲＡＭ、ダイナミックＲＡＭ、スタティックＲＡＭのような揮発性メモリに基づくＳＳＤ、ＤＲＡＭベースのＳＳＤ、磁気抵抗ＲＡＭ（ＭＲＡＭ）ＳＳＤ、およびＤＲＡＭとフラッシュメモリベースのＳＳＤとの組み合わせを使用するハイブリッドＳＳＤも含み得る。

特定の実施形態において、ストレージサブシステム２６１８は、コンピュータ可読記憶媒体２６２２にさらに接続可能なコンピュータ可読記憶媒体リーダ２６２０も含み得る。リーダ２６２０は、ディスク、フラッシュドライブなどのようなメモリデバイスからデータを受け、読取るように構成されてもよい。

特定の実施形態において、コンピュータシステム２６００は、処理およびメモリリソースの仮想化を含むがこれに限定されない仮想化技術をサポートし得る。たとえば、コンピュータシステム２６００は、１つ以上の仮想マシンを実行するためのサポートを提供し得る。特定の実施形態において、コンピュータシステム２６００は、仮想マシンの構成および管理を容易にするハイパーバイザなどのプログラムを実行し得る。各仮想マシンには、メモリ、演算（たとえばプロセッサ、コア）、Ｉ／Ｏ、およびネットワーキングリソースが割当てられてもよい。各仮想マシンは通常、他の仮想マシンから独立して実行される。仮想マシンは、典型的には、コンピュータシステム２６００によって実行される他の仮想マシンによって実行されるオペレーティングシステムと同じであり得るかまたは異なり得るそれ自体のオペレーティングシステムを実行する。したがって、潜在的に複数のオペレーティングシステムがコンピュータシステム２６００によって同時に実行され得る。

通信サブシステム２６２４は、他のコンピュータシステムおよびネットワークに対するインターフェイスを提供する。通信サブシステム２６２４は、他のシステムとコンピュータシステム２６００との間のデータの送受のためのインターフェイスとして機能する。たとえば、通信サブシステム２６２４は、コンピュータシステム２６００が、１つ以上のクライアントデバイスとの間で情報を送受信するために、インターネットを介して１つ以上のクライアントデバイスへの通信チャネルを確立することを可能にし得る。

通信サブシステム２６２４は、有線および／または無線通信プロトコルの両方をサポートし得る。たとえば、特定の実施形態において、通信サブシステム２６２４は、（たとえば、セルラー電話技術、３Ｇ、４ＧもしくはＥＤＧＥ（グローバル進化のための高速データレート）などの先進データネットワーク技術、ＷｉＦｉ（ＩＥＥＥ８０２．ＸＸファミリー規格、もしくは他のモバイル通信技術、またはそれらのいずれかの組み合わせを用いて）無線音声および／またはデータネットワークにアクセスするための無線周波数（ＲＦ）送受信機コンポーネント、グローバルポジショニングシステム（ＧＰＳ）受信機コンポーネント、および／または他のコンポーネントを含み得る。いくつかの実施形態において、通信サブシステム２６２４は、無線インターフェイスに加えてまたはその代わりに、有線ネットワーク接続（たとえばEthernet（登録商標））を提供し得る。

通信サブシステム２６２４は、さまざまな形式でデータを受信および送信し得る。たとえば、いくつかの実施形態において、通信サブシステム２６２４は、他の形式に加えて、構造化データフィードおよび／または非構造化データフィード２６２６、イベントストリーム２６２８、イベントアップデート２６３０などの形式で入力通信を受信してもよい。たとえば、通信サブシステム２６２４は、ソーシャルメディアネットワークおよび／またはＴｗｉｔｔｅｒ（登録商標）フィード、Ｆａｃｅｂｏｏｋ（登録商標）アップデート、Ｒｉｃｈ Ｓｉｔｅ Ｓｕｍｍａｒｙ（ＲＳＳ）フィードなどのウェブフィード、および／または１つ以上の第三者情報源からのリアルタイムアップデートなどのような他の通信サービスのユーザから、リアルタイムでデータフィード２６２６を受信（または送信）するように構成されてもよい。

特定の実施形態において、通信サブシステム２６２４は、連続データストリームの形式でデータを受信するように構成されてもよく、当該連続データストリームは、明確な終端を持たない、本来は連続的または無限であり得るリアルタイムイベントのイベントストリーム２６２８および／またはイベントアップデート２６３０を含んでもよい。連続データを生成するアプリケーションの例としては、たとえば、センサデータアプリケーション、金融株式相場表示板、ネットワーク性能測定ツール（たとえばネットワークモニタリングおよびトラフィック管理アプリケーション）、クリックストリーム解析ツール、自動車交通モニタリングなどを含み得る。

通信サブシステム２６２４は、コンピュータシステム２６００からのデータを他のコンピュータシステムまたはネットワークに伝えるように構成されてもよい。このデータは、構造化および／または非構造化データフィード２６２６、イベントストリーム２６２８、イベントアップデート２６３０などのような各種異なる形式で、コンピュータシステム２６００に結合された１つ以上のストリーミングデータソースコンピュータと通信し得る１つ以上のデータベースに、伝えられてもよい。

コンピュータシステム２６００は、ハンドヘルドポータブルデバイス（たとえばｉＰｈｏｎｅ（登録商標）セルラーフォン、ｉＰａｄ（登録商標）コンピューティングタブレット、ＰＤＡ）、ウェアラブルデバイス（たとえばＧｏｏｇｌｅ Ｇｌａｓｓ（登録商標）ヘッドマウントディスプレイ）、パーソナルコンピュータ、ワークステーション、メインフレーム、キオスク、サーバラック、またはその他のデータ処理システムを含む、さまざまなタイプのうちの１つであればよい。コンピュータおよびネットワークの性質が常に変化しているため、図２６に示されるコンピュータシステム２６００の記載は、具体的な例として意図されているに過ぎない。図２６に示されるシステムよりも多くのコンポーネントまたは少ないコンポーネントを有するその他多くの構成が実現可能である。当業者であれば、本明細書における開示および教示に基づいて、さまざまな実施形態を実現するための他の態様および／または方法を認識するだろう。

特定の実施形態について説明したが、さまざまな変形、変更、代替構成、および均等物が可能である。実施形態は、特定のデータ処理環境内の動作に限定されず、複数のデータ処理環境内で自由に動作させることができる。加えて、特定の実施形態を特定の一連のトランザクションおよびステップを使用して説明したが、これが限定を意図しているのではないことは当業者には明らかであるはずである。いくつかのフローチャートは動作を逐次的プロセスとして説明しているが、これらの動作のうちの多くは並列または同時に実行することができる。加えて、動作の順序を再指定してもよい。プロセスは図に含まれない追加のステップを有し得る。上記の実施形態の各種特徴および局面は、個別に使用されてもよく、またはともに使用されてもよい。

さらに、特定の実施形態をハードウェアとソフトウェアとの特定の組み合わせを用いて説明してきたが、ハードウェアとソフトウェアとの他の組み合わせも可能であることが理解されるはずである。特定の実施形態は、ハードウェアでのみ、またはソフトウェアでのみ、またはそれらの組み合わせを用いて実現されてもよい。本明細書に記載されたさまざまなプロセスは、同じプロセッサまたは任意の組み合わせの別々のプロセッサ上で実現されてもよい。

デバイス、システム、コンポーネントまたはモジュールが特定の動作または機能を実行するように構成されると記載されている場合、そのような構成は、たとえば、動作を実行するように電子回路を設計することにより、動作を実行するようにプログラミング可能な電子回路（マイクロプロセッサなど）をプログラミングすることにより、たとえば、非一時的なメモリ媒体に格納されたコードもしくは命令またはそれらの任意の組み合わせを実行するようにプログラミングされたコンピュータ命令もしくはコード、またはプロセッサもしくはコアを実行するなどにより、達成され得る。プロセスは、プロセス間通信のための従来の技術を含むがこれに限定されないさまざまな技術を使用して通信することができ、異なる対のプロセスは異なる技術を使用してもよく、同じ対のプロセスは異なる時間に異なる技術を使用してもよい。

本開示では具体的な詳細を示すことにより実施形態が十分に理解されるようにしている。しかしながら、実施形態はこれらの具体的な詳細がなくとも実施され得るものである。たとえば、周知の回路、プロセス、アルゴリズム、構造、および技術は、実施形態が曖昧にならないようにするために不必要な詳細事項なしで示している。本明細書は例示的な実施形態のみを提供し、他の実施形態の範囲、適用可能性、または構成を限定するよう意図されたものではない。むしろ、実施形態の上記説明は、各種実施形態を実現することを可能にする説明を当業者に提供する。要素の機能および構成の範囲内でさまざまな変更が可能である。

したがって、明細書および添付の図面は、限定的な意味ではなく例示的なものとみなされるべきである。しかしながら、請求項に記載されているより広範な精神および範囲から逸脱することなく、追加、削減、削除、ならびに他の修正および変更がこれらになされ得ることは明らかであろう。このように、具体的な実施形態を説明してきたが、これらは限定を意図するものではない。さまざまな変形例および同等例ならびに開示された特徴の関連する任意の組合せは添付の特許請求の範囲内にある。

Claims (35)

1. システムであって、
   分類器モデルをトレーニングするように構成されたトレーニングシステムを含み、前記分類器モデルをトレーニングすることは、
   スキルボットに関連付けられたトレーニング発話にアクセスすることを含み、前記トレーニング発話は、前記スキルボットの各スキルボットに関連付けられたそれぞれのトレーニング発話を含み、前記スキルボットの各スキルボットはユーザとの対話を提供するように構成されており、前記分類器モデルをトレーニングすることはさらに、
   前記トレーニング発話からトレーニング特徴ベクトルを生成することを含み、前記トレーニング特徴ベクトルは、前記スキルボットの各スキルボットに関連付けられたそれぞれのトレーニング特徴ベクトルを含み、前記分類器モデルをトレーニングすることはさらに、
   前記トレーニング特徴ベクトルの複数のセット表現を生成することを含み、前記複数のセット表現の各セット表現は前記トレーニング特徴ベクトルのサブセットに対応しており、前記分類器モデルをトレーニングすることはさらに、
   入力特徴ベクトルを前記トレーニング特徴ベクトルの前記複数のセット表現と比較するように前記分類器モデルを構成することを含み、前記システムはさらに、
   マスタボットを含み、前記マスタボットは、
   ユーザ入力としての入力発話にアクセスする動作と、
   前記入力発話から入力特徴ベクトルを生成する動作と、
   前記分類器モデルを用いて、前記入力特徴ベクトルを前記トレーニング特徴ベクトルの前記複数のセット表現と比較する動作と、
   前記入力特徴ベクトルが前記複数のセット表現の範囲外であることに基づいて、前記スキルボットによって前記ユーザ入力に対処することができないという指示を出力する動作とを含む動作を実行するように構成される、システム。
2. 前記トレーニング特徴ベクトルの前記複数のセット表現を生成することは、前記トレーニング特徴ベクトルが割当てられるクラスタを生成することを含み、
   前記入力特徴ベクトルを前記複数のセット表現と比較することは、前記入力特徴ベクトルが前記クラスタの境界の範囲内に収まらないと判断することを含む、請求項１に記載のシステム。
3. 前記クラスタを生成することは、
   特徴空間における初期クラスタについてのそれぞれの重心位置を決定することと、
   前記初期クラスタのうち、前記トレーニング特徴ベクトルが最も近接する重心位置を有する初期クラスタに、各々のトレーニング特徴ベクトルを割当てることとを含み、前記クラスタを生成することはさらに、
   前記初期クラスタの境界を決定することを含み、前記初期クラスタの各初期クラスタは、対応する割当てられたトレーニング特徴ベクトルを含み、前記クラスタを生成することはさらに、
   停止条件が満たされていないと判断することに応答して、前記初期クラスタを更新することを含み、前記初期クラスタを更新することは、
   クラスタの増加カウントが前記初期クラスタのうちの或る初期カウントよりも大きくなるように、前記クラスタの増加カウントを決定することと、
   前記特徴空間における前記クラスタについてのそれぞれの重心位置を決定することと、
   前記クラスタのうち、前記トレーニング特徴ベクトルが最も近接するそれぞれの重心位置を有するクラスタに、各トレーニング特徴ベクトルを割当てることと、
   前記クラスタの前記境界を決定することとを含み、前記クラスタの各クラスタは対応する割当てられたトレーニング特徴ベクトルを含む、請求項２に記載のシステム。
4. 前記マスタボットの前記動作はさらに、
   第２のユーザ入力としての第２の入力発話にアクセスする動作と、
   前記第２の入力発話から第２の入力特徴ベクトルを生成する動作と、
   前記第２の入力特徴ベクトルが前記クラスタのうちの或るクラスタの境界の範囲内にあると判断する動作と、
   前記第２の入力特徴ベクトルが前記或るクラスタの前記境界の範囲内にあることに基づいて、処理のために、前記第２の入力発話を前記或るクラスタに関連付けられたスキルボットに転送する動作とを含む、請求項２に記載のシステム。
5. 前記スキルボットをさらに含み、前記スキルボットは、前記ユーザ入力に応答してアクションを実行するように前記入力発話を処理するように構成される、請求項４に記載のシステム。
6. 前記トレーニング特徴ベクトルの前記複数のセット表現を生成することは、
   前記トレーニング発話を会話カテゴリに分割することと、
   前記会話カテゴリに対応する合成特徴ベクトルを生成することとを含み、前記合成特徴ベクトルを生成することは、前記会話カテゴリの各会話カテゴリごとに、前記会話カテゴリにおける前記トレーニング発話のそれぞれのトレーニング特徴ベクトルの集合としてそれぞれの合成特徴ベクトルを生成することを含む、請求項１に記載のシステム。
7. 前記会話カテゴリの各会話カテゴリごとに、前記会話カテゴリにおける前記トレーニング発話の前記それぞれのトレーニング特徴ベクトルの集合として前記合成特徴ベクトルを生成することは、前記会話カテゴリにおける前記トレーニング発話の前記それぞれのトレーニング特徴ベクトルを平均化することを含む、請求項６に記載のシステム。
8. 前記会話カテゴリは、各会話カテゴリがそれぞれのスキルボットインテントに対応するとともに前記それぞれのスキルボットインテントを表わすトレーニング発話を含むように、前記スキルボットが構成されるインテントに基づいて定義される、請求項６に記載のシステム。
9. 前記会話カテゴリの各会話カテゴリは、前記スキルボットのそれぞれのスキルボットに対応するとともに、前記それぞれのスキルボットを表わすトレーニング発話を含む、請求項６に記載のシステム。
10. 前記入力特徴ベクトルを前記トレーニング特徴ベクトルの前記複数のセット表現と比較する動作は、前記入力特徴ベクトルが前記合成特徴ベクトルのいずれとも十分に類似していないと判断する動作を含む、請求項６に記載のシステム。
11. 前記マスタボットの前記動作はさらに、
    第２のユーザ入力としての第２の入力発話にアクセスする動作と、
    前記第２の入力発話から第２の入力特徴ベクトルを生成する動作と、
    前記第２の入力特徴ベクトルが前記合成特徴ベクトルのうちの或る合成特徴ベクトルに十分に類似していると判断する動作と、
    前記第２の入力特徴ベクトルが前記合成特徴ベクトルに十分に類似していることに基づいて、処理のために、前記第２の入力発話を前記合成特徴ベクトルに関連付けられたスキルボットに転送する動作とを含む、請求項１から１０のいずれか１項に記載のシステム。
12. 前記スキルボットをさらに含み、前記スキルボットは、前記ユーザ入力に応答してアクションを実行するように前記入力発話を処理するように構成される、請求項１１に記載のシステム。
13. 方法であって、
    コンピュータシステムによって、スキルボットに関連付けられたトレーニング発話にアクセスするステップを含み、前記トレーニング発話は、前記スキルボットの各スキルボットごとにトレーニング発話のそれぞれのサブセットを含み、前記スキルボットの各スキルボットは、ユーザとの対話を提供するように構成され、前記方法はさらに、
    前記トレーニング発話からトレーニング特徴ベクトルを生成するステップを含み、前記トレーニング特徴ベクトルは、前記トレーニング発話の各トレーニング発話ごとにそれぞれのトレーニング特徴ベクトルを含み、前記方法はさらに、
    特徴空間におけるクラスタについての重心位置を決定するステップと、
    前記クラスタのうち、前記クラスタの中から前記トレーニング特徴ベクトルが最も近接するそれぞれの重心位置を有するそれぞれのクラスタに、前記トレーニング特徴ベクトルの各トレーニング特徴ベクトルを割当てるステップと、
    停止条件が満たされるまで前記クラスタを繰返し修正するステップとを含み、前記クラスタを修正するステップは、
    前記クラスタのカウントを更新されたカウントにまで増加するステップと、
    前記更新されたカウントに等しい量で前記クラスタについての新しい重心位置を決定するステップと、
    前記新しい重心位置への近接性に基づいて、前記トレーニング特徴ベクトルを前記クラスタに再割当てするステップとを含み、前記方法はさらに、
    前記クラスタの境界を決定するステップを含み、前記境界は前記クラスタの各クラスタごとにそれぞれの境界を含み、
    入力発話にアクセスするステップと、
    前記入力発話を入力特徴ベクトルに変換するステップと、
    前記入力特徴ベクトルを前記クラスタの前記境界と比較することによって、前記入力特徴ベクトルが前記クラスタの前記境界の範囲外にあると判断するステップと、
    前記入力特徴ベクトルが前記特徴空間内の前記クラスタの範囲外にあることに基づいて、前記スキルボットによって前記入力発話に対処することができないという指示を出力するステップとを含む、方法。
14. 第２のユーザ入力としての第２の入力発話にアクセスするステップと、
    前記第２の入力発話から第２の入力特徴ベクトルを生成するステップと、
    前記第２の入力特徴ベクトルが前記クラスタのうち１つ以上のクラスタの範囲内にあると判断するステップと、
    前記第２の入力特徴ベクトルが前記１つ以上のクラスタの範囲内にあることに基づいて、処理のために、前記第２の入力発話を前記１つ以上のクラスタに関連付けられたスキルボットに転送するステップとをさらに含む、請求項１３に記載の方法。
15. 前記１つ以上のクラスタは、前記スキルボットのそれぞれのトレーニング発話と、第２のスキルボットのそれぞれのトレーニング発話とを含み、前記方法はさらに、
    前記スキルボットおよび前記第２のスキルボットについて計算されたそれぞれの信頼度スコアに基づいて、前記入力発話を処理するために前記スキルボットと前記第２のスキルボットとの間から前記スキルボットを選択するステップを含む、請求項１４に記載の方法。
16. 前記１つ以上のクラスタは、前記スキルボットのそれぞれのトレーニング発話と、第２のスキルボットのそれぞれのトレーニング発話とを含み、前記方法はさらに、
    前記スキルボットの前記それぞれのトレーニング発話および前記第２のスキルボットの前記それぞれのトレーニング発話にｋ最近傍技術を適用することに基づいて、前記入力発話を処理するために、前記スキルボットと前記第２のスキルボットとの間から前記スキルボットを選択するステップを含む、請求項１４に記載の方法。
17. 方法であって、
    コンピュータシステムによって、スキルボットに関連付けられたトレーニング発話にアクセスするステップを含み、前記トレーニング発話は、前記スキルボットの各スキルボットごとにトレーニング発話のそれぞれのサブセットを含み、前記スキルボットの各スキルボットは、ユーザとの対話を提供するように構成されており、前記方法はさらに、
    前記トレーニング発話からトレーニング特徴ベクトルを生成するステップを含み、前記トレーニング特徴ベクトルは、前記トレーニング発話の各トレーニング発話ごとにそれぞれのトレーニング特徴ベクトルを含み、前記方法はさらに、
    前記トレーニング発話を会話カテゴリに分割するステップと、
    前記会話カテゴリに対応する合成特徴ベクトルを生成するステップとを含み、前記合成特徴ベクトルを生成するステップは、前記会話カテゴリの各会話カテゴリごとに、前記会話カテゴリ内の前記トレーニング発話のそれぞれのトレーニング特徴ベクトルの集合としてそれぞれの合成特徴ベクトルを生成するステップを含み、前記方法はさらに、
    入力発話にアクセスするステップと、
    前記入力発話を入力特徴ベクトルに変換するステップと、
    前記入力特徴ベクトルを前記合成特徴ベクトルと比較することによって、前記入力特徴ベクトルが前記合成特徴ベクトルと十分に類似していないと判断するステップと、
    前記入力特徴ベクトルが前記合成特徴ベクトルと十分に類似していないことに基づいて、前記スキルボットによって前記入力発話に対処することができないという指示を出力するステップとを含む、方法。
18. 第２の入力発話にアクセスするステップと、
    前記第２の入力発話を第２の入力特徴ベクトルに変換するステップと、
    前記第２の入力特徴ベクトルを前記合成特徴ベクトルと比較することによって、前記第２の入力特徴ベクトルが前記合成特徴ベクトルのうち或る合成特徴ベクトルと十分に類似していると判断するステップと、
    前記第２の入力特徴ベクトルが前記合成特徴ベクトルと十分に類似していることに基づいて、処理のために、前記第２の入力発話を前記合成特徴ベクトルに関連付けられたスキルボットに転送するステップとをさらに含む、請求項１７に記載の方法。
19. 前記会話カテゴリは、各会話カテゴリが、それぞれの１つ以上のスキルボットインテントに対応するとともに、前記それぞれの１つ以上のスキルボットインテントを表わすトレーニング発話を含むように、前記スキルボットが対処するように構成されるインテントに基づいて定義され、
    前記合成特徴ベクトルは、前記スキルボットが対処するように構成されるスキルボットインテントに対応する、請求項１８に記載の方法。
20. 前記第２の入力特徴ベクトルを前記合成特徴ベクトルと比較することによって、前記第２の入力特徴ベクトルが前記合成特徴ベクトルと十分に類似していると判断するステップは、
    前記第２の入力特徴ベクトルが、前記スキルボットの１つ以上の追加のスキルボットインテントに対応する１つ以上の追加の合成特徴ベクトルに十分に類似していると判断するステップと、
    ｋ最近傍分析を実行するステップとを含み、前記ｋ最近傍分析を実行するステップは、
    予め定義された量で近傍の合成特徴ベクトルを識別するステップを含み、前記近傍の合成特徴ベクトルは前記入力特徴ベクトルに最も近接しており、前記ｋ最近傍分析を実行するステップはさらに、
    前記近傍の合成特徴ベクトルの大部分が、前記スキルボットが対処するように構成されるスキルボットインテントに対応すると判断するステップと、
    前記スキルボットが対処するように構成されるスキルボットインテントに対応する前記近傍の合成特徴ベクトルの前記大部分に基づいて前記スキルボットを選択するステップとを含む、請求項１９に記載の方法。
21. 請求項１３から２０のいずれか１項に記載の方法を実行するように構成されたコンピュータ。
22. 方法であって、
    ユーザ入力としての入力発話にアクセスするステップと、
    前記入力発話から入力特徴ベクトルを生成するステップと、
    分類器モデルを用いて、前記入力特徴ベクトルを前記トレーニング特徴ベクトルの複数のセット表現と比較するステップと、
    前記入力特徴ベクトルが前記複数のセット表現の範囲外にあることに基づいて、スキルボットによって前記ユーザ入力に対処することができないという指示を出力するステップとを含み、前記スキルボットの各スキルボットがユーザとの対話を提供するように構成される、方法。
23. 前記分類器モデルをトレーニングするステップをさらに含み、前記分類器モデルをトレーニングするステップは、
    前記スキルボットに関連付けられたトレーニング発話にアクセスするステップを含み、前記トレーニング発話は、前記スキルボットの各スキルボットに関連付けられたそれぞれのトレーニング発話を含み、前記分類器モデルをトレーニングするステップはさらに、
    前記トレーニング発話からトレーニング特徴ベクトルを生成するステップを含み、前記トレーニング特徴ベクトルは、前記スキルボットの各スキルボットに関連付けられたそれぞれのトレーニング特徴ベクトルを含み、前記分類器モデルをトレーニングするステップはさらに、
    前記トレーニング特徴ベクトルの前記複数のセット表現を生成するステップを含み、前記複数のセット表現の各セット表現は、前記トレーニング特徴ベクトルのサブセットに対応しており、前記分類器モデルをトレーニングするステップはさらに、
    入力特徴ベクトルを前記トレーニング特徴ベクトルの前記複数のセット表現と比較するように前記分類器モデルを構成するステップを含む、請求項２２に記載の方法。
24. 前記トレーニング特徴ベクトルの前記複数のセット表現を生成するステップは、前記トレーニング特徴ベクトルが割当てられるクラスタを生成するステップを含み、
    前記入力特徴ベクトルを前記複数のセット表現と比較するステップは、前記入力特徴ベクトルが前記クラスタの境界の範囲内に収まらないと判断するステップを含む、請求項２３に記載の方法。
25. 前記クラスタを生成するステップは、
    特徴空間における初期クラスタについてのそれぞれの重心位置を決定するステップと、
    前記初期クラスタのうち、前記トレーニング特徴ベクトルが最も近接するそれぞれの重心位置を有する初期クラスタに各トレーニング特徴ベクトルを割当てるステップと、
    前記初期クラスタの境界を決定するステップとを含み、前記初期クラスタの各初期クラスタは、対応する割当てられたトレーニング特徴ベクトルを含み、前記クラスタを生成するステップはさらに、
    停止条件がまだ満たされていないとの判断に応答して、前記初期クラスタを更新するステップを含み、前記初期クラスタを更新するステップは、
    クラスタの増加カウントが前記初期クラスタのうちの或る初期カウントよりも大きくなるように、前記クラスタの増加カウントを決定するステップと、
    前記特徴空間における前記クラスタについてのそれぞれの重心位置を決定するステップと、
    前記クラスタのうち、前記トレーニング特徴ベクトルが最も近接するそれぞれの重心位置を有するクラスタに、各トレーニング特徴ベクトルを割当てるステップと、
    前記クラスタの前記境界を決定するステップとを含み、前記クラスタの各クラスタは対応する割当てられたトレーニング特徴ベクトルを含む、請求項２４に記載の方法。
26. 第２のユーザ入力としての第２の入力発話にアクセスするステップと、
    前記第２の入力発話から第２の入力特徴ベクトルを生成するステップと、
    前記第２の入力特徴ベクトルが前記クラスタのうちの或るクラスタの境界の範囲内にあると判断するステップと、
    前記第２の入力特徴ベクトルが前記或るクラスタの前記境界の範囲内にあることに基づいて、処理のために、前記第２の入力発話を前記或るクラスタに関連付けられたスキルボットに転送するステップとをさらに含む、請求項２５に記載の方法。
27. 前記ユーザ入力に応答してアクションを実行するために前記入力発話を処理するように前記スキルボットを構成するステップをさらに含む、請求項２６に記載の方法。
28. 前記トレーニング特徴ベクトルの前記複数のセット表現を生成するステップは、
    前記トレーニング発話を会話カテゴリに分割するステップと、
    前記会話カテゴリに対応する合成特徴ベクトルを生成するステップとを含み、前記合成特徴ベクトルを生成するステップは、前記会話カテゴリの各会話カテゴリごとに、前記会話カテゴリにおける前記トレーニング発話のそれぞれのトレーニング特徴ベクトルの集合としてそれぞれの合成特徴ベクトルを生成するステップを含む、請求項２３に記載の方法。
29. 前記会話カテゴリの各会話カテゴリごとに、前記会話カテゴリにおける前記トレーニング発話の前記それぞれのトレーニング特徴ベクトルの集合として合成特徴ベクトルを生成するステップは、前記会話カテゴリにおける前記トレーニング発話の前記それぞれのトレーニング特徴ベクトルを平均化するステップを含む、請求項２８に記載の方法。
30. 前記会話カテゴリは、各会話カテゴリがそれぞれのスキルボットインテントに対応するとともに前記それぞれのスキルボットインテントを表わすトレーニング発話を含むように、前記スキルボットが構成されるインテントに基づいて定義される、請求項２８に記載の方法。
31. 前記会話カテゴリの各会話カテゴリは、前記スキルボットのそれぞれのスキルボットに対応するとともに、前記それぞれのスキルボットを表わすトレーニング発話を含む、請求項２８に記載の方法。
32. 前記入力特徴ベクトルを前記トレーニング特徴ベクトルの前記複数のセット表現と比較するステップは、前記入力特徴ベクトルが前記合成特徴ベクトルのいずれとも十分に類似していないと判断するステップを含む、請求項２８に記載の方法。
33. 前記マスタボットの前記動作はさらに、
    第２のユーザ入力としての第２の入力発話にアクセスするステップと、
    前記第２の入力発話から第２の入力特徴ベクトルを生成するステップと、
    前記第２の入力特徴ベクトルが前記合成特徴ベクトルのうちの或る合成特徴ベクトルに十分に類似していると判断するステップと、
    前記第２の入力特徴ベクトルが前記合成特徴ベクトルに十分に類似していることに基づいて、処理のために、前記第２の入力発話を前記合成特徴ベクトルに関連付けられたスキルボットに転送するステップとをさらに含む、請求項２８に記載の方法。
34. 前記ユーザ入力に応答してアクションを実行するために前記入力発話を処理するように前記スキルボットを構成するステップをさらに含む、請求項３３に記載の方法。
35. 請求項２２から３４のいずれか１項に記載の方法を実行するための手段を備える対話システム。

Images