JP2021152903A - 自動的な意図のマイニング、分類、及び配置のための方法及びシステム - Google Patents

Abstract

【課題】自然言語の発話から意図（ｉｎｔｅｎｔ）をマイニングするエージェント自動化システム、方法及びコンピュータ可読媒体を提供する。【解決手段】エージェント自動化フレームワーク１００は、発話のコーパス及びセマンティックマイニングフレームワークを格納するメモリと、エージェント自動化システムに行動を実施させるためにセマンティックマイニングフレームワークの命令を実行するプロセッサとを含む。行動は、発話のコーパス内の意図を検出すること、コーパス内の意図に対する意図ベクトルを生み出すこと、意図ベクトル間の距離を計算すること、距離に基づいて意図ベクトルの意味クラスタを生成すること、意味クラスタに対するクラスタ半径値の安定範囲を検出すること及び意味クラスタとクラスタ半径値の安定範囲とから意図／実体モデルを生成することを含む。受信した自然言語のリクエスト中の意図を分類するために、意図／実体モデルを使用する。【選択図】図５

Description

〔クロスリファレンス〕
本願は、２０１８年３月２３日出願の“ＨＹＢＲＩＤ ＬＥＡＲＮＩＮＧ ＳＹＳＴＥＭ ＦＯＲ ＮＡＴＵＲＡＬ ＬＡＮＧＵＡＧＥ ＵＮＤＥＲＳＴＡＮＤＩＮＧ”という名称の米国仮特許出願番号６２／６４６，９１５、２０１８年３月２３日出願の“ＶＯＣＡＢＵＬＡＲＹ ＭＡＮＡＧＥＭＥＮＴ ＩＮ Ａ ＮＡＴＵＲＡＬ ＬＥＡＲＮＩＮＧ ＦＲＡＭＥＷＯＲＫ”という名称の米国仮特許出願番号６２／６４６，９１６、２０１８年３月２３日出願の“ＭＥＴＨＯＤ ＡＮＤ ＳＹＳＴＥＭ ＦＯＲ ＡＵＴＯＭＡＴＥＤ ＩＮＴＥＮＴ ＭＩＮＩＮＧ， ＣＬＡＳＳＩＦＩＣＡＴＩＯＮ ＡＮＤ ＤＩＳＰＯＳＩＴＩＯＮ”という名称の米国仮特許出願番号６２／６４６，９１７、２０１８年４月１４日出願の“ＭＥＴＨＯＤ ＡＮＤ ＳＹＳＴＥＭ ＦＯＲ ＦＯＣＵＳＥＤ ＣＯＮＶＥＲＳＡＴＩＯＮ ＣＯＮＴＥＸＴ ＭＡＮＡＧＥＭＥＮＴ ＩＮ Ａ ＢＥＨＡＶＩＯＲ ＥＮＧＩＮＥ”という名称の米国仮特許出願番号６２／６５７，７５１、２０１８年４月５日出願の“ＴＥＭＰＬＡＴＥＤ ＲＵＬＥ−ＢＡＳＥＤ ＤＡＴＡ ＡＵＧＭＥＮＴＡＴＩＯＮ ＦＯＲ ＩＮＴＥＮＴ ＥＸＴＲＡＣＴＩＯＮ ＦＲＯＭ ＳＰＡＲＳＥ ＤＡＴＡ”という名称の米国仮特許出願番号６２／６５２，９０３、及び２０１８年４月１９日出願の“ＷＲＩＴＴＥＮ−ＭＯＤＡＬＩＴＹ ＰＲＯＳＯＤＹ ＳＵＢＳＹＳＴＥＭ ＩＮ Ａ ＮＬＵ ＦＲＡＭＥＷＯＲＫ”という名称の米国仮特許出願番号６２／６５９，７１０の優先権及び利益を主張し、それらは、全ての目的でその全体が参照により本明細書に組み込まれる。

本開示は、概して、自然言語理解（ＮＬＵ）の分野に関し、より具体的には、自然言語の発話から意図（intent）をマイニングすることに関する。

本章は、以下で記述及び／又は請求される本開示の様々な側面に関し得る技術の様々な側面に読者を導くことを意図する。本論考は、本開示の様々な側面のより良い理解を容易にするための背景情報を読者に提供するのに役立つと思われる。したがって、これらの記述は、この観点で読まれるべきであり、従来技術を自認するものではないと理解されるべきである。

クラウドコンピューティングは、インターネットを介して一般的にアクセスされるコンピューティング資源の共有に関する。具体的には、クラウドコンピューティング基盤は、サーバ、ストレージデバイス、ネットワーク、アプリケーション、及び／又はその他のコンピューティングベースのサービス等のコンピューティング資源の共有プールに、個人及び／又は企業等のユーザがアクセスすることを可能にする。そうすることによって、ユーザは、遠隔地に設置されるコンピューティング資源にオンデマンドでアクセスでき、これらの資源は、多様なコンピューティング機能(例えば、大量のコンピューティングデータの格納及び／又は処理)を実施するために使用され得る。企業及びその他の組織のユーザに対して、クラウドコンピューティングは、高価なネットワーク環境を購入すること、又はプライベートネットワーク基盤の確立に多くの時間を費やすこと等、多額の初期費用を発生させることなく、クラウドコンピューティング資源へのアクセスを柔軟に提供する。代わりに、クラウドコンピューティング資源を利用することによって、ユーザは、彼らの企業の核心的な職務に重点を置くために彼らの資源を向け直すことができる。

現代の通信ネットワークでは、ユーザが利用し得るクラウドコンピューティングサービスの例は、所謂ｉｎｆｒａｓｔｒｕｃｔｕｒｅ ａｓ ａ ｓｅｒｖｉｃｅ（ＩａａＳ）、ｓｏｆｔｗａｒｅ ａｓ ａ ｓｅｒｖｉｃｅ（ＳａａＳ）、及びｐｌａｔｆｏｒｍ ａｓ ａ ｓｅｒｖｉｃｅ（ＰａａＳ）技術を含む。ＩａａＳは、プロバイダがハードウェア基盤の複雑さを取り除き、仮想サーバ及びストレージの高速で簡易なプロビジョニングを提供し、コンピューティング能力へのオンデマンドでのアクセスを企業に与えるモデルである。こうしたアプローチでは、しかしながら、プラットフォームコンポーネント及びアプリケーションのインストール及び維持がユーザに任され得る。ＳａａＳは、最終製品よりもむしろサービスとしてソフトウェアを提供するデリバリモデルである。ローカルネットワーク又は個別のソフトウェアインストールの利用に代わり、ソフトウェアは、典型的には予約制で権限付与され、リモートマシン上にホストされ、必要に応じてクライアント顧客によりアクセスされる。例えば、ユーザは、一般的に、企業及び／又は情報技術（ＩＴ）関連の様々なソフトウェアにウェブブラウザを介してアクセスできる。ＰａａＳは、ユーザのニーズに合致するようにカスタマイズ性及び拡張性の機能（feature）を提供することによって、ソフトウェアサービスの提供を越えるＳａａＳの延長としての機能を果たす。例えば、ＰａａＳは、アプリケーション及び／又は自動的な企業動作を開発、修正、及び／又はカスタマイズするために、ネットワーク基盤の維持及び／又はこれらの機能と標準的に関連付けられるコンピューティング資源の配分なしに、クラウドベースの開発プラットフォームをユーザに提供し得る。

こうしたクラウドコンピューティングサービスは、クライアントインスタンスのユーザからの自然言語のリクエストに基づいてクライアントインスタンスとの問題に自動的に応答するように設計された、チャットエージェント等の仮想エージェントをホストし得る。例えば、ユーザは、パスワードの問題の支援のためのリクエストを仮想エージェントに提供し得る。意図を分類するための複数の方法が今日存在するが、これらの方法は、意図モデルの先在を前提とする。すなわち、自然言語理解（ＮＬＵ）エンジンは、既存の意図モデルに基づいて、受信された自然言語の発話から意図を分類又は推測するように概して設計される。意図モデルは、典型的には、特定の意図と特定のサンプルの自然言語の発話との間の関係性を定義するために設計者により手動で創作される。ＮＬＵエンジンにより使用される意図モデルは、しばしば冗長且つ複雑であるので、それらの創作には相当の時間と費用がかかり得る。また、ユーザが意図を表現する方法は時間と共に変化しがちであるので、意図モデルを更新及び維持することにも相当の時間と費用がかかり得る。

本明細書で開示される幾つかの実施形態の概要が以下に記述される。これらの側面は、これらの幾つかの実施形態の簡単な概要を読書に提供するために提示されるにすぎないこと、及びこれらの側面は、本開示の範囲を限定することを意図しないことは理解されるべきである。実際、本開示は、以下で記述されないかもしれない様々な側面を包含し得る。

本実施形態は、ソースデータ（例えば、チャットログ、電子メール列、フォーラムエントリ、サポートリクエストのチケット、ヘルプラインコールの記録、又はそれらの組み合わせ）のコーパスからの意図／実体（entity）モデルの無監督な生成が可能な自然言語理解（ＮＬＵ）システムに向けられる。論じられるように、開示されるエージェント自動化フレームワークは、コーパス上で実施される意図マイニングプロセスに基づいて、意図／実体モデルを生成及び改善するためにＮＬＵフレームワークと協働するように設計されたセマンティックマイニングフレームワークを含むシステムである。具体的には、ＮＬＵフレームワークは、コーパス内に存在する意図を表す意図ベクトルのセットを生み出すように設計され、これらの意図ベクトル間の距離を計算する。セマンティックマイニングフレームワークは、意図／実体モデルの基礎として使用され得る適切な意味（meaning）クラスタを識別するために、これらの距離に基づいて適切なクラスタ半径（例えば、自然に安定したクラスタ形成範囲）を抽出する。他の実施形態では、セマンティックマイニングフレームワークは、より主観的な意図／実体モデルの生成の基礎として設計者が使用し得る適切な出力（例えば、意図ベクトル、意味クラスタ、安定したクラスタサイズ範囲）を生成するが、幾つかの実施形態では、セマンティックマイニングフレームワークは、所望の意図／実体モデルの予め定義されたパラメータに基づいて意図／実体モデルを自動的に生成し得る。

例えば、開示のセマンティックマイニングフレームワークは、対話のモデル化又は分析の目的で、ユーザ（例えば、仮想エージェント設計者又はその他の推理エージェント／挙動エンジン設計者）が抽出されたクラスタ半径を操縦及び探索することを可能にする適切なデータ構造（例えば、クラスタ形成木、系統樹）を生成し得る。セマンティックマイニングフレームワークは、生成された意図／実体モデルに基づいて、対話モデル中の盲点の発見等、対話モデルの改善を支援するように更に設計される。生成された意図／実体モデルを使用して、エージェント自動化フレームワークは、仮想エージェントを介したユーザリクエスト等の新たに受信された発話の意図を決定し得、対話モデルに基づいて該発話への適切な応答を決定し得る。更に、エージェント自動化フレームワークの性能及び正確性が時間と共に向上するように、意図／実体モデル及び／又は対話モデルは、新たに受信された発話に基づいて更新及び改善が継続され得る。また、開示のセマンティックマイニングフレームワークは、本開示に従って（例えば、意図をベクトル空間内のベクトル中にマッピングするため、及び／又は意図ベクトルの距離の計算を実施するために）異なるＮＬＵエンジン又はフレームワークと組み合わせることが可能である。

本開示の様々な側面は、後続の詳細な説明を閲読すると、及び図面を参照すると、より良く理解され得る。

本技術の実施形態が動作し得るクラウドコンピューティングシステムの実施形態のブロック図である。 本技術の実施形態が動作し得るマルチインスタンスクラウドアーキテクチャの実施形態のブロック図である。 本技術の側面に従った、図１又は図２に存在し得るコンピューティングシステムにおいて利用されるコンピューティングデバイスのブロック図である。 本技術の側面に従った、クラウドコンピューティングシステムによりホストされるクライアントインスタンスの一部であるＮＬＵフレームワークを含むエージェント自動化フレームワークの実施形態を説明する概略図である。 本技術の側面に従った、ＮＬＵフレームワークの部分が、クラウドコンピューティングシステムによりホストされる企業インスタンスの一部であるエージェント自動化フレームワークの別の実施形態を説明する概略図である。 本技術の側面に従った、エージェント自動化フレームワークの幾つかのコンポーネントの上位の視点を図示するブロック図である。 本技術の側面に従った、セマンティックマイニングプロセスの複数の処理ステップを説明するセマンティックマイニングパイプラインのブロック図である。 本技術の側面に従った、クラスタ半径値の範囲に渡る複数の意味クラスタを示すグラフである。 本技術の側面に従った、セマンティックマイニングプロセス中にセマンティックマイニングパイプラインにより生成されるクラスタ形成木の視覚化であるクラスタ系統樹である。

１つ以上の特定の実施形態が以下で説明される。これらの実施形態の簡潔な説明を提供するために、実際の実装の全ての機構が明細書中で説明されるわけではない。任意のエンジニアリング又は設計プロジェクトにおいて見られるように、こうした任意の実際の実装の開発では、システム関連及びビジネス関連の制約の順守等の開発者の特定の目標を実現するように、ある実装から別の実装に変更され得る多くの実装特有の設計（decision）がなさければならないことが分かるであろう。更に、開発の努力は、複雑で時間がかかるかもしれないが、それにもかかわらず、本開示の利益を有する当業者にとっては、設計、製作、及び製造の決まりきった仕事であろう。

本明細書で使用されるように、用語“コンピューティングシステム”又は“コンピューティングデバイス”は、単一のコンピュータ、仮想マシン、仮想コンテナ、ホスト、サーバ、ラップトップ、及び／若しくは携帯デバイスを含むがそれらに限定されない電子コンピューティングデバイス、又はコンピューティングシステム上で若しくはコンピューティングシステムにより実施されるものとして記述される機能を実施するように相互に働く複数の電子コンピューティングデバイスを指す。本明細書で使用されるように、用語“マシン可読媒体”は、１つ以上の命令又はデータ構造を格納する単一の媒体又は複数の媒体（例えば、集中型又は分散型のデータベース、並びに／又は関連するキャッシュ及びサーバ）を含み得る。用語“非一時的マシン可読媒体”はまた、コンピューティングシステムによる実行のための命令を格納、符号化、又は搬送することが可能であり、且つ本主題の方法論の内の任意の１つ以上をコンピューティングシステムに実行させる任意の有形媒体、又は、こうした命令により利用される若しくは該命令と関連付けられるデータ構造を格納、符号化、若しくは搬送することが可能である任意の有形媒体を含むように講じられるであろう。用語“非一時的マシン可読媒体”は、したがって、固体状態メモリ、並びに光及び磁気媒体を含むように講じられるが、それらに限定されないであろう。非一時的マシン可読媒体の具体例は、例示として、半導体メモリデバイス（例えば、消去可能プログラム可能リードオンリーメモリ（ＥＰＲＯＭ）、電気的消去可能プログラム可能リードオンリーメモリ（ＥＥＰＲＯＭ）、及びフラッシュメモリデバイス）、内臓ハードディスク及びリムーバブルディスク等の磁気ディスク、光磁気ディスク、並びにＣＤ−ＲＯＭ及びＤＶＤ−ＲＯＭディスクを含む不揮発性メモリを含むが、それらに限定されない。

本明細書で使用されるように、用語“アプリケーション”及び“エンジン”は、特定の機能を提供するための、コンピューティングシステムの１つ以上のプロセッサにより実行可能なコンピュータソフトウェア命令（例えば、コンピュータプログラム及び／又はスクリプト）の１つ以上のセットを指す。コンピュータソフトウェア命令は、Ｃ、Ｃ＋＋、Ｃ＃、パスカル、フォートラン、パール、ＭＡＴＬＡＢ、ＳＡＳ、ＳＰＳＳ、ＪａｖａＳｃｒｉｐｔ、ＡＪＡＸ、及びＪＡＶＡ等の任意の適切なプログラミング言語で書き込まれ得る。こうしたコンピュータソフトウェア命令は、データ入力及びデータ表示モジュールを有する独立のアプリケーションを含み得る。或いは、開示のコンピュータソフトウェア命令は、分散したオブジェクトとしてインスタンス化されたクラスであり得る。開示のコンピュータソフトウェア命令はまた、コンポーネントソフトウェア、例えば、ＪＡＶＡＢＥＡＮＳ又はＥＮＴＥＲＰＲＩＳＥ ＪＡＶＡＢＥＡＮＳであり得る。また、開示のアプリケーション又はエンジンは、コンピュータソフトウェア、コンピュータハードウェア、又はそれらの組み合わせで実装され得る。

本明細書で使用されるように、用語“フレームワーク”は、データ構造、ライブラリ、モジュール、及び任意のその他のサポート機能と共に、１つ以上の機能の全てを実施するように協働するアプリケーション及び／又はエンジンのシステムを指す。具体的には、“自然言語理解フレームワーク”又は“ＮＬＵフレームワーク”は、意図／実体モデルに基づいて自然言語の発話から意味（例えば、意図、実体）を処理及び引き出すように設計されたコンピュータプログラムの一群を含む。本明細書で使用されるように、“推理エージェント／挙動エンジン”は、対話モデルに基づいて他のエージェントとインタラクトするように設計された、仮想アシスタント等の規則ベースのエージェントを指す。例えば、“仮想エージェント”は、特定の対話又は通信チャネルにおいて自然言語のリクエストを介してユーザとインタラクトするように設計された推理エージェント／挙動エンジンの具体例を指し得る。具体例として、仮想エージェントは、チャットルーム環境において自然言語のリクエスト及び応答を介してユーザとインタラクトするチャットエージェントであり得、又は該チャットエージェントを含み得る。仮想エージェントのその他の例は、電子メール、フォーラムポスト、並びにサービスチケット及び通話等への自動返信というコンテクストでユーザとインタラクトする電子メールエージェント、フォーラムエージェント、発券エージェント、及び通話エージェント等を含み得る。

本明細書で使用されるように、“意図（intent）”は、発話等の通信の根本的な目的に関連し得るエージェントの要望又は目標を指す。本明細書で使用されるように、“実体（entity）”は、意図のオブジェクト、サブジェクト、又はその他の幾つかのパラメータ表現を指す。本明細書で使用されるように、“意図／実体モデル”は、特定の意図を特定の発話と関連付ける意図モデルを指し、ここで、ある一定の実体データは、モデル内の意図のパラメータとして符号化され得る。本明細書で使用されるように、用語“エージェント”は、対話チャネル内で相互にインタラクトする人（例えば、ユーザ、管理者、及び顧客）又はコンピュータ生成の人（例えば、チャットエージェント又はその他の仮想エージェント）の何れかを指し得る。本明細書で使用されるように、“コーパス”は、様々なエージェント間のインタラクションを含むソースデータの取得された本体を指し、ここで、該インタラクションは、１つ以上の適切な種類の媒体（例えば、ヘルプライン、チャットルーム、又はメッセージ列、電子メール列）内の通信又は対話を含む。本明細書で使用されるように、“ソースデータ”は、チャットログ、電子メール列、文書、ヘルプ証拠書類、よくある質問（ＦＡＱ）、フォーラムエントリ、発券をサポートする項目、及びヘルプラインコールの記録等を含むがそれらに限定されない、様々なエージェント間の取得された適切なインタラクションを含み得る。本明細書で使用されるように、“発話”は、エージェントによりなされ、1つ以上の意図を含み得る単一の自然言語の陳述を指す。そのようなものだとして、発話は、ソースデータの以前に取得されたコーパスの一部であり得、発話は、別のエージェントとのインタラクション（例えば、仮想エージェントのユーザリクエスト）の一部としてエージェントによりなされた新たな陳述でもあり得る。

記述されるように、コンピューティングプラットフォームは、プラットフォーム上で機能を実施する又は問題への取り組むようにユーザリクエストに自動的に応答するように設計された、チャットエージェント又は別の類似の仮想エージェントを含み得る。記述されるように、ＮＬＵエンジンは、既存の意図モデルに基づいて自然言語のリクエストから意図を分類又は推測するように一般的に設計される。意図モデルは、特定の意図と特定のサンプルの自然言語の発話との間の関係性を定義するように手動で創作され得るが、このプロセスは、費用がかかり得、限定された意図モデルをもたらし得る。更に、これらの意図モデルは、特定の対話チャネル内の意図表現の変化を調整するために、定期的に手動で更新され得る。したがって、本実施形態は、特定の対話チャネルからの対話型ソースデータのコーパス上の意図のマイニングを実施することによって、人の介在が僅かであるか全くなく、意図／実体モデルを生成することが可能なシステムに向けられる。また、意図／実体モデルは主観的であり得ると分かることから、本実施形態は、意図の分類においてユーザに対して適切な意図／実体モデルを構築するために、設計者により使用され得る適切な出力（例えば、クラスタ形成木、安定したクラスタサイズ範囲）をも提供する。

しかしながら、意図／実体モデルを生成する場合に複数の検討があることは現在分かっている。例えば、既存の方法に対して、文書レベル、段落レベル、発話レベル、及び／又は文章レベルでの意図の分類又は特徴化は、不十分な結果をもたらし得る。例えば、発話“私のパスワードをリセットし、後で取り扱うためにパスワードのリセット証拠書類を私に送付して下さい”を検討する。この例示的発話は、３つの意図（例えば、パスワードのリセット、証拠書類の送付、自己充足）を含む。この方法で（例えば、適切な意図レベルで）ソースデータを区分けすることは、将来のリクエストに応答するために推理エージェント／挙動エンジンにより使用される対話モデルを構築及び改善するために、セマンティックマイニングフレームワークの出力を使用可能にすることは現在分かっている。そのようなものだとして、意図／実体モデルを適切に構築するためには、意図及び実体を適切に取得するための適切なレベル（例えば、極小の意図レベル）の粒度で、ソースデータのコーパスから意味が抽出されるべきであることが現在分かっている。

また、発話のコーパス内に存在する意図及び実体の階層をも維持しながら、発話から意味が抽出されるべきであることも現在分かっている。例えば、発話“モール近くのコーヒーショップで私達は会いましょう”は、３つの実体（例えば、“私達”、“コーヒーショップ”、及び“モール”）を有し、“モール”（第１の実体）が“コーヒーショップ”（第２の実体）をパラメータ化する明確な階層実体構造がある。これらの階層関係を維持することは、対話モデルを改善及び最適化するために有意義な分析を使用可能にすることが分かる。すなわち、意図の階層を維持することは、意図の分類中に比較を実施する場合にＮＬＵフレームワークがより正確になることを可能にし得ることが分かる。そのようなものだとして、意図木の構成性を維持することによって、例えば、意図の階層化及びグループ化は、発話の包括的な意図の意味全体に寄与し得ることが分かる。

別の例では、発話は、陳述“私は、私のパスワードをリセットしたい”を含む。この例示的発話内に存在する２つの意図（例えば、“私は・・・したい”及び“私のパスワードをリセットする”）があることが分かる。構成的に、“私はしたい”という意図は、“私のパスワードをリセットする”という意図に含まれ、“私のパスワードをリセットする”という意図は、“私はしたい”という意図のパラメータ表現（又は子）として扱われ得る。この階層構造は、ＮＬＵ及び意図／実体モデルの生成の幾つかの側面に有用であることが分かる。例えば、この階層に基づいて、“私はしたい”という意図と“私のパスワードをリセットする”という意図（又は関連する意図）とは、他の意図（例えば、“私は・・・したい”という意図と“サーバをシャットダウンする”という意図）よりも前に互いにクラスタリングされるであろう。言い換えれば、意味のクラスタ形成に建設的な影響を与え得る、２つの意図間の類似性測定に下位の意図（sub-intent）が寄与することが望ましいことが分かる。また、類似性測定に対して、下位の意図（及び下位の実体（sub-entity））は、修正されている項目の類似性に寄与する修飾語句としての機能を果たし得る。例えば、“モール近くのコーヒーショップ”という実体は、“一番通りと大通りとの角のコーヒーショップ”よりも“ショッピングセンタ近くのコーヒーショップ”とより密接に合致するであろう。そのようなものだとして、意図／実体の階層は、意図／実体モデルを生成する場合に、分析、意図の類似性の精度、及び意図クラスタの検出等にとって重要であることが分かる。

更に、意図／実体モデル内では、意味クラスタの収束率は、提供されたソースデータと共に、ＮＬＵ距離メトリックに基づいて異なり得ることが分かる。したがって、以下で論じるように、異なるクラスタ半径において意味を抽出することに利点があることは現在分かっている。例えば、幾つかの実施形態では、意図／実体モデルの十分性とクラスタ粒度は、ユーザ入力に基づいて予め定義される。

以上を念頭に置いて、本実施形態は、発話のコーパスから意図／実体モデルの無監督な生成を可能にするエージェント自動化フレームワークに向けられる。論じられるように、開示のエージェント自動化フレームワークは、ＮＬＵフレームワーク及び推理エージェント／挙動エンジンと共に動作するように設計されたセマンティックマイニングフレームワークを含む。具体的には、セマンティックマイニングフレームワークは、コーパスのソースデータ上で実施される意図マイニングプロセスに基づいて意図／実体モデルを生成及び改善するために、ＮＬＵフレームワークと協働するように設計される。具体的には、開示のセマンティックマイニングフレームワークは、コーパスの発話中の意図毎に個別のベクトル又はベクトルのセットを生み出すために、ＮＬＵフレームワークと協働するように設計される。すなわち、意図の区分けに関して、開示のセマンティックマイニングフレームワークは、より高次の意図ベクトル（例えば、発話単位、文書単位、文書の一群単位）を生成するよりもむしろ、コーパス中の極小の意図毎に個別の意図ベクトルを生み出すように設計される。これらの意図ベクトル間で計算された距離に基づいて、セマンティックマイニングフレームワークは、意図／実体モデルの生成の基礎として役立つ適切な意味クラスタを適切なクラスタ半径（例えば、自然に安定したクラスタ形成範囲）と共に決定する。また、セマンティックマイニングフレームワークは、意図の分散（例えば、特定の意図がどの位の頻度でコーパス中で表現されるか）及び対話パターン（例えば、特定の意図がどの位の頻度で特定の応答又は成果を導いたか）を決定し得、それらは、仮想エージェントにより使用される対話モデルを生成又は改善するために使用され得る。

以下で論じるように、開示のセマンティックマイニングフレームワークは、対話のモデル化のため及び分析目的のため等のために、意図／実体モデルを設計又は改善するために、抽出されたクラスタ半径をユーザ（例えば、チャットエージェントの設計者、又はその他の仮想エージェントの設計者）が操縦できるようにする適切なデータ構造（例えば、クラスタ形成木及び／又はクラスタ系統樹）をも生成する。セマンティックマイニングフレームワークは、生成された意図／実体モデルに基づいて、対話モデル中の盲点の発見等の対話モデルの改善を支援するように更に設計される。生成された意図／実体モデルを使用して、エージェント自動化フレームワークは、仮想エージェントを介して、ユーザリクエスト等の新たに受信された発話の意図をも決定し得、対話モデルに基づいて、発話への適切な応答を決定し得る。更に、エージェント自動化フレームワークの性能及び正確性が時間と共に向上するように、意図／実体モデル及び／又は対話モデルは、新たに受信された発話に基づいて更新及び改善を継続し得る。また、開示のセマンティックマイニングフレームワークは、本開示に従って（例えば、意図ベクトルを生み出すため、及びこれらの意図ベクトル間の距離計算を実施するために）異なるＮＬＵエンジン又はフレームワークと組み合わせることができる。

前述を念頭に置いて、以下の図面は、マルチインスタンスフレームワークの組織化への有用性を提供するのに用いられ得、本アプローチが用いられ得る様々な種類の一般的なシステムアーキテクチャ又は構成に関する。対応して、これらのシステム及びプラットフォームの例はまた、本明細書で論じられる技術が実装され得、さもなければ利用され得るシステム及びプラットフォームに関し得る。ここで図１を参照すると、本開示の実施形態が動作し得る、クラウドコンピューティングシステム等のコンピューティングシステム１０の実施形態の概略図が説明されている。コンピューティングシステム１０は、クライアントネットワーク１２、ネットワーク１８（例えば、インターネット）、及びクラウドベースのプラットフォーム２０を含み得る。幾つかの実装では、クラウドベースのプラットフォームは、管理データベース（ＣＭＤＢ）システム及び／又はその他の適切なシステムをホストし得る。一実施形態では、クライアントネットワーク１２は、スイッチ、サーバ、及びルータを含むがそれらに限定されない様々なネットワークデバイスを有するローカルエリアネットワーク（ＬＡＮ）等のローカルプライベートネットワークであり得る。別の実施形態では、クライアントネットワーク１２は、１つ以上のＬＡＮ、仮想ネットワーク、データセンタ２２、及び／又はその他のリモートネットワークを含み得る企業ネットワークを表す。図１に示すように、クライアントデバイスが相互に、及び／又はプラットフォーム２０をホストするネットワークと通信できるように、クライアントネットワーク１２は、１つ以上のクライアントデバイス１４Ａ、１４Ｂ、及び１４Ｃに接続できる。クライアントデバイス１４Ａ〜Ｃは、コンピューティングシステムであり得、及び／又は、例えば、ウェブブラウザアプリケーションを介して、若しくはクライアントデバイスとプラットフォーム２０との間のゲートウェイとしての機能を果たし得るエッジデバイス１６を介して、クラウドコンピューティングサービスにアクセスするモノのインターネット（ＩｏＴ）デバイスと一般的に称されるその他の種類のコンピューティングデバイスであり得る。図１は、プラットフォーム２０、その他の外部アプリケーション、データソース、及びサービスをホストするネットワークとクライアントネットワーク１２との間のデータの通信を容易にする、管理、計装、及び発見（ＭＩＤ）サーバ１７等の監督又は監視のデバイス又はサーバを含む。図１には特に説明されていないが、クライアントネットワーク１２は、顧客のファイアウォール若しくは侵入防御システムを実装する接続ネットワークデバイス（例えば、ゲートウェイ若しくはルータ）又はデバイスの組み合わせをも含み得る。

説明される実施形態に対して、図１は、クライアントネットワーク１２がネットワーク１８に結合されることを説明する。ネットワーク１８は、クライアントデバイス１４Ａ〜Ｃとプラットフォーム２０をホストするネットワークとの間でデータを転送するための、その他のＬＡＮ、広域ネットワーク（ＷＡＮ）、インターネット、及び／又はその他のリモートネットワーク等の１つ以上のコンピューティングネットワークを含み得る。ネットワーク１８内のコンピューティングネットワークの各々は、電気及び／又は光領域で動作する有線及び／又は無線のプログラム可能デバイスを含み得る。例えば、ネットワーク１８は、セルラーネットワーク（例えば、Ｇｌｏｂａｌ Ｓｙｓｔｅｍ ｆｏｒ Ｍｏｂｉｌｅ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ（ＧＳＭ）ベースのセルラーネットワーク）、ＩＥＥＥ８０２．１１ネットワーク、及び／又はその他の適切な電波ベースのネットワーク等の無線ネットワークを含み得る。ネットワーク１８はまた、トランスミッションコントロールプロトコル（ＴＣＰ）及びインターネットプロトコル（ＩＰ）等の任意の数のネットワーク通信プロトコルを用い得る。図１には明確には示されないが、ネットワーク１８は、サーバ、ルータ、ネットワークスイッチ、及び／又はネットワーク１８を経由してデータを運ぶように構成されたその他のネットワークハードウェアデバイス等の様々なネットワークデバイスを含み得る。

図１において、プラットフォーム２０をホストするネットワークは、クライアントネットワーク１２及びネットワーク１８を介してクライアントデバイス１４Ａ〜Ｃと通信できるリモートネットワーク（例えば、クラウドネットワーク）であり得る。プラットフォーム２０をホストするネットワークは、クライアントデバイス１４Ａ〜Ｃ及び／又はクライアントネットワーク１２に付加的なコンピューティング資源を提供する。例えば、プラットフォーム２０をホストするネットワークを利用することによって、クライアントデバイス１４Ａ〜Ｃのユーザは、様々な企業用のアプリケーション、ＩＴ、及び／又はその他の組織関連の機能を構築及び実行することができる。一実施形態では、プラットフォーム２０をホストするネットワークは、１つ以上のデータセンタ２２上に実装され、ここで、各データセンタは、異なる地理的位置に対応し得る。データセンタ２２の各々は、複数の仮想サーバ２４（本明細書では、アプリケーションノード、アプリケーションサーバ、仮想サーバインスタンス、アプリケーションインスタンス、又はアプリケーションサーバインスタンスとも称される）を含み、ここで、各仮想サーバは、単一の電子コンピューティングデバイス（例えば、単一の物理的ハードウェアサーバ）等の物理的コンピューティングシステム上に実装され得、又は複数のコンピューティングデバイス（例えば、複数の物理的ハードウェアサーバ）に渡って実装され得る。仮想サーバ２４の例は、ウェブサーバ（例えば、一元的ウェブサーバのインストール）、アプリケーションサーバ（例えば、一元的ＪＡＶＡ仮想マシン）、及び／又はデータベースサーバ、例えば、一元的リレーショナルデータベース管理システム（ＲＤＢＭＳ）カタログを含むが、これらに限定されない。

プラットフォーム２０内のコンピューティング資源を利用するために、ネットワークオペレータは、様々なコンピューティング基盤を使用してデータセンタ２２を構成するために選択し得る。一実施形態では、サーバインスタンス２４の内の１つが複数の顧客からのリクエストを取り扱い、複数の顧客にサービスを提供するように、データセンタ２２の内の１つ以上は、マルチテナント型のクラウドアーキテクチャを使用して構成される。マルチテナント型のクラウドアーキテクチャを有するデータセンタは、複数の顧客からのデータを混合及び格納し、ここで、複数の顧客インスタンスは、仮想サーバ２４の内の１つに割り当てられる。マルチテナント型のクラウドアーキテクチャでは、特定の仮想サーバ２４は、様々な顧客のデータ及びその他の情報を区別し、分離する。例えば、マルチテナント型のクラウドアーキテクチャは、顧客毎にデータを識別及び分離するために、顧客毎に特定の識別子を割り当て得る。一般的に、マルチテナント型のクラウドアーキテクチャを実装することは、サーバインスタンス２４の内の特定の１つの故障が、特定のサーバインスタンスに配分された全ての顧客に対して停電を生じさせる等、様々な障害に煩わされることがある。

別の実施形態では、データセンタ２２の１つ以上は、あらゆる顧客に自身のユニークな１つ以上の顧客インスタンスを提供するために、マルチインスタンスのクラウドアーキテクチャを使用して構成される。例えば、マルチインスタンスのクラウドアーキテクチャは、各顧客インスタンスに自身の専用アプリケーションサーバ及び専用データベースサーバを提供し得る。他の例では、マルチインスタンスのクラウドアーキテクチャは、顧客インスタンス毎に、単一の物理的若しくは仮想サーバを、並びに／又は１つ以上の専用ウェブサーバ、１つ以上の専用アプリケーションサーバ、及び１つ以上のデータベースサーバ等の物理的及び／若しくは仮想サーバ２４のその他の組み合わせを配備し得る。マルチインスタンスのクラウドアーキテクチャでは、複数の顧客インスタンスは、１つ以上の個別のハードウェアサーバ上にインストールされ得、ここで、各顧客インスタンスは、コンピューティングメモリ、ストレージ、及び処理電力等の物理的サーバ資源の幾つかの部分に配分される。そうすることによって、各顧客インスタンスは、データの隔離、プラットフォーム２０にアクセスする顧客に対する比較的短いダウンタイム、及び顧客主導のアップグレードスケジュールの利益を提供する自身のユニークなソフトウェアスタックを有する。マルチインスタンスのクラウドアーキテクチャ内に顧客インスタンスを実装する例は、図２を参照しながら以下でより詳細に論じられるであろう。

図２は、本開示の実施形態が動作し得るマルチインスタンスのクラウドアーキテクチャ４０の実施形態の概略図である。図２は、クライアントネットワーク１２と、相互に地理的に分離され得る２つの（例えば、対になった）データセンタ２２Ａ及び２２Ｂに接続するネットワーク１８とをマルチインスタンスのクラウドアーキテクチャ４０が含むことを説明する。一例として図２を使用すると、ネットワーク環境及びサービスプロバイダクラウド基盤クライアントインスタンス４２（本明細書では簡潔にクライアントインスタンス４２とも称する）は、専用仮想サーバ（例えば、仮想サーバ２４Ａ、２４Ｂ、２４Ｃ、及び２４Ｄ）及び専用データベースサーバ（例えば、仮想データベースサーバ４４Ａ及び４４Ｂ）と関連付けられる（例えば、それらによりサポートされ、使用可能にさせる）。別の言い方をすれば、仮想サーバ２４Ａ〜２４Ｄ及び仮想データベースサーバ４４Ａ及び４４Ｂは、他のクライアントインスタンスと共有されず、個別のクライアントインスタンス４２に特有である。マルチインスタンスのクラウドアーキテクチャ４０のその他の実施形態は、ウェブサーバ等の他の種類の専用仮想サーバを含み得る。例えば、クライアントインスタンス４２は、専用仮想サーバ２４〜２４Ｄ、専用仮想データベースサーバ４４Ａ及び４４Ｂ、及び付加的な専用仮想ウェブサーバ（図２に示さず）と関連付けられ（例えば、それらによってサポートされ、使用可能にさせ）得る。

図示される例では、クライアントインスタンス４２の利用可能性を容易にするために、仮想サーバ２４Ａ〜２４Ｄ及び仮想データベースサーバ４４Ａ及び４４Ｂは、２つの異なるデータセンタ２２Ａ及び２２Ｂに配分され、ここで、データセンタ２２の内の１つはバックアップのデータセンタとしての機能を果たす。図２に関して、データセンタ２２Ａは、仮想サーバ２４Ａ及び２４Ｂのプライマリ対と、クライアントインスタンス４２と関連付けられたプライマリ仮想データベースサーバ４４Ａとを含むプライマリデータセンタとしての機能を果たす。データセンタ２２Ｂは、クライアントインスタンス４２に対するプライマリデータセンタ２２Ａをバックアップするセカンダリデータセンタ２２Ｂとしての機能を果たす。クライアントインスタンス４２に対するプライマリデータセンタ２２Ａをバックアップするために、セカンダリデータセンタ２２Ｂは、仮想サーバ２４Ｃ及び２４Ｄのセカンダリ対と、セカンダリ仮想データベースサーバ４４Ｂとを含む。プライマリ仮想データベースサーバ４４Ａは、（例えば、ネットワーク１８を介して）セカンダリ仮想データベースサーバ４４Ｂにデータを複製できる。

図２に示すように、プライマリ仮想データベースサーバ４４Ａは、データベース複製動作を使用して、セカンダリ仮想データベースサーバ４４Ｂにデータをバックアップし得る。データ間のデータの複製は、データセンタ２２Ａ及び２２Ｂの両方において、毎週の完全バックアップ及び毎日の増分バックアップを実施することにより実装され得る。プライマリデータセンタ２２Ａ及びセカンダリデータセンタ２２Ｂの両方を有することは、典型的にはクライアントインスタンス４２に対するプライマリデータセンタ２２Ａへ行くデータトラフィックが、故障及び／又はメンテナンスのシナリオ中にはセカンダリデータセンタ２２Ｂへ回されることを可能にする。一例として図２を使用すると、仮想サーバ２４Ａ及び２４Ｂ及び／又はプライマリ仮想データベースサーバ４４Ａが故障及び／又はメンテナンス下にある場合、クライアントインスタンス４２に対するデータトラフィックは、処理のためにセカンダリ仮想サーバ２４Ｃ及び／又は２４Ｄとセカンダリ仮想データベースサーバインスタンス４４Ｂとに回され得る。

図１及び図２は、クラウドコンピューティングシステム１０及びマルチインスタンスのクラウドアーキテクチャ４０の具体的な実施形態を夫々説明するが、開示は、図１及び図２に説明した具体的な実施形態に限定されない。例えば、図１はプラットフォーム２０がデータセンタを使用して実装されることを説明するが、プラットフォーム２０の他の実施形態は、データセンタに限定されず、他の種類のリモートネットワーク基盤を利用し得る。更に、本開示の他の実施形態は、１つ以上の異なる仮想サーバを単一の仮想サーバに結合してもよく、又は、反対に、単一の仮想サーバに起因する動作を複数の仮想サーバを使用して実施してもよい。例えば、一例として図２を使用すると、仮想サーバ２４Ａ〜Ｄと仮想データベースサーバ４４Ａ及び４４Ｂとは単一の仮想サーバに結合してもよい。更に、本アプローチは、マルチテナント型アーキテクチャ、一般化されたクライアント／サーバ実装を含むがそれらに限定されないその他のアーキテクチャ若しくは構成で、及び／又は本明細書で論じられる動作の内の幾つか若しくは全てを実施するように構成された単一の物理的なプロセッサベースのデバイス上でさえも実装され得る。同様に、仮想サーバ又はマシン全体は、実装の論考を容易にするために言及され得、必要に応じて代わりに物理的サーバが用いられ得る。図１及び図２の使用及び論考は、記述及び説明を容易にするための例示にすぎず、それらに説明される具体例に開示を限定することを意図しない。

お分りかもしれないように、図１及び図２に関して論じた個別のアーキテクチャ及びフレームワークは、全体を通じて様々な種類のコンピューティングシステム（例えば、サーバ、ワークステーション、クライアントデバイス、ラップトップ、タブレットコンピュータ、及びセルラーフォン等）を組み込む。完全を期すために、こうしたシステムで典型的に見られるコンポーネントの簡潔で大まかな概要が提供される。お分りかもしれないように、提示される概要は、こうしたコンピューティングシステムにおいて典型的なコンポーネントの大まかな一般的視点を単に提供することを意図するにすぎず、論じられた又は論考から省かれたコンポーネントに関して限定するものとみなすべきではない。

このことを念頭に置いて、背景として、本アプローチは、図３に示すような１つ以上のプロセッサベースのシステムを使用して実装され得ることが分かり得る。同様に、本アプローチに利用されるアプリケーション及び／又はデータベースは、こうしたプロセッサベースのシステム上に格納され、用いられ、及び／又は維持される。お分かりかもしれないように、図３に示すようなこうしたシステムは、分散コンピューティング環境、ネットワーク化環境、又はその他のマルチコンピュータプラットフォーム若しくはアーキテクチャ中に存在し得る。同様に、図３に示すようなシステムは、本アプローチが実装され得る１つ以上の仮想環境若しくは計算インスタンスのサポートに、又はそれらとの通信に使用され得る。

このことを念頭に置いて、例示的コンピュータシステムは、図３に図示されるコンピュータコンポーネントの内の幾つか又は全てを含み得る。図３は、コンピューティングシステム８０の例示的コンポーネントと、１つ以上のバスに沿うようなそれらの潜在的な相互接続若しくは通信経路とを一般的に説明する。説明されるように、コンピューティングシステム８０は、１つ以上のプロセッサ８２、１つ以上のバス８４、メモリ８６、入力デバイス８８、電源９０、ネットワークインタフェース９２、ユーザインタフェース９４、及び／又は本明細書に記述される機能の実施に有用なその他のコンピュータコンポーネント等の様々なハードウェアコンポーネントを含み得るが、それらに限定されない。

１つ以上のプロセッサ８２は、メモリ８６中に格納された命令を実施することが可能な１つ上のマイクロプロセッサを含み得る。付加的に又は代替的に、１つ以上のプロセッサ８２は、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、及び／又はメモリ８６から命令を呼び出すことなく本明細書に論じられる機能の内の幾つか又は全てを実施するように設計されたその他のデバイスを含み得る。

その他のコンポーネントに関して、１つ以上のバス８４は、コンピューティングシステム８０の様々なコンポーネント間でデータ及び／又は電力を提供するための適切な電気チャネルを含む。メモリ８６は、有形の非一時的コンピュータ可読格納媒体を含み得る。図１には単一のブロックとして示されるが、メモリ８６は、１つ以上の物理的位置に同じ又は異なる種類の複数の物理的ユニットを使用して実装され得る。入力デバイス８８は、１つ以上のプロセッサ８２にデータ及び／又はコマンドを入力するための構造体に対応する。例えば、入力デバイス８８は、マウス、タッチパッド、タッチスクリーン、及びキーボード等を含み得る。電源９０は、ライン電力及び／又は電池電源等の、コンピューティングシステム８０の様々なコンポーネントの電力として任意の適切なソースであり得る。ネットワークインタフェース９２は、１つ以上のネットワーク（例えば、通信チャネル）を経由して他のデバイスと通信することが可能な１つ以上の送受信機を含む。ネットワークインタフェース９２は、有線ネットワークインタフェース又は無線ネットワークインタフェースを提供し得る。ユーザインタフェース９４は、１つ以上のプロセッサ８２からそれへ転送されたテキスト又は画像を表示するように構成されたディスプレイを含み得る。ディスプレイに加えて及び／又はディスプレイに代えて、ユーザインタフェース９４は、照明（例えば、ＬＥＤ）及びスピーカー等の、ユーザとインターフェースで接続するためのその他のデバイスを含み得る。

上で論じたクラウドベースのプラットフォーム２０は、ＮＬＵ技術を利用し得るアーキテクチャの一例を提供することが分かるべきである。具体的には、クラウドベースのプラットフォーム２０は、意図／実体モデルを含む複数の出力の生成を容易にするために、以下で論じられるようにマイニングされ得るソースデータの大きなコーパスを含み得、又は格納し得る。例えば、クラウドベースのプラットフォーム２０は、特定のシステムへの変更又は修復に対するリクエストを有する発券ソースデータ、リクエスト者と問題に取り組むことを試みるサービス技術員又は管理者との間のダイアログ、及びチケットが結局どのように解決されたかの記述等を含み得る。その後、生成された意図／実体モデルは、将来のリクエストにおいて意図を分類するための基礎として役立ち得、ユーザからの自然言語のリクエストに基づいてクラウドベースのプラットフォーム２０内で将来の問題に自動的に取り組み得る仮想エージェントをサポートするための対話モデルを生成及び改善するために使用され得る。そのようなものだとして、その他の実施形態では、エージェント自動化フレームワークは、以下で論じられるように、コーパス内で発話を分析するために、クラウドベースのプラットフォーム２０に通信的に結合された適切なシステムによって（クラウドベースのプラットフォーム２０から分離して）ホストされ得、実行され得るが、本明細書で記述される幾つかの実施形態では、開示のエージェント自動化フレームワークは、クラウドベースのプラットフォーム２０中に組み込まれる。

前述を念頭に置いて、図４Ａは、本技術の実施形態に従った、クライアントインスタンス４２と関連付けられたエージェント自動化フレームワーク１００（本明細書ではエージェント自動化システムとも称される）を説明する。より具体的には、図４Ａは、サービスプロバイダクラウド基盤の一部の一例を説明し、上で論じたクラウドベースのプラットフォーム２０を含む。クラウドベースのプラットフォーム２０は、（例えば、クライアントデバイス１４Ｄのウェブブラウザを介して）クライアントインスタンス４２内で実行するネットワークアプリケーションにユーザインタフェースを提供するために、ネットワーク１８を介してクライアントデバイス１４Ｄに接続される。クライアントインスタンス４２は、図２を参照しながら説明した仮想サーバと同様の仮想サーバによりサポートされ、クライアントインスタンス４２内の本明細書に記述される開示の機能に対するサポートを示すようにここでは説明されている。クラウドプロバイダ基盤は、クライアントデバイス１４Ｄ等の複数のエンドユーザデバイスを同時にサポートするように一般的に構成され、ここで、各エンドユーザデバイスは、単一のクライアントインスタンス４２と通信する。また、クラウドプロバイダ基盤は、クライアントインスタンス４２等の任意の数のクライアントインスタンスを同時にサポートするように構成され得、該インスタンスの各々は、１つ以上のエンドユーザデバイスと通信する。上述したように、エンドユーザはまた、ウェブブラウザ内で実行されるアプリケーションを使用してクライアントインスタンス４２とインターフェースで接続し得る。

図４Ａで説明されるエージェント自動化フレームワーク１００の実施形態は、推理エージェント／挙動エンジン１０２、ＮＬＵフレームワーク１０４、及びデータベース１０６を含み、これらは、クライアントインスタンス４２内で通信的に結合される。実際の実装では、エージェント自動化フレームワーク１００は、図５に関して以下で論じるセマンティックマイニングフレームワークを含む、複数のその他のコンポーネントを含み得ることに留意すべきであり得る。図４Ａで説明される実施形態に対して、データベース１０６は、データベースサーバインスタンス（例えば、図２に関して論じたようなデータベースサーバインスタンス４４Ａ若しくは４４Ｂ）、又はデータベースサーバインスタンスの一群であり得る。説明されるデータベース１０６は、意図／実体モデル１０８及び対話モデル１１０をデータベース１０６の１つ以上のテーブル（例えば、リレーショナルデータベーステーブル）中に格納する。述べられるように、意図／実体モデル１０８は、特定の意図と特定のサンプル発話との間の関連性又は関係性を格納する。以下で論じるように、この意図／実体モデル１０８は、意味クラスタ中に適切にグループ化された意図ベクトルのセットから引き出される。対話モデル１１０は、意図／実体モデル１０８の意図と特定の応答及び／又は行動との間の関連性を格納し、それは、推理エージェント／挙動エンジン１０２の挙動を一般的に定義する。幾つかの実施形態では、対話モデル内の関連性の少なくとも一部は、処理された発話中の識別された特定の意図に応答した推理エージェント／挙動エンジン１０２の所望の挙動に基づいて、推理エージェント／挙動エンジン１０２の設計者により手動で創作され、又は予め定義される。異なる実施形態では、データベース１０６は、実施形態に従った、意図ベクトル、意味クラスタ、クラスタ形成木、サンプル発話、及び安定したクラスタサイズ範囲等に関する情報を格納するテーブル等、セマンティックデータマイニングに関連するその他の情報を格納するその他のデータベーステーブルを格納し得る。

以下で論じるように、意図／実体モデル１０８は、データベース１０６の１つ以上のテーブル中にも格納される発話１１２のコーパス及び規則１１４の一群に基づいて生成される。発話１１２のコーパスは、特定の企業内のユーザとヘルプデスク技術員との間のチャットログ、及び特定の時間枠から収集された通信等、ユーザの特定のグループから特定のコンテクストに関して収集されたソースデータを含み得ることが分かり得る。そのようなものだとして、発話１１２のコーパスは、術語と適切に対応し、且つ幾つかのコンテクスト及び／又は技術分野に固有であり得る意図及び実体の理解をエージェント自動化フレームワーク１００が構築することを可能にする。

説明される実施形態に対して、ＮＬＵフレームワーク１０４は、ＮＬＵエンジン１１６及び語彙マネージャ１１８を含む。ＮＬＵフレームワーク１０４は、任意の適切な数のその他のコンポーネントを含み得ることは分かり得る。幾つかの実施形態では、ＮＬＵエンジン１１６は、発話１１２のコーパス中の意図から意図ベクトルを生成すること（本明細書では“意図ベクトル化”とも称する）、及びこれらの意図ベクトル間の距離を決定することを含む、ＮＬＵフレームワーク１０４の複数の機能を実施するように設計される。

ＮＬＵエンジン１１６は、分析された発話の意図毎に、個別の意図ベクトルを生み出すことが一般的に可能である。そのようなものだとして、２つの異なる発話間の類似性測定又は距離は、２つの意図に対してＮＬＵエンジン１１６により生み出された個別の意図ベクトルを使用して計算され得、ここで、類似性測定は、２つの意図間の意味の類似性の指標を提供する。語彙マネージャ１１８は、語彙トレーニング中にＮＬＵフレームワーク１０４が遭遇しなかった未定義の単語又は記号に取り組む。例えば、幾つかの実施形態では、語彙マネージャ１１８は、（例えば、規則１１４の一群に基づいて）エージェント自動化フレームワーク１００により分析された発話内の単語及び頭字語の類似語及び領域特有の意味を識別及び置換し得、それは、コンテクスト特有の発話内の意図及び実体を適切に識別するようにＮＬＵフレームワーク１０４の性能を改善し得る。また、単語を再利用するために自然言語の傾向に適応するために、幾つかの実施形態では、語彙マネージャ１１８は、コンテクストの変化に基づいて、その他の意図又は実体と以前に関連付けられた単語の別用途での再利用を取り扱う。例えば、語彙マネージャ１１８は、特定のクライアントインスタンス及び／又は対話チャネルからの発話のコンテクストでは、単語“エベレスト”が山の名前よりもむしろ会議室又はサーバの名前を実際は指すシチュエーションを取り扱い得る。

意図／実体モデル１０８及び対話モデル１１０が一旦創作されると、エージェント自動化フレームワーク１００は、（自然言語のリクエストの形式で）発話１２２を受信し、リクエストに取り組むための行動を適切にとるように設計される。例えば、図４Ａで説明される実施形態に対して、推理エージェント／挙動エンジン１０２は、クライアントネットワーク１２上に配備されたクライアントデバイス１４Ｄにより提出された発話１２２（例えば、チャット通信でのリクエスト）をネットワーク１８を介して受信する仮想エージェントである。推理エージェント／挙動エンジン１０２は、発話１２２をＮＬＵフレームワーク１０４に提供し、ＮＬＵエンジン１１６は、発話内の意図及び実体を引き出すために、意図／実体モデル１０８に基づいて発話１２２を処理する。対話モデル１１０内の関連性と共に、ＮＬＵエンジン１１６により引き出された意図に基づいて、推理エージェント／挙動エンジン１０２は、１つ以上の特定の所定の行動を実施する。説明される実施形態に対して、推理エージェント／挙動エンジン１０２はまた、例えば、受信された発話１２２に応答して推理エージェント／挙動エンジン１０２が実施した行動を示す応答１２４又は確認をネットワーク１８を介してクライアントデバイス１４Ｄに提供する。また、幾つかの実施形態では、発話１２２は、以下で論じるように、セマンティックマイニングプロセスを介して、意図／実体モデル１０８及び／又は対話モデル１１０の継続的な改善のために、データベース１０６中に格納された発話１１２に追加され得る。

他の実施形態では、エージェント自動化フレームワーク１００及び／又はＮＬＵフレームワーク１０４の内の１つ以上のコンポーネントは、別な方法で配置され得、位置付けられ得、又はホストされ得ることが分かり得る。例えば、幾つかの実施形態では、ＮＬＵフレームワーク１０４の１つ以上の部分は、クライアントインスタンス４２から分離され、通信的に結合されるインスタンス（例えば、共有インスタンス、企業インスタンス）によりホストされ得る。こうした実施形態は、クライアントインスタンス４２のサイズを好都合に削減し得、クラウドベースのプラットフォーム２０の効率を改善することが現在分かっている。具体的には、幾つかの実施形態では、以下で論じられるセマンティックマイニングフレームワーク１３０の１つ以上のコンポーネントは、セマンティックな意図マイニング及び意図／実体モデル１０８の生成を可能にするために、他のクライアントインスタンスと共に、クライアントインスタンス４２に通信的に結合された企業インスタンスによりホストされ得る。

前述を念頭に置いて、図４Ｂは、クラウドコンピューティングシステム２０によりホストされた別個のインスタンス（例えば、企業インスタンス１２５）によってＮＬＵフレームワーク１０４の一部が代わりに実行されるエージェント自動化フレームワーク１００の別の実施形態を説明する。説明される企業インスタンス１２５は、任意の適切なプロトコルを介して（例えば、適切なＲｅｐｒｅｓｅｎｔａｔｉｏｎａｌ Ｓｔａｔｅ Ｔｒａｎｓｆｅｒ（ＲＥＳＴ）リクエスト／応答を介して）意図／実体のマイニング及び意図の分類に関連するデータを任意の適切な数のクライアントインスタンスと交換するために通信的に結合される。そのようなものだとして、図４Ｂで説明される設計に対して、複数のクライアントインスタンス４２にアクセス可能な共有資源としてＮＬＵフレームワークの一部をホストすることによって、クライアントインスタンス４２のサイズは、（例えば、図４Ａで説明したエージェント自動化フレームワーク１００の実施形態と比較して）適切に削減され得、エージェント自動化フレームワーク１００の全体の効率が改善され得る。

具体的には、図４Ｂで説明されるＮＬＵフレームワーク１０４は、ＮＬＵフレームワーク１０４内でセマンティックマイニング及び意図の分類の異なる側面を実施する別々の３つのコンポーネントに分割される。これらのコンポーネントは、企業インスタンス１２５によりホストされた共有ＮＬＵトレーナー１２６、企業インスタンス１２５によりホストされた共有ＮＬＵアノテーター１２７、及びクライアントインスタンス４２によりホストされたＮＬＵプレデクター１２８を含む。他の実施形態では、本開示に従って、ＮＬＵフレームワーク１０４及び／又はエージェント自動化フレームワーク１００のその他の組織が使用され得ることは分かり得る。

図４Ｂで説明されるエージェント自動化フレームワーク１００の実施形態に対しては、以下で論じるセマンティックマイニングフレームワークを使用して、共有ＮＬＵトレーナー１２６は、意図／実体モデル１０８の生成を容易にするために、発話１１２のコーパスをクライアントインスタンス４２から受信し、（例えば、セマンティックな構文解析及び文法工学等を含む）セマンティックマイニングを実施するように設計される。意図／実体モデル１０８が一旦生成されると、クライアントデバイス１４Ｄにより提供されたユーザの発話１２２を推理エージェント／挙動エンジン１０２が受信した場合、ＮＬＵプレデクター１２８は、発話１２２の構文解析及びアノテーションのために、発話１２２及び意図／実体モデル１０８を共有ＮＬＵアノテーター１２７に渡す。共有ＮＬＵアノテーター１２７は、意図／実体モデル１０８に基づいて、発話１２２のセマンティックな構文解析及び文法工学等を実施し、発話１２２のアノテーションされた意図／実体をクライアントインスタンス４２のＮＬＵプレデクター１２８に返す。

ＮＬＵフレームワーク１０４は、（図４Ａで説明されるように）クライアントインスタンスの一部として実装され、又は（図４Ｂで説明されるように）複数のクライアントインスタンス間で共有され、開示のエージェント自動化フレームワーク１００は、データベース１０６中に格納された発話１１２のコーパス及び規則１１４の一群に基づいて、意図／実体モデル１０８を含む複数の出力を生成することが可能である。図５は、本アプローチの実施形態に従った、エージェント自動化フレームワーク１００の幾つかのコンポーネントの上位の視点を図示するブロック図である。上で論じたＮＬＵフレームワーク１０４及び推理エージェント／挙動エンジン１０２に加えて、図５で説明されるエージェント自動化フレームワーク１００の実施形態は、意図／実体モデル１０８を生成及び改善するため、及び対話モデル１１０を改善するために、ＮＬＵフレームワーク１０４の助力と共に、発話１１２のコーパスを処理するように設計されたセマンティックマイニングフレームワーク１３０を含む。

より具体的には、説明される実施形態に対して、セマンティックマイニングフレームワーク１３０は、データベース１０６中に格納された発話１１２のコーパスに基づいて意図／実体モデル１０８の生成及び改善を容易にするために、エージェント自動化フレームワーク１００のその他のコンポーネント（例えば、ＮＬＵフレームワーク１０４、語彙マネージャ１１８）と協働する複数のコンポーネントを含む。すなわち、以下でより詳細に論じるように、セマンティックマイニングフレームワーク１３０は、発話１１２を意図及び実体に分解し、これらをベクトル空間内で意図ベクトル１３２にマッピングするために、ＮＬＵフレームワーク１０４と協働する。幾つかの実施形態では、幾つかの実体（例えば、意図特有の又は非通有の実体）は、ベクトル空間内の意図ベクトルの対応する意図のパラメータ表現として取り扱われ、格納される。例えば、“私は赤いシャツを買いたい”という発話において、実体“赤いシャツ”は、意図“私は買いたい”のパラメータとして扱われ、それに応じてベクトル空間中にマッピングされ得る。以下でより詳細に論じられるように、ベクトル空間内の様々な意図ベクトル１３２及び／又は様々な意味クラスタ１３４間の距離がＮＬＵフレームワーク１０４により計算され得るように、セマンティックマイニングフレームワーク１３０はまた、図６に関して以下でより詳細に論じられるように、意味クラスタ１３４を生成するために、意味の近接性（例えば、ベクトル空間中の意図ベクトル間の距離）に基づいて意図ベクトルをグループ化する。

図５で説明される実施形態に対して、発話１１２のコーパスに基づいて意図／実体モデル１０８の生成を容易にするために、セマンティックマイニングフレームワーク１３０は、適切な意味クラスタ１３４と共に、前述の意図ベクトル１３２を生成するアプリケーション又はエンジンであるセマンティックマイニングパイプライン１３６で開始する。例えば、幾つかの実施形態では、セマンティックマイニングパイプライン１３６は、発話１１２のコーパス中で発見される意図のあらゆるレベルの可能な類別を提供する。また、セマンティックマイニングパイプライン１３６は、意図及び意図クラスタの探索のための操縦可能なスキーマ（例えば、クラスタ形成木１３７及び／又は系統樹）を生み出す。以下で論じるように、セマンティックマイニングパイプライン１３６はまた、各意味クラスタと関連付けられ、且つ推理エージェント／挙動エンジン１０２及び／又は対話モデル１１０のクラスタ探索及びトレーニングに有用なサンプル発話１３８を生み出す。幾つかの実施形態では、セマンティックマイニングパイプライン１３６の出力１３９（例えば、意味クラスタ１３４、クラスタ形成木１３７、サンプル発話１３８、及び以下で論じるその他）は、任意の適切な方法で、データベース１０６の１つ以上のテーブル内の一部として格納され得る。

セマンティックマイニングパイプライン１３６により出力１３９が一旦生成されると、幾つかの実施形態では、意図／実体モデル１０８を生成及び改善するために、意図増強及びモデル化モジュール１４０が実行され得る。例えば、意図増強及びモデル化モジュール１４０は、マイニングされた意図を意図／実体モデル１０８に変換するために、ＮＬＵフレームワーク１０４のその他の部分と共に作動し得る。具体的には、意味クラスタ１３４は、意図の定義の基礎として、意図増強及びモデル化モジュール１４０により使用され得る。このことは、意味クラスタ１３４の形成の基礎として意味の近接性が使用されることから当然である。そのようなものだとして、関連する及び／又は同義の意図表現は、互いにグループ化され、それ故、エージェント自動化フレームワーク１００の意図／実体モデル１０８を創作する場合に意図／実体に対する一次的又は最初のサンプルとして使用され得る。また、幾つかの実施形態では、意図増強及びモデル化モジュール１４０は、発見された意図に対するサンプルの適用範囲を拡大するために、規則ベースの意図増強設備を利用し、それは、ＮＬＵエンジン１１６による意図の認識をより正確にさせ汎化可能にさせる。幾つかの実施形態では、意図増強及びモデル化モジュール１４０は、データベース１０６中に格納された規則１１４の一群に基づいて実施される１つ以上のクラスタクリーニングステップ及び／又は１つ以上のクラスタデータ増強ステップを付加的に又は代替的に含み得る。この増強は、発見された意図モデル中に含まれるサンプル発話の規則ベースの再表現と、発見されたモデルデータ内の構造的に類似の再表現／サンプルの除去とを含み得る。例えば、この増強は、能動から受動への再表現規則を含み得、ここで、サンプル発話“私はこの木を伐採した”は、“この木は私により伐採された”に転換され得る。また、再表現（例えば、“この靴を買う”及び“このスニーカーを購入する”）は、同じ文法構造と、効果的には類義語である類似のラベルが付されるノード単語とを有するので、この増強は、こうした構造的類似再表現を除去することをも含み得る。

図５で説明される実施形態に対して、セマンティックマイニングフレームワーク１３０は、意図及び実体の普及等を含む、対話ログの統計の視覚化を可能にする意図分析モジュール１４２を含む。説明される実施形態はまた、対話モデル１１０中の盲点又は弱点を識別するために、意図分析モジュール１４２と共に作動する対話最適化モジュール１４４を含む。例えば、一実施形態では、意図分析モジュール１４２は、クラスタサイズ（又は別の適切なパラメータ）に基づいて、幾つかの意図に対する意図普及値を決定又は推測し得る。続いて、特定の意図を含むクエリの通俗性の測定として、意図普及値は、対話最適化モジュール１４４によって使用され得る。また、これらの意図普及値が、対話モデル１１０において特定の応答と関連付けられた意図と比較される場合、対話最適化モジュール１４４は、不十分な適用範囲（例えば、盲点の発見）を提供する対話モデル１１０の一部を識別し得る。すなわち、特定の意図が特に高い普及値を有し、対話モデル１１０において特定の応答と関連付けられていないと対話最適化モジュール１１４が判定した場合、対話モデル１１０を改善するために適切な応答がこれらの意図と関連付けられ得るように、対話最適化モジュール１１４は、（例えば、推理エージェント／挙動エンジン１０２の設計者に対する）この不足分を識別し得る。また、幾つかの実施形態では、意図分析モジュール１４２は、意味クラスタ１３４内の自然なクラスタの数を決定し得、セマンティックマイニングパイプライン１３６により生成された意図ベクトル１３２に取り組むために対話モデル１１０の十分性の測定を提供するために、対話最適化モジュール１４４は、この値を対話モデル１１０において応答と関連付けられた意図の広がりの数と比較し得る。

図６は、本アプローチの実施形態に従った、データベース１０６中に格納された発話１１２のコーパスから意図／実体モデル１０８の生成を容易にするための出力１３９を生成するために使用される、セマンティックマイニングプロセスの複数の処理ステップを含むセマンティックマイニングパイプライン１３６のブロック図である。そのようなものだとして、セマンティックマイニングパイプライン１３６の一部として説明されるステップは、適切なメモリ（例えば、メモリ８６）中に格納され得、（例えば、データセンタ２２内の）クライアントインスタンス４２と関連付けられた適切なプロセッサ（例えば、プロセッサ８２）により実行され得る。

説明される実施形態に対して、セマンティックマイニングパイプライン１３６は、浄化及びフォーマット化ステップ１５０を含む。浄化及びフォーマット化ステップ１５０中、プロセッサ８２は、データベース１０６中に格納された発話１１２のコーパスを分析し、意図マイニングにとって又は意図マイニングを迅速又は容易にするのに問題であり得る任意のソースデータを除去又は修正する。例えば、プロセッサ８２は、発話１１２の意図マイニングが生じる前に、発話１１２のコーパス内で修正すべき特定の特徴を定義又は指定する、データベース１０６中に格納された規則１１４にアクセスし得る。これらの特徴は、特殊文字（例えば、タブ）、制御文字（例えば、キャリッジリターン、ラインフィード）、句読点、サポートされていない文字型、ユニフォームリソースロケータ（ＵＲＬ）、インターネットプロトコル（ＩＰ）アドレス、ファイル位置、ミススペルした単語、及び誤植等を含み得る。幾つかの実施形態では、ＮＬＵフレームワーク１０４の語彙マネージャ１１８は、データベース１０６中に格納された規則１１４で定義された単語、頭字語、及び記号等の類義語及び領域特有の意味に基づいて未定義の単語を代用するために、浄化及びフォーマット化ステップ１５０の少なくとも一部を実施し得る。

説明される実施形態に対して、浄化及びフォーマット化の後、発話は、意図の検出、区分け、及びベクトル化ステップ１５２を受ける。このステップ中、プロセッサ８２は、データベース１０６中に格納された規則１１４に基づいて、意図及び実体を検出し、発話を意図及び実体に区分けするために、ＮＬＵエンジン１１６及び語彙マネージャ１１８を含むＮＬＵフレームワーク１０４を使用して発話を分析する。論じられるように、幾つかの実施形態では、幾つかの実体は、意図のパラメータとして意図／実体モデル１０８中に格納され得る。また、これらの意図はベクトル化され、ＮＬＵフレームワーク１０４によって意図毎に個別の意図ベクトルが生み出されることを意味する。本明細書で使用されるように、“ベクトル”は、意図を符号化した数理表現を提供する規則正しいｎ次元の値の配列（例えば、１×Ｎ又はＮ×１行列）である線形代数ベクトルを指す。これらのベクトルが複数の方法でＮＬＵフレームワーク１０４により生成されることは当業者であれば分かり得る。例えば、幾つかの実施形態では、ＮＬＵフレームワーク１０４は、データベース中の予め構築されたベクトル（例えば、意図“靴を買う”に対するベクトルは、“靴”パラメータを占めるように修正された“買う”に対する予め構築されたベクトルを含むかもしれない）に基づいて、これらのベクトルをアルゴリズム的に生成し得る。別の実施形態では、これらのベクトルは、入力として意図を消費する変換システムのエンコーダ・デコーダ対の内のエンコーダの部分の出力に基づき得る。

説明される実施形態に対して、意図の検出、区分け、及びベクトル化の後、ベクトル距離生成ステップ１５４が実施される。このステップ中、ブロック１５２で生み出された意図ベクトルの全ては、（例えば、２次元行列としての）全ての意図ベクトル間の距離を計算するように処理される。例えば、プロセッサ８２は、この距離行列を生成するためにベクトル空間中の各意図ベクトル間の相対距離（例えば、ユークリッド距離、又は距離の別の適切な測定）を計算するＮＬＵフレームワーク１０４の一部（例えば、ＮＬＵエンジン１１６）を実行し、それは、以下で論じるようにクラスタ形成に後で使用される。

説明される実施形態に対して、ベクトル距離の生成後、クラスタ発見ステップ１５６が実施される。幾つかの実施形態では、これは、交差半径（cross-radii）クラスタ発見プロセスであり得るが、他の実施形態では、異なる目標に対して最適化するために、凝集型クラスタリング技術（例えば、階層的凝集型クラスタリング（ＨＡＣ））、密度ベースのクラスタリング（例えば、Ｏｒｄｅｒｉｎｇ Ｐｏｉｎｔｓ Ｔｏ Ｉｄｅｎｔｉｆｙ ｔｈｅ Ｃｌｕｓｔｅｒｉｎｇ Ｓｔｒｕｃｔｕｒｅ（ＯＰＴＩＣＳ））、及びそれらの組み合わせを含むがそれらに限定されないその他のクラスタ発見プロセスが使用され得る。例えば、意図モデル発見は、ＨＡＣ等の凝集型技術からより多くの利益を得ることがあるが、議論クラスタ発見は、ＯＰＴＩＣＳ等の密度ベースのアプローチからより多くの利益を得ることがある。

例えば、交差半径クラスタ発見プロセスを伴う一実施形態では、プロセッサ８２は、計算されたベクトル距離に基づいて、ベクトル空間中の意図ベクトルの特定のクラスタを定義する半径値の識別を試みる。プロセッサ８２は、各意図ベクトルの周囲の球体を定義する適切な半径値を決定し得、ここで、各球体は、意図ベクトルのクラスタを含む。例えば、プロセッサ８２は、最小半径値（例えば、半径値０）で開始し得、ここで、各意図ベクトルは、別々のクラスタ（例えば、最大粒度）を表す。プロセッサ８２は、その後、意図ベクトル及び意味クラスタの全てが特定の最大半径値で単一のクラスタに併合されるまで、各クラスタのサイズ（例えば、各クラスタに含まれる意図ベクトルの数）を決定しながら、（例えば、最大半径値まで）半径を繰り返しインクリメントし得、球体を大きくする。交差半径クラスタ発見は、以下で論じられる図８のクラスタ系統樹に関してよりよく理解され得ることが分かり得る。開示の交差半径クラスタ発見プロセスは、クラスタ発見プロセスの一例を表すこと、及び他の実施形態では、クラスタ発見は、クラスタ密度及び到達可能性等に対する測定及び目標を付加的に又は代替的に組み込み得ることをも分かり得る。

説明される実施形態に対して、クラスタ発見の後、安定範囲の検出ステップ１５８が実施される。例えば、上で論じた交差半径クラスタ発見プロセスを利用する実施形態に対して、プロセッサ８２は、自然なクラスタがベクトル空間内で発見されていることを示す、半径値の安定範囲１６０を識別するために、クラスタ発見１５６中に決定されたクラスタサイズに関連する半径値を分析する。こうした自然な意図クラスタは、発話のコーパス内に一般的に存在し、言語及び／又はコンテクスト／領域に概して固有である。例えば、図７のグラフ１６２で説明されるように、クラスタ半径値のある一定範囲（例えば、平坦領域１６４）を上回ると、クラスタ半径値が増加しつつ、クラスタの数はより安定性を維持し（例えば、実質的に増加せず、又は周辺領域よりも変化が小さく）、自然な意図クラスタを示す。言い換えれば、クラスタ半径値の安定範囲は、グラフ１６２の曲線の傾斜の低下又は減少を介して識別され得、ここで、曲線は、周辺のグラフ区域の傾斜と比較して平坦（例えば、ゼロの値により近い）傾斜を有する。また、これらの平坦領域１６４は、傾斜の平坦性（例えば、傾斜がゼロ値に対してどの程度近い値を有するか）及び／又は間隔（例えば、調整可能な傾斜偏差閾値を可能にする実施形態に対して、傾斜の平坦性が持続するクラスタ半径値の範囲）に基づいてランク付けされ得る。こうしたランク付け方法は、意図モデルの探索のために、系統樹のある一定区域を他よりも優先させるために使用され得る。他の実施形態では、クラスタ半径値の安定範囲を検出するための他のアルゴリズムが、これらの異なる安定範囲をランク付けする別の方法と共に用いられてもよいことに留意すべきである。クラスタ発見が他の測定を組み込む実施形態に対しては、安定範囲の検出は、これらの測定（例えば、密度及び純度等）に同様に基づき得る。また、プロセッサ８２は、意図ベクトルがどのようにクラスタリングされているかをユーザ（例えば、推理エージェント／挙動エンジン１０２の設計者）が識別及び／又は修正し得るように、視覚化及び操縦され得るデータ構造（例えば、クラスタ形成木１３７）を生成する。

そのようなものだとして、自然なクラスタの形成の安定範囲を検出するために、マルチレベルクラスタリングが実施され得る。幾つかの実施形態では、付加的データが与えられ、更なるクラスタリングは、意味ベクトルの更なるカテゴリ化をすることが可能であり得る。例えば、幾つかの実施形態では、発話１１２のコーパスが付加的詳細（例えば、発話１１２中の意図に対する解決策）を含むようにアノテーションされ、又はラベルが付され、その後、これらの詳細は、特定の意図ベクトルを適切にクラスタリングするため、又は該クラスタリングを純化（refine）するために使用され得る。意味クラスタ１３４に加えて、セマンティックマイニングフレームワーク１３０の出力１３９は、クラスタ併合及びクラスタ速度の見通しを提供するように意味クラスタ１３４を操縦することを可能にするクラスタ形成木又は系統樹を含む。セマンティックマイニングフレームワーク１３０の出力１３９は、上で論じたように、安定範囲１６０及びサンプル発話１３８を含み、それらは、セマンティックマイニングパイプライン１３６により生成された意図ベクトル１３２及び意味クラスタ１３４のより良い理解を推理エージェント／挙動エンジン１０２の設計者が有することをも可能にする。

図８は、本アプローチの実施形態に従った、セマンティックマイニングプロセス中にセマンティックマイニングパイプライン１３６の実施形態により生成され得るクラスタ形成木の視覚化である例示的クラスタ系統樹１７０である。図８で説明されるクラスタ系統樹１７０に対して、文字Ａ、Ｂ、Ｃ、Ｄ、Ｅ，Ｆ、及びＧは、図６のステップ１５２に関して上で論じたような最も近い（例えば、隣接の又は近隣の）意図ベクトル１３２を各々表す。意図ベクトルＡ〜Ｇの各々の間の距離は、図８では平易にするために同じであるものとして説明されるが、説明される意図ベクトル１３２間の実際のベクトル距離は変化することは理解すべきである。図８で説明される例示的系統樹１７０に対して、意図ベクトルＡは意図“私はジャンプしたい”を表し、密接に関連する意図ベクトルＢは意図“私はホップしたい”を表す。意図ベクトルＣは意図“私はスピンしたい”を表し、密接に関連する意図ベクトルＤは意図“私はダンスしたい”を表す。意図ベクトルＥは意図“私は動かしたい”を表す。意図ベクトルＦは意図“私はダッシュしたい”を表し、密接に関連する意図ベクトルＧは意図“私は全力疾走したい”を表す。

このことを念頭に置いて、図８で説明される実施形態に対して、クラスタ半径の０において、各意図ベクトルは、別々のクラスタ（例えば、個別のクラスタＡ、Ｂ、Ｃ、Ｄ、Ｅ、Ｆ、及びＧ）を表す。クラスタ半径の１において、他の意図ベクトル間（例えば、意図ベクトルＢとＣとの間）の意味の近接性と比較して、意図ベクトルＡとＢとの間、意図ベクトルＣとＤとの間、及び意図ベクトルＦとＧとの間の最も密接な個別のベクトルの近接性及び意味の近接性を示す３つのクラスタ（例えば、クラスタＡＢ、クラスタＣＤ、及びクラスタＦＧ）が形成される。クラスタ半径の２では、意図ベクトルＥはクラスタＦＧと併合され、クラスタＥＦＧをもたらす。このことは、ベクトル空間内に意図ベクトルＥとクラスタＦＧとの間（例えば、意図ベクトルＥとＦとの間）よりも、クラスタＡＢとクラスタＣＤとの間（例えば、意図ベクトルＢとＣとの間、ベクトルＤとＥとの間）に、より大きなベクトル距離と意味距離とが存在することを一般的に示す。

図８で説明されるクラスタ系統樹に対して、クラスタ半径の３では、クラスタＡＢ及びクラスタＣＤは併合され、クラスタＡＢＣＤをもたらす。このことは、ベクトル空間内にクラスタＡＢとクラスタＣＤとの間（例えば、意図ベクトルＢとＣとの間）よりも、クラスタＣＤとクラスタＥＦＧとの間（例えば、意図ベクトルＤとＥとの間）に、より大きなベクトル距離と意味距離とが存在することを一般的に示す。クラスタ半径の４において、意図ベクトルの全ては、単一のクラスタＡＢＣＤＥＦＧに併合される。このことは、ベクトル空間の最も近い意図ベクトル１３２に対して、クラスタＡＢＣＤとクラスタＥＦＧとの間（例えば、意図ベクトルＤとＥとの間）に、より大きなベクトル距離が存在することを一般的に示す。

そのようなものだとして、説明されるクラスタ系統樹は、意図ベクトル１３２、意味クラスタ１３４を視覚的に図示する操縦可能なスキーマを提供し、ベクトル空間中のこれらの要素間の関連するベクトル距離及び意味距離の指標を提供する。また、説明される実施形態に対して、クラスタ系統樹は、クラスタ毎のサンプル発話１３８を含む。例えば、これらのサンプル発話１３８は、クラスタＡＢに対する“私はジャンプしたい”、クラスタＣＤに対する“私はダンスしたい”、及びクラスタＦＧに対する“私は走りたい”を含む。クラスタＥＦＧと関連付けられたサンプル発話１２２は“私は動かしたい”であり、クラスタＡＢＣＤと関連付けられたサンプル発話１２２は“私はダンスしたい”である。また、クラスタＡＢＣＤＥＦＧと関連付けられたサンプル発話１２２は“私は動かしたい”である。幾つかの実施形態では、サンプル発話１３８は、図５に関して上で論じたように、意図分析モジュール１４２により決定された相対的により高い意図の普及を有する各クラスタ内の意図を表す発話であり得ることは分かり得る。したがって、ユーザ（例えば、推理エージェント／挙動エンジン１０２の設計者）は、各クラスタにより表された意図の準備の整った指標を有すると共に、クラスタ系統樹１７０内の意味クラスタ１３４の様々なレベルのクラスタリングを操縦及び探索することが可能であり得る。

上述の具体的な実施形態は例示として示され、これらの実施形態は様々な変形物及び代替形態の影響を受けやすいことがあることは理解されるべきである。更に、請求項は、開示された特定形態に限定されることを意図せず、むしろ、この開示の精神及び範囲内にある全ての変形物、均等物、及び代替物をカバーすることは理解されるべきである。

本明細書で提供及び請求される技術は、本技術分野を明白に改善し、そのようなものだとして、抽象的、無形的、又は純粋に理論的ではない有形物及び実用的な性質の有形例に言及し、適用される。更に、この明細書の最後に添付される何れかの請求項が“．．．（機能）を（実施）するための手段”又は“．．．（機能）を（実施）するためのステップ”と指定された１つ以上の構成要素を含む場合、こうした構成要素は、３５．Ｕ．Ｓ．Ｃ．１１２条（ｆ）の下で解釈されるべきことを意図する。しかしながら、任意のその他の方法で指定された構成要素を含む何れかの請求項に対しては、こうした構成要素は、３５．Ｕ．Ｓ．Ｃ．１１２条（ｆ）の下で解釈されるべきではないことを意図する。

Claims (20)

1. エージェント自動化システムであって、
   発話のコーパスとセマンティックマイニングフレームワークとを格納するように構成されたメモリと、
   発話の前記コーパス内の意図を検出すること、
   前記コーパスの前記意図に対する意図ベクトルを決定すること、
   ベクトル空間内の前記意図ベクトル間の距離を計算すること、
   前記ベクトル空間における前記意図ベクトル間の前記距離に基づいて安定クラスタ半径を検出すること、
   クラスタ形成木であって、前記クラスタ形成木の各レベルが、前記安定クラスタ半径のうちの１つを使用する前記意図ベクトルのそれぞれのクラスタリングを含む、前記クラスタ形成木を生成すること、及び
   特定の安定クラスタ半径を有する意味クラスタに前記意図ベクトルをクラスタリングすること
   を含む行動を前記エージェント自動化システムに実施させるために前記セマンティックマイニングフレームワークの命令を実行するように構成されたプロセッサと
   を含む、エージェント自動化システム。
2. 前記プロセッサは、
   クラスタ半径の関数として意味クラスタの数をプロットした曲線の実質的に平坦な部分を識別することによって、前記安定クラスタ半径を検出すること
   を含む行動を前記エージェント自動化システムに実施させるために前記セマンティックマイニングフレームワークの前記命令を実行するように構成される、請求項１に記載のシステム。
3. 前記プロセッサは、
   前記メモリに格納された規則の一群に基づいて、１つ以上のクラスタクリーニングステップ及び／又は１つ以上のクラスタデータ増強ステップを前記意味クラスタ上で実施すること
   を含む行動を前記エージェント自動化システムに実施させるために前記セマンティックマイニングフレームワークの前記命令を実行するように構成される、請求項１に記載のシステム。
4. 前記プロセッサは、
   前記意味クラスタの各々についての特定の意図ベクトルであって、前記意味クラスタの各々についての最も高い普及の意図ベクトルである、前記意味クラスタの各々についての前記特定の意図ベクトルによって表されるそれぞれの発話を、前記意味クラスタの各々についてのサンプル発話として選択すること
   を含む行動を前記エージェント自動化システムに実施させるために前記セマンティックマイニングフレームワークの前記命令を実行するように構成される、請求項１に記載のシステム。
5. 前記プロセッサは、
   意図／実体モデルであって、前記意味クラスタの各々の表している意図と前記サンプル発話との間の関係性を格納する前記意図／実体モデルを、前記意味クラスタと前記サンプル発話とに基づいて生成すること
   を含む行動を前記エージェント自動化システムに実施させるために前記セマンティックマイニングフレームワークの前記命令を実行するように構成される、請求項４に記載のシステム。
6. 前記プロセッサは、
   系統樹であって、前記クラスタ形成木の各レベルでの前記意図ベクトルのそれぞれのクラスタリングについての操縦可能なスキーマを提供する前記系統樹として、ディスプレイデバイス上で前記クラスタ形成木を提示すること
   を含む行動を前記エージェント自動化システムに実施させるために前記セマンティックマイニングフレームワークの前記命令を実行するように構成される、請求項１に記載のシステム。
7. 前記プロセッサは、
   前記特定の安定クラスタ半径を示すユーザ入力を受信すること、及び、それに応じて、前記特定の安定クラスタ半径を有する意味クラスタに前記意図ベクトルをクラスタリングすること
   を含む行動を前記エージェント自動化システムに実施させるために前記セマンティックマイニングフレームワークの前記命令を実行するように構成される、請求項１に記載のシステム。
8. 前記意図ベクトルにおける少なくとも１つの意図ベクトルは、該意図ベクトルのパラメータとして、少なくとも１つの対応する実体と関連付けられる、請求項１に記載のシステム。
9. コンピューティングシステムの１以上のプロセッサによって実行される方法であって、
   発話のコーパス内の意図を検出すること、
   前記コーパスの前記意図に対する意図ベクトルを決定すること、
   ベクトル空間内の前記意図ベクトル間の距離を計算すること、
   前記ベクトル空間における前記意図ベクトル間の前記距離に基づいて安定クラスタ半径を検出すること、
   クラスタ形成木であって、前記クラスタ形成木の各レベルが、前記安定クラスタ半径のうちの１つを使用する前記意図ベクトルのそれぞれのクラスタリングを含む、前記クラスタ形成木を生成して提示すること、
   特定の安定クラスタ半径を示すユーザ入力を受信すること、及び
   前記特定の安定クラスタ半径を有する意味クラスタに前記意図ベクトルをクラスタリングすること
   を含む、方法。
10. 前記意味クラスタの各々について、発話の前記コーパスからサンプル発話を選択すること、及び
    意図／実体モデルであって、前記意味クラスタの各々の表している意図と前記サンプル発話との間の関係性を格納する前記意図／実体モデルを、前記意味クラスタと前記サンプル発話とに基づいて生成すること、
    を含む、請求項９に記載の方法。
11. 前記サンプル発話を選択することは、
    前記意味クラスタの各々について最も高い普及の意図ベクトルを決定すること、及び
    前記意味クラスタの各々において前記最も高い普及の意図ベクトルにより表される、発話の前記コーパスのそれぞれの発話を、前記意味クラスタの各々を表している発話サンプルとして選択すること
    を含む、請求項１０に記載の方法。
12. 前記意味クラスタの普及スコアを決定するための意図分析を前記意味クラスタのクラスタサイズに基づいて実施すること、及び
    意図ベクトルについての前記意味クラスタの前記普及スコアに基づいて、格納されている対話モデル中の盲点を識別すること
    を含む、請求項９に記載の方法。
13. 前記安定クラスタ半径を検出することは、
    凝集型クラスタリング、密度ベースのクラスタリング、又はそれらの組み合わせを使用して、前記安定クラスタ半径を検出すること
    を含む、請求項９に記載の方法。
14. コンピューティングシステムのプロセッサにより実行可能な命令を格納するコンピュータ可読媒体であって、前記命令は、
    発話のコーパス内の意図を検出し、
    前記コーパスの前記意図に対する意図ベクトルを決定し、
    ベクトル空間内の前記意図ベクトル間の距離を計算し、
    前記ベクトル空間における前記意図ベクトル間の前記距離に基づいて安定クラスタ半径を検出し、
    特定の安定クラスタ半径を有する意味クラスタに前記意図ベクトルをクラスタリングし、
    前記意味クラスタの各々について、発話の前記コーパスからサンプル発話を選択し、及び
    意図／実体モデルであって、前記意味クラスタの各々の表している意図と前記サンプル発話との間の関係性を格納する前記意図／実体モデルを、前記意味クラスタと前記サンプル発話とに基づいて生成する
    命令を含む、コンピュータ可読媒体。
15. 前記プロセッサにより実行可能な前記命令は、
    クラスタ形成木であって、前記クラスタ形成木の各レベルが、前記安定クラスタ半径のうちの１つを使用する前記意図ベクトルのそれぞれのクラスタリングを含む、前記クラスタ形成木を生成して提示し、及び
    前記特定の安定クラスタ半径を示すユーザ入力を受信する
    命令を含む、請求項１４に記載の媒体。
16. 前記プロセッサにより実行可能な前記命令は、
    前記意味クラスタの各々について最も高い普及の意図ベクトルを決定し、及び
    前記意味クラスタの各々において前記最も高い普及の意図ベクトルにより表される、発話の前記コーパスのそれぞれの発話を、前記意味クラスタの各々の発話サンプルとして選択する
    命令を含む、請求項１４に記載の媒体。
17. 前記安定クラスタ半径を検出する前記命令は、
    形成される意味クラスタの数がクラスタ半径値の増加と共には実質的に増加しないクラスタ半径値を決定する
    命令を含む、請求項１４に記載の媒体。
18. 前記プロセッサにより実行可能な前記命令は、
    前記意図／実体モデルにおける前記サンプル発話の規則ベースの再表現と前記意図／実体モデルにおける類似のサンプル発話の除去とを実施することによって、前記意図／実体モデルを増強する
    命令を含む、請求項１４に記載の媒体。
19. 前記規則ベースの再表現は、前記意図／実体モデルにおける前記サンプル発話の能動から受動への再表現を含む、請求項１８に記載の媒体。
20. 前記コンピューティングシステムは、受信された自然言語のリクエスト中の意図を分類するために前記意図／実体モデルを使用するように構成される、請求項１４に記載の媒体。

Images