JP7295200B2 - 汎化処理方法、装置、デバイス、コンピュータ記憶媒体及びプログラム - Google Patents

Description

本開示は、コンピュータ応用技術の分野に関し、特に人工知能技術の分野におけるディープラーニング技術に関する。

情報爆発の時代において、人々は迅速かつ正確に、直接に情報を入手できることを渇望しており、従来の検索エンジン技術ではユーザーのニーズを満たすことができなくなっている。質問応答システムは検索エンジンの高級形式として、最も簡単で効率的な方式でユーザーの迅速かつ正確な情報取得のニーズを満たす。質問汎化は質問応答システムのコア技術であり、与えられたquery（クエリアイテム）に対して、そのqueryと同義のqueryをすべて返すことで、応答の正確率と再現率を向上可能である。これにより汎化技術は検索、質問応答システム、スマートカスタマーサービス、広告システムなど様々な業務シーンで広く活用されている。

これに鑑みて、本開示は、汎化処理方法、装置、デバイス、コンピュータ記憶媒体及びプログラムを提供する。

第1の態様において、本開示は、リテラルマッチング方式、セマンティックマッチング方式、およびquery書き換え方式のうちの少なくとも1つにより、クエリアイテムqueryライブラリにおける要求されたqueryに類似する候補query集合を特定し、予め訓練されたqueryマッチングモデルを使用して、前記候補query集合から前記要求されたqueryに対応する汎化queryを特定することを含み、前記queryマッチングモデルは、クロスアテンションモデルに基づいて予め訓練された汎化処理方法を提供する。

第2の態様において、本開示は、リテラルマッチング方式、セマンティックマッチング方式、およびquery書き換え方式のうちの少なくとも1つにより、クエリアイテムqueryライブラリにおける要求されたqueryに類似する候補query集合を特定する候補特定モジュールと、予め訓練されたqueryマッチングモデルを用いて、前記候補query集合から前記要求されたqueryに対応する汎化queryを特定する汎化特定モジュールとを備え、前記queryマッチングモデルは、クロスアテンションモデルに基づいて予め訓練された汎化処理装置を提供する。

第3の態様において、本開示は、少なくとも1つのプロセッサと、前記少なくとも1つのプロセッサと通信可能に接続されたメモリとを備え、前記メモリに前記少なくとも1つのプロセッサにより実行可能なコマンドが記憶されており、前記コマンドが前記少なくとも1つのプロセッサにより実行されると、前記少なくとも1つのプロセッサに上述の方法を実行させる電子デバイスを提供する。

第4の態様において、本開示は、コンピュータに上記の方法を実行させるためのコンピュータコマンドを記憶する非一時的なコンピュータ可読記憶媒体を提供する。

以上の技術案から分かるように、リテラルマッチング、セマンティックマッチング及びquery書き換えのうちの少なくとも1つの方式により候補query集合を特定し、更にqueryマッチングモデルにより候補query集合から汎化queryを特定することにより、要求されたqueryに対する汎化が実現される。

上記のオプションの方法による他の効果は、以下で特定の実施形態に関連して説明する。

図面は、本技術案をより良く理解するためのものであり、本開示に制限されない。図面において、
本開示の実施形態により提供される主要な方法のフローチャートである。 本開示の実施形態により提供される好ましい方法のフローチャートである。 本開示の実施形態により提供されるセマンティックマッチングの模式図である。 本開示の実施形態により提供されるデュアルタワーモデルの訓練の構造の模式図である。 本開示の実施形態により提供されるquery書き換えモデルの構造の模式図である。 本開示の実施形態により提供されるqueryマッチングモデルの構造の模式図である。 本開示の実施形態により提供される装置構成の模式図である。 本開示の実施形態を実施するための電子デバイスのブロック図である。

以下、図面に基づいて、本開示の例示的な実施例を説明する。理解を容易にするために、本開示の実施例の様々な詳細が含まれており、それらは単なる例示と見なされるべきである。従って、当業者は、本開示の範囲及び精神から逸脱することなく、本明細書に記載の実施形態に対して様々な変更及び修正を行うことができることを認識するはずである。同様に、簡明のために、以下の説明では、よく知られた機能と構造の説明は省略される。

図1は、本開示の実施形態により提供される主要な方法のフローチャートである。当該方法は、サーバ側で実行されても良く、より強力な計算能力を有するコンピュータ端末により実行されても良い。図1に示すように、当該方法は以下のステップを含むことができる。

101では、リテラルマッチング方式、セマンティックマッチング方式、およびquery書き換え方式の少なくとも1つにより、queryライブラリにおける要求されたqueryに類似する候補query集合を特定する。

本開示の実施形態に係るqueryライブラリは、特定の適用場面に応じて異なる意味を有することができる。例えば、通常の検索エンジンの場面に適用する場合に、queryライブラリとは検索キーワードライブラリであり、即ちqueryライブラリには検索キーワードが含まれている。また、例えば、質問応答システムの場合に適用すると、queryライブラリとは質問ライブラリであり、すなわちqueryライブラリには質問応答システムに関するすべての質問が含まれて構成されるライブラリである。

102では、事前に訓練されたqueryマッチングモデルを用いて、前記候補query集合から要求されたqueryに対応する汎化queryを特定する。ここで、queryマッチングモデルは、クロスアテンションモデルに基づいて事前に訓練された。

この実施形態からわかるように、まず、リテラルマッチング、セマンティックマッチング、およびquery書き換えのうちの少なくとも1つにより候補query集合を特定し、更に、queryマッチングモデルにより候補query集合から汎化queryを更に特定することにより、queryに対する応答がより正確かつ網羅的になる。

好ましい実施形態として、上記101では、リテラルマッチング方式、セマンティックマッチング方式、およびquery書き換え方式を同時に使用して候補query集合を特定することができる。以下、実施形態に関連して詳細に説明する。

図2は、本開示の実施形態により提供される好ましい方法のフローチャートである。図2に示されたように、この方法は、以下のステップを含むことができる。

201aでは、リテラルマッチング方式により、queryライブラリにおける要求されたqueryとリテラルが類似する第1のquery集合を特定する。

リテラルマッチングとは、query間の文字通りの類似度が予め設定されたリテラル類似度閾値以上であることを意味する。一般に、文字通りの類似度は、ハミング距離などの方法で測定することができる。本ステップでは、Elasticsearch（ESと略す）やSolrなどの既存のリテラルマッチングツールを用いて要求されたqueryをqueryライブラリで検索することができる。検索されたqueryは、queryライブラリにおける要求されたqueryとリテラルが類似するqueryであり、それを第1のquery集合として構成する。

201bでは、セマンティックマッチング方式により、queryライブラリにおける要求されたqueryとセマンティックが類似する第2のquery集合を特定する。

好ましい実施形態として、図3Aに示すように、このステップでは、予め訓練されたデュアルタワーモデルにおけるベクトル表現レイヤを使用して、要求されたqueryの特徴ベクトル表現を特定し、次に、ベクトル検索により、queryライブラリにおける特徴ベクトル表現は要求されたqueryの特徴ベクトル表現との類似度が予め設定された類似度要件を満たすqueryを検索することにより、第2のquery集合を得られる。このようにして特定された第2のquery集合は、セマンティックが要求されたqueryと一致することができる。ここで、予め設定された類似度要件は、類似度が予め設定された第1の類似度閾値を超えることであってもよく、類似度が上位のN個であっても良い。Nは予め設定された正整数である。

好ましい実施形態として、queryライブラリにおける各queryの特徴ベクトルは、前記ベクトル表現レイヤを用いて予め求めて対応付けて記憶する。前記セマンティックマッチングの過程では、queryライブラリにおける各queryの特徴ベクトルを直接に取得して利用すればよい。もちろんこの好適な実施形態に加えて、ベクトル表現レイヤによりqueryライブラリにおける各queryの特徴ベクトルをリアルタイムに特定してもよいが、効率的には上述した好適な実施形態に劣る。

現在、情報検索の分野でよく用いられているモデルは主に2種類あり、そのうちの1つはデュアルタワーモデル（Dual Model）である。デュアルタワーモデルとは、2つのエンコーダを採用してqueryと候補テキストをそれぞれ符号化して、queryのベクトル表現と候補テキスト（本開示の実施形態では、候補テキストはqueryライブラリにおける各query）のベクトル表現を得た後に、両ベクトル表現間の相関度（類似度ともいう）を内積などにより計算してqueryと候補テキストの相関スコアとする。この2つのエンコーダの構造は、デュアルタワー構造を呈しているため、デュアルタワーモデルと呼ばれる。

このステップに係るデュアルタワーモデルは、予め訓練されている。このデュアルタワーモデルを訓練するプロセスは、まず、同じqueryに対応する相関queryおよび非相関queryを含む第1の訓練データを取得することを含んで良い。

次に、第1の訓練データをデュアルタワーモデルの入力として、当該デュアルタワーモデルを訓練する。訓練の目標は、第1の類似度と第2の類似度との差を最大化することを含む。第1の類似度は、デュアルタワーモデルのベクトル表現レイヤが出力する同一のqueryの特徴ベクトル表現と相関queryの特徴ベクトル表現との間の類似度であり、第2の類似度は、デュアルタワーモデルのベクトル表現レイヤが出力する同一のqueryの特徴ベクトル表現と非相関queryの特徴ベクトル表現との間の類似度である。

デュアルタワーモデルの訓練の構造の模式図は、図3Bに示されたようになって良い。query、queryの相関queryと非相関queryは、ベクトル表現レイヤを経てqueryの特徴ベクトル表現、相関queryの特徴ベクトル表現、および非相関queryの特徴ベクトル表現を得る。queryの特徴ベクトル表現と相関queryの特徴ベクトル表現との類似度を算出して類似度1を求め、queryの特徴ベクトル表現と非相関queryの特徴ベクトル表現との類似度を算出して類似度2を求める。訓練目標は、Max{類似度1－類似度2}である。この訓練目標を用いて損失関数を構築した後、逆伝播を行ってデュアルタワーモデルのモデルパラメータを更新することができる。

また、上記デュアルタワーモデルを訓練する場合、上記ベクトル表現レイヤは、事前訓練言語モデルを用いて得ることができる。すなわち、上記デュアルタワーモデルを訓練する際には、大量のラベルなしデータから得られた事前訓練言語モデルのベクトル表現レイヤに基づいて、さらに訓練を行って得ることができる。

訓練後、セマンティックマッチング方式によりqueryライブラリにおける要求されたqueryとセマンティックが類似した第2のquery集合を特定する際には、実際に上記訓練により得られたデュアルタワーモデルにおけるベクトル表現レイヤのみを利用した。

201cでは、query書き換え方式により、queryライブラリにおける要求されたqueryの書き換えqueryを特定して第3のquery集合を構成する。

好ましい実施形態として、要求されたqueryを予め訓練されたquery書き換えモデルに入力し、query書き換えモデルが出力する書き換えqueryを取得することができる。なお、query書き換えモデルはSeq2Seq（系列対系列）モデルに基づいてあらかじめ訓練されて良い。この方式により、要求されたqueryに対応する異なる表現のqueryを取得することができ、新しいqueryやロングテールqueryに対しても効率的な汎化を行うことができる。

図4に示すように、query書き換えモデルは、入力された要求queryに対して、埋め込みレイヤで各文字（図面でx₁,x₂,…,x₅と示される）に対して文字埋め込み（Token Embeddings）、段落埋め込み（Segment Embeddings）、位置埋め込み（Position Embeddings）を行う。埋込みレイヤが上述した埋込み処理を行う具体的な内容については、従来技術では成熟した方式を採用することができるので、ここでは言及しない。

隠れレイヤは、マルチレイヤトランスフォーマの構造を採用することができる。埋め込み処理で得られたベクトルを隠れレイヤに入力し、各文字（Token）の隠れレイヤベクトル表現を得る。図面でh₁,h₂,…,h₅と示される。そして、マルチカテゴリ分類器を経て、書き換えqueryの各文字を予測し、y₁,y₂,…,y_mと示される。ここで、mは正整数、すなわち予測された書き換えqueryの文字数である。

ここで、query書き換えモデルを事前に訓練する際に、まずサンプルqueryおよびそれに対応する書き換えqueryを含む第2の訓練データを取得することができる。次に、サンプルqueryを事前訓練で得られたSeq2Seqモデルの入力とし、書き換えqueryをSeq2Seqモデルの目標出力とし、さらにSeq2Seqモデルを訓練する。

上記の訓練過程には、事前訓練-微調整の訓練モードを採用することができる。 第2の訓練データを用いて訓練を行う場合に事前訓練言語モデルに基づき、例えばmask言語モデルを事前訓練し、上記mask言語モデルに基づいてSeq2Seqモデルを得、このモデルを基に第2の訓練データを用いて微調整を行ってquery書き換えモデルを得る。また、書き換え結果の多様性を保証するために、例えば類義語や同一規則などの教示情報を加えることも可能である。

なお、説明すべきなのは、上記ステップ201a、201b、201cは、並列に実行される3つのステップであってもよく、任意の順序で順次実行される3つのステップであってもよく、ここでは特に限定されない。

202では、第1のquery集合、第2のquery集合、および第3のquery集合の和集合を候補query集合として特定する。

上記の3つの方法で得られたquery集合に対して和集合を取ることで候補query集合を特定するすることにより、要求されたqueryに対する汎化をより網羅的にする。

203では、予め訓練されたqueryマッチングモデルを用いて、要求されたqueryに対応する汎化queryを候補query集合から特定する。

好ましい実施形態として、候補query集合からqueryを1つずつ取り出されて要求されたqueryとqueryペアを構成することができる。queryペアをスプライシングしてqueryマッチングモデルに入力し、queryマッチングモデルからそのqueryペアが相関queryであるか否かの分類結果を出力する。そして、この分類結果に基づいて、要求されたqueryの相関queryを用いて、要求されたqueryに対応する汎化queryを得る。

先に述べたように、現在の情報検索分野で一般的に使用されているモデルは主に2つあり、そのうちの1つはデュアルタワーモデルであり、即ち上述のステップ201bにおけるセマンティックマッチングにはデュアルタワーモデルが使用されている。もう1つはクロスアテンション（Cross Attention）モデルである。クロスアテンションモデルとは、queryと候補テキストとをスプライシングし、スプライシングして得られたテキストをクロスアテンション機構を用いて統一的に符号化した後、さらに符号化結果をマッピングしてqueryと候補テキストとの相関度を得るものである。本ステップでは、上記のqueryマッチングモデルにクロスアテンションモデルを用いることができる。図5に示されたように、例えば、候補query集合におけるquery1は、要求されたqueryとqueryペアを構成する。このqueryペアをスプライシングした後、queryマッチングモデルのベクトル表現レイヤにより符号化されてqueryペアのスプライシング後に対応するベクトル表現が出力される。このベクトル表現を分類器により分類し、そのqueryペアが相関queryに属する確率を求めることにより、そのqueryペアが相関queryであるか否かの分類結果を得る。

1つの実施形態として、分類結果に基づいて、要求されたqueryの相関queryを当該要求されたqueryに対応する汎化queryとして特定してよい。別の実施形態として、queryペアが相関queryに属する確率に応じて、確率値が予め設定された確率値以上のqueryペアのうちの他のqueryを要求されたqueryの汎化queryとすることもできる。

好ましい実施形態として、queryマッチングモデルを訓練するときに、第3の訓練データを最初に取得することができる。第3の訓練データは、サンプルqueryペアを含み、サンプルqueryペアが相関queryペアであるか非相関queryペアであるかを示すことができる。次に、サンプルquery対をスプライシングしてクロスアテンションモデルに入力し、そのサンプルqueryペアに対する標識をそのサンプルqueryペアに対するクロスアテンションモデルのターゲット分類結果とする。つまり、入力されたサンプルqueryペアが相関queryペアであれば、クロスアテンションモデルの出力目標は相関queryペアの分類結果であり、入力されたサンプルqueryペアが非相関queryペアであれば、クロスアテンションモデルの出力目標は非相関queryペアの分類結果である。

以上は、本開示で提供される方法の詳細な説明であり、以下で実施形態に関連して本開示で提供される装置を詳細に説明する。

図6は本開示の実施形態により提供される装置の構成図である。当該装置は、サーバ側のアプリケーションであってもよく、サーバ側のアプリケーションに備えられたプラグインやソフトウェア開発キット（Software Development Kit、SDK）などの機能ユニットであってもよく、より高い計算能力を有するコンピュータ端末に備えられていてもよいが、本開示の実施形態では特に限定しない。図6に示すように、当該装置は、候補特定モジュール10および汎化特定モジュール20を備えて良く、さらに第1訓練モジュール30、第2訓練モジュール40、および第3訓練モジュール50を備えて良い。これらの構成要素の主な機能は次のとおりである。

候補特定モジュール10は、リテラルマッチング方式、セマンティックマッチング方式、およびquery書き換え方式のうちの少なくとも1つにより、クエリアイテムqueryライブラリにおける要求されたqueryに類似する候補query集合を特定する。

汎化特定モジュール20は、事前に訓練されたqueryマッチングモデルを用いて、候補query集合から要求されたqueryに対応する汎化queryを特定する。ここで、queryマッチングモデルは、クロスアテンションモデルに基づいて事前に訓練されている。

好ましい実施形態として、候補特定モジュールは、リテラルマッチングサブモジュール11と、セマンティックマッチングサブモジュール12と、query書き換えサブモジュール13と、候補和集合サブモジュール14とを備えて良い。

ここで、リテラルマッチングサブモジュール11は、リテラルマッチング方式により、queryライブラリにおける要求されたqueryとリテラルが類似する第1のquery集合を特定する。

具体的には、リテラルマッチングサブモジュール11は、Elasticsearch（ES）またはSolrなどの既存のリテラルマッチングツールを使用してqueryライブラリ内で要求されたqueryを検索して良い。検索されたqueryは、queryライブラリにおける要求されたqueryとリテラルが類似するqueryであり、第1のquery集合を構成する。

セマンティックマッチングサブモジュール12は、セマンティックマッチング方式により、queryライブラリにおける要求されたqueryとセマンティックが類似する第2のquery集合を特定する。

具体的には、セマンティックマッチングサブモジュール12は、予め訓練されたデュアルタワーモデル内のベクトル表現レイヤを使用して、要求されたqueryの特徴ベクトル表現を特定し、ベクトル検索により、queryライブラリにおける、特徴ベクトル表現が要求されたqueryの特徴ベクトル表現との類似度が予め設定された類似度要件を満たすqueryを検索する。

第1の訓練モジュール30は、同じqueryに対応する相関queryと非相関queryとを含む第1の訓練データを取得し、第1の訓練データをデュアルタワーモデルの入力としてデュアルタワーモデルを訓練することにより、デュアルタワーモデルを事前に訓練する。訓練の目標は第1の類似度と第2の類似度との差を最大化することを含む。第1の類似度は、デュアルタワーモデルのベクトル表現レイヤが出力する同一のqueryの特徴ベクトル表現と相関するqueryの特徴ベクトル表現との間の類似度であり、第2の類似度は、デュアルタワーモデルのベクトル表現レイヤが出力する同一のqueryの特徴ベクトル表現と非相関queryの特徴ベクトル表現との間の類似度である。

query書き換えサブモジュール13は、query書き換え方式により、queryライブラリにおける要求されたqueryの書き換えqueryを特定して第3のquery集合を構成する。

具体的には、query書き換えサブモジュール13は、要求されたqueryを予め訓練されたquery書き換えモデルに入力し、query書き換えモデルが出力する書き換えqueryを取得する。ここで、query書き換えモデルはSeq2Seqモデルに基づいてあらかじめ訓練して得られた。

第2訓練モジュール40は、サンプルqueryおよびそれに対応する書き換えqueryを含む第2の訓練データを取得し、サンプルqueryを事前訓練で得られたSeq2Seqモデルの入力とし、書き換えqueryをSeq2Seqモデルの目標出力とし、さらにSeq2Seqモデルを訓練することにより、query書き換えモデルを事前に訓練する。

候補和集合サブモジュール14は、第1のquery集合、第2のquery集合、および第3のquery集合の和集合を候補query集合として特定する。

好ましい実施形態として、汎化特定モジュール20は、候補query集合からqueryを1つずつ取り出して要求されたqueryとqueryペアを構成し、queryペアをスプライシングしてqueryマッチングモデルに入力し、queryマッチングモデルからqueryペアが相関queryであるか否かの分類結果を出力し、分類結果に基づいて、要求されたqueryの相関queryを用いて、要求されたqueryに対応する汎化queryを得られる。

第3訓練モジュール50は、サンプルqueryペアを含み、サンプルqueryペアが相関queryであるか非相関queryであるかを標識する第3の訓練データを取得し、サンプルqueryペアをスプライシングしてクロスアテンションモデルに入力し、サンプルqueryペアへの標識をクロスアテンションモデルによるサンプルqueryペアの目標分類結果とすることにより、queryマッチングモデルを事前に訓練する。

本開示の実施形態により提供される上述の方法および装置は、以下の応用場面に適用することができる。

応用場面1：
質問応答システムの質問応答ベースには多くの質問応答ペアが含まれており、各質問応答ペアは質問と回答から構成されている。ユーザが要求された質問を入力すると、本開示の実施形態により提供される上述の方法および装置により要求された質問を汎化して1つ以上の汎化質問を得る。そして、要求された質問と汎化質問を用いてそれぞれ質問応答ベースでマッチングを行い、マッチングされた質問に対応する回答を見つけてユーザに返信する。

この方式により、ユーザが入力した要求された問題の表現が質問応答ベースにおける質問と表現に差があっても、リテラル、セマンティック、書き換えなどの多次元から候補問題を取得し、質問マッチングに基づいて汎化質問を取得するため、より網羅的で正確な回答を返すことができる。

応用場面2:
一般的な検索エンジンサービスでは、ユーザが検索キーワードを入力した後、本開示の実施形態により提供される上記方法および装置により上記検索キーワードを汎化して1つ以上の汎化検索キーワードを得る。そして、ユーザが入力した検索キーワードおよび汎化検索キーワードを用いて検索を行って検索結果を返す。

この方式により、ユーザが入力した検索キーワードと一致するページに加えて、リテラル、セマンティック、書き換えなどがユーザの入力した検索キーワードと一定の一致度を有する検索キーワードに対応するページをユーザに返すことができるため、返信される検索結果をより網羅的かつ正確的にすることができる。

本開示の実施形態によれば、本開示は更に電子デバイスおよび可読記憶媒体を提供する。

図7は、本開示の実施形態に係る汎化処理の方法に係る電子デバイスのブロック図である。電子デバイスは、様々な形式のデジタルコンピュータ、例えば、ラップトップコンピュータ、デスクトップコンピュータ、ワークステーション、PDA、サーバ、ブレードサーバ、メインフレームコンピュータ、及び他の適切なコンピュータであることが意図される。電子デバイスは、様々な形式のモバイル装置、例えば、PDA、携帯電話、スマートフォン、ウェアラブルデバイス、及び他の類似するコンピューティング装置を示してもよい。本文で示された構成要素、それらの接続及び関係、ならびにそれらの機能は例示にすぎなく、本明細書において説明及び／又は請求される本開示の実現を限定することが意図されない。

図7に示すように、この電子デバイスは、一つ又は複数のプロセッサ701、メモリ702、及び各構成要素に接続するための高速インターフェース及び低速インターフェースを含むインターフェースを備える。各構成要素は、異なるバスで相互接続され、そして、共通マザーボードに、又は必要に応じて、他の態様で実装されてもよい。プロセッサは、電子デバイス内で実行されるコマンドを処理してもよく、メモリに記憶される又はメモリ上で外部入力/出力装置（例えば、インターフェースに結合される表示装置）にグラフィカルユーザインターフェースのグラフィカル情報を表示するコマンドを含む。他の実施形態において、必要な場合に、複数のプロセッサ及び／又は複数のバスが、複数のメモリとともに用いられてもよい。同様に、複数の電子デバイスが接続されてもよく、それぞれのデバイスが必要な操作の一部を提供する（例えば、サーババンク、ブレードサーバの集まり、又はマルチプロセッサシステムとする）。図7において、一つのプロセッサ701を例とする。

メモリ702は、本開示で提供される非一時的なコンピュータ可読記憶媒体である。なお、前記メモリには、少なくとも１つのプロセッサが本開示に提供された汎化処理の方法を実行するように、前記少なくとも１つのプロセッサに実行可能なコマンドが記憶されている。本開示の非一時的コンピュータ可読記憶媒体は、本開示に提供された汎化処理の方法をコンピュータに実行させるためのコンピュータコマンドを記憶している。

メモリ702は、非一時的コンピュータ可読記憶媒体として、非一時的ソフトウェアプログラム、非一時的コンピュータに実行可能なプログラム、モジュール、例えば、本開示の実施例における汎化処理の方法に対応するプログラムコマンド/モジュールを記憶するために用いられる。プロセッサ701は、メモリ702に記憶されている非一時的ソフトウェアプログラム、コマンド及びモジュールを実行することで、サーバの様々な機能アプリケーション及びデータ処理を実行し、即ち、上記の方法実施例における汎化処理の方法を実現する。

メモリ702は、プログラム記憶領域及びデータ記憶領域を含んでもよく、プログラム記憶領域はオペレーティングシステム、少なくとも一つの機能に必要なアプリケーションプログラムを記憶してもよく、データ記憶領域は当該電子デバイスの使用により作成されたデータなどを記憶してもよい。また、メモリ702は、高速ランダムアクセスメモリを含んでもよく、さらに非一時的メモリ、例えば、少なくとも一つの磁気ディスク記憶装置、フラッシュメモリ装置、又は他の非一時的固体記憶装置を含んでもよい。幾つかの実施例において、メモリ702は、プロセッサ701に対して遠隔設置されたメモリを選択的に含んでもよく、これらのリモートメモリは、ネットワークを介して当該電子デバイスに接続されてもよい。上記のネットワークの実例には、インターネット、イントラネット、ローカルエリアネットワーク、モバイル通信ネットワーク、及びそれらの組み合わせが含まれるが、これらに限定されない。

当該電子デバイスは、更に、入力装置703と出力装置704とを備えても良い。プロセッサ701、メモリ702、入力装置703及び出力装置704は、バス又は他の手段により接続されても良く、図7においてバスによる接続を例とする。

入力装置703は、入力された数字又はキャラクタ情報を受信し、当該電子デバイスのユーザ設定及び機能制御に関連するキー信号入力を生成でき、例えば、タッチスクリーン、キーパッド、マウス、トラックパッド、タッチパッド、ポインティングスティック、一つ又は複数のマウスボタン、トラックボール、ジョイスティックなどの入力装置である。出力装置704は、表示装置、補助照明装置（例えば、ＬＥＤ）、触覚フィードバック装置（例えば、振動モータ）などを含むことができる。当該表示装置は、液晶ディスプレイ（ＬＣＤ）、発光ダイオードディスプレイ（ＬＥＤ）、及びプラズマディスプレイを含み得るが、これらに限定されない。いくつかの実施形態では、表示装置はタッチパネルであってもよい。

本明細書に説明されるシステム及び技術の様々な実施形態は、デジタル電子回路システム、集積回路システム、専用ＡＳＩＣ（専用集積回路）、コンピュータハードウェア、ファームウェア、ソフトウェア、及び／又はそれらの組み合わせにおいて実現することができる。これらの様々な実施形態は、記憶システム、少なくとも一つの入力装置、及び少なくとも一つの出力装置からデータ及びコマンドを受信し、当該記憶システム、当該少なくとも一つの入力装置、及び当該少なくとも一つの出力装置にデータ及びコマンドを送信するようにつなげられた、特殊用途でもよく一般用途でもよい少なくとも一つのプログラマブルプロセッサを含む、プログラマブルシステム上で実行可能及び／又は解釈可能な一つ又は複数のコンピュータプログラムにおける実行を含んでもよい。

これらのコンピューティングプログラム（プログラム、ソフトウェア、ソフトウェアアプリケーション、又は、コードとも称される）は、プログラマブルプロセッサの機械命令を含み、高水準のプロセス及び／又はオブジェクト向けプログラミング言語、及び／又はアセンブリ／機械言語で実行されることができる。本明細書で用いられる「機械可読媒体」及び「コンピュータ可読媒体」という用語は、機械可読信号としての機械命令を受け取る機械可読媒体を含むプログラマブルプロセッサに機械命令及び／又はデータを提供するのに用いられる任意のコンピュータプログラム製品、機器、及び／又は装置（例えば、磁気ディスク、光ディスク、メモリ、及びプログラマブル論理デバイス（ＰＬＤ））を指す。「機械可読信号」という用語は、プログラマブルプロセッサに機械命令及び／又はデータを提供するために用いられる任意の信号を指す。

ユーザとのインタラクティブを提供するために、本明細書に説明されるシステムと技術は、ユーザに対して情報を表示するための表示装置（例えば、ＣＲＴ（ブラウン管）又はＬＣＤ（液晶ディスプレイ）モニタ）、ユーザがコンピュータに入力を与えることができるキーボード及びポインティングデバイス（例えば、マウスや、トラックボール）を有するコンピュータ上に実施されることが可能である。その他の種類の装置は、さらに、ユーザとのインタラクションを提供するために使用されることが可能であり、例えば、ユーザに提供されるフィードバックは、任意の形態のセンシングフィードバック（例えば、視覚的なフィードバック、聴覚的なフィードバック、又は触覚的なフィードバック）であり得、ユーザからの入力は、任意の形態で（音響、音声又は触覚による入力を含む）受信され得る。

本明細書に説明されるシステムと技術は、バックエンド構成要素を含むコンピューティングシステム（例えば、データサーバとする）、又はミドルウェア構成要素を含むコンピューティングシステム（例えば、アプリケーションサーバ）、又はフロントエンド構成要素を含むコンピューティングシステム（例えば、グラフィカルユーザインターフェースもしくはウェブブラウザを有するクライアントコンピュータであり、ユーザは、当該グラフィカルユーザインターフェースもしくは当該ウェブブラウザを通じて本明細書で説明されるシステムと技術の実施形態とインタラクションすることができる）、そのようなバックエンド構成要素、ミドルウェア構成要素、もしくはフロントエンド構成要素の任意の組合せを含むコンピューティングシステムに実施されることが可能である。システムの構成要素は、任意の形態又は媒体のデジタルデータ通信（例えば、通信ネットワーク）によって相互に接続されることが可能である。通信ネットワークの例は、ローカルエリアネットワーク（「ＬＡＮ」）、ワイド・エリア・ネットワーク（「ＷＡＮ」）、インターネットワークを含む。

コンピュータシステムは、クライアントとサーバーを含み得る。クライアントとサーバーは、一般的に互いから遠く離れており、通常は、通信ネットワークを通じてインタラクトする。クライアントとサーバとの関係は、相応するコンピュータ上で実行され、互いにクライアント-サーバの関係を有するコンピュータプログラムによって生じる。

以上で示された様々な形式のフローを使用して、ステップを並べ替え、追加、又は削除できることを理解されたい。例えば、本開示に説明される各ステップは、並列の順序又は順次的な順序で実施されてもよいし、又は異なる順序で実行されてもよく、本開示で開示された技術案の望ましい結果が達成できる限り、ここで制限されない。

上記の具体的な実施形態は本開示の保護範囲に対する制限を構成しない。設計要件及び他の要因に従って、様々な修正、組み合わせ、部分的組み合わせ及び置換を行うことができることを当業者は理解するべきである。本開示の精神及び原則の範囲内で行われる修正、同等の置換、改善は、何れも本開示の保護範囲内に含まれるべきである。

Claims (19)

1. コンピュータにより実行される、汎化処理の方法であって、
   リテラルマッチング方式、セマンティックマッチング方式、およびquery書き換え方式それぞれにより特定されたquery集合の和集合を、queryライブラリにおける要求されたqueryに類似する候補query集合として特定することと、
   予め訓練されたqueryマッチングモデルを使用して前記候補query集合から前記要求されたqueryに対応する汎化queryを特定することと、を含み、
   前記queryマッチングモデルは、クロスアテンションモデルに基づいて予め訓練されたものである、
   汎化処理の方法。
2. 前記リテラルマッチング方式、セマンティックマッチング方式、およびquery書き換え方式それぞれにより特定されたquery集合の和集合を、queryライブラリにおける要求されたqueryに類似する候補query集合として特定することは、
   リテラルマッチング方式により、前記queryライブラリにおける要求されたqueryとリテラルが類似する第1のquery集合を特定し、
   セマンティックマッチング方式により、前記queryライブラリにおける要求されたqueryとセマンティックが類似する第2のquery集合を特定し、
   query書き換え方式により、前記queryライブラリにおける要求されたqueryの書き換えqueryを特定して第3のquery集合を構成し、
   前記第1のquery集合、第2のquery集合、および第3のquery集合の和集合を前記候補query集合として特定する、
   ことを含む請求項1に記載の汎化処理の方法。
3. 前記セマンティックマッチング方式は、
   予め訓練されたデュアルタワーモデルにおけるベクトル表現レイヤを用いて、前記要求されたqueryの特徴ベクトル表現を特定し、
   ベクトル検索により、前記queryライブラリにおける、特徴ベクトル表現が前記要求されたqueryの特徴ベクトル表現との類似度が予め設定された類似度要件を満たすqueryを検索する、
   ことを含む請求項1または2に記載の汎化処理の方法。
4. 前記デュアルタワーモデルは、
   同一のqueryに対応する相関queryおよび非相関queryを含む第1の訓練データを取得し、
   前記第1の訓練データをデュアルタワーモデルの入力として前記デュアルタワーモデルを訓練することにより、予め訓練されており、
   訓練の目標は、第1の類似度と第2の類似度の差を最大化することを含み、前記第1の類似度は、前記デュアルタワーモデルのベクトル表現レイヤにより出力された前記同一のqueryの特徴ベクトル表現と相関queryの特徴ベクトル表現との類似度であり、前記第2の類似度は、前記デュアルタワーモデルのベクトル表現レイヤにより出力された前記同一のqueryの特徴ベクトル表現と非相関queryの特徴ベクトル表現との類似度である、
   請求項3に記載の汎化処理の方法。
5. 前記query書き換え方式は、
   前記要求されたqueryを予め訓練されたquery書き換えモデルに入力し、前記query書き換えモデルが出力する書き換えqueryを取得することを含み、
   前記query書き換えモデルは、Seq2Seqモデルに基づいて予め訓練されている、
   請求項1または2に記載の汎化処理の方法。
6. 前記query書き換えモデルは、
   サンプルqueryおよびそれに対応する書き換えqueryを含む第2の訓練データを取得し、
   前記サンプルqueryを予め訓練されたSeq2Seqモデルの入力として、前記書き換えqueryを前記Seq2Seqモデルの目標出力として、さらに前記Seq2Seqモデルを訓練する、
   ことにより予め訓練される、
   請求項5に記載の汎化処理の方法。
7. 前記予め訓練されたqueryマッチングモデルを使用して、前記候補query集合から前記要求されたqueryに対応する汎化queryを特定することは、
   前記候補query集合からqueryを1つずつ取り出して要求されたqueryとqueryペアを構成し、
   queryペアをスプライシングして前記queryマッチングモデルに入力し、前記queryマッチングモデルにより前記queryペアが相関queryであるか否かの分類結果を出力し、
   前記分類結果に基づいて、要求されたqueryの相関queryを用いて前記要求されたqueryに対応する汎化queryを得る、
   ことを含む請求項1または2に記載の汎化処理の方法。
8. 前記queryマッチングモデルは、
   サンプルqueryペアを含み、サンプルqueryペアが相関queryであるか非相関queryであるかを標識する第3の訓練データを取得し、
   前記サンプルqueryペアをスプライシングしてクロスアテンションモデルに入力し、前記サンプルqueryペアに対する標識を前記クロスアテンションモデルによる前記サンプルqueryペアの目標分類結果とする、
   ことにより予め訓練される、
   請求項7に記載の汎化処理の方法。
9. 汎化処理の装置であって、
   リテラルマッチング方式、セマンティックマッチング方式、およびquery書き換え方式それぞれにより特定されたquery集合の和集合を、queryライブラリにおける要求されたqueryに類似する候補query集合として特定する候補特定モジュールと、
   予め訓練されたqueryマッチングモデルを用いて、前記候補query集合から前記要求されたqueryに対応する汎化queryを特定する汎化特定モジュールと、を備え、
   前記queryマッチングモデルは、クロスアテンションモデルに基づいて予め訓練されたものである、
   汎化処理の装置。
10. 前記候補特定モジュールは、
    リテラルマッチング方式により、前記queryライブラリにおける要求されたqueryとリテラルが類似する第1のquery集合を特定するリテラルマッチングサブモジュールと、
    セマンティックマッチング方式により、前記queryライブラリにおける要求されたqueryとセマンティックが類似する第2のquery集合を特定するセマンティックマッチングサブモジュールと、
    query書き換え方式により、前記queryライブラリにおける要求されたqueryの書き換えqueryを特定して第3のquery集合を構成するquery書き換えサブモジュールと、
    前記第1のquery集合、第2のquery集合および第3のquery集合の和集合を前記候補query集合として特定する候補和集合サブモジュールと、
    を備える請求項9に記載の汎化処理の装置。
11. 前記セマンティックマッチングサブモジュールは、具体的に、予め訓練されたデュアルタワーモデルにおけるベクトル表現レイヤを利用して、前記要求されたqueryの特徴ベクトル表現を特定し、ベクトル検索により、前記queryライブラリにおける、特徴ベクトル表現が前記要求されたqueryの特徴ベクトル表現との類似度が予め設定された類似度要件を満たすqueryを検索する、
    請求項10に記載の汎化処理の装置。
12. 同一のqueryに対応する相関queryおよび非相関queryを含む第1の訓練データを取得し、
    前記第1の訓練データをデュアルタワーモデルの入力として前記デュアルタワーモデルを訓練することにより、前記デュアルタワーモデルを事前に訓練する第1の訓練モジュールを更に備え、
    訓練の目標は、第1の類似度と第2の類似度の差を最大化することを含み、前記第1の類似度は、前記デュアルタワーモデルのベクトル表現レイヤにより出力された前記同一のqueryの特徴ベクトル表現と相関queryの特徴ベクトル表現との類似度であり、前記第2の類似度は、前記デュアルタワーモデルのベクトル表現レイヤにより出力された前記同一のqueryの特徴ベクトル表現と非相関queryの特徴ベクトル表現との類似度である、
    請求項11に記載の汎化処理の装置。
13. 前記query書き換えサブモジュールは、具体的に、前記要求されたqueryを予め訓練されたquery書き換えモデルに入力し、前記query書き換えモデルにより出力された書き換えqueryを取得し、
    前記query書き換えモデルは、Seq2Seqモデルに基づいて予め訓練されている、
    請求項10に記載の汎化処理の装置。
14. サンプルqueryおよびそれに対応する書き換えqueryを含む第2の訓練データを取得し、
    前記サンプルqueryを予め訓練されたSeq2Seqモデルの入力とし、前記書き換えqueryを前記Seq2Seqモデルの目標出力として、さらに前記Seq2Seqモデルを訓練することにより、前記query書き換えモデルを事前に訓練する第2の訓練モジュールを更に備える、
    請求項13に記載の汎化処理の装置。
15. 前記汎化特定モジュールは、具体的に、
    前記候補query集合からqueryを1つずつ取り出して要求されたqueryとqueryペアを構成し、
    queryペアをスプライシングして前記queryマッチングモデルに入力し、前記queryマッチングモデルにより前記queryペアが相関queryであるか否かの分類結果を出力し、
    前記分類結果に基づいて、要求されたqueryの相関queryを用いて、前記要求されたqueryに対応する汎化queryを得る、
    請求項9に記載の汎化処理の装置。
16. サンプルqueryペアを含み、サンプルqueryペアが相関queryであるか非相関queryであるかを標識する第3の訓練データを取得し、
    前記サンプルqueryペアをスプライシングしてクロスアテンションモデルに入力し、前記サンプルqueryペアに対する標識を前記クロスアテンションモデルによる前記サンプルqueryペアの目標分類結果とすることにより、前記queryマッチングモデルを事前に訓練する第3の訓練モジュールを更に備える、
    請求項15に記載の汎化処理の装置。
17. 少なくとも1つのプロセッサと、
    前記少なくとも1つのプロセッサと通信接続されたメモリと、を備え、
    前記メモリに前記少なくとも1つのプロセッサにより実行可能なコマンドが記憶されており、前記コマンドが前記少なくとも1つのプロセッサにより実行されると、前記少なくとも1つのプロセッサに請求項1～8のいずれか１項に記載の方法を実行させる電子デバイス。
18. コンピュータに請求項1～8のいずれか1項に記載の方法を実行させるためのコンピュータコマンドを記憶した非一時的なコンピュータ可読記憶媒体。
19. コンピュータに請求項1～8のいずれか1項に記載の方法を実行させるためのコンピュータプログラム。

Images