JP2022054389A - 検索モデルの訓練方法、装置、デバイス、コンピュータ記憶媒体、及びコンピュータプログラム - Google Patents

Abstract

【課題】検索モデルの訓練方法、装置、デバイス及びコンピュータ記憶装置を提供する。【解決手段】方法は、初期訓練データを取得し、初期訓練データを用いて初期検索モデルを得るように訓練し、初期検索モデルを用いて候補テキストから訓練データの中のクエリ項目との関連度が予め設定された第１の要件を満たすテキストを選択して当該クエリ項目に対応する関連テキスト負例を更新し、更新された訓練データを用いて第１の検索モデルを得るように訓練し、第１の検索モデルを用いて、候補テキストから訓練データの中のクエリ項目との関連度が予め設定された第２の要件を満たすテキストを選択して当該クエリ項目に対応する関連テキスト正例を拡充し、及び/又は、当該クエリ項目との関連度が予め設定された第３の要件を満たすテキストを選択して関連テキスト負例を拡充し、拡充された訓練データを用いて第２の検索モデルを得るように訓練する。【選択図】図２

Description

本開示は、コンピュータ技術分野に関し、特にインテリジェント検索及び自然言語処理技術に関する。

情報化時代には、膨大な量のテキストから自分が必要とする情報を素早く見つけたいという要望があるため、情報検索技術が重要になってくる。ディープニューラルネットワークの普及と発展に伴い、情報検索技術も大きく変化しており、各種の事前訓練言語モデルが検索モデルとして情報検索分野に応用され、顕著な効果向上をもたらしている。

検索モデルの訓練過程において、大量の人工標識による訓練データが必要であり、訓練データの量と質は検索モデルの最終的な効果を直接に決定する。しかし、高品質の訓練データは非常に貴重であり、どのようにモデルの効果を保証する前提の下で、モデルの訓練過程における高品質の訓練データに対する依存を低減するかは早急に解決すべき問題である。

これに鑑みて、本開示は、モデルの効果を保証することを前提として、モデルの訓練における高品質の訓練データに対する依存を低減する検索モデルの訓練方法、装置、デバイス、及びコンピュータ記憶媒体を提供する。

第１の局面では、本開示は、クエリ（クエリ項目：図においては「ｑｕｅｒｙ」とも記す。）と、当該クエリに対応する関連テキスト正例及び関連テキスト負例とを含む初期訓練データを取得し、前記初期訓練データを用いて初期検索モデルを得るように訓練し、前記初期検索モデルを用いて、候補テキストの中から訓練データの中のクエリとの関連度が予め設定された第１の要件を満たすテキストを選択して当該クエリに対応する関連テキスト負例を更新し、更新された訓練データを用いて第１の検索モデルを得るように訓練し、前記第１の検索モデルを用いて、前記候補テキストから訓練データの中のクエリとの関連度が予め設定された第２の要件を満たすテキストを選択して当該クエリに対応する関連テキスト正例を拡充し、及び／又は、当該クエリとの関連度が予め設定された第３の要件を満たすテキストを選択して当該クエリに対応する関連テキスト負例を拡充し、拡充された訓練データを用いて第２の検索モデルを得るように訓練する、ことを含む検索モデルの訓練方法を提供する。

第２の局面では、本開示は、クエリと、当該クエリに対応する関連テキスト正例及び関連テキスト負例とを含む初期訓練データを取得する初期取得部と、前記初期訓練データを用いて初期検索モデルを得るように訓練する初期訓練部と、前記初期検索モデルを用いて、候補テキストから訓練データの中のクエリとの関連度が予め設定された第１の要件を満たすテキストを選択して当該クエリに対応する関連テキスト負例を更新する第１の更新部と、前記第１の更新部により更新された訓練データを用いて第１の検索モデルを得るように訓練する第１の訓練部と、前記第１の検索モデルを用いて、前記候補テキストから、訓練データの中のクエリとの関連度が予め設定された第２の要件を満たすテキストを選択して当該クエリに対応する関連テキスト正例を拡充し、及び／又は、当該クエリとの関連度が予め設定された第３の要件を満たすテキストを選択して当該クエリに対応する関連テキスト負例を拡充する第１の拡充部と、前記第１の拡充部により拡充された訓練データを用いて第２の検索モデルを得るように訓練する第２の訓練ユニットと、を備える検索モデルの訓練装置を提供する。

第３の局面では、本開示は、少なくとも１つのプロセッサと、前記少なくとも１つのプロセッサと通信接続されたメモリと、を備え、前記メモリに前記少なくとも１つのプロセッサにより実行可能なコマンドが記憶されており、前記コマンドが前記少なくとも１つのプロセッサにより実行されると、前記少なくとも１つのプロセッサに前記の方法を実行させる電子デバイスを提供する。

第４の局面では、本開示は、コンピュータに前記の方法を実行させるためのコンピュータコマンドが記憶された非一時的なコンピュータ可読記憶媒体を提供する。

以上の技術案からわかるように、本開示は、検索モデルの訓練過程において、中間訓練により得られた検索モデルを用いて訓練データの中の負例の品質を向上させ、訓練データの中の正例及び／又は負例を拡充することができるため、検索モデルの訓練は、検索効果を保証した上で、初期に取得された高品質の訓練データに対する依存を低減することができる。

前記の選択可能な方法が有する他の効果は、以下で具体的な実施形態と合わせて説明する。

図面は、本開示をより良く理解するためのものであり、本開示を限定しない。ここで、
本開示の実施形態を適用可能な例示的なシステムアーキテクチャを示す図である、 本開示の実施形態により提供される検索モデルを訓練するための主要な方法のフローチャートである。 本開示の実施形態により提供される検索モデルを訓練する別の方法のフローチャートである。 図４Ｂ本開示の実施形態により提供されるツインタワーモデル及びクロスアテンションモデルの構造の模式図である。 本開示の実施形態により提供されるツインタワーモデル及びクロスアテンションモデルの構造の模式図である。 本開示の実施形態により提供される好ましい実施形態のフローチャートである。 図６Ｂ本開示の実施形態により提供されるツインタワーモデル及びクロスアテンションモデルの訓練の模式図である。 本開示の実施形態により提供されるツインタワーモデル及びクロスアテンションモデルの訓練の模式図である。 本開示の実施形態により提供される検索モデルの訓練装置の構成図である。 本開示の実施形態により提供される検索モデルの訓練装置の別の構成図である。 本開示の実施形態を実現するための電子デバイスのブロック図である。

以下、図面に基づいて、本開示の例示的な実施例を説明する。理解を容易にするために、本開示の実施例の様々な詳細が含まれており、それらは単なる例示と見なされるべきである。従って、当業者は、本開示の範囲及び精神から逸脱することなく、本明細書に記載の実施形態に対して様々な変更及び修正を行うことができることを認識するはずである。同様に、簡明のために、以下の説明では、よく知られた機能と構造の説明は省略される。

図１は本開示の実施形態が適用され得る例示的なシステムアーキテクチャを示した。図１に示されたように、当該システムアーキテクチャは、端末装置１０１、１０２、ネットワーク１０３、及びサーバ１０４を含むことができる。ネットワーク１０３は、端末装置１０１、１０２とサーバ１０４との間に通信リンクの媒体を提供する。ネットワーク１０３は、例えば有線、無線通信リンク、又は光ファイバケーブルなどの様々な接続タイプを含むことができる。

ユーザは、端末装置１０１、１０２を用いて、ネットワーク１０３を介してサーバ１０４とインタラクションすることができる。端末装置１０１、１０２には、例えば検索系アプリケーション、音声インタラクション系アプリケーション、ウェブページブラウザアプリケーション、通信系アプリケーションなど、様々なアプリケーションをインストールすることができる。

端末装置１０１及び１０２は、情報検索をサポート及び開始し、検索結果を表示することができる様々な電子デバイスであっても良く、スマートフォン、タブレット、ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ、パーソナルコンピュータ）、スマートスピーカー、ウェアラブルデバイス、スマートテレビなどを含むが、これらに限定されない。本開示により提供される装置は、前記サーバ１０４に配置されて動作することができ、複数のソフトウェア又はソフトウェアモジュール（例えば、分散的なサービスを提供するために）として実現されても良く、単一のソフトウェア又はソフトウェアモジュールとして実現されてもよいが、ここで具体的に限定しない。

例えば、検索モデルの訓練装置は、前記のサーバ１０４内に配置して実行され、サーバ１０４は、本開示で提供される方法を用いて検索モデルを訓練する。端末装置１０１又は１０２からクエリ（クリエ）を含む検索リクエストを受信すると、訓練により得られた検索モデルを用いて、ユーザに返す検索結果を特定する。そして、検索結果を端末装置１０１又は１０２に返信することができる。

サーバ１０４は、単一のサーバであっても良く、複数のサーバからなるサーバ群であってもよい。理解すべきなのは、図１における端末装置、ネットワーク、及びサーバの数は、単なる例示的なものである。実現の必要に応じて、任意の数の端末装置、ネットワーク、及びサーバを有することができる。

図２は、本開示の実施形態により提供される検索モデルを訓練するための主要な方法のフローチャートである。図２に示されたように、当該方法は以下のステップを含むことができる。

２０１では、クエリ（クリエ）と、そのクエリに対応する関連テキスト正例及び関連テキスト負例とを含む初期訓練データを取得し、初期訓練データを用いて初期検索モデルを得るように訓練する。

本願で訓練データを初期に構築する際に、まず、人工標識セットを構築し、即ちクエリの集合に対してそれぞれ人工で候補文書からそのクエリの関連文書正例を標識することにより、訓練データの中の関連文書正例の高品質を保証することができる。クエリに対応する関連テキスト負例について、候補テキストからランダムに選択すれば良い。ランダムに選択された個数は、あらかじめ設定された値を採用して良く、例えば４つのテキストをランダムに選択する。

本開示の実施形態に係る候補テキストは、具体的な応用分野に関連する。たとえば、汎用のＷｅｂページ検索エンジンであれば、その候補テキストは検索エンジンがクロールした膨大なＷｅｂページである。書籍類の検索エンジンであれば、その候補テキストは書籍データベースの中のすべての書籍テキストである。ある具体的な分野（たとえば医学系）の論文であれば、その候補テキストは論文データベースの中の膨大な論文である。対話プラットフォームに適用すると、この候補テキストは対話知識ベースの中のすべての回答に対応するテキストなどである。

前記の方式以外にも、関連テキスト正例について、例えばユーザの履歴検索ログから取得して標識したりする他の方式で標識しても良く、ここでは詳しく説明しない。

初期検索モデルの訓練は、初期訓練データを用いて行うことができ、本開示で採用される検索モデルのタイプは、例えば、ツインタワーモデル、クロスアテンションモデルなどであってもよい。これらのモデルに対する訓練過程は、後続の実施形態において詳細に説明される。

２０２では、初期検索モデルを用いて候補テキストから訓練データの中のクエリとの関連度が予め設定された第１の要件を満たすテキストを選択してそのクエリに対応する関連テキスト負例を更新し、更新された訓練データを用いて第１の検索モデルを得るように訓練する。

ステップ２０１から分かるように、訓練データを構築する際に、クエリの関連テキスト正例は正確であるが、クエリの関連テキスト負例は不正確であることが多い。しかし、負例は検索モデルの効果に非常に大きな影響を与えるため、本ステップは訓練データの中の関連テキスト負例の品質を向上させる処理である。

正確な関連テキスト正例及びランダムに選択された関連テキスト負例はすでに訓練により得られた初期検索モデルにある程度の効果を持たせた。したがって、この初期検索モデルを用いて候補テキストから一部のクエリの強関連負例を特定し、この強関連負例を用いて訓練データを更新することで、訓練データの品質を向上させることができる。更新された訓練データに基づいて訓練された第１の検索モデルは、さらに効果が向上する。

好ましい実施形態の１つとして、このステップでは、初期検索モデルを用いてクエリと各候補テキストとの関連度を特定し、関連度スコアが上位Ｍ１個の候補テキストからランダムにＭ２個を選択して、当該クエリに対応する関連テキスト負例を更新することができる。ここで、Ｍ１及びＭ２はいずれも正整数であり、Ｍ１＞Ｍ２である。

前記の好ましい実施形態に加えて、例えば、関連度スコアが予め設定された閾値よりも大きい候補テキストを選択してクエリに対応する関連テキスト負例を更新したりする、他の方法を採用して予め設定された第１の要件を満たすテキストを選択する。

２０３では、第１の検索モデルを用いて、候補テキストから、訓練データの中のクエリとの関連度が予め設定された第２の要件を満たすテキストを選択してそのクエリに対応する関連テキスト正例を拡充し、及び／又は、そのクエリとの関連度が予め設定された第３の要件を満たすテキストを選択して、そのクエリに対応する関連テキスト負例を拡充し、拡充された訓練データを用いて第２の検索モデルを得るように訓練する。

前記のステップ２０２により、訓練データの中の関連テキスト負例の品質を向上したが、検索モデルの訓練について、訓練データの中の正例と負例の数も同様に重要な役割を果たし、検索モデルの効果に大きく影響している。したがって、本ステップは訓練データの中の関連テキストの正例及び／又は負例の数を拡充する処理である。

好ましい実施形態として、このステップでは、最初に、初期検索モデルを使用して、候補テキストから訓練データの中のクエリの関連テキストを検索し、次に第１の検索モデルを用いて関連テキストと当該クエリとの関連度を特定し、関連度が予め設定された第１の閾値以上であるテキストを、当該クエリに対応する関連テキスト正例を拡充するために使用し、及び／又は、関連度が予め設定された第２の閾値以下であるテキストを、当該クエリに対応する関連テキスト負例を拡充するために使用することができる。ここで、第１の閾値は第２の閾値より大きく、例えば、第１の閾値は０．９、第２の閾値は０．１とする。この好ましい実施形態により、関連テキストの正例と負例の数を拡充し、訓練により得られた検索モデルの効果を高めることに加えて、関連テキスト負例の品質もある程度向上し、検索モデルの効果をより向上させることができる。

前記の好ましい実施形態に加えて、他の実施形態を採用してもよい。例えば、第１の検索モデルを用いて関連テキストとそのクエリとの関連度を特定した後、関連度ランキングに従って、上位のいくつかのテキストをそのクエリに対応する関連テキスト正例の拡充に用い、下位のいくつかのテキストをそのクエリに対応する関連テキスト負例の拡充に用いる。また例えば、第１の検索モデルを直接に利用して、各候補テキストとそのクエリとの関連度を特定し、関連度が予め設定された第１の閾値以上のテキストをそのクエリに対応する関連テキスト正例の拡充に用い、関連度が予め設定された第２の閾値以下のテキストをそのクエリに対応する関連テキスト負例の拡充に用いる。

前記の実施形態により第２の検索モデルが得られた後、この第２の検索モデルを情報検索用のモデルとしてよい。例えば、ユーザが入力したクエリを第２の検索モデルに入力すると、第２の検索モデルは、候補テキストからそのクエリに対応する関連テキストを特定することができる。

さらに、初期モデルの訓練と第１ラウンドの訓練における第１検索モデルモデル及び第２検索モデルの訓練に加えて、第２ラウンドの訓練をさらに行うことができる。当該過程は、図３に示されたように、以下のステップを含むことができる。

ステップ３０１～３０３は、図２に示される実施形態におけるステップ２０１～２０３と同じであり、ここでは詳しく説明しない。

ステップ３０４では、第２の検索モデルを用いて候補テキストから訓練データの中のクエリとの関連度が予め設定された第４の要件を満たすテキストを選択してそのクエリに対応する関連テキスト負例を更新し、更新された訓練データを用いて第３の検索モデルを得るように訓練する。

本ステップは、第２の検索モデルを用いて訓練データの中の関連テキスト負例の品質をさらに向上させ、より強い負例を見つけることで、検索モデルによる困難なサンプルの判断に有利である。

好ましい実施形態として、第２の検索モデルを利用してクエリと候補テキストの関連度を特定し、関連度ランキングに基づいてＮ１個の候補テキストの間隔でＮ２個の候補テキストを選択した後に、選択されたＮ２個の候補テキストから当該クエリに対応する関連テキスト正例との類似度が予め設定された類似度閾値以上である候補テキストをフィルタリングした後、得られた候補テキストを用いて当該クエリに対応する関連テキスト負例を更新することができる。ここで、Ｎ１及びＮ２は、あらかじめ設定された正整数である。

上述のようにＮ１個の候補テキストの間隔でＮ２個の候補テキストを選択し、たとえば候補テキストを１０個おきに選択するという選択方式は、候補テキストの中に類似テキストが大量に出現することを効率的に防止することができる。そして、選択されたテキストから関連テキスト正例との類似度が高い候補テキストをフィルタリングする。このフィルタリング処理の目的は、ある場合に標識漏れの正例が関連テキスト負例として誤って選択され、検索モデルの効果に影響を与えることを防止するためである。最終的に４つの関連テキスト負例を生成して訓練サンプルの中のクエリに対応する関連テキスト負例を置き換える。

前記好ましい実施形態に加えて、他の方法を採用してクエリに対応する関連テキスト負例を更新しても良い。例えば、第２の検索モデルを用いてクエリと候補テキストとの関連度を特定した後、上位いくつかの候補テキストを選択してそのクエリに対応する関連テキスト負例を更新することができる。

３０５では、第３の検索モデルを用いて、候補テキストから各拡充クエリとの関連度が予め設定された第５の要件を満たすテキストをそれぞれ選択して、各拡充クエリに対応する関連テキスト正例を生成し、及び／又は、各拡充クエリとの関連度が予め設定された第６の要件を満たすテキストをそれぞれ選択して各拡充クエリに対応する関連テキスト負例を生成し、各拡充クエリに対応する関連テキスト正例及び／又は関連テキスト負例を用いて訓練データを拡充し、 拡充された訓練データを用いて第４の検索モデルを得るように訓練する。

本ステップは、訓練データの中の関連テキストをさらに拡充するものであり、関連テキスト正例及び／又は関連テキスト負例の拡充を含み、検索モデルの効果を高める。

本ステップで扱う拡充クエリは、訓練データに新たに追加されたクエリである。 好ましい実施形態として、このステップでは、まず、第２の検索モデルを使用して候補テキストから訓練データの中のクエリの関連テキストを検索し、第３の検索モデルを用いて関連テキストと各拡充クエリとの類似度を判定し、類似度が予め設定された第１の閾値以上のテキストを各拡充クエリに対応する関連テキスト正例とし、及び／又は、類似度が予め設定された第２の閾値以下のテキストを各拡充クエリに対応する関連テキスト負例とすることができる。例えば、第１の閾値を０．９とし、第２の閾値を０．１とする。

前記の好ましい実施形態に加えて、他の実施形態を採用してもよい。例えば、第３の検索モデルを用いて関連テキストとそのクエリとの関連度を特定した後、関連度ランキングに基づいて、上位のいくつかのテキストをそのクエリに対応する関連テキスト正例の拡充に用い、下位のいくつかのテキストをそのクエリに対応する関連テキスト負例の拡充に用いる。また、例えば、第３の検索モデルを直接に利用して、各候補テキストとそのクエリとの関連度を特定し、関連度が予め設定された第１の閾値以上のテキストをそのクエリに対応する関連テキスト正例の拡充に用い、関連度が予め設定された第２の閾値以下のテキストをそのクエリに対応する関連テキスト負例の拡充に用いる。

前記実施形態により第４の検索モデルが得られた後に、当該第４の検索モデルを情報検索用のモデルとすることができる。例えばユーザが入力したクエリを第４の検索モデルに入力すると、第４の検索モデルは候補テキストからそのクエリに対応する関連テキストを特定することができる。

また、前記実施例において、初期検索モデル、第２の検索モデル及び第４の検索モデルは同じタイプのモデルを採用し、第１の検索モデル及び第３の検索モデルは同じタイプのモデルを採用して良い。好ましい実施形態として、第２の検索モデルは、訓練時に、既に得られた初期検索モデルに基づいて拡充された訓練データを使用してさらに訓練されて良い。第４の検索モデルは、訓練時に、既に得られた第２の検索モデルに基づいて拡充された訓練データを用いてさらに訓練されて良い。好ましい実施形態として、第３の検索モデルは、訓練時に、既に取得された第１の検索モデルに基づいて更新された訓練データを使用してさらに訓練されて良い。

現在、情報検索分野でよく使われているモデルは主に２種類あり、１つはツインタワーモデル（Ｄｕａｌ Ｍｏｄｅｌ）である。ツインタワーモデルとは、２つのエンコーダを用いてクエリと候補テキストをそれぞれ符号化してクエリのベクトル表現と候補テキストのベクトル表現を得た後に、２つのベクトル表現間の関連度（類似度とも呼ばれる）を内積などによりクエリと候補テキストの関連スコアとして計算するためである。図４Ａに示されたように、この２つのエンコーダの構造はツインタワー型の構造を呈しているため、ツインタワーモデルと呼ばれている。

もう１つはクロスアテンション（Ｃｒｏｓｓ Ａｔｔｅｎｔｉｏｎ）モデルである。クロスアテンションモデルとは、図４Ｂに示されたように、クエリと候補テキストとをスプライシングし、スプライシングされたテキストを、クロスアテンションメカニズムを用いて統一的に符号化した後、さらに符号化結果をマッピング（Ｓｏｆｔｍａｘ）してクエリと候補テキストとの関連度を得るものである。

なお、クロスアテンションモデルは、モデル効果が良く、正確度が高いが、効率が低い。一方、ツインタワーモデルは、効率が高いが、効果がクロスアテンションモデルに及ばない。本開示は、これら２つのモデルのそれぞれの特徴を考慮して、２つのモデルのそれぞれの利点を十分に利用するように本開示で提供される検索モデルの訓練プロセスにこれら２つのモデルを適用する好ましい実施形態を提供する。以下では、このような好ましい実施形態について、具体的な実施形態と合わせて詳細に説明する。

図５は、本開示の実施形態により提供される好ましい実施形態のフローチャートである。図５に示されたように、当該方法は、以下のステップを含むことができる。

５０１では、初期訓練データを取得してＤａｔａ０として標記する。

本ステップでは、初期訓練データは、クエリと、クエリに対応する関連テキスト正例及び関連テキスト負例とを含む。ここで、関連テキスト正例は人工で標識され、関連テキスト負例は候補テキストからランダムに選択される。

本実施例では、２つのセットを構築することができる。一つは、ユーザが入力したクエリの集合を予め選択し、候補テキストからクエリに関連する関連テキスト正例を人工で標識する人工標識セットである。 もう一つは、クエリのみを含む拡充クエリセットである。 拡充クエリセットは、後続で関連テキストの正例と負例の拡充に用いられる。

初期訓練データにおけるクエリに対応する関連テキスト負例は、候補テキストセットからランダムに選択することができる。例えば、クエリ毎に候補テキストセットからクエリに対応する関連テキスト負例として４つの候補テキストをランダムに選択する。

５０２では、初期訓練データを用いてツインタワーモデルを訓練して初期検索モデルを得てＤＭ０として標記する。

初期訓練データの中の訓練データのサンプル数は少ないため、本ステップでは実際に少量の負例データを用いて訓練を行う。

ツインタワーモデルは訓練を行う場合に、図６Ａに示されたように、訓練データに合計でｎ個の訓練サンプルが存在すると仮定し、＜クエリ、ｄｏｃ＋、ｄｏｃ－＞と示される。ここで、ｄｏｃ＋とｄｏｃ－は、それぞれクエリに対応する関連テキスト正例と関連テキスト負例を示す。

ツインタワーモデルは、クエリ及び各ｄｏｃ＋とｄｏｃ－をそれぞれ符号化し、ｎ個の訓練データから、クエリと２ｎ個の関連テキストとの関連度をそれぞれ計算することができる。当該２ｎ個の関連テキストは、そのクエリに対する関連テキスト正例と負例、及び他のクエリに対する関連テキスト正例と負例を含む。訓練過程における訓練目標は、ツインタワーモデルが出力したクエリとそのクエリに対応するｄｏｃ＋との関連度がそのクエリと初期訓練データの中の他の関連テキストとの関連度よりも大きいことである。すなわち、クエリとそれに対応するｄｏｃ＋との関連度が２ｎ個の関連度の中で最大値となるようにする。

前記のステップ５０１及び５０２は、初期の検索モデル訓練過程と見なすことができる。この過程で少量の負例データが採用され、かつ当該少量の負例データがランダムで選択されたものであり、数量的にも品質的にも検索モデルに良い効果を達成させることができないため、後続で少なくとも１ラウンドの訓練過程を行って検索モデルの効果をさらに高める必要がある。本実施形態では、さらに２ラウンドの訓練を実施することを例とする。ここで、第１ラウンドの訓練は、以下のステップ５０３～５０６を含む。

５０３では、ＤＭ０を用いて訓練データの中の各クエリの関連テキスト負例を更新して更新された訓練データを生成してＤａｔａ１と標記する。

好ましい実施形態として、ＤＭ０を用いて、訓練データの中のクエリと各候補テキストとの関連度を特定し、関連度スコアが上位Ｍ１個の候補テキストから、Ｍ２個をランダムに選択して当該クエリに対応する関連テキスト負例を更新することができる。ここで、Ｍ１及びＭ２は何れも正整数、Ｍ１＞Ｍ２である。

例えば、ＤＭ０を用いて訓練データの中のクエリと候補データベースにおける各候補テキストとの関連度を特定し、関連度スコアに基づいて上位１０００個の候補テキストを候補セットとし、クエリ毎に関連テキスト正例が依然として人工で標識されたデータである一方、関連テキスト負例が前記得られた候補セットからランダムに選択された４個である。

適切な関連テキスト正例及びランダムに選択された関連テキスト負例は、すでに訓練で得られたＤＭ０にある程度の効果を与えたため、そのＤＭ０を利用して候補テキストからクエリの強関連負例の一部を特定し、その強関連負例を用いて訓練データを更新することで、訓練データの品質を向上させることができる。

５０４では、更新された訓練データを用いてクロスアテンションモデルを訓練して第１の検索モデルを得てＣＭ１として標記する。

クロスアテンションモデルを訓練する場合に、図６Ｂに示されたように、入力は＜クエリ、ｄｏｃ＋＞及び＜クエリ、ｄｏｃ－＞である。クロスアテンションモデルは、入力されたクエリとｄｏｃ（ｄｏｃ＋又はｄｏｃ－）をスプライシングして統合的に符号化し、符号化結果に対してｓｏｆｔｍａｘを行ってクエリとｄｏｃの関連度スコアにマッピングする。クロスセクションモデルに対する訓練は、バイナリ分類問題とみなして良く、即ちクロスセクションモデルが出力した関連度に基づいてｄｏｃを分類し、分類結果ｙが関連と非関連の２種類であり、関連が正例、非関連が負例に対応する。これにより、クロスアテンションモデルから得られた訓練データにおいて、クエリと対応するｄｏｃ＋との関連度が予め設定された閾値以上であり、クエリと対応するｄｏｃ－との関連度が予め設定された閾値未満であることを訓練目標とすることができる。すなわち、理想的には、クロスアテンションモデルでは、ｄｏｃ＋に対する分類結果が関連であり、ｄｏｃ－に対する分類結果が非関連である。

５０５では、ＣＭ１を用いて現在の訓練データの中の関連テキスト正例と関連テキスト負例を拡充して拡充された訓練データを得てＤａｔａ２として標記する。

好ましい実施形態として、ＤＭ０を利用して候補テキストから訓練データの中のクエリの関連テキストを検索し、ＣＭ１を用いて関連テキストとクエリとの関連度を特定し、関連度が予め設定された第１の閾値以上のテキストを当該クエリに対応する関連テキスト正例を拡充し、関連度が予め設定された第２の閾値以下のテキストを当該クエリに対応する関連テキスト負例を拡充することができる。ここで、第１の閾値は第２の閾値より大きく、例えば、第１の閾値を０．９とし、第２の閾値を０．１とする。

クロスアテンションモデルＣＭ１の関連度判定はより正確であるため、適切な閾値設定と合わせて、より信頼性の高い関連テキスト正例と関連テキスト負例を選択することができる。このような方式で訓練データを拡充することは、ＣＭ１の能力をＤＭ０に渡してＤＭ１を得ることに相当し、ツインタワーモデルの効果を著しく高めることができる。

５０６では、拡充された訓練データを用いて、さらにＤＭ０を訓練して第２の検索モデルを得てＤＭ１として標記する。

ＤＭ１は、ＤＭ０の上に拡充した訓練データを用いてさらに訓練されたものである。 これにより、検索モデルの訓練過程を最適化し、高速化することができる。具体的な訓練過程は、前記のステップ５０２においてＤＭ０を訓練する方法と同じであるため、ここでは詳しく説明しない。

第２ラウンドの訓練過程は、以下のステップ５０７～５１０を含む。

５０７では、ＤＭ１を用いて訓練データの中の各クエリの関連テキスト負例を更新して更新された訓練データを生成してＤａｔａ３として標記する。

好ましい実施形態として、ＤＭ１を利用して、現在の訓練データの中のクエリと候補テキストとの関連度を特定し、関連度ランキングに基づいてＮ１個の候補テキストの間隔でＮ２個の候補テキストを選択した後に、選択されたＮ２個の候補テキストから、そのクエリに対応する関連テキスト正例との類似度が予め設定された類似度閾値以上である候補テキストをフィルタリングした後、得られた候補テキストをそのクエリに対応する関連テキスト負例の更新に用いることができる。ここで、Ｎ１、Ｎ２は予め設定された正整数である。

このステップにおける関連テキスト負例の選択方法は、ステップ５０３における選択方法よりも厳密である。ＤＭ１で特定された関連度に基づいて各候補テキストをソートした後、候補テキストを１０個おきに選択することができる。このような処理により、候補テキストの中に類似するテキストが大量に出現する事態を効果的に回避し、関連テキスト負例の品質を向上させることができる。そして、選択された候補テキストから、さらにクエリに対応する関連テキスト正例との類似度が高い候補テキストをフィルタリングする。このような処理により、幾つかの場合に標識漏れの正例が関連テキスト負例として誤って選択され、検索モデルの効果に影響を与えることを効率的に防止することができる。例えば、最終的に４つの関連テキスト負例を生成して訓練サンプルの中のクエリに対応する関連テキスト負例を置き換える。本ステップの処理方式は、より質の高い負例を得ることができ、訓練された検索モデルが難しいサンプルを判定するのに有利である。

５０８では、更新された訓練データを用いてＣＭ１をさらに訓練して第３の検索モデルを得てＣＭ２として標記する。

本ステップにおけるＣＭ２は、既に訓練されたＣＭ１に基づいて、更新された訓練データを用いてさらに訓練されたものである。これにより、検索モデルの訓練を最適化し、高速化することができる。具体的な訓練過程は、前記のステップ５０４におけるＣＭ１の訓練過程と同じであるため、ここでは詳しく説明しない。

５０９では、ＣＭ２を用いて現在の訓練データの中の関連テキスト正例と関連テキスト負例を拡充して拡充された訓練データを得てＤａｔａ４として標記する。

好ましい実施形態として、ＤＭ１を用いて候補テキストから現在の訓練データにおけるクエリの関連テキストを検索し、ＣＭ２を用いて関連テキストと各拡充クエリとの類似度を特定し、類似度が予め設定された第１の閾値以上のテキストを各拡充クエリに対応する関連テキスト正例とし、類似度が予め設定された第２の閾値以下のテキストを各拡充クエリに対応する関連テキスト負例とし、各拡充クエリに対応する関連テキスト正例と関連テキスト負例を用いて訓練データを拡充することができる。

本ステップにおける拡充方式はステップ５０５と類似しているが、本ステップで拡充クエリセットを用いて拡充してより多くの関連テキスト正例と関連テキスト負例を得ることにより、より良いモデル訓練効果を得る点が異なる。

５１０では、拡充された訓練データを用いて、さらにＤＭ１を訓練して第４の検索モデルを得てＤＭ２として標記する。

このステップにおけるＤＭ２の訓練は、ＤＭ１を基に拡充可能な訓練データを用いてさらに訓練されたものであって良い。これにより、検索モデルの訓練を最適化し、高速化することができる。具体的な訓練過程は、前記のステップ５０６におけるＤＭ１の訓練過程と同じであるため、ここでは詳しく説明しない。

ここまで本開示の実施形態で得られた第４の検索モデルＤＭ２は、ユーザのクエリを検索モデルに入力し、そのクエリと各候補テキストとの関連度を得、その関連度に基づいてクエリの関連テキストを特定する最終的な検索モデルとすることができる。サーバ側は、そのクエリの関連テキストを検索結果として端末装置に返信することができる。

以上は、本開示の実施形態により提供された方法の詳細な説明であり、以下で実施形態と合わせて本開示により提供される装置を詳しく説明する。

図７Ａは、本開示の実施形態により提供される検索モデルの訓練装置の構成図である。当該装置は、サーバ側のアプリに配置されても良く、サーバ側のアプリに配置されるプラグイン又はソフトウェア開発キット（Ｓｏｆｔｗａｒｅ Ｄｅｖｅｌｏｐｍｅｎｔ Ｋｉｔ、ＳＤＫ）のような機能ユニットであっても良く、強力な計算能力を有するコンピュータ端末に配置されても良く、本開示の実施形態で特に限定されていない。図７に示されたように、当該装置は、初期取得部０１と、初期訓練部０２と、第１の更新部０３と、第１の訓練部０４と、第１の拡充部０５と、第２の訓練部０６とを備えることができる。なお、各構成部の主な機能は次のとおりである。

初期取得部０１は、クエリと、当該クエリに対応する関連テキスト正例及び関連テキスト負例とを含む初期訓練データを取得する。

好ましい実施形態として、初期訓練データの中の関連テキスト正例は人工標識により得られ、関連テキスト負例は候補テキストからランダムに選択される。

初期訓練部０２は、初期訓練データを用いて初期検索モデルを得るように訓練する。

好ましい実施形態として、初期訓練ユニット０２は、初期訓練データを用いてツインタワーモデルを訓練して初期検索モデルを得られる。ここで、訓練目標は、ツインタワーモデルが出力したクエリとそのクエリに対応する関連テキスト正例との関連度がそのクエリと初期訓練データの中の他の関連テキストとの関連度よりも大きいことを含む。

第１の更新部０３は、初期検索モデルを用いて、候補テキストから訓練データの中のクエリとの関連度が予め設定された第１の要件を満たすテキストを選択して当該クエリに対応する関連テキスト負例を更新する。

好ましい実施形態として、第１の更新部０３は、初期検索モデルを用いてクエリと各候補テキストとの関連度を特定し、関連度スコアが上位Ｍ１個の候補テキストからＭ２個をランダムに選択して当該クエリに対応する関連テキスト負例を更新する。ここで、Ｍ１及びＭ２は何れも正整数であり、Ｍ１＞Ｍ２である。

第１の訓練部０４は、第１の更新部０３により更新された訓練データを用いて第１の検索モデルを得るように訓練する。

好ましい実施形態として、第１の訓練ユニット０４は、第１の更新ユニット０３により更新された訓練データを用いてクロスアテンションモデルを訓練して第１の検索モデルを得られる。ここで、訓練目標は、クロスアテンションモデルにより得られた学習データにおいて、クエリとそのクエリに対応する関連テキスト正例との関連度が予め設定された閾値以上であり、クエリとそのクエリに対応する関連テキスト負例との関連度が予め設定された閾値未満であることを含む。

第１の拡充部０５は、第１の検索モデルを用いて、候補テキストから、訓練データの中のクエリとの関連度が予め設定された第２の要件を満たすテキストを選択して、そのクエリに対応する関連テキスト正例を拡充し、及び／又は、そのクエリとの関連度が予め設定された第３の要件を満たすテキストを選択して、そのクエリに対応する関連テキスト負例を拡充する。

好ましい実施形態として、第１の拡充ユニット０５は、初期検索モデルを利用して、候補テキストから訓練データの中のクエリの関連テキストを検索し、第１の検索モデルを用いて、関連テキストと当該クエリとの関連度を特定し、関連度が予め設定された第１の閾値以上であるテキストを当該クエリに対応する関連テキスト正例の拡充に用い、及び／又は、関連度が予め設定された、第１の閾値よりも小さい第２の閾値以下であるテキストを当該クエリに対応する関連テキスト負例の拡充に用いることができる。

第２の訓練部０６は、第１の拡充部で拡充された訓練データを用いて第２の検索モデルを得るように訓練する。

好ましい実施形態として、第２の訓練ユニット０６は、第１の拡充ユニット０５により拡充された訓練データを用いて、ツインタワーモデルをさらに訓練して第２の検索モデルを得ることができる。

図７Ｂは、本開示の実施形態により提供される別の装置構成の模式図である。本実施形態において、当該装置は、図７Ａに示されたユニット及び構造に加えて、第２の更新部０７、第３の訓練部０８、第２の拡充部０９、及び第４の訓練部１０をさらに含むことができる。

第２の更新部０７は、第２の検索モデルを用いて、候補テキストから訓練データの中のクエリとの関連度が予め設定された第４の用件を満たすテキストを選択して当該クエリに対応する関連テキスト負例を更新し、更新された訓練データを用いて第３の検索モデルを得るように訓練する。

好ましい実施形態として、第２の更新ユニット０７は、第２の検索モデルを利用してクエリと当該候補テキストとの関連度を特定し、関連度ランキングに基づいてＮ１個の候補テキストの間隔でＮ２個の候補テキストを選択し、選択されたＮ２個の候補テキストから当該クエリに対応する関連テキスト正例との類似度が予め設定された類似度閾値以上である候補テキストをフィルタリングした後、得られた候補テキストを用いて当該クエリに対応する関連テキスト負例を更新することができる。ここで、Ｎ１とＮ２は予め設定された正整数である。

第３の訓練部０８は、第２の更新部０７により更新された訓練データを用いて第３の検索モデルを得るように訓練する。

好ましい実施形態として、第３の訓練ユニット０８は、更新された訓練データを用いて第１の検索モデルをさらに訓練して第３の検索モデルを得ることができる。

第２の拡充部０９は、第３の検索モデルを利用して、候補テキストから各拡充クエリとの関連度が予め設定された第５の要件を満たすテキストをそれぞれ選択して各拡充クエリに対応する関連テキスト正例の生成に用い、及び／又は、各拡充クエリとの関連度が予め設定された第６の要件を満たすテキストを選択して各拡充クエリに対応する関連テキスト負例の生成にそれぞれ用い、各拡充クエリに対応する関連テキスト正例及び／又は関連テキスト負例を用いて訓練データを拡充することができる。

好ましい実施形態として、第２の拡充部０９は、第２の検索モデルを用いて、候補テキストから訓練データの中のクエリの関連テキストを検索し、第３の検索モデルを用いて関連テキストと各拡充クエリとの類似度を特定し、類似度が予め設定された第１の閾値以上のテキストを各拡充クエリに対応する関連テキスト正例とし、及び／又は、類似度が予め設定された第２の閾値以下のテキストを各拡充クエリに対応する関連テキスト負例とする。

第４の訓練部１０は、第２の拡充部０９により拡充された訓練データを用いて第４の検索モデルを得るように訓練する。

好ましい実施形態として、第４の訓練ユニット１０は、拡充された訓練データを用いて、第２の検索モデルをさらに訓練して第４の検索モデルを得ることができる。

本開示の実施形態によれば、本開示は更に電子デバイス及び可読記憶媒体を提供する。

図８は、本開示の実施形態に係る検索モデルの訓練方法の電子デバイスのブロック図である。電子デバイスは、様々な形式のデジタルコンピュータ、例えば、ラップトップコンピュータ、デスクトップコンピュータ、ワークステーション、ＰＤＡ、サーバ、ブレードサーバ、メインフレームコンピュータ、及び他の適切なコンピュータであることが意図される。電子デバイスは、様々な形式のモバイル装置、例えば、ＰＤＡ、携帯電話、スマートフォン、ウェアラブルデバイス、及び他の類似するコンピューティング装置を示してもよい。本文で示された構成要素、それらの接続及び関係、ならびにそれらの機能は例示にすぎなく、本明細書において説明及び／又は請求される本開示の実現を限定することが意図されない。

図８に示すように、この電子デバイスは、一つ又は複数のプロセッサ８０１、メモリ８０２、及び各構成要素に接続するための高速インターフェース及び低速インターフェースを含むインターフェースを備える。各構成要素は、異なるバスで相互接続され、そして、共通マザーボードに、又は必要に応じて、他の態様で実装されてもよい。プロセッサは、電子デバイス内で実行されるコマンドを処理してもよく、メモリに記憶される又はメモリ上で外部入力／出力装置（例えば、インターフェースに結合される表示装置）にグラフィカルユーザインターフェースのグラフィカル情報を表示するコマンドを含む。他の実施形態において、必要な場合に、複数のプロセッサ及び／又は複数のバスが、複数のメモリとともに用いられてもよい。同様に、複数の電子デバイスが接続されてもよく、それぞれのデバイスが必要な操作の一部を提供する（例えば、サーババンク、ブレードサーバの集まり、又はマルチプロセッサシステムとする）。図８において、一つのプロセッサ５０１を例とする。

メモリ８０２は、本開示で提供される非一時的コンピュータ可読記憶媒体である。なお、前記メモリには、少なくとも１つのプロセッサが本開示により提供される検索モデルの訓練方法を実行するように、前記少なくとも１つのプロセッサに実行可能なコマンドが記憶されている。本開示の非一時的コンピュータ可読記憶媒体は、本開示により提供される検索モデルの訓練方法をコンピュータに実行させるためのコンピュータコマンドを記憶している。

メモリ８０２は、非一時的コンピュータ可読記憶媒体として、非一時的ソフトウェアプログラム、非一時的コンピュータ実行可能なプログラム、モジュール、例えば、本開示の実施形態における検索モデルの訓練方法に対応するプログラムコマンド／ユニットを記憶するために用いられる。プロセッサ８０１は、メモリ８０２に記憶されている非一時的ソフトウェアプログラム、コマンド及びモジュールを実行することで、サーバの様々な機能アプリケーション及びデータ処理を実行し、即ち、前記方法の実施形態における検索モデルの訓練方法を実現する。

メモリ８０２は、プログラム記憶領域及びデータ記憶領域を含んでもよく、プログラム記憶領域はオペレーティングシステム、少なくとも一つの機能に必要なアプリケーションプログラムを記憶してもよく、データ記憶領域は当該電子デバイスの使用により作成されたデータなどを記憶してもよい。また、メモリ８０２は、高速ランダムアクセスメモリを含んでもよく、さらに非一時的メモリ、例えば、少なくとも一つの磁気ディスク記憶装置、フラッシュメモリ装置、又は他の非一時的固体記憶装置を含んでもよい。幾つかの実施例において、メモリ８０２は、プロセッサ８０１に対して遠隔設置されたメモリを選択的に含んでもよく、これらのリモートメモリは、ネットワークを介して電子デバイスに接続されてもよい。上記のネットワークの実例には、インターネット、イントラネット、ローカルエリアネットワーク、モバイル通信ネットワーク、及びそれらの組み合わせが含まれるが、これらに限定されない。

電子デバイスは、更に、入力装置８０３と出力装置８０４とを備えても良い。プロセッサ８０１、メモリ８０２、入力装置８０３及び出力装置８０４は、バス又は他の手段により接続されても良く、図８においてバスによる接続を例とする。

入力装置８０３は、入力された数字又はキャラクタ情報を受信し、当該電子デバイスのユーザ設定及び機能制御に関連するキー信号入力を生成でき、例えば、タッチスクリーン、キーパッド、マウス、トラックパッド、タッチパッド、ポインティングスティック、一つ又は複数のマウスボタン、トラックボール、ジョイスティックなどの入力装置である。出力装置８０４は、表示装置、補助照明装置（例えば、ＬＥＤ）、触覚フィードバック装置（例えば、振動モータ）などを含むことができる。当該表示装置は、液晶ディスプレイ（ＬＣＤ）、発光ダイオードディスプレイ（ＬＥＤ）、及びプラズマディスプレイを含み得るが、これらに限定されない。いくつかの実施形態では、表示装置はタッチパネルであってもよい。

本明細書に説明されるシステム及び技術の様々な実施形態は、デジタル電子回路システム、集積回路システム、専用ＡＳＩＣ（専用集積回路）、コンピュータハードウェア、ファームウェア、ソフトウェア、及び／又はそれらの組み合わせにおいて実現することができる。これらの様々な実施形態は、記憶システム、少なくとも一つの入力装置、及び少なくとも一つの出力装置からデータ及びコマンドを受信し、当該記憶システム、当該少なくとも一つの入力装置、及び当該少なくとも一つの出力装置にデータ及びコマンドを送信するようにつなげられた、特殊用途でもよく一般用途でもよい少なくとも一つのプログラマブルプロセッサを含む、プログラマブルシステム上で実行可能及び／又は解釈可能な一つ又は複数のコンピュータプログラムにおける実行を含んでもよい。

これらのコンピューティングプログラム（プログラム、ソフトウェア、ソフトウェアアプリケーション、又は、コードとも称される）は、プログラマブルプロセッサの機械命令を含み、高水準のプロセス及び／又はオブジェクト向けプログラミング言語、及び／又はアセンブリ／機械言語で実行されることができる。本明細書で用いられる「機械可読媒体」及び「コンピュータ可読媒体」という用語は、機械可読信号としての機械命令を受け取る機械可読媒体を含むプログラマブルプロセッサに機械命令及び／又はデータを提供するのに用いられる任意のコンピュータプログラム製品、機器、及び／又は装置（例えば、磁気ディスク、光ディスク、メモリ、及びプログラマブル論理デバイス）を指す。「機械可読信号」という用語は、プログラマブルプロセッサに機械命令及び／又はデータを提供するために用いられる任意の信号を指す。

ユーザとのインタラクティブを提供するために、本明細書に説明されるシステムと技術は、ユーザに対して情報を表示するための表示装置（例えば、ＣＲＴ（ブラウン管）又はＬＣＤ（液晶ディスプレイ）モニタ）、ユーザがコンピュータに入力を与えることができるキーボード及びポインティングデバイス（例えば、マウスや、トラックボール）を有するコンピュータ上に実施されることが可能である。その他の種類の装置は、さらに、ユーザとのインタラクションを提供するために使用されることが可能であり、例えば、ユーザに提供されるフィードバックは、任意の形態のセンシングフィードバック（例えば、視覚的なフィードバック、聴覚的なフィードバック、又は触覚的なフィードバック）であり得、ユーザからの入力は、任意の形態で（音響、音声又は触覚による入力を含む）受信され得る。

本明細書に説明されるシステムと技術は、バックエンド構成要素を含むコンピューティングシステム（例えば、データサーバとする）、又はミドルウェア構成要素を含むコンピューティングシステム（例えば、アプリケーションサーバ）、又はフロントエンド構成要素を含むコンピューティングシステム（例えば、グラフィカルユーザインターフェースもしくはウェブブラウザを有するクライアントコンピュータであり、ユーザは、当該グラフィカルユーザインターフェースもしくは当該ウェブブラウザを通じて本明細書で説明されるシステムと技術の実施形態とインタラクションすることができる）、そのようなバックエンド構成要素、ミドルウェア構成要素、もしくはフロントエンド構成要素の任意の組合せを含むコンピューティングシステムに実施されることが可能である。システムの構成要素は、任意の形態又は媒体のデジタルデータ通信（例えば、通信ネットワーク）によって相互に接続されることが可能である。通信ネットワークの例は、ローカルエリアネットワーク（「ＬＡＮ」）、ワイド・エリア・ネットワーク（「ＷＡＮ」）、インターネットワークを含む。

コンピュータシステムは、クライアントとサーバを含み得る。クライアントとサーバは、一般的に互いから遠く離れており、通常は、通信ネットワークを通じてインタラクトする。クライアントとサーバとの関係は、相応するコンピュータ上で実行され、互いにクライアント－サーバの関係を有するコンピュータプログラムによって生じる。

以上で示された様々な形式のフローを使用して、ステップを並べ替え、追加、又は削除できることを理解されたい。例えば、本開示に説明される各ステップは、並列の順序又は順次的な順序で実施されてもよいし、又は異なる順序で実行されてもよく、本開示で開示された技術案の望ましい結果が達成できる限り、ここで制限されない。

前記の具体的な実施形態は本開示の保護範囲に対する制限を構成しない。設計要件及び他の要因に従って、様々な修正、組み合わせ、部分的組み合わせ及び置換を行うことができることを当業者は理解するべきである。本開示の精神及び原則の範囲内で行われる修正、同等の置換、改善は、何れも本開示の保護範囲内に含まれるべきである。

Claims (25)

1. 検索モデルの訓練方法であって、
   クエリと、当該クエリに対応する関連テキスト正例及び関連テキスト負例とを含む初期訓練データを取得し、前記初期訓練データを用いて初期検索モデルを得るように訓練し、
   前記初期検索モデルを用いて、候補テキストから訓練データの中のクエリとの関連度が予め設定された第１の要件を満たすテキストを選択して当該クエリに対応する関連テキスト負例を更新し、更新された訓練データを用いて第１の検索モデルを得るように訓練し、
   前記第１の検索モデルを用いて、前記候補テキストから訓練データの中のクエリとの関連度が予め設定された第２の要件を満たすテキストを選択して当該クエリに対応する関連テキスト正例を拡充し、及び／又は、当該クエリとの関連度が予め設定された第３の要件を満たすテキストを選択して当該クエリに対応する関連テキスト負例を拡充し、拡充された訓練データを用いて第２の検索モデルを得るように訓練する、
   ことを含む方法。
2. 前記初期訓練データの中の関連テキスト正例は、人工標識により得られ、関連テキスト負例は、候補テキストからランダムに選択される、
   請求項１に記載の方法。
3. 前記初期訓練データを用いて初期検索モデルを得るように訓練することは、
   前記初期訓練データを用いてツインタワーモデルを訓練して前記初期検索モデルを得ることを含み、
   訓練目標は、前記ツインタワーモデルが出力するクエリと、当該クエリに対応する関連テキスト正例との関連度が、前記クエリと前記初期訓練データの中の他の関連テキストとの関連度よりも大きくなるようにすることを含む、
   請求項１に記載の方法。
4. 前記初期検索モデルを用いて、候補テキストから訓練データの中のクエリとの関連度が予め設定された第１の要件を満たすテキストを選択して当該クエリに対応する関連テキスト負例を更新することは、
   前記初期検索モデルを用いてクエリと各候補テキストとの関連度を特定し、関連度スコアが上位Ｍ１個の候補テキストからＭ２個をランダムに選択して当該クエリに対応する関連テキスト負例を更新することを含み、
   Ｍ１及びＭ２はいずれも正整数であり、Ｍ１＞Ｍ２である、
   請求項１に記載の方法。
5. 前記更新された訓練データを用いて前記第１の検索モデルを得るように訓練することは、
   更新された訓練データを用いてクロスアテンションモデルを訓練して第１の検索モデルを得ることを含み、
   訓練目標は、前記クロスアテンションモデルにより得られた訓練データにおいて、クエリと当該クエリに対応する関連テキスト正例との関連度が予め設定された閾値以上であり、クエリと当該クエリに対応する関連テキスト負例との関連度が前記予め設定された閾値未満であるようにすることを含む、
   請求項１に記載の方法。
6. 前記第１の検索モデルを用いて、前記候補テキストから訓練データの中のクエリとの関連度が予め設定された第２の要件を満たすテキストを選択して当該クエリに対応する関連テキスト正例を拡充し、及び／又は、当該クエリとの関連度が予め設定された第３の要件を満たすテキストを選択して当該クエリに対応する関連テキスト負例を拡充することは、
   前記初期検索モデルを用いて、候補テキストから訓練データの中のクエリの関連テキストを検索し、
   前記第１の検索モデルを用いて前記関連テキストと当該クエリとの関連度を特定し、関連度が予め設定された第１の閾値以上であるテキストを用いて当該クエリに対応する関連テキスト正例を拡充し、及び／又は、関連度が予め設定された、前記第１の閾値よりも小さい第２の閾値以下であるテキストを用いて当該クエリに対応する関連テキスト負例を拡充する、
   ことを含む請求項５に記載の方法。
7. 拡充された訓練データを用いて前記第２の検索モデルを得るように訓練することは、
   前記拡充された訓練データを用いてツインタワーモデルをさらに訓練して第２の探索モデルを得る、ことを含む請求項３に記載の方法。
8. 前記第２の検索モデルを用いて、候補テキストから訓練データの中のクエリとの関連度が予め設定された第４の要件を満たすテキストを選択して当該クエリに対応する関連テキスト負例を更新し、更新された訓練データを用いて第３の検索モデルを得るように訓練し、
   前記第３の検索モデルを用いて、候補テキストから各拡充クエリとの関連度が予め設定された第５の要件を満たすテキストをそれぞれ選択して各拡充クエリに対応する関連テキスト正例の生成に用い、及び／又は、各拡充クエリとの関連度が予め設定された第６の要件を満たすテキストを選択して各拡充クエリに対応する関連テキスト負例の生成にそれぞれ用い、前記各拡充クエリに対応する関連テキスト正例及び／又は関連テキスト負例を用いて訓練データを拡充し、拡充された訓練データを用いて第４の検索モデルを得るように訓練する、
   ことを更に含む請求項１～７の何れか１項に記載の方法。
9. 前記第２の検索モデルを用いて、候補テキストから訓練データの中のクエリとの関連度が予め設定された第４の要件を満たすテキストを選択して当該クエリに対応する関連テキスト負例を更新することは、
   前記第２の検索モデルを使用して、クエリと当該候補テキストとの関連度を特定し、
   関連度ランキングに基づいてＮ１個の候補テキストの間隔でＮ２個の候補テキストを選択し、
   選択された前記Ｎ２個の候補テキストから、当該クエリに対応する関連テキスト正例との類似度が予め設定された類似度閾値以上である候補テキストをフィルタリングした後、得られた候補テキストを当該クエリに対応する関連テキスト負例の更新に用いることを含み、
   前記Ｎ１及びＮ２は予め設定された正整数である、
   請求項８に記載の方法。
10. 前記第３の検索モデルを用いて、候補テキストから各拡充クエリとの関連度が予め設定された第５の要件を満たすテキストをそれぞれ選択して各拡充クエリに対応する関連テキスト正例の生成に用い、及び／又は、各拡充クエリとの関連度が予め設定された第６の要件を満たすテキストを選択して各拡充クエリに対応する関連テキスト負例の生成にそれぞれ用いることは、
    前記第２の検索モデルを用いて候補テキストから訓練データの中のクエリの関連テキストを検索し、
    前記第３の検索モデルを用いて前記関連テキストと各拡充クエリとの類似度を特定し、類似度が予め設定された第１の閾値以上のテキストを各拡充クエリに対応する関連テキスト正例とし、及び／又は、類似度が予め設定された第２の閾値以下のテキストを各拡充クエリに対応する関連テキスト負例とする、
    ことを含む請求項８に記載の方法。
11. 前記更新された訓練データを用いて第３の検索モデルを得るように訓練することは、
    更新された訓練データを用いて前記第１の検索モデルをさらに訓練して前記第３の検索モデルを得ることを含み、
    前記拡充された訓練データを用いて第４の検索モデルを得るように訓練することは、
    前記拡充された訓練データを用いて前記第２の検索モデルをさらに訓練して第４の検索モデルを得ることを含む、
    請求項８に記載の方法。
12. 検索モデルの訓練装置であって、
    クエリと、当該クエリに対応する関連テキスト正例及び関連テキスト負例とを含む初期訓練データを取得する初期取得部と、
    前記初期訓練データを用いて初期検索モデルを得るように訓練する初期訓練部と、
    前記初期検索モデルを用いて、候補テキストから訓練データの中のクエリとの関連度が予め設定された第１の要件を満たすテキストを選択して当該クエリに対応する関連テキスト負例を更新する第１の更新部と、
    前記第１の更新部により更新された訓練データを用いて第１の検索モデルを得るように訓練する第１の訓練部と、
    前記第１の検索モデルを用いて、前記候補テキストから訓練データの中のクエリとの関連度が予め設定された第２の要件を満たすテキストを選択して当該クエリに対応する関連テキスト正例を拡充し、及び／又は、当該クエリとの関連度が予め設定された第３の要件を満たすテキストを選択して当該クエリに対応する関連テキスト負例を拡充する第１の拡充部と、
    前記第１の拡充部により拡充された訓練データを用いて第２の検索モデルを得るように訓練する第２の訓練部と、
    を備える装置。
13. 前記初期訓練データの中の関連テキスト正例は、人工標識により得られ、関連テキスト負例は、候補テキストからランダムに選択される、
    請求項１２に記載の装置。
14. 前記初期訓練部は、具体的に、前記初期訓練データを用いてツインタワーモデルを訓練して前記初期検索モデルを得、
    訓練目標は、前記ツインタワーモデルが出力するクエリと当該クエリに対応する関連テキスト正例との関連度が、当該クエリと前記初期訓練データの中の他の関連テキストとの関連度よりも大きいようにすることを含む、
    請求項１２に記載の装置。
15. 前記第１の更新部は、前記初期検索モデルを用いてクエリと各候補テキストとの関連度を特定し、関連度スコアが上位Ｍ１個の候補テキストからＭ２個をランダムに選択して当該クエリに対応する関連テキスト負例を更新し、
    Ｍ１及びＭ２はいずれも正整数であり、Ｍ１＞Ｍ２である、
    請求項１４に記載の装置。
16. 前記第１の訓練部は、具体的に、前記第１の更新部により更新された訓練データを用いてクロスアテンションモデルを訓練して前記第１の検索モデルを得、
    訓練目標は、前記クロスアテンションモデルにより得られた訓練データにおいて、クエリと当該クエリに対応する関連テキスト正例との関連度が予め設定された閾値以上であり、クエリと当該クエリに対応する関連テキスト負例との関連度が予め設定された閾値未満であるようにすることを含む、
    請求項１２に記載の装置。
17. 前記第１の拡充部は、具体的に、前記初期検索モデルを利用して候補テキストから訓練データの中のクエリの関連テキストを検索し、前記第１の検索モデルを用いて前記関連テキストと当該クエリとの関連度を特定し、関連度が予め設定された第１の閾値以上であるテキストを当該クエリに対応する関連テキスト正例の拡充に用い、及び／又は、関連度が予め設定された第１の閾値よりも小さい第２の閾値以下であるテキストを当該クエリに対応する関連テキスト負例の拡充に用いる、
    請求項１６に記載の装置。
18. 前記第２の訓練部は、具体的に、前記第１の拡充部により拡充された訓練データを用いて前記ツインタワーモデルをさらに訓練して第２の検索モデルを得る、
    請求項１４に記載の装置。
19. 前記第２の検索モデルを用いて、候補テキストから訓練データの中のクエリとの関連度が予め設定された第４の要件を満たすテキストを選択して当該クエリに対応する関連テキスト負例を更新し、更新された訓練データを用いて第３の検索モデルを得るように訓練する第２の更新部と、
    前記第２の更新部により更新された訓練データを用いて第３の検索モデルを得るように訓練する第３の訓練部と、
    前記第３の検索モデルを用いて、候補テキストから各拡充クエリとの関連度が予め設定された第５の要件を満たすテキストをそれぞれ選択して各拡充クエリに対応する関連テキスト正例の生成に用い、及び／又は、各拡充クエリとの関連度が予め設定された第６の要件を満たすテキストを選択して各拡充クエリに対応する関連テキスト負例の生成にそれぞれ用い、前記各拡充クエリに対応する関連テキスト正例及び／又は関連テキスト負例を用いて訓練データを拡充する第２の拡充部と、
    前記第２の拡充部により拡充された訓練データを用いて第４の検索モデルを得るように訓練する第４の訓練部と、
    を更に備える、
    請求項１２～１８の何れか１項に記載の装置。
20. 前記第２の更新部は、前記第２の検索モデルを利用してクエリと当該候補テキストとの関連度を特定し、関連度ランキングに基づいてＮ１個の候補テキストの間隔でＮ２個の候補テキストを選択し、選択されたＮ２個の候補テキストから、当該クエリに対応する関連テキスト正例との類似度が予め設定された類似度閾値以上である候補テキストをフィルタリングした後、得られた候補テキストを当該クエリに対応する関連テキスト負例の更新に用い、
    前記Ｎ１及びＮ２は予め設定された正整数である、
    請求項１９に記載の装置。
21. 前記第２の拡充部は、前記第２の検索モデルを用いて候補テキストから訓練データの中のクエリの関連テキストを検索し、前記第３の検索モデルを用いて前記関連テキストと各拡充クエリとの類似度を特定し、類似度が予め設定された第１の閾値以上のテキストを各拡充クエリに対応する関連テキスト正例とし、及び／又は、類似度が予め設定された第２の閾値以下のテキストを各拡充クエリに対応する関連テキスト負例とする、
    請求項１９に記載の装置。
22. 前記第３の訓練部は、具体的に、前記第２の更新部により更新された訓練データを用いて前記第１の検索モデルをさらに訓練して前記第３の検索モデルを得、
    前記第４の訓練部は、具体的に、前記第２の拡充部により拡充された訓練データを用いて前記第２の検索モデルをさらに訓練して第４の検索モデルを得る、
    請求項１９に記載の装置。
23. 少なくとも１つのプロセッサと、
    前記少なくとも１つのプロセッサと通信接続されたメモリと、
    を備え、
    前記メモリに前記少なくとも１つのプロセッサにより実行可能なコマンドが記憶されており、前記コマンドが前記少なくとも１つのプロセッサにより実行されると、前記少なくとも１つのプロセッサに請求項１～１１の何れか１項に記載の方法を実行させる、
    電子デバイス。
24. コンピュータに請求項１～１１の何れか１項に記載の方法を実行させるためのコンピュータコマンドが記憶された非一時的なコンピュータ可読記憶媒体。
25. コンピュータに請求項１～１１の何れか１項に記載の方法を実行させるためのコンピュータプログラム。
    
    
    

Images