JP2021111420A - テキストエンティティの語義記述処理方法、装置及び機器 - Google Patents

Abstract

【課題】異なるテキストにおける同じエンティティの記述の類似度を正確に取得するテキストエンティティの語義記述処理方法、装置及び機器を提供する。【解決手段】テキストエンティティの語義技術処理方法は、メインエンティティを含む複数のターゲットテキストを取得し、メインエンティティを記述する他の関連エンティティを各ターゲットテキストから抽出し１０１、各ターゲットテキストにおけるメインエンティティと各関連エンティティペアとの間のサブ関係ベクトルを取得し１０２、各ターゲットテキストにおけるメインエンティティと各関連エンティティペアとの間のサブ関係ベクトルに基づいて、異なるターゲットテキスト間のメインエンティティの類似度距離を計算しステップ１０３、異なるターゲットテキスト間のメインエンティティの類似度距離に基づいて異なるターゲットテキストがメインエンティティに対して記述する語義類似度を決定する１０４。【選択図】図１

Description

本出願は、コンピュータ技術分野に関し、特に知識グラフ技術分野に関し、テキストエンティティの語義記述処理方法、装置及び機器を提供する。

テキストの類似度は、自然言語処理、知識グラフなどの分野で広く応用され、現在、テキストの類似度を決定するための方法は様々であり、例えば、テキストの類似度は、言語モデルによって計算されてもよい。しかしながら、異なるテキストにおける同じエンティティの記述が類似しているか否かを区別する必要があるというシーンが存在し、例えば、いずれも特定の人物の名前を含む２つのテキストについて、２つのテキストにおける当該人物の語義記述が類似しているか否かを区別するというニーズがある。

上記シーンについて、異なるテキストにおけるエンティティの語義記述が類似しているか否かを決定できる方法が必要となる。

本出願は、関連技術の技術的課題の１つを少なくともある程度解決することを目的としている。

このため、本出願の１番目の目的は、異なるテキストにおける同じエンティティの記述の類似度を正確に取得するために、テキストエンティティの語義技術処理方法を提供することにある。

本出願の２番目の目的は、テキストエンティティの語義記述処理装置を提供することにある。

本出願の３番目の目的は、電子機器を提供することにある。

本出願の４番目の目的は、コンピュータ読み取り可能な記憶媒体を提供することにある。

本出願の第１の態様の実施例によるテキストエンティティの語義記述処理方法は、
メインエンティティを含む複数のターゲットテキストを取得し、前記メインエンティティを記述する他の関連エンティティを各ターゲットテキストから抽出するステップと、
各ターゲットテキストにおける前記メインエンティティと各関連エンティティペアとの間のサブ関係ベクトルを取得するステップと、
各ターゲットテキストにおける前記メインエンティティと各関連エンティティペアとの間のサブ関係ベクトルに基づいて、異なるターゲットテキスト間の前記メインエンティティの類似度距離を計算するステップと、
異なるターゲットテキスト間の前記メインエンティティの類似度距離に基づいて異なるターゲットテキストが前記メインエンティティに対して記述する語義類似度を決定するステップと、を含む。

本出願の第２の態様の実施例によるテキストエンティティの語義記述処理装置は、
メインエンティティを含む複数のターゲットテキストを取得し、前記メインエンティティを記述する他の関連エンティティを各ターゲットテキストから抽出するように構成される抽出モジュールと、
各ターゲットテキストにおける前記メインエンティティと各関連エンティティペアとの間のサブ関係ベクトルを取得するように構成される取得モジュールと、
各ターゲットテキストにおける前記メインエンティティと各関連エンティティペアとの間のサブ関係ベクトルに基づいて、異なるターゲットテキスト間の前記メインエンティティの類似度距離を計算するように構成される生成モジュールと、
異なるターゲットテキスト間の前記メインエンティティの類似度距離に基づいて異なるターゲットテキストが前記メインエンティティに対して記述する語義類似度を決定するように構成される決定モジュールと、を含む。

本出願の第３の態様による電子機器は、少なくとも１つのプロセッサと、前記少なくとも１つのプロセッサに通信可能に接続されたメモリとを含み、前記メモリには前記少なくとも１つのプロセッサによって実行可能な命令が記憶され、前記命令が前記少なくとも一つのプロセッサによって実行される場合、前記少なくとも一つのプロセッサが第１の態様の実施例に記載のテキストエンティティの語義記述処理方法を実行する。

本出願の第４の態様の実施例によるコンピュータ命令が記憶されている非一時的なコンピュータ読み取り可能な記憶媒体であって、前記コンピュータ命令は、前記コンピュータに第１の態様の実施例に記載のテキストエンティティの語義記述処理方法を実行させる。
本出願の第５の態様の実施例によるコンピュータプログラムは、前記コンピュータプログラムにおける命令が実行された場合に、第１の態様の実施例に記載のテキストエンティティの語義記述処理方法が実行される。

上記の出願における１つの実施例は、メインエンティティを含む複数のターゲットテキストを取得し、メインエンティティを記述する他の関連エンティティを各ターゲットテキストから抽出し、各ターゲットテキストにおけるメインエンティティと各関連エンティティペアとの間のサブ関係ベクトルを取得し、各ターゲットテキストにおけるメインエンティティと各関連エンティティペアとの間のサブ関係ベクトルに基づいて、異なるターゲットテキスト間のメインエンティティの類似度距離を計算し、異なるターゲットテキスト間のメインエンティティの類似度距離に基づいて異なるターゲットテキストがメインエンティティに対して記述する語義類似度を決定するという利点又は有益な効果を有している。これにより、異なるテキストにおけるメインエンティティの記述の語義類似度を決定することで、異なるテキストにおける特定のエンティティに関する記述情報を比較し、他の無関係なエンティティを無視して、異なるテキストにおける同じエンティティに対する記述が類似しているか否かを正確に取得することができ、インテリジェントな質問応答による複数の文章のチェック、百科事典のエントリ分類などのシーンに応用されてもよい。

上記の選択可能な方式が有している他の効果は、以下に具体的な実施例と併せて説明される。

図面は、本技術案をより良く理解するために使用され、本出願を限定するものではない。
本出願の実施例に係るテキストエンティティの語義記述処理方法の概略フローチャートである。 本出願の実施例に係る別のテキストエンティティの語義記述処理方法の概略フローチャートである。 本出願の実施例に係る別のテキストエンティティの語義記述処理方法の概略フローチャートである。 本出願の実施例に係る別のテキストエンティティの語義記述処理方法の概略フローチャートである。 本出願の実施例に係るテキストエンティティの語義記述処理装置の概略構成図である。 本出願の実施例を実現することに適する例示的な電子機器を示すブロック図である。

以下に、図面を参照して本出願の例示的な実施例を説明し、理解を容易にするために、その中には本出願の実施例の様々な詳細を含んでおり、それらは単なる例示するものと見なされるべきである。したがって、当業者は、本出願の範囲及び精神から逸脱することなく、ここで説明される実施例に対して様々な変更と修正を行うことができることを理解すべきである。同様に、明確及び簡潔にするために、以下の説明では、周知の機能及び構成の説明を省略する。

図１は本出願の実施例に係るテキストエンティティの語義記述処理方法の概略フローチャートである。図１に示すように、当該方法は、次のステップを含む。

ステップ１０１において、メインエンティティを含む複数のターゲットテキストを取得し、メインエンティティを記述する他の関連エンティティを各ターゲットテキストから抽出する。

実際の応用において、２つのテキストにおけるあるエンティティの記述が同一又は類似であるか否かを決定する必要があるシーンが存在する。例えば、いずれもエンティティである人物ＸＸＸを含む２つのテキストについて、２つのテキストが同じ人物を説明しているか否かをさらに決定するために、２つのテキストにおける当該エンティティの記述の語義が同じであるか否かを決定する必要がある。

本実施例では、複数のテキストにおけるメインエンティティ間の語義関係を決定する場合、メインエンティティを含む複数のターゲットテキストを取得し、メインエンティティを記述する他の関連エンティティを各ターゲットテキストから抽出する。

一例として、メインエンティティを含む複数のターゲットテキストを取得することができ、さらには、関連する名前付きエンティティ認識方法により、メインエンティティ及びターゲットテキストにおける他のエンティティを含むエンティティセットを取得し、認識された他のエンティティを、メインエンティティを記述する他の関連エンティティとする。

別の例として、各ターゲットテキストについて名前付きエンティティの認識を実行して、エンティティ候補集合を取得する。さらに、ターゲットテキストにおける、エンティティ候補集合内の各エンティティ候補とメインエンティティとの間の距離を取得し、ターゲットテキストにおけるメインエンティティとの距離が予め設定された距離よりも小さいエンティティ候補を、メインエンティティを記述する他の関連エンティティとして決定する。

ステップ１０２において、各ターゲットテキストにおけるメインエンティティと各関連エンティティペアとの間のサブ関係ベクトルを取得する。

本実施例では、各ターゲットテキストについて、メインエンティティと各関連エンティティペアとの間のサブ関係ベクトルを取得することができ、例えば、メインエンティティがＡであり、関連エンティティがＢとＣであり、ＡとＢとの間のサブ関係ベクトル、ＡとＣとの間のサブ関係ベクトルを取得することができる。サブ関係ベクトルを取得する方式は様々である。

本出願の１つの実施例では、ターゲットテキストにおける各文字の第１のベクトル表現を取得し、さらに予めトレーニングされた変換モデルに基づいて第１のベクトル表現、前記メインエンティティ及び各関連エンティティに対して重み付け処理を実行して、ターゲットテキストにおけるメインエンティティ及び各関連エンティティに関連付けられたテキストコンテンツの第２のベクトル表現を取得する。第２のベクトル表現に対してプーリング処理を実行して、メインエンティティと各関連エンティティペアとの間のサブ関係ベクトルを生成する。

本出願の１つの実施例では、予めトレーニングされた関係抽出モデルに基づいてターゲットテキスト、メインエンティティ及び各関連エンティティを処理して、メインエンティティと各関連エンティティペアとの間の関係の確率分布を取得する。さらに、予めトレーニングされたマッピングモデルに基づいて確率分布をマッピングして、メインエンティティと各関連エンティティペアとの間のサブ関係ベクトルを取得する。

ステップ１０３において、各ターゲットテキストにおけるメインエンティティと各関連エンティティペアとの間のサブ関係ベクトルに基づいて、異なるターゲットテキスト間のメインエンティティの類似度距離を計算する。

本出願の１つの実施例では、各ターゲットテキストにおけるメインエンティティと各関連エンティティペアとの間のサブ関係ベクトルを合計し、各ターゲットテキストにおけるメインエンティティに対応するメイン関係ベクトルを計算し、さらに各ターゲットテキストにおけるメインエンティティに対応するメイン関係ベクトルに基づいて、異なるターゲットテキスト間のメインエンティティの類似度距離を計算する。

一例として、メインエンティティＡと関連エンティティＢとの間のサブ関係ベクトル１、及びメインエンティティＡと関連エンティティＣとの間のサブ関係ベクトル２を取得し、サブ関係ベクトル１とサブ関係ベクトル２を合計してメインエンティティに対応するメイン関係ベクトルを取得する。さらに、各ターゲットテキストについてメインエンティティに対応するメイン関係ベクトルをそれぞれ取得し、メイン関係ベクトルに基づいて類似度を計算し、それによって異なるターゲットテキスト間のメインエンティティの類似度距離を計算する。類似度計算の実現形態は、必要に応じて選択してもよく、ここでは制限されない。

ステップ１０４において、異なるターゲットテキスト間のメインエンティティの類似度距離に基づいて、異なるターゲットテキストがメインエンティティに対して記述する語義類似度を決定する。

本実施例では、類似度距離に基づいて異なるターゲットテキストがメインエンティティに対して記述する語義類似度を決定することができ、例えば、類似度が近いほど、２つのテキストにおけるメインエンティティの記述の語義が近くなる。

本出願の実施例に係るテキストエンティティの語義記述処理方法では、メインエンティティを含む複数のターゲットテキストを取得し、メインエンティティを記述する他の関連エンティティを各ターゲットテキストから抽出し、各ターゲットテキストにおけるメインエンティティと各関連エンティティペアとの間のサブ関係ベクトルを取得し、各ターゲットテキストにおけるメインエンティティと各関連エンティティペアとの間のサブ関係ベクトルに基づいて、異なるターゲットテキスト間のメインエンティティの類似度距離を計算し、異なるターゲットテキスト間のメインエンティティの類似度距離に基づいて異なるターゲットテキストがメインエンティティに対して記述する語義類似度を決定する。これにより、異なるテキストにおけるメインエンティティの記述の語義類似度を決定することで、異なるテキストにおける特定のエンティティに関する記述情報を比較し、他の無関係なエンティティを無視して、異なるテキストにおける同じエンティティに対する記述が一致しているか否かを正確に取得することができ、インテリジェントな質問応答による複数の文章のチェック、百科事典のエントリ分類などのシーンに応用されてもよい。

サブ関係ベクトルに基づいてメイン関係ベクトルを取得することについては、以下に上記実施例に基づいて説明する。

図２は本出願の実施例に係る別のテキストエンティティの語義記述処理方法の概略フローチャートである。図２に示すように、当該方法は、次のステップを含む。

ステップ２０１において、各ターゲットテキストにおけるメインエンティティと各関連エンティティペアとの間のサブ関係ベクトルを合計し、各ターゲットテキストにおけるメインエンティティに対応するメイン関係ベクトルを計算する。

本出願の１つの実施例では、エンティティ記述モデルを予めトレーニングすることができ、エンティティ記述モデルは、サブ関係ベクトルが入力され、メイン関係ベクトルが出力される。予め設定されたエンティティを含むサンプルテキストセットを取得し、予め設定されたエンティティが類似しているか否かをサンプルテキストセットにタグ付けし、サンプルテキストセットに基づいて、予め設定されたエンティティと関連エンティティの間のサブ関係ベクトルを取得し、さらにサブ関係ベクトルを予め設定されたモデルに入力して処理し、メイン関係ベクトルを生成し、さらにメイン関係ベクトルに基づいて、予め設定されたエンティティの記述の類似度予測結果を取得し、予測結果とタグ付け結果に応じて、予め設定されたモデルの処理パラメータを逆伝播によってトレーニングして、エンティティ記述モデルを決定する。予め設定されたモデルは、グラフアテンションニューラルネットワークによって実現されてもよい。

本実施例では、各ターゲットテキストにおけるメインエンティティと各関連エンティティペアとの間の複数のサブ関係ベクトルを取得した後、複数のサブ関係ベクトルを予めトレーニングされたエンティティ記述モデルに入力して重み付け処理を実行して、各ターゲットテキストにおけるメインエンティティに対応するメイン関係ベクトルを取得する。

ステップ２０２において、各ターゲットテキストにおけるメインエンティティに対応するメイン関係ベクトルに基づいて、異なるターゲットテキスト間のメインエンティティの類似度距離を計算する。

一例として、メインエンティティを含む第１のテキスト及び第２のテキストを取得する。さらに、第１のテキストにおけるメインエンティティに対応するＮ個の関連エンティティを決定し、Ｎ個のサブ関係ベクトルを取得し、さらに、Ｎ個のサブ関係ベクトルに基づいてメインエンティティに対応するメイン関係ベクトル１を計算する。第２のテキストに対してメインエンティティに対応するＭ個の関連エンティティを決定し、Ｍ個のサブ関係ベクトルを取得し、さらに、Ｍ個のサブ関係ベクトルに基づいてメインエンティティに対応するメイン関係ベクトル２を計算する。メイン関係ベクトル１及びメイン関係ベクトル２によって類似度を計算し、異なるターゲットテキスト間のメインエンティティの類似度距離を決定する。

本出願の実施例に係るテキストエンティティの語義記述処理方法では、各ターゲットテキストにおけるメインエンティティと各関連エンティティペアとの間のサブ関係ベクトルを合計し、各ターゲットテキストにおけるメインエンティティに対応するメイン関係ベクトルを計算する。さらに、各ターゲットテキストにおけるメインエンティティに対応するメイン関係ベクトルに基づいて、異なるターゲットテキスト間のメインエンティティの類似度距離を計算する。これにより、メインエンティティを記述するメイン関係ベクトルを取得することを実現し、さらに異なるターゲットテキストがメインエンティティに対して記述する語義類似度の計算精度をさらに向上させる。

以下にメインエンティティと各関連エンティティペアとの間のサブ関係ベクトルを取得するための１つの実現形態について説明する。

図３は本出願の実施例に係る別のテキストエンティティの語義記述処理方法の概略フローチャートである。図３に示すように、当該方法は、次のステップを含む。

ステップ３０１において、ターゲットテキストにおける各文字の第１のベクトル表現を取得する。

１つの可能な実現形態として、ターゲットテキストを言語モデルで処理して、ターゲットテキストにおける各文字のベクトル表現を第１のベクトル表現として取得することができる。言語モデルは、ＢＥＲＴモデル（Ｂｉｄｉｒｅｃｔｉｏｎａｌ Ｅｎｃｏｄｅｒ Ｒｅｐｒｅｓｅｎｔａｔｉｏｎｓ ｆｒｏｍ Ｔｒａｎｓｆｏｒｍｅｒｓ）、ＥＲＮＩＥ（知識強化語義表現モデル：Ｅｎｈａｎｃｅｄ Ｒｅｐｒｅｓｅｎｔａｔｉｏｎ ｆｒｏｍ ｋＮｏｗｌｅｄｇｅ ＩｎｔＥｇｒａｔｉｏｎ）などを含むがこれらに限定されない。

ステップ３０２において、予めトレーニングされた変換モデルに基づいて第１のベクトル表現、メインエンティティ及び各関連エンティティに対して重み付け処理を実行して、ターゲットテキストにおけるメインエンティティ及び各関連エンティティに関連付けられたテキストコンテンツの第２のベクトル表現を取得する。

本出願の１つの実施例では、予め設定されたエンティティペア間の関係が類似しているか否かをタグ付けするサンプルテキストセットを取得することができる。さらに、サンプルテキストセットを予め設定されたモデルに入力して処理し、予め設定されたエンティティペア間の関係の類似度予測結果を取得し、類似度予測結果とタグ付け結果に応じて、予め設定されたモデルの処理パラメータをトレーニングして、変換モデルを決定する。

一例として、予め設定されたモデルは、トランスフォーマー（ｔｒａｎｓｆｏｒｍｅｒ）構造、プーリングレイヤー及び類似度計算部を含むことができ、サンプルテキストセットの第１のテキストと第２のテキストについて、サンプルテキストには、予め設定されたエンティティＡとエンティティＢとが含まれ、予め設定されたエンティティＡとエンティティＢとの間の関係が当該２つのテキストで類似しているか否かがタグ付けされる。第１のテキストを言語モデルに入力して、第１のテキストにおける各文字のベクトル表現を取得する。予め設定されたエンティティペアと各文字のベクトル表現に基づいてトランスフォーマー（ｔｒａｎｓｆｏｒｍｅｒ）構造に入力して重み付け処理を行い、さらに重み付け処理後のベクトル表現に基づいてプーリングレイヤーに入力してプーリング処理を実行して、第１のテキストにおける予め設定されたエンティティペアのサブ関係ベクトルを取得する。また、第１のテキストを参照することにより、第２のテキストにおける予め設定されたエンティティペアのサブ関係ベクトルを取得する。さらに、第１のテキストと第２のテキストにおける予め設定されたエンティティペアのサブ関係ベクトルに基づいて類似度を計算して、予め設定されたエンティティペア間の語義関係の類似度予測結果を決定する。予測結果とタグ付け結果に応じて、トランスフォーマー（ｔｒａｎｓｆｏｒｍｅｒ）構造の処理パラメータを、予測結果とマーク結果が一致しているまで逆伝播によって調整し、トレーニングによって変換モデルを決定する。

本実施例では、ターゲットテキストにおけるメインエンティティと各関連エンティティに基づいてエンティティペアを構成し、さらに予めトレーニングされた変換モデルに基づいて第１のベクトル表現とエンティティペアを処理し、メインエンティティと各関連エンティティに対してターゲットテキストにおけるそれらに関連付けられたテキストコンテンツの第２のベクトル表現を取得する。

ステップ３０３において、第２のベクトル表現に対してプーリング処理を実行して、メインエンティティと各関連エンティティペアとの間のサブ関係ベクトルを生成する。

一例として、Ｎ×Ｍ行列の第２のベクトル表現（Ｎ個の文字、Ｍ個の次元）に対して、各文字のｍ番目の次元に基づいて平均値を求める。各次元の平均値を求めることにより、１×Ｍの形態のサブ関係ベクトルを生成する。

上記のプーリング処理方式は１つの例だけであり、例えば各次元の最大値／最小値を求める方式で実現することもでき、ここでは制限されないことが説明されるべきである。

本出願の実施例に係るテキストエンティティの語義記述処理方法では、予めトレーニングされた変換モデルとプーリングレイヤーによってターゲットテキスト、メインエンティティと各関連エンティティを処理し、メインエンティティと各関連エンティティペアとの間のサブ関係ベクトルを生成して、エンティティペア間の関係のベクトル表現を取得することを実現する。

以下にメインエンティティと各関連エンティティペアとの間のサブ関係ベクトルを取得するための別の実現形態について説明する。

図４は本出願の実施例に係る別のテキストエンティティの語義記述処理方法の概略フローチャートである。図４に示すように、当該方法は、次のステップを含む。

ステップ４０１において、予めトレーニングされた関係抽出モデルに基づいてターゲットテキスト、メインエンティティ及び各関連エンティティを処理して、メインエンティティと各関連エンティティペアとの間の関係の確率分布を取得する。

本実施例では、予めトレーニングされた関係抽出モデルに基づいてターゲットテキスト、メインエンティティ及び各関連エンティティを処理して、メインエンティティと各関連エンティティペアとの間の関係の確率分布を取得する。例えば、メインエンティティがエンティティＡを含み、関連エンティティがエンティティＢとエンティティＣとを含み、ＡとＢの関係の確率分布［０．６、０．２、０．２］、ＡとＣの関係の確率分布［０．２、０．７、０．１］を取得する。関係抽出モデルをトレーニングするための実現形態は、必要に応じて選択してもよく、ここでは説明を省略する。

ステップ４０２において、予めトレーニングされたマッピングモデルに基づいて確率分布をマッピングして、メインエンティティと各関連エンティティペアとの間のサブ関係ベクトルを取得する。

本出願の１つの実施例では、予め設定されたエンティティペア間の関係が類似しているか否かをタグ付けするサンプルテキストセットを取得することができでる。さらに、サンプルテキストセットを予め設定されたモデルに入力して処理し、予め設定されたエンティティペア間の関係の類似度予測結果を取得し、予測結果とタグ付け結果に応じて、予め設定されたモデルの処理パラメータをトレーニングして、マッピングモデルを決定する。選択可能には、マッピングモデルは、完全接続層を介して実現されてもよい。

一例として、予め設定されたモデルは、関係抽出モデルと完全接続層とを含む。サンプルテキストセットの第１のテキストと第２のテキストについて、サンプルテキストには、予め設定されたエンティティＡとエンティティＢとが含まれ、予め設定されたエンティティＡとエンティティＢの間の関係が当該２つのテキストで類似しているか否かがタグ付けされ、第１のテキストと予め設定されたエンティティペアを関係抽出モデルに入力し、第１のテキストにおける予め設定されたエンティティペアとの間の関係確率分布を取得し、確率分布に応じて完全接続層に入力し、第１のテキストにおける予め設定されたエンティティペアのサブ関係ベクトルを生成する。また、第１のテキストを参照することで第２のテキストにおける予め設定されたエンティティペアのサブ関係ベクトルを取得する。さらに、第１のテキストと第２のテキストにおける予め設定されたエンティティペアのサブ関係ベクトルに基づいて類似度を計算して、予め設定されたエンティティペア間の関係の類似度予測結果を決定する。予測結果とタグ付け結果に応じて、完全接続層の処理パラメータを、予測結果とマーク結果が一致しているまで逆伝播によって調整し、トレーニングによってマッピングモデルを決定する。

本実施例では、予めトレーニングされたマッピングモデルに基づいて確率分布を処理して、メインエンティティと各関連エンティティペアとの間のサブ関係ベクトルを取得する。例えば、ＡとＢとの関係の確率分布［０．６、０．２、０．２］、ＡとＣとの関係の確率分布［０．２、０．７、０．１］に対して、サブ関係ベクトル１及びサブ関係ベクトル２をそれぞれ取得する。

本出願の実施例に係るテキストエンティティの語義記述処理方法では、関係抽出モデルとマッピングモデルによってターゲットテキスト、メインエンティティと各関連エンティティペアを処理し、メインエンティティと各関連エンティティペアのサブ関係ベクトルを取得して、エンティティペア間の関係のベクトル表現を取得することを実現する。

上記の実施例を実現するために、本出願は、テキストエンティティの語義記述処理装置をさらに提供する。

図５は本出願の実施例に係るテキストエンティティの語義記述処理装置の概略構成図である。図５に示すように、当該装置は、抽出モジュール１０と、取得モジュール２０と、生成モジュール３０と、決定モジュール４０とを含む。

抽出モジュール１０は、メインエンティティを含む複数のターゲットテキストを取得し、メインエンティティを記述する他の関連エンティティを各ターゲットテキストから抽出するように構成される。

取得モジュール２０は、各ターゲットテキストにおけるメインエンティティと各関連エンティティペアとの間のサブ関係ベクトルを取得するように構成される。

生成モジュール３０は、各ターゲットテキストにおけるメインエンティティと各関連エンティティペアとの間のサブ関係ベクトルに基づいて、異なるターゲットテキスト間のメインエンティティの類似度距離を計算するように構成される。

決定モジュール４０は、異なるターゲットテキスト間のメインエンティティの類似度距離に基づいて異なるターゲットテキストがメインエンティティに対して記述する語義類似度を決定するように構成される。

本出願の１つの実施例では、抽出モジュール１０は、具体的には、各ターゲットテキストについて名前付きエンティティの認識を実行して、エンティティ候補集合を取得し、エンティティ候補集合のうち、ターゲットテキストにおけるメインエンティティとの距離が予め設定された距離よりも小さいエンティティ候補を、メインエンティティを記述する他の関連エンティティとして取得するように構成される。

本出願の１つの実施例では、取得モジュール２０は、具体的には、ターゲットテキストにおける各文字の第１のベクトル表現を取得し、予めトレーニングされた変換モデルに基づいて第１のベクトル表現、メインエンティティ及び各関連エンティティに対して重み付け処理を実行して、ターゲットテキストにおけるメインエンティティ及び各関連エンティティに関連付けられたテキストコンテンツの第２のベクトル表現を取得し、第２のベクトル表現に対してプーリング処理を実行して、メインエンティティと各関連エンティティペアとの間のサブ関係ベクトルを生成するように構成される。

本出願の１つの実施例では、取得モジュール２０は、具体的には、予めトレーニングされた関係抽出モデルに基づいてターゲットテキスト、メインエンティティ及び各関連エンティティを処理して、メインエンティティと各関連エンティティペアとの間の関係の確率分布を取得し、予めトレーニングされたマッピングモデルに基づいて確率分布をマッピングして、メインエンティティと各関連エンティティペアとの間のサブ関係ベクトルを取得するように構成される。

本出願の１つの実施例では、生成モジュール３０は、具体的には、各ターゲットテキストにおけるメインエンティティと各関連エンティティペアとの間のサブ関係ベクトルを合計し、各ターゲットテキストにおけるメインエンティティに対応するメイン関係ベクトルを計算し、各ターゲットテキストにおけるメインエンティティに対応するメイン関係ベクトルに基づいて、異なるターゲットテキスト間のメインエンティティの類似度距離を計算するように構成される。

上記の実施例におけるテキストエンティティの語義記述処理方法の説明が同様に本実施例のテキストエンティティの語義記述処理装置に適用可能であり、ここでは説明を省略することを説明すべきである。

本出願の実施例に係るテキストエンティティの語義記述処理装置は、メインエンティティを含む複数のターゲットテキストを取得し、メインエンティティを記述する他の関連エンティティを各ターゲットテキストから抽出し、各ターゲットテキストにおけるメインエンティティと各関連エンティティペアとの間のサブ関係ベクトルを取得し、各ターゲットテキストにおけるメインエンティティと各関連エンティティペアとの間のサブ関係ベクトルに基づいて、異なるターゲットテキスト間のメインエンティティの類似度距離を計算し、異なるターゲットテキスト間のメインエンティティの類似度距離に基づいて異なるターゲットテキストがメインエンティティに対して記述する語義類似度を決定する。これにより、異なるテキストにおけるメインエンティティの記述の語義類似度を決定することで、異なるテキストにおける特定のエンティティに関する記述情報を比較し、他の無関係なエンティティを無視して、異なるテキストにおける同じエンティティに対する記述が一致しているか否かを正確に取得することができ、インテリジェントな質問応答による複数の文章のチェック、百科事典のエントリ分類などのシーンに応用されてもよい。

上記の実施例を実現するために、本出願は、命令がプロセッサによって実行されると上記のいずれかの実施例に記載のテキストエンティティの語義記述処理方法を実現するコンピュータプログラム製品をさらに提供する。

本出願の実施例によれば、本出願は、電子機器と読み取り可能な記憶媒体とをさらに提供する。
本出願の実施例によれば、コンピュータプログラムが提供される。当該コンピュータプログラムにおける命令が実行された場合に、上記テキストエンティティの語義記述処理方法が実行される。

図６は本出願の実施例に係るテキストエンティティの語義記述処理方法を実現するための電子機器のブロック図である。電子機器は、ラップトップコンピュータ、デスクトップコンピュータ、ワークステーション、パーソナルデジタルアシスタント、サーバー、ブレードサーバー、メインフレーム及び他の適切なコンピュータなどの様々な形態のデジタルコンピュータを表すことを図る。電子機器は、さらに携帯情報端末、セルラー電話、スマートフォン、ウェアラブルデバイス及び他の類似するコンピューティングデバイスなどの様々な形態の移動装置を表すこともできる。本明細書に示されているコンポーネント、それらの接続及び関係、並びにそれらの機能は、例だけであり、かつ本明細書での説明及び／又は要求される本出願の実現を制限することを意図するものではない。

図６に示すように、当該電子機器は、１つ又は複数のプロセッサ７０１と、メモリ７０２と、高速インターフェース及び低速インターフェースを含む、各コンポーネントを接続するためのインターフェースとを含む。各コンポーネントは、異なるバスで相互に接続され、かつ共通のマザーボードに取り付けられてもよいか、又は必要に応じて他の方式で取り付けられてもよい。プロセッサは、外部入力／出力装置（インターフェースに結合された表示装置など）にＧＵＩのグラフィック情報を表示するためにメモリ内又はメモリ上に記憶される命令を含む、電子機器内に実行される命令を処理することができる。他の実施形態では、必要の場合、複数のプロセッサ及び／又は複数のバスを複数のメモリとともに使用することができる。同様に、複数の電子機器を接続することができ、各装置は、部分の必要な操作（例えば、サーバーアレイ、１つのブレードサーバーグループ、又はマルチプロセッサシステムとする）を提供することができる。図６では、一つのプロセッサ７０１が例として挙げられる。

メモリ７０２は、本出願による非一時的なコンピュータ読み取り可能な記憶媒体である。前記メモリには、前記少なくとも１つのプロセッサが本出願によるテキストエンティティの語義記述処理方法を実行できるように、少なくとも１つのプロセッサによって実行可能な命令が記憶されている。本出願の非一時的なコンピュータ読み取り可能な記憶媒体は、コンピュータに本出願によるテキストエンティティの語義記述処理方法を実行させるためのコンピュータ命令が記憶されている。

メモリ７０２は、非一時的なコンピュータ読み取り可能な記憶媒体として、非一時的ソフトウェアプログラム、非一時的なコンピュータ実行可能プログラム、及び本出願の実施例におけるテキストエンティティの意味記述処理方法に対応するプログラム命令／モジュール（例えば、図５に示す抽出モジュール１０、取得モジュール２０、生成モジュール３０、決定モジュール４０）などのモジュールを記憶するように構成されてもよい。プロセッサ７０１は、メモリ７０２に記憶されている非一時的ソフトウェアプログラム、命令及びモジュールを実行することにより、サーバーの様々な機能アプリケーション及びデータ処理を実行し、即ち上記の方法の実施例によるテキストエンティティの語義記述処理方法を実現する。

メモリ７０２は、プログラム記憶領域とデータ記憶領域とを含むことができ、プログラム記憶領域は、オペレーティングシステム、少なくとも一つの機能に必要なアプリケーションプログラムを記憶することができ、データ記憶領域は、電子機器の使用に応じて作成されたデータを記憶することができる。また、メモリ７０２は、高速ランダムアクセスメモリを含むことができ、不揮発性メモリ、例えば少なくとも一つの磁気ディスク記憶デバイス、フラッシュメモリデバイス、又は他の非一時的ソリッドステートストレージデバイスをさらに含むことができる。いくつかの実施例では、メモリ７０２は、プロセッサ７０１に対して遠隔に設けられたメモリを選択的に含むことができ、これらの遠隔メモリは、ネットワークを介してコンピュータ装置に接続されてもよい。上記ネットワークの実施例は、インターネット、イントラネット、ローカルエリアネットワーク、移動通信ネットワーク及びそれらの組み合わせを含むがこれらに限定されない。

テキストエンティティの語義記述処理方法を実現するための電子機器は、入力装置７０３と出力装置７０４とをさらに含むことができる。プロセッサ７０１、メモリ７０２、入力装置７０３と出力装置７０４は、バス又は他の方式で接続されてもよく、図６ではバスで接続されることが例として挙げられる。

入力装置７０３は、入力された数字又は文字情報を受信し、電子機器のユーザ設定及び機能制御に関するキー信号入力を生成することができ、例えばタッチスクリーン、キーパッド、マウス、トラックパッド、タッチパッド、インジケータースティック、一つ又は複数のマウスボタン、トラックボール、ジョイスティックなどの入力装置である。出力装置７０４は、表示装置、補助照明装置（例えば、ＬＥＤ）及び触覚フィードバック装置（例えば、振動モータ）などを含むことができる。当該表示装置は、液晶ディスプレイ（ＬＣＤ）、発光ダイオード（ＬＥＤ）ディスプレイとプラズマディスプレイを含むことができるがこれらに限定されない。いくつかの実施形態では、表示装置は、タッチスクリーンであってもよい。

本明細書で説明されるシステム及び技術の様々な実施形態は、デジタル電子回路システム、集積回路システム、特定用途向けＡＳＩＣ（特定用途向け集積回路）、コンピュータハードウェア、ファームウェア、ソフトウェア、及び／又はそれらの組み合わせで実現されてもよい。これらの様々な実施形態は、一つ又は複数のコンピュータプログラムで実施されることを含むことができ、当該一つ又は複数のコンピュータプログラムは、少なくとも一つのプログラマブルプロセッサを含むプログラマブルシステムで実行及び／又は解釈されてもよく、当該プログラマブルプロセッサは、専用又は汎用プログラマブルプロセッサであってもよく、記憶システム、少なくとも１つの入力装置、及び少なくとも１つの出力装置からデータ及び命令を受信し、かつデータ及び命令を当該記憶システム、当該少なくとも一つの入力装置及び当該少なくとも一つの出力装置に伝送することができる。

これらのコンピューティングプログラム（プログラム、ソフトウェア、ソフトウェアアプリケーション、又はコードとも呼ばれる）は、プログラマブルプロセッサの機械命令を含み、かつ高度レベルのプロセス及び／又はオブジェクト向けプログラミング言語、及び／又はアセンブリ／機械言語で実現されてもよい。本明細書で使用されるように、「機械読み取り可能な媒体」及び「コンピュータ読み取り可能な媒体」という用語は、機械命令及び／又はデータをプログラマブルプロセッサに提供するための任意のコンピュータプログラム製品、機器、及び／又は装置（例えば、磁気ディスク、光ディスク、メモリ、プログラマブルロジックデバイス（ＰＬＤ））を指し、機械読み取り可能な信号である機械命令を受信する機械読み取り可能な媒体を含む。「機械読み取り可能な信号」という用語は、機械命令及び／又はデータをプログラマブルプロセッサに提供するための任意の信号を指す。

ユーザとのインタラクションを提供するために、本明細書で説明されるシステム及び技術をコンピュータで実施することができ、当該コンピュータは、情報をユーザに表示するための表示装置（例えば、ＣＲＴ（陰極線管）又はＬＣＤ（液晶ディスプレイ）モニタ）と、キーボード及びポインティングデバイス（例えば、マウス又はトラックボール）とを有し、ユーザは、当該キーボード及び当該ポインティングデバイスによって入力をコンピュータに提供することができる。他の種類の装置は、ユーザとのインタラクションを提供するように構成されてもよい。例えば、ユーザに提供されるフィードバックは、任意の形態のセンシングフィードバック（例えば、視覚フィードバック、聴覚フィードバック、又は触覚フィードバック）であってもよく、かつ任意の形態（音響入力と、音声入力と、触覚入力とを含む）でユーザからの入力を受信することができる。

本明細書で説明されるシステム及び技術は、バックエンドコンポーネントを含むコンピューティングシステム（例えば、データサーバーとする）、又はミドルウェアコンポーネントを含むコンピューティングシステム（例えば、アプリケーションサーバー）、又はフロントエンドコンポーネントを含むコンピューティングシステム（例えば、グラフィカルユーザインターフェース又はウェブブラウザを有するユーザコンピュータであり、ユーザは、当該グラフィカルユーザインターフェース又は当該ウェブブラウザによって本明細書で説明されるシステム及び技術の実施形態とのインタラクションを行うことができる）、又はこのようなバックエンドコンポーネント、ミドルウェアコンポーネント、又はフロントエンドコンポーネントの任意の組み合わせを含むコンピューティングシステムで実施されてもよい。任意の形態又は媒体のデジタルデータ通信（例えば、通信ネットワーク）によってシステムのコンポーネントを相互に接続することができる。通信ネットワークの例としては、ローカルエリアネットワーク（ＬＡＮ）と、ワイドエリアネットワーク（ＷＡＮ）と、インターネットとを含む。

コンピュータシステムは、クライアントとサーバーとを含むことができる。クライアントとサーバーは、一般的には、互いに離れており、通常、通信ネットワークを介してインタラクションを行う。クライアントとサーバーとの関係は、対応するコンピュータ上で実行されかつ相互にクライアント−サーバー関係を有するコンピュータプログラムによって生成される。

本出願の実施例の技術案により、取得された候補フレームの位置がより正確になり、密集したシーンにおけるテキストエンティティの語義記述処理による候補フレームの取得の精度を向上させる必要があるという問題が解決され、それによってテキストエンティティの語義記述処理の精度が向上する。

上記の様々な形態のフローを使用して、ステップを並べ替え、追加、又は削除することができることを理解すべきである。例えば、本出願に記載されている各ステップは、本出願で開示されている技術案の所望の結果さえ達成すれば、並列に実行されてもよいし、順次実行されてもよいし、異なる順序で実行されてもよいが、本明細書では限定されない。

上記の具体的な実施形態は、本出願の保護範囲を制限するためのものではない。当業者は、設計要件及び他の要因に従って、様々な修正、組み合わせ、サブコンビネーション及び置換を行うことができることを理解すべきである。本出願の精神及び原則の範囲内で行われたいかなる修正、同等の置換と改良などは、いずれも本出願の保護範囲内に含まれるべきである。

Claims (13)

1. テキストエンティティの語義記述処理方法であって、
   メインエンティティを含む複数のターゲットテキストを取得し、前記メインエンティティを記述する他の関連エンティティを各ターゲットテキストから抽出するステップと、
   各ターゲットテキストにおける前記メインエンティティと各関連エンティティペアとの間のサブ関係ベクトルを取得するステップと、
   各ターゲットテキストにおける前記メインエンティティと各関連エンティティペアとの間のサブ関係ベクトルに基づいて、異なるターゲットテキスト間の前記メインエンティティの類似度距離を計算するステップと、
   異なるターゲットテキスト間の前記メインエンティティの類似度距離に基づいて異なるターゲットテキストが前記メインエンティティに対して記述する語義類似度を決定するステップと、を含む、
   ことを特徴とするテキストエンティティの語義記述処理方法。
2. 前記メインエンティティを記述する他の関連エンティティを各ターゲットテキストから抽出するステップは、
   各ターゲットテキストについて名前付きエンティティの認識を実行して、エンティティ候補集合を取得するステップと、
   前記エンティティ候補集合のうち、前記ターゲットテキストにおける前記メインエンティティとの距離が予め設定された距離よりも小さいエンティティ候補を、前記メインエンティティを記述する他の関連エンティティとして取得するステップと、を含む、
   ことを特徴とする請求項１に記載の方法。
3. 前記各ターゲットテキストにおける前記メインエンティティと各関連エンティティペアとの間のサブ関係ベクトルを取得するステップは、
   前記ターゲットテキストにおける各文字の第１のベクトル表現を取得するステップと、
   予めトレーニングされた変換モデルに基づいて前記第１のベクトル表現、前記メインエンティティ及び各関連エンティティに対して重み付け処理を実行して、ターゲットテキストにおける前記メインエンティティ及び各関連エンティティに関連付けられたテキストコンテンツの第２のベクトル表現を取得するステップと、
   前記第２のベクトル表現に対してプーリング処理を実行して、前記メインエンティティと各関連エンティティペアとの間のサブ関係ベクトルを生成するステップと、を含む、
   ことを特徴とする請求項１に記載の方法。
4. 前記各ターゲットテキストにおける前記メインエンティティと各関連エンティティペアとの間のサブ関係ベクトルを取得するステップは、
   予めトレーニングされた関係抽出モデルに基づいてターゲットテキスト、前記メインエンティティ及び各関連エンティティを処理して、前記メインエンティティと各関連エンティティペアとの間の関係の確率分布を取得するステップと、
   予めトレーニングされたマッピングモデルに基づいて前記確率分布をマッピングして、前記メインエンティティと各関連エンティティペアとの間のサブ関係ベクトルを取得するステップと、を含む、
   ことを特徴とする請求項１に記載の方法。
5. 前記各ターゲットテキストにおける前記メインエンティティと各関連エンティティペアとの間のサブ関係ベクトルに基づいて、異なるターゲットテキスト間の前記メインエンティティの類似度距離を計算するステップは、
   各ターゲットテキストにおける前記メインエンティティと各関連エンティティペアとの間のサブ関係ベクトルを合計し、各ターゲットテキストにおけるメインエンティティに対応するメイン関係ベクトルを計算するステップと、
   各ターゲットテキストにおけるメインエンティティに対応するメイン関係ベクトルに基づいて、異なるターゲットテキスト間の前記メインエンティティの類似度距離を計算するステップと、を含む、
   ことを特徴とする請求項１に記載の方法。
6. テキストエンティティの語義記述処理装置であって、
   メインエンティティを含む複数のターゲットテキストを取得し、メインエンティティを記述する他の関連エンティティを各ターゲットテキストから抽出するように構成される抽出モジュールと、
   各ターゲットテキストにおける前記メインエンティティと各関連エンティティペアとの間のサブ関係ベクトルを取得するように構成される取得モジュールと、
   各ターゲットテキストにおける前記メインエンティティと各関連エンティティペアとの間のサブ関係ベクトルに基づいて、異なるターゲットテキスト間の前記メインエンティティの類似度距離を計算するように構成される生成モジュールと、
   異なるターゲットテキスト間の前記メインエンティティの類似度距離に基づいて異なるターゲットテキストが前記メインエンティティに対して記述する語義類似度を決定するように構成される決定モジュールと、を含む、
   ことを特徴とするテキストエンティティの語義記述処理装置。
7. 前記抽出モジュールは、具体的には、
   各ターゲットテキストについて名前付きエンティティの認識を実行して、エンティティ候補集合を取得し、
   前記エンティティ候補集合のうち、前記ターゲットテキストにおける前記メインエンティティとの距離が予め設定された距離よりも小さいエンティティ候補を、前記メインエンティティを記述する他の関連エンティティとして取得するように構成される、
   ことを特徴とする請求項６に記載の装置。
8. 前記取得モジュールは、具体的には、
   前記ターゲットテキストにおける各文字の第１のベクトル表現を取得し、
   予めトレーニングされた変換モデルに基づいて前記第１のベクトル表現、前記メインエンティティ及び各関連エンティティに対して重み付け処理を実行して、ターゲットテキストにおける前記メインエンティティ及び各関連エンティティに関連付けられたテキストコンテンツの第２のベクトル表現を取得し、
   前記第２のベクトル表現に対してプーリング処理を実行して、前記メインエンティティと各関連エンティティペアとの間のサブ関係ベクトルを生成するように構成される、
   ことを特徴とする請求項６に記載の装置。
9. 前記取得モジュールは、具体的には、
   予めトレーニングされた関係抽出モデルに基づいてターゲットテキスト、前記メインエンティティ及び各関連エンティティを処理して、前記メインエンティティと各関連エンティティペアとの間の関係の確率分布を取得し、
   予めトレーニングされたマッピングモデルに基づいて前記確率分布をマッピングして、前記メインエンティティと各関連エンティティペアとの間のサブ関係ベクトルを取得するように構成される、
   ことを特徴とする請求項６に記載の装置。
10. 前記生成モジュールは、具体的には、
    各ターゲットテキストにおける前記メインエンティティと各関連エンティティペアとの間のサブ関係ベクトルを合計し、各ターゲットテキストにおけるメインエンティティに対応するメイン関係ベクトルを計算し、
    各ターゲットテキストにおけるメインエンティティに対応するメイン関係ベクトルに基づいて、異なるターゲットテキスト間の前記メインエンティティの類似度距離を計算するように構成される、
    ことを特徴とする請求項６に記載の装置。
11. 電子機器であって、
    少なくとも１つのプロセッサと、
    前記少なくとも１つのプロセッサに通信可能に接続されたメモリと、を含み、
    前記メモリには前記少なくとも１つのプロセッサによって実行可能な命令が記憶され、前記命令が前記少なくとも一つのプロセッサによって実行される場合、前記少なくとも一つのプロセッサが請求項１〜５のいずれかに記載のテキストエンティティの語義記述処理方法を実行する、
    ことを特徴とする電子機器。
12. コンピュータ命令が記憶されている非一時的なコンピュータ読み取り可能な記憶媒体であって、
    前記コンピュータ命令は、前記コンピュータに請求項１〜５のいずれかに記載のテキストエンティティの語義記述処理方法を実行させる、
    ことを特徴とするコンピュータ命令が記憶されている非一時的なコンピュータ読み取り可能な記憶媒体。
13. コンピュータプログラムであって、
    前記コンピュータプログラムにおける命令が実行された場合に、請求項１〜５のいずれかに記載のテキストエンティティの語義記述処理方法が実行される、
    ことを特徴とするコンピュータプログラム。

Images