JP2022145623A - ヒント情報を提示する方法及び装置並びにコンピュータプログラム - Google Patents

Abstract

【課題】本発明は、ヒント情報を提示する方法及び装置並びにコンピュータプログラムを提供する。
【解決手段】かかる方法は、エンティティ、エンティティのコンテキスト、エンティティの類型、コンテキストの品詞及び複数の事前定義の概念を入力し；エンティティ、コンテキスト、エンティティの類型及びコンテキストの品詞の組み合わせに基づいて第一ベクトルを生成し；各概念に基づいて第二ベクトルを生成し；グラフに基づいて第三ベクトルを生成し；第二ベクトルと第三ベクトルとをつなぎ合わせて第四ベクトルを生成し；第一ベクトル及び第四ベクトルに基づいて、エンティティと各概念との間の語義類似度を計算し；第一ベクトル及び語義類似度に基づいて、エンティティに対応する１つ概念を決定し；及び、決定した概念に基づいて、ヒント情報を生成してユーザに提示することを含む。
【選択図】図４

Description

本発明は、エンティティ（実体）の曖昧性解消（Ｅｎｔｉｔｙ Ｄｉｓａｍｂｉｇｕａｔｉｏｎ）の技術に関し、特に、エンティティの曖昧性解消の技術を利用してテキストにおけるエンティティに関するヒント情報をユーザに提示（ｐｒｅｓｅｎｔ）する方法及び装置並びにコンピュータプログラムに関する。

実際の言語環境では、１つのエンティティ名が複数の概念（コンセプト）に対応する状況がしばしば存在する。例えば、テキストに現れるエンティティ名「アップル」は、果物を指す場合もあり、会社アップル（Ａｐｐｌｅ Ｉｎｃ．）を指す場合もある。同じエンティティ名によって引き起こされる曖昧さの問題を解決するために、エンティティの曖昧性解消の技術は提案されている。

エンティティの曖昧性解消の技術は、コンテキストにおける言及情報（ｍｅｎｔｉｏｎ）、即ち、エンティティを、ナレッジグラフにおける適切な概念にリンクすることができ、それは、質問回答、語義（意味）検索及び情報抽出のような多くの分野で基本的な役割を果たす。概念とは、区別可能で独立して存在するもの（事物）を指し、ナレッジグラフに含まれる異なる概念の間には相互関連性が存在する。例えば、実際には同じような名前の人物「マイケル・ジェフリー・ジョーダン」及び「マイケル・オーウェン・ジョーダン」がいる。前者はバスケットボールのスター選手であり、後者は機械学習分野の有名人である。よって、ナレッジグラフには次の２つの概念、即ち、「バスケットボールのスター選手であるマイケル・ジェフリー・ジョーダン」及び「機械学習の専門家であるマイケル・オーウェン・ジョーダン」が存在し得る。さらに、ナレッジグラフには「バスケットボールのスター選手であるマイケル・ジェフリー・ジョーダン」と関連付けられる複数のスポーツに関する概念、及び、「機械学習の専門家であるマイケル・オーウェン・ジョーダン」と関連付けられる複数のコンピュータ技術に関する概念も存在し得る。１つのテキストにエンティティ「マイケル・ジョーダン」が含まれるときに、テキストのコンテキストに基づいて、該エンティティがナレッジグラフにおける「バスケットボールのスター選手であるマイケル・ジェフリー・ジョーダン」を指すか、それとも「機械学習の専門家であるマイケル・オーウェン・ジョーダン」を指すかを決定する必要はある。

エンティティの曖昧性解消の技術を用いてテキストに言及されているエンティティが特定の概念に対応することを決定した後に、決定した概念に基づいてユーザにヒント情報を提供することで、ユーザが該エンティティの正しい意味を理解し得るようにすることができる。例えば、テキストとしての「アップルが本日新しいスマートフォンをリリースしました……」に出現するエンティティ「アップル」について、ユーザに「会社アップル：米国のハイテク企業であり、代表的製品はｉＰｈｏｎｅ(登録商標)スマートフォン……」のようなヒント情報を提示することができる。

しかし、自然言語が非常に複雑であるため、エンティティの曖昧性解消の技術は、如何に、コンテキストにおけるエンティティの正確な意味を識別し、それをナレッジグラフにおける正しい概念に関連付けるかの課題に直面している。

今のところ、主に２種類のエンティティの曖昧性解消の方法があり、即ち、並べ替えモデルを使用してエンティティの曖昧性解消の問題をモデル化する方法、及び分類モデルを利用してエンティティの曖昧性解消の問題をモデル化する方法である。

並べ替えモデルを使用した方法は候補概念の生成及び候補概念の並べ替えの２つのステップを含む。候補概念を生成するステップでは簡単な規則（ルール）が良く用いられるが、これは、しばしば、正確な候補概念を選択できないことをもたらするため、後続の並べ替えのステップではカスケードエラーが生じるようになる恐れがある。

分類モデルを利用した方法はエンティティの曖昧性解消の問題を単一ラベルのテキスト分類タスクとしてモデル化する。例えば、Ｅｌｅｎａ Ｔｕｔｕｂａｌｉｎａらが２０１８年６月に発表した論文“Ｍｅｄｉｃａｌ ｃｏｎｃｅｐｔ ｎｏｒｍａｌｉｚａｔｉｏｎ ｉｎ ｓｏｃｉａｌ ｍｅｄｉａ ｐｏｓｔｓ ｗｉｔｈ ｒｅｃｕｒｒｅｎｔ ｎｅｕｒａｌ ｎｅｔｗｏｒｋｓ”（Ｊｏｕｒｎａｌ ｏｆ Ｂｉｏｍｅｄｉｃａｌ ｉｎｆｏｒｍａｔｉｃｓ）に記載されたモデルには２つの部分、即ち、ニューラルネットワーク及び補助特徴が含まれる。ニューラルネットワークの部分では、ゲート付き回帰型ユニット（Ｇａｔｅｄ Ｒｅｃｕｒｒｅｎｔ Ｕｎｉｔ、ＧＲＵ）ネットワーク及びアテンションメカニズム（注意機構）ネットワークを採用してエンティティに対して符号化（ｅｎｃｏｄｉｎｇ）を行う。補助特徴の部分では、ＴＦ－ＩＤＦ類似度及びＷｏｒｄ２Ｖｅｃ類似度を利用してモデルに対して強化（エンハンスメント）を行う。しかし、このようなモデルは、Ｗｏｒｄ２Ｖｅｃ類似度特徴に十分な語義情報がないので、エンティティと概念との間の語義レベルの類似度を正確に比較することができない。

従来技術に存在する１つ又は複数の問題を解決するために、本発明は分類モデルを利用した新しい方法を提案し、該方法はＢＥＲＴモデルを採用してエンティティに対して符号化を行い、かつ文字類似度及び語義類似度を補助特徴として採用する。本発明による方法は、テキストに言及されるエンティティをナレッジグラフにおける正確な概念に関連付ける確率を上げることができるため、より正確なヒント情報をユーザに提供することができる。

本発明の１つの側面によれば、コンピュータが実行する、ニューラルネットワークを利用して、電子テキストを閲覧するユーザにヒント情報を提示する方法が提供され、そのうち、前記ニューラルネットワークはＢＥＲＴモデル及びグラフ畳み込みニューラルネットワークを含み、前記方法は、
前記電子テキスト、前記電子テキストに関する情報、及び複数の事前定義の概念を前記ニューラルネットワークに入力し、そのうち、前記電子テキストはエンティティ及び該エンティティのコンテキストを含み、前記電子テキストに関する情報は前記エンティティの類型（タイプ）及び前記コンテキストの品詞（ｐａｒｔ ｏｆ ｓｐｅｅｃｈ）を含み、前記概念はテキスト形式（ｔｅｘｔ ｆｏｒｍａｔ）であり；
前記ＢＥＲＴモデルを使用して、前記エンティティ、前記コンテキスト、前記エンティティの類型及び前記コンテキストの品詞の組み合わせに基づいて第一ベクトル（Ｖ_２）を生成し；
前記ＢＥＲＴモデルを使用して、前記複数の概念のうちの各概念に基づいて第二ベクトル（Ｖ_４）を生成し；
前記グラフ畳み込みニューラルネットワークを使用して、グラフに基づいて第三ベクトル（Ｖ_５）を生成し、そのうち、前記グラフは前記複数の概念及び前記複数の概念の間の関係に基づいて生成され；
前記第二ベクトル（Ｖ_４）と前記第三ベクトル（Ｖ_５）とをつなぎ合わせることで、第四ベクトル（Ｖ_６）を生成し；
前記第一ベクトル（Ｖ_２）及び前記第四ベクトル（Ｖ_６）に基づいて、前記エンティティと前記複数の概念のうちの各概念との間の語義類似度を計算し；
前記第一ベクトル（Ｖ_２）及び前記語義類似度に基づいて、前記エンティティに対応する前記複数の概念のうちの１つの概念を決定し；及び
決定した、前記エンティティに対応する概念に基づいて前記ヒント情報を生成し、前記ユーザに提示することを含む。

本発明のもう１つの側面によれば、ニューラルネットワークを利用して、電子テキストを閲覧するユーザにヒント情報を提示する装置が提供され、そのうち、前記ニューラルネットワークはＢＥＲＴモデル及びグラフ畳み込みニューラルネットワークを含み、前記装置は、コンピュータプログラムを記憶している記憶器；及び、前記記憶器に接続される１つ又は複数の処理器を含み、前記処理器は前記コンピュータプログラムを実行することで以下の操作を実行し、即ち、
前記電子テキスト、前記電子テキストに関する情報及び複数の事前定義の概念を前記ニューラルネットワークに入力し、そのうち、前記電子テキストはエンティティ及び前記エンティティのコンテキストを含み、前記電子テキストに関する情報は前記エンティティの類型及び前記コンテキストの品詞を含み、前記概念はテキスト形式であり；
前記ＢＥＲＴモデルを使用して、前記エンティティ、前記コンテキスト、前記エンティティの類型及び前記コンテキストの品詞の組み合わせに基づいて第一ベクトル（Ｖ_２）を生成し；
前記ＢＥＲＴモデルを使用して、前記複数の概念のうちの各概念に基づいて第二ベクトル（Ｖ_４）を生成し；
前記グラフ畳み込みニューラルネットワークを使用して、グラフに基づいて第三ベクトル（Ｖ_５）を生成し、そのうち、前記グラフは前記複数の概念及び前記複数の概念の間の関係に基づいて生成され；
前記第二ベクトル（Ｖ_４）と前記第三ベクトル（Ｖ_５）とをつなぎ合わせることで、第四ベクトル（Ｖ_６）を生成し；
前記第一ベクトル（Ｖ_２）及び前記第四ベクトル（Ｖ_６）に基づいて、前記エンティティと前記複数の概念のうちの各概念との間の語義類似度を計算し；
前記第一ベクトル（Ｖ_２）及び前記語義類似度に基づいて、前記エンティティに対応する前記複数の概念のうちの１つの概念を決定し；及び
決定した、前記エンティティに対応する概念に基づいて前記ヒント情報を生成し、前記ユーザに提示する操作である。

本発明のもう１つの側面によれば、電子テキストを閲覧するユーザにヒント情報を提示する装置が提供され、そのうち、前記電子テキストはエンティティ及び前記エンティティのコンテキストを含み、前記装置は、主モジュール、語義類似度計算モジュール、文字類似度計算モジュール及び提示モジュールを含み、
前記主モジュールは、
前記エンティティ、前記コンテキスト、前記エンティティの類型及び前記コンテキストの品詞の組み合わせに基づいて第一ベクトル（Ｖ_２）を生成するように構成されるＢＥＲＴモジュール；及び
前記第一ベクトル（Ｖ_２）、前記語義類似度計算モジュールが計算した語義類似度、及び前記文字類似度計算モジュールが計算した文字類似度に基づいて、前記エンティティに対応する複数の事前定義概念のうちの１つの概念を決定するように構成される分類モジュールであって、そのうち、前記概念はテキスト形式である分類モジュールを含み、
前記語義類似度計算モジュールは、
前記複数の概念のうちの各概念に基づいて第二ベクトル（Ｖ_４）を生成するように構成されるＢＥＲＴモジュール；及び
グラフに基づいて第三ベクトル（Ｖ_５）を生成するように構成されるグラフ畳み込みニューラルネットワークであって、そのうち、前記グラフは前記複数の概念及び前記複数の概念の間の関係に基づいて生成されるグラフ畳み込みニューラルネットワークを含み、
前記語義類似度計算モジュールは、前記第二ベクトル（Ｖ_４）と前記第三ベクトル（Ｖ_５）とをつなぎ合わせることで第四ベクトル（Ｖ_６）を生成し、かつ前記第一ベクトル（Ｖ_２）及び前記第四ベクトル（Ｖ_６）に基づいて、前記エンティティと前記複数の概念のうちの各概念との間の語義類似度を計算するように構成され、
前記文字類似度計算モジュールは、前記エンティティと前記複数の概念のうちの各概念との間の文字類似度を計算するように構成され、
前記提示モジュールは、決定された、前記エンティティに対応する概念に基づいて前記ヒント情報を生成し、前記ユーザに提示するように構成される。

本発明のもう１つの側面によれば、コンピュータプログラムを記憶している記憶媒体が提供され、前記コンピュータプログラムはコンピュータにより実行されるときに前記コンピュータに上述のような方法を実行させる。

本発明におけるニューラルネットワークのアーキテクチャを示す図である。 エンティティ、コンテキスト、エンティティの類型及びコンテキストの品詞の組み合わせを示す図である。 すべての概念に基づいて生成されたグラフである。 本発明の実施例においてエンティティに関するヒント情報をユーザに提示する装置の構成を示す図である。 本発明の実施例においてエンティティに関するヒント情報をユーザに提示する方法のフローチャートである。 本発明の実施例を実現し得る汎用コンピュータの例示的な構成を示す図である。

以下、添付した図面を参照しながら、本発明を実施するための好適な実施例を詳細に説明する。なお、これらの実施例は例示に過ぎず、本発明を限定するものでない。

図１は本発明におけるニューラルネットワークのアーキテクチャを示す図である。図１の左半分は主モデルを示しており、右半分は補助特徴の部分を示している。主モデルは主に分類タスクを実行するために用いられ、即ち、テキストに含まれるエンティティがどの概念（クラス）に属するかを決定するために用いられる。主モデルでは、従来のＢＥＲＴ（Ｂｉｄｉｒｅｃｔｉｏｎａｌ Ｅｎｃｏｄｅｒ Ｒｅｐｒｅｓｅｎｔａｔｉｏｎ ｆｒｏｍ Ｔｒａｎｓｆｏｒｍｅｒｓ）モデルが採用されている。ニューラルネットワークに基づく自然言語処理では、テキストにおける各ワードが通常、１次元ベクトル（「ワードワードベクトル」とも称される）で表され、ＢＥＲＴモデルはワードベクトルを入力として使用し、該ワードに対応する、全文語義情報を融合（統合）したベクトル表現を出力する。このようして、ＢＥＲＴモデルは或るテキストについて豊富な語義情報を含む語義表現を生成することができる。その後、具体的な自然言語処理タスクについて、生成されたテキストの語義表現に対して微調整を行うことで、それが該具体的なタスクに適用され得るようにさせる。

以下、本発明における主モデル及び補助特徴の部分について順次説明する。

テキストに出現する或るエンティティについて、本発明ではエンティティ、コンテキスト、エンティティの類型及びコンテキストの品詞の組み合わせを主モデルの入力として採用する。図２はこのような組み合わせの具体的な形式を例示的に示している。

図２に示すように、第１行はテキストの内容を表す。エンティティの先頭文字の前に開始フラグ［Ｅ］を追加し、かつ末尾文字の後に終了フラグ［Ｅ／］を追加し、その後、エンティティの前文を開始フラグ［Ｅ］の前に置き、エンティティの後文を終了フラグ［Ｅ／］の後に置く。このような方式で、エンティティとそのコンテキストとのマッチングを行う。よって、“Ｍ１ Ｍ２…”はエンティティの文字列を表し、“Ｌ１ Ｌ２…”及び“Ｒ１ Ｒ２…”はそれぞれエンティティの前文及び後文の文字列を表す。

また、辞書資源（リソース）を参照して、エンティティのエンティティ類型を標識し、かつ対応するコンテキストの品詞情報を標識する。辞書リソースは事前定義の品詞辞書及びエンティティ類型辞書を含み、品詞辞書には例えば名詞、動詞、副詞、形容詞などの品詞が定義されており、エンティティ類型辞書には複数種類のエンティティの類型、例えば、動物、会社、ゲームなどが定義されている。図２における第２行は、辞書リソースを参照することで決定された本文（本テキスト）の中のエンティティの類型Ｅｎｔｉｔｙ Ｔｙｐｅ_ｘ及びコンテキストの品詞ＰＯＳ_ｉを示している。

図２における第１行のテキスト内容は２次元ベクトル［ｂａｔｃｈ＿ｓｉｚｅ，ｄｏｃｕｍｅｎｔ＿ｔｏｋｅｎ］と表すことができ、そのうち、ｂａｔｃｈ＿ｓｉｚｅはあ入力されるドキュメントの数を示し、ｄｏｃｕｍｅｎｔ＿ｔｏｋｅｎは各ドキュメントにおける文字ＩＤシーケンスを示す。同様に、第２行の品詞及びエンティティ類型情報も２次元ベクトル［ｂａｔｃｈ＿ｓｉｚｅ，ｄｏｃｕｍｅｎｔ＿ｔｏｋｅｎ］と表すことができる。

再び図１を参照する。埋め込み（嵌入）・加算層（Ｅｍｂｅｄｄｉｎｇ ａｎｄ Ａｄｄｉｎｇ ｌａｙｅｒ）１１０は入力されるエンティティ、コンテキスト、エンティティの類型及びコンテキストの品詞の組み合わせを非スパースベクトルに変換し、そして、ＢＥＲＴモデル１２０に入力する。

具体的に言えば、埋め込み・加算層１１０は図２において第１行に対応する２次元ベクトル［ｂａｔｃｈ＿ｓｉｚｅ，ｄｏｃｕｍｅｎｔ＿ｔｏｋｅｎ］を［ｂａｔｃｈ＿ｓｉｚｅ，ｄｏｃｕｍｅｎｔ＿ｔｏｋｅｎ，ｅｍｂｅｄｄｉｎｇ＿ｄｉｍ］に変換し、そのうち、ｅｍｂｅｄｄｉｎｇ＿ｄｉｍは埋め込み次元を表す。同様に、埋め込み・加算層１１０は図２において第２行に対応する２次元ベクトル［ｂａｔｃｈ＿ｓｉｚｅ，ｄｏｃｕｍｅｎｔ＿ｔｏｋｅｎ］を［ｂａｔｃｈ＿ｓｉｚｅ，ｄｏｃｕｍｅｎｔ＿ｔｏｋｅｎ，ｅｍｂｅｄｄｉｎｇ＿ｄｉｍ］に変換する。

その後、以下の公式（１）に基づいて、埋め込み・加算層１１０は第１行と第２行とに対して加重和（ｗｅｉｇｈｔｅｄ ｓｕｍ）を求めることで、出力ベクトルＶ_１を取得する。

Ｖ_１＝ｓｉｇｍｏｉｄ（Ｗ_１Ｘ_１＋Ｗ_２Ｘ_２） （１）
ここで、ｓｉｇｍｏｉｄは活性化関数ｓｉｇｍｏｉｄ＝１／（１＋ｅｘｐ（－ｘ））を示し、Ｗ_１及びＷ_２は訓練待ちの重みを示し、Ｘ_１及びＸ_２はそれぞれ図２における第１行及び第２行に対応する変換後のベクトルを表す。

ＢＥＲＴモデル１２０は埋め込み・加算層１１０により出力されるベクトルＶ_１を受け取り、そして、テキストの内容におけるエンティティに対して符号化を行い、エンティティの語義情報を抽出する。ＢＥＲＴモデルが当業者にとって周知のものであるため、本発明ではその詳しい説明を省略する。上述のように、ＢＥＲＴモデル１２０にベクトルＶ_１［ｂａｔｃｈ＿ｓｉｚｅ，ｄｏｃｕｍｅｎｔ＿ｔｏｋｅｎ，ｅｍｂｅｄｄｉｎｇ＿ｄｉｍ］を入力し、ＢＥＲＴモデル１２０はベクトルＶ_２［ｂａｔｃｈ＿ｓｉｚｅ，ｂｅｒｔ＿ｄｉｍ］を出力し、そのうち、ｂｅｒｔ＿ｄｉｍはＢＥＲＴモデル１２０の隠れ層の次元、即ち、出力次元を表す。

つなぎ合わせ層１３０はＢＥＲＴモデル１２０の出力Ｖ_２を受け取り、それを補助特徴とつなぎ合わせる。補助特徴については後述する。つなぎ合わせた後に、つなぎ合わせ層１３０はベクトルＶ_３［ｂａｔｃｈ＿ｓｉｚｅ，ｂｅｒｔ＿ｄｉｍ＋２^＊ｃｌａｓｓ＿ｄｉｍ］を出力し、そのうち、ｃｌａｓｓ＿ｄｉｍは類別の数を表す。類別がナレッジグラフにおける概念に対応するので、ｃｌａｓｓ＿ｄｉｍもナレッジグラフにおける事前定義の概念の数を表す。

その後、つなぎ合わせ層１３０の出力ベクトルＶ_３は分類層１４０に入力される。１つの例として、分類層１４０はＳｏｆｔｍａｘ分類器により実現され得る。分類層１４０では、ベクトルＶ_３はまずワンホットエンコーディングの形式（Ｏｎｅ－Ｈｏｔ ｅｎｃｏｄｉｎｇ）に変換され、変換後の次元は［ｂａｔｃｈ＿ｓｉｚｅ，ｃｌａｓｓ＿ｄｉｍ］である。その後、分類層１４０は変換後のベクトルに基づいて分類予測結果を生成し、該予測結果はテキストにおけるエンティティがナレッジグラフにおける各概念（類別）に属する確率を指示し、最大確率に対応する概念はエンティティの属する概念と決定することができる。

特に、実際にはナレッジグラフは通常、存在するすべての概念を網羅することができず、限られた数の概念しか含まない。よって、次のような状況が存在する可能性があり、即ち、或るエンティティがナレッジグラフにおける何れの概念にも属せず、何れの概念を用いて該エンティティの意味を解釈しても適切ではない。このような場合、１つの閾値を設定しても良い。予測結果における最大確率が該閾値よりも大きいときに、該最大確率に対応する概念をエンティティの属する概念と決定し、かつ決定した概念の内容に基づいてユーザへのヒント情報を生成することにより、ユーザがエンティティの正確な意味を把握するように助けることができる。一方、予測結果におけるすべての確率が何れも該閾値よりも小さいときに、エンティティが何れの概念に分類されても適切ではないことを意味し、この場合、該エンティティについてヒント情報を生成しない。

以下、補助特徴について詳細に説明する。本発明では、エンティティと概念との間の類似度特徴を補助特徴として計算することで、モデルのパフォーマンスを強化する。好ましくは、計算量を低減するために、所定のナレッジグラフにおける概念のみを選択する。類似度特徴は文字類似度及び語義類似度を含む。１つの例として、本発明ではＢＭ２５類似度を文字類似度として使用し、かつニューラルネットワークに基づくベクトル類似度を語義類似度として使用する。

具体的に言えば、ＢＭ２５類似度を文字類似度として使用する場合、次の方式で文字類似度を計算し、即ち、テキストにおける１つのエンティティについて、それと、ナレッジグラフにおける各概念（テキストの形式で）との間のＢＭ２５類似度を計算する。計算の結果として、次元が［ｂａｔｃｈ＿ｓｉｚｅ，ｃｌａｓｓ＿ｄｉｍ］の１つのベクトルを取得する。なお、ＢＭ２５アルゴリズム（Ｂｅｓｔ Ｍａｔｃｈ ２５）が当業者にとって周知のテキスト類似度アルゴリズムであるため、ここではＢＭ２５類似度の計算についての詳細な説明省略する。

また、語義類似度に関して、本発明ではエンティティのベクトル表現とナレッジグラフにおける各概念のベクトル表現との間のコサイン（余弦）類似度を計算する。計算の結果として、次元が［ｂａｔｃｈ＿ｓｉｚｅ，ｃｌａｓｓ＿ｄｉｍ］の１つのベクトルを取得する。以下、語義類似度の計算方法について詳しく説明する。

図１の右半分に示す補助特徴の部分を参照し、ナレッジグラフにおける各概念が埋め込み・加算層１１０及びＢＥＲＴモデル１２０の処理を受けるようにした後に、ＢＥＲＴモデル１２０から各概念自身の語義特徴を表すベクトルＶ_４を出力する。図１に示すように、主モデル及び補助特徴の部分は埋め込み・加算層１１０及びＢＥＲＴモデル１２０をシェアして使用する。

一方、ナレッジグラフにおけるすべての概念に基づいて１つのグラフを構築（生成）し、図３は構築されたグラフの１つの例を示している。図３では、各ノードＮは１つの概念を表し、ノードの間の接続線は概念の間の相互関係を表す。

構築されたグラフについてラプラシアン行列を計算し、その後、該ラプラシアン行列をグラフ畳み込みニューラルネットワーク（ＧＣＮ）１５０に入力する。なお、グラフ畳み込みニューラルネットワーク（ＧＣＮ）が当業者に既知の技術であるため、本発明ではその詳しい説明を省略する。ＧＣＮ１５０はすべての概念を表す全体特徴のベクトルを出力することができ、該整体特徴は各概念の間の相互関係を含む。概念の間が互いに関連付けられているので、図３に示すように、ＧＣＮ１５０は概念の間の関係についてモデル化することができる。よって、ＧＣＮ１５０により生成されるベクトルＶ_５には異なる概念の間の相互関係が含まれている。ベクトルＶ_５の次元は［ｂａｔｃｈ＿ｓｉｚｅ，ｇｒａｐｈ＿ｄｉｍ］であり、そのうち、ｇｒａｐｈ＿ｄｉｍはＧＣＮ１５０の出力層の次元を表す。

その後、ＢＥＲＴモデル１２０の出力ベクトルＶ_４及びＧＣＮ１５０の出力ベクトルＶ_５をすべてつなぎ合わせ・次元変換層１６０に入力する。つなぎ合わせ・次元変換層１６０はベクトルＶ_４及びベクトルＶ_５に対してつなぎ合わせ及び次元変換を行い、次元が［ｂａｔｃｈ＿ｓｉｚｅ，ｂｅｒｔ＿ｄｉｍ］のベクトルＶ_６を出力する。なお、ベクトルＶ_６はナレッジグラフにおける概念のベクトル表現である。

一方、上述のように、図１の左半分の主モデルでは、ＢＥＲＴモデル１２０によって、入力されるエンティティについてベクトル表現Ｖ_２を取得する。その後、主モデルにおいてＢＥＲＴモデル１２０によって出力されるエンティティのベクトル表現Ｖ_２及びつなぎ合わせ・次元変換層１６０によって出力される概念のベクトル表現Ｖ_６に基づいてエンティティと概念との間の語義類似度を計算する。

好ましくは、ベクトルＶ_２及びベクトルＶ_６をすべてマッピング層１７０に入力する。マッピング層１７０はベクトルＶ_２及びベクトルＶ_６を同じベクトル空間にマッピングすることで、その後、両者間の類似度を比較するために用いられる。マッピング層１７０は本質的に、隠れ層が付く全結合層であっても良く、それは以下の公式（２）に基づいて、入力されるベクトルを同一のベクトル空間にマッピングすることができる。

Ｙ＝ｓｉｇｍｏｉｄ（ＷＸ＋ｂ） （２）
そのうち、ｓｉｇｍｏｉｄは活性化関数ｓｉｇｍｏｉｄ＝１／（１＋ｅｘｐ（－ｘ））を表し、Ｗ及びｂは訓練待ちの重みを示す。Ｘは入力されるベクトルＶ_２又はＶ_６を示し、その次元は［ｂａｔｃｈ＿ｓｉｚｅ，ｂｅｒｔ＿ｄｉｍ］である。Ｙはマッピング後のベクトルを示し、その次元は［ｂａｔｃｈ＿ｓｉｚｅ，ｔｒａｎｓ＿ｄｉｍ］であり、そのうち、ｔｒａｎｓ＿ｄｉｍはエンティティのベクトル及び概念のベクトルが同一のベクトル空間にマッピングされた後の次元である。

その後、以下の公式（３）に基づいてコサイン類似度を語義類似度として計算することができる。

ここで、ｘ_１及びｘ_２はそれぞれエンティティのベクトル表現及び概念のベクトル表現を表す。特に、マッピング層１７０を利用した場合、ｘ_１及びｘ_２はそれぞれマッピング後のベクトル表現を示す。

ここまで、補助特徴としての文字類似度及び語義類似度を取得している。主モデルについて上述したように、該補助特徴及びＢＥＲＴモデル１２０の出力ベクトルＶ_２を一緒につなぎ合わせ層１３０に入力することで、後続の処理を実行する。

以下、本発明のモデルの訓練プロセスについて説明する。訓練にあたって、図１に示すモデルに訓練データセットを入力し、訓練データセットはテキスト及びナレッジグラフを含む。テキストはエンティティ及びそのコンテキストを含み、ナレッジグラフは事前定義の複数の概念を含む。モデルは最終的にエンティティについての分類予測結果を生成し、予測結果は該エンティティの属する概念を指示する。

予測の概念及び真値に基づいて、損失関数（例えば、クロスエントロピー損失関数）によりモデルを訓練することで、モデルの最適パラメータを取得する。訓練のときに、ＢＥＲＴモデル１２０の初期パラメータをＢＥＲＴ事前訓練モデルのパラメータとして設定することができる。但し、当業者は他の任意の既知方法を採用して訓練を実行しても良く、本発明はこれについて限定しない。

訓練が完成した後に、訓練済みのモデルを用いてテキストに言及されているエンティティに対応する具体的な概念を予測することができる。その後、予測した概念の内容に基づいてユーザへのヒント情報を生成することで、ユーザが該エンティティの正確な意味を把握するように助けることができる。なお、様々な方式（例えば、視覚方式、聴覚方式）でヒント情報を提供することができる。例えば、ユーザがドキュメントを閲覧しているときに、ハイパーリンク又はポップアップウィンドウの方式でユーザに或るエンティティの意味を提示しても良く、あるいは、音声によりユーザに提示しても良い。

図４は本発明においてユーザにヒント情報を提示する装置を示す図であり、図５は本発明においてユーザにヒント情報を提示する方法のフローチャートである。

図４及び図５に示すように、本発明による装置は主モジュール４１０、補助特徴生成モジュール４２０及び提示モジュール４３０を含む。ステップＳ５１０で主モジュール４１０にエンティティ、コンテキスト、エンティティの類型及びコンテキストの品詞の組み合わせ（図２に示すようなもの）を入力し、かつ補助特徴生成モジュール４２０に事前定義の複数の概念を入力する。

主モジュール４１０はＢＥＲＴモジュール４１１及び分類モジュール４１２を含む。ステップＳ５２０でＢＥＲＴモジュール４１１によって、入力されるエンティティ、コンテキスト、エンティティの類型及びコンテキストの品詞の組み合わせに基づいてベクトルＶ_２を生成する。

補助特徴生成モジュール４２０は語義類似度計算モジュール４２１及び文字類似度計算モジュール４２２を含み、語義類似度計算モジュール４２１はさらにＢＥＲＴモジュール４２１１及びグラフ畳み込みニューラルネットワーク（ＧＣＮ）モジュール４２１２を含む。なお、補助特徴生成モジュール４２０におけるＢＥＲＴモジュール４２１１及び主モジュール４１０におけるＢＥＲＴモジュール４１１は同一のモジュールであり、同じ機能を有しても良いが、便宜のため、以下、異なる符号によりそれらを表す。

ステップＳ５３０でＢＥＲＴモジュール４２１１により、入力される各概念に基づいてベクトルＶ_４を生成する。ステップＳ５４０で、入力される複数の概念及び概念の間の相互関係に基づいてグラフを生成し、かつＧＣＮモジュール４２１２により、生成されるグラフに基づいてベクトルＶ_５を生成する。ベクトルＶ_５は複数の概念の全体特徴を示し、該全体特徴は概念の間の相互関係を表す。

その後、語義類似度計算モジュール４２１において、生成されるベクトルＶ_４及びベクトルＶ_５に対してつなぎ合わせを行い、ベクトルＶ_６を生成し（ステップＳ５５０）、それから、ベクトルＶ_２及びベクトルＶ_６に基づいて、公式（３）によりエンティティと各概念との間の語義類似度を計算する（ステップＳ５６０）。好ましくは、ベクトルＶ_２及びベクトルＶ_６を同一のベクトル空間にマッピングした後に語義類似度を計算する。

ステップＳ５７０で文字類似度計算モジュール４２２によりエンティティと各概念との間の文字類似度を計算する。

ステップＳ５８０で分類モジュール４１２を用いて、ＢＥＲＴモジュール４１１により生成されるベクトルＶ_２、並びに補助特徴生成モジュール４２０により計算される語義類似度及び文字類似度に基づいて分類予測結果を生成する。該予測結果はエンティティが各概念に属する確率を表し、最大確率に対応する概念はエンティティの属する概念と決定することができる。

ステップＳ５９０で提示モジュール４３０により、決定されるエンティティの属する概念に基づいてヒント情報を生成し、ユーザに提示する。好ましくは、提示モジュール４３０は視覚方式及び／又は聴覚方式によりヒント情報を提示することができる。

なお、本発明による方法は、必ずしも図５に示す順序に沿って実行される必要がなく、技術上、実現することができれば、異なる順序に従って実行されても良い。例えば、文字類似度を計算するステップＳ５７０は語義類似度を計算する処理の前に実行することもできる。

以上、実施例をもとに本発明におけるモデル及び方法について詳細に説明した。本発明では分類モデルに基づく新しいエンティティの曖昧性解消のスキームが提供され、そのうち、ＢＥＲＴモデルが利用され、かつ文字類似度及び語義類似度が補助特徴として使用される。また、本発明では、エンティティの類型及びコンテキストの品詞情報を語義の強化として使用し、辞書リソースの情報を効果的に使用し、モデルのパフォーマンスの向上に有利である。また、本発明では、グラフ畳み込みニューラルネットワーク（ＧＣＮ）を用いて、すべての概念に基づいて構成されるグラフに対して全体特徴を抽出することで、ナレッジグラフにおける他の概念に含まれる情報を現在の概念に統合することができるため、現在の概念に含まれる語義情報をより完全にすることができる。

上述の実施例で説明された方法はソフトウェア、ハードウェア、又は、ソフトウェアとハードウェアの組み合わせにより実現され得る。ソフトウェアに含まれるプログラムは予め、装置の内部又は外部に設けられる記憶媒体に記憶され得る。一例として、実行にあたって、これらのプログラムはランダムアクセスメモリ（ＲＡＭ）に読み込まれ、かつ処理器（例えば、ＣＰＵ）により実行されることで、ここで説明された各種の方法及び処理を実現することができる。

また、本発明の目的は次のような方式で実現されても良く、即ち、実行可能なプログラムコードを記憶している記憶媒体を関連システム又は装置に直接又は間接的に提供し、該システム又は装置におけるコンピュータ又は中央処理ユニット（ＣＰＵ）は上述のプログラムコードを読み出して実行する。このときに、該システム又は装置はプログラムを実行し得る機能を有すれば、本発明の実施例はプログラムに限定されず、また、該プログラムは任意の形式、例えば、オブジェクト指向プログラム、インタプリタ実行可能なプログラム、Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍに提供するスクリプトプログラムなどであっても良い。

上述のマシン可読記憶媒体は各種の記憶器及び記憶ユニット、半導体装置、磁気ディスク、光学ディスク、情報記憶に適した他の媒体などであっても良い。

また、コンピュータがインターネット上の関連ウェブサイトに接続して本発明によるコンピュータプログラムコードをコンピュータにダウンロードしてインストールし、その後、該プログラムを実行することによって、本発明の技術案を実現することもできる。

上述の装置における各構成モジュール及びユニットはソフトウェア、ファームウェア、ハードウェア又はその組み合わせの方式で構成されても良い。なお、構成に使用される具体の手段や方法が当業者にとって周知のものであるため、ここではその詳しい説明を省略する。ソフトウェア又はファームウェアにより実現される場合、記憶媒体又はネットワークから専用ハードウェア構造を有するコンピュータ（例えば、図６に示す汎用コンピュータ６００）に該ソフトウェアを構成するプログラムをインストールし、該コンピュータは各種のプログラムがインストールされているときに、各種の機能などを実現することができる。

図６は本発明の実施例における方法及び装置を実現し得るハードウェア構成（汎用コンピュータ）６００の構造図である。

汎用コンピュータ６００は、例えば、コンピュータシステムであっても良い。なお、汎用コンピュータ６００は例示に過ぎず、本発明による方法及び装置の適用範囲又は機能について限定しない。また、汎用コンピュータ６００は、上述の方法及び装置における任意のモジュールやアセンブリなど又はその組み合わせにも依存しない。

図６では、中央処理装置（ＣＰＵ）６０１は、ＲＯＭ６０２に記憶されているプログラム又は記憶部６０８からＲＡＭ６０３にロッドされているプログラムに基づいて各種の処理を行う。ＲＡＭ６０３では、ニーズに応じて、ＣＰＵ６０１が各種の処理を行うときに必要なデータなどを記憶することもできる。ＣＰＵ６０１、ＲＯＭ６０２及びＲＡＭ６０３は、バス６０４を経由して互いに接続される。入力／出力インターフェース６０５もバス６０４に接続される。

また、入力／出力インターフェース６０５には、さらに、次のような部品が接続され、即ち、キーボードなどを含む入力部６０６、液晶提示器（ＬＣＤ）などのような表示器及びスピーカーなどを含む出力部６０７、ハードディスクなどを含む記憶部６０８、ネットワーク・インターフェース・カード、例えば、ＬＡＮカード、モデムなどを含む通信部６０９である。通信部６０９は、例えば、インターネット、ＬＡＮなどのネットワークを経由して通信処理を行う。ドライブ６１０は、ニーズに応じて、入力／出力インターフェース６０５に接続されても良い。取り外し可能な媒体６１１、例えば、半導体メモリなどは、必要に応じて、ドライブ６１０にセットされることにより、その中から読み取られたコンピュータプログラムを記憶部６０８にインストールすることができる。

また、本発明は、さらに、マシン可読命令コードを含むプログラムプロダクトを提供する。このような命令コードは、マシンにより読み取られて実行されるときに、上述の本発明の実施例における方法を実行することができる。それ相応に、このようなプログラムプロダクトをキャリー（ｃａｒｒｙ）する、例えば、磁気ディスク（フロッピーディスク（登録商標）を含む）、光ディスク（ＣＤ－ＲＯＭ及びＤＶＤを含む）、光磁気ディスク（ＭＤ（登録商標）を含む）、及び半導体記憶器などの各種記憶媒体も本発明に含まれる。

上述の記憶媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、半導体記憶器などを含んでも良いが、これらに限定されない。

また、上述の方法における各操作（処理）は、各種のマシン可読記憶媒体に記憶されているコンピュータ実行可能なプログラムの方式で実現することもできる。

また、以上の実施例などに関し、さらに以下のように付記として開示する。

（付記１）
コンピュータが実行する、ニューラルネットワークによりヒント情報を、電子テキストを閲覧するユーザに提示する方法であって、
前記ニューラルネットワークはＢＥＲＴモデル及びグラフ畳み込みニューラルネットワークを含み、前記方法は、
前記電子テキスト、前記電子テキストに関する情報及び複数の事前定義の概念を前記ニューラルネットワークに入力し、そのうち、前記電子テキストはエンティティ及び前記エンティティのコンテキストを含み、前記電子テキストに関する情報は前記エンティティの類型及び前記コンテキストの品詞を含み、前記概念はテキスト形式であり；
前記ＢＥＲＴモデルを用いて前記エンティティ、前記コンテキスト、前記エンティティの類型及び前記コンテキストの品詞の組み合わせに基づいて第一ベクトル（Ｖ_２）を生成し；
前記ＢＥＲＴモデルを用いて前記複数の概念のうちの各概念に基づいて第二ベクトル（Ｖ_４）を生成し；
前記グラフ畳み込みニューラルネットワークを用いてグラフに基づいて第三ベクトル（Ｖ_５）を生成し、そのうち、前記グラフは前記複数の概念及び概念の間の関係に基づいて生成され；
前記第二ベクトル（Ｖ_４）と前記第三ベクトル（Ｖ_５）とをつなぎ合わせ、第四ベクトル（Ｖ_６）を生成し；
前記第一ベクトル（Ｖ_２）及び前記第四ベクトル（Ｖ_６）に基づいて前記エンティティと前記複数の概念のうちの各概念との間の語義類似度を計算し；
前記第一ベクトル（Ｖ_２）及び前記語義類似度に基づいて前記エンティティに対応する前記複数の概念のうちの１つの概念を決定し；及び
決定した、前記エンティティに対応する概念に基づいて前記ヒント情報を生成し、前記ユーザに提示することを含む、方法。

（付記２）
付記１に記載の方法であって、さらに、
前記エンティティと前記複数の概念のうちの各概念との間の文字類似度を計算し；及び
前記第一ベクトル、前記語義類似度及び前記文字類似度に基づいて、前記エンティティに対応する概念を決定することを含む、方法。

（付記３）
付記２に記載の方法であって、
前記語義類似度は前記第一ベクトル（Ｖ_２）及び前記第四ベクトル（Ｖ_６）に基づいて計算されるコサイン類似度であり、前記文字類似度は前記エンティティと前記複数の概念のうちの各概念との間のＢＭ２５類似度である、方法。

（付記４）
付記１に記載の方法であって、さらに、
前記エンティティ、前記コンテキストに対応するベクトル、前記エンティティの類型、及び前記コンテキストの品詞に対応するベクトルに対して加重和を行い、前記エンティティ、前記コンテキスト、前記エンティティの類型及び前記コンテキストの品詞を組み合わせることを含む、方法。

（付記５）
付記１に記載の方法であって、
前記第三ベクトル（Ｖ_５）は前記複数の概念の全体特徴を表し、前記全体特徴は概念の間の相互関係を表す、方法。

（付記６）
付記１に記載の方法であって、
前記第一ベクトル（Ｖ_２）及び前記第四ベクトル（Ｖ_６）を同一のベクトル空間にマッピングした後に、前記語義類似度を計算する、方法。

（付記７）
付記２に記載の方法であって、さらに、
前記第一ベクトル、前記語義類似度及び前記文字類似度に基づいて、前記エンティティに対応する前記複数の概念のうちの各概念の確率を決定し；
決定した確率のうちの最大確率が所定閾値よりも大きいときに、前記最大確率を前記エンティティに対応する確率と決定し；及び
決定した確率がすべて前記預定閾値よりも小さいときに、前記エンティティのために前記ヒント情報を生成しないことを含む、方法。

（付記８）
付記１に記載の方法であって、
視覚方式及び聴覚方式のうちの少なくとも１つにより前記ユーザに前記ヒント情報を提示する、方法。

（付記９）
ニューラルネットワークにより、ヒント情報を、電子テキストを閲覧するユーザに提示する装置であって、
前記ニューラルネットワークはＢＥＲＴモデル及びグラフ畳み込みニューラルネットワークを含み、前記装置は、
コンピュータプログラムを記憶している記憶器；及び
前記記憶器に接続される１つ又は複数の処理器を含み、
前記処理器は前記コンピュータプログラムを実行することで、上述の付記に記載のような方法を実現する、装置。

（付記１０）
電子テキストを閲覧するユーザにヒント情報を提示する装置であって、
前記電子テキストはエンティティ及び前記エンティティのコンテキストを含み、前記装置は主モジュール、語義類似度計算モジュール、文字類似度計算モジュール及び提示モジュールを含み、
前記主モジュールは、
前記エンティティ、前記コンテキスト、前記エンティティの類型及び前記コンテキストの品詞の組み合わせに基づいて第一ベクトル（Ｖ_２）を生成するように構成されるＢＥＲＴモジュール；及び
前記第一ベクトル（Ｖ_２）、前記語義類似度計算モジュールが計算した語義類似度、及び前記文字類似度計算モジュールが計算した文字類似度に基づいて、前記エンティティに対応する複数の事前定義概念のうちの１つの概念を決定し、そのうち、前記概念はテキスト形式である、分類モジュールを含み、
前記語義類似度計算モジュールは、
前記複数の概念のうちの各概念に基づいて第二ベクトル（Ｖ_４）を生成するように構成されるＢＥＲＴモジュール；及び
グラフに基づいて第三ベクトル（Ｖ_５）を生成し、そのうち、前記グラフは前記複数の概念及び概念の間の関係に基づいて生成されるグラフ畳み込みニューラルネットワークを含み、
そのうち、前記語義類似度計算モジュールは、前記第二ベクトル（Ｖ_４）と前記第三ベクトル（Ｖ_５）とをつなぎ合わせることで第四ベクトル（Ｖ_６）を生成し、かつ前記第一ベクトル（Ｖ_２）及び前記第四ベクトル（Ｖ_６）に基づいて前記エンティティと前記複数の概念のうちの各概念との間の語義類似度を計算し、
そのうち、前記文字類似度計算モジュールは前記エンティティと前記複数の概念のうちの各概念との間の文字類似度を計算するように構成され、
そのうち、前記提示モジュールは、決定された、前記エンティティの概念に基づいて前記ヒント情報を生成し、前記ユーザに提示するように構成される、装置。

（付記１１）
コンピュータプログラムを記憶している記憶媒体であって、
前記コンピュータプログラムはコンピュータにより実行されるときに前記コンピュータに付記１－８のうちの任意の１項に記載のユーザにヒント情報を提示する方法を実現する、記憶媒体。

以上、本発明の好ましい実施形態を説明したが、本発明はこの実施形態に限定されず、本発明の趣旨を離脱しない限り、本発明に対するあらゆる変更は、本発明の技術的範囲に属する。

Claims (10)

1. コンピュータが実行する、ニューラルネットワークにより、電子テキストを閲覧するユーザにヒント情報を提示する方法であって、
   前記ニューラルネットワークはＢＥＲＴモデル及びグラフ畳み込みニューラルネットワークを含み、前記方法は、
   前記電子テキスト、前記電子テキストに関する情報、及び複数の事前定義の概念を前記ニューラルネットワークに入力し、前記電子テキストはエンティティ及び前記エンティティのコンテキストを含み、前記電子テキストに関する情報は前記エンティティの類型及び前記コンテキストの品詞を含み、前記概念はテキスト形式であり；
   前記ＢＥＲＴモデルを用いて前記エンティティ、前記コンテキスト、前記エンティティの類型及び前記コンテキストの品詞の組み合わせに基づいて第一ベクトル（Ｖ_２）を生成し；
   前記ＢＥＲＴモデルを用いて前記複数の概念のうちの各概念に基づいて第二ベクトル（Ｖ_４）を生成し；
   前記グラフ畳み込みニューラルネットワークを用いてグラフに基づいて第三ベクトル（Ｖ_５）を生成し、前記グラフは前記複数の概念及び前記複数の概念の間の関係に基づいて生成され；
   前記第二ベクトル（Ｖ_４）と前記第三ベクトル（Ｖ_５）とをつなぎ合わせ、第四ベクトル（Ｖ_６）を生成し；
   前記第一ベクトル（Ｖ_２）及び前記第四ベクトル（Ｖ_６）に基づいて前記エンティティと前記複数の概念のうちの各概念との間の語義類似度を計算し；
   前記第一ベクトル（Ｖ_２）及び前記語義類似度に基づいて前記エンティティに対応する前記複数の概念のうちの１つの概念を決定し；及び
   決定した、前記エンティティに対応する概念に基づいて前記ヒント情報を生成し、前記ユーザに提示することを含む、方法。
2. 請求項１に記載の方法であって、さらに、
   前記エンティティと前記複数の概念のうちの各概念との間の文字類似度を計算し；及び
   前記第一ベクトル、前記語義類似度、及び前記文字類似度に基づいて、前記エンティティに対応する概念を決定することを含む、方法。
3. 請求項２に記載の方法であって、
   前記語義類似度は前記第一ベクトル（Ｖ_２）及び前記第四ベクトル（Ｖ_６）に基づいて計算されるコサイン類似度であり、前記文字類似度は前記エンティティと前記複数の概念のうちの各概念との間のＢＭ２５類似度である、方法。
4. 請求項１に記載の方法であって、
   前記エンティティ、前記コンテキストに対応するベクトル、前記エンティティの類型、及び前記コンテキストの品詞に対応するベクトルに対して加重和を行い、前記エンティティ、前記コンテキスト、前記エンティティの類型、及び前記コンテキストの品詞を組み合わせることをさらに含む、方法。
5. 請求項１に記載の方法であって、
   前記第三ベクトル（Ｖ_５）は前記複数の概念の全体特徴を表し、前記全体特徴は前記複数の概念の間の相互関係を表す、方法。
6. 請求項１に記載の方法であって、
   前記第一ベクトル（Ｖ_２）及び前記第四ベクトル（Ｖ_６）を同一のベクトル空間にマッピングした後に、前記語義類似度を計算する、方法。
7. 請求項２に記載の方法であって、
   前記第一ベクトル、前記語義類似度、及び前記文字類似度に基づいて、前記エンティティに対応する前記複数の概念のうちの各概念の確率を決定し；
   決定した確率のうちの最大確率が所定閾値よりも大きいときに、前記最大確率を前記エンティティに対応する確率と決定し；及び
   決定した確率がすべて前記預定閾値よりも小さいときに、前記エンティティのために前記ヒント情報を生成しないことをさらに含む、方法。
8. 請求項１に記載の方法であって、
   視覚方式及び聴覚方式のうちの少なくとも１つにより前記ユーザに前記ヒント情報を提示する、方法。
9. 電子テキストを閲覧するユーザにヒント情報を提示する装置であって、
   前記ニューラルネットワークはＢＥＲＴモデル及びグラフ畳み込みニューラルネットワークを含み、前記装置は、
   コンピュータプログラムを記憶している記憶器；及び
   前記記憶器に接続される処理器を含み、
   前記処理器は、前記コンピュータプログラムを実行することにより、
   前記電子テキスト、前記電子テキストに関する情報、及び複数の事前定義の概念を前記ニューラルネットワークに入力し、前記電子テキストはエンティティ及び前記エンティティのコンテキストを含み、前記電子テキストに関する情報は前記エンティティの類型及び前記コンテキストの品詞を含み、前記概念はテキスト形式であり；
   前記ＢＥＲＴモデルを用いて前記エンティティ、前記コンテキスト、前記エンティティの類型及び前記コンテキストの品詞の組み合わせに基づいて第一ベクトル（Ｖ_２）を生成し；
   前記ＢＥＲＴモデルを用いて前記複数の概念のうちの各概念に基づいて第二ベクトル（Ｖ_４）を生成し；
   前記グラフ畳み込みニューラルネットワークを用いてグラフに基づいて第三ベクトル（Ｖ_５）を生成し、前記グラフは前記複数の概念及び前記複数の概念の間の関係に基づいて生成され；
   前記第二ベクトル（Ｖ_４）と前記第三ベクトル（Ｖ_５）とをつなぎ合わせ、第四ベクトル（Ｖ_６）を生成し；
   前記第一ベクトル（Ｖ_２）及び前記第四ベクトル（Ｖ_６）に基づいて前記エンティティと前記複数の概念のうちの各概念との間の語義類似度を計算し；
   前記第一ベクトル（Ｖ_２）及び前記語義類似度に基づいて前記エンティティに対応する前記複数の概念のうちの１つの概念を決定し；及び
   決定した、前記エンティティに対応する概念に基づいて前記ヒント情報を生成し、前記ユーザに提示する
   ことを実行するように構成される、装置。
10. コンピュータに、請求項１－８のうちの何れか１項に記載の方法を実行させるためのプログラム。

Images