JP2022028908A - 多項関係生成モデルのトレーニング方法、装置、電子機器及び媒体 - Google Patents

Abstract

【課題】多項関係生成モデルのトレーニング方法、装置、電子機器、記憶媒体及びコンピュータプログラム製品を提供する。【解決手段】複数の知識項目テキストを取得し、知識項目テキストに対して意味解析を行って、対応する複数のエンティティと意味情報を取得し、エンティティと意味情報に基づいて異種グラフを構築し、異種グラフに基づいて初期の人工知能ネットワークモデルをトレーニングして、多項関係生成モデルを取得することを具体的な実現案とし、複数の知識項目の意味完全性を大いに学習でき、これによって多項関係生成モデルの多項関係表示の精度を効果的に向上させ、より正確な多元知識推理を実現する。【選択図】図１

Description

本出願はコンピュータ技術の分野に関し、具体的には、自然言語処理、深層学習、ナレッジグラフなどの人工知能技術の分野に関し、特に多項関係生成モデルのトレーニング方法、装置、電子機器及び媒体に関する。

人工知能はコンピュータに人間のある思惟過程と知能行為（学習、推理、思考、計画など）をシミュレーションさせることを研究する学科であり、ハードウェアレベルの技術もソフトウェアレベルの技術もある。人工知能ハードウェア技術は一般にセンサー、専用人工知能チップ、クラウド計算、分散記憶、ビッグデータ処理などの技術を含む。人工知能ソフトウェア技術は主にコンピュータ視覚技術、音声認識技術、自然言語処理技術及び機械学習／深層学習、ビッグデータ処理技術、ナレッジグラフ技術などのいくつかの方向を含む。

ナレッジグラフはエンティティと関係によって構成され、世界、分野と言語知識の構造化知識ライブラリを説明し、通常、ナレッジグラフはエンティティ間の二項関係に関することが多く、知識項目を（主語、述語、目的語）形式のトライアド表示、例えば、（マリ・キュリー、受賞した種類、ノーベル物理学賞）として処理する。

多項関係生成モデルのトレーニング方法、装置、電子機器、記憶媒体及びコンピュータプログラム製品を提供する。

第１様態によれば、複数の知識項目テキストを取得するステップと、前記知識項目テキストに対して意味解析を行って、対応する複数のエンティティと意味情報を取得するステップと、前記エンティティと前記意味情報に基づいて異種グラフを構築するステップと、前記異種グラフに基づいて初期の人工知能ネットワークモデルをトレーニングして、多項関係生成モデルを取得するステップと、を含む多項関係生成モデルのトレーニング方法を提供する。

第２様態によれば、複数の知識項目テキストを取得するための取得モジュールと、前記知識項目テキストに対して意味解析を行って、対応する複数のエンティティと意味情報を取得するための解析モジュールと、前記エンティティと前記意味情報に基づいて異種グラフを構築するための構築モジュールと、前記異種グラフに基づいて初期の人工知能ネットワークモデルをトレーニングして、多項関係生成モデルを取得するためのトレーニングモジュールと、を備える多項関係生成モデルのトレーニング装置を提供する。

第３態様によれば、電子機器を提供し、少なくとも１つのプロセッサと、該少なくとも１つのプロセッサと通信可能に接続されるメモリと、を備え、前記メモリには、前記少なくとも１つのプロセッサによって実行可能な命令が記憶され、前記命令が、前記少なくとも１つのプロセッサが本出願の実施例の多項関係生成モデルのトレーニング方法を実行できるように、前記少なくとも１つのプロセッサによって実行される。

第４態様によれば、コンピュータ命令が記憶されている非一時的なコンピュータ読み取り可能な記憶媒体を提供し、前記コンピュータ命令が、前記コンピュータに本出願の実施例に開示された多項関係生成モデルのトレーニング方法を実行させることに用いられる。

第５態様によれば、コンピュータプログラムを提供し、前記コンピュータプログラムがプロセッサによって実行される場合、本出願の実施例に開示された多項関係生成モデルのトレーニング方法を実現する。

この部分に記載されている内容は、本出願の実施例の肝心または重要な特徴を特定することを意図しておらず、本出願の範囲を限定することも意図していないことを理解されたい。本出願の他の特徴は、以下の説明を通して容易に理解される。

図面は、本技術案をよりよく理解するために使用され、本出願を限定するものではない。
本出願の第１実施例に係る概略図である。 本出願の実施例における異種グラフの概略図である。 本出願の第２実施例に係る概略図である。 本出願の実施例における人工知能ネットワークモデルの概略図である。 本出願の第３実施例に係る概略図である。 本出願の第４実施例に係る概略図である。 本出願の実施例の多項関係生成モデルのトレーニング方法を実現する電子機器のブロック図である。

以下、図面と組み合わせて本出願の例示的な実施例を説明し、理解を容易にするためにその中には本出願の実施例の様々な詳細事項を含んでおり、それらは単なる例示的なものと見なされるべきである。したがって、当業者は、本出願の範囲及び精神から逸脱することなく、ここで説明される実施例に対して様々な変更と修正を行うことができることを認識されたい。同様に、明確及び簡潔にするために、以下の説明では、周知の機能及び構造の説明を省略する。

図１は、本出願の第１実施例に係る概略図である。

なお、本実施例の多項関係生成モデルのトレーニング方法の実行主体は多項関係生成モデルのトレーニング装置であり、当該装置はソフトウェア及び／又はハードウェアの方式によって実現されてもよく、当該装置は電子機器に配置されてもよく、端末、サーバ側などを備えるが、これらに限定されない。

本出願の実施例は自然言語処理、深層学習、ナレッジグラフなどの人工知能技術の分野に関する。

人工知能（Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ）は、英語でＡＩと省略される。これは人間の知能をシミュレーション、拡張、拡大する理論、方法、技術及びアプリケーションシステムを研究、開発するための新しい技術科学である。

深層学習はサンプルデータの内的な規則と表示レベルを学習するものであり、これらの学習プロセスで取得された情報は、文字、画像、音声などのデータの解釈に大いに役立つ。その最終的な目標は機械が人間のように分析学習能力を持ち、文字、画像、音声などのデータを認識できるようにすることである。

自然言語処理（Ｎａｔｕｒａｌ Ｌａｎｇｕａｇｅ Ｐｒｏｃｅｓｓｉｎｇ、ＮＬＰ）は、人とコンピュータの間で自然言語を用いて効果的に通信するさまざまな理論と方法を実現することができる。深層学習はサンプルデータの内的な規則と表示レベルを学習するものであり、これらの学習プロセスで取得された情報は文字、画像、音声などのデータの解釈に大いに役立つ。その最終的な目標は機械が人間のように分析学習能力を持ち、文字、画像、音声などのデータを認識できるようにすることである。

ナレッジグラフは、応用数学、図形学、情報の可視化技術、情報科学などの学科理論と方法を、計量学の引用分析、共起分析などの方法と組み合わせて、可視化のグラフを使用して学科の核心構造、発展歴史、先端領域及び全体的な知識構造をイメージ的に展示して多学科融合の目的を達成する現代理論である。

図１に示すように、当該多項関係生成モデルのトレーニング方法は、以下のステップ１０１～１０４を含む。

ステップ１０１において、複数の知識項目テキストを取得する。

知識項目テキストが、例えば「マリ・キュリーは１９０３年にピエール・キュリー、アンリ・ベクレルと共にノーベル物理学賞を受賞した」であるとすると、それは、これは５元関係によって表示された知識項目テキストであり、または、知識項目テキストも、三項関係表示、四項関係表示、六項関係表示などの任意の数の項目の関係表示を含んでもよいが、これに対しては制限をしない。

本出願の実施例では、上記各知識項目テキストにおける項目の関係表示は、任意の数量であってもよく、これによって複数の知識項目テキストをトレーニング用のデータとする場合、トレーニング用のデータの特徴次元を効果的に拡張し、モデルトレーニングの精度を保障することができる。

ステップ１０２において、知識項目テキストに対して意味解析を行って、対応する複数のエンティティと意味情報を取得する。

上記複数の知識項目テキストを取得した後、各知識項目テキストに対して意味解析を行うことができ、その中から各エンティティ、及び当該知識項目テキストの意味情報を取得する。

「マリ・キュリーは１９０３年にピエール・キュリー、アンリ・ベクレルと共にノーベル物理学賞を受賞した」という上記知識項目テキストを例示とすると、エンティティは例えば「マリ・キュリー」「受賞した」「受賞時間」「共同受賞者」「共同受賞者」であってもよく、それに応じて、意味情報は、当該知識項目テキストに対応する意味を説明でき、または、上記各エンティティに対応する実際の意味内容も説明でき、例えば「１９０３年」「ノーベル物理学賞」「ピエール・キュリー」「アンリ・ベクレル」などであり、これに対しては制限をしない。

いくつかの実施例では、知識項目テキストに対して意味解析を行って、対応する複数のエンティティと意味情報を取得するステップは、知識項目テキストに対して意味解析を行って、知識項目テキストにおける複数のエンティティを取得し、複数のエンティティから、主属性と補助属性を決定し、主属性に対応する主内容、及び補助属性に対応する補助内容を決定し、主内容と補助内容を意味情報とすることであってもよい。

例えば、「マリ・キュリーは１９０３年にピエール・キュリー、アンリ・ベクレルと共にノーベル物理学賞を受賞した」という上記知識項目テキストを例示とすると、エンティティは例えば「マリ・キュリー」「受賞した」「受賞時間」「共同受賞者」「共同受賞者」であってもよく、それに応じて、主属性は「受賞した」であってもよく、補助属性は「受賞時間」「共同受賞者」「共同受賞者」であってもよく、それに応じて、主属性「受賞した」に対応する「ノーベル物理学賞」は、主内容と呼ぶことができ、しかしながら、補助属性「受賞時間」に対応する「在１９０３年」、及び補助属性「共同受賞者」に対応する「ピエール・キュリー」「アンリ・ベクレル」は補助内容と呼ぶことができる。

つまり、本出願の実施例では、各複数の知識項目テキストをコアトライアド（当該コアトライアドに少なくとも一部分エンティティ、及びエンティティに対応する内容が含まれる）と補助属性－値ペアとの組み合わせとして先に表示でき、具体的には、「マリ・キュリーは１９０３年にピエール・キュリー、アンリ・ベクレルと共にノーベル物理学賞を受賞した」であり、当該五項知識項目テキストは以下のように表示することができる。
（マリ・キュリー、受賞した種類、ノーベル物理学賞）
｜－受賞時間：１９０３年。
｜－共同受賞者：ピエール・キュリー。
｜－共同受賞者：アンリ・ベクレル。

（マリ・キュリー、受賞した種類、ノーベル物理学賞）はコアトライアドであり、「受賞時間：１９０３年」、「共同受賞者：ピエール・キュリー」、「共同受賞者：アンリ・ベクレル」は３組の補助属性－値ペアであり、コアトライアドを補充する。

本出願の実施例では、上記コアトライアドのマリ・キュリー、受賞した種類、を対応するエンティティとして抽象し、且つトライアドのマリ・キュリー、受賞した種類、を主属性として、上記補助属性と組み合わせることができ、または、他の任意の可能な組み合わせ方式であってもよい、これに対しては制限をしない。

上記知識項目テキストに対して意味解析を行って、知識項目テキストにおける複数のエンティティを取得し、複数のエンティティから、主属性と補助属性を決定し、主属性に対応する主内容、及び補助属性に対応する補助内容を決定し、主内容と補助内容を意味情報とする。以上により、トレーニング用のデータの特徴次元を効果的に拡張し、モデルトレーニングの精度を保障することができるため、トレーニングして取得された多項関係生成モデルが複数の知識項目の意味完全性を大いに学習できるようにする。

他のいくつかの実施例では、他の任意の可能な方式を用いて知識項目テキストに対して意味解析を行うことができて、対応する複数のエンティティと意味情報を取得し、例えば数学の方式、エンジニアリングの方式などであり、これに対しては制限をしない。

ステップ１０３において、エンティティと意味情報に基づいて異種グラフを構築する。

上記知識項目テキストに対して意味解析を行って、対応する複数のエンティティと意味情報を取得した後、エンティティと意味情報に基づいて異種グラフを構築することができる。

異種グラフはグラフィカルモデルであり、グラフィカルモデルは、深層学習のグラフィカルモデルであってもよく、または人工知能技術の分野において他の任意の可能な構造形式のグラフィカルモデルであってもよく、これに対しては制限をしない。異種グラフには、一種以上のノードとエッジが存在してもよく、異なるタイプのノードが異なる次元の特徴または属性を有することが可能であり、つまり、本出願は、エンティティと意味情報に基づいて異種グラフを構築し、当該異種グラフのノードのタイプは同じであってもよいし、または異なってもよく、当該異種グラフは、知識項目テキストに関連する異なる次元の特徴または属性を備えることができる。

選択可能に、いくつかの実施例では、エンティティと意味情報に基づいて異種グラフを構築するステップは、エンティティ、主属性、補助属性、主内容、及び補助内容をそれぞれ対応するノードにマッピングし、エンティティ、主属性、補助属性、主内容、及び補助内容の品詞をそれぞれ用いて、対応するノードの品詞を説明し、対応関係を有するノードの間にエッジを構築し、エッジに接続されるノードに対応する品詞に基づいて、エッジの品詞タイプを生成し、及び品詞タイプを用いてエッジにラベル付けして、ノード、エッジ、及びエッジのラベルに基づいて異種グラフを構築することであってもよい。

そのうちの品詞、主語、述語、目的語のようなものであり、１つのエッジが２つのノードに接続される可能性があるため、２つのノードに対応する品詞がそれぞれ主語、述語である場合、対応する当該エッジの品詞タイプは主語－述語のタイプである。

例を挙げて以下のように説明する。各複数の知識項目テキストはコアトライアド（ｓ，ｒ，ｏ）と補助属性－値ペア（ａｉ，ｖｉ）の組み合わせ、即ち、

として表示され、ｍは補助属性－値ペアの数であり、本出願の実施例では、

のような形の複数の知識項目テキストを１つの異種グラフＧ＝（Ｅ，Ｌ）として完全に表示することができ、図２に示すように、図２は本出願の実施例における異種グラフの概略図であり、図２では、異なる形態のエッジは１つの品詞タイプに対応し、Ｅは図上のノード集合であり、対応する複数の知識項目テキストにおけるすべてのエンティティ（値）と関係（属性）を含み、即ち、Ｅ＝｛ｒ，ｓ，ｏ，ａ１，・・・，ａｍ，ｖ１，・・・，ｖｍ｝である。Ｌは図上のエッジのセットであり、４つの品詞タイプ、合計で（２ｍ＋２）本のエッジを含み、即ち、
主語－述語型のエッジ（ｓ，ｒ）、合計１本、
目的語－述語型のエッジ（ｏ，ｒ）、合計１本、
述語－属性型のエッジ（ｒ，ａｉ）、合計ｍ本、
属性－値型のエッジ（ａｉ，ｖｉ）、合計ｍ本。

本出願の実施例の異種グラフ、そのノードと連結エッジは対応する品詞タイプがあり、ノードはエンティティと関係（関係は主属性、補助属性、主内容、及び補助内容を含む）という２つのタイプに分かれ、連結エッジの品詞タイプは主語－述語、目的語－述語、述語－属性、属性－値という４つのタイプであってもよい。本出願の実施例では、エンティティと意味情報に基づいて異種グラフを構築することにより、意味情報を損失しない前提で知識項目の完全性を最大限に保留でき、当該異種グラフが複数の知識項目テキストの意味情報を完全に保留できるようにして、多項関係生成モデルのモデリング効果の向上を効果的に補助することができる。

ステップ１０４において、異種グラフに基づいて初期の人工知能ネットワークモデルをトレーニングして、多項関係生成モデルを取得する。

上記エンティティと意味情報に基づいて異種グラフを構築した後、異種グラフに基づいて初期の人工知能ネットワークモデルをトレーニングして、多項関係生成モデルを取得することができ、例えば、初期の人工知能ネットワークモデルが収束するまで、異種グラフの各ノードとエッジ、及びノードとエッジが備える複数の次元の特徴または属性を初期の人工知能ネットワークモデルに入力することができ、したがってトレーニングして取得された人工知能ネットワークモデルを多項関係生成モデルとする。

上記人工知能ネットワークモデルは、例えば、ニューラルネットワーク、機器学習モデルであってもよい。本出願の実施例では、グラフニューラルネットワークを用いてトレーニングして、多項関係生成モデルを取得することができ、グラフニューラルネットワーク技術を用いて当該異種グラフをモデリングし、複数の知識項目テキストの各要素（エンティティ、主属性、補助属性およびその対応する内容）間の潜在的な関連を十分に捉えることができる。

本実施例では、複数の知識項目テキストを取得し、知識項目テキストに対して意味解析を行って、対応する複数のエンティティと意味情報を取得し、エンティティと意味情報に基づいて異種グラフを構築し、異種グラフに基づいて初期の人工知能ネットワークモデルをトレーニングして、多項関係生成モデルを取得することにより、複数の知識項目の意味完全性を大いに学習でき、これによって多項関係生成モデルの多項関係表示の精度を効果的に向上させ、より正確な多元知識推理を実現する。

図３は本出願の第２実施例に係る概略図である。

図３に示すように、当該多項関係生成モデルのトレーニング方法は以下のステップ３０１～３０７を含む。

ステップ３０１において、複数の知識項目テキストを取得する。

ステップ３０２において、知識項目テキストに対して意味解析を行って、対応する複数のエンティティと意味情報を取得する。

ステップ３０３において、エンティティと意味情報に基づいて異種グラフを構築する。

ステップ３０１～３０３の説明は、上記実施例を具体的に参照してもよく、ここでは説明を省略する。

ステップ３０４において、異種グラフを入力表現層に入力して、入力表現層から出力された、ノードに対応するベクトル表示を取得し、ベクトル表示は、ノードに対応する内容の間の意味関係を説明する。

つまり、本出願の実施例における初期の人工知能ネットワークモデルは、入力表現層、グラフ注意層（当該グラフ注意層の数量は多層、例えばＬ層であってもよく、各層グラフ注意層は順に並べる）、及び線形予測層を含む。

図４に示すように、本出願の実施例における人工知能ネットワークモデルの概略図であり、入力表現層、Ｌ層のグラフ注意層、及び線形予測層を含む。

上記エンティティと意味情報に基づいて異種グラフを構築した後、異種グラフを入力表現層に入力して、入力表現層から出力された、ノードに対応するベクトル表示を取得することができ、ベクトル表示がノードに対応する内容の間の意味関係を説明できるようにし、これによって異種グラフと人工知能ネットワークモデルを効果的に融合させ、人工知能ネットワークモデルがノードに対応する内容の間の意味関係を迅速に学習できるようにする。

ステップ３０５において、異種グラフをグラフ注意層に入力して、グラフ注意層から出力された、エッジの品詞タイプに対応する適応係数を取得する。

上記異種グラフを入力表現層に入力し、入力表現層から出力された、ノードに対応するベクトル表示を取得した後、さらに、入力表現層から出力されたベクトル表示を異種グラフのノードのラベルとし、且つラベル付けされた異種グラフをグラフ注意層に入力して、グラフ注意層から出力された、エッジの品詞タイプに対応する適応係数を取得することができ、当該適応係数の形式は具体的には１つのベクトルであってもよく、適応係数は、その対応するエッジの品詞タイプが全体の知識項目テキストを占める比率を説明することに用いてもよい。

異種グラフをグラフ注意層に入力して、グラフ注意層から出力された、エッジの品詞タイプに対応する適応係数を取得した後、適応係数に基づいてグラフ注意層の注意強度値を調整してもよく、これによってより正確な、連結エッジを感知する自己注意力規制を生成し、グラフの異種性を迅速で正確にモデリングすることを実現する。

ステップ３０６において、ベクトル表示と適応係数が線形予測層に入力されることに基づいて、線形予測層から出力された予測多項関係を取得する。

上記異種グラフを入力表現層に入力して、入力表現層から出力された、ノードに対応するベクトル表示を取得し、異種グラフをグラフ注意層に入力して、グラフ注意層から出力された、エッジの品詞タイプに対応する適応係数を取得した後、ベクトル表示と適応係数が線形予測層に入力されることに基づいて、線形予測層から出力された予測多項関係を取得することができる。

つまり、トレーニングプロセスにおいて、複数の知識項目テキストを用いて初期の人工知能ネットワークモデルをトレーニングし、すなわち初期の人工知能ネットワークモデルを用いて各知識項目テキストに対応する多項関係を予測し、当該予測で取得された多項関係は、予測多項関係と呼ぶことができ、その後、予測多項関係に基づいて人工知能ネットワークモデルが収束すると判定されるまで、予測多項関係に対して対応の判定を行う。

例えば、多元知識推理を異種グラフ上のノード予測問題に変換し、複数の知識項目

の主語ｓの予測を例（予測して取得された多項関係、すなわち予測多項関係と呼ぶことができる）とすると、人工知能ネットワークモデルの入力はすなわちはノードの欠損の異種グラフ

であり、出力は予測多項関係（予測して取得されたターゲットノード主語ｓを含む）であるべきである。

ステップ３０７において、予測多項関係とラベル付け多項関係に基づいて初期の人工知能ネットワークモデルをトレーニングして、多項関係生成モデルを取得する。

選択可能に、いくつかの実施例では、予測多項関係とラベル付け多項関係に基づいて初期の人工知能ネットワークモデルをトレーニングして、多項関係生成モデルを取得するステップは、予測多項関係とラベル付け多項関係との間の損失値を決定し、損失値が設定された損失閾値を満たす場合、トレーニングして取得された人工知能ネットワークモデルを多項関係生成モデルとすることであってもよく、これによってより良いモデルトレーニング効果を実現する。

当該損失値は初期の人工知能ネットワークモデルに対応する損失関数によって計算して取得されたものであってもよい。その適用において、損失関数は通常学習基準として最適化問題に関連し、すなわち損失関数の最小化によって解を求めてモデルを評価し、これによって本出願の実施例では、予測多項関係とラベル付け多項関係との間の損失値を決定でき、その後、当該損失値を用いてトレーニングプロセスを指導する。

上記予測多項関係とラベル付け多項関係との間の損失値を決定した後、損失値が設定された損失閾値を満たすかどうかをリアルタイムに判定することができ（当該設定された損失閾値は、予め較正された、人工知能ネットワークモデルが収束する損失値を判定する閾値であってもよい）、損失値が設定された損失閾値を満たす場合、トレーニングして取得された人工知能ネットワークモデルを多項関係生成モデルとし、すなわちモデルトレーニングが完了し、この時の多項関係生成モデルは予め設定された収束条件を満たす。

本実施例では、複数の知識項目テキストを取得し、知識項目テキストに対して意味解析を行って、対応する複数のエンティティと意味情報を取得し、エンティティと意味情報に基づいて異種グラフを構築し、異種グラフに基づいて初期の人工知能ネットワークモデルをトレーニングして、多項関係生成モデルを取得することにより、複数の知識項目の意味完全性を大いに学習でき、これによって多項関係生成モデルの多項関係表示の精度を効果的に向上させ、より正確な多元知識推理を実現する。エンティティと意味情報に基づいて異種グラフを構築した後、異種グラフを入力表現層に入力できて、入力表現層から出力された、ノードに対応するベクトル表示を取得し、異種グラフをグラフ注意層に入力して、グラフ注意層から出力された、エッジの品詞タイプに対応する適応係数を取得し、ベクトル表示と適応係数が線形予測層に入力されることに基づいて、線形予測層から出力された予測多項関係を取得し、ベクトル表示がノードに対応する内容の間の意味関係を説明できるようにさせ、これによって異種グラフと人工知能ネットワークモデルを効果的に融合させ、人工知能ネットワークモデルがノードに対応する内容の間の意味関係を迅速に学習するようにする。異種グラフをグラフ注意層に入力して、グラフ注意層から出力された、エッジの品詞タイプに対応する適応係数を取得した後、適応係数に基づいてグラフ注意層の注意強度値も調整でき、これによってより正確な、連結エッジを感知する自己注意力規制を生成し、グラフの異種性を迅速で正確にモデリングすることを実現する。

図５は本出願の第３実施例に係る概略図である。

図５に示すように、当該多項関係生成モデルのトレーニング装置５０は、複数の知識項目テキストを取得するための取得モジュール５０１と、知識項目テキストに対して意味解析を行って、対応する複数のエンティティと意味情報を取得するための解析モジュール５０２と、エンティティと意味情報に基づいて異種グラフを構築するための構築モジュール５０３と、異種グラフに基づいて初期の人工知能ネットワークモデルをトレーニングして、多項関係生成モデルを取得するためのトレーニングモジュール５０４と、を備える。

本出願のいくつかの実施例では、解析モジュール５０２は、具体的に、知識項目テキストに対して意味解析を行って、知識項目テキストにおける複数のエンティティを取得し、複数のエンティティから、主属性と補助属性を決定し、主属性に対応する主内容、及び補助属性に対応する補助内容を決定し、主内容と補助内容を意味情報とすることに用いられる。

本出願のいくつかの実施例では、図６に示すように、図６は、本出願の第４実施例に係る概略図であり、当該多項関係生成モデルのトレーニング装置６０は、取得モジュール６０１、解析モジュール６０２、構築モジュール６０３、及びトレーニングモジュール６０４を備え、構築モジュール６０３は、エンティティ、主属性、補助属性、主内容、及び補助内容をそれぞれ対応するノードにマッピングし、エンティティ、主属性、補助属性、主内容、及び補助内容の品詞をそれぞれ用いて、対応するノードの品詞を説明するためのマッピングサブモジュール６０３１と、対応関係を有するノードの間にエッジを構築する第１構築サブモジュール６０３２と、エッジに接続されるノードに対応する品詞に基づいて、エッジの品詞タイプを生成するための生成サブモジュール６０３３と、品詞タイプを用いてエッジにラベル付けして、ノード、エッジ、及びエッジのラベルに基づいて異種グラフを構築するための第２構築サブモジュール６０３４と、を備える。

本出願のいくつかの実施例では、初期の人工知能ネットワークモデルは、入力表現層、グラフ注意層、及び線形予測層を含み、トレーニングモジュール６０４は、具体的に、異種グラフを入力表現層に入力して、入力表現層から出力された、ノードに対応するベクトル表示を取得し、ベクトル表示が、ノードに対応する内容の間の意味関係を説明し、異種グラフをグラフ注意層に入力して、グラフ注意層から出力された、エッジの品詞タイプに対応する適応係数を取得し、ベクトル表示と適応係数が線形予測層に入力されることに基づいて、線形予測層から出力された予測多項関係を取得し、予測多項関係とラベル付け多項関係に基づいて初期の人工知能ネットワークモデルをトレーニングして、多項関係生成モデルを取得することに用いられる。

本出願のいくつかの実施例では、トレーニングモジュール６０４は、具体的には、適応係数に基づいてグラフ注意層の注意強度値を調整することに用いられる。

本出願のいくつかの実施例では、トレーニングモジュール６０４は、具体的には、予測多項関係とラベル付け多項関係との間の損失値を決定し、損失値が設定された損失閾値を満たす場合、トレーニングして取得された人工知能ネットワークモデルを多項関係生成モデルとすることに用いられる。

本実施例の図６の多項関係生成モデルのトレーニング装置６０と上記実施例の多項関係生成モデルのトレーニング装置５０、取得モジュール６０１と上記実施例の取得モジュール５０１、解析モジュール６０２と上記実施例の解析モジュール５０２、構築モジュール６０３と上記実施例の構築モジュール５０３、トレーニングモジュール６０４と上記実施例のトレーニングモジュール５０４は、同じ機能と構造を有してもよいと理解されることができる。

なお、前記多項関係生成モデルのトレーニング方法に対する説明は本実施例の多項関係生成モデルのトレーニング装置にも適用され、ここでは説明を省略する。

本実施例では、複数の知識項目テキストを取得し、知識項目テキストに対して意味解析を行って、対応する複数のエンティティと意味情報を取得し、エンティティと意味情報に基づいて異種グラフを構築し、異種グラフに基づいて初期の人工知能ネットワークモデルをトレーニングして、多項関係生成モデルを取得することにより、複数の知識項目の意味完全性を大いに学習でき、これによって多項関係生成モデルの多項関係表示の精度を効果的に向上させ、より正確な多元知識推理を実現する。

本出願の実施例によれば、本出願は、電子機器、読み取り可能な記憶媒体、及びコンピュータプログラム製品をさらに提供する。

図７は、本出願の実施例の多項関係生成モデルのトレーニング方法を実現する電子機器のブロック図である。電子機器は、ラップトップコンピュータ、デスクトップコンピュータ、ワークステーション、パーソナルデジタルアシスタント、サーバ、ブレードサーバ、メインフレームコンピュータ、及び他の適切なコンピュータなどの様々な形式のデジタルコンピュータを表すことを目的とする。電子機器は、携帯情報端末、携帯電話、スマートフォン、ウェアラブルデバイス、及び他の同様のコンピューティングデバイスなどの様々な形式のモバイルデバイスを表すこともできる。本明細書で示されるコンポーネント、それらの接続と関係、及びそれらの機能は、単なる例であり、本明細書の説明及び／又は要求される本出願の実現を制限することを意図したものではない。

図７に示すように、電子機器７００は、読み取り専用メモリ（ＲＯＭ）７０２に記憶されるコンピュータプログラムまたはメモリ７０８からランダムアクセスメモリ（ＲＡＭ）７０３にロードされたコンピュータプログラムに従って様々な適切な動作および処理を実行する計算ユニット７０１を備える。ＲＡＭ ７０３には、デバイス７００の動作に必要な各種プログラムやデータも記憶されてもよい。計算ユニット７０１、ＲＯＭ７０２、およびＲＡＭ７０３は、バス７０４を介して互いに接続されておる。

デバイス７００の複数のコンポーネントはＩ／Ｏインタフェース７０５に接続され、キーボード、マウスなどの入力ユニット７０６、各タイプのディスプレイ、スピーカなどの出力ユニット７０７、磁気ディスク、光ディスクなどの記憶ユニット７０８、およびネットワークカード、モデム、無線通信トランシーバなどの通信ユニット７０９を備える。通信ユニット７０９は、デバイス７００が、インターネットなどのコンピュータネットワーク及び／又は各種の電信ネットワークを介して他のデバイスと情報／データを交換することを可能にする。

計算ユニット７０１は、処理および計算能力を有する様々な汎用及び／又は専用の処理コンポーネントであってもよい。計算ユニット７０１のいくつかの例は、中央処理ユニット（ＣＰＵ）、グラフィック処理ユニット（ＧＰＵ）、各種の専用の人工知能（ＡＩ）計算チップ、各種のマシン運転学習モデルアルゴリズムの計算ユニット、デジタル信号プロセッサ（ＤＳＰ）、およびいずれかの適切なプロセッサ、コントローラ、マイクロコントローラなどを含むが、これらに限定されない。計算ユニット７０１は、上記に記載された各方法および処理、例えば、多項関係生成モデルのトレーニング方法を実行する。

例えば、いくつかの実施例では、多項関係生成モデルのトレーニング方法を、記憶ユニット７０８などの機械読み取り可能な媒体に有形的に含まれるコンピュータソフトウェアプログラムとして実現することができる。いくつかの実施例では、いくつかの実施例では、コンピュータプログラムの一部または全部はＲＯＭ７０２および／または通信ユニット７０９を介してデバイス７００にロードおよび／またはインストールされてもよい。コンピュータプログラムがＲＡＭ７０３にロードされ、計算ユニット７０１によって実行される場合、上記に記載された多項関係生成モデルのトレーニング方法の１つまたは複数のステップが実行されてもよい。代替的に、他の実施例では、計算ユニット７０１は多項関係生成モデルのトレーニング方法を実行するように、他のいずれかの適切な方式（例えば、ファームウェアを介して）によって配置されてもよい。

本明細書で記載されたシステムと技術の様々な実施方式は、デジタル電子回路システム、集積回路システム、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）、特定用途向け標準製品（ＡＳＳＰ）、システムオンチップ（ＳＯＣ）、コンプレックス・プログラマブル・ロジック・デバイス（ＣＰＬＤ）、コンピュータハードウェア、ファームウェア、ソフトウェア、及び／又はそれらの組み合わせで実現することができる。これらの様々な実施形態は、１つ又は複数のコンピュータプログラムで実施されることを含むことができ、当該１つ又は複数のコンピュータプログラムは、少なくとも１つのプログラマブルプロセッサを備えるプログラム可能なシステムで実行及び／又は解釈することができ、当該プログラマブルプロセッサは、特定用途向け又は汎用プログラマブルプロセッサであってもよく、ストレージシステム、少なくとも１つの入力装置、及び少なくとも１つの出力装置からデータ及び命令を受信し、データ及び命令を当該ストレージシステム、当該少なくとも１つの入力装置、及び当該少なくとも１つの出力装置に伝送することができる。

本出願の多項関係生成モデルのトレーニング方法を実施するためのプログラムコードは、１つ又は複数のプログラミング言語の任意の組み合わせで書くことができる。これらのプログラムコードは、プロセッサ又はコントローラによって実行された際に、フローチャート及び／又はブロック図に規定された機能／動作が実施されるように、汎用コンピュータ、専用コンピュータ、又は他のプログラマブルデータ処理装置のプロセッサ又はコントローラに提供されてもよい。プログラムコードは、完全に機械上で実行され、部分的に機械上で実行され、スタンドアロンソフトウェアパッケージとして、部分的に機械上で実行され、かつ部分的にリモート機械上で実行され、又は完全にリモート機械又はサーバ上で実行されてもよい。

本出願のコンテクストでは、機械読み取り可能な媒体は、命令実行システム、装置、またはデバイスによって使用されるために、又は命令実行システム、装置、またはデバイスと組み合わせて使用するためのプログラムを含むか、又は記憶することができる有形の媒体であってもよい。機械読み取り可能な媒体は、機械読み取り可能な信号媒体または機械読み取り可能な記憶媒体であってもよい。機械読み取り可能な媒体は、電子的、磁気的、光学的、電磁気的、赤外線的、又は半導体システム、装置又はデバイス、または上記内容のいずれかの適切な組み合わせを含むことができるが、これらに限定されない。機械読み取り可能な記憶媒体のより具体的な例は、１つ又は複数のラインに基づく電気的接続、ポータブルコンピュータディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、リードオンリーメモリ（ＲＯＭ）、消去可能プログラマブルリードオンリーメモリ（ＥＰＲＯＭ又はフラッシュメモリ）、光ファイバ、ポータブルコンパクトディスクリードオンリーメモリ（ＣＤ－ＲＯＭ）、光学記憶装置、磁気記憶装置、または上記内容のいずれかの適切な組み合わせを含む。

ユーザとのインタラクションを提供するために、ここで説明されているシステム及び技術をコンピュータ上で実施することができ、当該コンピュータは、ユーザに情報を表示するためのディスプレイ装置（例えば、ＣＲＴ（陰極線管）又はＬＣＤ（液晶ディスプレイ）モニタ）と、キーボード及びポインティングデバイス（例えば、マウス又はトラックボール）とを有し、ユーザは、当該キーボード及び当該ポインティングデバイスによって入力をコンピュータに提供することができる。他の種類の装置も、ユーザとのインタラクションを提供することができ、例えば、ユーザに提供されるフィードバックは、任意の形式のセンシングフィードバック（例えば、視覚フィードバック、聴覚フィードバック、又は触覚フィードバック）であってもよく、任意の形式（音響入力と、音声入力、または、触覚入力とを含む）でユーザからの入力を受信することができる。

ここで説明されるシステム及び技術は、バックエンドコンポーネントを備えるコンピューティングシステム（例えば、データサーバとする）、又はミドルウェアコンポーネントを備えるコンピューティングシステム（例えば、アプリケーションサーバー）、又はフロントエンドコンポーネントを備えるコンピューティングシステム（例えば、グラフィカルユーザインタフェース又はウェブブラウザを有するユーザコンピュータ、ユーザは、当該グラフィカルユーザインタフェース又は当該ウェブブラウザによってここで説明されるシステム及び技術の実施形態とインタラクションする）、又はこのようなバックエンドコンポーネントと、ミドルウェアコンポーネントと、フロントエンドコンポーネントの任意の組み合わせを備えるコンピューティングシステムで実施することができる。任意の形式又は媒体のデジタルデータ通信（例えば、通信ネットワーク）によってシステムのコンポーネントを相互に接続することができる。通信ネットワークの例は、ローカルエリアネットワーク（ＬＡＮ）と、ワイドエリアネットワーク（ＷＡＮ）と、インターネットと、ブロックチェーンネットワークを含む。

コンピュータシステムは、クライアントとサーバを備えることができる。クライアントとサーバは、一般に、互いに離れており、通常に通信ネットワークを介してインタラクションする。対応するコンピュータ上で実行され、かつ互いにクライアント－サーバ関係を有するコンピュータプログラムによってクライアントとサーバとの関係が生成される。サーバはクラウドサーバであってもよく、クラウドコンピューティングサーバまたはクラウドホストとも呼ばれ、クラウドコンピューティングサービスシステムにおける１つのホスト製品であり、従来の物理ホストとＶＰＳサービス（Ｖｉｒｔｕａｌ Ｐｒｉｖａｔｅ Ｓｅｒｖｅｒ，または ＶＰＳと省略する）に存在する管理の難しさ、業務拡張性の弱いという欠陥を解決した。サーバは分散システムのサーバであってもよく、またはブロックチェーンと組み合わせたサーバであってもよい。

なお、上記に示される様々な形式のフローを使用して、ステップを並べ替え、追加、又は削除することができることを理解されたい。例えば、本開示に記載されている各ステップは、並列に実行されてもよいし、順次実行されてもよいし、異なる順序で実行されてもよいが、本出願で開示されている技術案の所望の結果を実現することができれば、本明細書では限定されない。

上記具体的な実施形態は、本出願の保護範囲を制限するものではない。当業者は、設計要件と他の要因に応じて、様々な修正、組み合わせ、サブコンビネーション、及び代替を行うことができることを理解されたい。任意の本出願の精神と原則内で行われる修正、同等の置換、及び改善などは、いずれも本出願の保護範囲内に含まれなければならない。

Claims (15)

1. 複数の知識項目テキストを取得するステップと、
   前記知識項目テキストに対して意味解析を行って、対応する複数のエンティティと意味情報を取得するステップと、
   前記エンティティと前記意味情報に基づいて異種グラフを構築するステップと、
   前記異種グラフに基づいて初期の人工知能ネットワークモデルをトレーニングして、多項関係生成モデルを取得するステップと、
   を含む、多項関係生成モデルのトレーニング方法。
2. 前記知識項目テキストに対して意味解析を行って、対応する複数のエンティティと意味情報を取得するステップが、
   前記知識項目テキストに対して意味解析を行って、前記知識項目テキストにおける前記複数のエンティティを取得するステップと、
   前記複数のエンティティから、主属性と補助属性を決定するステップと、
   前記主属性に対応する主内容、及び前記補助属性に対応する補助内容を決定するステップと、
   前記主内容と前記補助内容を前記意味情報とするステップと、
   を含む請求項１に記載の方法。
3. 前記エンティティと前記意味情報に基づいて異種グラフを構築するステップが、
   前記エンティティ、前記主属性、前記補助属性、前記主内容、及び前記補助内容をそれぞれ対応するノードにマッピングするステップと、
   前記エンティティ、前記主属性、前記補助属性、前記主内容、及び前記補助内容の品詞をそれぞれ用いて、対応するノードの品詞を説明するステップと、
   対応関係を有するノードの間にエッジを構築するステップと、
   前記エッジに接続されるノードに対応する品詞に基づいて、前記エッジの品詞タイプを生成するステップと、
   前記品詞タイプを用いて前記エッジにラベル付けして、前記ノード、前記エッジ、及び前記エッジのラベルに基づいて前記異種グラフを構築するステップと、
   を含む請求項２に記載の方法。
4. 前記初期の人工知能ネットワークモデルは、入力表現層、グラフ注意層、及び線形予測層を含み、前記異種グラフに基づいて初期の人工知能ネットワークモデルをトレーニングして、多項関係生成モデルを取得するステップが、
   前記異種グラフを前記入力表現層に入力して、前記入力表現層から出力された、前記ノードに対応するベクトル表示を取得するステップであって、前記ベクトル表示は、前記ノードに対応する内容の間の意味関係を説明するステップと、
   前記異種グラフを前記グラフ注意層に入力して、前記グラフ注意層から出力された、前記エッジの品詞タイプに対応する適応係数を取得するステップと、
   前記ベクトル表示と前記適応係数が前記線形予測層に入力されることに基づいて、前記線形予測層から出力された予測多項関係を取得するステップと、
   前記予測多項関係とラベル付け多項関係に基づいて前記初期の人工知能ネットワークモデルをトレーニングして、多項関係生成モデルを取得するステップと、
   を含む請求項３に記載の方法。
5. 前記異種グラフを前記グラフ注意層に入力して、前記グラフ注意層から出力された、前記エッジの品詞タイプに対応する適応係数を取得するステップの後、
   前記適応係数に基づいて前記グラフ注意層の注意強度値を調整するステップを含む請求項４に記載の方法。
6. 前記予測多項関係とラベル付け多項関係に基づいて前記初期の人工知能ネットワークモデルをトレーニングして、多項関係生成モデルを取得するステップが、
   前記予測多項関係とラベル付け多項関係との間の損失値を決定するステップと、
   前記損失値が設定された損失閾値を満たす場合、トレーニングして取得された人工知能ネットワークモデルを前記多項関係生成モデルとするステップと、
   を含む請求項４に記載の方法。
7. 複数の知識項目テキストを取得するための取得モジュールと、
   前記知識項目テキストに対して意味解析を行って、対応する複数のエンティティと意味情報を取得するための解析モジュールと、
   前記エンティティと前記意味情報に基づいて異種グラフを構築するための構築モジュールと、
   前記異種グラフに基づいて初期の人工知能ネットワークモデルをトレーニングして、多項関係生成モデルを取得するためのトレーニングモジュールと、
   を備える、多項関係生成モデルのトレーニング装置。
8. 前記解析モジュールが、
   前記知識項目テキストに対して意味解析を行って、前記知識項目テキストにおける前記複数のエンティティを取得し、
   前記複数のエンティティから、主属性と補助属性を決定し、
   前記主属性に対応する主内容、及び前記補助属性に対応する補助内容を決定し、
   前記主内容と前記補助内容を前記意味情報とすることに用いられる請求項７に記載の装置。
9. 前記構築モジュールが、
   前記エンティティ、前記主属性、前記補助属性、前記主内容、及び前記補助内容をそれぞれ対応するノードにマッピングし、前記エンティティ、前記主属性、前記補助属性、前記主内容、及び前記補助内容の品詞をそれぞれ用いて、対応するノードの品詞を説明するためのマッピングサブモジュールと、
   対応関係を有するノードの間にエッジを構築する第１構築サブモジュールと、
   前記エッジに接続されるノードに対応する品詞に基づいて、前記エッジの品詞タイプを生成するための生成サブモジュールと、
   前記品詞タイプを用いて前記エッジにラベル付けして、前記ノード、前記エッジ、及び前記エッジのラベルに基づいて前記異種グラフを構築するための第２構築サブモジュールと、
   を備える請求項８に記載の装置。
10. 前記初期の人工知能ネットワークモデルが、入力表現層、グラフ注意層、及び線形予測層を含み、前記トレーニングモジュールが、
    前記異種グラフを前記入力表現層に入力して、前記入力表現層から出力された、前記ノードに対応するベクトル表示を取得し、前記ベクトル表示が、前記ノードに対応する内容の間の意味関係を説明し、
    前記異種グラフを前記グラフ注意層に入力して、前記グラフ注意層から出力された、前記エッジの品詞タイプに対応する適応係数を取得し、
    前記ベクトル表示と前記適応係数が前記線形予測層に入力されることに基づいて、前記線形予測層から出力された予測多項関係を取得し、
    前記予測多項関係とラベル付け多項関係に基づいて前記初期の人工知能ネットワークモデルをトレーニングして、多項関係生成モデルを取得することに用いられる請求項９に記載の装置。
11. 前記トレーニングモジュールが、前記適応係数に基づいて前記グラフ注意層の注意強度値を調整することに用いられる請求項１０に記載の装置。
12. 前記トレーニングモジュールが、
    前記予測多項関係とラベル付け多項関係との間の損失値を決定し、
    前記損失値が設定された損失閾値を満たす場合、トレーニングして取得された人工知能ネットワークモデルを前記多項関係生成モデルとすることに用いられる請求項１０に記載の装置。
13. 少なくとも１つのプロセッサと、
    該少なくとも１つのプロセッサと通信可能に接続されるメモリと、
    を備え、
    前記メモリには、前記少なくとも１つのプロセッサによって実行可能な命令が記憶され、前記命令が、前記少なくとも１つのプロセッサが請求項１から６のいずれか一項に記載の方法を実行できるように、前記少なくとも１つのプロセッサによって実行される電子機器。
14. コンピュータ命令が記憶されている非一時的なコンピュータ読み取り可能な記憶媒体であって、
    前記コンピュータ命令は、コンピュータに請求項１から６のいずれか一項に記載の方法を実行させることに用いられる非一時的なコンピュータ読み取り可能な記憶媒体。
15. コンピュータプログラムがプロセッサによって実行される場合、請求項１から６のいずれか一項に記載の方法を実現するコンピュータプログラム。

Images