JP2021174557A - ナレッジグラフを決定するための装置及び方法 - Google Patents
ナレッジグラフを決定するための装置及び方法 Download PDFInfo
- Publication number
- JP2021174557A JP2021174557A JP2021076267A JP2021076267A JP2021174557A JP 2021174557 A JP2021174557 A JP 2021174557A JP 2021076267 A JP2021076267 A JP 2021076267A JP 2021076267 A JP2021076267 A JP 2021076267A JP 2021174557 A JP2021174557 A JP 2021174557A
- Authority
- JP
- Japan
- Prior art keywords
- embedding
- classifier
- determined
- word
- function
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 31
- 238000012549 training Methods 0.000 claims abstract description 32
- 239000013598 vector Substances 0.000 claims description 35
- 238000013507 mapping Methods 0.000 claims description 17
- 239000000463 material Substances 0.000 claims description 5
- 238000004590 computer program Methods 0.000 claims 1
- 230000006870 function Effects 0.000 description 43
- 238000013528 artificial neural network Methods 0.000 description 12
- 239000007943 implant Substances 0.000 description 8
- 230000014509 gene expression Effects 0.000 description 7
- 230000015654 memory Effects 0.000 description 5
- JXSJBGJIGXNWCI-UHFFFAOYSA-N diethyl 2-[(dimethoxyphosphorothioyl)thio]succinate Chemical compound CCOC(=O)CC(SP(=S)(OC)OC)C(=O)OCC JXSJBGJIGXNWCI-UHFFFAOYSA-N 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 210000002569 neuron Anatomy 0.000 description 3
- 230000000306 recurrent effect Effects 0.000 description 3
- 230000002457 bidirectional effect Effects 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/04—Inference or reasoning models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/279—Recognition of textual entities
- G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
- G06F40/295—Named entity recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/02—Knowledge representation; Symbolic representation
- G06N5/022—Knowledge engineering; Knowledge acquisition
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Informatics (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Editing Of Facsimile Originals (AREA)
Abstract
【課題】ナレッジグラフを決定する単語用のモデルを用いたクラス分類決定方法及び装置を提供する。【解決手段】方法は、単語のための第1の埋め込みのために、関数を用いて第2の埋め込みを決定し、第2の埋め込みのために、第1のクラス分類器を用いて、単語がナレッジグラフのためのエンティティであるかどうか又はナレッジグラフのためのどのエンティティ若しくはどのタイプのエンティティに、ナレッジグラフの単語が割り当てられているかを定義する第1のクラス分類を決定し、第2の埋め込みのために、第2のクラス分類器を用いて、複数のタイプの埋め込みからどのタイプの埋め込みに第2の埋め込みが割り当てられているかを定義する第2のクラス分類を決定する。関数用の少なくとも1つのパラメータは、第1のクラス分類器のトレーニング用の少なくとも1つの勾配に依存し、かつ、第2のクラス分類器のトレーニング用の少なくとも1つの勾配に依存する。【選択図】なし
Description
本発明は、ナレッジグラフを決定するための装置及び方法に関する。
背景技術
ナレッジグラフとは、知識に基づくシステムにおいて、知識をグラフ形式に構造化して蓄積したものを指すものと理解される。ナレッジグラフには複数のエンティティが含まれ、これらのエンティティ間の関係が再現される。エンティティは、ナレッジグラフのノードを定めている。関係性は、2つのノード間のエッジとして定義される。
ナレッジグラフとは、知識に基づくシステムにおいて、知識をグラフ形式に構造化して蓄積したものを指すものと理解される。ナレッジグラフには複数のエンティティが含まれ、これらのエンティティ間の関係が再現される。エンティティは、ナレッジグラフのノードを定めている。関係性は、2つのノード間のエッジとして定義される。
ナレッジグラフを首尾よく埋める手段を達成することが望まれている。
発明の開示
この課題は、独立請求項によるナレッジグラフを決定するための装置及び方法によって達成される。ナレッジグラフは、エンティティと関係性とを含む。ナレッジグラフを決定するために、単語用のモデルを用いて、クラス分類決定が、どのエンティティをナレッジグラフに書き込むべきか、又は、この目的のためにエンティティをナレッジグラフに書き込むべきかどうかに関して行われる。
この課題は、独立請求項によるナレッジグラフを決定するための装置及び方法によって達成される。ナレッジグラフは、エンティティと関係性とを含む。ナレッジグラフを決定するために、単語用のモデルを用いて、クラス分類決定が、どのエンティティをナレッジグラフに書き込むべきか、又は、この目的のためにエンティティをナレッジグラフに書き込むべきかどうかに関して行われる。
ナレッジグラフを決定するための方法においては、単語用の第1の埋め込みのために、関数を用いて第2の埋め込みが決定され、第2の埋め込みのために、第1のクラス分類器を用いて、単語がナレッジグラフのためのエンティティであるかどうか、又は、ナレッジグラフのためのどのエンティティ若しくはどのタイプのエンティティにナレッジグラフの単語が割り当てられているかを定義する第1のクラス分類が決定され、第2の埋め込みのために、第2のクラス分類器を用いて、複数のタイプの埋め込みからどのタイプの埋め込みに第2の埋め込みが割り当てられているかを定義する第2のクラス分類が決定され、関数用の少なくとも1つのパラメータは、第1のクラス分類器用の少なくとも1つのパラメータに依存して、かつ、第2のクラス分類器用の少なくとも1つのパラメータに依存して定義されることが想定されている。関数は、第1の埋め込みのための第2の埋め込みを生成するジェネレータを含む。関数用のパラメータは、ジェネレータを定義する。それにより、複数の埋め込みを巧みに組み合わせることができ、これにより、第1のクラス分類器の所要のパラメータが、埋め込みの連結と比較して低減される。第2の埋め込みのための第1のクラス分類は、単語がナレッジグラフのエンティティであるかどうか、又は、どのエンティティに若しくはどのタイプのエンティティに単語が割り当てられているかを示す。第2のクラス分類は、第2の埋め込みのためのタイプを示す。複数の第2の埋め込みのために決定されるタイプに依存して、関数によるマッピングが、共通の空間内において複数の単語用の第2の埋め込みの埋め込み型クラスタに結び付くかどうかを識別することができる。関数のパラメータが、分類のパラメータに依存して定義されることにより、埋め込み型クラスタを形成せず、それゆえ第1のクラス分類について特に良好に適している第2の埋め込みが決定される。
トレーニングのために複数の単語を提供することができ、第1のクラス分類器を用いて第2の埋め込みの第1のクラス分類が、複数の単語の少なくとも一部について決定され、第2のクラス分類器を用いて第2の埋め込みの第2のクラス分類が、複数の単語の少なくとも一部について決定され、複数の単語の少なくとも一部に依存して、第1のクラス分類器用の第1の関数が第1の条件を満たす第1のクラス分類器用のパラメータが決定され、第1のクラス分類器用の当該パラメータ及び複数の単語の少なくとも一部に依存して第2のクラス分類器用の第2の関数が第2の条件を満たす第2のクラス分類器用のパラメータが決定され、第1の関数は、第1のクラス分類器用のパラメータ及び第1のクラス分類に依存して定義され、第2の関数は、第2のクラス分類器用のパラメータ及び第2のクラス分類に依存して定義される。好適には、分類器のパラメータを決定するために、勾配降下法による敵対的学習が使用される。第2のクラス分類器は、ここでは、第2の埋め込みに含まれている可能性のある埋め込み型クラスタを識別するようにトレーニングされた弁別器を表す。関数は、ここでは、埋め込み型クラスタを弁別器に識別しにくくさせるようにトレーニングされたジェネレータを含む。
関数のパラメータ、ひいてはジェネレータのパラメータは、好適には、第1のクラス分類器用の勾配と第2のクラス分類器用の勾配との間の差分に依存して決定される。それにより、ジェネレータのパラメータは、弁別器からの第2のクラス分類器の勾配に関して、反対方向において、即ち、逆の符号において決定される。
好適には、複数の第2の埋め込みが決定され、ここでは、複数の異なる単語からの単語ごとに、異なる第1の埋め込みを有するグループが決定され、当該グループが、第2の埋め込みのグループにマッピングされる。それにより、文からの単語が、共に第1のクラス分類器用の入力を形成し得る第2の埋め込みに並列にマッピングすることができる。
単語のために、種々の形式の第1の埋め込みを決定することが想定されるものとしてよく、ここでは、種々の形式の第1の埋め込みは、単語ベースの埋め込み、文字ベースの埋め込み、部分的な単語ベースの埋め込み、及び/又は、ドメイン固有の、特に生物医学又は材料科学のドメイン用の埋め込みを含む。種々のタイプの第1の埋め込みのグループが想定されるものとしてもよい。これらは、例えば、単語ベース又は文字ベースなど種々の形式を含み得る。ジェネレータは、この場合、グループからの各第1の埋め込みを第2の埋め込みにマッピングする。それにより、第2の埋め込みのグループが生成される。第1のクラス分類器は、第2の埋め込みごとに重みを計算し、それによって、第2の埋め込みから重み付けされた組合せ、この例においては合計を形成する。これに基づいて、第1のクラス分類器は、自身のクラス分類決定を行う。第2のクラス分類器、弁別器は、第2の埋め込みのために、埋め込みがどのタイプによるものかを見出すことを試みる。
関数は、複数の第1の埋め込みの少なくとも1つの第1の埋め込みが、マッピングにより、予め定められた次元の第2の埋め込みにマッピングされるように想定されるものとしてよい。それにより、異なる単語の埋め込みが、有意に、即ち、識別可能な埋め込み型クラスタなしで、第1のクラス分類器用の入力として共通の空間にマッピングされる。
第2の埋め込みと、少なくとも1つの他の第2の埋め込みとの組合せ用の重みは、上記第2の埋め込みに依存して決定することができ、組合せは、重みにより重み付けされた第2の埋め込みに依存して決定される。それにより、組合せ用の埋め込みの特に良好な重み付けが達成される。
この組合せは、第2の埋め込みと重みとの積に依存して決定される。それにより、特に良好に適した組合せが決定される。
単語のために、複数の第2の埋め込みを決定することができ、複数の第2の埋め込みのために、複数の積が決定され、組合せは、積の合計に依存して決定される。それにより、連結と比較して、第1のクラス分類器における所要のパラメータ数が低減される。
重みは、単語のプロパティを特徴付ける特徴に依存して決定することができる。これは、共通の空間内において埋め込みの組合せの位置付けをさらに改善する単語の特徴を考慮することを可能にさせる。
重みは、Softmax関数を用いて、0乃至1の間の値にマッピングされるものとしてよく、特にここでは、重みが、単語用の予め定められた次元の異なる埋め込みのために値1まで加算される。
ベクトルは、埋め込みを定義することができ、単語の種々の第1の埋め込みのための異なるベクトルが、マッピングによって同一の次元のベクトルにマッピングされる。
関数は、パラメータによって定義されるジェネレータを用いて第2の埋め込みを決定することができる。ジェネレータは、パラメータによって定義される人工ニューラルネットワークであるものとしてよい。
ナレッジグラフを決定するための装置は、本方法を実施するように構成されている。
さらなる好適な実施形態は、以下の説明及び図面から明らかとなる。
知識データベース、即ち、ナレッジグラフをコンテンツにより自動的に埋めるために、例えば、エンティティと概念とをテキストから抽出することができる。従って、これらは、ナレッジグラフのノードである。
エンティティ又は概念の識別には、ニューラルネットワークを用いて取り組むことができる。ここでは主に、単語ごとに、それがエンティティ/概念であるかどうか、及び、そうである場合には、どのクラスにこれが割り当てられているかを個別に決定するために、モデル、即ち、ニューラルネットワークが使用される。クラスは、例えば、人、場所、組織である。単語は、それに対して、例えばベクトルなどの埋め込み、即ち、単語の埋め込みによって表される。
埋め込みは、種々の言語であるものとしてもよく、又は、異なるタイプであるものとしてもよく、又は、種々のドメインのテキストによってトレーニングされた関数に基づくものとしてもよい。タイプの例には、単語ベース、文字ベース、文脈依存性、ドメイン依存性(例えば、生物医学又は材料科学など)のものがある。本発明は、異なるタイプ又は異なるドメインの例で説明される。異なる言語は、さらなる可能性の適用分野である。
好適には、組み合わせるべき異なる埋め込みが、共通の空間内において有意に配置されており、即ち、特に、共通の空間内においてそれらの意味論に基づいて配置されており、例えば埋め込み型クラスタを形成しない。
図1には、ナレッジグラフ102を決定するための装置100の概略図が示されている。この装置100は、ナレッジグラフ102を記憶するための第1のメモリ104を含む。
装置100は、少なくとも1つのプロセッサ106を含む。このプロセッサ106は、以下において説明する方法を実行するように構成されている。少なくとも1つのプロセッサ106用の命令を含む第2のメモリ108が設けられるものとしてもよい。これらの命令が少なくとも1つのプロセッサ106によって実行されるときに本方法が実行される。プロセッサ106は、第1のデータ線路110を介して第1のメモリ104と通信し、及び/又は、第2のデータ線路112を介して第2のメモリと通信するように構成されるものとしてよい。
図2は、ナレッジグラフを決定するためのトレーニング用のコンポーネント202の概略図を示している。トレーニング用の入力は、単語用の種々の埋め込みeiによって定義される。埋め込みは、この例においては、ベクトル空間内のベクトルによって定義される。種々の埋め込みeiは、種々のベクトル空間において定義されるものとしてよい。
割り当てデバイス204は、種々の第1の埋め込みeiをマッピングQiによって第2の埋め込みχiにマッピングするように構成されている。この例においては、複数の第1の埋め込みei用のベクトルが、共通のベクトル空間内において第2の埋め込みχi用の複数のベクトルにマッピングされる。
クラス分類デバイス206は、第2の埋め込みχiを、第2の埋め込みχiの重みαiに依存して組合せeATTに組み合わせるように構成されている。
それにより、クラス分類デバイス206の精度も高められる。以下において説明する敵対的トレーニングは、精度のさらなる向上に結び付く。なぜなら、第1の埋め込みeiは、第2の埋め込みχiにマッピングされ、この第2の埋め込みχiが、第1の埋め込みeiの連結によって可能である場合よりも有意に共通の空間内に配置された、クラス分類デバイス206の入力を形成するからである。
クラス分類デバイス206は、第2の埋め込みχiを、ナレッジグラフ用のクラス分類208においてクラス分けするように構成されている。例えば、クラス分類デバイス206は、第2の埋め込みχiの重み付けされた組合せを、第2の埋め込みχiを基礎とする単語がナレッジグラフのエンティティであるかどうかに関してクラス分類するように構成されている。例えば、クラス分類デバイス206は、第2の埋め込みχiを、第2の埋め込みχiを基礎とする単語がナレッジグラフにおいてどのエンティティ又はどのタイプのエンティティに割り当てられているかに関してクラス分類するように構成されている。
トレーニングのために弁別器210が設けられている。この弁別器210は、この例においてはクラス分類ネットワークである。弁別器210は、第2の埋め込みのために埋め込みタイプを識別するように構成されている。
トレーニングのために、例えば、異なるタイプの第1の埋め込みeiのグループが提供され、これらは、種々の形式、例えば、単語ベース、文字ベースを含み得る。
割り当てデバイス204は、この例においてはジェネレータGを含む。このジェネレータGは、例えばマッピングQiによって、グループからの各第1の埋め込みeiを第2の埋め込みχiにマッピングする。これにより、第2の埋め込みχiのグループが生成される。
クラス分類デバイス206は、例えば、第2の埋め込みχiごとに、重みαi及び自身の各重みαiにより重み付けされた総ての第2の埋め込みχiからの組合せeATTを計算する。クラス分類デバイス206は、クラス分類器Cを用いて組合せeATTに基づきクラス分類決定を、即ち、この例においてはナレッジグラフ用のクラス分類208を行う。
弁別器210は、第2の埋め込みχiごとに、異なるタイプのどれが第1の埋め込みeiであったか、それにより第2の埋め込みχiが決定されたかを見出すことを試みる。
トレーニングのために、複数の第2の埋め込みχiが決定される。例えば、単語ごとに、異なる複数の単語から、異なる第1の埋め込みeiを有するグループが決定され、このグループが、第2の埋め込みχiのグループにマッピングされる。
トレーニング中に、この例においては、割り当てデバイス204、弁別器210及びクラス分類デバイス206がトレーニングされる。弁別器210は、この目的のためにトレーニングされ、基礎となる第1の埋め込みeiがどの埋め込みタイプに属するかを識別するための複数の第2の埋め込みχiが与えられる。弁別器210は、埋め込み型クラスタを識別するように構成されている。
例えば、第2の埋め込みがどの埋め込みタイプに属するかを識別することが弁別器210にとって可及的に困難になる割り当てデバイス204によるマッピングが勾配反転技法によって学習される。この学習は、以下において説明する。それにより、弁別器210は、埋め込み型クラスタをもはや識別することができなくなる。勾配反転技法は、例えば、Yaroslav Ganin、Evgeniya Ustinova、Hana Ajakan、Pascal Germain、Hugo Larochelle、Francois Laviolette、Mario Marchand及びVictor Lempitskyらによる文献「2016. Domain-adversarial training of neural networks. Journal of Machine Learning Research, 17」に記載されている。
割り当てデバイス204による結果として生じるマッピングは、もはや埋め込み型クラスタを形成しない。なぜなら、そのようなクラスタは、容易に弁別することができるはずだからである。
以下においては、これがテキスト内のエンティティ及び概念の自動識別に使用される。これに基づき、エンティティを自動的に抽出し、例えば、データベースに又はナレッジグラフのノードとして保存して処理することができる。
入力は、トレーニング用のトレーニングデータが存在する限り、総ての言語及びドメインの単語によって定義されるものとしてよい。
適用は、エンティティ識別に限定されるものではない。入力表現としての埋め込みは、自然言語処理の非常に多くの分野において主要な役割を果たす(例えば、解析、関係性の抽出、テキストの自動要約など)。これらの総ての分野について適用が可能である。
そのようにトレーニングされたクラス分類デバイス206は、エンティティ及び概念の自動識別のために構成されている。そのようにトレーニングされた割り当てデバイス204は、異なる埋め込みタイプを、それらが組み合わせられる前に、有意な方法により、共通の空間内にマッピングするように構成されている。
そのようにトレーニングされた割り当てデバイス204と、そのようにトレーニングされたクラス分類デバイス206とは、本文書の各単語を、予め定められた量のクラスに属するかどうかとしてクラス分類する。
割り当てデバイス204は、線形又は非線形マッピングとして、即ち、フィードフォワードネットワークとして、実装されるものとしてよい。クラス分類デバイス206は、リカレントニューラルネットワークとして実装されるものとしてよい。単語は、埋め込みによって単語ベクトルとして表されるものとしてよい。リカレントニューラルネットワークは、フィードバック人工ニューラルネットワークであり、これは、異なる層のニューロン間にフィードフォワード接続を有する人工ニューラルネットワークとは対照的に、ある層のニューロンから同一の層又は先行する層のニューロンへの接続も有する。
図3は、割り当てデバイス204及びクラス分類デバイス206の部品の概略図を示している。割り当てデバイス204は、この例においては、入力側302及び出力側304を含む。入力側302は、N個の第1の埋め込みeiを決定するように構成されている。単語306用の第1の埋め込みeiには、図3においては、e1、e2、…eNが付されている。
ここでは、種々の形式の第1の埋め込みei、例えば、単語ベースの埋め込み、文字ベースの埋め込み、部分的な単語ベースの埋め込みなどを使用することができる。これらは、例えば、ニュースやインターネット記事などの大量のデータによりトレーニングされるものとしてよい。特別なドメイン、例えば、生物医学又は材料科学などのドメインについては、ドメイン固有の埋め込み、即ち、対応するドメインのデータでトレーニングされた埋め込みも使用することができる。決定可能であり得る第1の埋め込みeiの例には、文字埋め込み、Char、Byte Pair Encoding埋め込み、BPEmb、FastText埋め込み、fastText、FLAIR埋め込み、FLAIR、BERT埋め込み、BERTなどがある。
既に第1の埋め込みeiが、例えばデータベースから提供されている限り、割り当てデバイス204は、入力側302を含まない。この例においては、N個の第1の埋め込みeiが、異なる次元を有し得るN個のベクトル空間内において定義される。
割り当てデバイス204は、入力側302と出力側304との間に配置された関数308を含む。この関数308は、第1の埋め込みeiごとに、出力側304から出力される第2の埋め込みを決定するように構成されている。関数308は、第1の埋め込みe1、e2、…eNに対して第2の埋め込みχ1、χ2、…χNを決定するように構成されている。
この例においては、関数308によって、N個の第1の埋め込みeiが、マッピングによって同一のサイズEのN個の埋め込みにマッピングされる。この例においては、単語306用のe1、e2、…eNが付されたN個の第1の埋め込みeiに対してN個のマッピングQ1、Q2、…QNが定義される。各埋め込みeiは、マッピングQiによって第2の埋め込みχiにマッピングされ、ここでは、以下の関係式、
が成り立つ。これらのマッピングは、この例においては、トレーニング中に学習される。これらのマッピングQiは、埋め込みタイプiごとに、複数のパラメータからなるマトリックスによって定義される。これらのパラメータは、ランダムに初期化され、次いで、トレーニング中に学習される。関数308は、ジェネレータGを含み得る。このジェネレータGは、関数用のパラメータに依存して定義される人工ニューラルネットワークを含み得る。
一態様においては、関数308用の付加的入力として以下の単語特徴
が使用される。この目的のために、割り当てデバイス204は、さらなる入力側310を備えることができる。単語特徴fは、埋め込みχ1の各々に連結される即ち付加される大きさFのベクトルであるものとしてよい。単語特徴fの例は、長さ、頻度又は単語形式である。長さは、例えば単語306を、当該単語306を形成する文字の数に依存して次元Fのベクトルにマッピングすることによって考慮される。例えば、この目的のために、ワンホットエンコーディングが使用される。例えば、次元F=20については、単語はその長さを示すベクトルにマッピングされる。19を超える文字を含む単語は、長さを20として示す同一のベクトルにマッピングすることができる。単語306の頻度は、例えば、テキスト内の単語の出現に従って分類されたリスト内のそのランクに反比例して決定される。この目的のために、例えば、単語2vecの埋め込みが使用され評価される。単語形式は、例えば、SpaCys形状特徴と称される方法によって決定され得る。
複数の単語特徴fを、それらを単一のベクトルに連結することによって考慮することが想定されるものとしてもよい。
クラス分類デバイス206は、埋め込みχiごとに重みαiを決定するように構成されている。この目的のために、以下のパラメータ
を有する変数Hのリカレントニューラルネットワークの完全に接続された隠れ層が想定されるものとしてもよい。この場合、前記パラメータは埋め込みχiを定義し、単語特徴fはこの層の入力を定義し、重みαiは、以下の関係式、
によって決定される。
それがエンティティであるかどうかを決定すべき単語306ごとに、異なる単語ベクトルの重み付けされた組合せeATTが計算され、かつ、エンティティである場合には、どの単語であるかが決定され、この場合、異なる第1の埋め込みeiが、マッピングχi=Qieiによって同一の次元にマッピングされる。異なる重みαiは、異なる埋め込みχiのために、埋め込みχi自体及び単語特徴fを用いて決定される。N個の重みα1、α2…、αNは、例えば、Softmax関数を用いて0乃至1の間の値にマッピングされる。それにより、N個の重みα1、α2…、αNが値1まで加算される。
異なる埋め込みχiは、この例においては、自身の各重みαiで乗算されて加算される。総和ベクトルは、単語306用の表現として使用される。
クラス分類すべき単語306用の表現を決定する割り当てデバイス204が設けられるものとしてよい。この例においては、割り当てデバイス204によって、異なる単語306に相前後して異なる第2の埋め込みχiが、クラス分類デバイス206用の入力として決定される。
クラス分類デバイス206は、単語306用の表現、即ち、組合せeATTをクラス分類するように構成されている。クラス分類デバイス206は、異なる単語用の異なる組合せeATTをクラス分類するように構成されるものとしてもよい。
クラス分類デバイス206は、この例においては、入力層、双方向のlong-short termメモリ、BiLSTM、及び、conditional random field output layer;CRFを有する人工ニューラルネットワークを含む。BiLSTMネットワークは、例えば、Sepp Hochreiter及びJuergen Schmidhuberらによる文献「1997. Long short-term memory. Neural computation, 9(8):1735-1780」に記載され定義されている。CRFは、例えば、John D. Lafferty、Andrew McCallum及びFernando C. N.Pereiraらによる、文献「2001. Conditional random fields:Probabilistic models for segmenting and labeling sequence data」、「the Eighteenth International Conference on Machine Learning, ICML ’01, pages 282-289, San Francisco, CA, USA」の議事録、Morgan Kaufmann Publishers Inc. Guillaume Lample, Miguel Ballesteros, Sandeep Subramanian, Kazuya Kawakami, 及び Chris Dyerらによる文献「2016. Neural architectures for named entity recognition. In Proc. of NAACL」に記載され定義されている。
クラス分類デバイス206は、エンティティ識別のために構成されている。クラス分類デバイス206は、重み付けされた単語ベクトル、即ち、異なる組合せeATTをクラス分類する。
トレーニング中に、関数308用及びクラス分類デバイス206用のパラメータが学習される。
弁別器210は、この例においてはクラス分類ネットワークであり、これは、相互相関に基づく損失関数LDを有する対数多項線形クラス分類器Dを表す。
クラス分類デバイス206は、クラス分類器C用の損失関数LCによって、単語306の適正なクラス分類の対数確率を改善又は最大化するようにトレーニングされる。この例においては、クラス分類器Cは、CRFによって定義される。割り当てデバイス204からのジェネレータG用のパラメータθG、弁別器210からのクラス分類器D用のパラメータθD、及び、クラス分類デバイス206からのクラス分類器C用のパラメータθCを用いて、この例においては、パラメータが、クラス分類器D用の勾配δLD/δθG及びδLD/δθDと、クラス分類器C用の勾配δLC/δθG及びδLC/δθCとを用いて、以下の関係式
θD=θD−ηλ(δLD/δθD)
θC=θC−ηλ(δLC/δθC)
θG=θG−η{(δLC/δθG)−λ(δLD/δθG)}
に従って更新される。ここで、ηは、学習率であり、λは、弁別器210の作用に影響を与えるためのハイパーパラメータである。
θD=θD−ηλ(δLD/δθD)
θC=θC−ηλ(δLC/δθC)
θG=θG−η{(δLC/δθG)−λ(δLD/δθG)}
に従って更新される。ここで、ηは、学習率であり、λは、弁別器210の作用に影響を与えるためのハイパーパラメータである。
それゆえ、ジェネレータGのパラメータθGは、弁別器210からのクラス分類器D用の損失関数LDからの勾配の反対方向に決定される。それによって、異なる埋め込みタイプ用の第2の埋め込みは、共通の埋め込み空間においてクラスタを形成することができない。
以下においては、人工ニューラルネットワークにおける1つの実装例を、各方向において256個のノードを伴う隠れ層を有するBiLSTMについて説明する。
このトレーニングは、この例においては、バッチによるエポックにおける監視トレーニングを想定している。1つのバッチは、16個の文のサイズを含むことが可能であり、ここでは、単語とラベルとの対が定義される。トレーニング中は、例えば、学習率η=0.2の確率的勾配降下法が想定されている。
学習率ηを、順次連続する3つのエポックの後で半分にすることが想定されるものとしてもよい。弁別器210からのクラス分類器Dは、BiLSTMのトレーニングのそれぞれk=10のバッチに従ってトレーニングすることができる。
文字の埋め込みについては、例えば、単語306の文字がランダムに初期化された埋め込みによって表される。これらは、各方向に25個の隠れ層を有するBiLSTM用の入力であり、ここでは、順方向の伝搬の際の最後の隠れ層の状態と、それに続く逆方向の伝搬の際のこの層の状態とが、単語306を第1の埋め込みeiとして表すために次元50のベクトルに連結される。
FastText埋め込みについては、例えば、n−gram埋め込みが決定され、ここでは、単語306は、単語306用のn−gramの埋め込みの標準化された合計によって決定される。FastText埋め込みは、例えば、Piotr Bojanowski、Edouard Grave、Armand Joulin、Tomas_Mikolovらによる、文献「2017. Enriching word vectors with subword information. Transactions of the Association for Computational Linguistics, 5:135-146」に記載されている。
BPEmbについては、例えば、Byte Pair Encoding埋め込みが単語ベクトルの生成のために使用され、ここでは、単語306のコンポーネント用のベクトルが決定される。単語306は、この目的のためにこの例においては、重複しないコンポーネントに分割される。重複しないコンポーネントは、それらの頻度に依存して決定される。次いで、単語自体用のベクトルが、組合せとして、例えば、コンポーネントベクトルからの平均として決定される。BPEmbは、例えば、Benjamin Heinzerling及びMichael Strubeらによる、文献「2018. BPEmb: Tokenization-free Pre-trained Subword Embeddings in 275 Languages」、「the Eleventh International Conference on Language Resources and Evaluation (LREC 2018), Miyazaki, Japan. European Language Resources Association (ELRA)」の議事録に記載されている。
BERT埋め込み及びFLAIR埋め込みについては、この例においては、事前にトレーニングされたモデルが使用され、単語306についてベクトルが、例えば、単語306を含む文又はテキストの文脈における総ての単語に依存して決定される。BERT埋め込みは、例えば、Jacob Devlin、Ming-Wei Chang、Kenton Lee及びKristinaToutanovaらによる、文献「2019. BERT: Pre-training of deep bidirectional transformers for language understanding」、「the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pages 4171-4186.」の議事録に記載されている。
FLAIR埋め込みは、例えば、Alan Akbik, Duncan Blythe, 及び Roland Vollgraf.らによる文献「2018. Contextual string embeddings for sequence labeling.」、「the 27th International Conference on Computational Linguistics, pages 1638-1649」の議事録、Alan Akbik, Tanja Bergmann, 及び Roland Vollgraf.らによる文献「2019. Pooled contextualized embeddings for named entity recognition.」、「the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pages 724-728」の議事録に記載されている。
ドメイン固有の埋め込みは、例えば、事前にトレーニングされたモデルによって決定される。
ナレッジグラフを決定するための方法は、以下において、図4を参照して説明される。本方法は、それがエンティティであるかどうかを決定すべき単語306ごとに実施することができ、かつ、エンティティである場合には、どの単語であるかを決定することができる。
任意のステップ401においては、単語306に対して、種々の形式の埋め込みei、例えば、単語ベースの埋め込み、文字ベースの埋め込み、部分的な単語ベースの埋め込みが決定される。例えば、生物医学又は材料科学のドメインなどの特別なドメインのアドレス指定のために、このステップにおいては、対応するドメインのデータでトレーニングされたドメイン固有の埋め込みeiを使用することもできる。
この例においては、単語ベクトルが第1の埋め込みeiを定義する。この例においては、単語306について、複数の第1の埋め込みeiが決定される。
ステップ402においては、単語306について第1の埋め込みeiに依存して第2の埋め込みχiが決定される。
a.異なる第1の埋め込みeiが、マッピングQによって同一の次元の第2の埋め込みχiにマッピングされる。
b.単語306について、第2の埋め込みからの組合せeATTが決定される。この組合せeATTは、この例においては、複数の第2の埋め込みχiの重み付けされた組合せである。組合せeATTは、この例においては、複数の第2の埋め込みχi用の異なる単語ベクトルの重み付けされた組合せである。
関数308は、埋め込みχi自体を用いて異なる埋め込みχi用の重みαiを計算する。ここでは、異なる第2の埋め込みχi用の重みαiを、第2の埋め込みχi自体及び上記の付加的特徴、例えば単語特徴fを用いて決定することが想定されるものとしてもよい。
ここでは、重みαiを、Softmax関数を用いて0乃至1の間の値にマッピングすることが想定されるものとしてよく、この場合、重みαiは、値1まで加算される。
c.異なる第2の埋め込みχiは、自身の重みαiで乗算されて加算される。異なる第2の埋め込みχiは、この例においては、単語306用の重み付けされた単語ベクトルである。
そのように決定された総和ベクトル、即ち、組合せeATTは、単語306用の表現を定義する。
ステップ403においては、クラス分類デバイス206によって、第1のクラス分類、特に、単語306用のエンティティ識別が、表現を用いて、即ち、組合せeATTを用いて実行される。例えば、第2の埋め込みχiからの組合せeATTに依存して、単語306がナレッジグラフのエンティティであるかどうかが決定される。任意選択的に、単語306がナレッジグラフのエンティティである場合、この単語がエンティティのどのクラスに属するかを決定することができる。
トレーニング中に、ステップ402から403までは、エポックにおいてトレーニングデータのバッチを用いて実行され、この場合、ステップ405においては、クラス分類器C用の損失関数LCを伴うクラス分類器C用のパラメータθCが決定される。このクラス分類器Cは、クラス分類器C用の損失関数LCによって、特に、単語306の適正なクラス分類の対数確率を改善又は最大化するようにトレーニングされる。
ジェネレータG用のパラメータθGは、クラス分類器C用のパラメータθC及び弁別器210からのクラス分類器D用のパラメータθDに依存して決定される。
さらに、ステップ404においては、特に、クラス分類器Cのトレーニング用の複数のバッチが実行された後に、弁別器210からのクラス分類器D用のパラメータθDのトレーニングを実施することが想定されるものとしてもよい。クラス分類器Dは、第2の埋め込みχiが複数のタイプの埋め込みからの1つのタイプの埋め込みに割り当てられているかどうかを示す複数の第2の埋め込みχi用の第2の分類を決定する。
トレーニングのために、複数の単語306が提供される。少なくとも1つの単語306について、第2の埋め込みχiを定義する複数の第1の埋め込みeiが決定される。
第1のクラス分類器Cを用いて、単語306の少なくとも1つ用の第2の埋め込みχiの第1のクラス分類が決定される。
第2のクラス分類器Dを用いて、単語306の少なくとも1つ用の第2の埋め込みχiの第2のクラス分類が決定される。
複数の単語306の少なくとも1つに依存して、第1のクラス分類器C用の第1の関数、損失関数LCが第1の条件を満たす第1のクラス分類器C用のパラメータθCが決定される。例えば、損失関数LCの値は、低減又は最小化すべきである。
第1のクラス分類器C用のこれらのパラメータθC及び複数の単語306の少なくとも1つに依存して、第2のクラス分類器D用の第2の関数、損失関数LDが第2の条件を満たす第2のクラス分類器D用のパラメータθDが決定される。例えば、損失関数LDの値は、低減又は最小化すべきである。
第1の関数LCは、第1のクラス分類器C用のパラメータθC及び第1のクラス分類に依存して定義される。
第2の関数LDは、第2のクラス分類器D用のパラメータθD及び第2のクラス分類に依存して定義される。
トレーニングは、この例においては、複数の反復を含み、例えば、予め定められた数のエポックの後で終了する。
Claims (15)
- ナレッジグラフを決定するための方法において、
単語(306)のための第1の埋め込みのために、関数(308)を用いて第2の埋め込み(χi)が決定され(ステップ402)、
前記第2の埋め込み(χi)のために、第1のクラス分類器(C)を用いて、前記単語(306)が前記ナレッジグラフのためのエンティティであるかどうか、又は、前記ナレッジグラフのためのどのエンティティ又はどのタイプのエンティティに、前記ナレッジグラフの前記単語(306)が割り当てられているかを定義する第1のクラス分類が決定され(ステップ403)、
前記第2の埋め込み(χi)のために、第2のクラス分類器(D)を用いて、複数のタイプの埋め込みからどのタイプの埋め込みに前記第2の埋め込み(χi)が割り当てられているかを定義する第2のクラス分類が決定され(ステップ404)、
トレーニングにおいて、前記関数(308)用の少なくとも1つのパラメータ(θG)が、前記第1のクラス分類器(C)のトレーニング用の少なくとも1つの勾配に依存して、かつ、前記第2のクラス分類器(D)のトレーニング用の少なくとも1つの勾配に依存してトレーニングされる、
ことを特徴とする方法。 - 前記トレーニングのために、複数の単語(306)が提供され、前記第1のクラス分類器(C)を用いて、前記第2の埋め込み(χi)の前記第1のクラス分類が、前記複数の単語(306)の少なくとも一部について決定され、前記第2のクラス分類器(D)を用いて、前記第2の埋め込み(χi)の前記第2のクラス分類が、前記複数の単語(306)の少なくとも一部について決定され、前記複数の単語(306)の少なくとも一部に依存して、前記第1のクラス分類器(C)用の第1の関数(LC)が第1の条件を満たす前記第1のクラス分類器(C)用のパラメータ(θC)が決定され(ステップ403)、前記第1のクラス分類器(C)用の前記パラメータ(θC)及び前記複数の単語(306)の少なくとも一部に依存して、前記第2のクラス分類器(D)用の第2の関数(LD)が第2の条件を満たす前記第2のクラス分類器(D)用のパラメータ(θD)が決定され(ステップ404)、前記第1の関数(LC)は、前記第1のクラス分類器(C)用の前記パラメータ(θC)及び前記第1のクラス分類に依存して定義され、前記第2の関数(LD)は、前記第2のクラス分類器(D)用の前記パラメータ(θD)及び前記第2のクラス分類に依存して定義される、請求項1に記載の方法。
- 前記関数(308)のパラメータ(θG)は、前記第1のクラス分類器(C)用の勾配と前記第2のクラス分類器(D)用の勾配との間の差分に依存して決定される、請求項2に記載の方法。
- 前記複数の第2の埋め込み(χi)が決定され(ステップ402)、複数の異なる単語からの前記単語(306)ごとに、異なる第1の埋め込み(ei)を有するグループが決定され(ステップ401)、前記グループが、前記第2の埋め込み(χi)のグループにマッピングされる、請求項1乃至3のいずれか一項に記載の方法。
- 単語(306)のために、種々の形式の第1の埋め込み(ei)が決定され(ステップ401)、前記種々の形式の第1の埋め込み(ei)は、単語ベースの埋め込み、文字ベースの埋め込み、部分的な単語ベースの埋め込み、及び/又は、ドメイン固有の、特に生物医学又は材料科学のドメイン用の埋め込みを含む、請求項1乃至4のいずれか一項に記載の方法。
- 前記関数(308)は、複数の第1の埋め込み(ei)からの少なくとも1つの第1の埋め込み(ei)を、マッピング(Q)により、予め定められた次元の第2の埋め込み(χi)にマッピングする(ステップ402)、請求項1乃至5のいずれか一項に記載の方法。
- 第2の埋め込み(χi)と、少なくとも1つの他の第2の埋め込みとの組合せ(eATT)用の重み(αi)が、前記第2の埋め込み(χi)に依存して決定され(ステップ402)、前記組合せ(eATT)は、前記重み(αi)により重み付けされた第2の埋め込み(xi)に依存して決定される、請求項6に記載の方法。
- 前記組合せ(eATT)は、前記第2の埋め込み(χi)と前記重み(αi)との積に依存して決定される(ステップ402)、請求項7に記載の方法。
- 単語(306)のために、複数の第2の埋め込み(χi)が決定され(ステップ402)、前記複数の第2の埋め込み(χi)のために、複数の積が決定され、前記組合せ(eATT)は、前記積の合計に依存して決定される(ステップ402)、請求項8に記載の方法。
- 前記重み(αi)は、前記単語(306)のプロパティを特徴付ける特徴(f)に依存して決定される(ステップ402)、請求項7乃至9のいずれか一項に記載の方法。
- 前記重み(αi)は、Softmax関数を用いて、0乃至1の間の値にマッピングされ(ステップ401)、特に、前記重み(αi)は、前記単語(306)のための予め定められた次元の異なる埋め込み(χi)のために値1まで加算される(ステップ402)、請求項7乃至10のいずれか一項に記載の方法。
- ベクトル(ei)が、埋め込みを定義し、前記単語(306)の種々の第1の埋め込み(ei)のための異なるベクトル(ei)が、マッピング(Q)によって同一の次元のベクトル(χi)にマッピングされる(ステップ402)、請求項1乃至11のいずれか一項に記載の方法。
- 前記関数(308)は、パラメータ(θG)によって定義されるジェネレータ(G)を用いて前記第2の埋め込み(χi)を決定する(ステップ402)、請求項1乃至12のいずれか一項に記載の方法。
- ナレッジグラフを決定するための装置(100)であって、
請求項1乃至13のいずれか一項に記載の方法を実施するように構成されていることを特徴とする装置(100)。 - コンピュータ可読命令を含むコンピュータプログラムであって、前記コンピュータ可読命令がコンピュータによって実行されるときに、請求項1乃至13のいずれか一項に記載の方法が実施されることを特徴とするコンピュータプログラム。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP20172432.5A EP3905097A1 (de) | 2020-04-30 | 2020-04-30 | Vorrichtung und verfahren zum bestimmen eines knowledge graph |
EP20172432 | 2020-04-30 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2021174557A true JP2021174557A (ja) | 2021-11-01 |
Family
ID=70482401
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021076267A Pending JP2021174557A (ja) | 2020-04-30 | 2021-04-28 | ナレッジグラフを決定するための装置及び方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US20210342716A1 (ja) |
EP (1) | EP3905097A1 (ja) |
JP (1) | JP2021174557A (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115080764B (zh) * | 2022-07-21 | 2022-11-01 | 神州医疗科技股份有限公司 | 基于知识图谱及聚类算法的医学相似实体分类方法及系统 |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101306667B1 (ko) * | 2009-12-09 | 2013-09-10 | 한국전자통신연구원 | 지식 그래프 정제 장치 및 방법 |
CN107015963A (zh) * | 2017-03-22 | 2017-08-04 | 重庆邮电大学 | 基于深度神经网络的自然语言语义分析系统及方法 |
CN107665252B (zh) * | 2017-09-27 | 2020-08-25 | 深圳证券信息有限公司 | 一种创建知识图谱的方法及装置 |
US11625620B2 (en) * | 2018-08-16 | 2023-04-11 | Oracle International Corporation | Techniques for building a knowledge graph in limited knowledge domains |
CN109325131B (zh) * | 2018-09-27 | 2021-03-02 | 大连理工大学 | 一种基于生物医学知识图谱推理的药物识别方法 |
CN109815339B (zh) * | 2019-01-02 | 2022-02-08 | 平安科技(深圳)有限公司 | 基于TextCNN知识抽取方法、装置、计算机设备及存储介质 |
CN109857873A (zh) * | 2019-02-21 | 2019-06-07 | 北京百度网讯科技有限公司 | 推荐实体的方法和装置、电子设备、计算机可读介质 |
US11734602B2 (en) * | 2019-10-21 | 2023-08-22 | International Business Machines Corporation | Methods and systems for automated feature generation utilizing formula semantification |
CN111046185B (zh) * | 2019-12-16 | 2023-02-24 | 重庆邮电大学 | 一种文本信息的知识图谱关系抽取方法、装置及终端 |
US11861308B2 (en) * | 2020-04-15 | 2024-01-02 | Intuit Inc. | Mapping natural language utterances to operations over a knowledge graph |
-
2020
- 2020-04-30 EP EP20172432.5A patent/EP3905097A1/de active Pending
-
2021
- 2021-04-22 US US17/237,669 patent/US20210342716A1/en active Pending
- 2021-04-28 JP JP2021076267A patent/JP2021174557A/ja active Pending
Also Published As
Publication number | Publication date |
---|---|
US20210342716A1 (en) | 2021-11-04 |
EP3905097A1 (de) | 2021-11-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7210587B2 (ja) | 知識および自然言語処理を統合するための機械学習 | |
CN110162749A (zh) | 信息提取方法、装置、计算机设备及计算机可读存储介质 | |
CN111078836A (zh) | 基于外部知识增强的机器阅读理解方法、系统、装置 | |
CN112214593A (zh) | 问答处理方法、装置、电子设备及存储介质 | |
CN111291549B (zh) | 文本处理方法、装置、存储介质和电子设备 | |
KR102695381B1 (ko) | 엔티티-속성 관계 식별 | |
US11983501B2 (en) | Apparatus and method for automatic generation of machine reading comprehension training data | |
Sherkat et al. | Vector embedding of wikipedia concepts and entities | |
CN112163097A (zh) | 一种军事知识图谱构建方法及系统 | |
CN113515632A (zh) | 基于图路径知识萃取的文本分类方法 | |
CN110502747A (zh) | 一种主题分类方法和装置 | |
CN112131345B (zh) | 文本质量的识别方法、装置、设备及存储介质 | |
JP2021174557A (ja) | ナレッジグラフを決定するための装置及び方法 | |
Kavitha et al. | Study of Natural Language Processing for Sentiment Analysis | |
Claveau | Detecting fake news in tweets from text and propagation graph: IRISA's participation to the FakeNews task at MediaEval 2020 | |
CN112084776B (zh) | 相似文章的检测方法、装置、服务器和计算机存储介质 | |
CN117475422A (zh) | 一种基于图池化推理网络的场景文本视觉问答方法 | |
Baldwin et al. | Asymmetric triangular fuzzy sets for classification models | |
CN115730221A (zh) | 基于溯因推理的虚假新闻识别方法、装置、设备及介质 | |
Wol | Learning and reasoning as information compression by multiple alignment, unification and search | |
Leuzzi et al. | Improving robustness and flexibility of concept taxonomy learning from text | |
Azhan et al. | MeToo: sentiment analysis using neural networks (grand challenge) | |
Labhsetwar | Sentiment analysis of customer satisfaction using deep learning | |
Velampalli et al. | Novel application of mapreduce and conceptual graphs | |
Shree et al. | A novel approach to Sandhi splitting at Character level for Kannada Language |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20240209 |