CN110765788B - 一种基于隐式翻译模型的知识图谱嵌入方法 - Google Patents
一种基于隐式翻译模型的知识图谱嵌入方法 Download PDFInfo
- Publication number
- CN110765788B CN110765788B CN201911036820.5A CN201911036820A CN110765788B CN 110765788 B CN110765788 B CN 110765788B CN 201911036820 A CN201911036820 A CN 201911036820A CN 110765788 B CN110765788 B CN 110765788B
- Authority
- CN
- China
- Prior art keywords
- triplet
- entity
- vector
- triples
- neural network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 52
- 238000013519 translation Methods 0.000 title claims abstract description 36
- 238000012360 testing method Methods 0.000 claims abstract description 33
- 238000013528 artificial neural network Methods 0.000 claims abstract description 29
- 230000000694 effects Effects 0.000 claims abstract description 12
- 238000012795 verification Methods 0.000 claims abstract description 11
- 238000012549 training Methods 0.000 claims description 15
- 230000008569 process Effects 0.000 claims description 10
- 238000011478 gradient descent method Methods 0.000 claims description 3
- 239000011159 matrix material Substances 0.000 claims description 3
- 230000004913 activation Effects 0.000 claims description 2
- 238000009795 derivation Methods 0.000 claims description 2
- 238000012163 sequencing technique Methods 0.000 claims description 2
- 230000009466 transformation Effects 0.000 claims description 2
- 125000004122 cyclic group Chemical group 0.000 abstract 1
- 230000014616 translation Effects 0.000 description 25
- 230000006870 function Effects 0.000 description 12
- 238000005516 engineering process Methods 0.000 description 5
- 238000013459 approach Methods 0.000 description 3
- 230000007547 defect Effects 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 238000012418 validation experiment Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
- G06F16/367—Ontology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Artificial Intelligence (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Animal Behavior & Ethology (AREA)
- Databases & Information Systems (AREA)
- Machine Translation (AREA)
Abstract
本发明公开一种基于隐式翻译模型的知识图谱嵌入方法，不同于传统的基于翻译模型的方法，首次将关系表示成为两层全连接前馈神经网络，增强了知识图谱中对于复杂关系的表示能力，可以有效处理其他基于翻译模型方法无法处理的两种复杂情况，包括同实体对之间具有多种不同关系的情况和多个实体之间具有循环关系的情况，有效提高了知识图谱嵌入的效果，最终通过实体链接预测测试和三元组验证测试的测试结果证明了本发明方法确实优于现有的基于翻译模型的方法。
Description
技术领域
本发明属于自然语言处理和知识图谱领域，涉及知识图谱嵌入技术、知识表示学习技术和神经网络学习技术，尤其是一种基于隐式翻译模型的知识图谱嵌入方法。
背景技术
目前在相关技术中，知识图谱嵌入技术主要分为两类：一种是基于翻译模型的知识图谱嵌入技术。自从2013年第一个基于翻译模型的方法(TransE)被提出以来，基于翻译的嵌入模型因其知识图补全的简单性和高效性而受到越来越多的关注。基于翻译模型的核心思想是将实体间的关系表示成从头实体到尾实体之间的翻译。然而，现有的基于翻译模型的方法都使用了一个固定的翻译方程，都存在一定的局限性。现有的基于翻译的模型主要有TransE，TransH，TransR，TransD，KG2E，STransE，TranSparse，TransAt等。
基于翻译模型的知识图谱嵌入的缺陷在于它对于知识图谱中复杂关系的处理较为无力，例如同实体对之间具有多种不同关系的情况和多个实体之间具有循环关系的情况。对于上述两种情况，大部分基于翻译的模型都会失效。
另一类嵌入技术是基于语义匹配模型。基于语义匹配模型的方法利用基于相似性的评分函数。他们通过在相应的向量表示空间中匹配实体和关系的潜在语义来衡量事实的合理性。现有的基于语义匹配模型主要有RESCAL，DistMult，HolE，Complex，ANALOGY，SE，SME，LFM，NTN，MLP以及NAM等。
基于语义匹配模型的知识图谱嵌入的缺陷在于他需要大量的参数来拟合较为复杂的神经网络，从而导致训练过程较为困难，训练时间较长，效率较低，并且得到的结果大部分也不如基于翻译模型的效果好。
发明内容
本发明的目的是为了克服现有技术中的不足，提供一种基于隐式翻译模型的知识图谱嵌入方法。
本发明的目的是通过以下技术方案实现的：
一种基于隐式翻译模型的知识图谱嵌入方法，包括以下步骤：
步骤一，利用全连接的思想，构建知识图谱中实体之间的关系表示方法；
步骤二，通过关系表示方法得到神经网络的损失函数；
步骤三，使用训练集中的事实三元组数据训练神经网络，事实三元组数据由头实体、关系和尾实体组成，是通过对事实语句提取获得的，得到头实体向量、尾实体向量和关系的表示结果；
步骤四，使用测试集中的三元组数据测试训练出的神经网络，验证并分析实体和关系的嵌入效果。
进一步的，步骤一具体步骤如下：根据万能近似定理(universal approximationtheorem)，一个前馈神经网络如果具有线性输出层和至少一层具有任何一种“挤压”性质的激活函数的隐藏层，只要给予前馈神经网络足够数量的隐藏单元，前馈神经网络能够以任意的精度来近似任何从一个有限维空间到另一个有限维空间的Borel可测函数；步骤一种使用的是一个两层的全连接前馈神经网络，头实体向量经过该神经网络将转换为尾实体向量。
进一步的，步骤二具体步骤如下：将存储的头实体向量经过步骤一中的神经网络的转换后得到的尾实体向量与存储的真实尾实体的向量表示的差值的二范数作为损失值，以此来判断和衡量得到的尾实体向量与真实尾实体向量之间的相似性。
进一步的，步骤三具体步骤如下：通过步骤一中定义的两层的全连接前馈神经网络与步骤二中定义的损失函数，将训练集中的每个事实三元组的头实体、关系和尾实体表示代入到损失函数中，得到对应的损失值，通过反向求导，利用随机梯度下降的方法降低损失值，不断更新每个头实体、关系和尾实体的向量表示；重复执行这一过程，直到梯度不再下降，达到稳定结果为止。
进一步的，步骤四具体步骤如下：测试分为两个方面：第一个方面是实体链接预测测试，实体链接预测测试集中包含大量事实三元组，对于其中的每个三元组，使用训练集中全部实体分别替换尾实体，得到包含一个与事实相符的正确的三元组和与事实不相符的错误的三元组的三元组集合；对于得到的三元组集合中的每个三元组，按照损失函数计算他们的损失值，并按照损失值从小到大进行排序，如果正确的三元组的排名在前10名，则认为测试集中的现在测试的三元组的结果符合要求，对于测试集中的全部三元组进行上述过程，统计符合要求的三元组数量占总体数量的比例，比例越高，证明嵌入效果越好；
另一个方面是三元组验证测试，三元组验证测试集中包含成对出现的正确三元组和错误三元组，首先通过验证集中数据设置一个阀值，如果三元组经过损失函数得到的损失值高于阀值，则判定该三元组为错误三元组，否则判定该三元组为正确三元组；统计判定结果的准确率，准确率越高，证明嵌入效果越好。
与现有技术相比，本发明的技术方案所带来的有益效果是：
1.本发明方法既能够保证嵌入的高效和简洁，又能够有效地克服现有的基于翻译模型在处理知识图谱中较为复杂关系时失效，从而导致嵌入结果较差的问题。
2.本发明方法为知识图谱中实体和关系的嵌入提供了一种新的思路，提出并定义一种基于翻译模型的知识图谱嵌入方法，不同于传统的基于翻译模型的方法，首次将关系表示成为两层全连接神经网络，增强了知识图谱中对于复杂关系的表示能力，可以有效处理其他基于翻译模型方法无法处理的两种复杂情况，有效提高了知识图谱嵌入的效果，最终通过实体链接预测测试和三元组验证测试的测试结果证明了本发明方法确实优于现有的基于翻译模型的方法。
附图说明
图1是本发明方法的流程示意图。
具体实施方式
以下结合附图和具体实施例对本发明作进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本发明提供了一种基于翻译模型的知识图谱嵌入方法，如图1所示，为本发明嵌入方法一具体实施例的整体流程示意图，包括：
步骤S101：知识图谱嵌入过程中，首先要确定实体之间关系的表示方法，关系的表示方法将严重影响最终的嵌入效果。本发明选择使用两层的全连接神经网络来表示从头实体向量到尾实体向量转换的关系，如公式(1)所示。
Fr(h)＝Mr,2(tanh(Mr,1h+br,1))+br,2 (1)
其中h是头实体向量，Mr,1和Mr,2是与关系相关的转换矩阵，br,1和br,2是与关系相关的转换向量。通过该方程就可以将头实体向量转化为尾实体向量。
步骤S201：本发明为神经网络训练过程确定损失函数。对于(头实体，关系，尾实体)三元组，将头实体向量和关系输入到公式(1)中，得到尾实体向量，并与存储的真实的尾实体向量之间的差值的二范数作为神经网络的损失值，如公式(2)所示。
其中t为存储的尾实体的向量。
步骤S301：本发明训练神经网络来获得每个实体的向量表示以及关系的向量和矩阵表示。将训练集中的每个事实三元组的头实体、关系和尾实体表示代入到公式(2)中的损失函数中，从而计算出相应的损失值。
步骤S302：通过反向求导机制，利用随机梯度下降的方法降低损失值，在该过程中头实体，关系和尾实体的表示将不断发生变化。
步骤S303：重复执行步骤S301和步骤S302，直到损失值不再下降，基本达到稳定为止。
步骤S401：本发明对得到的知识图谱嵌入结果进行实体链接预测测试。实体链接预测测试集中包含大量事实三元组，对于其中的每个三元组，使用训练集中全部实体分别替换尾实体，得到包含一个与事实相符的正确的三元组和大量与事实不相符的错误的三元组的三元组集合；对于得到的三元组集合中的每个三元组，按照损失函数计算他们的损失值，并按照损失值从小到大进行排序，如果正确的三元组的排名在前10名，则认为测试集中的现在测试的三元组的结果符合要求，对于测试集中的全部三元组进行上述过程，统计符合要求的三元组数量占总体数量的比例，该比例越高，证明嵌入效果越好。
步骤S402：本发明对得到的知识图谱嵌入结果进行三元组验证测试。三元组验证测试集中包含成对出现的正确三元组和错误三元组，首先通过验证集中数据设置一个阀值，如果三元组经过损失函数得到的损失值高于阀值，则判定该三元组为错误三元组，否则判定该三元组为正确三元组。统计判定结果的准确率，准确率越高，表明嵌入效果越好。
本实施例中，实体链接预测实验在WN18和FB15k两个数据集上进行，随机梯度下降学习率在0.001，0.0005，0.0002和0.0001之中选择，实体向量表示维度在50，100，150和200之中选择，神经网络训练的批量大小设置为三元组数量除以100。在Bern采样策略下，WN18数据集上效果最好的参数：学习率为0.0005，表示维度为100；FB15k数据集上效果最好的参数：学习率为0.0005，表示维度为200。
将本发明方法与其他的基于翻译模型的方法进行了比较，比较结果如表1所示。本发明方法在FB15k和WN18两个数据集上都取得了最好的效果，其中在FB15k数据集上准确率更是高达81.9％。
三元组验证实验在WN11，FB13和FB15k三个数据集上进行，随机梯度下降学习率在0.001，0.0005，0.0002和0.0001之中选择，实体向量表示维度在50，100，150和200之中选择，神经网络训练的批量大小设置为三元组数量除以100。在Bern采样策略下，WN11数据集上效果最好的参数：学习率为0.0001，表示维度为50维；FB13数据集上效果最好的参数：学习率为0.0002，表示维度为50维；FB15k数据集上效果最好的参数：学习率为0.0005，表示维度为200。
将本发明方法与其他的基于翻译模型的方法进行了比较，比较结果如表2所示。本发明方法在WN11数据集上取得了接近于最好的结果，在FB13数据上取得了较好的结果，并在FB15k数据集上大幅度领先于其他方法。
表1实体链接预测实验结果
| 数据集 | WN18 | FB15k |
| SE | 80.5 | 39.8 |
| SME | 74.1 | 41.3 |
| LFM | 81.6 | 33.1 |
| NTN | 66.1 | 41.4 |
| TransE | 92.3 | 66.1 |
| TransH | 87.6 | 64.4 |
| TransR | 94.0 | 65.5 |
| TransD | 92.2 | 77.3 |
| KG2E | 92.8 | 74.0 |
| TranSparse | 93.2 | 79.9 |
| STransE | 93.4 | 79.7 |
| SSP | 93.2 | 79.0 |
| TransAT | 95.0 | 78.2 |
| 本发明方法 | 95.0 | 84.0 |
表2三元组验证实验结果
本发明并不限于上文描述的实施方式。以上对具体实施方式的描述旨在描述和说明本发明的技术方案，上述的具体实施方式仅仅是示意性的，并不是限制性的。在不脱离本发明宗旨和权利要求所保护的范围情况下，本领域的普通技术人员在本发明的启示下还可做出很多形式的具体变换，这些均属于本发明的保护范围之内。
Claims (5)
1.一种基于隐式翻译模型的知识图谱嵌入方法，其特征在于，包括以下步骤：
步骤一，利用全连接的思想，构建知识图谱中实体之间的关系表示方法；知识图谱嵌入过程中，首先要确定实体之间关系的表示方法，选择使用两层的全连接神经网络来表示从头实体向量到尾实体向量转换的关系，如公式(1)所示；
Fr(h)＝Mr,2(tanh(Mr,1h+br,1))+br,2 (1)
其中h是头实体向量，Mr,1和Mr,2是与关系相关的转换矩阵，br,1和br,2是与关系相关的转换向量；通过上述方程将头实体向量转化为尾实体向量；
步骤二，通过关系表示方法得到神经网络的损失函数；对于(头实体，关系，尾实体)三元组，将头实体向量和关系输入到公式(1)中，得到尾实体向量，并与存储的真实的尾实体向量之间的差值的二范数作为神经网络的损失值，如公式(2)所示：
其中t为存储的尾实体的向量；
步骤三，使用训练集中的事实三元组数据训练神经网络，事实三元组数据由头实体、关系和尾实体组成，是通过对事实语句提取获得的，得到头实体向量、尾实体向量和关系的表示结果；
步骤四，使用测试集中的三元组数据测试训练出的神经网络，验证并分析实体和关系的嵌入效果。
2.根据权利要求1所述一种基于隐式翻译模型的知识图谱嵌入方法，其特征在于，步骤一具体步骤如下：根据万能近似定理(universal approximation theorem)，一个前馈神经网络具有线性输出层和至少一层具有任何一种“挤压”性质的激活函数的隐藏层，给予前馈神经网络足够数量的隐藏单元，前馈神经网络能够以任意的精度来近似任何从一个有限维空间到另一个有限维空间的Borel可测函数；步骤一中使用的是一个两层的全连接前馈神经网络，头实体向量经过该神经网络将转换为尾实体向量。
3.根据权利要求1所述一种基于隐式翻译模型的知识图谱嵌入方法，其特征在于，步骤二具体步骤如下：将存储的头实体向量经过步骤一中的神经网络的转换后得到的尾实体向量与存储的真实尾实体的向量表示的差值的二范数作为损失值，以此来判断和衡量得到的尾实体向量与真实尾实体向量之间的相似性。
4.根据权利要求2所述一种基于隐式翻译模型的知识图谱嵌入方法，其特征在于，步骤三具体步骤如下：通过步骤一中定义的两层的全连接前馈神经网络与步骤二中定义的损失函数，将训练集中的每个事实三元组的头实体、关系和尾实体表示代入到损失函数中，得到对应的损失值，通过反向求导，利用随机梯度下降的方法降低损失值，不断更新每个头实体、关系和尾实体的向量表示；重复执行这一过程，直到梯度不再下降，达到稳定结果为止。
5.根据权利要求1所述一种基于隐式翻译模型的知识图谱嵌入方法，其特征在于，步骤四具体步骤如下：测试分为两个方面：第一个方面是实体链接预测测试，实体链接预测测试集中包含大量事实三元组，对于其中的每个三元组，使用训练集中全部实体分别替换尾实体，得到包含一个与事实相符的正确的三元组和与事实不相符的错误的三元组的三元组集合；对于得到的三元组集合中的每个三元组，按照损失函数计算他们的损失值，并按照损失值从小到大进行排序，如果正确的三元组的排名在前10名，则认为测试集中的现在测试的三元组的结果符合要求，对于测试集中的全部三元组进行上述过程，统计符合要求的三元组数量占总体数量的比例，比例越高，证明嵌入效果越好；
另一个方面是三元组验证测试，三元组验证测试集中包含成对出现的正确三元组和错误三元组，首先通过验证集中数据设置一个阀值，如果三元组经过损失函数得到的损失值高于阀值，则判定该三元组为错误三元组，否则判定该三元组为正确三元组；统计判定结果的准确率，准确率越高，证明嵌入效果越好。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911036820.5A CN110765788B (zh) | 2019-10-29 | 2019-10-29 | 一种基于隐式翻译模型的知识图谱嵌入方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911036820.5A CN110765788B (zh) | 2019-10-29 | 2019-10-29 | 一种基于隐式翻译模型的知识图谱嵌入方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110765788A CN110765788A (zh) | 2020-02-07 |
| CN110765788B true CN110765788B (zh) | 2023-12-08 |
Family
ID=69334395
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911036820.5A Active CN110765788B (zh) | 2019-10-29 | 2019-10-29 | 一种基于隐式翻译模型的知识图谱嵌入方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110765788B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111291139B (zh) * | 2020-03-17 | 2023-08-22 | 中国科学院自动化研究所 | 基于注意力机制的知识图谱长尾关系补全方法 |
| CN111125294B (zh) * | 2020-03-31 | 2020-06-26 | 武汉中科通达高新技术股份有限公司 | 一种空间关系的知识图谱数据模型表示方法及系统 |
| CN112836511B (zh) * | 2021-01-27 | 2024-01-30 | 北京计算机技术及应用研究所 | 基于协同关系的知识图谱上下文嵌入方法 |
| CN112765287B (zh) * | 2021-02-05 | 2022-04-19 | 中国人民解放军国防科技大学 | 基于知识图谱嵌入的挖掘人物关系的方法、装置以及介质 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109376864A (zh) * | 2018-09-06 | 2019-02-22 | 电子科技大学 | 一种基于堆叠神经网络的知识图谱关系推理算法 |
| CN109829057A (zh) * | 2019-01-11 | 2019-05-31 | 中山大学 | 一种基于图二阶相似性的知识图谱实体语义空间嵌入方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20190122111A1 (en) * | 2017-10-24 | 2019-04-25 | Nec Laboratories America, Inc. | Adaptive Convolutional Neural Knowledge Graph Learning System Leveraging Entity Descriptions |
-
2019
- 2019-10-29 CN CN201911036820.5A patent/CN110765788B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109376864A (zh) * | 2018-09-06 | 2019-02-22 | 电子科技大学 | 一种基于堆叠神经网络的知识图谱关系推理算法 |
| CN109829057A (zh) * | 2019-01-11 | 2019-05-31 | 中山大学 | 一种基于图二阶相似性的知识图谱实体语义空间嵌入方法 |
Non-Patent Citations (1)
| Title |
|---|
| Yunfei Chu.Network embedding based on deep extreme learning machine.International Journal of Machine Learning and Cybernetics volume 10, pages2709–2724 (2019).2018,全文. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110765788A (zh) | 2020-02-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110765788B (zh) | 一种基于隐式翻译模型的知识图谱嵌入方法 | |
| CN111414481B (zh) | 基于拼音和bert嵌入的中文语义匹配方法 | |
| CN110188047B (zh) | 一种基于双通道卷积神经网络的重复缺陷报告检测方法 | |
| CN110427461A (zh) | 智能问答信息处理方法、电子设备及计算机可读存储介质 | |
| CN106650789A (zh) | 一种基于深度lstm网络的图像描述生成方法 | |
| CN111581350A (zh) | 一种基于预训练语言模型的多任务学习阅读理解方法 | |
| CN111160037A (zh) | 一种支持跨语言迁移的细粒度情感分析方法 | |
| CN109389171B (zh) | 基于多粒度卷积降噪自动编码器技术的医疗图像分类方法 | |
| CN112115716A (zh) | 一种基于多维词向量下文本匹配的服务发现方法、系统及设备 | |
| CN109101490B (zh) | 一种基于融合特征表示的事实型隐式情感识别方法和系统 | |
| CN113392191B (zh) | 一种基于多维度语义联合学习的文本匹配方法和装置 | |
| CN114819148B (zh) | 基于不确定性估计知识蒸馏的语言模型压缩方法 | |
| CN104657574A (zh) | 一种医疗诊断模型的建立方法及装置 | |
| CN115130538A (zh) | 文本分类模型的训练方法、文本处理的方法、设备及介质 | |
| CN110874392B (zh) | 基于深度双向注意力机制的文本网络信息融合嵌入方法 | |
| CN113486645A (zh) | 一种基于深度学习的文本相似度检测方法 | |
| Liang et al. | An Improved Double Channel Long Short‐Term Memory Model for Medical Text Classification | |
| CN117497140B (zh) | 一种基于细粒度提示学习的多层次抑郁状态检测方法 | |
| Wang et al. | Transh-ra: A learning model of knowledge representation by hyperplane projection and relational attributes | |
| CN114692615B (zh) | 一种针对小语种的小样本意图识别方法 | |
| CN109782156B (zh) | 基于人工免疫诊断网络的模拟电路故障诊断方法 | |
| CN113139464A (zh) | 一种电网故障检测方法 | |
| CN110888996A (zh) | 一种基于范围卷积神经网络的文本分类方法 | |
| Li et al. | Seq-CNN: A lightweight and efficient neural network for sentimental analysis of text | |
| CN114330360B (zh) | 一种针对特定目标的立场检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |