CN115186102A - 基于双流嵌入和深度神经网络的动态知识图谱补全方法 - Google Patents

基于双流嵌入和深度神经网络的动态知识图谱补全方法 Download PDF

Info

Publication number
CN115186102A
CN115186102A CN202210799672.8A CN202210799672A CN115186102A CN 115186102 A CN115186102 A CN 115186102A CN 202210799672 A CN202210799672 A CN 202210799672A CN 115186102 A CN115186102 A CN 115186102A
Authority
CN
China
Prior art keywords
neural network
entity
deep neural
embedding
knowledge graph
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210799672.8A
Other languages
English (en)
Inventor
刘爽
秦煜峰
孟佳娜
于玉海
王巍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dalian Minzu University
Original Assignee
Dalian Minzu University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dalian Minzu University filed Critical Dalian Minzu University
Priority to CN202210799672.8A priority Critical patent/CN115186102A/zh
Publication of CN115186102A publication Critical patent/CN115186102A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
    • G06F16/367—Ontology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G06F16/353—Clustering; Classification into predefined classes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/02—Knowledge representation; Symbolic representation
    • G06N5/022—Knowledge engineering; Knowledge acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/02—Knowledge representation; Symbolic representation
    • G06N5/027—Frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Machine Translation (AREA)

Abstract

本发明涉及知识图谱补全领域，公开了基于双流嵌入和深度神经网络的动态知识图谱补全方法。技术方案：使用知识的文本描述对原有名称进行替换，接着将三元组分为头实体、关系和尾实体两个不对称的部分，使用孪生网络的结构应用两个相同的BERT预训练模型进行知识的嵌入，在引入了知识语意信息的同时节约了大量的时间成本，避免组合爆炸问题的产生；在推理阶段，使用了残差神经网络，相比于传统的CNN残差神经网络拥有更良好的性能，摆脱了随着网络层数的增加出现的模型退化的问题。本发明拥有良好的性能，兼具高效和精确两方面的特性。

Description

基于双流嵌入和深度神经网络的动态知识图谱补全方法
技术领域
本发明涉及知识图谱补全领域，特别是动态知识图谱补全技术领域，涉及到没有在知识图谱中出现的关系和实体。
背景技术
知识图谱是一种特殊的数据库，通常以RDF三元组(头实体、关系、尾实体)的形式陈述一条事实。目前，知识图谱已经被广泛的应用到智能问答、机器翻译、个性化推荐等诸多领域，但许多大型知识图谱仍存在数据稀疏问题，大量客观存在的事实关系未被充分挖掘。
知识图谱补全就是为了解决上述问题，通过预测实体之间的缺失的关系，从而产生新的三元组对原有的知识库进行补充。知识图谱补全技术在方法上分为两大类，第一类是基于图嵌入的方法，通过计算三元组的结构信息判断实体之前的关系，这类方法模型简单，但没有结合知识库中知识的文本信息，因此，这类方法只能做静态知识补全，不能泛化到在训练过程中未见过的实体；第二类方法是通过三元组的文本说明或其名称的文本语义信息进行链接预测，这类方法虽然正确率较高且可以预测知识图谱中不存的实体和关系，但此类方法计算时间成本较高，容易出现组合爆炸的问题，无法在大型知识图谱中应用。
发明内容
发明目的：为了解决动态知识图谱补全问题提供一种基于双流嵌入和深度神经网络的动态知识图谱补全方法，该方法在提高模型效果的同时减少了实体嵌入和推理的时间。
本发明采用的技术方案为:一种基于双流嵌入和深度神经网络的知识图谱补全方法，包括以下步骤:
步骤1：获取数据中实体和关系的文本信息；
步骤2：对数据进行负采样，获取到负样本；
步骤3：将头实体和关系进行组合，同时，将头实体和关系、尾实体构造成BERT的输入数据形式；
步骤4：将头实体和关系、尾实体的文本表示分别输入到两个BERT中，获取两部分的嵌入向量；
步骤5：对两部分嵌入向量按照原有维度进行拼接；
步骤6：使用一维卷积进行矩阵升维并投影到二维平面中，生成特征图；
步骤7：将特征图输入到多个残差模块中进行特征提取；
步骤8：对特征矩阵使用平均池化，再将其输入到顶部是Softmax分类器的全连接层当中获取三元组得分；
步骤9：通过模型计算训练集中所有三元组得分，并利用分数进一步对模型进行训练；
步骤10：在训练集上分别验证模型链接预测效果和对未在训练集中出现过的三元组补全的结果。
进一步的，针对步骤1，本次使用知识图谱补全任务中常用的FB15K-237、WN18RR数据集，和多关系数据集NELL-ONE,在数据集中存在一定的实体和关系的描述，当实体或关系的描述存在时，使用描述代替其名称，当实体或关系的描述不存在时，直接使用名称作为文本信息。
进一步的，针对步骤2，采用随机替换的负采样策略，将给定三元组的头实体或尾实体实去除并随机使用其他实体进行替换，当重组的三元组在原始知识图谱中不存在时，将其作为负样本添加到负样本列表中。
进一步的，针对步骤3，首先，使用BERT的tokenizer将实体和关系的描述或名称分词后转换为index的形式，再将头实体、关系和尾实体分别添加[CLS]和[SEP]将其构造成BERT输入的形式。
进一步的，针对步骤4，为了减少嵌入和推理的时间避免组合爆炸问题的产生，在嵌入部分采用两分支的孪生网络的结构，将步骤3得到的两部分输入内容，分别输入到两个相同的BERT预训练模型中，并设置两个BERT权值共享，得到两部分的嵌入向量。
进一步的，针对步骤5，将步骤4中得到的头实体、关系和尾实体两部分长度为768通道数为1的一维嵌入向量，按照原有维度进行堆叠，得到长度为768通道数为2的一维嵌入向量。
进一步的，针对步骤6，应用1个一维卷积核对步骤5得到的堆叠向量进行卷积，并将得到的特征投影到一个二维平面中，生成特征图。
进一步的，针对步骤7，在神经网络可以收敛的前提下，随着网络层数不断增加，梯度的相关性会持续衰减，导致网络表现逐渐变差，而残差神经网络可以有效解决上述问题，保证在堆叠网络的过程中，网络不会因为继续堆叠而产生退化。因此，对步骤6生成的特征图使用ResNet残差神经网络进行特征提取，产生新的特征矩阵。
进一步的，针对步骤8，将步骤7中生成的特征矩阵做平均池化，并送入到一个顶部是softmax分类器的全连接层中，并计算三元组的得分，根据得分判断实体之间是否存在关系，将链接预测任务转化为一个简单二分类任务。
进一步的，针对步骤9，在步骤2中按照1：3的比例分别取出正样本和负样本构造训练样本，同时，在步骤8中将链接预测问题被转换为头尾实体是否存在关系的二分类问题，因此，训练数据中添加的标签为0，1标签，将数据送入模型中，并反向更新模型中权重参数对模型进行训练。
进一步的，针对步骤10，测试过程中不再使用类别标签，而是使用三元组计算得来的分数进行排名，使用MR、MRR、Hits@N作为评价指标。测试主要分为两部分，一是在通用数据集上的链接预测实验，二是在NELL-ONE数据集上测试动态知识补全效果。
有益效果：
本发所述的基于双流嵌入和深度神经网络的动态知识图谱补全方法，将三元组分为不对称的两个部分，使用孪生网络的结构应用两个相同的BERT预训练模型进行知识的嵌入，在引入了知识语意信息的同时节约了大量的时间成本，避免组合爆炸问题的产生；在推理阶段，使用了残差神经网络，相比于传统的CNN，残差神经网络拥有更良好的性能，摆脱了随着网络层数的增加出现的模型退化的问题。本发明拥有良好的性能，兼具高效和精确两方面的特性。
附图说明
图1为本发明实施例所公开的一种基于双流嵌入和深度神经网络的动态知识图谱补全的流程示意图；
图2为本发明中特征提取ResNet网络结构图；
图3为本发明中的双流嵌入和深度神经网络的动态知识图谱补全模型的核心框架图。
具体实施方式
下面将参照附图更详细地描述本发明一种基于双流嵌入和深度神经网络的动态知识图谱补全方法的具体操作步骤。进一步阐明本发明，应理解这些实例仅用于说明本发明而不用于限制本发明的范围，在阅读了本发明之后，本领域技术人员对本发明的各种等价形式的修改均落于本申请所附权利要求所限定的范围。
一种基于双流嵌入和深度神经网络的动态知识图谱补全方法，如图1所示，包括以下步骤:
步骤1：获取数据中实体和关系的文本信息；
本发明所使用的知识图谱补全方法属于基于表示学习类的知识补全方法，在训练和预测过程依赖于实体和关系的语义信息进行实体之间关系的推理，所以，首先需要对三元组中实体和关系进行文本信息替换。
对于知识图谱中的实体和关系，通过其index检索到数据集中其对应的文本说明，并使用文本说明对三元组中的知识进行替换，当某些知识的文本说明不存在时，使用其名称作为文本信息。
(h,r,t)＝(Th,Tr,Tt) 公式(1)
其中h、r、t分别表示原始三元组中的头实体、关系和尾实体；Th、Tr、Tt表示使用知识的文本信息替换过的头实体、关系和尾实体。
步骤2：对数据进行负采样，获取到负样本；
在知识图谱补全任务的数据集中，所有的三元组均认为是客观存在的正样本，为了满足模型训练和性能测试的需求，需要对数据中的正样本进行负采样，构建对应的负样本。
本发明采用元素替换的方式构造负样本，即将正样本三元组中的实体随机替换为其他实体，当替换后的三元组不存于原始的知识图谱当中时，就将其作为负样本，存储到负样本列表中。训练过程中为了加速模型收敛，同时防止过拟合问题，需要根据模型设置正负样本的比例，保证训练过程中，正负样本平衡，经测试本发明中正负样本的比例为1：3时模型收敛速度最快。
对正样本tp进行负采样：
Figure BDA0003737001870000041
其中tp′表示负样本，h′、r′、t′分别表示被替换的头实体、关系和尾实体，E代表知识图谱G中所有实体集合。步骤3：将头实体和关系进行组合，同时，将头实体和关系、尾实体构造成BERT的输入数据形式；
将三元组划分为头实体、关系和尾实体两个部分，该步骤是本发明的核心内容之一，既满足了双流嵌入的数据要求，同时也保存了实体和关系之间的上下文信息。BERT的输入有一定的格式要求，先使用tokenizer进行分词，将实体和关系的句子描述转化为tokens，再使用词表将每个token映射为单字id，最后，在句子级别的输入序列中添加[CLS]和[SEP]标志。
对于头实体和关系：
Figure BDA0003737001870000051
对于尾实体：
Figure BDA0003737001870000052
其中，X(h)，X(r)，X(t)分别表示头实体、关系和尾实体。x[CLS]标志放在第一个句子的首位，表示BERT输入句子的开始；x[SEP]标志用于分开两个输入句子。
步骤4：将头实体和关系、尾实体的文本表示分别输入到两个BERT中，获取两部分的嵌入向量；
使用两个相同的BERT对步骤3中构建的两部分输入数据进行表示学习，并应用最大池化来获取固定长度为768的向量作为知识的嵌入向量，该向量包含了知识的语义信息和实体关系间的上下文信息。同时，为了提高知识嵌入的效率，不设置微调BERT。
知识嵌入过程为：
Figure BDA0003737001870000053
Figure BDA0003737001870000054
Eh、Er分别表示头实体、关系和尾实体的嵌入向量，在实验中设置公式(5)和公式(6)的权值共享以提高参数利用率。
步骤5：对两部分嵌入向量按照原有维度进行拼接；
本发明舍弃了使用向量内积的主流知识图谱补全评分方式，而是将整个三元组输入到评分模块中，在步骤4中使用两个相同的BERT，获取到了两部分长度为768通道为1的一维嵌入向量,为了不引入无关信息,拼接时使用原有维度拼接：
u＝(Eh:Et),u∈R2×768 公式(7)
u是长度为768通道数为2的一维向量。
步骤6：使用一维卷积进行矩阵升维并投影到二维平面中，生成特征图；
沿着组合后的向量u使用一维卷积将每个位置i的向量投影到二维的特征图xi中，其中卷积的输入通道为2输出通道设置为f×f，因此，特征图
Figure BDA0003737001870000061
代表一个完整的三元组。
步骤7：将特征图输入到多个残差模块中进行特征提取。
卷积神经网络CNN曾经被应用于知识图谱补全领域，但由于传统的CNN当模型达到一定的深度后会出网络退化的问题，严重限制了模型特征提取的能力，为了解决网络退化的问题，我们选择使用ResNet残差神经网络对三元组进行特征提取。
根据向量的长度设置24个残差块，如图2所示，每个残差块由连续的1×1卷积、3×3卷积、1×1卷积组成，每个卷积层之前都需要对输入特征进行批量归一化，然后再添加ReLU激活函数。其中第一个1×1卷积用于将特征降维；第二个1×1卷积用于将其恢复到原有维度。
F(X)代表瓶颈块中的卷积操作，则瓶颈块的输出为：
Figure BDA0003737001870000062
步骤8：对特征矩阵使用平均池化，再将其输入到顶部是softmax分类器的全连接层当中获取三元组得分。
经全连接层提取出的三元组特征
Figure BDA0003737001870000063
和全连接层的输入维度并不匹配，需要使用平均池化对特征进行降维，降维后的
Figure BDA0003737001870000064
输入到全连接层中获取每个三元组的评分，最后通过softmax将评分归一化到0-1空间中得到最终的三元组得分s，该得分用于确定一个事实三元组的准确与否。
Figure BDA0003737001870000065
Figure BDA0003737001870000066
步骤9：通过模型计算训练集中所有三元组得分，并利用分数进一步对模型进行训练；
训练集中正样本标签为1，负样本标签设置为0，将训练数据按批次输出到模型中。在训练过程中链接预测问题属于二分类问题，使用交叉熵损失函数计算模型的损失，并使用Adam优化器反向更新模型参数，优化的目标为最小化正样本tp的损失，最大化负压样本tp′的损失。
损失函数的计算过程为：
Figure BDA0003737001870000071
其中，D代表只包含正样本的训练集，N(tp)表示根据tp生成的负样本，c为正样本tp预测为正类的概率。
步骤10：在训练集上分别验证模型链接预测效果和对未在训练集中出现过的三元组补全的结果；
测试过程中不再将三元组得分转化为类别，而是对计算出的三元组得分进行排名，并使用MR、MRR、Hits@n作为模型评价指标，其中MR值越小，且MRR、Hits@n值越大模型效果越好。
测试使用到了两部分数据，一部分使用知识图谱补全通用数据集FB15K-237、WN18RR进行链接预测实验，另一部分在NELL-ONE数据集测试不在原始知识图谱中出现得实体和关系的补全效果。
以上所述仅是本发明的优选实施方式，应当指出:对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种基于双流嵌入和深度神经网络的动态知识图谱补全方法，其特征在于，步骤如下：
步骤1：获取数据中实体和关系的文本信息；
步骤2：对数据进行负采样，获取到负样本；
步骤3：将头实体和关系进行组合，同时，将头实体和关系、尾实体构造成BERT的输入数据形式；
步骤4：将头实体和关系、尾实体的文本表示分别输入到两个BERT中，获取两部分的嵌入向量；
步骤5：对两部分嵌入向量按照原有维度进行拼接；
步骤6：使用一维卷积进行矩阵升维并投影到二维平面中，生成特征图；
步骤7：将特征图输入到若干个残差模块中进行特征提取；
步骤8：对特征矩阵使用平均池化，再将其输入到顶部是Softmax分类器的全连接层当中获取三元组得分；
步骤9：通过模型计算训练集中所有三元组得分，并利用分数进一步对模型进行训练；
步骤10：在训练集上分别验证模型链接预测效果和对未在训练集中出现过的三元组补全的结果。
2.如权利要求1所述的基于双流嵌入和深度神经网络的动态知识图谱补全方法，其特征在于，针对步骤1，当实体或关系的描述存在时，使用描述代替其名称；当实体或关系的描述不存在时，直接使用名称作为文本信息。
3.如权利要求2所述的基于双流嵌入和深度神经网络的动态知识图谱补全方法，其特征在于，针对步骤2，采用随机替换的负采样策略，将给定三元组的头实体或尾实体实去除并随机使用其他实体进行替换，当重组的三元组在原始知识图谱中不存在时，将其作为负样本添加到负样本列表中。
4.如权利要求3所述的基于双流嵌入和深度神经网络的动态知识图谱补全方法，其特征在于，针对步骤3，使用BERT的tokenizer将实体和关系的描述或名称，并根据提供的词典将每个词映射为id，再将头实体、关系和尾实体构造成BERT输入的形式。
5.如权利要求4所述的基于双流嵌入和深度神经网络的动态知识图谱补全方法，其特征在于，针对步骤4，将构造好的头实体、关系和尾实体的两部分输入内容，分别输入到两个相同的BERT预训练模型中，并设置两个BERT权值共享，获取到两部分的嵌入向量。
6.如权利要求5所述的基于双流嵌入和深度神经网络的动态知识图谱补全方法，其特征在于，针对步骤5，将得到的两部分嵌入向量，按照原有维度进行堆叠，堆叠后得到长度为768,通道数为2的一维嵌入向量。
7.如权利要求6所述的基于双流嵌入和深度神经网络的动态知识图谱补全方法，其特征在于，针对步骤6，应用一维卷积沿着步骤5得到的堆叠向量滑动，并将卷积得到的特征投影到一个二维平面中，生成特征图；
针对步骤7，对步骤6生成的特征图使用ResNet残差神经网络进行特征提取，产生新的特征矩阵。
8.如权利要求7所述的基于双流嵌入和深度神经网络的动态知识图谱补全方法，其特征在于，针对步骤8，将生成的特征矩阵做平均池化，并送入到一个顶部是softmax分类器的全连接层中，并计算三元组的得分，根据得分判断实体之间是否存在关系，将链接预测问题转化为二分类问题。
9.如权利要求8所述的基于双流嵌入和深度神经网络的动态知识图谱补全方法，其特征在于，针对步骤9，训练数据中添加0，1标签，将训练数据送入模型中，并反向更新模型中权重参数对模型进行训练。
10.如权利要求9所述的基于双流嵌入和深度神经网络的动态知识图谱补全方法，其特征在于，针对步骤10，测试过程中不再使用类别标签，而是使用三元组计算得来的分数进行排名，使用MR、MRR、Hits@N作为评价指标；测试分为两部分，一是在通用数据集上的链接预测实验，二是在NELL-ONE数据集上测试动态知识补全效果。
CN202210799672.8A 2022-07-08 2022-07-08 基于双流嵌入和深度神经网络的动态知识图谱补全方法 Pending CN115186102A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210799672.8A CN115186102A (zh) 2022-07-08 2022-07-08 基于双流嵌入和深度神经网络的动态知识图谱补全方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210799672.8A CN115186102A (zh) 2022-07-08 2022-07-08 基于双流嵌入和深度神经网络的动态知识图谱补全方法

Publications (1)

Publication Number Publication Date
CN115186102A true CN115186102A (zh) 2022-10-14

Family

ID=83516930

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210799672.8A Pending CN115186102A (zh) 2022-07-08 2022-07-08 基于双流嵌入和深度神经网络的动态知识图谱补全方法

Country Status (1)

Country Link
CN (1) CN115186102A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115934967A (zh) * 2023-01-05 2023-04-07 瓴创(北京)科技有限公司 一种基于孪生Transformer模型和知识图谱结合的商品推荐方法、系统
CN116010583A (zh) * 2023-03-17 2023-04-25 合肥综合性国家科学中心人工智能研究院(安徽省人工智能实验室) 一种级联耦合的知识增强对话生成方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115934967A (zh) * 2023-01-05 2023-04-07 瓴创(北京)科技有限公司 一种基于孪生Transformer模型和知识图谱结合的商品推荐方法、系统
CN115934967B (zh) * 2023-01-05 2024-02-27 瓴创(北京)科技有限公司 一种基于孪生Transformer模型和知识图谱结合的商品推荐方法、系统
CN116010583A (zh) * 2023-03-17 2023-04-25 合肥综合性国家科学中心人工智能研究院(安徽省人工智能实验室) 一种级联耦合的知识增强对话生成方法
CN116010583B (zh) * 2023-03-17 2023-07-18 合肥综合性国家科学中心人工智能研究院(安徽省人工智能实验室) 一种级联耦合的知识增强对话生成方法

Similar Documents

Publication Publication Date Title
CN110298037B (zh) 基于增强注意力机制的卷积神经网络匹配的文本识别方法
CN117033608B (zh) 一种基于大语言模型的知识图谱生成式问答方法及系统
CN112528676B (zh) 文档级别的事件论元抽取方法
CN107798624B (zh) 一种软件问答社区中的技术标签推荐方法
CN115186102A (zh) 基于双流嵌入和深度神经网络的动态知识图谱补全方法
CN110647619A (zh) 一种基于问题生成和卷积神经网络的常识问答方法
CN111563166A (zh) 一种针对数学问题分类的预训练模型方法
CN114818703B (zh) 基于BERT语言模型和TextCNN模型的多意图识别方法及系统
CN112733550A (zh) 基于知识蒸馏的语言模型训练方法、文本分类方法及装置
CN112925904B (zh) 一种基于Tucker分解的轻量级文本分类方法
CN110516070A (zh) 一种基于文本纠错与神经网络的中文问句分类方法
CN115204143B (zh) 一种基于prompt的文本相似度计算方法及系统
CN115827819A (zh) 一种智能问答处理方法、装置、电子设备及存储介质
CN114780723B (zh) 基于向导网络文本分类的画像生成方法、系统和介质
CN115391520A (zh) 一种文本情感分类方法、系统、装置及计算机介质
CN112988970A (zh) 一种服务于智能问答系统的文本匹配算法
CN112686040B (zh) 一种基于图循环神经网络的事件事实性检测方法
CN112015760B (zh) 基于候选答案集重排序的自动问答方法、装置和存储介质
CN110334204B (zh) 一种基于用户记录的习题相似度计算推荐方法
CN111985204A (zh) 一种海关进出口商品税号预测方法
CN115630140A (zh) 一种基于文本特征融合的英语阅读材料难度判断的方法
CN114328863A (zh) 一种基于高斯核函数的长文本检索方法及系统
CN116244496B (zh) 一种基于产业链的资源推荐方法
CN115329755B (zh) 实体链接模型处理方法、装置和实体链接处理方法、装置
CN116562284B (zh) 一种政务文本自动分拨模型训练方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination