CN116702898B - 一种基于知识表示学习的文言文知识迁移方法及系统 - Google Patents
一种基于知识表示学习的文言文知识迁移方法及系统 Download PDFInfo
- Publication number
- CN116702898B CN116702898B CN202310973852.8A CN202310973852A CN116702898B CN 116702898 B CN116702898 B CN 116702898B CN 202310973852 A CN202310973852 A CN 202310973852A CN 116702898 B CN116702898 B CN 116702898B
- Authority
- CN
- China
- Prior art keywords
- vector
- knowledge
- modern
- text
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 69
- 238000013508 migration Methods 0.000 title claims abstract description 10
- 230000005012 migration Effects 0.000 title claims abstract description 10
- 239000013598 vector Substances 0.000 claims abstract description 244
- 238000012549 training Methods 0.000 claims abstract description 73
- 229940028444 muse Drugs 0.000 claims abstract description 38
- 238000012545 processing Methods 0.000 claims abstract description 14
- 238000007781 pre-processing Methods 0.000 claims abstract description 11
- 230000006870 function Effects 0.000 claims description 85
- 238000013507 mapping Methods 0.000 claims description 52
- GMVPRGQOIOIIMI-DWKJAMRDSA-N prostaglandin E1 Chemical compound CCCCC[C@H](O)\C=C\[C@H]1[C@H](O)CC(=O)[C@@H]1CCCCCCC(O)=O GMVPRGQOIOIIMI-DWKJAMRDSA-N 0.000 claims description 30
- 239000011159 matrix material Substances 0.000 claims description 21
- 238000011156 evaluation Methods 0.000 claims description 15
- 238000012546 transfer Methods 0.000 claims description 14
- 238000004458 analytical method Methods 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 claims description 7
- 238000000354 decomposition reaction Methods 0.000 claims description 7
- 230000011218 segmentation Effects 0.000 claims description 6
- 238000012854 evaluation process Methods 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims description 3
- 238000003058 natural language processing Methods 0.000 abstract description 3
- 239000004973 liquid crystal related substance Substances 0.000 description 12
- 238000011160 research Methods 0.000 description 5
- 238000012360 testing method Methods 0.000 description 5
- 229920001218 Pullulan Polymers 0.000 description 2
- 239000004373 Pullulan Substances 0.000 description 2
- 238000013506 data mapping Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000008451 emotion Effects 0.000 description 2
- 235000019423 pullulan Nutrition 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 239000011362 coarse particle Substances 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000010419 fine particle Substances 0.000 description 1
- 238000012804 iterative process Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 238000013441 quality evaluation Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/02—Knowledge representation; Symbolic representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
- G06F16/367—Ontology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/279—Recognition of textual entities
- G06F40/284—Lexical analysis, e.g. tokenisation or collocates
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/279—Recognition of textual entities
- G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0475—Generative networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/094—Adversarial learning
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Biomedical Technology (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Databases & Information Systems (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Animal Behavior & Ethology (AREA)
- Machine Translation (AREA)
Abstract
本发明涉及自然语言处理技术领域，具体公开了一种基于知识表示学习的文言文知识迁移方法及系统，包括：步骤S10，获取文言文语料和现代知识图谱，根据文言文语料和现代知识图谱构建训练数据集；步骤S20，对训练数据集进行预处理，得到文言文向量和现代文向量；步骤S30，将T‑MUSE模型作为初始模型，根据文言文向量和现代文向量对初始模型进行多次迭代训练，得到任务模型；步骤S40，根据任务模型对输入的目标文言文向量和目标现代文向量进行处理，得到词向量、对齐词表和文言文三元组。
Description
技术领域
本发明涉及自然语言处理技术领域，具体涉及一种基于知识表示学习的文言文知识迁移方法及系统。
背景技术
随着自然语言处理技术的发展，知识图谱在越来越多的领域成为不可或缺的工具。近年来文言文数字研究日渐增长，一个好的文言文知识管理工具可以对文言文的研究起到重要作用。
目前已有一些文言文知识平台的研究，但尚无比较成熟完善的文言文词汇语义知识图谱。构建一个文言文词汇语义知识图谱，不仅能够使学者在研究古代汉语时能够方便快捷地查找到词汇本身以及意义相关联的词汇，还可以应用在其他文言文任务中，如情感分析等。文言文知识图谱有助于进一步挖掘文言文中所蕴含的信息，对古汉语研究有重要帮助。
构建文言文知识图谱会面临诸多问题：古代汉语结构化语料资源有限，本体层构建难度较大，人工标注语料成本较高等；现代文语料资源较为丰富，但现代文和文言文对齐的双语语料难以获得。
以上问题常见的解决方法有：基于平行语料的方法和无监督的方法，基于平行语料的方法需要预对齐的双语语料，对语料要求较高；而基于无监督的方法不需要平行语料，但对齐结果不如专有双语语料对齐模型。
如何平衡两种方式的特点使其更好的应用成为业界需要进一步研究的问题。
发明内容
针对上述问题，本发明提供的基于知识表示学习的文言文知识迁移方法及系统，在建立文言文语料的过程中，减少了对平行语料的依赖，并保证了较高的准确率，解决了人工抽取并构建文言文语料耗费成本过高，以及现有技术难以获得文言文和现代文的对齐语料的问题。
本发明实施例第一方面提供的基于知识表示学习的文言文知识迁移方法，包括：
步骤S10，获取文言文语料和现代知识图谱，根据所述文言文语料和所述现代知识图谱构建训练数据集；
步骤S20，对所述训练数据集进行预处理，得到文言文向量和现代文向量；
步骤S30，将T-MUSE模型作为初始模型，根据所述文言文向量和所述现代文向量对所述初始模型进行多次迭代训练，得到任务模型；
步骤S40，根据所述任务模型对输入的目标文言文向量和目标现代文向量进行处理，得到词向量、对齐词表和文言文三元组。
在一种可能的实现方式中，所述S20包括：
步骤S21，对所述训练数据集中的文言文语料进行分词处理，得到文言文向量；
步骤S22，根据TransH 模型对所述现代知识图谱进行处理，得到现代文向量。
在一种可能的实现方式中，所述S30包括：
将MUSE模型作为框架，根据对抗训练函数将源语言词向量映射到目标语言词向量；
通过迭代训练优化源语言词向量到目标语言词向量的映射关系；
根据所述优化后的映射关系查找与每个源语言词向量对应的目标语言词向量，得到阶段性对齐的双语词表；
以所述对齐词表中高质量的词向量对作为锚点，做普鲁克分析，优化所述映射关系；
其中，根据以下公式计算最优映射关系：
，；
式中，为源语言词向量，为目标语言词向量，为映射关系，表示维空间
中的正交矩阵集合，为源语言词向量的转置，、和分别表示的奇异值分解结果
中的左奇异矩阵、奇异值矩阵和右奇异矩阵的转置。
在一种可能的实现方式中，所述对抗训练函数包括生成函数和判别函数；
所述判别函数用于判别目标语言词向量和经过映射的源语言词向量，公式如下：
；
式中，为在给定输入数据、映射关系W和生成函数参数
的情况下，源为1的概率，用于表示生成函数对正类的生成概率；为在给
定真实标签和生成函数参数的情况下，源为0的概率，用于表示生成函数对负类的生成
概率；n为输入数据的数量，m为真实标签的数量；
所述生成函数用于生成映射关系，使判别函数不能区分出一个词表征的是目标语言词向量还是经过映射的源语言词向量，公式如下：
；
式中，为在给定输入数据、映射关系W和判别函数参数
的情况下，源为0的概率，用于表示判别函数对负类的判别概率；为在
给定真实标签和判别函数参数的情况下，源为1的概率，用于表示判别函数对正类的判
别概率；
所述对抗训练函数的公式如下：
；
式中，D代表判别函数，G代表生成函数， 为源语言词向量， 为目标语言词向
量；为生成函数生成的数据的期望输出结果对数的平均值，用于表示判别函数对生成
数据的判断准确性；为真实标签的期望输出结果对数的平均值，用于表示判别函数对真
实数据的判断准确性；为目标语言词向量y的真实分布；为判别函数对目标语
言词向量y的输出结果，用于表示y是真实数据的概率；为判别函数对生成函数G(x)
生成的目标语言词向量的输出结果，用于表示G(x)生成的数据是真实数据的概率。
在一种可能的实现方式中，所述映射关系的更新过程为如下公式：
；
其中，为超参数，为映射关系的转置。
在一种可能的实现方式中，所述S30还包括：
在对抗训练结束后根据映射关系和跨域相似度局部缩放方法构建对齐词表；
所述跨域相似度局部缩放方法基于如下公式：
；
式中，表示源域中向量经映射后和目标域中向量的相似性得分，
表示源域中的向量，表示目标域中的向量，表示源域中的向量经映射后和目
标域中的向量之间的余弦相似度，表示源域中的向量与目标域中与向量
最相似的个向量的平均余弦相似度，为目标域中的向量与源域中与向量最相
似的个向量的平均余弦相似度，即目标域中向量的相似度分数；
的计算公式如下：
；
其中，表示源域中的向量经映射后与目标域中与向量最相似的
个向量的平均余弦相似度，表示与最相似的个目标域向量的集合。
在一种可能的实现方式中，根据以下公式计算损失函数L：
；
其中, 为正确的三元组，为随机采样一个三元组的头实体或尾
实体获得的负例三元组，为正确的三元组合集，为负例三元组合集，为关系对
头实体和尾实体的得分，用于表示三元组的置信度；为边界值，为负例
三元组的得分。
在一种可能的实现方式中，所述S30包括：
步骤S31，采用对抗训练函数对所述文言文向量和所述现代文向量进行训练；
步骤S32，根据映射关系，构建所述文言文向量和所述现代文向量的对齐词表；
步骤S33，找出对齐词表中存在的现代文三元组以及所述现代文三元组对应的文言文三元组；
步骤S34，将对所述文言文三元组进行训练得到的词嵌入，作为下一轮的文言文向量和现代文向量，返回步骤S31，直至所述多次迭代训练完成。
在一种可能的实现方式中，所述S40之后还包括：
步骤S50，将所述任务模型生成的第一对齐词表与基线模型生成的第二对齐词表进行比较，将所述任务模型生成的第一文言文三元组与基线模型生成的第二文言文三元组进行比较，得到评价结果。
本发明实施例第二方面提供的一种基于知识表示学习的文言文知识迁移系统，应用如上述任一所述的基于知识表示学习的文言文知识迁移方法，包括：
获取数据模块，用于获取文言文语料和现代知识图谱，根据所述文言文语料和所述现代知识图谱构建训练数据集；
预处理模块，用于对所述训练数据集进行预处理，得到文言文向量和现代文向量；
训练模块，用于将T-MUSE模型作为初始模型，根据所述文言文向量和所述现代文向量对所述初始模型进行多次迭代训练，得到任务模型；
输出模块，用于根据所述任务模型对输入的目标文言文向量和目标现代文向量进行处理，得到词向量、对齐词表和文言文三元组。
本发明提供的基于知识表示学习的文言文知识迁移方法及系统，采用知识迁移的方式，将现代文词汇语义知识图谱的知识迁移到文言文语料中，自动化地生成文言文三元组知识，并选择使用无监督词向量对齐的方式，省去了构建对齐语料的工作，同时在对齐的迭代过程中加入了知识表示的训练。在建立文言文语料的过程中，减少了对平行语料的依赖，并保证了较高的准确率，解决了人工抽取并构建文言文语料耗费成本过高，以及现有技术难以获得文言文和现代文的对齐语料的问题。
附图说明
图1为本发明实施例提供的基于知识表示学习的文言文知识迁移方法的流程示意图；
图2为本发明实施例提供的文言文与现代文的对应关系示意图。
具体实施方式
下面结合附图和实施例对本发明的实施方式作进一步详细描述。以下实施例的详细描述和附图用于示例性地说明本发明的原理，但不能用来限制本发明的范围，即本发明不限于所描述的优选实施例，本发明的范围由权利要求书限定。
在本发明的描述中，需要说明的是，除非另有说明，“多个”的含义是两个或两个以上；术语“第一”“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性；对于本领域的普通技术人员而言，可视具体情况理解上述术语在本发明中的具体含义。
图1为本发明实施例提供的基于知识表示学习的文言文知识迁移方法的流程示意图，如图1所示，本发明实施例提供的基于知识表示学习的文言文知识迁移方法，包括：
步骤S10，获取文言文语料和现代知识图谱，根据文言文语料和现代知识图谱构建训练数据集；
在一个实例中，文言文语料选用《二十四史》，经过数据清洗筛选最终得到252,359个词语。现代汉语词汇语义知识图谱主要包括研究组构建的118,532近义词关系、3,258反义词关系、127,264上下位关系以及18,392动词论元关系。
步骤S20，对训练数据集进行预处理，得到文言文向量和现代文向量；
在一种可能的实现方式中，S20包括S21- S22：
步骤S21，对训练数据集中的文言文语料进行分词处理，得到文言文向量；
作为S21的一种可能的实现方式，使用甲言分词工具进行分词处理，使用Facebook AI 实验室发布的 fasttext工具生成文言文向量。
步骤S22，根据TransH 模型对现代知识图谱进行处理，得到现代文向量。
作为S22的一种可能的实现方式，使用 THUNLP 发布的 OpenKE 中的 TransH 模型来生成实体和关系的现代文向量，向量维度均为 200 维。
步骤S30，将T-MUSE模型作为初始模型，根据文言文向量和现代文向量对初始模型进行多次迭代训练，得到任务模型；
作为S30的一种可能的实现方式，将MUSE模型作为框架，根据对抗训练函数将源语言词向量映射到目标语言词向量；通过迭代训练优化源语言词向量到目标语言词向量的映射关系； 根据优化后的映射关系查找与每个源语言词向量对应的目标语言词向量，得到阶段性对齐的双语词表；以对齐词表中高质量的词向量对作为锚点，做普鲁克分析，优化映射关系。
在一种可能的实现方式中，S30包括S31-S34：
步骤S31，采用对抗训练函数对文言文向量和现代文向量进行训练；
步骤S32，根据映射关系，构建文言文向量和现代文向量的对齐词表；
步骤S33，找出对齐词表中存在的现代文三元组以及现代文三元组对应的文言文三元组；
步骤S34，将对文言文三元组进行训练得到的词嵌入，作为下一轮的文言文向量和现代文向量，返回步骤S31，直至所述多次迭代训练完成。
步骤S40，根据任务模型对输入的目标文言文向量和目标现代文向量进行训练，得到词向量、对齐词表和文言文三元组。
以上为本发明提供的基于知识表示学习的文言文知识迁移方法的具体实施方式，将现代文词汇语义知识图谱的知识迁移到文言文语料中，自动化地生成文言文三元组知识，并选择使用无监督词向量对齐的方式，省去了构建对齐语料的工作，同时在对齐的迭代过程中加入了知识表示的训练。在建立文言文语料的过程中，减少了对平行语料的依赖，并保证了较高的准确率，解决了人工抽取并构建文言文语料耗费成本过高，以及现有技术难以获得文言文和现代文的对齐语料的问题。
在一种可能的实现方式中，T-MUSE模型包括训练模块和精调模块；
训练模块，用于通过迭代训练得到源语言词向量到目标语言词向量的映射关系。
训练模块包括语义对齐模块和知识对齐模块；
精调模块，用于以对齐词表中高质量的词向量对作为锚点，即互为最近邻的两个词，做普鲁克分析，优化映射关系。普鲁克分析匹配双语中对应词向量，通过平移、旋转和缩放其中一个语言的词向量以匹配另一语言的词向量，并最小化词向量之间的偏差平方和。其中，最近邻的两个词的互译程度更高，在其上计算得到的结果更可靠。
普鲁克分析是一种通过分析形状分布，比较两组数据一致性的方法。数学上来讲，就是不断迭代，寻找标准形状，并利用最小二乘法寻找每个对象形状到这个标准形状的仿射变化方式。
在一种可能的实现方式中，语义对齐模块包括：编码器和解码器；编码器和解码器均为 3层，嵌入维度和隐藏状态的维度均为 200。
在一个示例中，编码器为双向 LSTM ，解码器为LSTM。
语义对齐模块，将MUSE模型作为框架，根据对抗训练函数将源语言词向量生成目标语言词向量；
语义对齐模块根据以下公式（1）计算最优映射矩阵：
，（1）
式中，为源语言词向量，W为映射矩阵，表示一个最优映射矩阵，它可以将源
语言词向量X映射到目标语言词向量Y上，使得映射后的向量与目标语言词向量Y的差距最
小；表示d维空间中的正交矩阵集合，即所有行列数为d的正交矩阵的集合；Y为目标语
言词向量，表示源语言词向量和目标语言词向量的转置矩阵的乘积，即X和Y的内积矩
阵；、和分别表示的奇异值分解（SVD）结果中的左奇异矩阵、奇异值矩阵和右奇异
矩阵的转置；表示奇异值矩阵记录了中的奇异值，可以用来衡
量源语言词向量和目标语言词向量之间的相似度，而左奇异矩阵U和右奇异矩阵则可以
用来将源语言词向量映射到目标语言词向量上。
在一种可能的实现方式中，对抗训练函数包括生成函数和判别函数；
判别函数，用于判别目标语言词向量和经过映射的源语言词向量，区分原始的目标词和经过映射生成词的角色，同时联合训练生成函数。
判别函数如下公式（2）：
（2）
式中，为在给定输入数据/>、映射关系W和生成函数参数/>的情况下，源为1的概率，用于表示生成函数对正类的生成概率；/>为在给定真实标签/>和生成函数参数/>的情况下，源为0的概率，用于表示生成函数对负类的生成概率；n为输入数据/>的数量，m为真实标签/>的数量；
生成函数，用于生成尽可能欺骗判别函数的映射关系，使判别函数不能区分出一个词表征的是目标语言词向量还是经过映射的源语言词向量；
生成函数如下公式（3）：
（3）
式中，为在给定输入数据/>、映射关系W和判别函数参数/>的情况下，源为0的概率，用于表示判别函数对负类的判别概率；/>为在给定真实标签/>和判别函数参数/>的情况下，源为1的概率，用于表示判别函数对正类的判别概率，n为输入数据/>的数量，m为真实标签/>的数量；公式（3）中的W可以理解为生成函数参数。
对抗训练函数的公式（4）如下：
（4）
式中，D代表判别函数，G代表生成函数， 为源语言词向量， 为目标语言词向
量；为生成函数生成的数据的期望输出结果对数的平均值，用于表示判别函数对生成
数据的判断准确性；为真实标签的期望输出结果对数的平均值，用于表示判别函数对真
实数据的判断准确性；为目标语言词向量y的真实分布；为判别函数对目标语
言词向量y的输出结果，用于表示y是真实数据的概率；为判别函数对生成函数G(x)
生成的目标语言词向量的输出结果，用于表示G(x)生成的数据是真实数据的概率。
在一种可能的实现方式中，映射关系的更新过程如下公式（5）：
（5）
其中，为超参数，/>为映射关系/>的转置。在公式（5）中W可以理解为生成函数参数。
映射关系的更新主要是为了保证映射关系为正交矩阵，进而确保训练的稳定性。
在一种可能的实现方式中，S30还包括：
在对抗训练结束后根据映射关系和跨域相似度局部缩放方法构建对齐词表；
跨域相似度局部缩放方法基于如下公式（6）：
（6）
式中，表示源域中向量经映射后和目标域中向量的相似性得分，
表示源域中的向量，表示目标域中的向量，表示源域中的向量经映射后和目
标域中的向量之间的余弦相似度，表示源域中的向量经W矩阵映射后与目标域
中与向量最相似的个向量的平均余弦相似度，为目标域中的向量与源域中
与向量最相似的个向量的平均余弦相似度，即目标域中向量的相似度分数。
的计算公式（7）如下：
（7）
其中，表示源域中的向量/>经映射后与目标域中与向量/>最相似的/>个向量的平均余弦相似度，/>表示与/>最相似的/>个目标域向量的集合。
在一种可能的实现方式中，知识对齐模块，加入了知识图谱的相关约束，能够根据映射关系找到与源语言词向量对应的目标语言词向量，得到阶段性对齐的双语词表。
源语言词向量是现代文知识图谱中的实体，三元组表示为（A，r，B），目标语言词向量是文言文，通过对齐词表可以找到 A 对应的文言文词 a，B 对应的词 b，根据现代文三元组的关系可以得到文言文三元组（a，r，b），将现代文和文言文的三元组作为 TransH 的训练数据，同时训练源语言和目标语言的词向量，这一阶段映射关系不改变，双语词向量发生改变。最后将训练得到的源语言词向量和目标语言词向量作为下一轮训练的数据。
知识对齐模块根据以下公式（8）计算损失函数L：
（8）
其中, 为正确的三元组，/>为随机采样一个三元组的头实体或尾实体获得的负例三元组，/>为正确的三元组合集，/>为负例三元组合集，/>为关系/>对头实体/>和尾实体/>的得分，用于表示三元组/>的置信度；/>为表示max-margin方法中的边界值，用来保证正确三元组的得分高于负例三元组的得分一定的边界值，从而提高模型的鲁棒性和泛化能力；/>为负例三元组/>的得分。
本发明可以通过最大化正确的三元组和负例三元组之间的距离来提升模型的训练效果。
在一种可能的实现方式中，S40之后还包括步骤S50，将任务模型生成的第一对齐词表与基线模型生成的第二对齐词表进行比较，将任务模型生成的第一文言文三元组与基线模型生成的第二文言文三元组进行比较，得到评价结果。
在一个具体的实施方式中，评价过程中包括两个基线模型：SVD（奇异值分解）方法和原MUSE 模型。其余三个模型为加入了知识图谱三元组约束的模型，整体相似但在知识图谱训练阶段有所差异，分别为：MUSE+KG（GU）、MUSE+KG（XIAN）和MUSE+KG（GU+XIAN）。
MUSE+KG（GU）为知识对齐模块只改变文言文向量，MUSE+KG（XIAN）为知识对齐模块中只改变现代文向量，MUSE+KG（GU+XIAN）为知识对齐模块中同时改变文言文和现代文向量。
对无监督对齐词表的结果评估指标包括：平均余弦相似度和ROC曲线下的面积（Area Under the Curve，AUC）。AUC指标是一种用来度量分类模型好坏的一个标准。
输出的对齐词表，通过词向量计算得到每一对词的余弦相似度，通过余弦相似度可以评估两个词向量在向量空间的语义距离，进而计算所有词的平均余弦相似度，来作为无监督对齐结果的评估。余弦相似度越高，两个词在语义空间的距离越近，对齐结果越好。结果如表1第二列数据所示。表1为词向量对齐实验结果。
对文言文三元组质量的评估指标包括：TransH距离值、平均余弦相似度和AUC值。
取 TransH 计算模型得出的文言文三元组中 h+r 与 t 的距离值，距离越小，三元组的可信度越高。文言文测试集主要来源于实验室发布的对齐的古今平行语料。将文言文测试集进行1：1拆分，其中验证集包括250对文言文三元组，测试集包括 250 对三元组，表2为文言文三元组质量评估结果。
本发明计算每一个三元组的头尾实体词向量的余弦相似度，来判断头尾实体在语义空间是否为近义，余弦相似度越高，两个词在语义空间的距离越近，结果如表2第三列数据所示。
本发明请 3 位评价人对对齐结果进行人工评估，得出人工评价认为“正确”的词对，作为正确的标签，模型的结果作为预测的标签，计算 AUC 值，值越大说明模型的效果越好。结果如表1第三列数据所示。表1为词向量对齐实验结果。
表1
| 模型 | 平均余弦相似度 | AUC |
| SVD | 0.186 | 0.397 |
| MUSE | 0.343 | 0.471 |
| MUSE+KG(GU) | 0.485 | 0.478 |
| MUSE+KG(XIAN) | 0.486 | 0.479 |
| MUSE+KG(GU+XIAN) | 0.595 | 0.612 |
表2
| 模型 | 距离值 | 平均余弦相似度 |
| MUSE+KG(GU) | 0.082 | 0.319 |
| MUSE+KG(XIAN) | 0.094 | 0.243 |
| MUSE+KG(GU+XIAN) | 0.054 | 0.926 |
本文请3位评价人对文言文三元组的质量进行人工评估，分歧的结果取多数人的意见，标准同对齐指标，三位评价人平均一致性为 0.61。
人工评估分为细粒度和粗粒度两个指标，细粒度为语言学上的词义相同，即完全符合近义词关系。粗粒度为语义空间上的相似，即所属同一类别，或描述相同事物等，如“大喜”和“大怒”，词义不同，但都属于描述情绪的词，算作粗粒度的近义。粗粒度的评估可以为后面进一步扩充图谱，以及链接预测等任务做准备。细粒度结果如表 3 第二列所示，粗粒度结果如表 3 第三列所示。表3为人工评估结果。表4为模型生成的对齐词表的结果实例，表5为模型输出文言文三元组的结果实例。
表3
| 模型 | AUC(fine) | AUC(coarse) |
| MUSE+KG(GU) | 0.27 | 0.35 |
| MUSE+KG(XIAN) | 0.33 | 0.43 |
| MUSE+KG(GU+XIAN) | 0.49 | 0.61 |
表4
表5
图2为本发明实施例提供的文言文与现代文的对应关系示意图，如图2所示，左边为现代文的语义表示，右边为文言文的语义表示。其中，“群众”与“公众”两个词为现代文知识图谱中的一个三元组的头尾实体，关系为 r，表示为（群众，r，公众）。“众”和“公”为文言文词，“民”和“夫”为语义与“众”相近的文言文词。经过无监督对齐，可以找到“群众”与“众”、“公众”与“公”为语义相近的现代文-文言文词对。
在知识迁移的过程中，将现代文知识三元组（群众，r，公众）的关系迁移到文言文上，得到类似（众，r，公）的文言文三元组，然后将得到的文言文三元组与现代文三元组一同进行知识表示学习，改变词向量在整体语义空间的位置，发挥关系知识的约束作用，使得词向量在整体语义空间中有更好的分布，也进一步为下一轮的迭代对齐提供帮助。
本发明通过加入知识图谱的关系知识，使得对齐的词对以及生成的三元组更准确，并且能够对一些语义相近的词做出更准确的区分。例如，将文言文语义空间的“众”、“民”和“夫”区分开，确保“群众” 和“众”的语义对齐关系。
本发明实施例还提供的一种基于知识表示学习的文言文知识迁移系统，应用如上述任一所述的基于知识表示学习的文言文知识迁移方法，包括：
获取数据模块，用于获取文言文语料和现代知识图谱，根据所述文言文语料和所述现代知识图谱构建训练数据集；
预处理模块，用于对所述训练数据集进行预处理，得到文言文向量和现代文向量；
训练模块，用于将T-MUSE模型作为初始模型，根据所述文言文向量和所述现代文向量对所述初始模型进行多次迭代训练，得到任务模型；
输出模块，用于根据所述任务模型对输入的目标文言文向量和目标现代文向量进行处理，得到词向量、对齐词表和文言文三元组。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。
Claims (7)
1.一种基于知识表示学习的文言文知识迁移方法，其特征在于，包括：
步骤S10，获取文言文语料和现代知识图谱，根据所述文言文语料和所述现代知识图谱构建训练数据集；
步骤S20，对所述训练数据集进行预处理，得到文言文向量和现代文向量；
步骤S30，将T-MUSE模型作为初始模型，根据所述文言文向量和所述现代文向量对所述初始模型进行多次迭代训练，得到任务模型；
步骤S40，根据所述任务模型对输入的目标文言文向量和目标现代文向量进行处理，得到词向量、对齐词表和文言文三元组；
所述S20包括：
步骤S21，对所述训练数据集中的文言文语料进行分词处理，得到文言文向量；
步骤S22，根据TransH模型对所述现代知识图谱进行处理，得到现代文向量；
所述S30包括：
将MUSE模型作为框架，根据对抗训练函数将源语言词向量映射到目标语言词向量；
通过迭代训练优化源语言词向量到目标语言词向量的映射关系；
根据所述优化后的映射关系查找与每个源语言词向量对应的目标语言词向量，得到阶段性对齐的双语词表；
以所述对齐词表中高质量的词向量对作为锚点，做普鲁克分析，优化所述映射关系；
其中，根据以下公式计算最优映射关系W*：
式中，X为源语言词向量，Y为目标语言词向量，W为映射关系，Od(d)表示d维空间中的正交矩阵集合，XT为源语言词向量的转置，U、Σ和VT分别表示YXT的奇异值分解结果中的左奇异矩阵、奇异值矩阵和右奇异矩阵的转置；
所述S40之后还包括：
步骤S50，将所述任务模型生成的第一对齐词表与基线模型生成的第二对齐词表进行比较，将所述任务模型生成的第一文言文三元组与基线模型生成的第二文言文三元组进行比较，得到评价结果；
评价过程包括两个基线模型：SVD(奇异值分解)方法和原MUSE模型；
三个加入知识图谱三元组约束的模型：MUSE+KG(GU)、MUSE+KG(XIAN)和MUSE+KG(GU+XIAN)；
其中,MUSE+KG(GU)为知识对齐模块只改变文言文向量的模型，MUSE+KG(XIAN)为知识对齐模块中只改变现代文向量的模型，MUSE+KG(GU+XIAN)为知识对齐模块中同时改变文言文和现代文向量的模型；
对无监督对齐词表的结果评估指标包括：平均余弦相似度和ROC曲线下的面积；
输出的对齐词表，通过词向量计算得到每一对词的余弦相似度，通过余弦相似度评估两个词向量在向量空间的语义距离，计算所有词的平均余弦相似度，用以作为无监督对齐结果的评估；
对文言文三元组质量的评估指标包括：TransH距离值、平均余弦相似度和AUC值。
2.根据权利要求1所述的基于知识表示学习的文言文知识迁移方法，其特征在于，所述对抗训练函数包括生成函数和判别函数；
所述判别函数用于判别目标语言词向量和经过映射的源语言词向量，公式如下：
式中，为在给定输入数据xi、映射关系W和生成函数参数θD的情况下，源为1的概率，用于表示生成函数对正类的生成概率；/>为在给定真实标签yi和生成函数参数θD的情况下，源为0的概率，用于表示生成函数对负类的生成概率；n为输入数据xi的数量，m为真实标签yi的数量；
所述生成函数用于生成映射关系，使判别函数不能区分出一个词表征的是目标语言词向量还是经过映射的源语言词向量，公式如下：
式中，为在给定输入数据xi、映射关系W和判别函数参数θD的情况下，源为0的概率，用于表示判别函数对负类的判别概率；/>为在给定真实标签yi和判别函数参数θD的情况下，源为1的概率，用于表示判别函数对正类的判别概率；
所述对抗训练函数的公式如下：
minmaxV(D,G)＝Ex～Pdata(y)[log(D(y))]+Ez(x)[log(1-D(G(x)))]
式中，D代表判别函数，G代表生成函数，x为源语言词向量，y为目标语言词向量；Ez(x)为生成函数生成的数据的期望输出结果对数的平均值，用于表示判别函数对生成数据的判断准确性；Ex为真实标签的期望输出结果对数的平均值，用于表示判别函数对真实数据的判断准确性；Pdata(y)为目标语言词向量y的真实分布；D(y)为判别函数对目标语言词向量y的输出结果，用于表示y是真实数据的概率；D(G(x))为判别函数对生成函数G(x)生成的目标语言词向量的输出结果，用于表示G(x)生成的数据是真实数据的概率。
3.根据权利要求1所述的基于知识表示学习的文言文知识迁移方法，其特征在于，所述映射关系W的更新过程为如下公式：
W←(1+β)W-β(WWT)W
其中，β为超参数，WT为映射关系W的转置。
4.根据权利要求1所述的基于知识表示学习的文言文知识迁移方法，其特征在于，所述S30还包括：
在对抗训练结束后根据映射关系和跨域相似度局部缩放方法构建对齐词表；
所述跨域相似度局部缩放方法基于如下公式：
CSLS(Wxs,yt)＝2cos(Wxs,yt)-rT(Wxs)-rS(yt)
式中，CSLS(Wxs,yt)表示源域中向量经映射后和目标域中向量的相似性得分，xs表示源域中的向量，yt表示目标域中的向量，cos(Wxs,yt)表示源域中的向量经映射后和目标域中的向量之间的余弦相似度，rT(Wxs)表示源域中的向量Wxs与目标域中与向量Wxs最相似的K个向量的平均余弦相似度，rS(yt)为目标域中的向量yt与源域中与向量yt最相似的K个向量的平均余弦相似度，即目标域中向量yt的相似度分数；
rT(Wxs)的计算公式如下：
其中，rT(Wxs)表示源域中的向量xs经映射后与目标域中与向量Wxs最相似的K个向量的平均余弦相似度，NT(Wxs)表示与Wxs最相似的K个目标域向量的集合。
5.根据权利要求1所述的基于知识表示学习的文言文知识迁移方法，其特征在于，
根据以下公式计算损失函数L：
其中,(h,r,t)为正确的三元组，(h′,r′,t′)为随机采样一个三元组的头实体或尾实体获得的负例三元组，S为正确的三元组合集，S′为负例三元组合集，fr(h,t)为关系r对头实体h和尾实体t的得分，用于表示三元组(h,r,t)的置信度；γ为边界值，fr ′(h′,t′)为负例三元组的得分。
6.根据权利要求1所述的基于知识表示学习的文言文知识迁移方法，其特征在于，所述S30包括：
步骤S31，采用对抗训练函数对所述文言文向量和所述现代文向量进行训练；
步骤S32，根据映射关系，构建所述文言文向量和所述现代文向量的对齐词表；
步骤S33，找出对齐词表中存在的现代文三元组以及所述现代文三元组对应的文言文三元组；
步骤S34，将对所述文言文三元组进行训练得到的词嵌入，作为下一轮的文言文向量和现代文向量，返回步骤S31，直至所述多次迭代训练完成。
7.一种基于知识表示学习的文言文知识迁移系统，应用如权利要求1-6任一所述的基于知识表示学习的文言文知识迁移方法，其特征在于，包括：
获取数据模块，用于获取文言文语料和现代知识图谱，根据所述文言文语料和所述现代知识图谱构建训练数据集；
预处理模块，用于对所述训练数据集进行预处理，得到文言文向量和现代文向量；
训练模块，用于将T-MUSE模型作为初始模型，根据所述文言文向量和所述现代文向量对所述初始模型进行多次迭代训练，得到任务模型；
输出模块，用于根据所述任务模型对输入的目标文言文向量和目标现代文向量进行处理，得到词向量、对齐词表和文言文三元组；
所述预处理模块，还用于：
对所述训练数据集中的文言文语料进行分词处理，得到文言文向量；
根据TransH模型对所述现代知识图谱进行处理，得到现代文向量；
所述训练模块，还用于：
将MUSE模型作为框架，根据对抗训练函数将源语言词向量映射到目标语言词向量；
通过迭代训练优化源语言词向量到目标语言词向量的映射关系；
根据所述优化后的映射关系查找与每个源语言词向量对应的目标语言词向量，得到阶段性对齐的双语词表；
以所述对齐词表中高质量的词向量对作为锚点，做普鲁克分析，优化所述映射关系；
其中，根据以下公式计算最优映射关系W*：
式中，X为源语言词向量，Y为目标语言词向量，W为映射关系，Od(d)表示d维空间中的正交矩阵集合，XT为源语言词向量的转置，U、Σ和VT分别表示YXT的奇异值分解结果中的左奇异矩阵、奇异值矩阵和右奇异矩阵的转置；
还包括评价模块，用于将所述任务模型生成的第一对齐词表与基线模型生成的第二对齐词表进行比较，将所述任务模型生成的第一文言文三元组与基线模型生成的第二文言文三元组进行比较，得到评价结果；
评价过程包括两个基线模型：SVD(奇异值分解)方法和原MUSE模型；
三个加入知识图谱三元组约束的模型：MUSE+KG(GU)、MUSE+KG(XIAN)和MUSE+KG(GU+XIAN)；
其中,MUSE+KG(GU)为知识对齐模块只改变文言文向量的模型，MUSE+KG(XIAN)为知识对齐模块中只改变现代文向量的模型，MUSE+KG(GU+XIAN)为知识对齐模块中同时改变文言文和现代文向量的模型；
对无监督对齐词表的结果评估指标包括：平均余弦相似度和ROC曲线下的面积；
输出的对齐词表，通过词向量计算得到每一对词的余弦相似度，通过余弦相似度评估两个词向量在向量空间的语义距离，计算所有词的平均余弦相似度，用以作为无监督对齐结果的评估；
对文言文三元组质量的评估指标包括：TransH距离值、平均余弦相似度和AUC值。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310973852.8A CN116702898B (zh) | 2023-08-04 | 2023-08-04 | 一种基于知识表示学习的文言文知识迁移方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310973852.8A CN116702898B (zh) | 2023-08-04 | 2023-08-04 | 一种基于知识表示学习的文言文知识迁移方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116702898A CN116702898A (zh) | 2023-09-05 |
| CN116702898B true CN116702898B (zh) | 2023-11-03 |
Family
ID=87829683
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310973852.8A Active CN116702898B (zh) | 2023-08-04 | 2023-08-04 | 一种基于知识表示学习的文言文知识迁移方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116702898B (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110334219A (zh) * | 2019-07-12 | 2019-10-15 | 电子科技大学 | 基于注意力机制融入文本语义特征的知识图谱表示学习方法 |
| CN113591496A (zh) * | 2021-07-15 | 2021-11-02 | 清华大学 | 一种双语词语对齐方法及系统 |
| CN113688203A (zh) * | 2021-08-12 | 2021-11-23 | 北京航空航天大学 | 一种基于可迁移异构图的多语言事件检测方法 |
| CN113806527A (zh) * | 2020-06-16 | 2021-12-17 | 百度（美国）有限责任公司 | 具有多视图迁移学习的跨语言无监督分类 |
| CN114722844A (zh) * | 2022-03-17 | 2022-07-08 | 沈阳雅译网络技术有限公司 | 一种基于迭代降维的词典翻译方法 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8614669B2 (en) * | 2006-03-13 | 2013-12-24 | Navisense | Touchless tablet method and system thereof |
| KR101613555B1 (ko) * | 2009-10-26 | 2016-04-19 | 엘지전자 주식회사 | 이동 단말기 |
| US11301090B2 (en) * | 2020-07-30 | 2022-04-12 | Ncr Corporation | Methods, system, and apparatus for touchless terminal interface interaction |
-
2023
- 2023-08-04 CN CN202310973852.8A patent/CN116702898B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110334219A (zh) * | 2019-07-12 | 2019-10-15 | 电子科技大学 | 基于注意力机制融入文本语义特征的知识图谱表示学习方法 |
| CN113806527A (zh) * | 2020-06-16 | 2021-12-17 | 百度（美国）有限责任公司 | 具有多视图迁移学习的跨语言无监督分类 |
| CN113591496A (zh) * | 2021-07-15 | 2021-11-02 | 清华大学 | 一种双语词语对齐方法及系统 |
| CN113688203A (zh) * | 2021-08-12 | 2021-11-23 | 北京航空航天大学 | 一种基于可迁移异构图的多语言事件检测方法 |
| CN114722844A (zh) * | 2022-03-17 | 2022-07-08 | 沈阳雅译网络技术有限公司 | 一种基于迭代降维的词典翻译方法 |
Non-Patent Citations (3)
| Title |
|---|
| Adaptive Multilingual Representations for Cross-Lingual Entity Linking with Attention on Entity Descriptions;Chenhao Wang 等;《CCKS 2019》;第1-12页 * |
| Chenhao Wang 等.Adaptive Multilingual Representations for Cross-Lingual Entity Linking with Attention on Entity Descriptions.《CCKS 2019》.2019,第1-12页. * |
| 一种改进的基于TransE知识图谱表示方法;陈文杰 等;计算机工程;63-69 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116702898A (zh) | 2023-09-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109597994B (zh) | 短文本问题语义匹配方法和系统 | |
| CN103823794B (zh) | 一种关于英语阅读理解测试疑问式简答题的自动化命题方法 | |
| CN110276069B (zh) | 一种中国盲文错误自动检测方法、系统及存储介质 | |
| CN111966812B (zh) | 一种基于动态词向量的自动问答方法和存储介质 | |
| CN108021555A (zh) | 一种基于深度卷积神经网络的问句相似度度量方法 | |
| CN106778878B (zh) | 一种人物关系分类方法及装置 | |
| CN110750646B (zh) | 一种旅店评论文本的属性描述提取方法 | |
| CN112800184B (zh) | 基于Target-Aspect-Opinion联合抽取的短文本评论情感分析方法 | |
| CN111259153A (zh) | 一种完全注意力机制的属性级情感分析方法 | |
| CN116757164A (zh) | 一种gpt生成语言识别与检测系统 | |
| CN114818717A (zh) | 融合词汇和句法信息的中文命名实体识别方法及系统 | |
| CN113377916A (zh) | 一种面向法律文本的多关系中主要关系的抽取方法 | |
| CN115062174A (zh) | 基于语义原型树的端到端图像字幕生成方法 | |
| CN115017884A (zh) | 基于图文多模态门控增强的文本平行句对抽取方法 | |
| CN113901224A (zh) | 基于知识蒸馏的涉密文本识别模型训练方法、系统及装置 | |
| Wang et al. | Research and implementation of English grammar check and error correction based on Deep Learning | |
| CN113705207A (zh) | 语法错误识别方法及装置 | |
| CN112749566B (zh) | 一种面向英文写作辅助的语义匹配方法及装置 | |
| CN116702898B (zh) | 一种基于知识表示学习的文言文知识迁移方法及系统 | |
| CN115203429B (zh) | 一种用于构建审计领域本体框架的知识图谱自动扩充方法 | |
| Liu et al. | Translation quality estimation using only bilingual corpora | |
| CN115455144A (zh) | 用于小样本意图识别的完型填空式的数据增强方法 | |
| CN115344668A (zh) | 一种多领域与多学科科技政策资源检索方法及装置 | |
| CN114692615A (zh) | 一种针对小语种的小样本意图识别方法 | |
| He et al. | [Retracted] Application of Grammar Error Detection Method for English Composition Based on Machine Learning |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |