CN116595992A - 一种术语及类型的二元组单步抽取方法及其模型 - Google Patents
一种术语及类型的二元组单步抽取方法及其模型 Download PDFInfo
- Publication number
- CN116595992A CN116595992A CN202310884081.5A CN202310884081A CN116595992A CN 116595992 A CN116595992 A CN 116595992A CN 202310884081 A CN202310884081 A CN 202310884081A CN 116595992 A CN116595992 A CN 116595992A
- Authority
- CN
- China
- Prior art keywords
- term
- word
- boundary
- binary
- identification
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000605 extraction Methods 0.000 title claims abstract description 75
- 238000000034 method Methods 0.000 claims abstract description 40
- 230000008569 process Effects 0.000 claims abstract description 30
- 239000013598 vector Substances 0.000 claims description 124
- 239000011159 matrix material Substances 0.000 claims description 64
- 230000006870 function Effects 0.000 claims description 52
- 238000004364 calculation method Methods 0.000 claims description 43
- 230000004927 fusion Effects 0.000 claims description 28
- 238000010276 construction Methods 0.000 claims description 18
- 238000002372 labelling Methods 0.000 claims description 17
- 238000012549 training Methods 0.000 claims description 12
- 230000004913 activation Effects 0.000 claims description 9
- 238000013528 artificial neural network Methods 0.000 claims description 9
- 238000012360 testing method Methods 0.000 claims description 9
- 230000003993 interaction Effects 0.000 claims description 6
- 238000012886 linear function Methods 0.000 claims description 6
- 230000007246 mechanism Effects 0.000 claims description 5
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 claims description 3
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 230000009849 deactivation Effects 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 3
- 230000000452 restraining effect Effects 0.000 claims description 3
- 238000012216 screening Methods 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 3
- 238000012795 verification Methods 0.000 claims description 3
- 239000000284 extract Substances 0.000 claims description 2
- 230000002427 irreversible effect Effects 0.000 abstract description 3
- 238000012546 transfer Methods 0.000 abstract description 3
- 230000000694 effects Effects 0.000 abstract description 2
- 239000000463 material Substances 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 2
- 238000005065 mining Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000009916 joint effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 208000024891 symptom Diseases 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/30—Semantic analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
- G06N3/0442—Recurrent networks, e.g. Hopfield networks characterised by memory or gating, e.g. long short-term memory [LSTM] or gated recurrent units [GRU]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Machine Translation (AREA)
Abstract
本发明公开了一种术语及类型的二元组单步抽取方法及其模型，二元组单步抽取方法利用融合依存结构和边界损失完成术语及类型二元组的单步抽取，二元组单步抽取模型包括特征编码器、术语边界提取器、二元组抽取器、术语边界对齐模块四个大模块。本发明的优点：通过构建术语及类型链接表，将术语及类型抽取问题转化成了二元组抽取任务，统一了两个任务的抽取模型并实现一步到位的抽取效果，且实现了不同语境下术语所属类型不一致、同一术语对应多种类型等复杂场景下的术语抽取；本发明采用联合抽取术语及类型的方式，解决了术语抽取到类型分类这一过程存在的不可逆的误差传递问题。
Description
技术领域
本发明涉及一种术语抽取方法，具体为一种融合依存结构和边界损失的术语及类型的二元组单步抽取方法及其模型。
背景技术
术语抽取是文本挖掘和信息抽取的关键步骤，对于机器翻译、信息检索、本体构建和知识图谱等领域至关重要。自从20世纪30年代初以来，研究者们就广泛探索了与术语相关的领域，从繁琐耗时的人工术语抽取方法到自动术语抽取模型的研究。近年来，随着在线智慧教育的兴起，对基础教育领域中的术语抽取方法进行了深入研究，并在多个学科领域取得了不错的成果。中学数学术语作为中学数学学科知识表示的核心，其准确的抽取将直接影响构建中学数学知识图谱的质量，同时术语所属的知识点类型获取也能丰富知识图谱中术语实体的信息。此外，随着学科知识库的不断充实和中学数学教材的更新迭代，网络数学学习资源也快速增长。因此，如何从海量的非结构化中学数学知识中准确地、自动地、联合地抽取术语及对应类型是一个难题。
术语是专业领域内知识概念的语言指称和主要载体，具有高度概括性和领域性。在中学数学领域中，术语存在单字、多义、多重嵌套等多个形式，其对应的知识点类型在不同语境下归属不同，甚至同语境下同一术语可表现为多种类型。例如，“平面直角坐标系中方程的图象中心点既是原点又是圆心”，其中“中心点”中的“点”作为术语，在“原点”和“圆心”两个术语所属类型的影响下，同属于“平面几何”和“坐标系与直角坐标”两种知识点类型。因此，根据不同语境正确划分术语的知识点类型，可作为提示进一步强化对数学知识概念或习题的理解。
现有传统的术语抽取方法，如基于规则和统计的方法存在耗时耗力、泛化能力较弱的缺陷，而近些年的术语抽取方法大多基于深度学习的序列标注方式，且大多聚焦于丰富词嵌入表示或引入额外提示信息以提升术语抽取性能。但中学数学学科的知识表示大多富有强逻辑性、结构性和多样性，这给中学数学术语抽取带来单字多义术语难以精准抽取、多重嵌套术语难以被完整抽取、复杂语境下术语抽取难度较大等难点。
针对中学数学领域，现有的一些术语抽取方法依旧对数学知识语义理解有限，导致术语边界识别较为模糊，且从其本身蕴含的依存结构信息角度挖掘句子深层语义的工作也较少，能同时考虑缓解错误分词或依存结构信息带来影响的工作更是几乎没有。
对于术语类型的划分通常借助分类模型实现，但针对不同语境下的术语所属类型不一致的问题，多分类方法无法解决。而现有的一些命名实体识别方法虽然可以对多种类型的实体进行序列标注，但无法解决同一句子中术语所属多类型的问题。
此外，术语及类型的抽取方法可以分为流水线式和联合式。借鉴关系抽取方法，流水线式的三元组抽取方法存在不可逆的误差传递问题，即前一个模块抽取的术语有误，后续对应的术语分类一定是错误的。同理基于流水线式的术语及类型抽取方法也存在这类问题，但采用联合抽取术语及类型的方式可以得到一定的解决。
发明内容
为了解决上述技术问题，本发明提供一种术语及类型的二元组单步抽取方法及其模型，从全新视角将术语抽取和对应类型分类统一为术语及类型二元组联合抽取任务，避免了误差传递，实现术语及类型抽取的一步到位，同时解决了术语及类型不一致和所属多类型问题。
本发明采用的技术方案如下：一种术语及类型二元组单步抽取方法，利用融合依存结构和边界损失完成术语及类型二元组的单步抽取，其步骤如下：
步骤S1，构建中学数学术语数据集和构建依存关系集合；
步骤S2，定义术语及类型二元组抽取任务形式化；
步骤S3， 将步骤S1中的中学数学术语数据集输入到术语及类型二元组单步抽取模型，将数学文本输入到术语及类型二元组单步抽取模型的特征编码器中，获取数学文本中所有字嵌入特征向量；
步骤S4，将步骤S1构建的依存关系集合和步骤S3获得的字嵌入特征向量直接输入到术语边界提取器中，得到预测的术语边界标识系列，再通过交叉熵损失函数计算边界损失Lm，优化更新特征编码器和术语边界提取器的模型参数，获得术语边界标识；
步骤S5，将步骤S3获得的字嵌入特征向量和步骤S4获得的术语边界提取器中的语义融合层输出的融合语义向量进行残差计算，将残差计算结果输入到二元组抽取器中，通过二元组抽取器的标识解码器解码得到初始二元组集合，同时通过交叉熵损失函数计算二元组损失Lt；
步骤S6，对步骤S4得到边界损失Lm和步骤S5得到二元组损失Lt联合求和得联合损失L，并优化特征编码器、术语边界提取器与二元组抽取器的参数，达到术语边界提取和二元组抽取条件；
步骤S7，将术语边界标识和初始二元组集合输入到术语边界对齐模块，将术语边界标识对齐初始二元组集合的术语，将初始二元组集合内的二元组中未包含在术语边界标识中的术语连同二元组共同筛选出来，得到最终术语及类型二元组集合。
进一步的，步骤S1中构建中学数学术语数据集；具体为：
步骤S11，收集中学数学领域术语及类型抽取的句子，去除重复句子；
步骤S12，使用构建好的中学术语词典进行自动标注，同时为每个术语进行类型标注；
步骤S13，对标注结果进行标识一致性检验，即针对多个人对同一内容的标注结果进行相似性计算，取相似度高的标注结果；
步骤S14，将相似度高的标注结果进行检查和校正，保留符合要求的中学数学术语数据，构建中学数学术语数据集，并按照训练集：验证集：测试集为8：1：1的比例对中学数学术语数据集进行划分。
进一步的，步骤S1中构建依存关系集合，由斯坦福大学自然语言工具包中的依存句法分析模型直接抽取所得。
进一步的，步骤S2中定义术语及类型二元组抽取任务形式化，具体为：
定义包含N个数学文本的数据集为，每个数学文本S作为术语及类型二元组单步抽取模型输入，, 包含X种术语类型集合为；
其中，S1为第1个数学文本，S2为第2个数学文本，SN为第N个数学文本；为数学文本S中第1个字，为数学文本S中第2个字，为数学文本S中的第Z个字，Z是字的个数；为第1种术语类型，为第2种术语类型，为第X种术语类型，X为术语类型的个数；
定义含有5种术语边界标识集合为，含有4种二元组标识集合为；二元组抽取器的预测的术语及类型链接表为：
；
其中，为二元组抽取器预测的术语及类型链接表，为数学文本S中的第i个字，为数学文本S中第i个字第x种术语类型对应的预测标识，为多字术语的开始，为多字术语的中部，为多字术语的结束，为单字术语，为非术语；m表示术语边界，t表示二元组。
进一步的，步骤S3中特征编码器由预训练好的中文预训练BERT模型构成，具体为：
将数学文本S中的第i个字输入到中文预训练模型BERT中，获取对应的字嵌入特征向量，计算过程如公式（1）所示；
（1）；
其中，为数学文本S中的第i个字经过中文预训练模型BERT得到的初始的第i个字嵌入特征向量。
进一步的，步骤S4中术语边界提取器，具体的提取步骤如下：
步骤S41，将获得的字嵌入特征向量和构建的依存关系集合输入到术语边界提取器中的依存信息构建层中，依存信息构建层将输入的依存关系集合转化成依存关系邻接矩阵和依存标识特征向量；
步骤S42，构建依存关系邻接矩阵，将存在依存关系的两个词各自包含的字相互之间构建无向连接边，得到对称的第一依存关系邻接矩阵；
其中，A是大小的矩阵，表示第一依存关系邻接矩阵A中的第i个字、第j个字对应的元素值,且存在关系的两个词所组成的字之间的元素值为1,否则为0；
步骤S43，构建依存标识特征向量，同样构造大小的矩阵，大小的矩阵中第i个字与第j个字对应的元素取值为0到U-1， U表示共有U种依存关系，利用嵌入函数获取依存标识特征向量；其中表示第i个字与第j个字之间的依存标识特征向量，dep表示依存标识；
步骤S44，在结构表示层中利用依存信息构建层构建好的依存标识特征向量对第一依存关系邻接矩阵的初始权重值进行优化更新，得到第二依存关系邻接矩阵，计算过程如公式（2）所示；
（2）；
其中，表示第二依存关系邻接矩阵中的第i个字、第j个字对应的元素值，，表示级联操作，·表示内积操作，表示初始的第i个字嵌入特征向量和初始的第j个字嵌入特征向量；
接着，进一步融合依存标识特征向量和更新后的第二依存关系邻接矩阵，将初始的第j个字嵌入特征向量和第i个字与第j个字之间的依存标识特征向量的信息进行融合，赋予更新后的第二依存关系邻接矩阵的权重加权，再通过激活函数与初始的第j个字嵌入特征向量进行级联，得到最终结构特征向量；计算过程如公式（3）所示；
（3）；
其中，为第i个字对应的图卷积神经网络最终结构特征向量，表示ReLU激活函数，为可学习的权重矩阵，表示结构表示层的偏置项；
步骤S45，利用双向长短期记忆网络层获取数学文本S中第i字对应的上下文语义特征向量，将初始的第i个字嵌入特征向量分别对应输入前向和后向的双向长短期记忆网络层中，计算过程如公式（4）所示；
（4）；
其中，为第i字对应的上下文语义特征向量，分别表示前向长短期记忆网络的输出向量和后向长短期记忆网络的输出向量；
步骤S46，通过注意力机制将第i个字对应的图卷积神经网络最终结构特征向量与第i字对应的上下文语义特征向量在语义融合层进行融合，获得对应的融合语义向量，计算过程如公式（5）、公式（6）所示；
（5）；
（6）；
其中，为第i个字对应的融合语义向量，Attention为注意力函数，分别表示查询向量、键向量和值向量，Softmax为归一化指数函数，dd为查询向量和键向量的第二维度大小，T为查询向量和键向量的转置，分别表示自注意力机制时第i个字的查询向量、键向量和值向量的投影参数矩阵；、，表示对第i个字对应的图卷积神经网络最终结构特征向量进行线性变换的参数矩阵；
步骤S47，将第i个字对应的融合语义向量输入到标识预测层中，利用条件随机场模型对标识序列进行约束和预测得到所有的术语边界，输出预测的术语边界标识序列Ym；预测计算如公式（7）所示，概率计算如公式（8）所示；
（7）；
（8）；
其中，表示预测的术语边界标识序列，表示第1个字预测的术语边界标识，表示第2个字预测的术语边界标识，表示第i个字预测的术语边界标识，表示第i-1个字预测的术语边界标识；表示输入为数学文本S的条件下得到预测的术语边界标识序列的概率，表示任意可能的术语边界标识序列，且，表示任意可能的术语边界标识序列中的第i个标识，表示可能的第i个术语边界标识的条件随机场层的权重矩阵，表示第i个字预测的术语边界标识的条件随机场层的权重矩阵，表示第i-1个字和第i个字预测的术语边界标识条件随机场层的偏置项；
步骤S48，将预测的术语边界标识序列和真实的术语边界标识序列输入到正则化的交叉熵损失函数，计算出术语边界损失，计算过程如公式（9）所示；
（9）；
其中，为术语边界损失，表示第i个字预测的术语边界标识，表示第i个字真实的术语边界标识，，，表示输入为数学文本S的条件下第i个字预测的术语边界标识与第i个字真实的术语边界标识相同的概率；为正则化参数，为术语及类型二元单步抽取模型中所有特征向量的权重矩阵集合。
进一步的，步骤S5中二元组抽取器，具体的抽取步骤如下：
步骤S51，将初始的第i个字嵌入特征向量和第i个字对应的融合语义向量在残差层中进行残差计算即进行向量相加，得到融合特征向量作为二元组抽取器的输入到二元组预测层；
步骤S52，在二元组预测层中将术语与类型看成一个整体二元组，并为数学文本S构造X个术语类型的链接表，链接表大小统一为，每个链接表对应一个术语类型，接着利用评分函数对X个术语类型的链接表进行填充；
步骤S53，评分函数与残差层的输出无缝连接，通过参数矩阵自适应学习从术语特征到术语及类型对特征表示的映射函数，使用可学习的类型矩阵进行特征空间的转换，得出评分函数计算过程如公式（10）所示；
（10）；
其中，为第x个术语类型链接表中第i个字对应的得分，表示可学习类型矩阵的转置，，表示实数空间，dim为嵌入维度，4是标识集合的标识总数，X为术语类型的个数，·表示内积，ReLU为激活函数，Dropout表示随机失活函数，可防止过拟合，为线性函数中的参数矩阵，，表示 dim个嵌入维度乘dim个嵌入维度的实数空间，表示线性函数中的偏置项；
接着，通过归一化指数函数计算分类器对每种标识的分类概率，计算过程如公式（11）所示；
（11）；
其中，表示输入为数学文本S的条件下得到二元组抽取器预测的术语及
类型链接表的概率，Softmax为归一化指数函数，为第i个字和第种术语类
型对应的得分；
步骤S54，根据计算的每种标识的分类概率，采用交叉熵损失函数对二元组抽取器进行参数更新和优化得到二元组损失，计算过程如公式（12）所示；
（12）；
其中，为二元组损失，为数学文本S中第i个字、第x种术语类型对应的预测标识，，为数学文本S中第i个字、第x种术语类型对应的真实标识，，表示二元组抽取器真实的术语及类型链接表；
步骤S55，针对输入为数学文本S的条件下得到的概率，在第x种术语类型链接表中填充上四种标识，在标识解码器中按照预设规则对术语及类型二元组进行解码。
进一步的，在标识解码器中按照预设规则对术语及类型二元组进行解码，具体为：
步骤S551，术语解码顺序按照数学文本从左到右逐字解码，共解码X种术语类型的链接表；
步骤S552，当识别到标识“”时，继续向右识别，直到识别到“”，即 “”到“”对应的文本区间就对应一个完整的多字术语；
步骤S553，当识别到标识“”时，即文本中的单字对应单字术语；
步骤S554，剩下的“”标识表示非术语，是无效标注，解码过程中可以跳过。
进一步的，在术语边界对齐模块中对二元组集合中的术语进行筛选，当二元组中的术语与术语边界不匹配，则将不匹配的二元组进去除。
另一方面，本申请提出：一种术语及类型二元单步抽取的模型，包括特征编码器、术语边界提取器、二元组抽取器、术语边界对齐模块四个大模块；
特征编码器分别连接术语边界提取器和二元组抽取器，术语边界提取器和二元组抽取器再分别连接术语边界对齐模块，术语边界提取器与二元组抽取器呈并行结构且进行数据交互；
术语边界提取器包括依存信息构建层、结构表示层、双向长短期记忆网络层、语义融合层、标识预测层，特征编码器分别连接依存信息构建层和双向长短期记忆网络层，依存信息构建层链接结构表示层，依存信息构建层和结构表示层是串行结构，依存信息构建层和结构表示层与双向长短期记忆网络层是并行结构；结构表示层和双向长短期记忆网络层分别连接语义融合层，语义融合层连接标识预测层，标识预测层连接术语边界对齐模块；
二元组抽取器包括残差层、二元组预测层和标识解码层，残差层连接二元组预测层，二元组预测层连接标识解码层，标识解码层链接术语边界对齐模块。
本发明的优点：（1）本发明从新的视角，通过构建术语及类型链接表，将术语及类型抽取问题转化成了二元组抽取任务，统一了两个任务的抽取模型并实现一步到位的抽取效果，且实现了不同语境下术语所属类型不一致、同一术语对应多种类型等复杂场景下的术语抽取；（2）本发明采用联合抽取术语及类型的方式，解决了术语抽取到类型分类这一过程存在的不可逆的误差传递问题；（3）针对数学知识表示的强逻辑性、结构性和多样性，本发明引入术语边界提取器，与二元组抽取任务进行联合训练，在为字嵌入特征向量融入结构信息的同时缓解结构信息自身带来负面影响，在提高术语边界的识别精度的同时提升了二元组抽取的准确性。
附图说明
图1为本发明的术语及类型二元组单步抽取模型的结构流程图。
具体实施方式
如图1为本发明的术语及类型二元组单步抽取模型的结构流程图，展示了模型的训练和测试阶段，“→”表示测试阶段才有的操作流程。
为了解决上述技术问题，本发明并提出一种基于依存结构学习的术语边界提取器用于鲁棒提取术语边界以对齐获取的二元组，从而提高了二元组抽取准确性。首先，从人教版初中数学教材和试卷中采集文本，对清洗后的文本进行术语及类型的人工标注，标注完后进行标签一致性检测以此验证本发明标注的合理性，由此构建中学数学术语数据集；然后，利用构建好的数据集联合训练术语边界提取器和二元组抽取器，两者共用特征编码器和语义融合层的参数，有益于增强模块间的信息交互从而提升信息抽取性能。最后，利用训练好的模型对数学文本进行术语边界的提取和二元组的抽取，并利用术语边界对所抽取二元组集合进行边界对齐，去除包含错误术语边界的二元组，从而提升抽取二元组的质量，得到最终的二元组集合。
本发明中，步骤S1中构建中学数学术语数据集；由于缺乏公开的标准数据集用于中学数学领域术语及类型抽取，手动收集了10934条句子，这些句子来源于新人教版中学教材、试卷考纲和教案等文本。其中绝大部分句子都包含术语词，因此语料中的术语词分布非常密集。然后，通过编写程序来执行以下任务：（1）去除重复句子；（2）使用事先参照人教版教材构建好的中学术语词典进行自动标注，同时半人工的为每个术语进行类型标注；（3）对标注结果进行标签一致性检验，即针对多个人对同一内容的标注结果进行相似性计算，取相似度高的标注结果，以保证标注的合理性。最后，经过人工检查和校正后，保留了4000条数据，并按照[训练集：验证集：测试集]=[8：1：1]的比例对数据集进行划分，得到数学本文所需的中学数学术语数据集。
本发明整体分为特征编码器、术语边界提取器、二元组抽取器、术语边界对齐四个大模块，其中术语边界提取器与二元组抽取器呈并行结构，但在过程中也存在数据交互，其余的模块依次呈串行结构。
将数学文本输入到特征编码器，获取文本中所有字嵌入特征向量，其中特征编码器由预训练好的中文BERT模型构成。
将获得的字嵌入特征向量和依存关系集合先直接输入到术语边界提取器，过程中会融合数学文本的结构信息，以增强特征向量的语义表示，进而强化术语边界提取器对文本中术语边界的识别和提取。再通过交叉熵损失函数计算边界损失，优化更新特征编码器和术语边界提取器的模型参数，最终获得较高质量的术语边界标识。
同时也将字嵌入特征向量和术语边界提取器中的语义融合层的输出进行残差计算，并将计算结果输入到二元组抽取器获取二元组集合，过程中通过交叉熵损失函数计算二元组损失，优化更新特征编码器和二元组抽取器的模型参数。
考虑到损失函数的联合作用，将边界损失和二元组损失进行求和表示为联合损失，并对特征编码器、术语边界提取器与二元组抽取器共享模块的参数进行联合优化更新，利用术语边界与二元组潜在的关系增强模块间的信息交互，达到较好的术语边界提取和二元组抽取性能。
将术语边界标识和初始二元组集合输入到术语边界对齐模块，将术语边界标识对齐初始二元组集合的术语，将初始二元组集合内的二元组中未包含在术语边界标识中的术语连同二元组共同筛选出来，得到最终术语及类型二元组集合。
依存关系集合由斯坦福大学自然语言工具包中的依存句法分析模型直接抽取所得，抽取结果表示为三元组，含义是词与词之间在语法结构上存在的某种依赖关系，即(某词的位置索引号，某依存关系，某词的位置索引号)，通常文本S包含多个依存关系三元组，由此构成文本S的依存关系集合。
关于术语边界提取器，具体的提取步骤如下：
步骤S41，将获得的字嵌入特征向量和构建的依存关系集合输入到术语边界提取器中的依存信息构建层中，依存信息构建层将输入的依存关系集合转化成依存关系邻接矩阵和依存标识特征向量；依存信息是文本句法结构表示的关键信息，有益于理解文本的深层语义。该层会将输入的依存关系集合转化成依存关系邻接矩阵和依存标签特征向量，以便于后续的结构表示层进行依存信息融合。
步骤S42，构建依存关系邻接矩阵，为了保证信息的双向流动和丰富的语义表征，将存在依存关系的两个词各自包含的字相互之间构建无向连接边，得到对称的第一依存关系邻接矩阵；
其中，A是大小的矩阵，表示第一依存关系邻接矩阵A中的第i个字、第j个字对应的元素值,且存在关系的两个词所组成的字之间的元素值为1,否则为0；
步骤S43，构建依存标识特征向量，依存标签信息表示存在多种依存关系，且实际上每种依存关系被关注的程度应要不同，同样构造大小的矩阵，大小的矩阵中第i个字与第j个字对应的元素取值为0到U-1， U表示共有U种依存关系，利用嵌入函数获取依存标识特征向量；其中表示第i个字与第j个字之间的依存标识特征向量，dep表示依存标识；
步骤S44，考虑到各种依存关系的重要程度不一致以缓解噪音信息影响，在结构表示层中利用依存信息构建层构建好的依存标识特征向量对第一依存关系邻接矩阵的初始权重值进行优化更新，得到第二依存关系邻接矩阵，计算过程如公式（2）所示；
（2）；
其中，表示第二依存关系邻接矩阵中的第i个字、第j个字对应的元素值，，表示级联操作，·表示内积操作，表示初始的第i个字嵌入特征向量和初始的第j个字嵌入特征向量；
接着，进一步融合依存标识特征向量和更新后的第二依存关系邻接矩阵，将初始的第j个字嵌入特征向量和第i个字与第j个字之间的依存标识特征向量的信息进行融合，赋予更新后的第二依存关系邻接矩阵的权重加权，再通过激活函数与初始的第j个字嵌入特征向量进行级联，得到最终结构特征向量；计算过程如公式（3）所示；
（3）；
其中，为第i个字对应的图卷积神经网络最终结构特征向量，表示ReLU激活函数，为可学习的权重矩阵，表示结构表示层的偏置项；
步骤S45，上下文信息能够强化句中的双向语义表征，特别是对于逻辑表达严谨的中学数学知识，捕获其完整的上下文语义信息对进一步理解句子语义是很有必要的，为更好地捕获中学数学知识的语义特征和长距离依赖信息，利用双向长短期记忆网络层获取数学文本S中第i字对应的上下文语义特征向量，将初始的第i个字嵌入特征向量分别对应输入前向和后向的双向长短期记忆网络层中，计算过程如公式（4）所示；
（4）；
其中，为第i字对应的上下文语义特征向量，分别表示前向长短期记忆网络的输出向量和后向长短期记忆网络的输出向量；
步骤S46，在融合依存信息的同时为了缓解错误的依存关系对后续术语边界识别产生影响，通过注意力机制将第i个字对应的图卷积神经网络最终结构特征向量与第i字对应的上下文语义特征向量在语义融合层进行融合，获得对应的融合语义向量，计算过程如公式（5）、公式（6）所示；
（5）；
（6）；
其中，为第i个字对应的融合语义向量，Attention为注意力函数，分别表示查询向量、键向量和值向量，Softmax为归一化指数函数，dd为查询向量和键向量的第二维度大小，T为查询向量和键向量的转置，分别表示自注意力机制时第i个字的查询向量、键向量和值向量的投影参数矩阵；、，表示对第i个字对应的图卷积神经网络最终结构特征向量进行线性变换的参数矩阵；
步骤S47，为了对预测的标签序列添加约束条件，避免在标签序列中出现连续的“”或“”标签等情况，将第i个字对应的融合语义向量输入到标识预测层中，利用条件随机场模型对标识序列进行约束和预测得到所有的术语边界，输出预测的术语边界标识序列Ym；预测计算如公式（7）所示，概率计算如公式（8）所示；
（7）；
（8）；
其中，表示预测的术语边界标识序列，表示第1个字预测的术语边界标识，表示第2个字预测的术语边界标识，表示第i个字预测的术语边界标识，表示第i-1个字预测的术语边界标识；表示输入为数学文本S的条件下得到预测的术语边界标识序列的概率，表示任意可能的术语边界标识序列，且，表示任意可能的术语边界标识序列中的第i个标识，表示可能的第i个术语边界标识的条件随机场层的权重矩阵，表示第i个字预测的术语边界标识的条件随机场层的权重矩阵，表示第i-1个字和第i个字预测的术语边界标识条件随机场层的偏置项；
步骤S48，将预测的术语边界标识序列和真实的术语边界标识序列输入到
正则化的交叉熵损失函数，计算出术语边界损失，计算过程如公式（9）所示；
（9）；
其中，为术语边界损失，表示第i个字预测的术语边界标识，表示第i个
字真实的术语边界标识，，， 表示输入为数学文本S
的条件下第i个字预测的术语边界标识与第i个字真实的术语边界标识相同的概率；为正则化参数，为术语及类型二元单步抽取模型中所有特征向量的权重矩阵集合。
关于二元组抽取器，具体的抽取步骤如下：
步骤S51，为了避免模型遗忘初始特征向量中的某些重要信息，并且强化蕴含的结构信息和二元组的关联，将初始的第i个字嵌入特征向量和第i个字对应的融合语义向量在残差层中进行残差计算即进行向量相加，得到融合特征向量作为二元组抽取器的输入到二元组预测层；
步骤S52，为了实现一步抽取数学文本S中的所有术语和对应类型，以及增强术语和类型的交互，在二元组预测层中将术语与类型看成一个整体二元组，并为数学文本S构造X个术语类型的链接表，链接表大小统一为，每个链接表对应一个术语类型，接着利用评分函数对X个术语类型的链接表进行填充；
步骤S53，评分函数与残差层的输出无缝连接，通过参数矩阵自适应学习从术语特征到术语及类型对特征表示的映射函数，使用可学习的类型矩阵进行特征空间的转换，得出评分函数计算过程如公式（10）所示；
（10）；
其中，为第X个术语类型链接表中第i个字对应的得分，表示可学习类型矩阵的转置，，表示实数空间，dim为嵌入维度，4是标识集合的标识总数，X为术语类型的个数，·表示内积，ReLU为激活函数，Dropout表示随机失活函数，可防止过拟合，为线性函数中的参数矩阵，，表示 dim个嵌入维度乘dim个嵌入维度的实数空间，表示线性函数中的偏置项；
接着，通过归一化指数函数计算分类器对每种标识的分类概率，计算过程如公式（11）所示；
（11）；
其中，表示输入为数学文本S的条件下得到二元组抽取器预测的术语及类型链接表的概率，Softmax为归一化指数函数，为第i个字和第种术语类型对应的得分；
步骤S54，根据计算的每种标识的分类概率，采用交叉熵损失函数对二元组抽取器进行参数更新和优化得到二元组损失，计算过程如公式（12）所示；
（12）；
其中，为二元组损失，为数学文本S中第i个字、第x种术语类型对应的预测标识，，为数学文本S中第i个字、第x种术语类型对应的真实标识，，表示二元组抽取器真实的术语及类型链接表；
步骤S55，针对输入为数学文本S的条件下得到的概率，在第x种术语类型链接表中填充上四种标识，在标识解码器中按照预设规则对术语及类型二元组进行解码。
为了提高二元组抽取器对二元组的抽取准确率，在术语边界对齐模块中利用术语边界提取器获得的术语边界，对二元组集合中的术语进行筛选，一旦二元组中的术语与术语边界不匹配，则将不匹配的二元组进去除。例如，术语边界提取器获取到的某个术语边界为“圆心”，而在文本中的相同位置对应的二元组“（圆，坐标系与直角坐标）”中出现了“圆“，两者未对齐，则将该二元组删除。因此，经过对齐后的二元组集合更为精确。
Claims (9)
1.一种术语及类型二元组单步抽取方法，利用融合依存结构和边界损失完成术语及类型二元组的单步抽取，其特征在于步骤如下：
步骤S1，构建中学数学术语数据集和构建依存关系集合；
步骤S2，定义术语及类型二元组抽取任务形式化；
步骤S3， 将步骤S1中的中学数学术语数据集输入到术语及类型二元组单步抽取模型，将数学文本输入到术语及类型二元组单步抽取模型的特征编码器中，获取数学文本中所有字嵌入特征向量；
步骤S4，将步骤S1构建的依存关系集合和步骤S3获得的字嵌入特征向量直接输入到术语边界提取器中，得到预测的术语边界标识系列，再通过交叉熵损失函数计算边界损失Lm，优化更新特征编码器和术语边界提取器的模型参数，获得术语边界标识；
步骤S5，将步骤S3获得的字嵌入特征向量和步骤S4获得的术语边界提取器中的语义融合层输出的融合语义向量进行残差计算，将残差计算结果输入到二元组抽取器中，通过二元组抽取器的标识解码器解码得到初始二元组集合，同时通过交叉熵损失函数计算二元组损失Lt；
步骤S6，对步骤S4得到边界损失Lm和步骤S5得到二元组损失Lt联合求和得联合损失L，并优化特征编码器、术语边界提取器与二元组抽取器的参数，达到术语边界提取和二元组抽取条件；
步骤S7，将术语边界标识和初始二元组集合输入到术语边界对齐模块，将术语边界标识对齐初始二元组集合的术语，将初始二元组集合内的二元组中未包含在术语边界标识中的术语连同二元组共同筛选出来，得到最终术语及类型二元组集合。
2.根据权利要求1所述的一种术语及类型二元组单步抽取方法，其特征在于：步骤S1中构建中学数学术语数据集；具体为：
步骤S11，收集中学数学领域术语及类型抽取的句子，去除重复句子；
步骤S12，使用构建好的中学术语词典进行自动标注，同时为每个术语进行类型标注；
步骤S13，对标注结果进行标识一致性检验，即针对多个人对同一内容的标注结果进行相似性计算，取相似度高的标注结果；
步骤S14，将相似度高的标注结果进行检查和校正，保留符合要求的中学数学术语数据，构建中学数学术语数据集，并按照训练集：验证集：测试集为8：1：1的比例对中学数学术语数据集进行划分。
3.根据权利要求2所述的一种术语及类型二元组单步抽取方法，其特征在于：步骤S2中定义术语及类型二元组抽取任务形式化，具体为：
定义包含N个数学文本的数据集为，每个数学文本S作为术语及类型二元组单步抽取模型输入，, 包含X种术语类型集合为
；
其中，S1为第1个数学文本，S2为第2个数学文本，SN为第N个数学文本；为数学文本S中第1个字，为数学文本S中第2个字，为数学文本S中的第Z个字，Z是字的个数；为术语的第1种类型，为术语的第2种类型，为术语的第X种类型，X为术语类型的个数；
定义含有5种术语边界标识集合为，含有4种二元组标识集合为；二元组抽取器的预测的术语及类型链接表为：
；
其中，为二元组抽取器预测的术语及类型链接表，为数学文本S中的第i个字，为数学文本S中第i个字、第x种术语类型对应的预测标识，为多字术语的开始，为多字术语的中部，为多字术语的结束，为单字术语，为非术语；m表示术语边界，t表示二元组。
4.根据权利要求3所述的一种术语及类型二元组单步抽取方法，其特征在于：步骤S3中特征编码器由预训练好的中文预训练BERT模型构成，具体为：
将数学文本S中的第i个字输入到中文预训练模型BERT中，获取对应的字嵌入特征向量，计算过程如公式（1）所示；
（1）；
其中，为数学文本S中的第i个字经过中文预训练模型BERT得到的初始的第i个字嵌入特征向量。
5.根据权利要求4所述的一种术语及类型二元组单步抽取方法，其特征在于：步骤S4中术语边界提取器，具体的提取步骤如下：
步骤S41，将获得的字嵌入特征向量和构建的依存关系集合输入到术语边界提取器中的依存信息构建层中，依存信息构建层将输入的依存关系集合转化成依存关系邻接矩阵和依存标识特征向量；
步骤S42，构建依存关系邻接矩阵，将存在依存关系的两个词各自包含的字相互之间构建无向连接边，得到对称的第一依存关系邻接矩阵；
其中，A是大小的矩阵，表示第一依存关系邻接矩阵A中的第i个字、第j个字对应的元素值,且存在关系的两个词所组成的字之间的元素值为1,否则为0；
步骤S43，构建依存标识特征向量，同样构造大小的矩阵，大小的矩阵中第i个字与第j个字对应的元素取值为0到U-1， U表示共有U种依存关系，利用嵌入函数获取依存标识特征向量；其中表示第i个字与第j个字之间的依存标识特征向量，dep表示依存标识；
步骤S44，在结构表示层中利用依存信息构建层构建好的依存标识特征向量对第一依存关系邻接矩阵的初始权重值进行优化更新，得到第二依存关系邻接矩阵，计算过程如公式（2）所示；
（2）；
其中，表示第二依存关系邻接矩阵中的第i个字、第j个字对应的元素值，，表示级联操作，·表示内积操作，表示初始的第i个字嵌入特征向量和初始的第j个字嵌入特征向量；
接着，进一步融合依存标识特征向量和更新后的第二依存关系邻接矩阵，将初始的第j个字嵌入特征向量和第i个字与第j个字之间的依存标识特征向量的信息进行融合，赋予更新后的第二依存关系邻接矩阵的权重加权，再通过激活函数与初始的第j个字嵌入特征向量进行级联，得到最终结构特征向量；计算过程如公式（3）所示；
（3）；
其中，为第i个字对应的图卷积神经网络最终结构特征向量，表示ReLU激活函数，为可学习的权重矩阵，表示结构表示层的偏置项；
步骤S45，利用双向长短期记忆网络层获取数学文本S中第i字对应的上下文语义特征向量，将初始的第i个字嵌入特征向量分别对应输入前向和后向的双向长短期记忆网络层中，计算过程如公式（4）所示；
（4）；
其中，为第i字对应的上下文语义特征向量，分别表示前向长短期记忆网络的输出向量和后向长短期记忆网络的输出向量；
步骤S46，通过注意力机制将第i个字对应的图卷积神经网络最终结构特征向量与第i字对应的上下文语义特征向量在语义融合层进行融合，获得对应的融合语义向量，计算过程如公式（5）、公式（6）所示；
（5）；
（6）；
其中，为第i个字对应的融合语义向量，Attention为注意力函数，分别表示查询向量、键向量和值向量，Softmax为归一化指数函数，dd为查询向量和键向量的第二维度大小，T为查询向量和键向量的转置，分别表示自注意力机制时第i个字的查询向量、键向量和值向量的投影参数矩阵；、，表示对第i个字对应的图卷积神经网络最终结构特征向量进行线性变换的参数矩阵；
步骤S47，将第i个字对应的融合语义向量输入到标识预测层中，利用条件随机场模型对标识序列进行约束和预测得到所有的术语边界，输出预测的术语边界标识序列Ym；预测计算如公式（7）所示，概率计算如公式（8）所示；
（7）；
（8）；
其中，表示预测的术语边界标识序列，表示第1个字预测的术语边界标识，表示第2个字预测的术语边界标识，表示第i个字预测的术语边界标识，表示第i-1个字预测的术语边界标识；表示输入为数学文本S的条件下得到预测的术语边界标识序列的概率，表示任意可能的术语边界标识序列，且，表示任意可能的术语边界标识序列中的第i个标识，表示任意可能的第i个术语边界标识的条件随机场层的权重矩阵，表示第i个字预测的术语边界标识的条件随机场层的权重矩阵，表示第i-1个字和第i个字预测的术语边界标识条件随机场层的偏置项；
步骤S48，将预测的术语边界标识序列和真实的术语边界标识序列输入到正则化的交叉熵损失函数，计算出术语边界损失，计算过程如公式（9）所示；
（9）；
其中，为术语边界损失，表示第i个字预测的术语边界标识，表示第i个字真实的术语边界标识，，，表示输入为数学文本S的条件下第i个字预测的术语边界标识与第i个字真实的术语边界标识相同的概率；为正则化参数，为术语及类型二元单步抽取模型中所有特征向量的权重矩阵集合。
6.根据权利要求5所述的一种术语及类型二元组单步抽取方法，其特征在于：步骤S5中二元组抽取器，具体的抽取步骤如下：
步骤S51，将初始的第i个字嵌入特征向量和第i个字对应的融合语义向量在残差层中进行残差计算即进行向量相加，得到融合特征向量作为二元组抽取器的输入到二元组预测层；
步骤S52，在二元组预测层中将术语与类型看成一个整体二元组，并为数学文本S构造X个术语类型的链接表，链接表大小统一为，每个链接表对应一个术语类型，接着利用评分函数对X个术语类型的链接表进行填充；
步骤S53，评分函数与残差层的输出无缝连接，通过参数矩阵自适应学习从术语特征到术语及类型对特征表示的映射函数，使用可学习的类型矩阵进行特征空间的转换，得出评分函数计算过程如公式（10）所示；
（10）；
其中，为第x个术语型链接表中第i个字对应的得分，表示可学习类型矩阵的转置，，表示实数空间，dim为嵌入维度，4是标识集合的标识总数，X为术语类型的个数，·示内积，ReLU为激活函数，Dropout表示随机失活函数，可防止过拟合，为线性函数中的参数矩阵，，表示 dim个嵌入维度乘dim个嵌入维度的实数空间，表示线性函数中的偏置项；
接着，通过归一化指数函数计算分类器对每种标识的分类概率，计算过程如公式（11）所示；
（11）；
其中，表示输入为数学文本S的条件下得到二元组抽取器预测的术语及类型链接表的概率，Softmax为归一化指数函数，为第i个字和第种术语类型对应的得分；
步骤S54，根据计算的每种标识的分类概率，采用交叉熵损失函数对二元组抽取器进行参数更新和优化得到二元组损失，计算过程如公式（12）所示；
（12）；
其中，为二元组损失，为数学文本S中第i个字、第x种术语类型对应的预测标识，，为数学文本S中第i个字、第x种术语类型对应的真实标识，，表示二元组抽取器真实的术语及类型链接表；
步骤S55，针对输入为数学文本S的条件下得到的概率，在第x种术语类型链接表中填充上四种标识，在标识解码器中按照预设规则对术语及类型二元组进行解码。
7.根据权利要求6所述的一种术语及类型二元组单步抽取方法，其特征在于：在标识解码器中按照预设规则对术语及类型二元组进行解码，具体为：
步骤S551，术语解码顺序按照数学文本从左到右逐字解码，共解码X种术语类型的链接表；
步骤S552，当识别到标识“”时，继续向右识别，直到识别到“”，即 “”到“”对应的文本区间就对应一个完整的多字术语；
步骤S553，当识别到标识“”时，即文本中的单字对应单字术语；
步骤S554，剩下的“”标识表示非术语，是无效标注，解码过程中可以跳过。
8.根据权利要求7所述的一种术语及类型二元组单步抽取方法，其特征在于：在术语边界对齐模块中对二元组集合中的术语进行筛选，当二元组中的术语与术语边界不匹配，则将不匹配的二元组进去除。
9.一种术语及类型二元单步抽取模型，应用于权利要求8所述的一种术语及类型二元组单步抽取方法，其特征在于：
包括特征编码器、术语边界提取器、二元组抽取器、术语边界对齐模块四个大模块；
特征编码器分别连接术语边界提取器和二元组抽取器，术语边界提取器和二元组抽取器再分别连接术语边界对齐模块，术语边界提取器与二元组抽取器呈并行结构且进行数据交互；
术语边界提取器包括依存信息构建层、结构表示层、双向长短期记忆网络层、语义融合层、标识预测层，特征编码器分别连接依存信息构建层和双向长短期记忆网络层，依存信息构建层链接结构表示层，依存信息构建层和结构表示层是串行结构，依存信息构建层和结构表示层与双向长短期记忆网络层是并行结构；结构表示层和双向长短期记忆网络层分别连接语义融合层，语义融合层连接标识预测层，标识预测层连接术语边界对齐模块；
二元组抽取器包括残差层、二元组预测层和标识解码层，残差层连接二元组预测层，二元组预测层连接标识解码层，标识解码层链接术语边界对齐模块。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310884081.5A CN116595992B (zh) | 2023-07-19 | 2023-07-19 | 一种术语及类型的二元组单步抽取方法及其模型 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310884081.5A CN116595992B (zh) | 2023-07-19 | 2023-07-19 | 一种术语及类型的二元组单步抽取方法及其模型 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116595992A true CN116595992A (zh) | 2023-08-15 |
| CN116595992B CN116595992B (zh) | 2023-09-19 |
Family
ID=87594192
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310884081.5A Active CN116595992B (zh) | 2023-07-19 | 2023-07-19 | 一种术语及类型的二元组单步抽取方法及其模型 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116595992B (zh) |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104657440A (zh) * | 2015-01-30 | 2015-05-27 | 欧阳江 | 结构化查询语句生成系统及方法 |
| CN113468875A (zh) * | 2021-07-26 | 2021-10-01 | 沈延谊 | 一种面向SCADA系统自然语言交互接口语义分析的MNet方法 |
| CN113821605A (zh) * | 2021-10-12 | 2021-12-21 | 广州汇智通信技术有限公司 | 一种事件抽取方法 |
| WO2022174552A1 (zh) * | 2021-02-22 | 2022-08-25 | 北京百度网讯科技有限公司 | 获取poi状态信息的方法及装置 |
| CN115688752A (zh) * | 2022-09-16 | 2023-02-03 | 杭州电子科技大学 | 一种基于多语义特征的知识抽取方法 |
| CN116150367A (zh) * | 2023-01-16 | 2023-05-23 | 西安交通大学 | 一种基于方面的情感分析方法及系统 |
| CN116187310A (zh) * | 2022-09-08 | 2023-05-30 | 上海浦东发展银行股份有限公司 | 一种文档级关系抽取方法、装置、设备及存储介质 |
| CN116227435A (zh) * | 2022-12-27 | 2023-06-06 | 江西财经大学 | 基于字间关系的中文金融评价单元抽取方法 |
-
2023
- 2023-07-19 CN CN202310884081.5A patent/CN116595992B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104657440A (zh) * | 2015-01-30 | 2015-05-27 | 欧阳江 | 结构化查询语句生成系统及方法 |
| WO2022174552A1 (zh) * | 2021-02-22 | 2022-08-25 | 北京百度网讯科技有限公司 | 获取poi状态信息的方法及装置 |
| CN113468875A (zh) * | 2021-07-26 | 2021-10-01 | 沈延谊 | 一种面向SCADA系统自然语言交互接口语义分析的MNet方法 |
| CN113821605A (zh) * | 2021-10-12 | 2021-12-21 | 广州汇智通信技术有限公司 | 一种事件抽取方法 |
| CN116187310A (zh) * | 2022-09-08 | 2023-05-30 | 上海浦东发展银行股份有限公司 | 一种文档级关系抽取方法、装置、设备及存储介质 |
| CN115688752A (zh) * | 2022-09-16 | 2023-02-03 | 杭州电子科技大学 | 一种基于多语义特征的知识抽取方法 |
| CN116227435A (zh) * | 2022-12-27 | 2023-06-06 | 江西财经大学 | 基于字间关系的中文金融评价单元抽取方法 |
| CN116150367A (zh) * | 2023-01-16 | 2023-05-23 | 西安交通大学 | 一种基于方面的情感分析方法及系统 |
Non-Patent Citations (3)
| Title |
|---|
| NICOLA DE CAO等: "Question Answering by Reasoning Across Documents with Graph Convolutional Networks", ARXIV:1808.09920V4, pages 1 - 13 * |
| 徐凡等: "知识图谱驱动的图卷积神经网络谣言检测模型", 中国科学, vol. 53, no. 4, pages 663 - 681 * |
| 郑肇谦等: "单步片段标注的实体关系联合抽取模型", 计算机工程与应用, vol. 59, no. 9, pages 130 - 139 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116595992B (zh) | 2023-09-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110633409B (zh) | 一种融合规则与深度学习的汽车新闻事件抽取方法 | |
| CN107992597B (zh) | 一种面向电网故障案例的文本结构化方法 | |
| CN112989005B (zh) | 一种基于分阶段查询的知识图谱常识问答方法及系统 | |
| CN109271529B (zh) | 西里尔蒙古文和传统蒙古文双文种知识图谱构建方法 | |
| CN117076653B (zh) | 基于思维链及可视化提升上下文学习知识库问答方法 | |
| CN111931506B (zh) | 一种基于图信息增强的实体关系抽取方法 | |
| CN107798624B (zh) | 一种软件问答社区中的技术标签推荐方法 | |
| CN113806563B (zh) | 面向多源异构建筑人文史料的建筑师知识图谱构建方法 | |
| CN110990590A (zh) | 一种基于强化学习和迁移学习的动态金融知识图谱构建方法 | |
| CN107562792A (zh) | 一种基于深度学习的问答匹配方法 | |
| CN113191148B (zh) | 一种基于半监督学习和聚类的轨道交通实体识别方法 | |
| US20220004545A1 (en) | Method of searching patent documents | |
| CN113196277A (zh) | 用于检索自然语言文档的系统 | |
| CN114818717B (zh) | 融合词汇和句法信息的中文命名实体识别方法及系统 | |
| CN115599899B (zh) | 基于飞行器知识图谱的智能问答方法、系统、设备及介质 | |
| CN116975256B (zh) | 抽水蓄能电站地下厂房施工过程多源信息的处理方法及系统 | |
| CN117151222B (zh) | 领域知识引导的突发事件案例实体属性及其关系抽取方法、电子设备和存储介质 | |
| CN117648429A (zh) | 基于多模态自适应检索式增强大模型的问答方法及系统 | |
| CN115688784A (zh) | 一种融合字与词语特征的中文命名实体识别方法 | |
| CN116861269A (zh) | 工程领域的多源异构数据融合及分析方法 | |
| CN113312918B (zh) | 融合部首向量的分词和胶囊网络法律命名实体识别方法 | |
| CN117609436A (zh) | 一种结合知识图谱和大语言模型的高校科研管理问答系统 | |
| CN116680407A (zh) | 一种知识图谱的构建方法及装置 | |
| CN116595992B (zh) | 一种术语及类型的二元组单步抽取方法及其模型 | |
| CN115270713A (zh) | 一种人机协同语料库构建方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |