CN111694924B - 一种事件抽取方法和系统 - Google Patents

一种事件抽取方法和系统 Download PDF

Info

Publication number
CN111694924B
CN111694924B CN202010551486.3A CN202010551486A CN111694924B CN 111694924 B CN111694924 B CN 111694924B CN 202010551486 A CN202010551486 A CN 202010551486A CN 111694924 B CN111694924 B CN 111694924B
Authority
CN
China
Prior art keywords
event extraction
model
label
sequence
vectors
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010551486.3A
Other languages
English (en)
Other versions
CN111694924A (zh
Inventor
孔小飞
王晨
程栋梁
刘海峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hefei Zhongke Leinao Intelligent Technology Co ltd
Original Assignee
Hefei Zhongke Leinao Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hefei Zhongke Leinao Intelligent Technology Co ltd filed Critical Hefei Zhongke Leinao Intelligent Technology Co ltd
Priority to CN202010551486.3A priority Critical patent/CN111694924B/zh
Publication of CN111694924A publication Critical patent/CN111694924A/zh
Application granted granted Critical
Publication of CN111694924B publication Critical patent/CN111694924B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/31—Indexing; Data structures therefor; Storage structures
    • G06F16/313—Selection or weighting of terms for indexing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Machine Translation (AREA)

Abstract

本发明提出一种事件抽取方法，包括获取原始语料，对句子中的要素以[标签‑要素]的形式来进行标注，将标注的语料划分为训练集和测试集，预训练语言模型将训练集映射成向量，得到词嵌入向量，将词嵌入向量输入神经网络模型，神经网络模型输出序列标签信息，基于序列标签信息建立损失函数，利用测试集对事件抽取模型评估，最终得到事件抽取模型，多次调整训练集和测试集结构，选取评估结果最好的事件抽取模型作为最佳模型，将新的原始语料输入至最佳模型，得到事件抽取的结果；本发明提出的事件抽取方法属于监督的神经网络抽取方法，结合本领域的细粒度语境化词向量，更符合专业领域事件抽取的场景。

Description

一种事件抽取方法和系统
技术领域
本发明属于事件抽取领域，特别涉及一种事件抽取方法和系统。
背景技术
事件抽取是从描述事件信息的文本中抽取出用户感兴趣的事件并以结构化的形式呈现出来，这样便能从海量的自然文本中抽取事件，目前基于变压器故障事件抽取的研究还比较少，但是对于变压器大量的故障事件记录和经验的有效利用是实现变压器故障智能诊断和推理的重要途径。
现有的事件抽取的方法有基于模式匹配和基于机器学习的方法。其中专业领域的模式匹配需要定义大量的模板进行事件的识别和抽取；基于传统机器学习的方法一般将事件抽取问题转化为分类问题，基于短语或者句子层级的信息。通过对文本信息进行分句、分词、实体识别、句法和依存关系，利用自然语言处理的工具提取候选词的上下文的词义特征和语义特征，并构建特征向量，作为分类器的输入，运用一个分类器来预测事件发生的触发词，并根据触发词类型，判断该事件所属类型。
基于模式匹配的事件抽取方法，基于一定的模式(上下文环境)，将待抽取的句子与已有的模板进行匹配，其中模式的构建需要领域的专家知识，进行人工建立，人力、时间成本较高，并且移植性较差，从一个领域移植到另一个领域相当于重新建立；基于机器学习的事件抽取的方法，一是将事件抽取分为实体提取和事件判别两个阶段，命名实体识别的误差会影响事件的判别，会带来累计误差；二是对于具体的领域，往往需要构建大量的人工特征，特征选择的过程代价是很大的，随着模型复杂性的提高，可维护性会变得越来越差。
发明内容
针对上述问题，本发明提出一种事件抽取方法，包括：
获取原始语料：以待抽取内容作为原始语料；
数据标注：筛选包含事件的句子，对句子中的要素以[标签-要素]的形式来进行标注；
数据集分配：将标注的语料划分为训练集和测试集；
预训练：预训练语言模型将训练集映射成向量，得到词嵌入向量；
构建事件抽取模型：将词嵌入向量输入神经网络模型，神经网络模型输出序列标签信息，基于序列标签信息建立损失函数；
评估：利用测试集对事件抽取模型评估，若评估成绩低于预定目标，重复所述构建事件抽取模型步骤，若评估成绩达到预定目标，终止所述构建事件抽取模型步骤，得到事件抽取模型；
多次调整训练集和测试集结构，重复所述预训练、所述构建事件抽取模型、所述评估步骤，得到多个事件抽取模型，选取评估结果最好的事件抽取模型作为最佳模型；
事件抽取：将新的原始语料输入至最佳模型，最佳模型输出新的原始语料对应的标签，基于标签抽取出格式化的事件数据，得到事件抽取的结果。
优选地，所述数据标注步骤之前还包括：
对原始语料进行清洗。
优选地，所述对句子中的要素以[标签-要素]的形式来进行标注具体为：
标签包括B-要素开始、M-要素内部、E-要素结尾和S-单个要素，句子中的其他部分标记为“O”。
优选地，所述神经网络模型包括具有超长记忆的变压器网络+条件随机场；
所述将词嵌入向量输入神经网络模型，神经网络模型输出序列标签信息，基于序列标签信息建立损失函数，具体包括：
将词嵌入向量输入具有超长记忆的变压器网络，具有超长记忆的变压器网络输出特征向量，基于特征向量获取状态特征概率，选取状态特征概率最大值对应的标签；
将状态特征概率最大值对应的标签输入条件随机场，条件随机场输出转移概率矩阵，基于转移概率矩阵获取序列标签信息，基于序列标签信息建立损失函数。
优选地，所述具有超长记忆的变压器网络包括：
hn τ＝RL*d为第τ段分段产生的第n层隐层，其中，h0 τ为初始化的词嵌入向量，L为分段的长度，d为隐层的维度，τ为分段的索引，定义如下具有N层的具有超长记忆的变压器网络的单个Attention Head(n＝1，...，N)，最后将所有Attention Head得到的结果进行拼接：
MultiHead＝Concat(head1，…headi…headh)W0
Concat是矩阵拼接函数；headi是第i个head的输出结果，h是head的个数；W0是输出的映射参数矩阵；
head计算过程：
Figure SMS_1
式中SG表示停止计算梯度，
Figure SMS_2
表示将/>
Figure SMS_3
和/>
Figure SMS_4
在长度维度上进行连接，/>
Figure SMS_5
代表上一分段的隐藏状态，/>
Figure SMS_6
代表当前分段的隐藏状态，/>
Figure SMS_7
代表的就是扩展的上下文表示，对两个隐向量沿着长度方向进行拼接，拼接之后的维度为2L x d；
Figure SMS_8
式中对应W计算注意力所需的q，k，v的转化矩阵，q用于查询当前位置，k用于提供相关标签，v用于提供相关位置的值，k，v计算使用扩展上下文的表示，长度为2L，k和v使用了包括上个序列信息的隐藏层，查询q只与当前序列相关；
Figure SMS_9
为生成的基于内容的键向量，/>
Figure SMS_10
分别为q，v的映射矩阵，/>
Figure SMS_11
指的是矩阵的转置；
Figure SMS_12
式中是计算qτ，i和Kτ，j在第τ段分段的注意力得分，其中四个部分的作用依次分别为j的内容相对于i的影响，i与j的距离对于i的影响，j的内容相对于整体的影响，i与j的距离对于整体的影响，
Figure SMS_13
为生成的基于位置的键向量；
其中Ri-j的计算方式如下：
Figure SMS_14
其中，k∈[0，1，…，d]，i-j∈[0，1，…，M+L-1]，a∈[0，d/2]，Ri-j仅在隐层传递中进行计算，初始化的时候并不进行计算；L为分段序列的长度，M为上述
Figure SMS_15
的长度，u，v为可训练的参数；
Figure SMS_16
上式是对注意力得分进行mask操作，将先通过softmax函数对注意力得分进行归一化，softmax函数如下：
Figure SMS_17
其中，mask操作是将补全的部分标记出来，防止影响注意力的计算；
Figure SMS_18
式中进行归一化操作，先对注意力分数进行残差层的计算，再加上n-1层隐层的结果，再进行LayerNorm计算得到结果；
其中，
Figure SMS_19
u为x的均值，σ为方差，g和b为需要拟合的参数；
Figure SMS_20
表示经历过两次线性变换和ReLU激活，公式为：
FFN(x)＝max(0，xW1+b1)W2+b2
式中W1、W2、b1、b2为可训练参数，最后经历一次线性变换和softmax操作，变换为每个汉字映射到标签的状态特征概率。
优选地，所述条件随机场输出转移概率矩阵，基于转移概率矩阵获取序列标签信息，基于序列标签信息建立损失函数包括：
设定标注的语料为：
Figure SMS_21
xi表示原始语料中的汉字，yi表示标签；
Figure SMS_22
/>
Figure SMS_23
为具有超长记忆的变压器网络的输出，/>
Figure SMS_24
为状态特征概率，
Figure SMS_25
为转移概率矩阵；
对于目标：学习出一组条件概率分布模型：
Figure SMS_26
找到θ，使得
Figure SMS_27
Figure SMS_28
为损失函数。
优选地，利用测试集对事件抽取模型评估的评估指标包括F-score，F-score公式如下：
Figure SMS_29
Figure SMS_30
Figure SMS_31
其中，TP：预测为正例，实际为正例；
FP：预测为正例，实际为负例；
FN：预测为负例，实际为正例。
优选地，训练集和测试集中增加不包含事件的语料。
本发明还提出了一种事件抽取系统，包括：
语料获取单元，用于获取原始语料，以待抽取内容作为原始语料；
标注单元，用于数据标注，筛选包含事件的句子，对句子中的要素以[标签-要素]的形式来进行标注；
分配单元，用于数据集分配，将标注的语料划分为训练集和测试集；
预训练单元，用于预训练语言模型将训练集映射成向量，得到词嵌入向量；
神经网络单元，用于构建事件抽取模型，将词嵌入向量输入神经网络模型，神经网络模型输出序列标签信息，基于序列标签信息建立损失函数；
评估单元，用于利用测试集对事件抽取模型评估，若评估成绩低于预定目标，重复所述构建事件抽取模型步骤，若评估成绩达到预定目标，终止所述构建事件抽取模型步骤，得到事件抽取模型；
事件抽取单元，用于将新的原始语料输入至最佳模型，输出新的原始语料对应的序列标签信息，基于序列标签信息抽取出格式化的事件数据，得到事件抽取的结果。
本发明的事件抽取方法和系统，属于监督的神经网络抽取方法，结合本领域的细粒度语境化词向量，更符合专业领域事件抽取的场景，利用语境化的词向量输入和神经网络的训练，得到可以直接进行事件抽取的模型，形成端到端的网络，避免错误传播，基于本领域的语境化词向量，可以针对性的提高事件抽取模型的准确性。
本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所指出的结构来实现和获得。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1示出了根据本发明实施例的事件抽取方法的流程图；
图2示出了根据本发明实施例采用具有超长记忆的变压器网络(Transformer-XL)+条件随机场(CRF)抽取示意图；
图3示出了根据本发明实施例具有超长记忆的变压器网络(Transformer-XL)的模型示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地说明，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的实施例提出一种事件抽取方法，一般变压器故障的描述语境相对来说简单一些，利用端到端的深度学习的算法就可以，因此可以应用在变压器故障诊断领域，当然也可以应用在其他领域，不同领域的事件抽取，面对的语料的语境不一样。参照图1，事件抽取方法具体包括以下几个步骤。
获取原始语料：以待抽取内容作为原始语料，原始语料可以来自专业变压器故障书籍、故障记录文本，获取的语料的呈现方式可能有不同形式，例如图片格式、PDF格式等，需要将其转换为纯文本数据，例如可以采用OCR技术(光学字符识别)将非纯文本数据转换为纯文本数据，再利用程序和手动等办法处理，按照具体的变压器故障案例分为不同的文本进行储存；
数据标注：筛选包含事件的句子，这里的事件在本实施例中即为涉及变压器故障的句子，例如“主变压器油温高”，“铁芯出现间歇性多点接地”，对句子中的要素以[标签-要素]的形式来进行标注，事件要素主要包含“故障现象”、“具体故障设备”、“设备生产公司”等，每个要素获得一个标签；在其他的书籍文献中，[标签-要素]的形式可以表示为[边界位置-要素]。
数据集分配：将标注的语料划分为训练集和测试集；示例性的，可以按照4：1的比例分配训练集(train.txt)和测试集(test.txt)。
预训练：利用已有的大型预训练语言模型进行微调训练，预训练语言模型将训练集中的汉字映射成向量，得到词嵌入向量：E∈Rl*d，以适应变压器故障领域，不同的应用领域使用不同的预训练模型。
构建事件抽取模型：将词嵌入向量输入神经网络模型，神经网络模型输出序列标签信息，基于序列标签信息建立损失函数，通过优化损失函数的值，最终得到训练好的模型。
评估：利用测试集对事件抽取模型评估，若评估成绩低于预定目标，重复所述构建事件抽取模型步骤继续训练，若评估成绩达到预定目标，终止所述构建事件抽取模型步骤，得到事件抽取模型，将这个事件抽取模型保存。
多次调整训练集和测试集结构，就是把训练集(train.txt)和测试集(test.txt)两个文本里面的数据当作一个整体，对数据条数按照4：1的比例重新分配数据集为两个新的训练集(train.txt)和测试集(test.txt)，达到验证模型有效性的目的。重复所述预训练、所述构建事件抽取模型、所述评估步骤，得到多个事件抽取模型，选取评估结果最好的事件抽取模型作为最佳模型。
事件抽取：将待抽取的文本输入训练好的神经网络模型中，待抽取的文本可以是任意变压器相关故障资料，得到文本每一个字符的标注结果。然后把标签对应代表的含义读取出来，形成文本信息，把这些文本信息拼接形成一个文本句子，得到结构化的文本信息，或者单独存储在一个数据结构中。
在利用OCR技术转化为文本的过程中，会出现一定数量的文本、格式错误，需要对纯文本数据进行清洗，具体是过滤掉文本中多余的空格，修正文本中的错误，包括残缺数据、错误数据和重复数据，按照换行符和句号等进行文章句子分段。
本实施例中通过brat标注工具进行事件要素标注，所述对句子中的要素以[标签-要素]的形式来进行标注具体为：标签包括B-要素开始、M-要素内部、E-要素结尾和S-单个要素，句子中的其他部分全部标记为“O”；通过脚本程序处理成训练集和测试集，具体来说，此脚本的输入为brat标注的格式：
T48 guzhangxx 957 968铁芯出现间歇性多点接地
其中T48为事件标号，guzhangxx为事件标签，957，968为事件在原始语料中的首尾索引，输出为标准的训练数据格式：
铁B-guzhangxx
芯M-guzhangxx
出M-guzhangxx
现M-guzhangxx
间M-guzhangxx
歇M-guzhangxx
性M-guzhangxx
多M-guzhangxx
点M-guzhangxx
接M-guzhangxx
地E-guzhangxx
另外，在训练集和测试集中增加不包含事件的语料，增加数据的噪声，利于后期的模型训练和优化。
关于预训练，这个过程可以解释如下：假设已有A训练集，先用A对神经网络进行预训练，在A任务上学会网络参数，然后保存以备后用，当来一个新的任务B，采取相同的神经网络，网络参数初始化的时候可以加载A学习好的参数，其他的高层参数随机初始化，之后用B任务的训练数据来训练网络，当加载的参数保持不变时，称为"frozen"，当加载的参数随着B任务的训练进行不断的改变，称为“fine-tuning”，即更好地把参数进行调整使得更适合当前的B任务。
本实施例中，在训练事件抽取模型之前，基于最新的预训练细粒度语境化词向量模型(本模型来源于github)进行微调(微调脚本来源于github)训练，得到一个适用于变压器故障领域的预训练模型；具体地，预训练语言模型将标注的汉字映射成向量，得到词嵌入向量：E∈Rl*d，作为模型的初始化输入到神经网络模型中，比如依次输入“变”，“压”，“器”的词向量，得到三个向量(HL0，HL1，HL2)，将这个向量输入神经网络模型中。
本实施例中选用的神经网络模型是具有超长记忆的变压器网络(Transformer-XL，Transformer-extra long)+条件随机场(CRF)。
如果所述神经网络模型包括具有超长记忆的变压器网络+条件随机场；将预训练得到的词嵌入向量输入具有超长记忆的变压器网络，例如输入“变”，“压”，“器”的词向量，得到三个特征向量(HL0，HL1，HL2)，将特征向量输入具有超长记忆的变压器网络进行编码操作，基于特征向量获取状态特征概率，即要素所能获得所有标签的得分，也即文本序列和标签之间的关系，选取状态特征概率最大值对应的标签，作为条件随机场的输入，条件随机场输出转移概率矩阵，即条件随机场可以学习到标签之间的转移关系，确保不会出现标签“M-guzhangxx”前面有一个“E-guzhangxx”标签，这属于无用序列，经过条件随机场得到最终的标签序列，基于标签序列建立损失函数。
参照图2，图2中w1、w2、w3、w4、w5为五个要素的特征向量，将这五个要素的特征向量分别输入具有超长记忆的变压器网络，基于特征向量获取到五个要素的状态特征概率，分别为：
B M E S O
W1 1.5 0.9 0.01 0.08 0.05
W2 0.2 0.4 0.1 0.11 0.05
W3 0.09 0.02 0.03 0.08 0.1
W4 0.003 0.002 0.2 0.07 0.05
W5 0.12 0.2 0.1 0.065 0.5
可知，w1状态特征概率最高的标签为B，w2状态特征概率最高的标签为M，w3状态特征概率最高的标签为O，w4状态特征概率最高的标签为E，w5状态特征概率最高的标签为O，将五个要素各自的状态特征概率最高的标签输入条件随机场，条件随机场根据转移概率矩阵，计算出每个输出的标签序列的得分，因此序列标签为“B-guzhangxx E-guzhangxx O OO”得分为0.9，得分最高，因此最终输出标签的就为上述序列标签。
参照图3，为长度为4的分段的Transformer-XL模型图示，假设上述输入序列分割成两个长度为L的序列：St＝[Xτ-1，1，…Xτ-1，L]和St＝[Xτ，1，…Xτ，L]，注意的是所有的序列都会处理成最长序列的长度，不足的位置会进行补全操作；所述具有超长记忆的变压器网络包括：
hn τ＝RL*d为第τ段分段产生的第n层隐层，其中，h0 τ为初始化的词嵌入向量，L为分段的长度，d为隐层的维度，τ为分段的索引，定义如下具有N层的Transformer-XL模型的单个Attention Head(n＝1，...，N)，最后将所有Attention Head得到的结果进行拼接：
MultiHead＝Concat(head1，…headi…headh)W0
Concat是矩阵拼接函数；headi是第i个head的输出结果，h是head的个数；W0是输出的映射参数矩阵；
head计算过程：
Figure SMS_32
式中SG表示停止计算梯度(stop-gradient，不再对St的隐向量进行反向传播)，
Figure SMS_33
表示将/>
Figure SMS_34
和/>
Figure SMS_35
在长度维度上进行连接，/>
Figure SMS_36
代表着上一分段的隐藏状态，/>
Figure SMS_37
代表的就是扩展的上下文表示，对两个隐向量沿着长度方向进行拼接，拼接之后的维度为2L xd；
Figure SMS_38
式中对应W计算注意力所需的q，k，v的转化矩阵，q用于查询当前位置，计算跟传统Transfomer一样，仅使用当前的segment(片段)的隐向量，长度仍然为L，k用于提供相关标签，v用于提供相关位置的值，k，v计算使用了扩展上下文的表示，因此长度为2L，所以k和v使用了包括上个序列信息的隐藏层，而查询q只与当前序列相关，
Figure SMS_39
为生成的基于内容的键向量，/>
Figure SMS_40
分别为q，v的映射矩阵，/>
Figure SMS_41
指的是矩阵的转置；
Figure SMS_42
式中是计算qτ，i和Kτ，j在第τ段分段的注意力得分，其中四个部分的作用依次分别为j的内容相对于i的影响，i与j的距离对于i的影响，j的内容相对于整体的影响，i与j的距离对于整体的影响，
Figure SMS_43
为生成的基于位置的键向量；
其中Ri-j的计算方式如下：
Figure SMS_44
其中，k∈[0，1，…，d]，i-j∈[0，1，…，M+L-1]，a∈[0，d/2]，Ri-j仅在隐层传递中进行计算，初始化的时候并不进行计算；L为分段序列的长度，M为上述
Figure SMS_45
(记忆单元，实际使用中可以进行长度设置，进而实现记忆能力的扩展)的长度，u，v为可训练的参数；
Figure SMS_46
/>
上式是对注意力得分进行mask操作，将先通过softmax函数对注意力得分进行归一化，softmax函数如下：
Figure SMS_47
其中，mask操作是将补全的部分标记出来，防止影响注意力的计算；
Figure SMS_48
式中进行归一化操作，先对注意力分数进行残差层的计算，再加上n-1层隐层的结果，再进行LayerNorm计算得到结果；
其中，
Figure SMS_49
u为x的均值，σ为方差，g和b为需要拟合的参数；
Figure SMS_50
式中表示经历过两次线性变换和ReLU激活，公式为：
FFN(x)＝max(0，xW1+b1)W2+b2
式中W1、W2、b1、b2为可训练参数，最后经历一次线性变换和softmax操作，变换为每个汉字映射到标签的状态特征概率。
相对于传统的Tranformer，本实施例中的Tranformer-XL具有以下优点。
Transformer编码固定长度的上下文(比如512)，如果输入序列的长度小于固定长度可以通过填充的方式来解决，如果序列大于固定长度，常用的做法是将序列切割成多个固定长度片段(segment)，切割的时候并没有考虑句子的自然边界，而是根据固定长度来划分序列，在训练的时候每个segment单独训练，并没有考虑相邻的segment之间的上下文信息，所以存在上下文碎片问题(context fragmentation)。
在预测的时候，会对固定长度的segment做计算，一般取最后一个位置的隐向量作为输出。为了充分利用上下文关系，在做完一次预测之后，就对整个序列向右移动一个位置，再做一次计算，这导致计算效率非常低。
Transformer无法建模超过固定长度的依赖关系，对长文本编码效果差。而在变压器故障事件抽取中，事件的描述往往是长文本形式存在。(常用的LSTM编码器，学习长期依赖的能力更弱，一般只能建模200长度的上下文，并且无法并行训练导致训练速度很慢)。
为了解决上面的上下文分割的问题，应该建模长距离依赖，Transformer-XL提出片段级递归机制(segment-level recurrence mechanism)，引入一个记忆(memory)模块，循环用来建模片段之间的联系，使得长距离依赖的建模成为可能，使得片段之间产生交互，解决上下文碎片化问题。
下述公式
Figure SMS_51
Figure SMS_52
就是实现片段级递归机制的公式。
在Transformer中，为了表示序列中token(字符)的顺序关系，在模型的输入端，对每个token的输入embedding(词嵌入向量)，加一个位置embedding。位置编码embedding采用位置向量公式来生成，或者通过学习得到。在Transformer-XL中，这种方法行不通，每个segment都添加相同的位置编码，多个segments之间无法区分位置关系。Transformer-XL放弃使用绝对位置编码，而是采用相对位置编码。在计算当前位置隐向量的时候，考虑与之依赖token的相对位置关系。具体操作是，在算attention score的时候，只考虑query向量与key向量的相对位置关系，并且将这种相对位置关系，加入到每一层Transformer-XL的attention的计算中，如公式所示：
Figure SMS_53
由于变压器故障事件文本的长度一般会超过Transfomer可以编码(最长为512)的长度，由于上述的Transformer-XL长距离依赖的建模的特性，能够更好的解决Transformer上下文碎片化的问题，并且由于Transformer-XL能够在不需要重新计算的情况下处理新段中的所有元素，显著提高了模型预测的速度。
对神经网络的参数，文本表示的权重利用预训练模型初始化，就是将文本字符映射成连续的向量，Transformer-XL和线性层参数随机初始化；尝试不同的dropout、hidden_dims、学习率、head等参数组合并观察训练结果以得到最优化的参数组合，比如将drop设置为0.5，hidden_dims设置为64，head设置为8等进行训练。
上述神经网络模型均通过条件随机场输出转移概率矩阵，在条件随机场中，设定标注的语料为：
Figure SMS_54
xi表示原始语料中的汉字，yi表示标签；
在CRF模型中有这样的假设，即当前输出的标签只和上一级输出的标签以及当前的输入有关，那么，一个是转移概率矩阵，一个是状态特征概率。转移概率矩阵是指前一个输出标签为B的前提下当前输出标签为某个标签比如M的概率大小。而状态特征概率是指当前输入的词为某个词的条件下，当前输出标签为某个标签比如M的概率大小。上面的Transformer-XL的输出的其实是每个汉字映射到标签的状态特征概率，那么得分函数可以表示为：
Figure SMS_55
Figure SMS_56
为具有超长记忆的变压器网络的输出，/>
Figure SMS_57
为状态特征概率，
Figure SMS_58
为转移概率矩阵；
对于目标：学习出一组条件概率分布模型：
Figure SMS_59
找到θ，使得
Figure SMS_60
Figure SMS_61
为损失函数，通过优化损失函数的值，最终得到最优模型。
利用测试集对事件抽取模型评估的评估指标包括F-score，F-score公式如下：
Figure SMS_62
Figure SMS_63
Figure SMS_64
其中，
Precision：准确率；
Recall：召回率；
TP：预测为正例，实际为正例；
FP：预测为正例，实际为负例；
FN：预测为负例，实际为正例。
若F-score低于预定目标，重复所述构建事件抽取模型步骤，若F-score达到预定目标，终止所述构建事件抽取模型步骤，得到事件抽取模型；
本发明的实施例还提出一种事件抽取系统，包括：
语料获取单元，用于获取原始语料，以待抽取内容作为原始语料；
标注单元，用于数据标注，筛选包含事件的句子，对句子中的要素以[标签-要素]的形式来进行标注；
分配单元，用于数据集分配，将标注的语料划分为训练集和测试集；
预训练单元，用于预训练语言模型将训练集映射成向量，得到词嵌入向量；
神经网络单元，用于构建事件抽取模型，将词嵌入向量输入神经网络模型，神经网络模型输出序列标签信息，基于序列标签信息建立损失函数；
评估单元，用于利用测试集对事件抽取模型评估，若评估成绩低于预定目标，重复所述构建事件抽取模型步骤，若评估成绩达到预定目标，终止所述构建事件抽取模型步骤，得到事件抽取模型；
事件抽取单元，用于将新的原始语料输入至最佳模型，输出新的原始语料对应的标签，基于标签抽取出格式化的事件数据，得到事件抽取的结果。
尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (6)

1.一种事件抽取方法，其特征在于，包括：
获取原始语料：以待抽取内容作为原始语料；
数据标注：筛选包含事件的句子，对句子中的要素以[标签-要素]的形式来进行标注；
数据集分配：将标注的语料划分为训练集和测试集；
预训练：预训练语言模型将训练集映射成向量，得到词嵌入向量；
构建事件抽取模型：将词嵌入向量输入神经网络模型，神经网络模型输出序列标签信息，基于序列标签信息建立损失函数；
评估：利用测试集对事件抽取模型评估，若评估成绩低于预定目标，重复所述构建事件抽取模型步骤，若评估成绩达到预定目标，终止所述构建事件抽取模型步骤，得到事件抽取模型；
多次调整训练集和测试集结构，重复所述预训练、所述构建事件抽取模型、所述评估步骤，得到多个事件抽取模型，选取评估结果最好的事件抽取模型作为最佳模型；
事件抽取：将新的原始语料输入至最佳模型，最佳模型输出新的原始语料对应的标签，基于标签抽取出格式化的事件数据，得到事件抽取的结果；
所述神经网络模型包括具有超长记忆的变压器网络+条件随机场；
所述将词嵌入向量输入神经网络模型，神经网络模型输出序列标签信息，基于序列标签信息建立损失函数，具体包括：
将词嵌入向量输入具有超长记忆的变压器网络，具有超长记忆的变压器网络输出特征向量，基于特征向量获取状态特征概率，选取状态特征概率最大值对应的标签；
将状态特征概率最大值对应的标签输入条件随机场，条件随机场输出转移概率矩阵，基于转移概率矩阵获取序列标签信息，基于序列标签信息建立损失函数；
所述具有超长记忆的变压器网络包括：
hn τ＝RL*d为第τ段分段产生的第n层隐层，其中，h0 τ为初始化的词嵌入向量，L为分段的长度，d为隐层的维度，τ为分段的索引，定义如下具有N层的具有超长记忆的变压器网络的单个Attention Head(n＝1，...，N)，最后将所有Attention Head得到的结果进行拼接：
MultiHead＝Concat(head1，…headi…headh)W0
Concat是矩阵拼接函数；headi是第i个head的输出结果，h是head的个数；W0是输出的映射参数矩阵；
head计算过程：
Figure FDA0004179259010000021
式中SG表示停止计算梯度，
Figure FDA00041792590100000212
表示将/>
Figure FDA0004179259010000022
和/>
Figure FDA0004179259010000023
在长度维度上进行连接，/>
Figure FDA0004179259010000024
代表上一分段的隐藏状态，/>
Figure FDA0004179259010000025
代表当前分段的隐藏状态，/>
Figure FDA0004179259010000026
代表的就是扩展的上下文表示，对两个隐向量沿着长度方向进行拼接，拼接之后的维度为2L x d；
Figure FDA0004179259010000027
式中对应W计算注意力所需的q，k，v的转化矩阵，q用于查询当前位置，k用于提供相关标签，v用于提供相关位置的值，k，v计算使用扩展上下文的表示，长度为2L，k和v使用了包括上个序列信息的隐藏层，查询q只与当前序列相关；
Figure FDA0004179259010000028
为生成的基于内容的键向量，
Figure FDA0004179259010000029
分别为q，v的映射矩阵，T指的是矩阵的转置；
Figure FDA00041792590100000210
式中是计算qτ，i和Kτ，j在第τ段分段的注意力得分，其中四个部分的作用依次分别为j的内容相对于i的影响，i与j的距离对于i的影响，j的内容相对于整体的影响，i与j的距离对于整体的影响，
Figure FDA00041792590100000211
为生成的基于位置的键向量；
其中Ri-j的计算方式如下：
Figure FDA0004179259010000031
其中，k∈[0，1，…，d]，i-j∈[0，1，…，M+L-1]，a∈[0，d/2]，Ri-j仅在隐层传递中进行计算，初始化的时候并不进行计算；L为分段序列的长度，M为上述
Figure FDA0004179259010000032
的长度，u，v为可训练的参数；
Figure FDA0004179259010000033
上式是对注意力得分进行mask操作，将先通过softmax函数对注意力得分进行归一化，softmax函数如下：
Figure FDA0004179259010000034
其中，mask操作是将补全的部分标记出来，防止影响注意力的计算；
Figure FDA0004179259010000035
式中进行归一化操作，先对注意力分数进行残差层的计算，再加上n-1层隐层的结果，再进行LayerNorm计算得到结果；
其中，
Figure FDA0004179259010000036
u为x的均值，σ为方差，g和b为需要拟合的参数；
Figure FDA0004179259010000037
表示经历过两次线性变换和ReLU激活，公式为：
FFN(x)＝max(0，xW1+b1)W2+b2
式中W1、W2、b1、b2为可训练参数，最后经历一次线性变换和softmax操作，变换为每个汉字映射到标签的状态特征概率；
所述条件随机场输出转移概率矩阵，基于转移概率矩阵获取序列标签信息，基于序列标签信息建立损失函数包括：
设定标注的语料为：
Figure FDA0004179259010000038
xi表示原始语料中的汉字，yi表示标签；
Figure FDA0004179259010000041
Figure FDA0004179259010000042
为具有超长记忆的变压器网络的输出，/>
Figure FDA0004179259010000043
为状态特征概率，/>
Figure FDA0004179259010000044
为转移概率矩阵；
对于目标：学习出一组条件概率分布模型：
Figure FDA0004179259010000045
找到θ，使得
Figure FDA0004179259010000046
-∑ilog[P(xi|yi，θ)]为损失函数。
2.根据权利要求1所述的事件抽取方法，其特征在于，所述数据标注步骤之前还包括：
对原始语料进行清洗。
3.根据权利要求1所述的事件抽取方法，其特征在于，所述对句子中的要素以[标签-要素]的形式来进行标注具体为：
标签包括B-要素开始、M-要素内部、E-要素结尾和S-单个要素，句子中的其他部分标记为“O”。
4.根据权利要求1所述的事件抽取方法，其特征在于，利用测试集对事件抽取模型评估的评估指标包括F-score，F-score公式如下：
Figure FDA0004179259010000047
Figure FDA0004179259010000048
Figure FDA0004179259010000049
其中，TP：预测为正例，实际为正例；
FP：预测为正例，实际为负例；
FN：预测为负例，实际为正例。
5.根据权利要求1所述的事件抽取方法，其特征在于，训练集和测试集中增加不包含事件的语料。
6.一种事件抽取系统，其特征在于，包括：
语料获取单元，用于获取原始语料，以待抽取内容作为原始语料；
标注单元，用于数据标注，筛选包含事件的句子，对句子中的要素以[标签-要素]的形式来进行标注；
分配单元，用于数据集分配，将标注的语料划分为训练集和测试集；
预训练单元，用于预训练语言模型将训练集映射成向量，得到词嵌入向量；
神经网络单元，用于构建事件抽取模型，将词嵌入向量输入神经网络模型，神经网络模型输出序列标签信息，基于序列标签信息建立损失函数；
评估单元，用于利用测试集对事件抽取模型评估，若评估成绩低于预定目标，重复所述构建事件抽取模型步骤，若评估成绩达到预定目标，终止所述构建事件抽取模型步骤，得到事件抽取模型；
事件抽取单元，用于将新的原始语料输入至最佳模型，输出新的原始语料对应的序列标签信息，基于序列标签信息抽取出格式化的事件数据，得到事件抽取的结果；
所述神经网络模型包括具有超长记忆的变压器网络+条件随机场；
所述将词嵌入向量输入神经网络模型，神经网络模型输出序列标签信息，基于序列标签信息建立损失函数，具体包括：
将词嵌入向量输入具有超长记忆的变压器网络，具有超长记忆的变压器网络输出特征向量，基于特征向量获取状态特征概率，选取状态特征概率最大值对应的标签；
将状态特征概率最大值对应的标签输入条件随机场，条件随机场输出转移概率矩阵，基于转移概率矩阵获取序列标签信息，基于序列标签信息建立损失函数；
所述具有超长记忆的变压器网络包括：
hn τ＝RL*d为第τ段分段产生的第n层隐层，其中，h0 τ为初始化的词嵌入向量，L为分段的长度，d为隐层的维度，τ为分段的索引，定义如下具有N层的具有超长记忆的变压器网络的单个Attention Head(n＝1，...，N)，最后将所有Attention Head得到的结果进行拼接：
MultiHead＝Concat(head1，…headi…headh)W0
Concat是矩阵拼接函数；headi是第i个head的输出结果，h是head的个数；W0是输出的映射参数矩阵；
head计算过程：
Figure FDA0004179259010000061
式中SG表示停止计算梯度，
Figure FDA00041792590100000612
表示将/>
Figure FDA0004179259010000062
和/>
Figure FDA0004179259010000063
在长度维度上进行连接，/>
Figure FDA0004179259010000064
代表上一分段的隐藏状态，/>
Figure FDA0004179259010000065
代表当前分段的隐藏状态，/>
Figure FDA0004179259010000066
代表的就是扩展的上下文表示，对两个隐向量沿着长度方向进行拼接，拼接之后的维度为2L x d；
Figure FDA0004179259010000067
式中对应W计算注意力所需的q，k，v的转化矩阵，q用于查询当前位置，k用于提供相关标签，v用于提供相关位置的值，k，v计算使用扩展上下文的表示，长度为2L，k和v使用了包括上个序列信息的隐藏层，查询q只与当前序列相关；
Figure FDA0004179259010000068
为生成的基于内容的键向量，
Figure FDA0004179259010000069
分别为q，v的映射矩阵，T指的是矩阵的转置；/>
Figure FDA00041792590100000610
式中是计算qτ，i和Kτ，j在第τ段分段的注意力得分，其中四个部分的作用依次分别为j的内容相对于i的影响，i与j的距离对于i的影响，j的内容相对于整体的影响，i与j的距离对于整体的影响，
Figure FDA00041792590100000611
为生成的基于位置的键向量；
其中Ri-j的计算方式如下：
Figure FDA0004179259010000071
其中，k∈[0，1，…，d]，i-j∈[0，1，…，M+L-1]，a∈[0，d/2]，Ri-j仅在隐层传递中进行计算，初始化的时候并不进行计算；L为分段序列的长度，M为上述
Figure FDA0004179259010000072
的长度，u，v为可训练的参数；
Figure FDA0004179259010000073
上式是对注意力得分进行mask操作，将先通过softmax函数对注意力得分进行归一化，softmax函数如下：
Figure FDA0004179259010000074
其中，mask操作是将补全的部分标记出来，防止影响注意力的计算；
Figure FDA0004179259010000075
式中进行归一化操作，先对注意力分数进行残差层的计算，再加上n-1层隐层的结果，再进行LayerNorm计算得到结果；
其中，
Figure FDA0004179259010000076
u为x的均值，σ为方差，g和b为需要拟合的参数；
Figure FDA0004179259010000077
表示经历过两次线性变换和ReLU激活，公式为：
FFN(x)＝max(0，xW1+b1)W2+b2
式中W1、W2、b1、b2为可训练参数，最后经历一次线性变换和softmax操作，变换为每个汉字映射到标签的状态特征概率；
所述条件随机场输出转移概率矩阵，基于转移概率矩阵获取序列标签信息，基于序列标签信息建立损失函数包括：
设定标注的语料为：
Figure FDA0004179259010000078
/>
xi表示原始语料中的汉字，yi表示标签；
Figure FDA0004179259010000081
Figure FDA0004179259010000086
为具有超长记忆的变压器网络的输出，/>
Figure FDA0004179259010000082
为状态特征概率，/>
Figure FDA0004179259010000083
为转移概率矩阵；
对于目标：学习出一组条件概率分布模型：
Figure FDA0004179259010000084
找到θ，使得
Figure FDA0004179259010000085
-∑ilog[P(xi|yi，θ)]为损失函数。
CN202010551486.3A 2020-06-17 2020-06-17 一种事件抽取方法和系统 Active CN111694924B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010551486.3A CN111694924B (zh) 2020-06-17 2020-06-17 一种事件抽取方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010551486.3A CN111694924B (zh) 2020-06-17 2020-06-17 一种事件抽取方法和系统

Publications (2)

Publication Number Publication Date
CN111694924A CN111694924A (zh) 2020-09-22
CN111694924B true CN111694924B (zh) 2023-05-26

Family

ID=72481356

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010551486.3A Active CN111694924B (zh) 2020-06-17 2020-06-17 一种事件抽取方法和系统

Country Status (1)

Country Link
CN (1) CN111694924B (zh)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112163089B (zh) * 2020-09-24 2023-06-23 中国电子科技集团公司第十五研究所 一种融合命名实体识别的高技术文本分类方法及系统
CN112131351B (zh) * 2020-10-10 2024-03-15 华东理工大学 一种基于多答案损失函数的片段信息抽取模型训练方法
CN112307761A (zh) * 2020-11-19 2021-02-02 新华智云科技有限公司 基于注意力机制的事件抽取方法及系统
CN112434535B (zh) * 2020-11-24 2023-05-02 上海浦东发展银行股份有限公司 基于多模型的要素抽取方法、装置、设备及存储介质
CN112612871B (zh) * 2020-12-17 2023-09-15 浙江大学 一种基于序列生成模型的多事件检测方法
CN112561038A (zh) * 2020-12-21 2021-03-26 之江实验室 一种批数据集构建方法、装置、电子设备及存储介质
CN112507705B (zh) * 2020-12-21 2023-11-14 北京百度网讯科技有限公司 一种位置编码的生成方法、装置及电子设备
CN112632978A (zh) * 2020-12-23 2021-04-09 国网安徽省电力有限公司检修分公司 基于端到端的变电站多元事件关系抽取的方法
CN112686040B (zh) * 2020-12-31 2022-08-23 北京理工大学 一种基于图循环神经网络的事件事实性检测方法
CN113761337B (zh) * 2020-12-31 2023-10-27 国家计算机网络与信息安全管理中心 基于事件隐式要素与显式联系的事件预测方法和装置
CN113076718B (zh) * 2021-04-09 2022-03-11 苏州爱语认知智能科技有限公司 一种商品属性抽取方法及其系统
CN113326371B (zh) * 2021-04-30 2023-12-29 南京大学 一种融合预训练语言模型与抗噪声干扰远程监督信息的事件抽取方法
CN112966115B (zh) * 2021-05-18 2021-08-06 东南大学 基于记忆损失预测和延迟训练的主动学习事件抽取方法
CN113282750A (zh) * 2021-05-27 2021-08-20 成都数之联科技有限公司 模型训练方法及系统及装置及介质
CN113449528B (zh) * 2021-08-30 2021-11-30 企查查科技有限公司 一种地址要素提取方法、装置、计算机设备和存储介质
CN114036823B (zh) * 2021-10-26 2024-05-10 天津大学 基于编解码和记忆机制的电力变压器负载控制方法及装置
CN114398891B (zh) * 2022-03-24 2022-06-24 三峡智控科技有限公司 基于日志关键词生成kpi曲线并标记波段特征的方法
CN114528409A (zh) * 2022-04-18 2022-05-24 北京北大软件工程股份有限公司 一种对信访件要素信息的抽取结果评价的方法及装置
CN115587594B (zh) * 2022-09-20 2023-06-30 广东财经大学 网络安全的非结构化文本数据抽取模型训练方法及系统
CN115860002B (zh) * 2022-12-27 2024-04-05 中国人民解放军国防科技大学 一种基于事件抽取的作战任务生成方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109635280A (zh) * 2018-11-22 2019-04-16 园宝科技(武汉)有限公司 一种基于标注的事件抽取方法
CN110188172A (zh) * 2019-05-31 2019-08-30 清华大学 基于文本的事件检测方法、装置、计算机设备及存储介质
WO2020001373A1 (zh) * 2018-06-26 2020-01-02 杭州海康威视数字技术股份有限公司 一种本体构建方法及装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020001373A1 (zh) * 2018-06-26 2020-01-02 杭州海康威视数字技术股份有限公司 一种本体构建方法及装置
CN109635280A (zh) * 2018-11-22 2019-04-16 园宝科技(武汉)有限公司 一种基于标注的事件抽取方法
CN110188172A (zh) * 2019-05-31 2019-08-30 清华大学 基于文本的事件检测方法、装置、计算机设备及存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
彭楚越 ; .基于神经网络方法的事件抽取研究.现代计算机.2020,(06),全文. *
陈平 ; 匡尧 ; 陈婧 ; .基于BERT-wwm-ext多特征文本表示的经济事件主体抽取方法研究.武汉电力职业技术学院学报.2020,(02),全文. *

Also Published As

Publication number Publication date
CN111694924A (zh) 2020-09-22

Similar Documents

Publication Publication Date Title
CN111694924B (zh) 一种事件抽取方法和系统
CN108984724B (zh) 利用高维表示提高特定属性情感分类准确率方法
CN110263325B (zh) 中文分词系统
CN111552807A (zh) 一种短文本多标签分类方法
CN110807324A (zh) 一种基于IDCNN-crf与知识图谱的影视实体识别方法
CN114896388A (zh) 一种基于混合注意力的层级多标签文本分类方法
CN112306494A (zh) 一种基于卷积和循环神经网络的代码分类及聚类方法
CN111723569A (zh) 一种事件抽取方法、装置和计算机可读存储介质
CN110019795B (zh) 敏感词检测模型的训练方法和系统
CN112966525B (zh) 一种基于预训练模型和卷积神经网络算法的法律领域事件抽取方法
CN116416480B (zh) 一种基于多模板提示学习的视觉分类方法和装置
CN116151132A (zh) 一种编程学习场景的智能代码补全方法、系统及储存介质
CN116150361A (zh) 一种财务报表附注的事件抽取方法、系统及存储介质
CN115878778A (zh) 面向业务领域的自然语言理解方法
CN115329120A (zh) 一种知识图谱嵌入注意力机制的弱标注哈希图像检索架构
CN113590827B (zh) 一种基于多角度的科研项目文本分类装置和方法
CN111145914A (zh) 一种确定肺癌临床病种库文本实体的方法及装置
CN114048314A (zh) 一种自然语言隐写分析方法
CN117390189A (zh) 基于前置分类器的中立文本生成方法
CN115186670B (zh) 一种基于主动学习的领域命名实体识别方法及系统
CN111666375A (zh) 文本相似度的匹配方法、电子设备和计算机可读介质
CN114925197B (zh) 基于主题注意力的深度学习文本分类模型训练方法
CN116226357A (zh) 一种输入中包含错误信息场景下的文档检索方法
CN116302953A (zh) 一种基于增强嵌入向量语义表示的软件缺陷定位方法
CN115688789A (zh) 一种基于动态标签的实体关系抽取模型训练方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant