CN111859903A - 事件同指模型训练方法、事件同指消解方法 - Google Patents
事件同指模型训练方法、事件同指消解方法 Download PDFInfo
- Publication number
- CN111859903A CN111859903A CN202010748736.2A CN202010748736A CN111859903A CN 111859903 A CN111859903 A CN 111859903A CN 202010748736 A CN202010748736 A CN 202010748736A CN 111859903 A CN111859903 A CN 111859903A
- Authority
- CN
- China
- Prior art keywords
- event
- corpus
- model
- training
- labeled
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 80
- 238000012549 training Methods 0.000 title claims abstract description 53
- 238000002372 labelling Methods 0.000 claims abstract description 11
- 230000006870 function Effects 0.000 claims description 29
- 238000004590 computer program Methods 0.000 claims description 9
- 238000012545 processing Methods 0.000 claims description 7
- 230000003190 augmentative effect Effects 0.000 claims description 4
- 230000008859 change Effects 0.000 claims description 3
- 230000007423 decrease Effects 0.000 claims description 3
- 230000002708 enhancing effect Effects 0.000 abstract 1
- 230000009471 action Effects 0.000 description 12
- 230000008569 process Effects 0.000 description 6
- 230000002787 reinforcement Effects 0.000 description 6
- 238000007619 statistical method Methods 0.000 description 5
- 238000012360 testing method Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000003993 interaction Effects 0.000 description 3
- 238000010295 mobile communication Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 239000003795 chemical substances by application Substances 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 239000013604 expression vector Substances 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000003058 natural language processing Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/205—Parsing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- General Engineering & Computer Science (AREA)
- Biomedical Technology (AREA)
- Evolutionary Computation (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Data Mining & Analysis (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Machine Translation (AREA)
Abstract
事件同指模型训练方法、事件同指消解方法。本发明公开一种事件同指模型训练方法，包括：采用初始有标注语料集对待训练事件同指模型进行初始训练，得到基准模型；采用所述基准模型对无标注语料集中的语料进行自动化标注得到扩增有标注语料集；采用所述初始有标注语料集和所述扩增有标注语料集对所述基准模型进行训练以完成对所述事件同指模型的训练。本发明使用基于初始有标注语料集训练好的基准模型在无标注语料集上进行自动化的标注，这解决了有标注语料数据少的问题，再次训练时可以使模型的泛化能力更强。
Description
技术领域
本发明涉及人工智能技术领域，尤其涉及一种事件同指模型训练方法、事件同指消解方法。
背景技术
信息时代使人们方便获取各种有用信息，同时也带来了大量信息垃圾与噪声，如何从海量数据中寻早有价值的信息，成为了目前亟待解决的任务。作为信息处理的组成部分，自然语言处理(NLP)正式解决上述问题的最有效技术之一，其中，信息检索、信息抽取等领域更是受到了广泛关注。事件同指消解是信息抽取的子任务，并得到了高度重视。
目前的事件同指消解主要有以下方法：
多标注方法：使用多种有标注的特征的方法是人为的对每个句子标注语言学特征，如事件类型，句子的时态，句子的极性等。以便于发现同指的事件。
基于有限语料的统计的方法：使用有限语料的统计的方法是对事件使用词嵌入，卷积神经网络等方法进行建模，并基于语料数据发现同指事件之间的特征，并进行消解。
基于半监督学习的方法：基于半监督学习的方法是在使用有限的标注数据进行学习，并在大量无监督语料中使用该方法进行标注，在得到大量的有标注数据再次使用统计方法以提升性能。
但是这些方法各自存在着各自的问题：使用有标注特征的方法需要人为的发现事件的特征，并进行标注。需要消耗大量的资源，并且很难运用在实际场景中。使用有限语料的统计方法只能在标注好的语料中进行，如果语料数据少，很难提升统计方法的性能。通常标注语料只有该任务类型的标签，使得语料中的数据不能很好地利用。基于半监督学习的方法容易受到少量数据的干扰，使模型产生错误的先验知识，使模型效果降低。此外，在无监督语料中进行错误的标注也会使降低该方法的效果。
发明内容
本发明实施例提供一种事件同指模型训练方法、事件同指消解方法，用于至少解决上述技术问题之一。
第一方面，本发明实施例提供一种事件同指模型训练方法，包括：
采用初始有标注语料集对待训练事件同指模型进行初始训练，得到基准模型；
采用所述基准模型对无标注语料集中的语料进行自动化标注得到扩增有标注语料集；
采用所述初始有标注语料集和所述扩增有标注语料集对所述基准模型进行训练以完成对所述事件同指模型的训练。
第二方面，本发明实施例提供一种事件同指消解方法，包括：采用本发明任一实施例所述的事件同指模型训练方法训练得到的事件同指模型对待处理文本进行处理。
第三方面，本发明实施例提供一种存储介质，所述存储介质中存储有一个或多个包括执行指令的程序，所述执行指令能够被电子设备(包括但不限于计算机，服务器，或者网络设备等)读取并执行，以用于执行本发明上述任一项事件同指消解方法。
第四方面，提供一种电子设备，其包括：至少一个处理器，以及与所述至少一个处理器通信连接的存储器，其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本发明上述任一项事件同指消解方法。
第五方面，本发明实施例还提供一种计算机程序产品，所述计算机程序产品包括存储在存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，使所述计算机执行上述任一项事件同指消解方法。
本发明实施例的有益效果在于：使用基于初始有标注语料集训练好的基准模型在无标注语料集上进行自动化的标注，这解决了有标注语料数据少的问题，再次训练时可以使模型的泛化能力更强。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明的事件同指模型训练方法的一实施例的流程图；
图2为本发明的事件同指模型训练方法的另一实施例的流程图；
图3为本发明的事件同指模型训练方法的一实施例的示意图；
图4为本发明的电子设备的一实施例的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
本发明可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、元件、数据结构等等。也可以在分布式计算环境中实践本发明，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
在本发明中，“模块”、“装置”、“系统”等指应用于计算机的相关实体，如硬件、硬件和软件的组合、软件或执行中的软件等。详细地说，例如，元件可以、但不限于是运行于处理器的过程、处理器、对象、可执行元件、执行线程、程序和/或计算机。还有，运行于服务器上的应用程序或脚本程序、服务器都可以是元件。一个或多个元件可在执行的过程和/或线程中，并且元件可以在一台计算机上本地化和/或分布在两台或多台计算机之间，并可以由各种计算机可读介质运行。元件还可以根据具有一个或多个数据包的信号，例如，来自一个与本地系统、分布式系统中另一元件交互的，和/或在因特网的网络通过信号与其它系统交互的数据的信号通过本地和/或远程过程来进行通信。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”，不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
如图1所示，本发明的实施例提供一种事件同指模型训练方法，包括：
S10、采用初始有标注语料集对待训练事件同指模型进行初始训练，得到基准模型。
示例性地，初始有标注语料集为有限的语料训练集。利用有限的语料训练一个事件同指模型(即，基准模型)。该模型可被视为一种相似度匹配模型。由于同指事件通常具有较高的相似度，该相似度模型可以在文档中发现相互同指的事件。示例性地，基准模型采用BILSTM网络模型。
S20、采用所述基准模型对无标注语料集中的语料进行自动化标注得到扩增有标注语料集。
示例性地，无标注语料集可以是大规模无监督语料。使用训练好的事件同指模型在大规模无监督语料上进行自动化的标注，这解决了语料数据少的问题，再次训练时可以使模型的泛化能力更强。
S30、采用所述初始有标注语料集和所述扩增有标注语料集对所述基准模型进行训练以完成对所述事件同指模型的训练。
示例性地，合并所述增强有标注语料集和所述初始有标注语料集得到新的有标注语料集；采用所述新的有标注语料集对所述基准模型进行训练以完成对所述事件同指模型的训练。
如图2所示，为本发明的事件同指模型训练方法的另一实施例的流程图。该实施例中，所述采用所述基准模型对无标注语料集中的语料进行自动化标注得到扩增有标注语料集包括：
S21、将无标注语料集中的语料输入至所述基准模型进行事件对自动化标注，以得到多对候选事件对；
S22、将所述候选事件对输入至预设策略网络；示例性地，预设策略网络采用全连接网络层。
S23、预设策略网络根据对应于所述候选事件对的损失函数的变化确定是否将所述候选事件对加入扩增有标注语料集。
示例性地，当对应于所述候选事件对的损失函数的损失值减小时，将所述候选事件对加入扩增有标注语料集。当对应于所述候选事件对的损失函数的损失值增大时，放弃所述候选事件对。
示例性地，所述损失函数包括对应于所述初始有标注语料集的第一损失函数和对应于所述多对候选事件对构成的候选语料集的第二损失函数。
所述损失函数通过以下公式实现：
其中，G表示初始有标注语料集，D表示候选语料集，xi表示初始有标注语料集中的有标注样本特征，y表示有标注样本标签，xj′表示候选语料集中的候选样本特征，y′表示候选样本标签。
在本实施例中使用预设策略网络进行强化学习挑选高质量语料。由于自动标注会产生错误，使语料的质量下降，因此我们需要筛选语料数据。强化学习具有可以多次模拟的特点，比较适合用于样本的筛选。最后使用高质量的语料重新训练事件同指相似度模型，由于有了更多的高质量数据，模型的性能会进一步加强。
如图3所示，为本发明中的事件同指模型训练方法的一实施例的示意图。其中，无标注事件对首先进入基准系统中进行预标注，并根据基准系统中的损失函数值作为样本的奖励值，建立候选事件对，输入到策略网络中，策略网络根据奖励值决定是否将样本放入训练集中，并更新奖励值。具体步骤如下。
步骤一：使用样本量较小的标注数据集训练基准模型,基准模型是由BILSTM结构组成的孪生网络；
步骤二：使用远程监督的方法利用基准模型在大规模未标注语料中抽取事件实例对并标注事件对的同指关系，得到远程监督数据集；
步骤三：使用强化学习方法过滤掉远程监督数据集中的低质量样本，其中策略网络是由一层全连接网络组成的动作选取网络。例如，如果选入该样本后导致网络的损失函数发散，则认为此样本是低质量样本，不放入训练集中。
步骤四：将过滤后的远程监督数据集和标注数据集结合，得到更大规模的标注数据集，并再次使用基准模型在此标注数据集上重新训练。
(1)基于强化学习的事件同指消解模型的训练过程。
强化学习机制主要由状态表示，奖励值和动作三个部分组成。
状态表示：状态表示使用的是经过有监督的数据集预训练后的基准模型的事件对同指表示向量。基准模型的同指表示向量提取了事件对的同指特征，可以作为一种判断样本是否分类正确的重要依据。
奖励值：奖励值来自于模型中智能体(策略网络)和环境(样本的状态表示和奖励值)互动后得到的反馈，可以看作监督学习中的标签。策略网络选取了错误标签的样本后会使损失值增加，从而导致奖励值下降，反之亦然。智能体根据与环境互动得到的反馈不断调节基准模型的参数。本发明的奖励值由函数r产生，如式(1)所示，它可以看作训练集的损失函数。损失函数分别由有限语料训练集的损失函数和远程监督语料训练集的损失函数构成，有限语料训练集的损失函数可以引导远程监督语料训练集，防止远程监督语料的损失发生偏离。若选择的远程监督的样本分类正确，奖励值将增加，训练集的损失也将会收敛，使基准模型更好地拟合数据。
损失函数通过以下公式实现：
其中，G表示初始有标注语料集，D表示候选语料集，xi表示初始有标注语料集中的有标注样本特征，y表示有标注样本标签，xj′表示候选语料集中的候选样本特征，y′表示候选样本标签。
动作：本发明的动作代表是否选择某个样本加入训练集。动作的选取根据策略网络的取样值来进行，根据预训练模型中得到的观察值，选取不同的样本会得到不同的奖励值。本发明的策略网络是一个全连接层网络，通过输入状态表示向量进行采样，如公式(2)所示，si代表样本的状态表示，αi代表动作取值，一般是0和1，W和b是网络的权重：
action(si，αi)＝αiσ(WS+b)+(1-αi)(1-σ(WS+b)) (2)
这是动作网络的运行公式，奖励值和动作的联系是根据一个损失函数运行的，该损失函数可以使用现有技术中的任意相关损失函数实现，本发明对此不作限定。
(2)为证明本发明的方法训练得到的事件同指模型的性能，进行了相关实验，实验结果如下：
测试集：53000多条由人工标注的句子。
我们将训练后模型在KBP2015，KBP2016，KBP2017三种测试集上进行了测试，并与以往最优的方法进行了比较，测试结果见表1：
表1强化学习事件同指模型在测试集上的测试结果
由表1可知，我们使用了MUC，BLANC，CEAFe与B3四种指标来验证本文提出的方法的性能。其中，MUC是基于事件链的指标，B3是基于事件的指标，弥补了MUC忽略非同指事件的评测的不足。CEAFe与B3类似，但加入了实体用于评测事件同指消解的性能，BLANC评测了非同指事件和同指事件之间的平均性能。四种指标的综合评测可以全面地反映模型在事件同指消解中的性能。
本发明还提供一种事件同指消解方法，包括：采用本发明任一实施例所述的事件同指模型训练方法训练得到的事件同指模型对待处理文本进行处理。
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作合并，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本发明所必须的。在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在一些实施例中，本发明实施例提供一种非易失性计算机可读存储介质，所述存储介质中存储有一个或多个包括执行指令的程序，所述执行指令能够被电子设备(包括但不限于计算机，服务器，或者网络设备等)读取并执行，以用于执行本发明上述任一项事件同指消解方法。
在一些实施例中，本发明实施例还提供一种计算机程序产品，所述计算机程序产品包括存储在非易失性计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，使所述计算机执行上述任一项事件同指消解方法。
在一些实施例中，本发明实施例还提供一种电子设备，其包括：至少一个处理器，以及与所述至少一个处理器通信连接的存储器，其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行事件同指消解方法。
在一些实施例中，本发明实施例还提供一种存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现事件同指消解方法。
图4是本申请另一实施例提供的执行事件同指消解方法的电子设备的硬件结构示意图，如图4所示，该设备包括：
一个或多个处理器410以及存储器420，图4中以一个处理器410为例。
执行事件同指消解方法的设备还可以包括：输入装置430和输出装置440。
处理器410、存储器420、输入装置430和输出装置440可以通过总线或者其他方式连接，图4中以通过总线连接为例。
存储器420作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块，如本申请实施例中的事件同指消解方法对应的程序指令/模块。处理器410通过运行存储在存储器420中的非易失性软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例事件同指消解方法。
存储器420可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据事件同指消解装置的使用所创建的数据等。此外，存储器420可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施例中，存储器420可选包括相对于处理器410远程设置的存储器，这些远程存储器可以通过网络连接至事件同指消解装置。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置430可接收输入的数字或字符信息，以及产生与事件同指消解装置的用户设置以及功能控制有关的信号。输出装置440可包括显示屏等显示设备。
所述一个或者多个模块存储在所述存储器420中，当被所述一个或者多个处理器410执行时，执行上述任意方法实施例中的事件同指消解方法。
上述产品可执行本申请实施例所提供的方法，具备执行方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节，可参见本申请实施例所提供的方法。
本申请实施例的电子设备以多种形式存在，包括但不限于:
(1)移动通信设备:这类设备的特点是具备移动通信功能，并且以提供话音、数据通信为主要目标。这类终端包括:智能手机(例如iPhone)、多媒体手机、功能性手机，以及低端手机等。
(2)超移动个人计算机设备:这类设备属于个人计算机的范畴，有计算和处理功能，一般也具备移动上网特性。这类终端包括:PDA、MID和UMPC设备等，例如iPad。
(3)便携式娱乐设备:这类设备可以显示和播放多媒体内容。该类设备包括:音频、视频播放器(例如iPod)，掌上游戏机，电子书，以及智能玩具和便携式车载导航设备。
(4)服务器:提供计算服务的设备，服务器的构成包括处理器、硬盘、内存、系统总线等，服务器和通用的计算机架构类似，但是由于需要提供高可靠的服务，因此在处理能力、稳定性、可靠性、安全性、可扩展性、可管理性等方面要求较高。
(5)其他具有数据交互功能的电子装置。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。
Claims (10)
1.一种事件同指模型训练方法，包括：
采用初始有标注语料集对待训练事件同指模型进行初始训练，得到基准模型；
采用所述基准模型对无标注语料集中的语料进行自动化标注得到扩增有标注语料集；
采用所述初始有标注语料集和所述扩增有标注语料集对所述基准模型进行训练以完成对所述事件同指模型的训练。
2.根据权利要求1所述的方法，其中，所述采用所述基准模型对无标注语料集中的语料进行自动化标注得到扩增有标注语料集包括：
将无标注语料集中的语料输入至所述基准模型进行事件对自动化标注，以得到多对候选事件对；
将所述候选事件对输入至预设策略网络；
所述预设策略网络根据对应于所述候选事件对的损失函数的变化确定是否将所述候选事件对加入扩增有标注语料集。
3.根据权利要求2所述的方法，其中，所述预设策略网络根据对应于所述候选事件对的损失函数的变化确定是否将所述候选事件对加入扩增有标注语料集包括：
当对应于所述候选事件对的损失函数的损失值减小时，将所述候选事件对加入扩增有标注语料集。
4.根据权利要求2所述的方法，其中，所述损失函数包括对应于所述初始有标注语料集的第一损失函数和对应于所述多对候选事件对构成的候选语料集的第二损失函数。
5.根据权利要求4所述的方法，其中，所述损失函数通过以下公式实现：
其中，G表示初始有标注语料集，D表示候选语料集，xi表示初始有标注语料集中的有标注样本特征，y表示有标注样本标签，xj′表示候选语料集中的候选样本特征，y′表示候选样本标签。
6.根据权利要求1所述的方法，其中，所述采用所述初始有标注语料集和所述扩增有标注语料集对所述基准模型进行训练以完成对所述事件同指模型的训练包括：
合并所述增强有标注语料集和所述初始有标注语料集得到新的有标注语料集；
采用所述新的有标注语料集对所述基准模型进行训练以完成对所述事件同指模型的训练。
7.根据权利要求2-6中任一项所述的方法，其中，所述基准模型采用BILSTM网络模型，所述预设策略网络采用全连接网络层。
8.一种事件同指消解方法，包括：采用权利要求1-7中任一项所述的事件同指模型训练方法训练得到的事件同指模型对待处理文本进行处理。
9.一种电子设备，其包括：至少一个处理器，以及与所述至少一个处理器通信连接的存储器，其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-8中任意一项所述方法的步骤。
10.一种存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1-8中任意一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010748736.2A CN111859903B (zh) | 2020-07-30 | 2020-07-30 | 事件同指模型训练方法、事件同指消解方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010748736.2A CN111859903B (zh) | 2020-07-30 | 2020-07-30 | 事件同指模型训练方法、事件同指消解方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111859903A true CN111859903A (zh) | 2020-10-30 |
| CN111859903B CN111859903B (zh) | 2024-01-12 |
Family
ID=72946345
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010748736.2A Active CN111859903B (zh) | 2020-07-30 | 2020-07-30 | 事件同指模型训练方法、事件同指消解方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111859903B (zh) |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106021229A (zh) * | 2016-05-19 | 2016-10-12 | 苏州大学 | 一种中文事件同指消解方法和系统 |
| CN106897364A (zh) * | 2017-01-12 | 2017-06-27 | 上海大学 | 基于事件的中文指代语料库构建方法 |
| CN107679041A (zh) * | 2017-10-20 | 2018-02-09 | 苏州大学 | 基于卷积神经网络的英文事件同指消解方法及系统 |
| CN109359184A (zh) * | 2018-10-16 | 2019-02-19 | 苏州大学 | 英文事件同指消解方法和系统 |
| US20190068671A1 (en) * | 2017-08-28 | 2019-02-28 | Banjo, Inc. | Detecting events from ingested communication signals |
| CN109635280A (zh) * | 2018-11-22 | 2019-04-16 | 园宝科技(武汉)有限公司 | 一种基于标注的事件抽取方法 |
| CN110298391A (zh) * | 2019-06-12 | 2019-10-01 | 同济大学 | 一种基于小样本的迭代式增量对话意图类别识别方法 |
| WO2020001373A1 (zh) * | 2018-06-26 | 2020-01-02 | 杭州海康威视数字技术股份有限公司 | 一种本体构建方法及装置 |
-
2020
- 2020-07-30 CN CN202010748736.2A patent/CN111859903B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106021229A (zh) * | 2016-05-19 | 2016-10-12 | 苏州大学 | 一种中文事件同指消解方法和系统 |
| CN106897364A (zh) * | 2017-01-12 | 2017-06-27 | 上海大学 | 基于事件的中文指代语料库构建方法 |
| US20190068671A1 (en) * | 2017-08-28 | 2019-02-28 | Banjo, Inc. | Detecting events from ingested communication signals |
| CN107679041A (zh) * | 2017-10-20 | 2018-02-09 | 苏州大学 | 基于卷积神经网络的英文事件同指消解方法及系统 |
| WO2020001373A1 (zh) * | 2018-06-26 | 2020-01-02 | 杭州海康威视数字技术股份有限公司 | 一种本体构建方法及装置 |
| CN109359184A (zh) * | 2018-10-16 | 2019-02-19 | 苏州大学 | 英文事件同指消解方法和系统 |
| CN109635280A (zh) * | 2018-11-22 | 2019-04-16 | 园宝科技(武汉)有限公司 | 一种基于标注的事件抽取方法 |
| CN110298391A (zh) * | 2019-06-12 | 2019-10-01 | 同济大学 | 一种基于小样本的迭代式增量对话意图类别识别方法 |
Non-Patent Citations (4)
| Title |
|---|
| JACOB KAHN ET AL: "《SELF-TRAINING FOR END-TO-END SPEECH RECOGNITION》", 《ICASSP 2020》, pages 2 - 3 * |
| JUN FENG，ET AL: "《Reinforcement Learning for Relation Classification from Noisy Data》", 《ARXIV:1808.08013V1》 * |
| 方杰等: "《一种面向生文本的事件同指消解神经网络方法》", 《中文信息学报》, vol. 33, no. 9 * |
| 王淑媛: "《基于深度学习的事件共指消解研究》", 《中国优秀硕士学位论文全文数据库 信息科技辑》, pages 1 - 5 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111859903B (zh) | 2024-01-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Englesson et al. | Generalized jensen-shannon divergence loss for learning with noisy labels | |
| CN110717339B (zh) | 语义表示模型的处理方法、装置、电子设备及存储介质 | |
| Zhang et al. | Reasoning about goals, steps, and temporal ordering with WikiHow | |
| CN111753076B (zh) | 对话方法、装置、电子设备及可读存储介质 | |
| CN110402445B (zh) | 使用递归神经网络浏览序列数据的方法和系统 | |
| CN111382231B (zh) | 意图识别系统及方法 | |
| CN111782787B (zh) | 问题生成模型训练方法、问题生成方法 | |
| CN111275133A (zh) | 分类模型的融合方法、装置及存储介质 | |
| CN107832300A (zh) | 面向微创医疗领域文本摘要生成方法及装置 | |
| Zhou et al. | ICRC-HIT: A deep learning based comment sequence labeling system for answer selection challenge | |
| CN110705255A (zh) | 检测语句之间的关联关系的方法和装置 | |
| Aralikatte et al. | Fault in your stars: an analysis of android app reviews | |
| CN111563158A (zh) | 文本排序方法、排序装置、服务器和计算机可读存储介质 | |
| CN114254127A (zh) | 学生能力画像方法、学习资源推荐方法及装置 | |
| CN112069781A (zh) | 一种评语生成方法、装置、终端设备及存储介质 | |
| CN114662676A (zh) | 模型优化方法、装置、电子设备和计算机可读存储介质 | |
| CN110852071A (zh) | 知识点检测方法、装置、设备及可读存储介质 | |
| CN113010785B (zh) | 用户推荐方法及设备 | |
| CN116861913A (zh) | 基于gpt大模型的立场检测方法及相关设备 | |
| Cheng et al. | AnthroScore: A Computational Linguistic Measure of Anthropomorphism | |
| CN111859903B (zh) | 事件同指模型训练方法、事件同指消解方法 | |
| CN114626529B (zh) | 一种自然语言推理微调方法、系统、装置及存储介质 | |
| CN115713082A (zh) | 一种命名实体识别方法、装置、设备及存储介质 | |
| CN112182179B (zh) | 实体问答处理方法、装置、电子设备和存储介质 | |
| CN111723185B (zh) | 问题生成方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information |
Address after: 215123 building 14, Tengfei Innovation Park, 388 Xinping street, Suzhou Industrial Park, Suzhou City, Jiangsu Province Applicant after: Sipic Technology Co.,Ltd. Address before: 215123 building 14, Tengfei Innovation Park, 388 Xinping street, Suzhou Industrial Park, Suzhou City, Jiangsu Province Applicant before: AI SPEECH Co.,Ltd. |
|
| CB02 | Change of applicant information | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |