CN109739982A - 事件检测方法 - Google Patents
事件检测方法 Download PDFInfo
- Publication number
- CN109739982A CN109739982A CN201811563503.4A CN201811563503A CN109739982A CN 109739982 A CN109739982 A CN 109739982A CN 201811563503 A CN201811563503 A CN 201811563503A CN 109739982 A CN109739982 A CN 109739982A
- Authority
- CN
- China
- Prior art keywords
- negative
- positive
- event detection
- example samples
- evaluation index
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 20
- 238000001514 detection method Methods 0.000 claims abstract description 54
- 238000011156 evaluation Methods 0.000 claims abstract description 44
- 238000004364 calculation method Methods 0.000 claims description 11
- 230000006870 function Effects 0.000 description 8
- 208000027418 Wounds and injury Diseases 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 5
- 230000006378 damage Effects 0.000 description 5
- 208000014674 injury Diseases 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 238000000605 extraction Methods 0.000 description 3
- 238000005457 optimization Methods 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供一种事件检测方法。所述方法包括：使用F值评价指标对正确预测的正例样本数量和正确预测的负例样本数量求偏导数，以计算所述F值评价指标对正例样本和负例样本的边际效用；计算负例样本在事件检测模型训练中的权重以对负例样本在事件检测模型训练中的权重进行缩放处理直至事件检测模型收敛。本发明通过动态缩放负例样本的训练权重，能够解决现有事件检测模型中的类别不平等问题，且不需要引入任何额外的模型参数。
Description
技术领域
本发明涉及自然语言处理技术领域，尤其涉及一种事件检测方法。
背景技术
事件抽取是信息抽取中的一个关键任务，事件检测则是事件抽取中的一个关键步骤。事件检测的目标是从给定的文本中识别出特定事件类别的触发词。例如，给定句子“亨利受伤了”，一个事件检测系统应当能够识别出“受伤”是一个“伤害”类别事件的触发词。
现有的神经网络模型通常将事件检测转化为一个词级别的分类问题，例如，在句子中“亨利受伤了”中，一个事件检测系统通过将上述句子中的三个词分别分类为“空”，“伤害事件”以及“空”，从而完成事件检测任务。这类的模型对先验信息的依赖较小，并且已经在事件检测领域取得了较大的进展。
在实现本发明的过程中，发明人发现现有技术中至少存在如下技术问题：
现有的事件检测方法存在着显著的类别不平等问题，这种类别不平等主要体现在数据分布以及使用的评价指标上，具体来说，在数据分布上，被标记为“空”的样本数量显著性地多于被标记为特定类别事件样本的样本数量，在评价指标上，通常使用在事件类别上的F值作为评价标准，而这种评价标准中对于“空”类别上的正确预测结果常常被忽略。由此可见，由于上述的类别不平等问题的存在，使得现有的事件检测模型无法得到良好结果。
发明内容
本发明提供的事件检测方法，通过动态缩放负例样本的训练权重，能够解决现有事件检测模型中的类别不平等问题，且不需要引入任何额外的模型参数。
第一方面，本发明提供一种事件检测方法，包括：
使用F值评价指标对正确预测的正例样本数量和正确预测的负例样本数量求偏导数，以计算所述F值评价指标对正例样本和负例样本的边际效用；
计算负例样本在事件检测模型训练中的权重以对负例样本在事件检测模型训练中的权重进行缩放处理直至事件检测模型收敛。
可选地，所述使用F值评价指标对正确预测的正例样本数量和正确预测的负例样本数量求偏导数，以计算所述F值评价指标对正例样本和负例样本的边际效用通过以下计算公式实现：
其中，和分别是所述F值评价指标对正例样本的边际效用和所述F值评价指标对负例样本的边际效用，分别用于表示正例样本和负例样本对所述F值评价指标的相对重要性，β是所述F值评价指标中用于平衡准确率与召回率的参数，P和N分别表示训练数据中的正例样本总数量和负例样本总数量，TP和TN分别表示正确预测的正例样本数量和正确预测的负例样本数量，PE表示一个正例样本类别与另一个正例样本类别之间的预测错误。
可选地，所述计算负例样本在事件检测模型训练中的权重以对负例样本在事件检测模型训练中的权重进行缩放处理直至事件检测模型收敛包括：
将负例样本的相对重要性与正例样本的相对重要性的比值作为负例样本在模型训练中的权重ωβ(θ)，其中，所述负例样本在模型训练中的权重ωβ(θ)的计算公式如下：
其中，所述θ为模型参数；
计算基于权重缩放的交叉熵损失函数，使得模型参数θ朝着所述基于权重缩放的交叉熵损失函数的梯度方向前进，直至模型参数θ满足要求，其中，所述基于权重缩放的交叉熵损失函数的计算公式如下：
其中，LAS(θ)为基于权重缩放的交叉熵损失函数，p(yi|xi；θ)表示样本xi属于样本类别yi的概率值。
可选地，所述F值评价指标对正例样本和负例样本的边际效用的近似计算公式如下：
其中，TPB(θ)和TNB(θ)分别是所述F值评价指标对正例样本的边际效用和所述F值评价指标对负例样本的边际效用。
可选地，所述负例样本在模型训练中的权重ωβ(θ)的近似计算公式如下：
其中，PB和NB分别表示正例样本总数量和负例样本总数量
本发明实施例提供的事件检测方法，所述方法包括：使用F值评价指标对正确预测的正例样本数量和正确预测的负例样本数量求偏导数，以计算所述F值评价指标对正例样本和负例样本的边际效用；计算负例样本在事件检测模型训练中的权重以对负例样本在事件检测模型训练中的权重进行缩放处理直至事件检测模型收敛。与现有技术相比，本发明通过动态缩放负例样本的训练权重，能够解决现有事件检测模型中的类别不平等问题，且不需要引入任何额外的模型参数。
附图说明
图1为本发明一实施例事件检测方法的流程图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明提供一种事件检测方法，如图1所示，所述方法包括：
S11、使用F值评价指标对正确预测的正例样本数量和正确预测的负例样本数量求偏导数，以计算所述F值评价指标对正例样本和负例样本的边际效用。
S12、计算负例样本在事件检测模型训练中的权重以对负例样本在事件检测模型训练中的权重进行缩放处理直至事件检测模型收敛。
本发明实施例提供的事件检测方法，所述方法包括：使用F值评价指标对正确预测的正例样本数量和正确预测的负例样本数量求偏导数，以计算所述F值评价指标对正例样本和负例样本的边际效用；计算负例样本在事件检测模型训练中的权重以对负例样本在事件检测模型训练中的权重进行缩放处理直至事件检测模型收敛。与现有技术相比，本发明通过动态缩放负例样本的训练权重，能够解决现有事件检测模型中的类别不平等问题，且不需要引入任何额外的模型参数。
边际效用是一个经济学中的概念，代表的是每增加消费一单位的某种商品或者服务能够给总体效用带来的增加量。本发明借用这一概念，来计算模型每预测对一个正例类别样本以及负例类别样本给最终评价准则带来的提升。
具体地，所述使用F值评价指标对正确预测的正例样本数量和正确预测的负例样本数量求偏导数，以计算所述F值评价指标对正例样本和负例样本的边际效用通过以下计算公式实现：
其中，和分别是所述F值评价指标对正例样本的边际效用和所述F值评价指标对负例样本的边际效用，分别用于表示正例样本和负例样本对所述F值评价指标的相对重要性，β是所述F值评价指标中用于平衡准确率与召回率的参数，P和N分别表示训练数据中的正例样本总数量和负例样本总数量，TP和TN分别表示正确预测的正例样本数量和正确预测的负例样本数量，PE表示一个正例样本类别与另一个正例样本类别之间的预测错误。
进一步地，所述计算负例样本在事件检测模型训练中的权重以对负例样本在事件检测模型训练中的权重进行缩放处理直至事件检测模型收敛包括：
将负例样本的相对重要性与正例样本的相对重要性的比值作为负例样本在模型训练中的权重ωβ(θ)，其中，所述负例样本在模型训练中的权重ωβ(θ)的计算公式如下：
其中，所述θ为模型参数；
计算基于权重缩放的交叉熵损失函数，使得模型参数θ朝着所述基于权重缩放的交叉熵损失函数的梯度方向前进，直至模型参数θ满足要求，其中，所述基于权重缩放的交叉熵损失函数的计算公式如下：
其中，LAS(θ)为基于权重缩放的交叉熵损失函数，p(yi|xi；θ)表示样本xi属于样本类别yi的概率值。
为了使得上述动态重要性缩放方法能适用于基于批处理的神经网络梯度优化算法，本发明使用如下的统计量来近似计算TP与TN，即所述F值评价指标对正例样本和负例样本的边际效用的近似计算公式如下：
其中，TPB(θ)和TNB(θ)分别是所述F值评价指标对正例样本的边际效用和所述F值评价指标对负例样本的边际效用。
然后使用如下方法来近似计算ωβ(θ)，即所述负例样本在模型训练中的权重ωβ(θ)的近似计算公式如下：
其中，PB和NB分别表示正例样本总数量和负例样本总数量。
例如，以输入文本为“小明受伤了”为例来阐述本发明的事件检测方法。
其中，训练语料包括：
正例1：“受伤”标记为“伤害”事件。
负例1：“小明”标记为“空”。
负例2：“了”标记为“空”。
具体的事件检测过程如下：
1)使用现有的神经网络事件检测模型，计算得到“小明”，“受伤”，“了”被分类为正例样本和负例样本的概率值。
2)基于上述概率值，使用基于边际效用理论的类别重要性计算机制，计算得到正例样本与负例样本的相对重要性。
3)基于上述正例样本与负例样本的相对重要性，使用用于神经网络批处理优化的动态重要性缩放方法更新神经网络事件检测模型的参数。
4)重复步骤1)至3)，直至神经网络事件检测模型收敛。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random AccessMemory，RAM)等。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。
Claims (5)
1.一种事件检测方法，其特征在于，包括：
使用F值评价指标对正确预测的正例样本数量和正确预测的负例样本数量求偏导数，以计算所述F值评价指标对正例样本和负例样本的边际效用；
计算负例样本在事件检测模型训练中的权重以对负例样本在事件检测模型训练中的权重进行缩放处理直至事件检测模型收敛。
2.根据权利要求1所述的方法，其特征在于，所述使用F值评价指标对正确预测的正例样本数量和正确预测的负例样本数量求偏导数，以计算所述F值评价指标对正例样本和负例样本的边际效用通过以下计算公式实现：
其中，和分别是所述F值评价指标对正例样本的边际效用和所述F值评价指标对负例样本的边际效用，分别用于表示正例样本和负例样本对所述F值评价指标的相对重要性，β是所述F值评价指标中用于平衡准确率与召回率的参数，P和N分别表示训练数据中的正例样本总数量和负例样本总数量，TP和TN分别表示正确预测的正例样本数量和正确预测的负例样本数量，PE表示一个正例样本类别与另一个正例样本类别之间的预测错误。
3.根据权利要求2所述的方法，其特征在于，所述计算负例样本在事件检测模型训练中的权重以对负例样本在事件检测模型训练中的权重进行缩放处理直至事件检测模型收敛包括：
将负例样本的相对重要性与正例样本的相对重要性的比值作为负例样本在模型训练中的权重ωβ(θ)，其中，所述负例样本在模型训练中的权重ωβ(θ)的计算公式如下：
其中，所述θ为模型参数；
计算基于权重缩放的交叉熵损失函数，使得模型参数θ朝着所述基于权重缩放的交叉熵损失函数的梯度方向前进，直至模型参数θ满足要求，其中，所述基于权重缩放的交叉熵损失函数的计算公式如下：
其中，LAS(θ)为基于权重缩放的交叉熵损失函数，p(yi|xi；θ)表示样本xi属于样本类别yi的概率值。
4.根据权利要求3所述的方法，其特征在于，所述F值评价指标对正例样本和负例样本的边际效用的近似计算公式如下：
其中，TPB(θ)和TNB(θ)分别是所述F值评价指标对正例样本的边际效用和所述F值评价指标对负例样本的边际效用。
5.根据权利要求4所述的方法，其特征在于，所述负例样本在模型训练中的权重ωβ(θ)的近似计算公式如下：
其中，PB和NB分别表示正例样本总数量和负例样本总数量。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811563503.4A CN109739982A (zh) | 2018-12-20 | 2018-12-20 | 事件检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811563503.4A CN109739982A (zh) | 2018-12-20 | 2018-12-20 | 事件检测方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109739982A true CN109739982A (zh) | 2019-05-10 |
Family
ID=66360801
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811563503.4A Pending CN109739982A (zh) | 2018-12-20 | 2018-12-20 | 事件检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109739982A (zh) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105069470A (zh) * | 2015-07-29 | 2015-11-18 | 腾讯科技（深圳）有限公司 | 分类模型训练方法及装置 |
| CN108491817A (zh) * | 2018-03-30 | 2018-09-04 | 国信优易数据有限公司 | 一种事件检测模型训练方法、装置以及事件检测方法 |
-
2018
- 2018-12-20 CN CN201811563503.4A patent/CN109739982A/zh active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105069470A (zh) * | 2015-07-29 | 2015-11-18 | 腾讯科技（深圳）有限公司 | 分类模型训练方法及装置 |
| CN108491817A (zh) * | 2018-03-30 | 2018-09-04 | 国信优易数据有限公司 | 一种事件检测模型训练方法、装置以及事件检测方法 |
Non-Patent Citations (1)
| Title |
|---|
| HONGYU LIN等: ""Adaptive Scaling for Sparse Detection in Information Extraction"", 《PROCEEDINGS OF THE 56TH ANNUAL MEETING OF THE ASSOCIATION FOR COMPUTATIONAL LINGUISTICS》 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11086912B2 (en) | Automatic questioning and answering processing method and automatic questioning and answering system | |
| CN106445998B (zh) | 一种基于敏感词的文本内容审核方法及系统 | |
| WO2021139279A1 (zh) | 基于分类模型的数据处理方法、装置、电子设备及介质 | |
| CN110738039B (zh) | 一种案件辅助信息的提示方法、装置、存储介质和服务器 | |
| CN109766428B (zh) | 数据查询方法和设备、数据处理方法 | |
| CN109271520B (zh) | 数据提取方法、数据提取装置、存储介质和电子设备 | |
| CN111611374A (zh) | 语料扩充方法、装置、电子设备及存储介质 | |
| CN104967558B (zh) | 一种垃圾邮件的检测方法及装置 | |
| CN109492217B (zh) | 一种基于机器学习的分词方法及终端设备 | |
| CN110134777B (zh) | 问题去重方法、装置、电子设备和计算机可读存储介质 | |
| CN110458296B (zh) | 目标事件的标记方法和装置、存储介质及电子装置 | |
| CN111382248A (zh) | 一种问题回复方法、装置、存储介质及终端设备 | |
| CN109271517A (zh) | Ig tf-idf文本特征向量生成及文本分类方法 | |
| CN110362814A (zh) | 一种基于改进损失函数的命名实体识别方法及装置 | |
| CN113076734A (zh) | 一种项目文本的相似度检测方法及装置 | |
| CN114116973A (zh) | 多文档的文本查重方法、电子设备及存储介质 | |
| CN110019807B (zh) | 一种商品分类方法及装置 | |
| CN111639493A (zh) | 一种地址信息标准化方法、装置、设备及可读存储介质 | |
| CN112100374A (zh) | 文本聚类方法、装置、电子设备及存储介质 | |
| CN107704869B (zh) | 一种语料数据抽样方法及模型训练方法 | |
| CN111324831A (zh) | 一种欺诈网站的检测方法及装置 | |
| CN114492926A (zh) | 一种煤矿安全隐患文本分析预测方法和系统 | |
| CN115062151A (zh) | 一种文本特征提取方法、文本分类方法及可读存储介质 | |
| CN113807073A (zh) | 文本内容异常检测方法、装置以及存储介质 | |
| CN113761875A (zh) | 事件抽取方法、装置、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20190510 |