CN110263159A - 一种基于单分类器多任务网络的隐式句间关系分析方法 - Google Patents

一种基于单分类器多任务网络的隐式句间关系分析方法 Download PDF

Info

Publication number
CN110263159A
CN110263159A CN201910449199.9A CN201910449199A CN110263159A CN 110263159 A CN110263159 A CN 110263159A CN 201910449199 A CN201910449199 A CN 201910449199A CN 110263159 A CN110263159 A CN 110263159A
Authority
CN
China
Prior art keywords
relationship
sentence
model
task
single classifier
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910449199.9A
Other languages
English (en)
Other versions
CN110263159B (zh
Inventor
田文洪
高印权
黎在万
王鸿
莫中勤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Electronic Science and Technology of China
Original Assignee
University of Electronic Science and Technology of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Electronic Science and Technology of China filed Critical University of Electronic Science and Technology of China
Priority to CN201910449199.9A priority Critical patent/CN110263159B/zh
Publication of CN110263159A publication Critical patent/CN110263159A/zh
Application granted granted Critical
Publication of CN110263159B publication Critical patent/CN110263159B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/334—Query execution
    • G06F16/3347—Query execution using vector based model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
    • G06F16/374—Thesaurus

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Machine Translation (AREA)

Abstract

本发明提供了一种基于单分类器多任务网络的隐式句间关系分析方法，包括以下步骤：步骤1，获得待处理的文本，所述文本中包括隐式句间关系和显式句间关系文本；步骤2，对获得的分本进行分词操作，然后送入Glove中，获取词向量和字典；步骤3，将训练样本分为两类，其中单分类器的训练样本只包含隐式句间关系的数据，是根据不同类别的样本大小比例随机抽取得到的四类样本，以便训练单分类器模型中的不同二分类模型；其中多任务的训练样本包含了隐式句间关系和显式句间关系的数据；步骤4，将训练样本通过词典映射转换为id，进而获取对应的向量表示，送入单分类器模型和多任务网络模型；步骤5，在使用时，将测试数据分别送入单分类器模型和多任务网络模型，将各自得到的概率通过集合方式，得到概率最大的类别为最终结果。

Description

一种基于单分类器多任务网络的隐式句间关系分析方法
技术领域
本发明涉及计算机技术领域，特别涉及一种基于单分类器多任务网络的隐式句间关系分析方法。
背景技术
句子是自然语言处理中除字、词、短语外的一个重要的研究层级。句间关系的识别是篇章层级研究中不可或缺的一个环节，这些关系可以使许多下游任务受益，比如问答、文本理解等。句间关系识别的主要任务是研究一段文本中前后相连的两个论元之间的逻辑关系(例如：比较关系、扩展关系、并列关系和因果关系等)，该任务是自然语言理解的基础研究问题。
句间关系根据是否存在逻辑连接词划分为两类：存在逻辑连接词(例如：所以、然而等)的显式句间关系识别和不存在逻辑连接词的隐式句间关系识别。隐式句间关系识别的难点就在于不存在明显的连接词，缺乏较好的特征；同时，中文数据集的稀少和样本的分布不均衡也是隐式句间关系识别无法得到很好解决的原因之一。
目前，基于神经网络的方法在各种自然语言处理任务上取得了巨大进展，循环神经网络是一种具有循环结构的网络结构，能够针对时间序列进行建模，有效地捕捉时间序列上的信息传递特征。它与自然语言文本中词汇的前后顺序关系非常的契合。因此，在很多自然语言处理任务中，循环神经网络都能取得不错的效果。但是，循环神经网络中的梯度消失和梯度爆炸问题是制约其发展的因素之一。长短时记忆网络引入记忆块的概念，通过遗忘门、输入门和输出门门控制信息的遗忘、输入以及输出，用以保持和更新细胞状态，从而有效的减轻梯度消失和爆炸问题。而门控循环单元则是长短时记忆网络的一个变体，其网络模块结构较简单，只通过更新门和重置门控制信息。
发明内容
为解决上述技术问题，本发明提供了一种基于单分类器多任务网络的隐式句间关系分析方法，包括以下步骤：
步骤1，获得待处理的文本，所述文本中包括隐式句间关系和显式句间关系文本；
步骤2，对获得的分本进行分词操作，然后送入Glove中，获取词向量和字典；
步骤3，将训练样本分为两类，其中单分类器的训练样本只包含隐式句间关系的数据，是根据不同类别的样本大小比例随机抽取得到的四类样本，以便训练单分类器模型中的不同二分类模型；其中多任务的训练样本包含了隐式句间关系和显式句间关系的数据；
步骤4，将训练样本通过词典映射转换为id，进而获取对应的向量表示，送入单分类器模型和多任务网络模型；
步骤5，在使用时，将测试数据分别送入单分类器模型和多任务网络模型，将各自得到的概率通过集合方式，得到概率最大的类别为最终结果。
附图说明
图1是本发明的多任务网络学习结构图；
图2是本发明的单分类器结构图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，将结合附图对本发明作进一步详细描述。这种描述是通过示例而非限制的方式介绍了与本发明的原理相一致的具体实施方式，这些实施方式的描述是足够详细的，以使得本领域技术人员能实现该发明，在不脱离本发明的范围和精神的情况下可以使用其他实施方式并且可以改变和替换各要素的结构。因此，不应当从限制性意义上来理解以下的详细描述。
本发明提供了一种隐式句间关系识别方法，包括以下步骤：
步骤1，本发明使用的数据是HIT-CDTB语料，将语料中的句子按照句间关系类型分为两类：显式句间关系和隐式句间关系；按照句子的句间关系分为六个大类：时序关系、因果关系、条件关系、比较关系、扩展关系和并列关系，其中时序关系和条件关系数据较少，不考虑。
步骤2，本发明对训练样本使用jieba工具进行分词操作，然后将分词后的数据送入Glove中，获取词向量表示，并获得字典。
步骤3，本发明包含单分类器模型和多任务网络模型，因此需要对训练样本进行不同的处理。其中，单分类器的训练样本只包含隐式句间关系的数据，是根据四种类别的样本大小，进行平衡之后随机抽取得到的四类样本，分别用来训练不同类别的二分类器模型；其中多任务的训练样本包含了隐式句间关系和显式句间关系的数据，不需要进行额外操作。
步骤4，本发明在模型训练阶段，首先将样本通过字典映射为词id，进行获取词的向量表示；然后将词向量表示送入模型当中进行训练；其中单分类器模型结构如图2所示，是将一个四分类问题转换为四个二分类问题，针对每个二分类问题使用双向门控循环网络单独进行建模训练；而多任务学习模型结构如图1所示，是以隐式句间关系识别任务为主，显示句间关系识别任务为辅，将主任务和辅助任务同时输入到双向长短时记忆网络，多任务模型共有两个双向长短时记忆网络，用于提取各自任务独有的特征，并且为了更好地控制从一个任务流向另一个任务的信息，我们使用全局门控单元，该模块赋予模型以决定它应该接受多少信息的能力。即在计算当前单元状态c～t不仅考虑自己任务的输入输出，还要考虑另一个任务的输出，进而提取任务通用的特征，最后将模型输出到softmax层中，并计算最终的损失值。
多任务学习网络结构的设计旨在使用共享结构进行训练，学习到两种任务所共同具有的特征，针对具体任务的网络训练学习到具体的任务的特征。
步骤5，本发明在模型测试阶段，首先将数据进行分词，然后提供字典映射为词id，进而获取词向量表示；然后将其分别送入到单分类器网络和多任务网络中，提供softmax函数获取四个类别不同的概率；最后通过集成即加的方式将概率进行集成，选择概率最大的类别作为模型最终识别结果。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。

Claims (4)

1.一种基于单分类器多任务网络的隐式句间关系分析方法，其特征在于，包括以下步骤：
步骤1，获得待处理的文本，所述文本中包括隐式句间关系和显式句间关系文本；
步骤2，对获得的分本进行分词操作，然后送入Glove中，获取词向量和字典；
步骤3，将训练样本分为两类，其中单分类器的训练样本只包含隐式句间关系的数据，是根据不同类别的样本大小比例随机抽取得到的四类样本，以便训练单分类器模型中的不同二分类模型；其中多任务的训练样本包含了隐式句间关系和显式句间关系的数据；
步骤4，将训练样本通过词典映射转换为id，进而获取对应的向量表示，送入单分类器模型和多任务网络模型；
步骤5，在使用时，将测试数据分别送入单分类器模型和多任务网络模型，将各自得到的概率通过集合方式，得到概率最大的类别为最终结果。
2.根据权利要求1所述的一种基于单分类器多任务网络的隐式句间关系分析方法，其特征在于，单分类器模型将四分类问题转化为四个二分类问题，即先将因果关系作为正类，其他三类关系作为负类，进行训练，得到一个二分类器；然后将对比关系作为正类，其余作为负类，进行训练，在得到一个新的二分类器；依次类推，最终得到四个二分类器；因为四类关系的数据不均衡，因此在按照四分类进行处理时，很容易导致模型学习不到数据较少类别的特征，导致结果差强人意，然而通过这样的转化，人为突出了各个类别的特征，简化了问题复杂度，让模型更容易学习到各个类别的特征，进而提升分类效果。
3.根据权利要求1所述的一种基于单分类器多任务网络的隐式句间关系分析方法，其特征在于，多任务学习模型是针对传统的单任务学习提出的一种学习概念，多任务学习充分使用隐式句间关系和显式句间关系的语料，间接扩充训练集样本数量；而且，多任务学习在进行训练时，多个任务的网络同时进行损失函数的误差反向传播，通过共享底层的特征表示层来相互促进学习，从而提升模型的性能和泛化能力。
4.根据权利要求1所述的一种基于单分类器多任务网络的隐式句间关系分析方法，其特征在于，在本发明中，多任务学习模型主要用来解决数据集不足和特征不明显的问题；单分类器学习模型主要用来解决数据集不均衡的问题；其中，多任务学习模型的Task1为隐式句间关系识别的任务，Task2为显式句间关系识别的任务；多任务学习包含两个Bi-LSTM，用于各自任务独有的特征，且为了更好地控制从一个任务流向另一个任务的信息，使用全局门控单元，即在计算当前单元状态不仅考虑自己任务的输入输出，还要考虑另一个任务的输出，进而提取任务通用的特征，最后将模型输出到softmax层中。
CN201910449199.9A 2019-05-28 2019-05-28 一种基于单分类器多任务网络的隐式句间关系分析方法 Active CN110263159B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910449199.9A CN110263159B (zh) 2019-05-28 2019-05-28 一种基于单分类器多任务网络的隐式句间关系分析方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910449199.9A CN110263159B (zh) 2019-05-28 2019-05-28 一种基于单分类器多任务网络的隐式句间关系分析方法

Publications (2)

Publication Number Publication Date
CN110263159A true CN110263159A (zh) 2019-09-20
CN110263159B CN110263159B (zh) 2022-07-26

Family

ID=67915557

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910449199.9A Active CN110263159B (zh) 2019-05-28 2019-05-28 一种基于单分类器多任务网络的隐式句间关系分析方法

Country Status (1)

Country Link
CN (1) CN110263159B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110704619A (zh) * 2019-09-24 2020-01-17 支付宝(杭州)信息技术有限公司 文本分类方法、装置及电子设备
CN111881968A (zh) * 2020-07-22 2020-11-03 平安科技（深圳）有限公司 多任务分类方法、装置及相关设备

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106326212A (zh) * 2016-08-26 2017-01-11 北京理工大学 一种基于层次深度语义的隐式篇章关系分析方法
CN106933804A (zh) * 2017-03-10 2017-07-07 上海数眼科技发展有限公司 一种基于深度学习的结构化信息抽取方法
CN107168956A (zh) * 2017-05-26 2017-09-15 北京理工大学 一种基于管道的中文篇章结构分析方法及系统
US20180365228A1 (en) * 2017-06-15 2018-12-20 Oracle International Corporation Tree kernel learning for text classification into classes of intent
CN109255119A (zh) * 2018-07-18 2019-01-22 五邑大学 一种基于分词和命名实体识别的多任务深度神经网络的句子主干分析方法及系统
CN109460466A (zh) * 2018-09-20 2019-03-12 电子科技大学 一种基于多任务双向长短时记忆网络的隐式句间关系分析方法
US20190138595A1 (en) * 2017-05-10 2019-05-09 Oracle International Corporation Enabling chatbots by detecting and supporting affective argumentation

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106326212A (zh) * 2016-08-26 2017-01-11 北京理工大学 一种基于层次深度语义的隐式篇章关系分析方法
CN106933804A (zh) * 2017-03-10 2017-07-07 上海数眼科技发展有限公司 一种基于深度学习的结构化信息抽取方法
US20190138595A1 (en) * 2017-05-10 2019-05-09 Oracle International Corporation Enabling chatbots by detecting and supporting affective argumentation
CN107168956A (zh) * 2017-05-26 2017-09-15 北京理工大学 一种基于管道的中文篇章结构分析方法及系统
US20180365228A1 (en) * 2017-06-15 2018-12-20 Oracle International Corporation Tree kernel learning for text classification into classes of intent
CN109255119A (zh) * 2018-07-18 2019-01-22 五邑大学 一种基于分词和命名实体识别的多任务深度神经网络的句子主干分析方法及系统
CN109460466A (zh) * 2018-09-20 2019-03-12 电子科技大学 一种基于多任务双向长短时记忆网络的隐式句间关系分析方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
LIU Y 等: "Implicit discourse relation classification via multi-task neural networks", 《THIRTIETH AAAI CONFERENCE ON ARTIFICIAL INTELLIGENCE》 *
吕国英 等: "基于框架的汉语篇章结构生成和篇章关系识别", 《中文信息学报》 *
崔嘉乐 等: "基于深度学习的文本挖掘研究", 《内蒙古民族大学学报(自然科学版)》 *
王鸿 等: "一种单分类器联合多任务网络的隐式句间关系分析方法", 《数据分析与知识发现》 *
田文洪 等: "基于多任务双向长短时记忆网络的隐式句间关系分析", 《中文信息学报》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110704619A (zh) * 2019-09-24 2020-01-17 支付宝(杭州)信息技术有限公司 文本分类方法、装置及电子设备
CN111881968A (zh) * 2020-07-22 2020-11-03 平安科技（深圳）有限公司 多任务分类方法、装置及相关设备
WO2021151296A1 (zh) * 2020-07-22 2021-08-05 平安科技（深圳）有限公司 多任务分类方法、装置、计算机设备及存储介质
CN111881968B (zh) * 2020-07-22 2024-04-09 平安科技（深圳）有限公司 多任务分类方法、装置及相关设备

Also Published As

Publication number Publication date
CN110263159B (zh) 2022-07-26

Similar Documents

Publication Publication Date Title
CN108984745B (zh) 一种融合多知识图谱的神经网络文本分类方法
CN107239446B (zh) 一种基于神经网络与注意力机制的情报关系提取方法
CN109766277B (zh) 一种基于迁移学习与dnn的软件故障诊断方法
Khomenko et al. Accelerating recurrent neural network training using sequence bucketing and multi-gpu data parallelization
CN109635109A (zh) 基于lstm并结合词性及多注意力机制的句子分类方法
CN112084327A (zh) 在保留语义的同时对稀疏标注的文本文档的分类
WO2022062193A1 (zh) 基于时序归因分析的个人信用评估与解释方法、装置、设备及存储介质
CN109460466A (zh) 一种基于多任务双向长短时记忆网络的隐式句间关系分析方法
CN113535953B (zh) 一种基于元学习的少样本分类方法
CN111460157A (zh) 用于多领域文本分类的循环卷积多任务学习方法
CN110263159A (zh) 一种基于单分类器多任务网络的隐式句间关系分析方法
Liang et al. A double channel CNN-LSTM model for text classification
Rosli et al. Development of CNN transfer learning for dyslexia handwriting recognition
CN111813939A (zh) 一种基于表征增强与融合的文本分类方法
CN111898704A (zh) 对内容样本进行聚类的方法和装置
CN109446334A (zh) 一种实现英文文本分类的方法及相关设备
CN113688621A (zh) 一种长短不一的文本在不同粒度下的文本匹配方法及装置
CN117349311A (zh) 一种基于改进RetNet的数据库自然语言查询方法
CN111259673A (zh) 一种基于反馈序列多任务学习的法律判决预测方法及系统
Chimingyang An automatic system for essay questions scoring based on LSTM and word embedding
CN113806543B (zh) 一种基于残差跳跃连接的门控循环单元的文本分类方法
CN113779249B (zh) 跨领域文本情感分类方法、装置、存储介质以及电子设备
Ji et al. Emotion Analysis Model of MOOC Course Review Based on BiLSTM.
CN114722818A (zh) 一种基于对抗迁移学习的命名实体识别模型
Zhang et al. A Rapid Combined Model for Automatic Generating Web UI Codes.

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant