CN113312452A - 基于多任务学习的篇章级文本连贯性分类方法 - Google Patents

基于多任务学习的篇章级文本连贯性分类方法 Download PDF

Info

Publication number
CN113312452A
CN113312452A CN202110667388.0A CN202110667388A CN113312452A CN 113312452 A CN113312452 A CN 113312452A CN 202110667388 A CN202110667388 A CN 202110667388A CN 113312452 A CN113312452 A CN 113312452A
Authority
CN
China
Prior art keywords
sentence
vector
chapter
text
loss
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110667388.0A
Other languages
English (en)
Other versions
CN113312452B (zh
Inventor
赵铁军
夏名宏
朱聪慧
徐冰
杨沐昀
曹海龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harbin Institute of Technology
Original Assignee
Harbin Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harbin Institute of Technology filed Critical Harbin Institute of Technology
Priority to CN202110667388.0A priority Critical patent/CN113312452B/zh
Publication of CN113312452A publication Critical patent/CN113312452A/zh
Application granted granted Critical
Publication of CN113312452B publication Critical patent/CN113312452B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/334—Query execution
    • G06F16/3344—Query execution using natural language analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/205—Parsing
    • G06F40/211—Syntactic parsing, e.g. based on context-free grammar [CFG] or unification grammars
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Databases & Information Systems (AREA)
  • Machine Translation (AREA)

Abstract

本发明提出基于多任务学习的篇章级文本连贯性分类方法，所述方法包括：步骤1、使用预训练模型得到篇章级文本中每一句话的句子向量表示；步骤2、将句子向量作为输入，使用Transformer模型，得到篇章级文本的整体向量表示；步骤3、构建句子排序任务，使用该任务对篇章级文本的整体向量表示进行调整；步骤4、根据调整后的篇章级文本整体向量表示通过分类器得到文本连贯性分类。通过上述方法解决了现有技术中的问题，所述方法对信息检索以及自然语言处理中的多任务学习、作文自动评分、文档向量化等方向有着重要作用。

Description

基于多任务学习的篇章级文本连贯性分类方法
技术领域
本发明属于自然语言处理领域技术领域，特别是涉及基于多任务学习的篇章级文本连贯性分类方法。
背景技术
篇章连贯性建模是自然语言处理中的一个基础问题，它在多语言即时机器翻译、文本自动摘要等方面均有广泛的应用前景。篇章语义连贯性是衡量篇章中句子间语义是否通顺和形式是否衔接的一个重要因素。语篇连贯性反映了语篇局部与整体的建构关系。尤其在较长片段文本中，其中句子之间的形式是否衔接，句子结构是否合理，以及句子的主旨和所表达的语义是否一致是决定了该文本是否具有可读性、是否可以被正确理解。
目前国内外对于篇章级文本连贯性的研究，主要包括传统机器学习方法和神经网络方法。传统机器学习方法包括基于实体的网络模型、基于实体转移的连贯性判别模型以及基于潜在语义的篇章级文本连贯性模型等。神经网络方法包括使用循环神经网络、卷积神经网络等对人工提取的文章特征进行建模，例如文本长度、经过序列标注产生的实体转移、文本主题等。
对于篇章级文本连贯性分类，目前存在着以下问题：首先虽然预训练模型在文本向量化已经取得了不错的效果，但篇章级文本长度过长，大部分预训练模型无法很好学到其语义信息；其次，篇章级文本句子主题转变较大，很难识别篇章级文本的主题；最后，影响文本连贯性的特征较多，如实体词、过渡词和句子顺序等，单一特征提取器很难将特征提取完全。
发明内容
本发明目的是解决现有技术中的问题，提出了基于多任务学习的篇章级文本连贯性分类方法。
本发明是通过以下技术方案实现的，本发明提出基于多任务学习的篇章级文本连贯性分类方法，具体包括以下步骤：
步骤1、使用预训练模型得到篇章级文本中每一句话的句子向量表示；
步骤2、将句子向量作为输入，使用Transformer模型，得到篇章级文本的整体向量表示；
步骤3、构建句子排序任务，使用该任务对篇章级文本的整体向量表示进行调整；
步骤4、根据调整后的篇章级文本整体向量表示通过分类器得到文本连贯性分类。
进一步地，所述步骤1具体为：
将篇章级文本按照句子粒度进行划分，得到单个句子，记为{s1,s2,…,sn}，n表示句子个数，将每个句子依次通过分词、词的id化和生成位置编码步骤，输入到XLNet预训练模型中，取XLNet模型最后一层的输出作为句子中每个词的向量化表示，即句si的输出为{w1,w2,…,wm}，i＝1,2,…,n；其中，wj为句si中第j个位置词的向量表示，m表示第i个句子里面词的个数；j＝1,2，…，m；为了得到句向量表示，将句中词向量进行平均池化，即
Figure BDA0003117410800000021
其中，vi为句si的向量表示；由此，即可得到篇章中每个句子的向量表示，为{v1,v2,…,vn}。
进一步地，所述步骤2具体为：使用6层sub-layer组成的编码器进行文本编码；首先将篇章中每个句子的句子向量输入到Transformer模型中，进入自注意力模块，在自注意力模块中，每个输入向量通过神经网络计算得到三个不同向量：Query向量，Key向量和Value向量，三个向量分别用Q，K和V表示，随后，通过自注意力的计算公式计算每个向量的自注意力分数，并对其进行归一化，将自注意力分数通过Softmax激活函数，与对应向量相乘，得到自注意力模块的结果：
Figure BDA0003117410800000022
其中，dk为归一化过程中使用的模型向量维度；
随后，通过残差模块，解决深度学习中的退化问题；最后，通过前馈神经网络，即将自注意力模块的输出作为前馈神经网络的输入，与前馈神经网络的权重矩阵相乘，便得到sub-layer的输出；最终，通过6层sub-layer，得到每个句子向量通过Transformer编码器的对应输出；在更新每个句子向量之后，使用平均池化来得到篇章级文本的整体向量表示，其维度与每个句子向量相同，但同时包含了篇章中每个句子信息与句子间的上下文信息。
进一步地，所述步骤3具体为：首先，由XLNet预训练模型和Transformer编码器获得每个句子的句子向量表示，然后将由句子向量构成的数组sent_list随机打乱，记为shuffled_sent_list，遍历打乱后的数组，依次取出相邻的两个句子，并与原数组中的顺序进行对比，若与原数组中相对顺序相同，则其标签为1，若与原数组中相对顺序不同，则其标签为0；
将两个句子的向量表示拼接起来，输入到分类层中，得到分类结果，与其标签计算交叉熵损失，训练模型；
其中，针对每个句子及其标签，使用交叉熵损失进行损失计算，即在句子分数通过Sigmoid函数映射到0到1范围内后，使用公式(3)计算每个句子的句子排序损失；
lossorder＝∑i(-yilogscorei-(1-yi)log(1-scorei)) (3)
其中，i表示第i个句子，yi表示第i个句子的标签，scorei表示第i个句子的分数。
进一步地，所述步骤4具体为：得到篇章级文本整体向量表示后，使用三层前馈神经网络组成分类器，得到最后一层的输出后，通过Sigmoid函数计算篇章级文本的连贯性分数，从而得到该篇章级文本连贯性分类结果。
进一步地，所述多任务学习的优化过程具体步骤如下：
步骤一、将整个连贯性分类模型网络中参数初始化，并将每个loss的权重初始化为1；
步骤二、根据每个loss的权重，计算loss的加权和；
步骤三、计算梯度标准化的值，并计算每个参数的更新速度；
步骤四、根据更新速度，计算全局梯度标准化的值；
步骤五、计算梯度loss；
步骤六、计算loss对每个参数的导数；
步骤七、利用步骤六的结果更新；
步骤八、利用步骤二的结果更新整个网络的参数。
附图说明
图1为本发明所述基于多任务学习的篇章级文本连贯性分类方法的流程图；
图2为篇章级文本连贯性分类模型整体结构示意图。
具体实施方式
下面将结合本发明实施例中的附图对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
结合图1-2，本发明提出基于多任务学习的篇章级文本连贯性分类方法，具体包括以下步骤：
步骤1、使用预训练模型得到篇章级文本中每一句话的句子向量表示；
步骤2、将句子向量作为输入，使用Transformer模型，得到篇章级文本的整体向量表示；
步骤3、构建句子排序任务，使用该任务对篇章级文本的整体向量表示进行调整；
步骤4、根据调整后的篇章级文本整体向量表示通过分类器得到文本连贯性分类。
Transformer是2017年由谷歌提出的特征提取器，自面世以来因其在实验中的优异表现逐渐受到学者们的关注和青睐，而其后以Transformer模型为基础的BERT及其改进模型被证明是极其有效的文本特征抽取器。其通过在大量语料上的预训练任务，使模型学得对应语言中的先验知识，从而在下游任务中取得优异的效果。而基于BERT进行改进的XLNet预训练模型不仅通过预训练任务和大量语料将先验知识注入到模型中，而且通过位置编码捕捉到词的相对顺序，这种方法得到的句子向量在下游任务的表现远远好于传统方法。
所述步骤1具体为：
将篇章级文本按照句子粒度进行划分，得到单个句子，记为{s1,s2,…,sn}，n表示句子个数，将每个句子依次通过分词、词的id化和生成位置编码步骤，输入到XLNet预训练模型中，取XLNet模型最后一层的输出作为句子中每个词的向量化表示，即句si的输出为{w1,w2,…,wm}，i＝1,2,…,n；其中，wj为句si中第j个位置词的向量表示，m表示第i个句子里面词的个数；j＝1,2，…，m；为了得到句向量表示，将句中词向量进行平均池化，即
Figure BDA0003117410800000041
其中，vi为句si的向量表示；由此，即可得到篇章中每个句子的向量表示，为{v1,v2,…,vn}。
在传统方法中，生成篇章文本整体向量表示的方法通常由词向量生成句向量的方法扩展而来，即通过最大池化或者平均池化的方法，得到整体的向量表示。但是此方法存在的问题为，平均池化或最大池化的方法与人的阅读习惯相悖，即通常情况下阅读是有顺序的，应该建立时序模型来生成篇章级文本的整体向量表示。而循环神经网络(RNN)相关算法只能从左向右依次计算或从右向左依次计算，会限制模型的并行能力并造成信息丢失。因此，使用Transformer模型来生成篇章文本整体向量表示。
Transformer模型的基础为自注意力机制。Transformer中不再使用卷积神经网络和循环神经网络，仅使用注意力机制构成整个网络。一个基于Transformer的可训练的神经网络可以通过堆叠Transformer层的形式进行搭建，在该过程中，本发明仅使用Transformer的编码器部分进行神经网络的搭建。即使用6层sub-layer组成的编码器进行文本编码；首先将篇章中每个句子的句子向量输入到Transformer模型中，进入自注意力模块，在自注意力模块中，每个输入向量通过神经网络计算得到三个不同向量：Query向量，Key向量和Value向量，三个向量分别用Q，K和V表示，随后，通过自注意力的计算公式计算每个向量的自注意力分数，并对其进行归一化，将自注意力分数通过Softmax激活函数，与对应向量相乘，得到自注意力模块的结果：
Figure BDA0003117410800000051
其中，dk为归一化过程中使用的模型向量维度；
随后，通过残差模块，解决深度学习中的退化问题；最后，通过前馈神经网络，即将自注意力模块的输出作为前馈神经网络的输入，与前馈神经网络的权重矩阵相乘，便得到sub-layer的输出；最终，通过6层sub-layer，得到每个句子向量通过Transformer编码器的对应输出；在更新每个句子向量之后，使用平均池化来得到篇章级文本的整体向量表示，其维度与每个句子向量相同，但同时包含了篇章中每个句子信息与句子间的上下文信息。
语篇连贯性反映了语篇局部与整体的建构关系。尤其在较长片段文本中，句子之间的顺序对于文本连贯性的重要是不言而喻的。由于Transformer中使用绝对位置编码生成固定的位置表示，其只能反映句子间相对距离，但是无法反映方向性，故使用句子排序任务与文本连贯性任务构成多任务共同学习训练。
所述步骤3具体为：首先，由XLNet预训练模型和Transformer编码器获得每个句子的句子向量表示，然后将由句子向量构成的数组sent_list随机打乱，记为shuffled_sent_list，遍历打乱后的数组，依次取出相邻的两个句子，并与原数组中的顺序进行对比，若与原数组中相对顺序相同，则其标签为1，若与原数组中相对顺序不同，则其标签为0；例如：假设原句顺序为{s1,s2,s3,s4}，打乱后顺序为{s4,s2,s3,s1}，则遍历结果与标签如表1所示。
Figure BDA0003117410800000052
表1遍历结果及标签
将两个句子的向量表示拼接起来，输入到分类层中，得到分类结果，与其标签计算交叉熵损失，训练模型；
其中，针对每个句子及其标签，使用交叉熵损失进行损失计算，即在句子分数通过Sigmoid函数映射到0到1范围内后，使用公式(3)计算每个句子的句子排序损失；
lossorder＝∑i(-yilogscorei-(1-yi)log(1-scorei)) (3)
其中，i表示第i个句子，yi表示第i个句子的标签，scorei表示第i个句子的分数。
所述步骤4具体为：得到篇章级文本整体向量表示后，使用三层前馈神经网络组成分类器，得到最后一层的输出后，通过Sigmoid函数计算篇章级文本的连贯性分数，从而得到该篇章级文本连贯性分类结果。
若目标为分类(如标签为高文本连贯性，中文本连贯性和低文本连贯性)，则使用交叉熵损失函数计算。针对文档中每个句子得到其句子排序损失之后，多任务学习loss的策略如下：根据所应用场景，针对每一个篇章文本的连贯性分数，分别对句子排序损失进行加权。由于高文本连贯性的文档，句子间相对顺序应该保持得更好，也应该更多地被模型学到，低文本连贯性的文档句子间相对顺序可能不准确，其应该尽量少地被模型学到。
基于以上方法步骤所述多任务学习的优化过程具体步骤如下：
步骤一、将整个连贯性分类模型网络中参数初始化，并将每个loss的权重初始化为1；
步骤二、根据每个loss的权重，计算loss的加权和；
步骤三、计算梯度标准化的值，并计算每个参数的更新速度；
步骤四、根据更新速度，计算全局梯度标准化的值；
步骤五、计算梯度loss；
步骤六、计算loss对每个参数的导数；
步骤七、利用步骤六的结果更新；
步骤八、利用步骤二的结果更新整个网络的参数。
在篇章级文本连贯性分类模块中，在用户输入文档之后，首先将文档进行文本预处理，去除特殊字符、数字等于文本表达无关的字符，方便模型进行文本向量化。随后，使用XLNet预训练模型针对每个句子中的词进行向量化，然后进行平均池化，得到每个句子的句子向量表示。随后，利用句子排序任务与Transformer结构对句子向量进行更新。最后，根据训练好的分类器，根据句子向量与文档向量，计算得到文档的连贯性得分。将文档的连贯性得分通过Web网页前端反馈给用户，随后结束。
以上对本发明所提出的基于多任务学习的篇章级文本连贯性分类方法进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (6)

1.基于多任务学习的篇章级文本连贯性分类方法，其特征在于：具体包括以下步骤：
步骤1、使用预训练模型得到篇章级文本中每一句话的句子向量表示；
步骤2、将句子向量作为输入，使用Transformer模型，得到篇章级文本的整体向量表示；
步骤3、构建句子排序任务，使用该任务对篇章级文本的整体向量表示进行调整；
步骤4、根据调整后的篇章级文本整体向量表示通过分类器得到文本连贯性分类。
2.根据权利要求1所述的方法，其特征在于：所述步骤1具体为：
将篇章级文本按照句子粒度进行划分，得到单个句子，记为{s1，s2，...，sn}，n表示句子个数，将每个句子依次通过分词、词的id化和生成位置编码步骤，输入到XLNet预训练模型中，取XLNet模型最后一层的输出作为句子中每个词的向量化表示，即句si的输出为{w1，w2，...，wm}，i＝1，2，...，n；其中，wj为句si中第j个位置词的向量表示，m表示第i个句子里面词的个数；j＝1，2，...，m；为了得到句向量表示，将句中词向量进行平均池化，即
Figure FDA0003117410790000011
其中，vi为句si的向量表示；由此，即可得到篇章中每个句子的向量表示，为{v1，v2，...，vn}。
3.根据权利要求2所述的方法，其特征在于：所述步骤2具体为：使用6层sub-layer组成的编码器进行文本编码；首先将篇章中每个句子的句子向量输入到Transformer模型中，进入自注意力模块，在自注意力模块中，每个输入向量通过神经网络计算得到三个不同向量：Query向量，Key向量和Value向量，三个向量分别用Q，K和V表示，随后，通过自注意力的计算公式计算每个向量的自注意力分数，并对其进行归一化，将自注意力分数通过Softmax激活函数，与对应向量相乘，得到自注意力模块的结果：
Figure FDA0003117410790000012
其中，dk为归一化过程中使用的模型向量维度；
随后，通过残差模块，解决深度学习中的退化问题；最后，通过前馈神经网络，即将自注意力模块的输出作为前馈神经网络的输入，与前馈神经网络的权重矩阵相乘，便得到sub-layer的输出；最终，通过6层sub-layer，得到每个句子向量通过Transformer编码器的对应输出；在更新每个句子向量之后，使用平均池化来得到篇章级文本的整体向量表示，其维度与每个句子向量相同，但同时包含了篇章中每个句子信息与句子间的上下文信息。
4.根据权利要求3所述的方法，其特征在于：所述步骤3具体为：首先，由XLNet预训练模型和Transformer编码器获得每个句子的句子向量表示，然后将由句子向量构成的数组sent_list随机打乱，记为shuffled_sent_list，遍历打乱后的数组，依次取出相邻的两个句子，并与原数组中的顺序进行对比，若与原数组中相对顺序相同，则其标签为1，若与原数组中相对顺序不同，则其标签为0；
将两个句子的向量表示拼接起来，输入到分类层中，得到分类结果，与其标签计算交叉熵损失，训练模型；
其中，针对每个句子及其标签，使用交叉熵损失进行损失计算，即在句子分数通过Sigmoid函数映射到0到1范围内后，使用公式(3)计算每个句子的句子排序损失；
lossorder＝∑i(-yilogscorei-(1-yi)log(1-scorei)) (3)
其中，i表示第i个句子，yi表示第i个句子的标签，scorei表示第i个句子的分数。
5.根据权利要求4所述的方法，其特征在于：所述步骤4具体为：得到篇章级文本整体向量表示后，使用三层前馈神经网络组成分类器，得到最后一层的输出后，通过Sigmoid函数计算篇章级文本的连贯性分数，从而得到该篇章级文本连贯性分类结果。
6.根据权利要求5所述的方法，其特征在于：所述多任务学习的优化过程具体步骤如下：
步骤一、将整个连贯性分类模型网络中参数初始化，并将每个loss的权重初始化为1；
步骤二、根据每个loss的权重，计算loss的加权和；
步骤三、计算梯度标准化的值，并计算每个参数的更新速度；
步骤四、根据更新速度，计算全局梯度标准化的值；
步骤五、计算梯度loss；
步骤六、计算loss对每个参数的导数；
步骤七、利用步骤六的结果更新；
步骤八、利用步骤二的结果更新整个网络的参数。
CN202110667388.0A 2021-06-16 2021-06-16 基于多任务学习的篇章级文本连贯性分类方法 Active CN113312452B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110667388.0A CN113312452B (zh) 2021-06-16 2021-06-16 基于多任务学习的篇章级文本连贯性分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110667388.0A CN113312452B (zh) 2021-06-16 2021-06-16 基于多任务学习的篇章级文本连贯性分类方法

Publications (2)

Publication Number Publication Date
CN113312452A true CN113312452A (zh) 2021-08-27
CN113312452B CN113312452B (zh) 2022-05-27

Family

ID=77379149

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110667388.0A Active CN113312452B (zh) 2021-06-16 2021-06-16 基于多任务学习的篇章级文本连贯性分类方法

Country Status (1)

Country Link
CN (1) CN113312452B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113723078A (zh) * 2021-09-07 2021-11-30 杭州叙简科技股份有限公司 一种文本逻辑信息结构化方法、装置及电子设备
CN114880428A (zh) * 2022-03-07 2022-08-09 中国人民解放军国防科技大学 一种基于图神经网络的语篇成分识别方法
CN114997143A (zh) * 2022-08-04 2022-09-02 北京澜舟科技有限公司 文本生成模型训练方法和系统、文本生成方法及存储介质
CN115249015A (zh) * 2022-09-21 2022-10-28 中科雨辰科技有限公司 基于篇章聚类和语句融合的标注一致性检验方法及介质
CN115982368A (zh) * 2023-03-14 2023-04-18 北京匠数科技有限公司 一种文本分类的方法、装置、电子设备及存储介质
CN116108187A (zh) * 2023-04-14 2023-05-12 华东交通大学 一种集成多粒度信息的方面级情感分类方法
CN116595975A (zh) * 2023-07-17 2023-08-15 四川大学 一种基于句信息进行词信息增强的方面级情感分析方法
CN117235619A (zh) * 2023-08-14 2023-12-15 杭州瑞成信息技术股份有限公司 会议纪要分类方法、装置、计算机设备和存储介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108664632A (zh) * 2018-05-15 2018-10-16 华南理工大学 一种基于卷积神经网络和注意力机制的文本情感分类算法
CN110795411A (zh) * 2019-11-01 2020-02-14 北京理工大学 一种基于类别门机制的文本分类方法
CN111160050A (zh) * 2019-12-20 2020-05-15 沈阳雅译网络技术有限公司 一种基于上下文记忆网络的篇章级神经机器翻译方法
CN111177366A (zh) * 2019-12-30 2020-05-19 北京航空航天大学 一种基于查询机制的抽取式文档摘要自动生成方法、装置及系统
CN111291166A (zh) * 2020-05-09 2020-06-16 支付宝(杭州)信息技术有限公司 基于Bert的语言模型的训练方法及装置
CN112131453A (zh) * 2020-08-26 2020-12-25 江汉大学 一种基于bert的网络不良短文本检测方法、装置及存储介质
CN112699688A (zh) * 2021-01-08 2021-04-23 北京理工大学 一种篇章关系可控的文本生成方法和系统
CN112784047A (zh) * 2021-01-25 2021-05-11 重庆邮电大学 一种基于自注意力机制的可控可解释司法文本分类方法
CN112836048A (zh) * 2021-01-27 2021-05-25 天津大学 基于多头双向注意力的交互式Transformer的隐式篇章关系识别方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108664632A (zh) * 2018-05-15 2018-10-16 华南理工大学 一种基于卷积神经网络和注意力机制的文本情感分类算法
CN110795411A (zh) * 2019-11-01 2020-02-14 北京理工大学 一种基于类别门机制的文本分类方法
CN111160050A (zh) * 2019-12-20 2020-05-15 沈阳雅译网络技术有限公司 一种基于上下文记忆网络的篇章级神经机器翻译方法
CN111177366A (zh) * 2019-12-30 2020-05-19 北京航空航天大学 一种基于查询机制的抽取式文档摘要自动生成方法、装置及系统
CN111291166A (zh) * 2020-05-09 2020-06-16 支付宝(杭州)信息技术有限公司 基于Bert的语言模型的训练方法及装置
CN112131453A (zh) * 2020-08-26 2020-12-25 江汉大学 一种基于bert的网络不良短文本检测方法、装置及存储介质
CN112699688A (zh) * 2021-01-08 2021-04-23 北京理工大学 一种篇章关系可控的文本生成方法和系统
CN112784047A (zh) * 2021-01-25 2021-05-11 重庆邮电大学 一种基于自注意力机制的可控可解释司法文本分类方法
CN112836048A (zh) * 2021-01-27 2021-05-25 天津大学 基于多头双向注意力的交互式Transformer的隐式篇章关系识别方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
ALI ALSHAHRANI ET AL.: "Identifying Optimism and Pessimism in Twitter Messages Using XLNet and Deep Consensus", 《2020 INTERNATIONAL JOINT CONFERENCE ON NEURAL NETWORKS》 *
于尤婧: "面向可解释性双向编码语言模型的文本分类研究", 《中国优秀硕士学位论文全文数据库 (信息科技辑)》 *
李心雨: "细粒度的新闻文本分类方法", 《中国优秀硕士学位论文全文数据库 (信息科技辑)》 *

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113723078A (zh) * 2021-09-07 2021-11-30 杭州叙简科技股份有限公司 一种文本逻辑信息结构化方法、装置及电子设备
CN114880428A (zh) * 2022-03-07 2022-08-09 中国人民解放军国防科技大学 一种基于图神经网络的语篇成分识别方法
CN114880428B (zh) * 2022-03-07 2022-11-18 中国人民解放军国防科技大学 一种基于图神经网络的语篇成分识别方法
CN114997143A (zh) * 2022-08-04 2022-09-02 北京澜舟科技有限公司 文本生成模型训练方法和系统、文本生成方法及存储介质
CN114997143B (zh) * 2022-08-04 2022-11-15 北京澜舟科技有限公司 文本生成模型训练方法和系统、文本生成方法及存储介质
CN115249015A (zh) * 2022-09-21 2022-10-28 中科雨辰科技有限公司 基于篇章聚类和语句融合的标注一致性检验方法及介质
CN115982368A (zh) * 2023-03-14 2023-04-18 北京匠数科技有限公司 一种文本分类的方法、装置、电子设备及存储介质
CN115982368B (zh) * 2023-03-14 2023-08-15 北京匠数科技有限公司 一种文本分类的方法、装置、电子设备及存储介质
CN116108187A (zh) * 2023-04-14 2023-05-12 华东交通大学 一种集成多粒度信息的方面级情感分类方法
CN116108187B (zh) * 2023-04-14 2023-06-16 华东交通大学 一种集成多粒度信息的方面级情感分类方法
CN116595975A (zh) * 2023-07-17 2023-08-15 四川大学 一种基于句信息进行词信息增强的方面级情感分析方法
CN117235619A (zh) * 2023-08-14 2023-12-15 杭州瑞成信息技术股份有限公司 会议纪要分类方法、装置、计算机设备和存储介质

Also Published As

Publication number Publication date
CN113312452B (zh) 2022-05-27

Similar Documents

Publication Publication Date Title
CN113312452B (zh) 基于多任务学习的篇章级文本连贯性分类方法
CN109635109B (zh) 基于lstm并结合词性及多注意力机制的句子分类方法
CN111767408B (zh) 一种基于多种神经网络集成的因果事理图谱构建方法
CN111460077A (zh) 一种基于类语义引导的跨模态哈希检索方法
CN113515632B (zh) 基于图路径知识萃取的文本分类方法
Cai et al. Intelligent question answering in restricted domains using deep learning and question pair matching
CN112069408A (zh) 一种融合关系抽取的推荐系统及方法
CN113255320A (zh) 基于句法树和图注意力机制的实体关系抽取方法及装置
CN111985205A (zh) 一种方面级情感分类模型
CN114428850B (zh) 一种文本检索匹配方法和系统
CN112232053A (zh) 一种基于多关键词对匹配的文本相似度计算系统、方法、及存储介质
CN114896434B (zh) 一种基于中心相似度学习的哈希码生成方法及装置
CN113255366B (zh) 一种基于异构图神经网络的方面级文本情感分析方法
CN111666752A (zh) 一种基于关键词注意力机制的电路教材实体关系抽取方法
CN116662500A (zh) 一种基于bert模型与外部知识图谱的问答系统构建方法
CN115600597A (zh) 基于注意力机制和词内语义融合的命名实体识别方法、装置、系统及存储介质
CN115169349A (zh) 基于albert的中文电子简历命名实体识别方法
CN115238691A (zh) 基于知识融合的嵌入的多意图识别与槽位填充模型
CN114004220A (zh) 一种基于cpc-ann的文本情绪原因识别方法
CN113934835A (zh) 结合关键词和语义理解表征的检索式回复对话方法及系统
CN112818124A (zh) 一种基于注意力神经网络的实体关系抽取方法
Zheng et al. Weakly-supervised image captioning based on rich contextual information
CN117421420A (zh) 一种基于软提示学习的中文点击诱饵检测方法
CN117093692A (zh) 一种基于深度融合的多粒度图像-文本匹配方法及系统
CN112364160A (zh) 一种结合ALBERT和BiGRU的专利文本分类方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant