CN110119765A - 一种基于Seq2seq框架的关键词提取方法 - Google Patents

一种基于Seq2seq框架的关键词提取方法 Download PDF

Info

Publication number
CN110119765A
CN110119765A CN201910313279.1A CN201910313279A CN110119765A CN 110119765 A CN110119765 A CN 110119765A CN 201910313279 A CN201910313279 A CN 201910313279A CN 110119765 A CN110119765 A CN 110119765A
Authority
CN
China
Prior art keywords
word
keyword
sequence
text
vector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910313279.1A
Other languages
English (en)
Other versions
CN110119765B (zh
Inventor
孟利民
郑申文
蒋维
应颂翔
林梦嫚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University of Technology ZJUT
Original Assignee
Zhejiang University of Technology ZJUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University of Technology ZJUT filed Critical Zhejiang University of Technology ZJUT
Priority to CN201910313279.1A priority Critical patent/CN110119765B/zh
Publication of CN110119765A publication Critical patent/CN110119765A/zh
Application granted granted Critical
Publication of CN110119765B publication Critical patent/CN110119765B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/205—Parsing

Abstract

一种基于Seq2seq框架的关键词提取方法，利用Seq2seq框架创建序列模型，引入注意力机制，提取文本中关键词的特征，并在解码端融入指针网络模型和Coverage机制来提高潜在关键词的注意力分布，然后采用softmax损失函数来训练网络模型，最终在模型预测阶段，利用Beam Search集束搜索算法生成一个最大概率的关键词序列作为关键词结果集，得到合适的关键词。本发明方法很好的考虑到长文本中的深层次语义，结合上下文信息语境，计算词语的分布概率，并更好的解决了低频词和生成式任务重复问题，提高了关键词提取的准确率。

Description

一种基于Seq2seq框架的关键词提取方法
技术领域
本发明涉及自然语言处理领域，具体涉及一种基于Seq2seq框架的关键词提取方法。
背景技术
随着移动互联网技术、电子商务、以及社交媒体的迅速发展，使得现阶段的文本数据呈现爆炸式增长，据市场研究调查显示，每两年全球的数据量便翻一番，以这样惊人的速度增长，必然给人们造成信息过载的问题。目前，在这浩瀚的数据宇宙中，其组成大多数是非结构化的文本数据，如何从这些文本数据中抽取有用的信息，解决信息过载问题，已成为当前的一个迫切需求。
关键词抽取作为文本挖掘中一项重要的技术，是信息检索、文本分类以及推荐系统等的基础性和必要性的工作，已成为专家学者们的研究热点。文本关键词浓缩了整篇文档的主旨和要义，是对一篇文本的高度概括。通过从一篇文本中提取具有概括功能的词或短语，可以帮助用户快速检索到用户所需要的信息以及快速的判定文本的需要性，并有效的解决了信息过载的问题。
现阶段提取关键词的方法有很多，采用的主要方法有基于统计TF-IDF的算法、基于图模型的TextRank算法以及基于主题模型的LDA算法。但大多数是利用词频、位置等信息来作为衡量关键词的重要特征，这种方式提取的关键词不能很好的概括文本内容，无法很好的获取句子之间以及关键词之间的深层次语义联系，会造成潜在的有用关键词无法提取出来，从而使抽取的关键词的查准率和查全率都不高。
关键词抽取的词频权重特征、词图共现特征以及文档主题特征都是显式特征，随着深度学习的兴起，特别是Word2vec词向量的提出，使得词嵌入向量能够融入到通过深度学习得到的显式特征中。随着序列到序列框架的提出，利用神经网络模型去学习关键词的特征及其上下文信息，提取文章关键词，从而提高了关键词的查准率和查全率。但这种方式提取的关键词，是基于训练数据生成的词表中的词或短语，如果文本集中的词或短语不在词表中，将会用UNK符号进行标记，对于这些被标记的低频词，无法被解码器正确解码，造成关键词丢失。同时，对于基于循环神经网络模型的生成式任务，由于其自身的局限性，生成的关键词会有重复的现象。而且文本长度越长，重复现象越严重，严重的时候解码器会一直重复上一时间节点的词语。
在当前大数据的背景下，关键词提取作为一项极其重要的基础性工作，得到了大量的研究和实践。但基于神经网络模型抽取关键词的现阶段研究却很少，随着Seq2seq框架的提出，这一方法逐渐成为了研究热点。专利申请号CN201810211285.1提出了一种基于Seq2seq神经网络模型的关键词抽取方法，它在循环神经网络中引入了注意力机制和复制机制，使得该神经网络能够预测出词汇表和源文档以外的关键词，提高了关键词抽取的质量。但对于其生成的关键词的重复现象，没有给出一种解决方法。
发明内容
本发明为克服上述不足之处，提供一种基于Seq2seq框架的关键词提取方法。本发明利用Seq2seq框架创建序列模型，引入注意力机制，提取文本中关键词的特征，并在解码端融入指针网络模型和Coverage机制来提高潜在关键词的注意力分布，然后采用softmax损失函数来训练网络模型，最终在模型预测阶段，利用Beam Search集束搜索算法生成一个最大概率的关键词序列作为关键词结果集，得到合适的关键词。本发明方法很好的考虑到司法长文本中的深层次语义，结合上下文信息语境，计算词语的相关度，并更好的解决了低频词和生成式任务重复问题，提高了关键词提取的准确率。
一种基于Seq2seq框架的关键词提取方法，包括如下步骤：
(1)收集司法领域的不同类别的裁判文书数据，并对不同类别的裁判文书数据进行预处理，得到训练数据。具体步骤如下：
(1.1)收集数据：收集司法领域的不同类别的裁判文书，有婚姻家庭类、交通事故类以及劳动纠纷类等。
(1.2)数据初步预处理：由于数据文本质量对训练出的模型产生重大的影响，需对相似的文本去重，低质量文本过滤，较短的文本删除等处理。
(1.3)关键词提取：由于采用的是基于Seq2seq框架进行关键词提取，故需要在人工干预的情况下，用相关的关键词提取算法对裁判文书进行关键词提取，并对提取的关键词进行复检，形成满足训练所需的文本关键词对。
(1.4)对文本进行分词：利用结巴分词对司法文本进行中文分词，并建立停用词典和自定义词典，提高分词质量。
(1.5)统计词频并排序：统计文本内容和关键词中每个单词出现的频率，并对词频进行降序排序，生成词表。
(1.6)文本向量化：将词表中的词语转化为词向量(word embedding)的形式。其中词向量是根据步骤(1.5)得到的词表对其进行one-hot编码得到的矩阵M，利用word2vec训练词向量，构建|V|*d的向量矩阵，其中权值的矩阵用N表示，V代表词表的大小，d代表词向量的维度。最后得到每个词语的词向量：Q＝M*N。
作为优选，步骤(1.3)的关键词提取算法采用基于统计的TF-IDF算法与基于图模型的TextRank算法相结合，提取文本关键词，并进行人工复检。
作为优选，所述步骤(1.4)处理得到分词过后的文本关键词对，将它划分为三个部分，按照8:1:1的比例将其分为训练集样本A1、验证集样本A2以及测试集样本A3。
(2)采用Seq2seq框架创建序列模型，引入注意力机制，提取文本中关键词的特征，同时在解码端融入指针网络模型和Coverage机制来提高潜在关键词的注意力分布，并利用交叉熵损失函数度量神经网络的预测值，计算与实际值的差距，利用梯度下降法不断进行迭代优化，得到一个最佳的模型并保存。具体步骤如下：
(2.1)encoder-decoder框架(Seq2seq)：编码器-解码器的序列转换框架是一种应用于Sequence to Sequence这一类序列转换问题的神经网络框架，其中编码器就是将输入的文本序列转化为语义向量，解码器就是将编码器转化出的语义向量再次转化成文本序列。假设输入文本序列[w0,w1,…,wn,EOS]，将该序列用词向量进行表示得到[x0,x1,…,xn,EOS]，其中EOS为句末标记。循环神经网络(RNN)作为基本的神经网络对输入序列和输出序列进行学习，在编码端，RNN通过不断地将上一次的输出作为当前时刻的输入，共享神经网络单元和参数，每一个时刻使用同一个网络单元，将长度不一的输入序列转化为固定维度的向量。RNN每一个时刻神经网络单元的计算公式如下所示：
h(t)＝f(h(t-1),yt-1,c) (1)
其中h(t)为隐藏层的状态，h(t-1)为上一时刻隐藏层的状态，yt-1为上一时刻的输出作为当前时刻的输入，c为编码后的语义向量，f是一个非线性的激活函数，f可以是双曲正切函数tanh或者sigmoid函数(0-1之间)。
在解码端，由编码器最终输出的语义编码c和前一次生成的输出序列[y0,y1,…,yt-1]计算本次的输出yt。解码器需要经过一个输出层softmax，来计算解码时刻对应于词表中每个单词的概率。其表达式为：
P(yt|yt-1,yt-2,…,y1,c)＝g(h(t),yt-1,c) (2)
对于整个输入编码和解码过程中，本发明使用梯度优化算法以及最大似然条件概率为损失函数来进行模型的训练和优化。其表达式为：
其中θ为相应模型中的参数，xn为输入序列，yn为输出的序列。
作为优选，其中输入序列[x0,x1,…,xn]作为一个batch，但输入的文本肯定会有长短不一，又要求编码成相同的文本长度，则将每个batch中的最大序列(max_seq)作为每一批次的固定文本长度，不足的文本则在样本后面用PAD进行标记，batch取值为L。
(2.2)引入注意力机制：由步骤(2.1)中编码端得到最终的语义向量c，是作为编码和解码直接的唯一桥梁，当输入序列为较长的文本向量时，在编码解码时会造成数据特征丢失严重和细节信息缺失问题，故引入注意力机制(Attention Mechanism)。假设在预测当前i时刻的词语时，在注意力机制的作用下，不仅会关注在相对应的时刻下编码最终生成的语义向量c，还会关注原输入序列所有单词，并生成每个单词ci在相对应的时刻的概率分布。其词语权重表达式为：
eij＝a(si-1,hj) (4)
其中si-1为解码器上一个隐藏层的状态，hj为编码器端j时刻输出的向量。
所有词语权重计算出来之后，需要对其进行归一化处理，其表达式为：
最后对它们的结果进行求和传送给ci。其表达式如下：
其中Tx代表源输入文本的长度，hj是源输入文本中第j个单词的语义编码，aij代表在目标输出第i个词语时源输入文本中第j个单词的注意力分配系数，ci为上下文向量(context vector)。
(2.3)融合解码器注意力的指针网络模型：由步骤(2.2)得到的结果，其提取的关键词局限于词表的规模，对于不在词表中且出现在原文本中词语，通常会被标记为unknownword(UNK)，这些未登录词无法被正确解码。为了解决未登录词(OOV)的问题，故融合解码器注意力的指针网络模型，将解码端最后输出预测序列的概率，分为生成模式和拷贝模式，对OOV词采用拷贝模式。解码器注意力中包含了两个部分，第一个部分是词表，用one hot向量表示，第二部分是encoder的隐藏状态，即输入的句子，之所以用隐藏状态是因为里面包含有位置信息，这个对词语生成很重要。其公式表达为：
p(yt|ht,yt-1,ct,M)＝p(yt,c|ht,yt-1,ct,M)+p(yt,g|ht,yt-1,ct,M) (7)
其中M是输入隐藏层状态的集合，ct是注意力权重，ht是输出的隐藏状态，g代表生成模式，c代表拷贝模式。生成模式还是拷贝模式是取决于概率大小来进行选择，加了一个简单的规则限制，如果yt在输入中没有出现，则p(yt,c|st,yt-1,ct,M)＝0，会选择生成模式；如果yt在输入中有出现且词表中没有，则p(yt,g|st,yt-1,ct,M)＝0，会选择拷贝模式。
(2.4)融合覆盖机制：由于模型的局限性，即使引入了注意力机制，也无法很好的关注到已生成的关键词，它会忘记之前的信息，会重复性的关注相同的部分，从而提取的关键词会有重复现象。对于较长的文本序列，这一现象会更加严重。为了解决关键词提取重复性问题，故融合覆盖机制，对注意力机制部分做了一些改动。其表达式如下：
其中c不是编码端最终输出的语义向量，是一个新的参数：
其中ct是一个长度为输入长度的向量，at′是注意力权重。加这个参数是为了让注意力机制知道其之前生成词的信息，如果之前生成过的单词那么需要对其进行抑制，主要通过loss函数加惩罚项进行抑制实现。其表达式为：
如果该词之前出现过，则就会变得很大，为了减小loss，需要变小(因为loss是取两者间较小值)，越小即这个词的位置被关注的概率就越小。
(2.5)在训练过程中，利用交叉熵损失函数度量神经网络的预测值，计算与实际值的差距，利用梯度下降法不断的优化函数，不断的进行迭代优化，得到一个最佳的模型MA1并保存。
作为优选，步骤(2.5)中训练模型的方法为：
(i)设置超参数，利用Adagrad梯度下降法进行优化训练。
(ii)设置为训练模式，然后模型将会使用train.bin文件作为训练数据并开始训练，由于模型复杂，数据量较大，初始化模型和训练迭代速度较慢，为了加快训练速度，将降低最大编码时间步长(max_enc_steps)和最大解码时间步长(max_dec_steps)，这样可以在模型训练的早期阶段执行更快的迭代。
(iii)经过交叉验证，为了得到较好关键词结果集，需要在训练期间增加序列长度。在本实施例的训练过程中，通过逐步增加max_enc_steps和max_dec_steps，使训练的模型更好。在增加max_enc_steps和max_dec_steps时，需要中断训练进程，设置参数后再重新启动作业。
(iv)设置并发验证评估模式，然后模型将会使用eval.bin文件作为验证数据对正在训练的模型进行验证，并记录损失值。评估模式将保存到目前为止在验证数据上获得最低损失值的模型，通过不断的迭代训练，即可保存一个最佳模型MA1。
(3)在模型测试阶段，采用集束搜索算法(Beam Search)生成一个最大概率的关键词序列作为关键词结果集，得到合适的关键词序列。具体步骤如下：
(3.1)设置解码测试模式，然后将会加载步骤(2.5)训练得到的最佳模型MA1，使用test.bin文件作为测试数据并开始进行测试。
(3.2)利用Beam Search算法，在每一个时间步都取出最优的前K个词语。
(3.3)生成第一个词的时候，经过softmax层计算词表中各个词语的概率后，选择概率最高的前K个单词，则当前新序列为这K个单词组成的序列。
(3.4)不断循环迭代，直至已产生结束符号序列已达到K个或者达到设定的时间步则停止循环，取概率最高的序列最为最终的关键词序列，并将生成的关键词序列写入TXT文件，否则回到步骤(3.3)。
(4)采用准确率、召回率以及F1值对提取好的关键词进行评估。准确率计算公式如下：
召回率以及F1的计算公式如下:
其中，N为文档数量，Pi为文档i所提取的关键词，Ti是由步骤(1.3)得到的关键词。F1值为准确率和召回率评估指标的调和值，用于综合反应整体指标。
本发明采用的技术方案有以下技术特点：
(1)本发明采用一种融合解码器的指针网络模型(Pointer Networks)，将解码端最后输出预测序列的概率，分为生成模式和复制模式，使其能够更好的解决未登录词问题。
(2)本发明将注意力机制(Attention Mechanism)与覆盖机制(Coveragemechanism)相结合，有效的解决了Seq2seq模型生成句子中经常有重复片段的现象。
(3)本发明能够很好的考虑到司法长文本中的深层次语义，结合上下文信息语境，计算词语的分布概率，提高了关键词提取的准确度。
(4)利用集束搜索(Beam Search)算法，选择出现概率最大的词作为输出，并将该词作为下一个时间步的输入，从而生成一个最大概率的关键词序列作为关键词结果集，提高了生成关键词的准确率。
附图说明
附图1本发明的系统结构示意图
附图2是本发明的技术方案流程示意图
附图3是本发明的编码-解码流程示意图
附图4是本发明的提取结果示意图
具体实施方式
下面结合具体的实施实例对本发明进行详细说明，但本发明的保护范围不限于下述的实施例。
如图1所示，系统的结构包括：数据采集模块、数据预处理模块、特征提取模块、网络训练模块、测试评估模块；所述的数据采集模块用于爬取裁判文书数据，并对爬取的裁判文书数据进行结构化；数据预处理模块，对低质量的数据进行去短、去重、去噪，并进行文本分词，关键词提取并进行人工复检作为训练语料，统计词频并排序，文本向量化；特征提取模块，采用Seq2seq框架创建序列模型，引入注意力机制，提取文本中关键词的特征；网络训练模块，利用循环神经网络对输入的向量进行训练，得到最终的训练模型；测试评估模块，采用BeamSearch集束搜索算法生成一个最大概率的关键词序列作为关键词结果集，得到合适的关键词，并用正确率、召回率以及F1值对提取的关键词进行评估。
如图2所示，一种基于Seq2seq框架的关键词提取方法包括如下步骤：
(1)数据预处理
(1.1)收集数据：本实施例共收集近3万的裁判文书数据集，其中裁判文书类型为20大类。
(1.2)数据初步预处理：由于数据文本质量对训练出的模型产生重大的影响，需对相似的文本去重，低质量文本过滤，较短的文本删除等处理。利用Jaccard相似度算法对于相似的文本去重，相似阈值设为0.8；将字符长度小于100个的进行删除，利用正则匹配文本噪声较大的进行删除。
(1.3)关键词提取：根据步骤(1.2)数据初步的预处理，对文本数据进行关键词提取，形成文本关键词对。主要是在人工干预的情况下，建立司法领域的专业词典，将基于统计的TF-IDF算法与基于图模型的TextRank算法相结合，提取出5个关键词，并对提取的结果进行人工复检，形成文本关键词对。
(1.4)对文本进行分词：根据步骤(1.3)处理得到的文本关键词对，利用Jieba分词对司法文本进行中文分词，并建立停用词典，移除掉语气词、标点符号、数字以及特殊符号等；建立司法领域的自定义词典，使其能够分出原始词库中没有的词以及优先分出一些词，提高分词质量。
(1.5)数据分割：根据步骤(1.4)处理得到分词过后的文本关键词对，将它划分为三个部分，按照8:1:1的比例将其分为训练集样本A1、验证集样本A2以及测试集样本A3。
(1.6)统计词频并排序：根据步骤(1.5)处理得到分词过后的训练集样本中文本关键词对，统计文本内容和关键词中每个单词出现的频率，并对词频进行降序排序，生成一个vocab.bin文件的词表，词表大小为144276，在这里选取了词频为前50K的词语，主要是因为指针网络模型有能力处理未登录词(OOV)的能力。需要构建向量的词表如下：
(1.7)文本向量化：由步骤(1.6)得到词表大小为50K，根据词表对其进行one-hot编码，得到1*50K的矩阵M。在本实施例中，将每个词表示为一个维度为128的向量，即每个词语有128个特征，那么隐藏层则为|V|*d的向量矩阵，其中隐藏层的矩阵用N表示，V代表词表的大小，d代表词向量的维度。最后得到每个词语的词向量：Q＝M*N。
(2)采用Seq2seq框架，创建序列模型，提取数据特征
(2.1)文本嵌入：在本实施例中，为方便计算机更好的识别文本，对于文本中不在词表的词语用UNK进行标记，并在每个文本的开始处用START标记，末尾用EOS进行标记。在本实施例中，将一个个输入序列[x0,x1,…,xn]作为一个batch，但输入的文本肯定会有长短不一，又要求编码成相同的文本长度，则将每个batch中的最大序列(max_seq)作为每一批次的固定文本长度，不足的文本则在样本后面用PAD进行标记。其中batch取值为16。假设当前的max_seq＝300，则输入一个文本序列[w0,w1,w2,…,wn](0≤n≤max_seq)，batch的结构为：
其中wn＝wmax_seq＝w300，w0,1,…,n的词向量为[x0,x1,x2,…,xn](n＝128)。
每一批次输入数据的大小为shape＝(batch,d)，总共要输入max_seq＝300次。以此类推，对于司法文本的训练集A1最终的文本向量空间为V∈R[L/batch]*max_seq*shape，其中L为训练集A1的文本总个数。
(2.2)将步骤(2)得到的文本向量作为Seq2seq编码端的输入，每一次编码，都会有一个隐藏层的状态，由公式(1)得到的隐藏层状态不仅由当前输入的词语向量有关，而且还与上一时刻编码的隐藏层状态有关。解码器的原理和编码器类似，解码完成各个时刻文本序列的隐藏层状态，再将其语义信息进行汇总，经过公式(6)计算得到文本语义信息编码ci。其中编码示意图如图3-1所示。
最后解码器输出的结果需经过softmax层，由公式(2)计算得到在当前时刻输入的词语向量，词表中每一个词语的权重。在编码解码过程中，本实施例使用梯度优化算法以及最大似然条件概率为损失函数来进行模型的训练和优化，通过公式(3)来提高模型的训练效率，减小每次迭代的计算开销。其中解码示意图如图3-2所示。
(2.3)注意力模型通过接收由输入序列[h0,h1,…,hn]和由步骤(2.2)得到的语义向量ci，并返回向量Z，该向量是返回yi的加权平均值，并且权重依赖于yi和语义向量ci的相关性。其中语义向量ci是上下文信息，即已经生成的词语，hi则是代表目标输出文本i-1时刻的隐层状态。接着将使用tanh层将语义向量ci和hi做一次聚合，得到序列[m0,m1,…,mn]，再将得到的结果经过softmax进行归一化，就得到符合概率分布取值区间的注意力分配概率分布数值。则最终得到输出值Z，公式如下：
Z＝∑isihi (14)
其中si是mi进行归一化的softmax值，hi是代表目标输出文本i-1时刻的隐层状态。输出值Z是所有的hi加权平均值。
(2.4)指针网络模型在预测的时候使用了一个扩展词表，可分为两部分，一部分为原来预设的基本词表，另一部分是源文本中出现的OOV未登录词。拷贝模式会利用编码器注意力概率分布来预测从源文本拷贝词的位置；生成模式会利用词表的概率分布来选择生成词。其中生成超出词汇的能力是指针网络模型的主要优势。
在本实施例中，源文本单词序列[x0,x1,…,xn]，目标单词序列[y0,y1,…,yn]，软开关序列[z0,z1,…,zn]，指针网络模型就是为了最大化目标单词的概率。由于zi不是只有0或1两种值，而是介于0和1之间的概率，通过阈值0.5来决定是通过指向复制单词，还是从固定词表中生成词。每一时间步生成词的可能性pgen∈[0,1]，它是通过公式(7)计算得到的，pgen作为一个软开关，来控制是从词汇表中生成词语，还是从输入序列中根据Attention的分布pvocab通过抽样来复制一个词。
(2.5)对于生成模型的常见重复问题，而引入覆盖机制并与注意力机制相结合，可以影响注意力机制在每一个时刻输出词表中每个词语的权重，使得接下来的每一个时刻的生成任务中会更加关注未被覆盖的部分，从而有效的解决生成式任务的重复问题。
在本实施例中，通过引入一个新的参数ct，长度为当前批次的最长文本(max_seq)的向量，加这个参数是为了让注意力机制知道其之前生成词的信息，如果之前生成过的单词那么需要对其进行抑制，主要通过loss函数加惩罚项进行抑制实现。通过公式(10)计算loss函数，如果该词之前出现过，则就会变得很大，为了减小loss，需要变小(因为loss是取两者间较小值)，越小即这个词的位置被关注的概率就越小，从而有效的抑制了生成词语的重复现象。
(2.6)本实施例采用Encoder和Decoder的层数为1，词向量的维度为128，隐藏层的大小为256维，Batch Size为16，词表大小为50000。利用Adagrad梯度下降法进行优化训练，学习率lr为0.15，初始累加器值为0.1。
(2.7)设置为训练模式，然后模型将会使用train.bin文件作为训练数据并开始训练，由于模型复杂，数据量较大，初始化模型和训练迭代速度较慢，为了加快训练速度，将降低最大编码时间步长(max_enc_steps)和最大解码时间步长(max_dec_steps)，这样可以在模型训练的早期阶段执行更快的迭代。本实施例中max_enc_steps初始化为100，max_dec_steps初始化为40。
经过交叉验证，为了得到较好关键词结果集，需要在训练期间增加序列长度。在本实施例的训练过程中，通过逐步增加max_enc_steps和max_dec_steps，使训练的模型更好。在增加max_enc_steps和max_dec_steps时，需要中断训练进程，设置参数后再重新启动作业。
(2.8)设置并发验证评估模式，然后模型将会使用eval.bin文件作为验证数据对正在训练的模型进行验证，并记录损失值。评估模式将保存到目前为止在验证数据上获得最低损失值的模型，通过不断的迭代训练，即可保存一个最佳模型MA1。
(3)利用集束搜索算法，在预测阶段选择最优解，其中提取的部分结果如图4所示：
(3.1)设置解码测试模式，然后将会加载步骤(2.8)训练得到的最佳模型MA1，使用test.bin文件作为测试数据并开始进行测试。
(3.2)利用Beam Search算法，在每一个时间步都取出最优的前K个词语。在本实施例中词表大小V为50K，并经过交叉验证，beam_size取值为5的时候，生成的关键词集的查准率和查全率会更高。
(3.3)生成第一个词的时候，经过softmax层计算词表中各个词语的概率后，选择概率最高的前5个单词，则当前新序列为这5个单词组成的序列。
(3.4)将最新产生的序列继续输入神经网络，进行下一步迭代，得到5*5个组合结果，并从已生成的序列中选择出概率最高的前5个结果。
(3.5)不断循环迭代，直至已产生结束符号序列已达到5个或者达到设定的时间步则停止循环，取概率最高的序列最为最终的关键词序列，并将生成的关键词写入TXT文件，否则回到步骤(3.4)。
(3.6)由步骤(3.5)最后生成的关键词结果集TXT文件。
(4)根据公式(11)、(12)和公式(13)计算关键词的准确率(P值)、召回率(R值)以及F1值对其进行评估。。
本说明书实施例所述的内容仅仅是对发明构思的实现形式的列举，本发明的保护范围不应当被视为仅限于实施例所陈述的具体形式，本发明的保护范围也及于本领域技术人员根据本发明构思所能够想到的等同技术手段。

Claims (5)

1.一种基于Seq2seq框架的关键词提取方法，包括如下步骤：
(1)收集司法领域的不同类别的裁判文书数据，并对不同类别的裁判文书数据进行预处理，得到训练数据；具体步骤如下：
(1.1)收集数据：收集司法领域的不同类别的裁判文书，有婚姻家庭类、交通事故类以及劳动纠纷类等；
(1.2)数据初步预处理：由于数据文本质量对训练出的模型产生重大的影响，需对相似的文本去重，低质量文本过滤，较短的文本删除等处理；
(1.3)关键词提取：由于采用的是基于Seq2seq框架进行关键词提取，故需要在人工干预的情况下，用相关的关键词提取算法对裁判文书进行关键词提取，并对提取的关键词进行复检，形成满足训练所需的文本关键词对；
(1.4)对文本进行分词：利用结巴分词对司法文本进行中文分词，并建立停用词典和自定义词典，提高分词质量；
(1.5)统计词频并排序：统计文本内容和关键词中每个单词出现的频率，并对词频进行降序排序，生成词表；
(1.6)文本向量化：将词表中的词语转化为词向量(word embedding)的形式；其中词向量是根据步骤(1.5)得到的词表对其进行one-hot编码得到的矩阵M，利用word2vec训练词向量，构建|V|*d的向量矩阵，其中权值的矩阵用N表示，V代表词表的大小，d代表词向量的维度；最后得到每个词语的词向量：Q＝M*N；
(2)采用Seq2seq框架创建序列模型，引入注意力机制，提取文本中关键词的特征，同时在解码端融入指针网络模型和Coverage机制来提高潜在关键词的注意力分布，并利用交叉熵损失函数度量神经网络的预测值，计算与实际值的差距，利用梯度下降法不断进行迭代优化，得到一个最佳的模型并保存；具体步骤如下：
(2.1)encoder-decoder框架(Seq2seq)：编码器-解码器的序列转换框架是一种应用于Sequence to Sequence这一类序列转换问题的神经网络框架，其中编码器就是将输入的文本序列转化为语义向量，解码器就是将编码器转化出的语义向量再次转化成文本序列；假设输入文本序列[w0,w1,…,wn,EOS]，将该输入序列用词向量进行表示得到[x0,x1,…,xn,EOS]，其中EOS为句末标记；循环神经网络(RNN)作为基本的神经网络对输入序列和输出序列进行学习，在编码端，RNN通过不断地将上一次的输出作为当前时刻的输入，共享神经网络单元和参数，每一个时刻使用同一个网络单元，将长度不一的输入序列转化为固定维度的向量；RNN每一个时刻神经网络单元的计算公式如下所示：
h(t)＝f(h(t-1),yt-1,c) (1)
其中h(t)为隐藏层的状态，h(t-1)为上一时刻隐藏层的状态，yt-1为上一时刻的输出作为当前时刻的输入，c为编码后的语义向量，f是一个非线性的激活函数，f可以是双曲正切函数tanh或者sigmoid函数(0-1之间)；
在解码端，由编码器最终输出的语义编码c和前一次生成的输出序列[y0,y1,…,yt-1]计算本次的输出yt；解码器需要经过一个输出层softmax，来计算解码时刻对应于词表中每个单词的概率；其表达式为：
P(yt|yt-1,yt-2,…,y1,c)＝g(h(t),yt-1,c) (2)
对于整个输入编码和解码过程中，本发明使用梯度优化算法以及最大似然条件概率为损失函数来进行模型的训练和优化；其表达式为：
其中θ为相应模型中的参数，xn为输入序列，yn为输出的序列；
(2.2)引入注意力机制：由步骤(2.1)中编码端得到最终的语义向量c，是作为编码和解码直接的唯一桥梁，当输入序列为较长的文本向量时，在编码解码时会造成数据特征丢失严重和细节信息缺失问题，故引入注意力机制(Attention Mechanism)；假设在预测当前i时刻的词语时，在注意力机制的作用下，不仅会关注在相对应的时刻下编码最终生成的语义向量c，还会关注原输入序列所有单词，并生成每个单词ci在相对应的时刻的概率分布；其词语权重表达式为：
eij＝a(si-1,hj) (4)
其中si-1为解码器上一个隐藏层的状态，hj为编码器端j时刻输出的向量；
所有词语权重计算出来之后，需要对其进行归一化处理，其表达式为：
最后对它们的结果进行求和传送给ci；其表达式如下：
其中Tx代表源输入文本的长度，hj是源输入文本中第j个单词的语义编码，aij代表在目标输出第i个词语时源输入文本中第j个单词的注意力分配系数，ci为上下文向量(contextvector)；
(2.3)融合解码器注意力的指针网络模型：由步骤(2.2)得到的结果，其提取的关键词局限于词表的规模，对于不在词表中且出现在原文本中词语，通常会被标记为unknownword(UNK)，这些未登录词无法被正确解码；为了解决未登录词(OOV)的问题，故融合解码器注意力的指针网络模型，将解码端最后输出预测序列的概率，分为生成模式和拷贝模式，对OOV词采用拷贝模式；解码器注意力中包含了两个部分，第一个部分是词表，用one hot向量表示，第二部分是encoder的隐藏状态，即输入的句子，之所以用隐藏状态是因为里面包含有位置信息，这个对词语生成很重要；其公式表达为：
p(yt|ht,yt-1,ct,M)＝p(yt,c|ht,yt-1,ct,M)+p(yt,g|ht,yt-1,ct,M) (7)
其中M是输入隐藏层状态的集合，ct是注意力权重，ht是输出的隐藏状态，g代表生成模式，c代表拷贝模式；生成模式还是拷贝模式是取决于概率大小来进行选择，加了一个简单的规则限制，如果yt在输入中没有出现，则p(yt,c|st,yt-1,ct,M)＝0，会选择生成模式；如果yt在输入中有出现且词表中没有，则p(yt,g|st,yt-1,ct,M)＝0，会选择拷贝模式；
(2.4)融合覆盖机制：由于模型的局限性，即使引入了注意力机制，也无法很好的关注到已生成的关键词，它会忘记之前的信息，会重复性的关注相同的部分，从而提取的关键词会有重复现象；对于较长的文本序列，这一现象会更加严重；为了解决关键词提取重复性问题，故融合覆盖机制，对注意力机制部分做了一些改动；其表达式如下：
其中c不是编码端最终输出的语义向量，是一个新的参数：
其中ct是一个长度为输入长度的向量，at′是注意力权重；加这个参数是为了让注意力机制知道其之前生成词的信息，如果之前生成过的单词那么需要对其进行抑制，主要通过loss函数加惩罚项进行抑制实现；其表达式为：
如果该词之前出现过，则就会变得很大，为了减小loss，需要变小(因为loss是取两者间较小值)，越小即这个词的位置被关注的概率就越小；
(2.5)在训练过程中，利用交叉熵损失函数度量神经网络的预测值，计算与实际值的差距，利用梯度下降法不断的优化函数，不断的进行迭代优化，得到一个最佳的模型MA1并保存；
(3)在模型测试阶段，采用集束搜索算法(Beam Search)生成一个最大概率的关键词序列作为关键词结果集，得到合适的关键词序列；具体步骤如下：
(3.1)设置解码测试模式，然后将会加载步骤(2.5)训练得到的最佳模型MA1，使用test.bin文件作为测试数据并开始进行测试；
(3.2)利用Beam Search算法，在每一个时间步都取出最优的前K个词语；
(3.3)生成第一个词的时候，经过softmax层计算词表中各个词语的概率后，选择概率最高的前K个单词，则当前新序列为这K个单词组成的序列；
(3.4)不断循环迭代，直至已产生结束符号序列已达到K个或者达到设定的时间步则停止循环，取概率最高的序列最为最终的关键词序列，并将生成的关键词序列写入TXT文件，否则回到步骤(3.3)；
(4)采用准确率、召回率以及F1值对提取好的关键词进行评估；准确率计算公式如下：
召回率以及F1的计算公式如下:
其中，N为文档数量，Pi为文档i所提取的关键词，Ti是由步骤(1.3)得到的关键词；F1值为准确率和召回率评估指标的调和值，用于综合反应整体指标。
2.根据权利要求1所述的一种基于Seq2seq框架的关键词提取方法，其特征在于：步骤(2.1)中的输入序列[x0,x1,…,xn]作为一个batch，但输入的文本肯定会有长短不一，又要求编码成相同的文本长度，则将每个batch中的最大序列(max_seq)作为每一批次的固定文本长度，不足的文本则在样本后面用PAD进行标记，batch取值为L。
3.根据权利要求1所述的一种基于Seq2seq框架的关键词提取方法，其特征在于：步骤(2.3)所述指针网络模型是为了解决未登录词的问题，故融合解码器注意力的指针网络模型，根据解码端最后输出预测序列的概率，分为生成模式和拷贝模式，对未登录词采用拷贝模式；其公式表达为：
p(yt|ht,yt-1,ct,M)＝p(yt,c|ht,yt-1,ct,M)+p(yt,g|ht,yt-1,ct,M)
其中M是输入隐藏层状态的集合，ct是注意力权重，ht是输出的隐藏状态，g代表生成模式，c代表拷贝模式；生成模式还是拷贝模式是取决于概率大小来进行选择，加了一个简单的规yt则限制，如果在输入中没有出现，则p(yt,c|st,yt-1,ct,M)＝0，会选择生成模式；如果yt在输入中有出现且词表中没有，则p(yt,g|st,yt-1,ct,M)＝0，会选择拷贝模式。
4.根据权利要求1所述的一种基于Seq2seq框架的关键词提取方法，其特征在于：步骤(2.4)所述覆盖机制为了解决关键词提取重复性问题，故引入覆盖机制，通过loss函数加惩罚项进行抑制实现；其表达式为：
其中ci t是当前时刻i的一个长度为输入长度的向量，ai t是当前时刻i的注意力权重；如果该词之前出现过，则就会变得很大，为了减小loss，需要变小(因为loss是取两者间较小值)，越小即这个词的位置被关注的概率就越小。
5.根据权利要求1所述的一种基于Seq2seq框架的关键词提取方法，其特征在于：步骤(3)所述的集束搜索算法(Beam Search)是为了生成一个最大概率的关键词序列作为关键词结果集，得到合适的关键词序列；具体步骤如下：
(5.1)设置解码测试模式，然后将会加载步骤(2.5)训练得到的最佳模型MA1，使用test.bin文件作为测试数据并开始进行测试；
(5.2)利用Beam Search算法，在每一个时间步都取出最优的前K个词语；
(5.3)生成第一个词的时候，经过softmax层计算词表中各个词语的概率后，选择概率最高的前K个单词，则当前新序列为这K个单词组成的序列；
(5.4)不断循环迭代，直至已产生结束符号序列已达到K个或者达到设定的时间步则停止循环，取概率最高的序列最为最终的关键词序列，并将生成的关键词序列写入TXT文件，否则回到步骤(5.3)。
CN201910313279.1A 2019-04-18 2019-04-18 一种基于Seq2seq框架的关键词提取方法 Active CN110119765B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910313279.1A CN110119765B (zh) 2019-04-18 2019-04-18 一种基于Seq2seq框架的关键词提取方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910313279.1A CN110119765B (zh) 2019-04-18 2019-04-18 一种基于Seq2seq框架的关键词提取方法

Publications (2)

Publication Number Publication Date
CN110119765A true CN110119765A (zh) 2019-08-13
CN110119765B CN110119765B (zh) 2021-04-06

Family

ID=67521052

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910313279.1A Active CN110119765B (zh) 2019-04-18 2019-04-18 一种基于Seq2seq框架的关键词提取方法

Country Status (1)

Country Link
CN (1) CN110119765B (zh)

Cited By (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110599065A (zh) * 2019-09-23 2019-12-20 合肥工业大学 基于指针神经网络的多星应急任务规划方法及系统
CN110619478A (zh) * 2019-09-23 2019-12-27 合肥工业大学 基于指针神经网络的单星应急任务规划方法及系统
CN110674252A (zh) * 2019-08-26 2020-01-10 银江股份有限公司 一种面向司法领域的高精度语义搜索系统
CN110688450A (zh) * 2019-09-24 2020-01-14 创新工场(广州)人工智能研究有限公司 一种基于蒙特卡洛树搜索的关键词生成方法、基于强化学习的关键词生成模型及电子设备
CN110851584A (zh) * 2019-11-13 2020-02-28 成都华律网络服务有限公司 一种法律条文精准推荐系统和方法
CN110866393A (zh) * 2019-11-19 2020-03-06 北京网聘咨询有限公司 基于领域知识库的简历信息抽取方法及系统
CN111144127A (zh) * 2019-12-25 2020-05-12 科大讯飞股份有限公司 文本语义识别方法及其模型的获取方法及相关装置
CN111192567A (zh) * 2019-12-27 2020-05-22 青岛海信智慧家居系统股份有限公司 一种智能设备的交互信息的生成方法及装置
CN111368697A (zh) * 2020-02-28 2020-07-03 中国建设银行股份有限公司 一种信息识别方法和装置
CN111428593A (zh) * 2020-03-12 2020-07-17 北京三快在线科技有限公司 一种文字识别方法、装置、电子设备及存储介质
CN111667192A (zh) * 2020-06-12 2020-09-15 北京卓越讯通科技有限公司 一种基于nlp大数据的安全生产风险评估方法
CN111667238A (zh) * 2020-05-26 2020-09-15 南开大学 一种基于技能感知多注意力机制的招聘启事生成方法
CN111708877A (zh) * 2020-04-20 2020-09-25 中山大学 基于关键信息选择和变分潜在变量建模的文本摘要生成法
CN111737401A (zh) * 2020-06-22 2020-10-02 首都师范大学 一种基于Seq2set2seq框架的关键词组预测方法
CN111915059A (zh) * 2020-06-29 2020-11-10 西安理工大学 基于注意力机制的Seq2seq泊位占有率预测方法
CN112163405A (zh) * 2020-09-08 2021-01-01 北京百度网讯科技有限公司 问题的生成方法和装置
CN112183544A (zh) * 2020-09-29 2021-01-05 厦门大学 一种融合双通道的三层架构数学公式识别方法、系统和存储设备
CN112417138A (zh) * 2020-11-17 2021-02-26 北京计算机技术及应用研究所 一种结合指针生成式与自注意力机制的短文本自动摘要方法
CN112464023A (zh) * 2020-12-04 2021-03-09 南京邮电大学 基于seq2seq算法的音乐和词语的情感语义匹配算法
CN112528655A (zh) * 2020-12-18 2021-03-19 北京百度网讯科技有限公司 关键词生成方法、装置、设备及存储介质
CN112784047A (zh) * 2021-01-25 2021-05-11 重庆邮电大学 一种基于自注意力机制的可控可解释司法文本分类方法
CN112800737A (zh) * 2019-10-29 2021-05-14 京东数字科技控股有限公司 自然语言文本生成方法和装置以及对话系统
CN112800757A (zh) * 2021-04-06 2021-05-14 杭州远传新业科技有限公司 关键词生成方法、装置、设备及介质
CN112836474A (zh) * 2021-01-29 2021-05-25 华南师范大学 基于减法门的数学应用题解答处理方法、系统和存储介质
CN112883171A (zh) * 2021-02-02 2021-06-01 中国科学院计算技术研究所 基于bert模型的文档关键词抽取方法及装置
CN112910690A (zh) * 2021-01-18 2021-06-04 武汉烽火技术服务有限公司 基于神经网络模型的网络流量预测方法、装置及设备
CN113032563A (zh) * 2021-03-22 2021-06-25 山西三友和智慧信息技术股份有限公司 一种基于人工遮掩关键词的正则化文本分类微调方法
CN113035231A (zh) * 2021-03-18 2021-06-25 三星（中国）半导体有限公司 关键词检测方法及装置
CN113158659A (zh) * 2021-02-08 2021-07-23 银江股份有限公司 一种基于司法文本的涉案财物计算方法
CN113220870A (zh) * 2021-05-26 2021-08-06 北京理工大学 一种自然语言的摘要生成方法
CN113255344A (zh) * 2021-05-13 2021-08-13 淮阴工学院 一种融合主题信息的关键词生成方法
CN113312473A (zh) * 2021-05-26 2021-08-27 北京理工大学 基于Seq2seq模型的摘要生成方法
CN113420543A (zh) * 2021-05-11 2021-09-21 江苏大学 基于改进Seq2Seq模型的数学试题自动标注方法
CN113792131A (zh) * 2021-09-23 2021-12-14 平安国际智慧城市科技股份有限公司 一种关键词的提取方法、装置、电子设备及存储介质
CN113836307A (zh) * 2021-10-15 2021-12-24 国网北京市电力公司 一种供电服务工单热点发现方法、系统、装置及存储介质
CN114020900A (zh) * 2021-11-16 2022-02-08 桂林电子科技大学 基于融合空间位置注意力机制的图表英语摘要生成方法
CN114064855A (zh) * 2021-11-10 2022-02-18 国电南瑞南京控制系统有限公司 一种基于变压器知识库的信息检索方法及系统
WO2022134759A1 (zh) * 2020-12-21 2022-06-30 深圳壹账通智能科技有限公司 关键词生成方法、装置、电子设备及计算机存储介质
CN115329751A (zh) * 2022-10-17 2022-11-11 广州数说故事信息科技有限公司 针对网络平台发文的关键词提取方法、装置、介质及设备
WO2023060795A1 (zh) * 2021-10-12 2023-04-20 平安科技（深圳）有限公司 关键词自动提取方法、装置、设备及存储介质
CN114036946B (zh) * 2021-11-26 2023-07-07 浪潮卓数大数据产业发展有限公司 一种文本特征提取及辅助检索的系统及方法
CN117290429A (zh) * 2023-11-24 2023-12-26 山东焦易网数字科技股份有限公司 通过自然语言调用数据系统接口的方法
CN117391824A (zh) * 2023-12-11 2024-01-12 深圳须弥云图空间科技有限公司 基于大语言模型和搜索引擎推荐物品的方法及装置
CN117422428A (zh) * 2023-12-19 2024-01-19 尚恰实业有限公司 一种基于人工智能的机器人自动审批方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106709052A (zh) * 2017-01-06 2017-05-24 电子科技大学 一种基于关键词的主题网络爬虫设计方法
CN108376131A (zh) * 2018-03-14 2018-08-07 中山大学 基于seq2seq深度神经网络模型的关键词抽取方法
US20190065460A1 (en) * 2017-08-31 2019-02-28 Ebay Inc. Deep hybrid neural network for named entity recognition
CN109472024A (zh) * 2018-10-25 2019-03-15 安徽工业大学 一种基于双向循环注意力神经网络的文本分类方法
CN109492157A (zh) * 2018-10-24 2019-03-19 华侨大学 基于rnn、注意力机制的新闻推荐方法及主题表征方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106709052A (zh) * 2017-01-06 2017-05-24 电子科技大学 一种基于关键词的主题网络爬虫设计方法
US20190065460A1 (en) * 2017-08-31 2019-02-28 Ebay Inc. Deep hybrid neural network for named entity recognition
CN108376131A (zh) * 2018-03-14 2018-08-07 中山大学 基于seq2seq深度神经网络模型的关键词抽取方法
CN109492157A (zh) * 2018-10-24 2019-03-19 华侨大学 基于rnn、注意力机制的新闻推荐方法及主题表征方法
CN109472024A (zh) * 2018-10-25 2019-03-15 安徽工业大学 一种基于双向循环注意力神经网络的文本分类方法

Cited By (70)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110674252A (zh) * 2019-08-26 2020-01-10 银江股份有限公司 一种面向司法领域的高精度语义搜索系统
CN110619478B (zh) * 2019-09-23 2022-04-22 合肥工业大学 基于指针神经网络的单星应急任务规划方法及系统
CN110619478A (zh) * 2019-09-23 2019-12-27 合肥工业大学 基于指针神经网络的单星应急任务规划方法及系统
CN110599065A (zh) * 2019-09-23 2019-12-20 合肥工业大学 基于指针神经网络的多星应急任务规划方法及系统
CN110599065B (zh) * 2019-09-23 2022-04-22 合肥工业大学 基于指针神经网络的多星应急任务规划方法及系统
CN110688450A (zh) * 2019-09-24 2020-01-14 创新工场(广州)人工智能研究有限公司 一种基于蒙特卡洛树搜索的关键词生成方法、基于强化学习的关键词生成模型及电子设备
CN110688450B (zh) * 2019-09-24 2023-11-17 创新工场(广州)人工智能研究有限公司 一种基于蒙特卡洛树搜索的关键词生成方法、基于强化学习的关键词生成模型及电子设备
CN112800737A (zh) * 2019-10-29 2021-05-14 京东数字科技控股有限公司 自然语言文本生成方法和装置以及对话系统
CN110851584A (zh) * 2019-11-13 2020-02-28 成都华律网络服务有限公司 一种法律条文精准推荐系统和方法
CN110851584B (zh) * 2019-11-13 2023-12-15 成都华律网络服务有限公司 一种法律条文精准推荐系统和方法
CN110866393A (zh) * 2019-11-19 2020-03-06 北京网聘咨询有限公司 基于领域知识库的简历信息抽取方法及系统
CN111144127A (zh) * 2019-12-25 2020-05-12 科大讯飞股份有限公司 文本语义识别方法及其模型的获取方法及相关装置
CN111192567A (zh) * 2019-12-27 2020-05-22 青岛海信智慧家居系统股份有限公司 一种智能设备的交互信息的生成方法及装置
CN111368697A (zh) * 2020-02-28 2020-07-03 中国建设银行股份有限公司 一种信息识别方法和装置
CN111428593A (zh) * 2020-03-12 2020-07-17 北京三快在线科技有限公司 一种文字识别方法、装置、电子设备及存储介质
CN111708877B (zh) * 2020-04-20 2023-05-09 中山大学 基于关键信息选择和变分潜在变量建模的文本摘要生成法
CN111708877A (zh) * 2020-04-20 2020-09-25 中山大学 基于关键信息选择和变分潜在变量建模的文本摘要生成法
CN111667238B (zh) * 2020-05-26 2022-07-29 南开大学 一种基于技能感知多注意力机制的招聘启事生成方法
CN111667238A (zh) * 2020-05-26 2020-09-15 南开大学 一种基于技能感知多注意力机制的招聘启事生成方法
CN111667192A (zh) * 2020-06-12 2020-09-15 北京卓越讯通科技有限公司 一种基于nlp大数据的安全生产风险评估方法
CN111737401A (zh) * 2020-06-22 2020-10-02 首都师范大学 一种基于Seq2set2seq框架的关键词组预测方法
CN111915059B (zh) * 2020-06-29 2023-06-30 西安理工大学 基于注意力机制的Seq2seq泊位占有率预测方法
CN111915059A (zh) * 2020-06-29 2020-11-10 西安理工大学 基于注意力机制的Seq2seq泊位占有率预测方法
CN112163405A (zh) * 2020-09-08 2021-01-01 北京百度网讯科技有限公司 问题的生成方法和装置
CN112183544A (zh) * 2020-09-29 2021-01-05 厦门大学 一种融合双通道的三层架构数学公式识别方法、系统和存储设备
CN112417138A (zh) * 2020-11-17 2021-02-26 北京计算机技术及应用研究所 一种结合指针生成式与自注意力机制的短文本自动摘要方法
CN112464023A (zh) * 2020-12-04 2021-03-09 南京邮电大学 基于seq2seq算法的音乐和词语的情感语义匹配算法
CN112464023B (zh) * 2020-12-04 2022-10-14 南京邮电大学 基于seq2seq算法的音乐和词语的情感语义匹配算法
CN112528655B (zh) * 2020-12-18 2023-12-29 北京百度网讯科技有限公司 关键词生成方法、装置、设备及存储介质
CN112528655A (zh) * 2020-12-18 2021-03-19 北京百度网讯科技有限公司 关键词生成方法、装置、设备及存储介质
US11899699B2 (en) 2020-12-18 2024-02-13 Beijing Baidu Netcom Science Technology Co., Ltd. Keyword generating method, apparatus, device and storage medium
WO2022134759A1 (zh) * 2020-12-21 2022-06-30 深圳壹账通智能科技有限公司 关键词生成方法、装置、电子设备及计算机存储介质
CN112910690A (zh) * 2021-01-18 2021-06-04 武汉烽火技术服务有限公司 基于神经网络模型的网络流量预测方法、装置及设备
CN112784047B (zh) * 2021-01-25 2023-02-28 重庆邮电大学 一种基于自注意力机制的可控可解释司法文本分类方法
CN112784047A (zh) * 2021-01-25 2021-05-11 重庆邮电大学 一种基于自注意力机制的可控可解释司法文本分类方法
CN112836474B (zh) * 2021-01-29 2023-07-21 华南师范大学 基于减法门的数学应用题解答处理方法、系统和存储介质
CN112836474A (zh) * 2021-01-29 2021-05-25 华南师范大学 基于减法门的数学应用题解答处理方法、系统和存储介质
CN112883171A (zh) * 2021-02-02 2021-06-01 中国科学院计算技术研究所 基于bert模型的文档关键词抽取方法及装置
CN112883171B (zh) * 2021-02-02 2023-02-03 中国科学院计算技术研究所 基于bert模型的文档关键词抽取方法及装置
CN113158659B (zh) * 2021-02-08 2024-03-08 银江技术股份有限公司 一种基于司法文本的涉案财物计算方法
CN113158659A (zh) * 2021-02-08 2021-07-23 银江股份有限公司 一种基于司法文本的涉案财物计算方法
CN113035231A (zh) * 2021-03-18 2021-06-25 三星（中国）半导体有限公司 关键词检测方法及装置
CN113035231B (zh) * 2021-03-18 2024-01-09 三星（中国）半导体有限公司 关键词检测方法及装置
CN113032563B (zh) * 2021-03-22 2023-07-14 山西三友和智慧信息技术股份有限公司 一种基于人工遮掩关键词的正则化文本分类微调方法
CN113032563A (zh) * 2021-03-22 2021-06-25 山西三友和智慧信息技术股份有限公司 一种基于人工遮掩关键词的正则化文本分类微调方法
CN112800757A (zh) * 2021-04-06 2021-05-14 杭州远传新业科技有限公司 关键词生成方法、装置、设备及介质
CN112800757B (zh) * 2021-04-06 2021-07-09 杭州远传新业科技有限公司 关键词生成方法、装置、设备及介质
CN113420543A (zh) * 2021-05-11 2021-09-21 江苏大学 基于改进Seq2Seq模型的数学试题自动标注方法
CN113420543B (zh) * 2021-05-11 2024-03-22 江苏大学 基于改进Seq2Seq模型的数学试题自动标注方法
CN113255344A (zh) * 2021-05-13 2021-08-13 淮阴工学院 一种融合主题信息的关键词生成方法
CN113312473B (zh) * 2021-05-26 2022-06-07 北京理工大学 基于Seq2seq模型的摘要生成方法
CN113220870B (zh) * 2021-05-26 2022-09-06 北京理工大学 一种自然语言的摘要生成方法
CN113220870A (zh) * 2021-05-26 2021-08-06 北京理工大学 一种自然语言的摘要生成方法
CN113312473A (zh) * 2021-05-26 2021-08-27 北京理工大学 基于Seq2seq模型的摘要生成方法
CN113792131B (zh) * 2021-09-23 2024-02-09 深圳平安智慧医健科技有限公司 一种关键词的提取方法、装置、电子设备及存储介质
CN113792131A (zh) * 2021-09-23 2021-12-14 平安国际智慧城市科技股份有限公司 一种关键词的提取方法、装置、电子设备及存储介质
WO2023060795A1 (zh) * 2021-10-12 2023-04-20 平安科技（深圳）有限公司 关键词自动提取方法、装置、设备及存储介质
CN113836307A (zh) * 2021-10-15 2021-12-24 国网北京市电力公司 一种供电服务工单热点发现方法、系统、装置及存储介质
CN113836307B (zh) * 2021-10-15 2024-02-20 国网北京市电力公司 一种供电服务工单热点发现方法、系统、装置及存储介质
CN114064855A (zh) * 2021-11-10 2022-02-18 国电南瑞南京控制系统有限公司 一种基于变压器知识库的信息检索方法及系统
CN114020900A (zh) * 2021-11-16 2022-02-08 桂林电子科技大学 基于融合空间位置注意力机制的图表英语摘要生成方法
CN114020900B (zh) * 2021-11-16 2024-03-26 桂林电子科技大学 基于融合空间位置注意力机制的图表英语摘要生成方法
CN114036946B (zh) * 2021-11-26 2023-07-07 浪潮卓数大数据产业发展有限公司 一种文本特征提取及辅助检索的系统及方法
CN115329751A (zh) * 2022-10-17 2022-11-11 广州数说故事信息科技有限公司 针对网络平台发文的关键词提取方法、装置、介质及设备
CN117290429A (zh) * 2023-11-24 2023-12-26 山东焦易网数字科技股份有限公司 通过自然语言调用数据系统接口的方法
CN117290429B (zh) * 2023-11-24 2024-02-20 山东焦易网数字科技股份有限公司 通过自然语言调用数据系统接口的方法
CN117391824A (zh) * 2023-12-11 2024-01-12 深圳须弥云图空间科技有限公司 基于大语言模型和搜索引擎推荐物品的方法及装置
CN117391824B (zh) * 2023-12-11 2024-04-12 深圳须弥云图空间科技有限公司 基于大语言模型和搜索引擎推荐物品的方法及装置
CN117422428A (zh) * 2023-12-19 2024-01-19 尚恰实业有限公司 一种基于人工智能的机器人自动审批方法及系统
CN117422428B (zh) * 2023-12-19 2024-03-08 尚恰实业有限公司 一种基于人工智能的机器人自动审批方法及系统

Also Published As

Publication number Publication date
CN110119765B (zh) 2021-04-06

Similar Documents

Publication Publication Date Title
CN110119765A (zh) 一种基于Seq2seq框架的关键词提取方法
CN111897908B (zh) 融合依存信息和预训练语言模型的事件抽取方法及系统
CN110134946B (zh) 一种针对复杂数据的机器阅读理解方法
CN111966786B (zh) 一种微博谣言检测方法
CN112231472B (zh) 融入领域术语词典的司法舆情敏感信息识别方法
CN111966812B (zh) 一种基于动态词向量的自动问答方法和存储介质
CN109918649B (zh) 一种基于微博文本的自杀风险识别方法
CN110717843A (zh) 一种可复用的法条推荐框架
CN110688836A (zh) 基于监督学习的领域词典自动化构建方法
CN112183064B (zh) 基于多任务联合学习的文本情绪原因识别系统
CN111078833A (zh) 一种基于神经网络的文本分类方法
CN114492441A (zh) 基于机器阅读理解的BiLSTM-BiDAF命名实体识别方法
CN110009025A (zh) 一种用于语音测谎的半监督加性噪声自编码器
CN112270187A (zh) 一种基于bert-lstm的谣言检测模型
CN110472245A (zh) 一种基于层次化卷积神经网络的多标记情绪强度预测方法
CN115759092A (zh) 一种基于albert的网络威胁情报命名实体识别方法
CN114818717A (zh) 融合词汇和句法信息的中文命名实体识别方法及系统
CN112784041A (zh) 一种中文短文本情感倾向性分析方法
CN113094502A (zh) 一种多粒度外卖用户评论情感分析方法
CN114356990A (zh) 基于迁移学习的基地命名实体识别系统及方法
CN116245110A (zh) 基于图注意力网络的多维度信息融合用户立场检测方法
CN113157914B (zh) 一种基于多层循环神经网络的文档摘要提取方法及系统
CN113935308A (zh) 面向地球科学领域的文本摘要自动生成的方法和系统
CN110990385A (zh) 一套基于Sequence2Sequence的自动生成新闻标题的软件
CN117094291B (zh) 基于智能写作的自动新闻生成系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant