CN108038107B - 基于卷积神经网络的语句情感分类方法、装置及其设备 - Google Patents

基于卷积神经网络的语句情感分类方法、装置及其设备 Download PDF

Info

Publication number
CN108038107B
CN108038107B CN201711405972.9A CN201711405972A CN108038107B CN 108038107 B CN108038107 B CN 108038107B CN 201711405972 A CN201711405972 A CN 201711405972A CN 108038107 B CN108038107 B CN 108038107B
Authority
CN
China
Prior art keywords
neural network
convolutional neural
sentence
emotion classification
word
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201711405972.9A
Other languages
English (en)
Other versions
CN108038107A (zh
Inventor
肖迪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Neusoft Corp
Original Assignee
Neusoft Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Neusoft Corp filed Critical Neusoft Corp
Priority to CN201711405972.9A priority Critical patent/CN108038107B/zh
Publication of CN108038107A publication Critical patent/CN108038107A/zh
Application granted granted Critical
Publication of CN108038107B publication Critical patent/CN108038107B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Machine Translation (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提出一种基于卷积神经网络的语句情感分类方法、装置及其设备，其中，方法包括：对输入语句进行切分处理生成M个字词切分单元后进行编码转化成预设长度的词向量，然后将与M个字词切分单元对应的词向量进行结构转化生成原始矩阵输入预先训练的卷积神经网络，通过N个卷积层和池化层对原始矩阵进行计算，将每个池化层计算后的输出特征和原始矩阵分别输入到各自对应的第一全连层进行计算，将所有第一全连层计算后的输出特征进行拼接融合后输入到第二全连层，将第二全连层计算后的输出特征输入到分类层获取对输入语句的情感分类结果。由此，基于卷积神经网络进行语句情感分类，提高了语句情感分类效率和准确性。

Description

基于卷积神经网络的语句情感分类方法、装置及其设备
技术领域
本发明涉及数据处理技术领域，尤其涉及一种基于卷积神经网络的语句情感分类方法、装置及其设备。
背景技术
相关技术中的语句情感分类方法，都是对人的记忆和判断思维的最简单的模拟。学习记忆一些基本词语，比如积极词语有“喜欢”、“爱”，消极词语有“讨厌”、“恨”等，形成一个语料库，然后通过统计语句中这些词语的出现次数来判断语句的情感。
然而，上述方法仅仅考虑到语句中含有的词语，而忽略了语句的整体结构。以及很多时候词语的顺序也会影响语句的情感，例如“今天去迪斯尼玩，但却突然下雨了”和“虽然今天下雨了，但还可以去迪斯尼玩”。虽然这两句话包含词语基本一致，但是由于句子结构的不同，所表达的情感也截然不同。
发明内容
本发明的目的旨在至少在一定程度上解决相关技术中的技术问题之一。
为此，本发明的第一个目的在于提出一种基于卷积神经网络的语句情感分类方法，用于解决现有技术中仅仅考虑到语句中含有的词语，而忽略了语句的整体结构以及不考虑词语的顺序导致语句情感分类不准确问题。
本发明的第二个目的在于提出一种基于卷积神经网络的语句情感分类装置。
本发明的第三个目的在于提出一种计算机设备。
本发明的第四个目的在于提出一种计算机可读存储介质。
本发明的第五个目的在于提出一种计算机程序产品。
为达上述目的，本发明第一方面实施例提出了一种基于卷积神经网络的语句情感分类方法，包括：对输入语句进行切分处理生成M个字词切分单元，将每个字词切分单元进行编码转化成预设长度的词向量；将与所述M个字词切分单元对应的词向量进行结构转化生成原始矩阵；将所述原始矩阵输入预先训练的卷积神经网络，通过N个卷积层和池化层对所述原始矩阵进行计算，其中，N为大于等于1的整数，将每个池化层计算后的输出特征和所述原始矩阵分别输入到各自对应的第一全连层进行计算，将所有所述第一全连层计算后的输出特征进行拼接融合后输入到第二全连层，将所述第二全连层计算后的输出特征输入到分类层获取对所述输入语句的情感分类结果。
本发明实施例的基于卷积神经网络的语句情感分类方法，通过对输入语句进行切分处理生成M个字词切分单元，并将每个字词切分单元进行编码转化成预设长度的词向量，然后将与M个字词切分单元对应的词向量进行结构转化生成原始矩阵，最后将原始矩阵输入预先训练的卷积神经网络，通过N个卷积层和池化层对原始矩阵进行计算，将每个池化层计算后的输出特征和原始矩阵分别输入到各自对应的第一全连层进行计算，将所有第一全连层计算后的输出特征进行拼接融合后输入到第二全连层，将第二全连层计算后的输出特征输入到分类层获取对输入语句的情感分类结果。由此，基于卷积神经网络进行语句情感分类，提高了语句情感分类效率和准确性。
另外，根据本发明上述实施例的基于卷积神经网络的语句情感分类方法还可以具有如下附加的技术特征：
可选地，所述对输入语句进行切分处理生成M个字词切分单元，将每个字词切分单元进行编码转化成预设长度的词向量，包括：检测所述输入语句的长度；若检测获知所述长度大于预设的第一阈值或者小于预设的第二阈值，则对所述输入语句进行剪切或者填充处理，其中，所述第二阈值小于所述第一阈值；对长度调整后的输入语句进行切分处理生成M个字词切分单元，将每个字词切分单元进行word2vec编码转化成预设长度的词向量。
可选地，所述将与所述M个字词切分单元对应的词向量进行结构转化生成原始矩阵，包括：对每个词向量的每一位值进行竖向排列，再对所述M个竖向排列的词向量进行横向拼接生成原始矩阵；根据所述卷积神经网络的训练矩阵尺寸对所述原始矩阵进行插值和抽取操作。
可选地，所述的方法，还包括：采集多个样本语句以及对应的情感标签生成训练样本集；通过向前传播阶段和向后传播阶段训练所述卷积神经网络的网络参数。
可选地，所述的方法，还包括：根据所述多个样本语句的平均长度确定所述卷积神经网络中卷积层和池化层的N值。
为达上述目的，本发明第二方面实施例提出了一种基于卷积神经网络的语句情感分类装置，包括：切分转化模块，用于对输入语句进行切分处理生成M个字词切分单元，将每个字词切分单元进行编码转化成预设长度的词向量；生成模块，用于将与所述M个字词切分单元对应的词向量进行结构转化生成原始矩阵；处理模块，用于将所述原始矩阵输入预先训练的卷积神经网络，通过N个卷积层和池化层对所述原始矩阵进行计算，其中，N为大于等于1的整数，将每个池化层计算后的输出特征和所述原始矩阵分别输入到各自对应的第一全连层进行计算，将所有所述第一全连层计算后的输出特征进行拼接融合后输入到第二全连层，将所述第二全连层计算后的输出特征输入到分类层获取对所述输入语句的情感分类结果。
本发明实施例的基于卷积神经网络的语句情感分类装置，通过对输入语句进行切分处理生成M个字词切分单元，并将每个字词切分单元进行编码转化成预设长度的词向量，然后将与M个字词切分单元对应的词向量进行结构转化生成原始矩阵，最后将原始矩阵输入预先训练的卷积神经网络，通过N个卷积层和池化层对原始矩阵进行计算，将每个池化层计算后的输出特征和原始矩阵分别输入到各自对应的第一全连层进行计算，将所有第一全连层计算后的输出特征进行拼接融合后输入到第二全连层，将第二全连层计算后的输出特征输入到分类层获取对输入语句的情感分类结果。由此，基于卷积神经网络进行语句情感分类，提高了语句情感分类效率和准确性。
另外，根据本发明上述实施例的基于卷积神经网络的语句情感分类装置还可以具有如下附加的技术特征：
可选地，所述切分转化模块具体用于检测所述输入语句的长度；若检测获知所述长度大于预设的第一阈值或者小于预设的第二阈值，则对所述输入语句进行剪切或者填充处理，其中，所述第二阈值小于所述第一阈值；对长度调整后的输入语句进行切分处理生成M个字词切分单元，将每个字词切分单元进行word2vec编码转化成预设长度的词向量。
可选地，所述生成模块具体用于对每个词向量的每一位值进行竖向排列，再对所述M个竖向排列的词向量进行横向拼接生成原始矩阵；根据所述卷积神经网络的训练矩阵尺寸对所述原始矩阵进行插值和抽取操作。
可选地，所述的装置还包括：采集模块，用于采集多个样本语句以及对应的情感标签生成训练样本集；训练模块，用于通过向前传播阶段和向后传播阶段训练所述卷积神经网络的网络参数。
可选地，所述的装置还包括：确定模块，用于根据所述多个样本语句的平均长度确定所述卷积神经网络中卷积层和池化层的N值。
为了实现上述目的，本发明第三方面实施例提出了一种计算机设备，包括：包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时，实现如第一方面实施例所述的基于卷积神经网络的语句情感分类方法。
为了实现上述目的，本发明第四方面实施例提出了一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现第一方面实施例所述的基于卷积神经网络的语句情感分类方法。
为了实现上述目的，本发明第五方面实施例提出了一种计算机程序产品，当所述计算机程序产品中的指令由处理器执行时，执行第一方面实施例所述的基于卷积神经网络的语句情感分类方法。
本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为根据本发明一个实施例的基于卷积神经网络的语句情感分类方法的流程示意图；
图2为根据本发明一个实施例的传统卷积神经网络的示例图；
图3为根据本发明一个实施例的新的卷积神经网络的示例图；
图4为根据本发明另一个实施例的基于卷积神经网络的语句情感分类方法的流程示意图；
图5为根据本发明一个实施例的word2vec处理的示例图；
图6为根据本发明又一个实施例的基于卷积神经网络的语句情感分类方法的流程示意图；
图7为根据本发明一个实施例的基于卷积神经网络的语句情感分类装置的结构示意图；
图8为根据本发明另一个实施例的基于卷积神经网络的语句情感分类装置的结构示意图；以及
图9为根据本发明一个实施例的计算机设备的结构示意图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
下面参考附图描述本发明实施例的基于卷积神经网络的语句情感分类方法、装置及其设备。
具体地，从背景技术可以了解到现有的语句情感分类方法，仅仅考虑到语句中含有的词语，而忽略了语句的整体结构，以及很多时候词语的顺序也会影响语句的情感。可以理解的是，人类大脑中的语言系统是相当复杂，所以语句情感分类必须综合考虑局部(字词)和整体(句子结构)的信息。
为了解决上述问题，本发明提出一种基于卷积神经网络的语句情感分类方法，基于卷积神经网络进行语句情感分类，提高了语句情感分类效率和准确性。
需要说明的是，本发明实施例的基于卷积神经网络的语句情感分类方法，基于卷积神经网络进行语句情感分类，在大数据的基础上进行训练，并使用更加适合于分析任务的多层并行的网络结构。这种网络结构可以综合考虑到底层的字词信息和高层的语句整体信息，对语句的情感类进行准确预测。具体描述如下：
图1为根据本发明一个实施例的基于卷积神经网络的语句情感分类方法的流程示意图。如图1所示，该基于卷积神经网络的语句情感分类方法包括以下步骤：
步骤101，对输入语句进行切分处理生成M个字词切分单元，将每个字词切分单元进行编码转化成预设长度的词向量。
步骤102，将与M个字词切分单元对应的词向量进行结构转化生成原始矩阵。
具体地，卷积神经网络是深度学习中的一种网络结构，卷积神经网络的输入局限于图像或者说是矩阵，它的很多计算操作如卷积、池化(pooling)等都要针对于图像、矩阵进行。因此，本发明实施例基于卷积神经网络的语句情感分类方法，需要预先将输入语句转化为对应的矩阵，即将一个输入语句转化为卷积神经网络所能接受的输入。
首先，需要对输入语句进行切分处理生成M个字词切分单元，将每个字词切分单元进行编码转化成预设长度的词向量。作为一种可能实现的方式，通过检测输入语句的长度，并对输入语句进行相关处理调整获取合适长度的输入语句后通过预设的字词切分算法或者模型对输入语句进行切分处理，然后通过预设的编码转化算法进行处理得到预设长度的词向量,比如word2vec作为媒介进行转化。
进而，将与M个字词切分单元对应的词向量进行结构转化生成原始矩阵。作为一种可能实现的方式，对每个词向量的每一位值进行竖向排列，再对M个竖向排列的词向量进行横向拼接生成原始矩阵，然后根据卷积神经网络的训练矩阵尺寸对原始矩阵进行插值和抽取操作。
步骤103，将原始矩阵输入预先训练的卷积神经网络，通过N个卷积层和池化层对原始矩阵进行计算，其中，N为大于等于1的整数，将每个池化层计算后的输出特征和原始矩阵分别输入到各自对应的第一全连层进行计算，将所有第一全连层计算后的输出特征进行拼接融合后输入到第二全连层，将第二全连层计算后的输出特征输入到分类层获取对输入语句的情感分类结果。
其中，卷积神经网络的前几层输出所表达的是数据的底层、局部信息，如相邻数据间的梯度、差异等。而卷积神经网络的后几层输出则可以表达出数据的高层、整体信息，如数据的分布、结构等。传统的用于分类的卷积神经网络结构如图2所示。
也就是说，输入的数据(矩阵或图像)经过卷积神经网络逐层计算(卷积、池化、全连接等)，卷积神经网络的最后一层是一个分类器，以上一层的输出作为输入特征，本层的输出作为最终的分类结果，是一个单流的网络结构。
可以理解的是，人类大脑中的语言系统是相当复杂的，语句中的局部的字词信息还有整体的句子结构信息都会对语句最终表现的情感倾向产生影响，也就是说必须综合考虑语句中的包含的多层次信息。因此，在本发明实施例中，对网络结构进行改进，以适应语句情感分类的需求，不再使用传统的单流网络结构，而是设计了一种多流并行最后融合的网络结构。
具体地，这种多流并行最后融合的网络结构的卷积神经网络可以通过N个卷积层和池化层对原始矩阵进行计算。其中，N为大于等于1的整数。
进而，将每个池化层计算后的输出特征和原始矩阵分别输入到各自对应的第一全连层进行计算，将所有第一全连层计算后的输出特征进行拼接融合后输入到第二全连层，将第二全连层计算后的输出特征输入到分类层获取对输入语句的情感分类结果。
为了本领域人员更加清楚上述过程，以及考虑到输入语句所表达的信息与图像相比较少，所以网络深度不宜太深，具体结构如图3所示，使用两个卷积层，每个卷积层后跟一个池化层，卷积层对输入数据进行卷积操作完成特征提取，池化层可以减少参数个数防止过拟合同时增强系统的鲁棒性。
其中，如图3所示，可以分别将原始输入、经过卷积层1和池化层1处理的第一层输出、经过卷积层2和池化层2处理的第二层输出作为卷积神经网络三个流分别经过全连接层计算，将三个流的输出特征进行拼接，再连接一个全连接层完成多流特征的融合，最后连接一个softmax层，完成语句情感的多分类，比如消极、积极、中性等等。
举例而言，输入语句为“今天去迪斯尼玩，但却突然下雨了”和“虽然今天下雨了，但还可以去迪斯尼玩”进行切分处理生成M个字词切分单元都可以为“今天”、“去”、“迪斯尼”、“玩”、“突然”、“下雨”和“可以”等等，然后将每个字词切分单元进行编码转化成预设长度的词向量，并将与M个字词切分单元对应的词向量进行结构转化生成原始矩阵输入上述图3中作为原始输入。
从而，可以将原始输入所表达的是字词信息，如“今天”、“去”、“迪斯尼”玩”“下雨”等等信息，以及后2层输出则可以表达出语句结构、顺序信息等等进行融合，从而完成语句情感的多分类，比如“今天去迪斯尼玩，但却突然下雨了”为消极；“虽然今天下雨了，但还可以去迪斯尼玩”为积极。
综上所述，本发明实施例的基于卷积神经网络的语句情感分类方法，通过对输入语句进行切分处理生成M个字词切分单元，并将每个字词切分单元进行编码转化成预设长度的词向量，然后将与M个字词切分单元对应的词向量进行结构转化生成原始矩阵，最后将原始矩阵输入预先训练的卷积神经网络，通过N个卷积层和池化层对原始矩阵进行计算，将每个池化层计算后的输出特征和原始矩阵分别输入到各自对应的第一全连层进行计算，将所有第一全连层计算后的输出特征进行拼接融合后输入到第二全连层，将第二全连层计算后的输出特征输入到分类层获取对输入语句的情感分类结果。由此，基于卷积神经网络进行语句情感分类，可以综合考虑到底层的字词信息和高层的语句整体信息，提高了语句情感分类效率和准确性。
图4为根据本发明另一个实施例的基于卷积神经网络的语句情感分类方法的流程示意图。如图4所示，该基于卷积神经网络的语句情感分类方法包括以下步骤：
步骤201，检测输入语句的长度。
步骤202，若检测获知长度大于预设的第一阈值或者小于预设的第二阈值，则对输入语句进行剪切或者填充处理，其中，第二阈值小于第一阈值。
步骤203，对长度调整后的输入语句进行切分处理生成M个字词切分单元，将每个字词切分单元进行word2vec编码转化成预设长度的词向量。
步骤204，对每个词向量的每一位值进行竖向排列，再对M个竖向排列的词向量进行横向拼接生成原始矩阵。
步骤205，根据卷积神经网络的训练矩阵尺寸对原始矩阵进行插值和抽取操作。
可以理解的是，输入语句的长度有各种各样的，为了进一步提高语句情感分类的效率和准确性，可以通过预设算法或者模型对检测输入语句的长度进行检测，并通过预设的阈值进行判断是否需要进行剪切或者填充处理以确保输入语句的长度满足预设需求的长度。
举例而言，输入语句为“今天去迪斯尼玩，但却突然下雨了”的长度为15个词，预设的第一阈值为12，即输入语句“今天去迪斯尼玩，但却突然下雨了”的长度大于预设的第一阈值，需要对输入语句“今天去迪斯尼玩，但却突然下雨了”进行剪切处理，进行剪切处理后的输入语句为“去迪斯尼玩，但却突然下雨”、“今天去迪斯尼玩，但却下雨”等剪切成多个输入语句；或者
输入语句为“去迪斯尼玩，但却突然下雨”的长度为12个词，预设的第二阈值为15，即输入语句“去迪斯尼玩，但却突然下雨”的长度小于预设的第二阈值，需要对输入语句“去迪斯尼玩，但却突然下雨”进行填充处理，即通过复制的形式进行填充到合适长度，进行填充处理后的输入语句为“去迪斯尼迪斯尼玩，但却突然下雨”、“去迪斯尼玩玩，但却突然下雨下雨”等形式作为输入语句。
其中，第一阈值和第二阈值可以根据实际应用需要进行选择设置，其中，第二阈值小于第一阈值。
其中，以word2vec作为媒介，可以将一个输入语句转化为卷积神经网络所能接受的输入矩阵。word2vec是一种有效的字词编码方法，经过百万数量级的词典和上亿的数据集上的高效训练，可以将一个字或者词转化为一个词向量(word embedding)，编码后的向量包含语义信息，可以很好地度量词与词含义之间的相似性。具体的转化方法如图5所示。
从而，对长度调整后的输入语句进行切分处理生成M个字词切分单元，将每个字词切分单元进行word2vec编码转化成预设长度的词向量。即把每个字字词作为一个基本单元进行word2vec编码，编码长度N(比如N＝30)，每个字词经过编码后可以得到一个长度为N的词向量，对词向量的每一位值进行竖向排列，再对多个词向量进行横向的拼接，比如图5所示。
从而，使用word2vec将输入语句分解后转换为词向量的数据形式进行处理，避免了人工构建字典的过程，而且对每个词向量的每一位值进行竖向排列，再对M个竖向排列的词向量进行横向拼接生成原始矩阵，并且根据卷积神经网络的训练矩阵尺寸对原始矩阵进行插值和抽取操作，使得生成的矩阵既包含句子词语的底层局部信息，又包含句子结构的上层整体信息，因此，可以更全面的表达字词所包含的语义信息，从而可以将这种矩阵输入卷积神经网络进行训练，完成情感分类，进一步提高语句情感分类准确性。
另外，卷积神经网络计算的第一步是对输入的矩阵进行插值和抽取操作，需要保证训练过程中的输入矩阵尺寸相同。
步骤206，将原始矩阵输入预先训练的卷积神经网络，通过N个卷积层和池化层对原始矩阵进行计算，其中，N为大于等于1的整数，将每个池化层计算后的输出特征和原始矩阵分别输入到各自对应的第一全连层进行计算，将所有第一全连层计算后的输出特征进行拼接融合后输入到第二全连层，将第二全连层计算后的输出特征输入到分类层获取对输入语句的情感分类结果。
需要说明的是，步骤206的详细描述可以参见上述步骤103，此处不再详述。
综上所述，本发明实施例的基于卷积神经网络的语句情感分类方法，通过检测输入语句的长度，若检测获知长度大于预设的第一阈值或者小于预设的第二阈值，则对输入语句进行剪切或者填充处理，对长度调整后的输入语句进行切分处理生成M个字词切分单元，将每个字词切分单元进行word2vec编码转化成预设长度的词向量，对每个词向量的每一位值进行竖向排列，再对M个竖向排列的词向量进行横向拼接生成原始矩阵，根据卷积神经网络的训练矩阵尺寸对原始矩阵进行插值和抽取操作，最后将原始矩阵输入预先训练的卷积神经网络，通过N个卷积层和池化层对原始矩阵进行计算，将每个池化层计算后的输出特征和原始矩阵分别输入到各自对应的第一全连层进行计算，将所有第一全连层计算后的输出特征进行拼接融合后输入到第二全连层，将第二全连层计算后的输出特征输入到分类层获取对输入语句的情感分类结果。由此，基于卷积神经网络进行语句情感分类，可以综合考虑到底层的字词信息和高层的语句整体信息，提高了语句情感分类效率和准确性，同时还可以针对输入语句长度进行调整，进一步提高基于卷积神经网络的语句情感分类的应用性，以及根据卷积神经网络的训练矩阵尺寸对原始矩阵进行插值和抽取操作，以进一步提高语句情感分类效率。
基于上述实施例的描述，可以了解卷积神经网络用于处理语句情感分类，需要进行训练，以提高语句情感分类效率和准确性。具体结合图6进行详细说明。
图6为根据本发明又一个实施例的基于卷积神经网络的语句情感分类方法的流程示意图。如图6所示，该基于卷积神经网络的语句情感分类方法包括以下步骤：
步骤301，采集多个样本语句以及对应的情感标签生成训练样本集。
步骤302，通过向前传播阶段和向后传播阶段训练卷积神经网络的网络参数。
其中，卷积神经网络的训练过程主要包括两个阶段：第一阶段，向前传播阶段：从样本集中取一个样本X及其标签Y，将X输入卷积神经网络，信息从输入层经过网络逐层的计算，最终传送到输出层。计算其相应的实际输出Op；第二阶段，向后传播阶段：通过计算实际输出Op与相应的理想输出Y的差，利用极小化误差的方法反向传播调整网络参数，其中，Y值表示样本类别标签，比如0，1，2分别对应积极、中性和消极。
其中，具体的参数调节过程可以是对于包含m个样本的集合{(x(1),y(1)),...,(x(m),ym)}，x(i)为样本特征，y(i)为样本标签，采用批量梯度下降法进行求解。对于单个样本，其代价函数为：
Figure BDA0001520325850000091
给定一个包含m个样本的数据集，可以定义整体代价函数为：
Figure BDA0001520325850000092
其中，公式(1)中的第一项是均方差项，第二项是权重衰减项，其目的是减小权重的幅度，防止过拟合。M为样本数量，nl为网络层数，为sl网络第l层节点个数，权重衰减参数λ用于控制公式中两项的相对重要性，W,b为节点间的连接权值，即需要求解的网络参数，h为当前节点的输出。为了求解参数使代价函数最小，对参数进行初始化后，对目标函数使用批量梯度下降法的最优化算法求解最优解。梯度下降法中每一次迭代都按照下式对参数W和b进行更新：
Figure BDA0001520325850000093
其中，还可以根据多个样本语句的平均长度确定卷积神经网络中卷积层和池化层的N值。比如2层、3层等等，以进一步提高处理效率。
与上述几种实施例提供的基于卷积神经网络的语句情感分类方法相对应，本发明的一种实施例还提供一种基于卷积神经网络的语句情感分类装置，由于本发明实施例提供的基于卷积神经网络的语句情感分类装置与上述几种实施例提供的基于卷积神经网络的语句情感分类方法相对应，因此在前述基于卷积神经网络的语句情感分类方法的实施方式也适用于本实施例提供的基于卷积神经网络的语句情感分类装置，在本实施例中不再详细描述。
图7为根据本发明一个实施例的基于卷积神经网络的语句情感分类装置的结构示意图。如图7所示，该基于卷积神经网络的语句情感分类装置包括：切分转化模块100、生成模块200和处理模块300。
其中，切分转化模块100，用于对输入语句进行切分处理生成M个字词切分单元，将每个字词切分单元进行编码转化成预设长度的词向量。
生成模块200，用于将与M个字词切分单元对应的词向量进行结构转化生成原始矩阵。
处理模块300，用于将原始矩阵输入预先训练的卷积神经网络，通过N个卷积层和池化层对所述原始矩阵进行计算，其中，N为大于等于1的整数，将每个池化层计算后的输出特征和原始矩阵分别输入到各自对应的第一全连层进行计算，将所有第一全连层计算后的输出特征进行拼接融合后输入到第二全连层，将第二全连层计算后的输出特征输入到分类层获取对输入语句的情感分类结果。
其中，在本发明的一个实施例中，切分转化模块100具体用于检测输入语句的长度；若检测获知长度大于预设的第一阈值或者小于预设的第二阈值，则对输入语句进行剪切或者填充处理，其中，第二阈值小于第一阈值；对长度调整后的输入语句进行切分处理生成M个字词切分单元，将每个字词切分单元进行word2vec编码转化成预设长度的词向量。
其中，在本发明的一个实施例中，生成模块200具体用于对每个词向量的每一位值进行竖向排列，再对M个竖向排列的词向量进行横向拼接生成原始矩阵；根据卷积神经网络的训练矩阵尺寸对原始矩阵进行插值和抽取操作。
其中，在本发明的一个实施例中，如图8所示，在图7的基础上，该装置还包括：采集模块400、训练模块500和确定模块600。
其中，采集模块400，用于采集多个样本语句以及对应的情感标签生成训练样本集。
训练模块500，用于通过向前传播阶段和向后传播阶段训练卷积神经网络的网络参数。
确定模块600，用于根据多个样本语句的平均长度确定卷积神经网络中卷积层和池化层的N值。
综上所述，本发明实施例的基于卷积神经网络的语句情感分类装置，通过对输入语句进行切分处理生成M个字词切分单元，并将每个字词切分单元进行编码转化成预设长度的词向量，然后将与M个字词切分单元对应的词向量进行结构转化生成原始矩阵，最后将原始矩阵输入预先训练的卷积神经网络，通过N个卷积层和池化层对原始矩阵进行计算，将每个池化层计算后的输出特征和原始矩阵分别输入到各自对应的第一全连层进行计算，将所有第一全连层计算后的输出特征进行拼接融合后输入到第二全连层，将第二全连层计算后的输出特征输入到分类层获取对输入语句的情感分类结果。由此，基于卷积神经网络进行语句情感分类，可以综合考虑到底层的字词信息和高层的语句整体信息，提高了语句情感分类效率和准确性。
为了实现上述实施例，本发明还提出一种计算机设备，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时，实现如上述实施例所述的基于卷积神经网络的语句情感分类方法。
为了实现上述实施例，本发明还提出一种非临时性计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现上述实施例所述的基于卷积神经网络的语句情感分类方法。
为了实现上述实施例，本发明还提出一种计算机程序产品，当所述计算机程序产品中的指令处理器执行时，执行上述实施例所述的基于卷积神经网络的语句情感分类方法。
图9示出了适于用来实现本申请实施方式的示例性计算机设备的框图。图9显示的计算机设备12仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。
如图9所示，计算机设备12以通用计算设备的形式表现。计算机设备12的组件可以包括但不限于：一个或者多个处理器或者处理单元16，系统存储器28，连接不同系统组件(包括系统存储器28和处理单元16)的总线18。
总线18表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(Industry StandardArchitecture；以下简称：ISA)总线，微通道体系结构(Micro Channel Architecture；以下简称：MAC)总线，增强型ISA总线、视频电子标准协会(Video Electronics StandardsAssociation；以下简称：VESA)局域总线以及外围组件互连(Peripheral ComponentInterconnection；以下简称：PCI)总线。
计算机设备12典型地包括多种计算机系统可读介质。这些介质可以是任何能够被计算机设备12访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
存储器28可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(Random Access Memory；以下简称：RAM)30和/或高速缓存存储器32。计算机设备12可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统34可以用于读写不可移动的、非易失性磁介质(图9未显示，通常称为“硬盘驱动器”)。尽管图9中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如：光盘只读存储器(Compact Disc Read OnlyMemory；以下简称：CD-ROM)、数字多功能只读光盘(Digital Video Disc Read OnlyMemory；以下简称：DVD-ROM)或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线18相连。存储器28可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本申请各实施例的功能。
具有一组(至少一个)程序模块42的程序/实用工具40，可以存储在例如存储器28中，这样的程序模块42包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42通常执行本申请所描述的实施例中的功能和/或方法。
计算机设备12也可以与一个或多个外部设备14(例如键盘、指向设备、显示器24等)通信，还可与一个或者多个使得用户能与该计算机系统/服务器12交互的设备通信，和/或与使得该计算机系统/服务器12能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口22进行。并且，计算机设备12还可以通过网络适配器20与一个或者多个网络(例如局域网(Local AreaNetwork；以下简称：LAN)，广域网(Wide Area Network；以下简称：WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器20通过总线18与计算机设备12的其它模块通信。应当明白，尽管图中未示出，可以结合计算机设备12使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
处理单元16通过运行存储在系统存储器28中的程序，从而执行各种功能应用以及数据处理，例如实现前述实施例中提及的基于卷积神经网络的语句情感分类方法。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (9)

1.一种基于卷积神经网络的语句情感分类方法，其特征在于，包括：
对输入语句进行切分处理生成M个字词切分单元，将每个字词切分单元进行编码转化成预设长度的词向量；
将与所述M个字词切分单元对应的词向量进行结构转化生成原始矩阵；
将所述原始矩阵输入预先训练的卷积神经网络，通过串行的N组卷积层和池化层对所述原始矩阵进行计算，其中，N为大于等于1的整数，将每个池化层计算后的输出特征和所述原始矩阵分别输入到每个池化层各自对应的第一全连层进行计算，将所有所述第一全连层计算后的输出特征进行拼接融合后输入到第二全连层，将所述第二全连层计算后的输出特征输入到分类层获取对所述输入语句的情感分类结果；
其中，所述N个卷积层中的第2个卷积层至第N个卷积层中的每个卷积层的输入为上一池化层的输出。
2.如权利要求1所述的方法，其特征在于，所述对输入语句进行切分处理生成M个字词切分单元，将每个字词切分单元进行编码转化成预设长度的词向量，包括：
检测所述输入语句的长度；
若检测获知所述长度大于预设的第一阈值或者小于预设的第二阈值，则对所述输入语句进行剪切或者填充处理，其中，所述第二阈值小于所述第一阈值；
对长度调整后的输入语句进行切分处理生成M个字词切分单元，将每个字词切分单元进行word2vec编码转化成预设长度的词向量。
3.如权利要求1所述的方法，其特征在于，所述将与所述M个字词切分单元对应的词向量进行结构转化生成原始矩阵，包括：
对每个词向量的每一位值进行竖向排列，再对所述M个竖向排列的词向量进行横向拼接生成原始矩阵；
根据所述卷积神经网络的训练矩阵尺寸对所述原始矩阵进行插值和抽取操作。
4.如权利要求1所述的方法，其特征在于，还包括：
采集多个样本语句以及对应的情感标签生成训练样本集；
通过向前传播阶段和向后传播阶段训练所述卷积神经网络的网络参数。
5.如权利要求4所述的方法，其特征在于，还包括：
根据所述多个样本语句的平均长度确定所述卷积神经网络中卷积层和池化层的N值。
6.一种基于卷积神经网络的语句情感分类装置，其特征在于，包括：
切分转化模块，用于对输入语句进行切分处理生成M个字词切分单元，将每个字词切分单元进行编码转化成预设长度的词向量；
生成模块，用于将与所述M个字词切分单元对应的词向量进行结构转化生成原始矩阵；
处理模块，用于将所述原始矩阵输入预先训练的卷积神经网络，通过串行的N组卷积层和池化层对所述原始矩阵进行计算，其中，N为大于等于1的整数，将每个池化层计算后的输出特征和所述原始矩阵分别输入到每个池化层各自对应的第一全连层进行计算，将所有所述第一全连层计算后的输出特征进行拼接融合后输入到第二全连层，将所述第二全连层计算后的输出特征输入到分类层获取对所述输入语句的情感分类结果；
其中，所述N个卷积层中的第2个卷积层至第N个卷积层中的每个卷积层的输入为上一池化层的输出。
7.如权利要求6所述的装置，其特征在于，还包括：
采集模块，用于采集多个样本语句以及对应的情感标签生成训练样本集；
训练模块，用于通过向前传播阶段和向后传播阶段训练所述卷积神经网络的网络参数。
8.一种计算机设备，其特征在于，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时，实现如权利要求1-5中任一所述的基于卷积神经网络的语句情感分类方法。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-5中任一所述的基于卷积神经网络的语句情感分类方法。
CN201711405972.9A 2017-12-22 2017-12-22 基于卷积神经网络的语句情感分类方法、装置及其设备 Active CN108038107B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711405972.9A CN108038107B (zh) 2017-12-22 2017-12-22 基于卷积神经网络的语句情感分类方法、装置及其设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711405972.9A CN108038107B (zh) 2017-12-22 2017-12-22 基于卷积神经网络的语句情感分类方法、装置及其设备

Publications (2)

Publication Number Publication Date
CN108038107A CN108038107A (zh) 2018-05-15
CN108038107B true CN108038107B (zh) 2021-06-25

Family

ID=62100721

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711405972.9A Active CN108038107B (zh) 2017-12-22 2017-12-22 基于卷积神经网络的语句情感分类方法、装置及其设备

Country Status (1)

Country Link
CN (1) CN108038107B (zh)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108763219A (zh) * 2018-06-06 2018-11-06 安徽继远软件有限公司 基于cnn-rsc组合优化算法的语音情感分析方法
CN109147826B (zh) * 2018-08-22 2022-12-27 平安科技（深圳）有限公司 音乐情感识别方法、装置、计算机设备及计算机存储介质
CN111126423A (zh) * 2018-11-01 2020-05-08 百度在线网络技术（北京）有限公司 一种特征集获取方法、装置、计算机设备及介质
CN111259138A (zh) * 2018-11-15 2020-06-09 航天信息股份有限公司 一种税务领域短文本的情感分类方法及装置
FR3089664A1 (fr) * 2018-12-05 2020-06-12 Stmicroelectronics (Rousset) Sas Procédé et dispositif pour réduire la charge de calcul d’un microprocesseur destiné à traiter des données par un réseau de neurones à convolution
CN111324723B (zh) * 2018-12-13 2023-04-25 阿里巴巴集团控股有限公司 语句选取方法、语句显示方法、相关装置及计算设备
CN109740154B (zh) * 2018-12-26 2021-10-26 西安电子科技大学 一种基于多任务学习的在线评论细粒度情感分析方法
CN110059191A (zh) * 2019-05-07 2019-07-26 山东师范大学 一种文本情感分类方法及装置
CN110457424A (zh) * 2019-06-28 2019-11-15 谭浩 生成访谈报告的方法、计算机可读存储介质和终端设备
CN110503130B (zh) * 2019-07-19 2021-11-30 西安邮电大学 基于特征融合的现勘图像分类方法
CN110795563A (zh) * 2019-10-31 2020-02-14 支付宝(杭州)信息技术有限公司 文本分类模型训练方法、事件检测方法及对应的装置
CN111143551A (zh) * 2019-12-04 2020-05-12 支付宝(杭州)信息技术有限公司 文本预处理方法、分类方法、装置及设备
CN112131390A (zh) * 2020-11-24 2020-12-25 江苏电力信息技术有限公司 一种基于深度学习的电力预警信息自动分类方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105574550A (zh) * 2016-02-02 2016-05-11 北京格灵深瞳信息技术有限公司 一种车辆识别方法及装置
CN105740773A (zh) * 2016-01-25 2016-07-06 重庆理工大学 基于深度学习和多尺度信息的行为识别方法
CN107291795A (zh) * 2017-05-03 2017-10-24 华南理工大学 一种结合动态词嵌入和词性标注的文本分类方法
CN107330049A (zh) * 2017-06-28 2017-11-07 北京搜狐新媒体信息技术有限公司 一种新闻热度预估方法及系统

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170193397A1 (en) * 2015-12-30 2017-07-06 Accenture Global Solutions Limited Real time organization pulse gathering and analysis using machine learning and artificial intelligence
KR102023149B1 (ko) * 2016-03-03 2019-11-22 구글 엘엘씨 로봇 파지를 위한 심층 기계 학습 방법 및 장치
CN107038336A (zh) * 2017-03-21 2017-08-11 科大讯飞股份有限公司 一种电子病历自动生成方法及装置
CN107301167A (zh) * 2017-05-25 2017-10-27 中国科学院信息工程研究所 一种功性能描述信息识别方法及装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105740773A (zh) * 2016-01-25 2016-07-06 重庆理工大学 基于深度学习和多尺度信息的行为识别方法
CN105574550A (zh) * 2016-02-02 2016-05-11 北京格灵深瞳信息技术有限公司 一种车辆识别方法及装置
CN107291795A (zh) * 2017-05-03 2017-10-24 华南理工大学 一种结合动态词嵌入和词性标注的文本分类方法
CN107330049A (zh) * 2017-06-28 2017-11-07 北京搜狐新媒体信息技术有限公司 一种新闻热度预估方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
RDFNet: RGB-D Multi-level Residual Feature Fusion for Indoor Semantic Segmentation;Seong-Jin Park;《ICCV 2017》;20171029;第4980-4989页 *

Also Published As

Publication number Publication date
CN108038107A (zh) 2018-05-15

Similar Documents

Publication Publication Date Title
CN108038107B (zh) 基于卷积神经网络的语句情感分类方法、装置及其设备
CN108062388B (zh) 人机对话的回复生成方法和装置
CN110196894B (zh) 语言模型的训练方法和预测方法
CN113656570B (zh) 基于深度学习模型的视觉问答方法及装置、介质、设备
CN112528637B (zh) 文本处理模型训练方法、装置、计算机设备和存储介质
CN106502985B (zh) 一种用于生成标题的神经网络建模方法及装置
CN110210032B (zh) 文本处理方法及装置
CN106557563B (zh) 基于人工智能的查询语句推荐方法及装置
CN109344404B (zh) 情境感知的双重注意力自然语言推理方法
CN109214006B (zh) 图像增强的层次化语义表示的自然语言推理方法
CN111401084B (zh) 一种机器翻译的方法、设备以及计算机可读存储介质
CN115795009A (zh) 基于生成式多语言模型的跨语言问答系统构建方法和装置
CN109165720A (zh) 神经网络模型压缩方法、装置和计算机设备
US11003993B1 (en) Training recurrent neural networks to generate sequences
CN108665055B (zh) 一种图说生成方法及装置
CN113128206B (zh) 基于单词重要性加权的问题生成方法
CN111930939A (zh) 一种文本检测的方法及装置
CN113609284A (zh) 一种融合多元语义的文本摘要自动生成方法及装置
CN109272497A (zh) 产品表面缺陷检测方法、装置和计算机设备
CN117332090B (zh) 一种敏感信息识别方法、装置、设备和存储介质
CN114021524A (zh) 一种情感识别方法、装置、设备及可读存储介质
US20180082167A1 (en) Recurrent neural network processing pooling operation
CN116883781A (zh) 预训练模型的微调方法、装置、电子设备及存储介质
CN116152833A (zh) 基于图像的表格还原模型的训练方法及表格还原方法
CN116127060A (zh) 一种基于提示词的文本分类方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant