CN109871531A - 隐含特征提取方法、装置、计算机设备及存储介质 - Google Patents

Abstract

本申请实施例提供了一种隐含特征提取方法、装置、计算机设备及计算机可读存储介质。本申请实施例属于文本分类技术领域，本申请实施例在实现隐含特征提取时，通过获取进行隐含特征提取的第一语料，将所述第一语料进行词嵌入以将所述第一语料转化为词向量，通过卷积神经网络提取所述词向量的词向量特征，从而采用无监督算法将所述词向量进行聚类描述，然后将所述词向量特征通过自编码方式进行编码以提取所述词向量特征的隐含特征以实现将所述词向量特征的数据进行降维处理，从而实现通过无监督学习提取语料的隐含特征，能够提升后续学习建模的精度，并且克服了训练数据量的影响。

Description

隐含特征提取方法、装置、计算机设备及存储介质

技术领域

本申请涉及文本分类技术领域，尤其涉及一种隐含特征提取方法、装置、计算机设备及计算机可读存储介质。

背景技术

传统文本分类模型为监督学习模型，监督学习模型是指利用一组已知类别的样本调整分类器的参数，使其达到所要求性能的过程，也称为监督训练模型或有教师学习模型，因此，使用监督学习模型需要根据已知类别的样本进行文本的分类，所以使用监督学习模型进行文本分类时需要大量含标注数据，以便根据标注数据对文本进行分类，大量标注数据的处理会导致文本分类的效率比较低。

发明内容

本申请实施例提供了一种隐含特征提取方法、装置、计算机设备及计算机可读存储介质，能够解决传统技术中文本分类效率比较低的问题。

第一方面，本申请实施例提供了一种隐含特征提取方法，所述方法包括：获取进行隐含特征提取的第一语料；将所述第一语料进行词嵌入以将所述第一语料转化为词向量；通过卷积神经网络提取所述词向量的词向量特征；将所述词向量特征通过自编码方式进行编码以提取所述词向量特征的隐含特征。

第二方面，本申请实施例还提供了一种隐含特征提取装置，包括：获取单元，用于获取进行隐含特征提取的第一语料；转化单元，用于将所述第一语料进行词嵌入以将所述第一语料转化为词向量；第一提取单元，用于通过卷积神经网络提取所述词向量的词向量特征；第二提取单元，用于将所述词向量特征通过自编码方式进行编码以提取所述词向量特征的隐含特征。

第三方面，本申请实施例还提供了一种计算机设备，其包括存储器及处理器，所述存储器上存储有计算机程序，所述处理器执行所述计算机程序时实现所述隐含特征提取方法。

第四方面，本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时使所述处理器执行所述隐含特征提取方法。

本申请实施例提供了一种隐含特征提取方法、装置、计算机设备及计算机可读存储介质。本申请实施例属于文本分类技术领域，本申请实施例在实现隐含特征提取时，通过获取进行隐含特征提取的第一语料，将所述第一语料进行词嵌入以将所述第一语料转化为词向量，通过卷积神经网络提取所述词向量的词向量特征，从而采用无监督算法将所述词向量进行聚类描述，然后将所述词向量特征通过自编码方式进行编码以提取所述词向量特征的隐含特征以实现将所述词向量的数据进行降维处理，从而实现通过无监督学习提取语料的隐含特征，能够提升后续学习建模的精度，并且克服了训练数据量的影响。

附图说明

为了更清楚地说明本申请实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例提供的隐含特征提取方法的应用场景示意图；

图2为本申请实施例提供的隐含特征提取方法的流程示意图；

图3为本申请实施例提供的隐含特征提取方法中词向量示意图；

图4为本申请实施例提供的隐含特征提取方法中的自编码结构示意图；

图5为本申请实施例提供的隐含特征提取方法中的自编码结构流程示意图；

图6为本申请实施例提供的隐含特征提取方法中的语料显示示意图；

图7为本申请实施例提供的隐含特征提取方法中的一个子流程示意图；

图8为本申请实施例提供的隐含特征提取装置的示意性框图；

图9为本申请实施例提供的隐含特征提取装置的另一个示意性框图；以及

图10为本申请实施例提供的计算机设备的示意性框图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。

还应当理解，在此本申请说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本申请。如在本申请说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。

还应当进一步理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。

请参阅图1，图1为本申请实施例提供的隐含特征提取方法的应用场景示意图。所述应用场景包括：

(1)终端。图1所示终端上安装有应用程序，研发人员通过应用程序实现执行隐含特征提取方法的步骤，所述终端可以为笔记本电脑、平板电脑或者台式电脑等电子设备，图1中所示的终端应用环境也可以更换为服务器等计算机设备。若图1中的应用环境为服务器，服务器可以为服务器集群或者云服务器。服务器集群又可以采用分布式系统，分布式系统的服务器又可以包括主服务器和从服务器，以使主服务器使用获得的语料执行隐含特征提取方法的步骤。

图1中的各个主体工作过程如下：终端获取进行隐含特征提取的第一语料，将所述第一语料进行词嵌入以将所述第一语料转化为词向量，通过卷积神经网络提取所述词向量的词向量特征，将所述词向量特征通过自编码方式进行编码以提取所述词向量特征的隐含特征。

需要说明的是，图1中仅仅示意出台式电脑作为终端，在实际操作过程中，终端的类型不限于图1中所示，所述终端还可以为手机、笔记本电脑或者平板电脑等电子设备，上述隐含特征提取方法的应用场景仅仅用于说明本申请技术方案，并不用于限定本申请技术方案。

图2为本申请实施例提供的隐含特征提取方法的示意性流程图。该隐含特征提取方法应用于图1中的终端中以完成隐含特征提取方法的全部或者部分功能。

请参阅图2，图2是本申请实施例提供的隐含特征提取方法的流程示意图。如图2所示，该方法包括以下步骤S210-S240：

S210、获取进行隐含特征提取的第一语料。

具体地，服务器获取进行隐含特征提取的第一语料，所述第一语料可以是通过爬取网络上指定网站上的预设语料，爬取规则可以根据实际需要预先设置，比如，爬取规则为某一网页的语料，也可以是爬取的某一主体的相关语料。所述第一语料还可以是通过语料数据库提供的语料，比如某一网站积累的用户数据等。

S220、将所述第一语料进行词嵌入以将所述第一语料转化为词向量。

其中，词嵌入，英文为Word Embedding，是一种词的类型表示，具有相似意义的词具有相似的表示，是将词汇映射到实数向量的方法总称。具体地，词嵌入是一类技术，单个词在预定义的向量空间中被表示为实数向量，每个单词都映射到一个向量。请参阅图3，图3为本申请实施例提供的隐含特征提取方法中词向量示意图。如图3所示，假如在一个文本中包含“猫”“狗”及“爱情”等若干单词，而这若干单词映射到向量空间中，“猫”对应的向量为(0.1，0.2，0.3)，“狗”对应的向量为(0.2，0.2，0.4)，“爱情”对应的映射为(-0.4，-0.5，-0.2)(本数据仅为示意)。像这种将文本X{x1,x2,x3,x4,x5……xn}映射到多维向量空间Y{y1,y2,y3,y4,y5……yn}，这个映射过程就叫做词嵌入。之所以希望把每个单词都变成一个向量，目的还是为了方便计算，比如“猫”，“狗”，“爱情”三个词。对于我们人而言，我们可以知道“猫”和“狗”表示的都是动物，而“爱情”是表示的一种情感，但是对于机器而言，这三个词都是用0和1表示成二进制的字符串而已，无法对其进行计算。而通过词嵌入这种方式将单词转变为词向量，机器便可对单词进行计算，通过计算不同词向量之间夹角余弦值cos而得出单词之间的相似性，比如，在图3中，由于cosα＜cosβ，可“猫”与“狗”更相似，猫与“爱情”差异较大。

具体地，将文本语料转化为预训练的词向量，也就是将输入的自然语言编码成词向量，为预训练词向量准备。具体实施时，可以使用预训练好的词向量，也可以直接在训练TextCNN的过程中训练出一套词向量，不过使用预训练好的词向量比在训练TextCNN的过程中训练出一套词向量快100倍不止。如果使用预训练好的词向量，又分为Static方法和No-static方法，Static方法是指在训练TextCNN过程中不再调节词向量的参数，No-static方法在训练过程中调节词向量的参数，所以No-static方法的结果比Static方法的结果要好。其中，TextCNN，英文为Text Convolutional Neural Network，基于卷积神经网络的文本分类模型，也就是利用卷积神经网络对文本进行分类。

进一步地，还可以不在每一个Batch(批)中都调节Embedding层(嵌入层)，而是每100个Batch调节一次，这样可以减少训练的时间，又可以微调词向量。

更进一步地，可以使用训练好的预设词向量字典将所述第一语料进行词嵌入以将所述第一语料转化为词向量。在一个实施例中，词向量可以采用Word2Vec预训练词向量，即每个词汇都有对应的向量表示，此类向量表示能够以数据形式表达词汇信息。其中，Word2vec，英文为Word to vector，是一款用于训练词向量的软件工具。

S230、通过卷积神经网络提取所述词向量的词向量特征。

其中，卷积神经网络，英文为Convolutional Neural Networks，简称为CNN，是一类包含卷积或者相关计算且具有深度结构的前馈神经网络(Feedforward NeuralNetworks)，是深度学习(Deep Learning)的代表算法之一。由于卷积神经网络能够进行平移不变分类(英文为Shift-Invariant Classification)，因此也被称为“平移不变人工神经网络(英文为Shift-Invariant Artificial Neural Networks，简称为SIANN)。

具体地，建立卷积神经网络，采用卷积神经网络提取语料的特征。卷积神经网络通过多种尺度卷积核捕捉文本局部信息。在实践中，首层卷积核的纵向维度可选取1至5中的多类尺度以对应捕捉词汇数量，横向维度与词向量维度保持相同。在首层卷积层之后，可根据文本长度以选取对应纵向维度的一维卷积层，以进一步提炼信息。

S240、将所述词向量特征通过自编码方式进行编码以提取所述词向量特征的隐含特征。

其中，自编码方式是指通过自编码结构进行编码的方式，自编码结构是一种基于神经网络学习隐含特征的非监督学习方法，是一种人工神经网络，在无监督学习中用于有效编码。自编码的目的是对一组数据学习出一种表示，该表示一般用数字描述，该表示也称表征，编码，通常用于降维，并且自编码还可以用于数据的生成模型。请参阅图4，图4为本申请实施例提供的隐含特征提取方法中的自编码结构示意图。如图4所示，自编码结构一般包括输入层、隐层及输出层。输入层接收外部输入的数据，经过中间的隐层进行编码以学习隐含特征，通过输出层将隐含特征进行解码输出。其中，隐层可以表示为一种函数关系，比如Hw,b(x)，其中，H为隐含特征，x为变量，w和b为参数，自编码结构中的隐层结构可以由一层构成，也可以由多层构成，隐层由一层构成可以称为一个隐层，隐层由多层构成可以称为多个隐层，图4所示的隐层为一层，图4中的隐层也可以为2层、3层或者4层等多层。自编码结构的构建可以通过Python中tensorflow库实现，构建完毕的网络结构即可进行训练，训练完毕的自编码结构就可以正式使用。

具体地，自编码结构构建完成后，根据卷积神经网络输出建立自编码结构。在本申请实施例中，自编码结构的输入与输出均为卷积神经网络输出信息，而中间一个或多个隐层则可视为隐含特征。经过训练的自编码结构通过编码，将输入转化为隐含信息，并将隐含信息通过解码得到与原始输入相近的输出。在此情况下，隐层单元便能够记录文本的大量信息。

在一个实施例中，将所述词向量特征通过自编码函数进行编码以获取所述词向量特征的隐含特征。也就是终端将所述词向量特征通过所述自编码结构的隐层进行编码以获取所述第一语料进行降维后的数字描述，其中，隐层是指通过神经网络的非监督学习方式，将文字语料转换为数字表现方式从而用非文字形式隐含表示文字含义的层，以实现将大量的语料提取后再进行准确还原的目的。隐层是位于神经网络输入层与输出层之间的中间层。每个隐层均含有一定数量的隐含单元，隐含单元与输入层及输出层之间存在连接。自编码结构也可以理解为文字语料的转换过程如下：10维(汉字)—5维(数字)—10维(汉字)，其中，维是指维度，其中5维是指文本的隐含特征为5维，比如为5行，训练获取5维的准确性。通过神经网络实现如下过程：文字表示—通过隐层置换为数字表示(通过数字的方式表示的文本含义)—还原文字表示。请参阅图5，图5为本申请实施例提供的隐含特征提取方法中的自编码结构流程示意图。如图5所示，建立自编码网络结构，比如，卷积神经网络的输入维度和输出维度均为384*1，也就是384行和1列的结构，而目标是学习得到维度100*1的隐含特征，也就是得到100行和1列的结构。自编码网络结构的输入层与输出层维度均为384行，自编码结构共包含3层，包括两层384维度的输入层及输出层，以及100维度的中间隐层，其中，中间的隐层可以不止一层，可以根据实际需求设置多层，比如2层，3层或者4层等。

进一步地，将所述词向量特征通过自编码方式进行编码以提取所述词向量特征的隐含特征之后，后续在需要时，将所述隐含特征进行解码以获取解码后的第二语料。具体地，在大数据处理的过程中，对于原始的大量数据可以经过自编码结构进行编码，以对实现将数据进行降维压缩，减少语料的大小，便于数据的存储和提高数据的读取效率。后续需要对大数据进行分析以提取数据隐含的情报信息时，可以将所述隐含特征进行解码以获取解码后的第二语料。比如，一个购物网站，必定积淀了大量的用户购买数据，为了方便对数据进行存储和分析，可以对所述大量数据进行隐含特征的学习，后续需要对用户群体进行分析，以获知用户的购买习惯和喜好等用户信息时，可以将从大量原始的用户数据中获取的隐含特征进行解码，获取解码后的第二语料，由于所述第二语料进行过聚类分析和压缩，可以提高对语料进行分析和处理的效率。

本申请实施例属于文本分类技术领域，本申请实施例在实现隐含特征提取时，通过获取进行隐含特征提取的第一语料，将所述第一语料进行词嵌入以将所述第一语料转化为词向量，通过卷积神经网络提取所述词向量的词向量特征，从而采用无监督算法将所述语料进行聚类描述，然后将所述词向量特征通过自编码方式进行编码以提取所述词向量特征的隐含特征以实现将所述语料的数据进行降维处理，从而实现通过无监督学习提取语料的隐含特征，能够提升后续学习建模的精度，并且克服了训练数据量的影响。

在一个实施例中，所述将所述隐含特征进行解码以获取解码后的第二语料的步骤之后，还包括：

以预设形式显示所述第二语料。

具体地，由于所述语料是经过聚类处理的语料，所述第二语料有一定的规律性，可以将所述语料以表格的形式或者以图表的形式显示，便于用户可以表格的形式或者图形的形式获取所述第二语料的相关信息。请参阅表格1和图6，表格1是以表格的形式显示得到的第二语料的示例，图6为本申请实施例提供的隐含特征提取方法中的语料显示示意图，图6是以图表的形式显示得到的第二语料的示例。

表格1

主题	出现的次数
		猫	100次
狗	60次
		爱情	80次

在一个实施例中，所述将所述词向量特征通过自编码函数进行编码以获取所述词向量特征的隐含特征的步骤之前，还包括：

使用训练语料训练所述自编码函数。

进一步地，请参阅图7，图7为本申请实施例提供的隐含特征提取方法中的一个子流程示意图。如图7所示，在该实施例中，所述使用训练语料训练所述自编码函数的步骤包括：

S710、将所述训练语料的词向量特征输入至所述自编码函数；

S720、将所述训练语料的词向量特征通过所述自编码函数进行编码以提取所述词向量特征的隐含特征；

S730、将所述隐含特征进行解码以获取解码后的第三语料；

S740、判断所述训练语料和所述第三语料的相似度是否大于或者等于预设相似度阈值；

S750、若所述训练语料和所述第三语料的相似度大于或者等于所述预设相似度阈值，确定完成所述自编码结构的训练；

S760、若所述训练语料和所述第三语料的相似度小于所述预设相似度阈值，调整所述自编码函数中的参数继续训练所述自编码函数，直至所述训练语料和所述第三语料的相似度大于或者等于所述预设相似度阈值。

具体地，在使用自编码结构学习文本隐含特征之前，需要对自编码结构进行训练，自编码结构提取语料的隐含特征满足准确度要求后，自编码结构训练完毕。训练完毕的自编码网络结构即可用于文本的特征提取，根据自编码结构学习文本隐含特征以使用提取语料的隐含特征进行建模等其他使用。

进一步地，自编码结构训练时，自编码结构中的损失函数为MSE，其中，，MSE，英文为mean-squareerror，均方误差，是一种计算预测值与真实值之间距离的平方和的方法，训练方法为ADAM，其中，ADMA，英文为Adaptive moment estimation，自适应矩估计，学习率为0.001，其中，学习率，也称为学习速率，英文为Earning Rate,控制模型的学习进度。训练完毕的自编码网络结构即可用于文本的隐含特征提取。具体地，自编码结构训练过程如下：

1)、获取训练语料，这里的训练语料为Text文本语料，比如获取的训练语料包括：猫1，狗1，狗3，人，猫2，狗2。

2)、通过词嵌入层将训练语料转化为词向量，也就是将文字语料转换为词向量，比如，上述训练的文字语料转换词向量后为：1'(猫1)，2'(狗1)，2"(狗3)，3(人)，1"(猫2)，2"'(狗2)。

3)、通过卷积神经网络提取词向量的词向量特征以实现非监督形式的聚类表示，也就是通过卷积神经网络将所述训练语料转换后的词向量进行特征提取及分类以获取所述训练语料的特征，比如，根据上述词向量获取的词向量特征为：1'和1"(猫1、猫2)；2'、2"和2"'(狗1，狗2，狗3)；3(人)。

4)、将所述训练语料的词向量特征通过所述自编码函数进行编码以提取所述词向量特征的隐含特征。具体地，将所述训练语料的词向量特征通过所述隐层进行编码以学习所述训练语料的隐含特征，根据卷积神经网络输出建立自编码结构以所述训练语料的隐含特征，也就是将所述训练语料的词向量特征通过所述自编码结构的输入层输入至所述自编码结构的隐层，也即将所述训练语料的词向量特征输入至所述自编码函数以进行编码，从而用数字形式表示文字语料对应的含义，相对于文字形式是隐含的表示，比如，根据上述训练语料学习的隐含特征为：1(1'和1")，2(2'、2"和2"')，3(3)。

5)、将所述隐含特征进行解码以获取解码后的第三语料。具体地，将所述训练语料的隐含特征通过自编码结构的输出层进行解码以获取解码后的第三语料，也就是通过自编码结构的神经网络将隐含特征的数字形式还原为文字形式，还原后的语料内容和原训练语料的文字内容满足相似度要求以实现解码，也就是通过自编码结构将所述隐含特征的数字形式还原为文字形式的含义，最后的结果要求还原的内容和原文字满足相似度要求，比如，上述隐含特征还原后的结构为：猫1，猫2，狗1，狗2，狗3，人，或者猫1，狗1，狗3，人，猫2，狗2。

6)、判断所述训练语料和所述第三语料的相似度是否大于或者等于预设相似度阈值，若所述训练语料和所述第三语料的相似度大于或者等于所述预设相似度阈值，确定完成所述自编码结构的训练，若所述训练语料和所述第三语料的相似度小于所述预设相似度阈值，调整所述自编码方式中的参数继续训练所述自编码方式，直至所述训练语料和所述第三语料的相似度大于或者等于所述预设相似度阈值。

其中，训练过程中卷积神经网络建立，此处的卷积神经网络为预训练以实现采用卷积神经网络提取文本的特征。根据自编码结构，获得文本的隐含特征，比如，提供一段语料，获取该语料的词向量形式的数字表示，即为该语料的隐含特征，文本隐含特征是指图5中所示隐层生成的特征。在训练过程中，自编码结构、卷积神经网络结构以及词向量均将被更新。最终，所述训练语料和所述第三语料的相似度满足预设相似度阈值，经训练的自编码结构的隐层能够反映文本隐含特征，能够用于多项用途。

本申请实施例通过采用无监督算法提取文本隐含特征，首先将文本转化为预训练的词向量，并采用卷积神经网络提取文本的特征，随后根据卷积神经网络输出建立自编码结构以学习文本隐含特征，训练过程中，自编码结构、卷积神经网络结构以及词向量均将被更新。最终，经训练的自编码结构的隐层能够反映文本隐含特征以实现通过无监督算法提取模型隐含特征，能够用于多项用途，所得信息能够提升后续监督学习建模的精度，克服了训练数据量的影响。本申请实施例的方法所建立的隐含特征提取模型在实际应用方面，适用于训练样本数量较小的监督训练。由于深度学习具有较高的过拟合可能性，因此较小的训练样本数据量将严重影响模型泛化能力，因此，可通过无标注的大量训练数据通过本申请实施例的方法建立隐含特征提取模型以学习文本隐含特征，再结合隐含特征提取模型中隐含特征与含标注的训练数据进行监督学习建模，以提高监督学习建模的精度。

需要说明的是，上述各个实施例所述的隐含特征提取方法，可以根据需要将不同实施例中包含的技术特征重新进行组合，以获取组合后的实施方案，但都在本申请要求的保护范围之内。

请参阅图8，图8为本申请实施例提供的隐含特征提取装置的示意性框图。对应于上述隐含特征提取方法，本申请实施例还提供一种隐含特征提取装置。如图8所示，该隐含特征提取装置包括用于执行上述隐含特征提取方法的单元，该装置可以被配置于终端或者服务器等计算机设备中。具体地，请参阅图8，该隐含特征提取装置800包括获取单元801、转化单元802、第一提取单元803及第二提取单元804。

其中，获取单元801，用于获取进行隐含特征提取的第一语料；

转化单元802，用于将所述第一语料进行词嵌入以将所述第一语料转化为词向量；

第一提取单元803，用于通过卷积神经网络提取所述词向量的词向量特征；

第二提取单元804，用于将所述词向量特征通过自编码方式进行编码以提取所述词向量特征的隐含特征。

在一个实施例中，第二提取单元804，用于将所述词向量特征通过自编码函数进行编码以获取所述词向量特征的隐含特征。

请参阅图9，图9为本申请实施例提供的隐含特征提取装置的另一个示意性框图。如图9所示，在该实施例中，所述隐含特征提取装置800还包括：

解码单元805，用于将所述隐含特征进行解码以获取解码后的第二语料；

显示单元806，用于以预设形式显示所述第二语料；

训练单元807，用于使用训练语料训练所述自编码函数。

请继续参阅图9，在该实施例中，所述训练单元807包括：

输入子单元8071，用于将所述训练语料的词向量特征输入至所述自编码函数；

编码子单元8072，用于将所述训练语料的词向量特征通过所述自编码函数进行编码以提取所述词向量特征的隐含特征；

解码子单元8073，用于将所述隐含特征进行解码以获取解码后的第三语料；

判断子单元8074，用于判断所述训练语料和所述第三语料的相似度是否大于或者等于预设相似度阈值；

确定子单元8075，用于若所述训练语料和所述第三语料的相似度大于或者等于所述预设相似度阈值，确定完成所述自编码结构的训练；

调整子单元8076，用于若所述训练语料和所述第三语料的相似度小于所述预设相似度阈值，调整所述自编码函数中的参数继续训练所述自编码函数，直至所述训练语料和所述第三语料的相似度大于或者等于所述预设相似度阈值。

在一个实施例中，所述转化单元802，用于使用训练好的预设词向量字典将所述第一语料进行词嵌入以将所述第一语料转化为词向量。

需要说明的是，所属领域的技术人员可以清楚地了解到，上述隐含特征提取装置和各单元的具体实现过程，可以参考前述方法实施例中的相应描述，为了描述的方便和简洁，在此不再赘述。

同时，上述隐含特征提取装置中各个单元的划分和连接方式仅用于举例说明，在其他实施例中，可将隐含特征提取装置按照需要划分为不同的单元，也可将隐含特征提取装置中各单元采取不同的连接顺序和方式，以完成上述隐含特征提取装置的全部或部分功能。

上述隐含特征提取装置可以实现为一种计算机程序的形式，该计算机程序可以在如图10所示的计算机设备上运行。

请参阅图10，图10是本申请实施例提供的一种计算机设备的示意性框图。该计算机设备1000可以是台式机电脑或者服务器等计算机设备，也可以是其他设备中的组件或者部件。

参阅图10，该计算机设备1000包括通过系统总线1001连接的处理器1002、存储器和网络接口1005，其中，存储器可以包括非易失性存储介质1003和内存储器1004。

该非易失性存储介质1003可存储操作系统10031和计算机程序10032。该计算机程序10032被执行时，可使得处理器1002执行一种上述隐含特征提取方法。

该处理器1002用于提供计算和控制能力，以支撑整个计算机设备1000的运行。

该内存储器1004为非易失性存储介质1003中的计算机程序10032的运行提供环境，该计算机程序10032被处理器1002执行时，可使得处理器1002执行一种上述隐含特征提取方法。

该网络接口1005用于与其它设备进行网络通信。本领域技术人员可以理解，图10中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备1000的限定，具体的计算机设备1000可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。例如，在一些实施例中，计算机设备可以仅包括存储器及处理器，在这样的实施例中，存储器及处理器的结构及功能与图10所示实施例一致，在此不再赘述。

其中，所述处理器1002用于运行存储在存储器中的计算机程序10032，以实现如下步骤：获取进行隐含特征提取的第一语料；将所述第一语料进行词嵌入以将所述第一语料转化为词向量；通过卷积神经网络提取所述词向量的词向量特征；将所述词向量特征通过自编码方式进行编码以提取所述词向量特征的隐含特征。

在一实施例中，所述处理器1002在实现所述将所述词向量特征通过自编码方式进行编码以提取所述词向量特征的隐含特征的步骤时，具体实现以下步骤：

将所述词向量特征通过自编码函数进行编码以获取所述词向量特征的隐含特征。

在一实施例中，所述处理器1002在实现所述将所述词向量特征通过自编码方式进行编码以提取所述词向量特征的隐含特征的步骤之后，还实现以下步骤：

将所述隐含特征进行解码以获取解码后的第二语料。

在一实施例中，所述处理器1002在实现所述将所述隐含特征进行解码以获取解码后的第二语料的步骤之后，还实现以下步骤：

以预设形式显示所述第二语料。

在一实施例中，所述处理器1002在实现所述将所述词向量特征通过自编码函数进行编码以获取所述词向量特征的隐含特征的步骤之前，还实现以下步骤：

使用训练语料训练所述自编码函数。

在一实施例中，所述处理器1002在实现所述使用训练语料训练所述自编码函数的步骤时，具体实现以下步骤：

将所述训练语料的词向量特征输入至所述自编码函数；

将所述训练语料的词向量特征通过所述自编码函数进行编码以提取所述词向量特征的隐含特征；

将所述隐含特征进行解码以获取解码后的第三语料；

判断所述训练语料和所述第三语料的相似度是否大于或者等于预设相似度阈值；

若所述训练语料和所述第三语料的相似度大于或者等于所述预设相似度阈值，确定完成所述自编码结构的训练；

若所述训练语料和所述第三语料的相似度小于所述预设相似度阈值，调整所述自编码函数中的参数继续训练所述自编码函数，直至所述训练语料和所述第三语料的相似度大于或者等于所述预设相似度阈值。

在一实施例中，所述处理器1002在实现所述将所述第一语料进行词嵌入以将所述第一语料转化为词向量的步骤时，具体实现以下步骤：

使用训练好的预设词向量字典将所述第一语料进行词嵌入以将所述第一语料转化为词向量。

应当理解，在本申请实施例中，处理器1002可以是中央处理单元(CentralProcessing Unit，CPU)，该处理器1002还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific IntegratedCircuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中，通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

本领域普通技术人员可以理解的是实现上述实施例的方法中的全部或部分流程，是可以通过计算机程序来完成，该计算机程序可存储于一计算机可读存储介质。该计算机程序被该计算机系统中的至少一个处理器执行，以实现上述方法的实施例的流程步骤。

因此，本申请还提供一种计算机可读存储介质。该计算机可读存储介质可以为非易失性的计算机可读存储介质，该计算机可读存储介质存储有计算机程序，该计算机程序被处理器执行时使处理器执行如下步骤：

一种计算机程序产品，当其在计算机上运行时，使得计算机执行以上各实施例中所描述的隐含特征提取方法的步骤。

所述计算机可读存储介质可以是前述设备的内部存储单元，例如设备的硬盘或内存。所述计算机可读存储介质也可以是所述设备的外部存储设备，例如所述设备上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。进一步地，所述计算机可读存储介质还可以既包括所述设备的内部存储单元也包括外部存储设备。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的设备、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

所述计算机可读存储介质可以是U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、磁碟或者光盘等各种可以存储程序代码的计算机可读存储介质。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的。例如，各个单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。

本申请实施例方法中的步骤可以根据实际需要进行顺序调整、合并和删减。本申请实施例装置中的单元可以根据实际需要进行合并、划分和删减。另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。

该集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台电子设备(可以是个人计算机，终端，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。

以上所述，仅为本申请的具体实施方式，但本申请明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种隐含特征提取方法，其特征在于，所述方法包括：

获取进行隐含特征提取的第一语料；

将所述第一语料进行词嵌入以将所述第一语料转化为词向量；

通过卷积神经网络提取所述词向量的词向量特征；

将所述词向量特征通过自编码方式进行编码以提取所述词向量特征的隐含特征。

2.根据权利要求1所述隐含特征提取方法，其特征在于，所述将所述词向量特征通过自编码方式进行编码以提取所述词向量特征的隐含特征的步骤包括：

将所述词向量特征通过自编码函数进行编码以获取所述词向量特征的隐含特征。

3.根据权利要求1所述隐含特征提取方法，其特征在于，所述将所述词向量特征通过自编码方式进行编码以提取所述词向量特征的隐含特征的步骤之后，还包括：

将所述隐含特征进行解码以获取解码后的第二语料。

4.根据权利要求3所述隐含特征提取方法，其特征在于，所述将所述隐含特征进行解码以获取解码后的第二语料的步骤之后，还包括：

以预设形式显示所述第二语料。

5.根据权利要求2所述隐含特征提取方法，其特征在于，所述将所述词向量特征通过自编码函数进行编码以获取所述词向量特征的隐含特征的步骤之前，还包括：

使用训练语料训练所述自编码函数。

6.根据权利要求5所述隐含特征提取方法，其特征在于，所述使用训练语料训练所述自编码函数的步骤包括：

将所述训练语料的词向量特征输入至所述自编码函数；

将所述训练语料的词向量特征通过所述自编码函数进行编码以提取所述词向量特征的隐含特征；

将所述隐含特征进行解码以获取解码后的第三语料；

判断所述训练语料和所述第三语料的相似度是否大于或者等于预设相似度阈值；

若所述训练语料和所述第三语料的相似度大于或者等于所述预设相似度阈值，确定完成所述自编码结构的训练；

若所述训练语料和所述第三语料的相似度小于所述预设相似度阈值，调整所述自编码函数中的参数继续训练所述自编码函数，直至所述训练语料和所述第三语料的相似度大于或者等于所述预设相似度阈值。

7.根据权利要求1所述隐含特征提取方法，其特征在于，所述将所述第一语料进行词嵌入以将所述第一语料转化为词向量的步骤包括：

使用训练好的预设词向量字典将所述第一语料进行词嵌入以将所述第一语料转化为词向量。

8.一种隐含特征提取装置，其特征在于，包括：

获取单元，用于获取进行隐含特征提取的第一语料；

转化单元，用于将所述第一语料进行词嵌入以将所述第一语料转化为词向量；

第一提取单元，用于通过卷积神经网络提取所述词向量的词向量特征；

第二提取单元，用于将所述词向量特征通过自编码方式进行编码以提取所述词向量特征的隐含特征。

9.一种计算机设备，其特征在于，所述计算机设备包括存储器以及与所述存储器相连的处理器；所述存储器用于存储计算机程序；所述处理器用于运行所述存储器中存储的计算机程序，以执行如权利要求1-7任一项所述隐含特征提取方法的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时使所述处理器执行如权利要求1-7中任一项所述隐含特征提取方法的步骤。