CN111797853A - 特征提取方法、装置、存储介质及电子设备 - Google Patents

Abstract

本申请公开了一种特征提取方法、装置、存储介质及电子设备，在本申请中，电子设备可以获取需要进行特征提取的数据，得到一数据集合，然后将前述数据集合划分为对应不同数据类型的多个子数据集合，并分别构建对应各子数据集合的神经网络，得到多个神经网络，利用前述多个子数据集合对前述多个神经网络进行联合训练，最后根据训练后的多个神经网络对前述多个子数据集合进行特征提取，实现异构数据到同一表征空间的映射。

Description

特征提取方法、装置、存储介质及电子设备

技术领域

本申请涉及计算机技术领域，尤其涉及一种特征提取方法、装置、存储介质及电子设备。

背景技术

目前，随着传感器的小型化、智能化，如手机、平板电脑等电子设备集成了越来越多的传感器，比如光线传感器、距离传感器、位置传感器、加速度传感器以及重力传感器，等等。电子设备能够通过其配置的传感器以更小的功耗采集到更多的数据。同时，电子设备在运行过程中还会采集到系统相关的数据以及用户相关的数据，等等。但伴随而来的是，电子设备采集到的数据也越来越繁杂，若直接对这些数据进行特征提取，那么将提取出大量的特征，其维数成千上万，造成了维数灾难。

发明内容

第一方面，本申请实施例提供一种特征提取方法，应用于电子设备，包括：

获取需要进行特征提取的数据，得到一数据集合；

将所述数据集合划分为对应不同数据类型的多个子数据集合；

分别构建对应各所述子数据集合的神经网络，得到多个神经网络；

根据所述多个子数据集合对所述多个神经网络进行联合训练；

根据训练后的所述多个神经网络对所述多个子数据集合进行特征提取。

第二方面，本申请实施例提供一种特征提取装置，应用于电子设备，包括：

数据获取模块，用于获取需要进行特征提取的数据，得到一数据集合；

数据划分模块，用于将所述数据集合划分为对应不同数据类型的多个子数据集合；

网络构建模块，用于分别构建对应各所述子数据集合的神经网络，得到多个神经网络；

联合训练模块，用于根据所述多个子数据集合对所述多个神经网络进行联合训练；

特征提取模块，用于根据训练后的所述多个神经网络对所述多个子数据集合进行特征提取。

第三方面，本申请实施例提供一种存储介质，其上存储有计算机程序，其中，当所述计算机程序在计算机上执行时，使得所述计算机执行本申请实施例提供的特征提取方法中的步骤。

第四方面，本申请实施例提供一种电子设备，包括存储器，处理器，所述处理器通过调用所述存储器中存储的计算机程序，用于执行本申请实施例提供的特征提取方法中的步骤。

在本申请中，电子设备可以获取需要进行特征提取的数据，得到一数据集合，然后将前述数据集合划分为对应不同数据类型的多个子数据集合，并分别构建对应各子数据集合的神经网络，得到多个神经网络，利用前述多个子数据集合对前述多个神经网络进行联合训练，最后根据训练后的多个神经网络对前述多个子数据集合进行特征提取，实现异构数据到同一表征空间的映射。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例提供的全景感知架构的结构示意图。

图2是本申请实施例提供的特征提取方法的一流程示意图。

图3是本申请实施例中电子设备对数据集合进行划分的示例图。

图4是本申请实施例提供的特征提取方法的另一流程示意图。

图5是本申请实施例中提供的特征提取方法的应用场景示意图。

图6是本申请实施例提供的特征提取装置的结构示意图。

图7是本申请实施例提供的电子设备的一结构示意图。

图8是本申请实施例提供的电子设备的另一结构示意图。

具体实施方式

请参照图式，其中相同的组件符号代表相同的组件，本申请的原理是以实施在一适当的运算环境中来举例说明。以下的说明是基于所例示的本申请具体实施例，其不应被视为限制本申请未在此详述的其它具体实施例。

随着传感器的小型化、智能化，如手机、平板电脑等电子设备集成了越来越多的传感器，比如光线传感器、距离传感器、位置传感器、加速度传感器以及重力传感器，等等。电子设备能够通过其配置的传感器以更小的功耗采集到更多的数据。同时，电子设备在运行过程中还会采集到自身状态相关的数据以及用户状态相关的数据，等等。笼统的说，电子设备能够获取到外部环境相关的数据(比如温度、光照、地点、声音、天气等)、用户状态相关的数据(比如姿势、速度、使用习惯、个人基本信息等)以及电子设备状态相关的数据(比如耗电量、资源使用状况、网络状况等)。本申请实施例中，将电子设备能够获取到的这些数据记为全景数据。

本申请实施例中，为了能够对电子设备获取到的这些数据进行处理，提出了一种全景感知架构。请参照图1，图1为本申请实施例提供的全景感知架构的结构示意图，应用于电子设备，其包括由下至上的信息感知层、数据处理层、特征抽取层、情景建模层以及智能服务层。

作为全景感知架构的最底层，信息感知层用于获取能够描述用户的各类型情景的原始数据，即全景数据。其中，信息感知层由多个用于数据采集的传感器组成，包括但不限于图示的用于检测电子设备与外部物体之间的距离的距离传感器、用于检测电子设备所处环境的磁场信息的磁场传感器、用于检测电子设备所处环境的光线信息的光线传感器、用于检测电子设备的加速度数据的加速度传感器、用于采集用户的指纹信息的指纹传感器、用于感应磁场信息的霍尔传感器、用于检测电子设备当前所处的地理位置的位置传感器、用于检测电子设备在各个方向上的角速度的陀螺仪、用于检测电子设备的运动数据惯性传感器、用于感应电子设备的姿态信息的姿态感应器、用于检测电子设备所处环境的气压的气压计以及用于检测用户的心率信息的心率传感器等。

作为全景感知架构的次底层，数据处理层用于对信息感知层获取到的原始数据进行处理，消除原始数据存在的噪声、不一致等问题。其中，数据处理层可以对信息感知层获取到的数据进行数据清理、数据集成、数据变换、数据归约等处理。

作为全景感知架构的中间层，特征抽取层用于对数据处理层处理后的数据进行特征抽取，以提取所述数据中包括的特征。其中，特征抽取层可以通过过滤法、包装法、集成法等方法来提取特征或者对提取到的特征进行处理。

过滤法是指对提取到的特征进行过滤，以删除冗余的特征数据。包装法用于对提取到的特征进行筛选。集成法是指将多种特征提取方法集成到一起，以构建一种更加高效、更加准确的特征提取方法，用于提取特征。

作为全景感知架构的次高层，情景建模层用于根据特征抽取层提取到的特征来构建模型，所得到的模型可以用于表示电子设备的状态或者用户状态或者环境状态等。例如，情景建模层可以根据特征抽取层提取到的特征来构建关键值模型、模式标识模型、图模型、实体联系模型、面向对象模型等。

作为全景感知架构的最高层，智能服务层用于根据情景建模层所构建的模型提供智能化服务。比如，智能服务层可以为用户提供基础应用服务，可以为电子设备进行系统智能优化服务，还可以为用户提供个性化智能服务等。

此外，全景感知架构中还包括算法库，算法库中包括但不限于图示的马尔科夫算法、隐含狄里克雷分布算法、贝叶斯分类算法、支持向量机、K均值聚类算法、K近邻算法、条件随机场、残差网络、长短期记忆网络、卷积神经网络以及循环神经网络等算法。

对于电子设备能够获取到的外部环境相关的数据、用户状态相关的数据以及电子设备状态相关的数据，从这些繁杂的数据中将提取出大量的特征，其维数成千上万，造成了维数灾难，难以有效的应用于相关服务，因此，如何有效的对数据进行特征提取变得十分必要。为此，本申请实施例提供一种特征提取方法、装置、存储介质及电子设备，其中特征提取方法的执行主体可以是本申请实施例提供的特征提取装置，或者集成了该特征提取装置的电子设备，其中该特征提取装置可以采用硬件或者软件的方式实现。其中，电子设备可以是智能手机、平板电脑、掌上电脑、笔记本电脑、或者台式电脑等配置有处理器而具有处理能力的设备。

基于本申请实施例所提供的特征提取方法，信息感知层中将采集到的全景数据提供给数据处理层；数据处理层对来自于信息感知层的全景数据进行处理后提供给特征抽取层；特征抽取层将来自于数据处理层的全景数据作为需要进行特征提取的数据，基于本申请实施例所提供的特征提取方法对其进行特征提取，将抽取到的特征提供给情景建模层；情景建模层基于来自于特征抽取层的特征进行建模，利用建模得到的模型来表征电子设备的状态或者用户状态或者环境状态等；最后，智能服务层根据情景建模层所构建的模型提供对应的智能化服务，比如基础应用服务、系统优化服务、个性化服务等。

请参照图2，图2是本申请实施例提供的特征提取方法的一流程示意图。该特征提取方法可以应用于电子设备。该特征提取方法的流程可以包括：

在101中，获取需要进行特征提取的数据，得到一数据集合。

应当说明的是，在本申请实施例中，预先在电子设备建立有存储全景数据的数据库，记为全景数据库。其中，所谓全景数据包括环境相关的数据(比如，通过温度传感器采集到的温度数据、通过湿度传感器采集到的湿度数据以及通过光线传感器采集到的环境亮度数据等)、自身运行相关的数据(比如，运行的进程数量、剩余电量以及电量消耗速率等)以及用户行为相关的数据(比如，用户启动运行的应用、用户对应用的操作使用距离等)。

比如，可以在电子设备建立基于MySQL技术的全景数据库，用于存储电子设备实时采集到的全景数据，也即是环境相关的数据、自身运行相关的数据以及用户行为相关的数据。

本申请实施例中，电子设备可以获取全景数据库中所存储的全景数据，作为需要进行特征提取的数据，由获取的这些全景数据构成一数据集合，也即是需要进行特征提取的数据集合。

在102中，将前述数据集合划分为对应不同数据类型的多个子数据集合。

其中，电子设备在获取到需要进行特征提取的数据集合之后，按照预设的数据分类策略对前述数据集合中的数据进行分类，得到对应不同数据类型多个子数据集合。应当说明的是，对于数据分类策略的设置，本申请实施例中不做具体限制，可由本领域普通技术人员根据进行经验进行设置。

比如，电子设备按照预设的数据分类策略，将前述数据集合中的数据划分为A类数据、B类数据以及C类数据，由此得到对应A类数据的子数据集合A、对应B类数据的子数据集合B以及对应C类数据的子数据集合C。

在103中，分别构建对应各子数据集合的神经网络，得到多个神经网络。

其中，电子设备在将前述数据集合划分为对应不同数据类型的多个子数据集合之后，根据各子数据集合所对应的数据类型，为各子数据集合构建对应的神经网络，或者说，构建与各子数据集合所对应的数据类型所适配的神经网络。比如，电子设备将前述数据集合划分为对应A类数据的子数据集合A、对应B类数据的子数据集合B以及对应C类数据的子数据集合C，则电子设备进一步构建对应子数据集合A的A神经网络、对应子数据集合B的B神经网络以及对应子数据集合C的C神经网络。

应当说明的是，电子设备所构建的对应各子数据集合的神经网络包括但不限于卷积神经网络、递归神经网络、循环神经网络以及仅包括输入层、隐藏层和输出层的普通神经网络。

在104中，根据前述多个子数据集合对前述多个神经网络进行联合训练。

其中，电子设备在分别构建有对应各子数据集合的神经网络之后，根据前述划分得到多个子数据集合对前述构建的多个神经网络进行联合训练，使得前述多个神经网络的表征空间相同。

在105中，根据训练后的多个神经网络对前述多个子数据集合进行特征提取。

应当说明的是，由于电子设备对前述多个神经网络进行了联合训练，在完成对前述多个神经网络的联合训练之后，前述多个神经网络被联合为一个“联合神经网络”，前述多个神经网络即为构成该“联合神经网络”子神经网络。由此，电子设备根据该“联合神经网络”集合对异构数据进行特征提取，得到相同表征空间的同构特征。

由上可知，本申请实施例中，电子设备可以获取需要进行特征提取的数据，得到一数据集合，然后将前述数据集合划分为对应不同数据类型的多个子数据集合，并分别构建对应各子数据集合的神经网络，得到多个神经网络，利用前述多个子数据集合对前述多个神经网络进行联合训练，最后根据训练后的多个神经网络对前述多个子数据集合进行特征提取，实现异构数据到同一表征空间的映射。

在一实施例中，“将前述数据集合划分为对应不同数据类型的多个子数据集合”包括：

将前述数据集合划分为对应图像类数据的第一子数据集合、对应时序类数据的第二子数据集合以及对应其它类数据的第三子数据集合。

请参照图3，本申请实施例中，电子设备在将前述数据集合划分为多个子数据集合时，将前述数据集合划分为对应图像类数据(比如，摄像头拍摄的照片、从网络上缓存的图片等)的第一子数据集合、对应时序类数据(比如，文本数据、语音数据等)的第二子数据集合以及对应其它类数据(即除图像类数据和时序类数据之外的其它数据，比如，温度传感器采集的温度、湿度传感器采集的湿度等)的第三子数据集合，也即是将前述数据集合中的全景数据按照图像类数据、时序类数据以及其它类数据进行了分类。

在一实施例中，“分别构建对应各子数据集合的神经网络”，包括：

分别构建对应前述第一子数据集合的卷积神经网络、对应前述第二子数据集合的递归神经网络以及对应第三子数据集合的普通神经网络。

本申请实施例中，电子设备在将前述数据集合划分为对应不同数据类型的多个子数据集合时，将前述数据集合划分为对应图像类数据的第一子数据集合、对应时序类数据的第二子数据集合以及对应其它类数据的第三子数据集合，如图3所示。由此，电子设备在分别构建对应各子数据集合的神经网络时，对于对应图像类数据的第一子数据集合，构建适于对图像类数据进行处理的卷积神经网络，对于对应时序类数据的第二子数据集合，构建适于对时序类数据进行处理的递归神经网络，而对于对应其它类数据的第三子数据集合，构建普通神经网络(也即是仅包括输入层、隐藏层和输入层的神经网络)。

其中，对于如何构建对应前述第一子数据集合的卷积神经网络、对应前述第二子数据集合的递归神经网络以及对应第三子数据集合的普通神经网络，可由本领域普通技术人员根据校验构建。比如，以构建对应前述第一子数据集合的卷积神经网络为例，电子设备可以构建包括13个卷积层和3个全连接层的VGG16构型的卷积神经网络。又比如，以构建对应前述第三子数据集合的普通神经网络为例，电子设备可以构建包括1层输入层、5层隐藏层以及1层输出层的普通神经网络。

在一实施例中，“根据前述多个子数据集合对前述多个神经网络进行联合训练”包括：

(1)将第一子数据集合作为卷积神经网络的输入，将第二子数据集合作为递归神经网络的输入，将第三子数据集合作为普通神经网络的输入；

(2)分别获取前述卷积神经网络、前述递归神经网络以及前述普通神经网络的损失值，得到三个损失值；

(3)根据前述三个损失值融合得到一个新的损失值，并将新的损失值反向传播至前述卷积神经网络、前述递归神经网络以及前述普通神经网络。

本申请实施例中，电子设备在构建得到对应前述多个子数据集合的多个神经网络之后，即可开始对构建的多个神经网络进行联合训练。

其中，对于构建的卷积神经网络、递归神经网络以及普通神经网络，根据同一预设预测精度以及卷积神经网络、递归神经网络和普通神经网络各自的构型，分别定义对应前述卷积神经网络、前述递归神经网络以及前述普通神经网络的损失函数。

之后，电子设备将第一子数据集合作为前述卷积神经网络的输入，将第二子数据集合作为前述递归神经网络的输入，将第三子数据集合作为前述普通神经网络的输入，并根据对应前述卷积神经网络的损失函数计算得到前述卷积神经网络的损失值，根据对应前述递归神经网络的损失函数计算得到前述递归神经网络的损失值，根据对应前述普通神经网络的损失函数计算得到前述普通神经网络的损失值，由此得到三个损失值。

之后，电子设备将根据前述三个损失值融合得到一个新的损失值，并将新的损失值反向传播至前述卷积神经网络、前述递归神经网络以及前述普通神经网络，由此实现对前述卷积神经网络、前述递归神经网络以及前述普通神经网络的联合训练。

应当说明的是，本申请实施例对于如何根据前述三个损失值融合得到一个新的损失值不做具体限制，可由本领域普通技术人员根据实际需要确定对前述三个损失值的融合方式，比如，可以计算前述三个损失值的和值，将计算得到和值作为新的损失值。

在一实施例中，“根据前述三个损失值融合得到一个新的损失值”包括：

获取前述三个损失值的算术平均值，并将获取到的算术平均值作为新的损失值；

或者，获取前述三个损失值的几何平均值，并将获取到的几何平均值作为新的损失值；

或者，获取前述三个损失值的加权平均值，并将获取到的加权平均值作为新的损失值。

本申请实施例中，作为一种可选的实施方式，在根据前述三个损失值融合得到一个新的损失值时，电子设备可以获取前述三个损失值的算术平均值，并将获取到的算术平均值作为新的损失值。

比如，使用Loss_A表示前述卷积神经网络的损失值、使用Loss_B表示前述递归神经网络的损失值、使用Loss_C表示前述普通神经网络的损失值，则新的损失值Loss_new＝(Loss_A+Loss_B+Loss_C)/3。

作为另一种可选的实施方式，在根据前述三个损失值融合得到一个新的损失值时，电子设备可以获取前述三个损失值的几何平均值，并将获取到的几何平均值作为新的损失值。

比如，使用Loss_A表示前述卷积神经网络的损失值、使用Loss_B表示前述递归神经网络的损失值、使用Loss_C表示前述普通神经网络的损失值，则新的损失值

作为又一种可选的实施方式，在根据前述三个损失值融合得到一个新的损失值时，电子设备可以获取前述三个损失值的加权平均值，并将获取到的加权平均值作为新的损失值。

比如，使用Loss_A表示前述卷积神经网络的损失值、使用Loss_B表示前述递归神经网络的损失值、使用Loss_C表示前述普通神经网络的损失值，则新的损失值Loss_new＝a*Loss_A+b*Loss_B+c*Loss_C，其中，a表示对应前述卷积神经网络的权重系数，b表示对应前述递归神经网络的权重系数，c表示对应前述普通神经网络的权重系数，a、b、c的取值可由本领域普通技术人员根据实际需要进行设置。

在一实施例中，“根据训练后的多个神经网络对前述多个子数据集合进行特征提取”，包括：

(1)确定训练后的卷积神经网络的最后一个隐藏层中权值达到第一预设权值的神经元，并将确定出的神经元的输出值作为从第一子数据集合中提取的特征；

(2)确定训练后的递归神经网络的最后一个隐藏层中权值达到第二预设权值的神经元，并将确定出的神经元的输出值作为从第二子数据集合中提取的特征；

(3)确定训练后的普通神经网络的最后一个隐藏层中权值达到第三预设权值的神经元，并将确定出的神经元的输出值作为从第三子数据集合中提取的特征。

其中，在根据训练后的多个神经网络对前述多个子数据集合进行特征提取时，对于第一子数据集合，电子设备确定训练后的卷积神经网络的最后一个隐藏层中权值达到预设权值的神经元，并将确定出的神经元的输出值作为从第一子数据集合中提取的特征；对于第二子数据集合，电子设备确定训练后的递归神经网络的最后一个隐藏层中权值达到前述预设权值的神经元，并将确定出的神经元的输出值作为从第二子数据集合中提取的特征；对于第三子数据集合，电子设备确定训练后的普通神经网络的最后一个隐藏层中权值达到第三预设权值的神经元，并将确定出的神经元的输出值作为从第三子数据集合中提取的特征。

根据以上描述，本领域普通技术人员可以理解的是，第一预设权值、第二预设权值以及第三预设权值的取值越大，从第一子数据集合、第二子数据集合以及第三子数据集合中提取出的特征越少，相应的，第一预设权值、第二预设权值以及第三预设权值的取值越小，从第一子数据集合、第二子数据集合以及第三子数据集合中提取出的特征越多。因此，对于第一预设权值、第二预设权值以及第三预设权值的具体取值，可由本领域普通技术人员根据实际需要进行设置，可以设置第一预设权值、第二预设权值和第三预设权值为相同值，也可以设置第一预设权值、第二预设权值和第三预设权值为不同值，本申请实施例中对此不做具体限制。

在一实施例中，“将前述数据集合划分为对应不同数据类型的多个子数据集合”之前，还包括：

对前述数据集合进行预处理。

应当说明的是，本申请实施例中考虑前述数据集合中的“原始”全景数据存在噪声、不一致等问题，在将前述数据集合划分为对应不同数据类型的多个子数据集合之前，还对目标服务关联的数据进行预处理，其中，包括但不限于对目标服务关联的数据进行数据清洗处理、数据集成处理、数据变换处理、以及数据归约处理等。

其中，数据清洗处理是对数据进行重新审查和校验的过程，目的在于删除重复信息、纠正存在的错误，并提供数据一致性。

数据集成处理是将单个维度的数据集成到一个更高更抽象的维度，集成后能够得到更为准确、更为丰富、更具有针对性的数据。

数据变换处理是在对数据进行统计分析时，要求数据必须满足一定的条件，如在方差分析时，要求试验误差具有独立性、无偏性、方差齐性和正态性，但在实际分析中，独立性、无偏性比较容易满足，方差齐性在大多数情况下能满足，正态性有时不能满足。此时若将数据经过适当的转换，如平方根转换、对数转换、平方根反正弦转换等，则可以使数据满足方差分析的要求。其中所进行的此种数据转换，称为数据变换。

数据归约是指在尽可能保持数据原貌的前提下，最大限度地精简数据量(完成该任务的必要前提是理解挖掘任务和熟悉数据本身内容)。数据归约主要有两个途径：属性选择和数据采样，分别针对原始数据集中的属性和记录。

请结合参照图4和图5，图4为本申请实施例提供的特征提取方法的另一流程示意图，图5为该特征提取方法的应用场景示意图，该特征提取方法可以应用于电子设备，该特征提取方法的流程可以包括：

在201中，电子设备获取需要进行特征提取的数据，得到一数据集合。

应当说明的是，在本申请实施例中，预先在电子设备建立有存储全景数据的数据库，记为全景数据库。其中，所谓全景数据包括环境相关的数据(比如，通过温度传感器采集到的温度数据、通过湿度传感器采集到的湿度数据以及通过光线传感器采集到的环境亮度数据等)、自身运行相关的数据(比如，运行的进程数量、剩余电量以及电量消耗速率等)以及用户行为相关的数据(比如，用户启动运行的应用、用户对应用的操作使用距离等)。

比如，可以在电子设备建立基于MySQL技术的全景数据库，用于存储电子设备实时采集到的全景数据，也即是环境相关的数据、自身运行相关的数据以及用户行为相关的数据。

本申请实施例中，电子设备可以获取全景数据库中所存储的全景数据，作为需要进行特征提取的数据，由获取的这些全景数据构成一数据集合，也即是需要进行特征提取的数据集合。

在202中，电子设备将前述数据集合划分为对应图像类数据的第一子数据集合、对应时序类数据的第二子数据集合以及对应其它类数据的第三子数据集合。

请参照图3，电子设备在获取到需要进行特征提取的数据集合之后，将前述数据集合划分为对应图像类数据(比如，摄像头拍摄的照片、从网络上缓存的图片等)的第一子数据集合、对应时序类数据(比如，文本数据、语音数据等)的第二子数据集合以及对应其它类数据(即除图像类数据和时序类数据之外的其它数据，比如，温度传感器采集的温度、湿度传感器采集的湿度等)的第三子数据集合，也即是将前述数据集合中的全景数据按照图像类数据、时序类数据以及其它类数据进行了分类。

在203中，电子设备分别构建对应前述第一子数据集合的卷积神经网络、对应前述第二子数据集合的递归神经网络以及对应第三子数据集合的普通神经网络。

本申请实施例中，电子设备在将前述数据集合划分为对应不同数据类型的多个子数据集合之后，分别构建对应各子数据集合的神经网络，其中，对于对应图像类数据的第一子数据集合，构建适于对图像类数据进行处理的卷积神经网络，对于对应时序类数据的第二子数据集合，构建适于对时序类数据进行处理的递归神经网络，而对于对应其它类数据的第三子数据集合，构建普通神经网络(也即是仅包括输入层、隐藏层和输入层的神经网络)。

其中，对于如何构建对应前述第一子数据集合的卷积神经网络、对应前述第二子数据集合的递归神经网络以及对应第三子数据集合的普通神经网络，可由本领域普通技术人员根据校验构建。比如，以构建对应前述第一子数据集合的卷积神经网络为例，电子设备可以构建包括13个卷积层和3个全连接层的VGG16构型的卷积神经网络。又比如，以构建对应前述第三子数据集合的普通神经网络为例，电子设备可以构建包括1层输入层、5层隐藏层以及1层输出层的普通神经网络。

在204中，电子设备根据前述第一子数据集合、前述第二子数据集合以及前述第三子数据集合对前述卷积神经网络、前述递归神经网络以及前述普通神经网络进联合训练。

其中，对于构建的卷积神经网络、递归神经网络以及普通神经网络，根据同一预设预测精度以及卷积神经网络、递归神经网络和普通神经网络各自的构型，分别定义对应前述卷积神经网络、前述递归神经网络以及前述普通神经网络的损失函数。

之后，电子设备将第一子数据集合作为前述卷积神经网络的输入，将第二子数据集合作为前述递归神经网络的输入，将第三子数据集合作为前述普通神经网络的输入，并根据对应前述卷积神经网络的损失函数计算得到前述卷积神经网络的损失值，根据对应前述递归神经网络的损失函数计算得到前述递归神经网络的损失值，根据对应前述普通神经网络的损失函数计算得到前述普通神经网络的损失值，由此得到三个损失值。

之后，电子设备将根据前述三个损失值融合得到一个新的损失值，并将新的损失值反向传播至前述卷积神经网络、前述递归神经网络以及前述普通神经网络，由此实现对前述卷积神经网络、前述递归神经网络以及前述普通神经网络的联合训练。

应当说明的是，本申请实施例对于如何根据前述三个损失值融合得到一个新的损失值不做具体限制，可由本领域普通技术人员根据实际需要确定对前述三个损失值的融合方式，比如，可以计算前述三个损失值的和值，将计算得到和值作为新的损失值。

在205中，电子设备根据训练后的前述卷积神经网络、前述递归神经网络以及前述普通神经网络对前述第一子数据集合、前述第二子数据集合以及前述第三子数据集合进行特征提取。

本申请实施例中，在完成对前述卷积神经网络、前述递归神经网络以及前述普通神经网络的联合训练之后，电子设备根据训练后的前述卷积神经网络、前述递归神经网络以及前述普通神经网络对前述第一子数据集合、前述第二子数据集合以及前述第三子数据集合进行特征提取。

其中，对于第一子数据集合，电子设备确定训练后的卷积神经网络的最后一个隐藏层中权值达到预设权值的神经元，并将确定出的神经元的输出值作为从第一子数据集合中提取的特征；对于第二子数据集合，电子设备确定训练后的递归神经网络的最后一个隐藏层中权值达到前述预设权值的神经元，并将确定出的神经元的输出值作为从第二子数据集合中提取的特征；对于第三子数据集合，电子设备确定训练后的普通神经网络的最后一个隐藏层中权值达到第三预设权值的神经元，并将确定出的神经元的输出值作为从第三子数据集合中提取的特征。

根据以上描述，本领域普通技术人员可以理解的是，第一预设权值、第二预设权值以及第三预设权值的取值越大，从第一子数据集合、第二子数据集合以及第三子数据集合中提取出的特征越少，相应的，第一预设权值、第二预设权值以及第三预设权值的取值越小，从第一子数据集合、第二子数据集合以及第三子数据集合中提取出的特征越多。因此，对于第一预设权值、第二预设权值以及第三预设权值的具体取值，可由本领域普通技术人员根据实际需要进行设置，可以设置第一预设权值、第二预设权值和第三预设权值为相同值，也可以设置第一预设权值、第二预设权值和第三预设权值为不同值，本申请实施例中对此不做具体限制。

请参照图6，图6为本申请实施例提供的特征提取装置的结构示意图。该特征提取装置可以应用于电子设备。特征提取装置可以包括：数据获取模块301、数据划分模块302、网络构建模块303、联合训练模块304以及特征提取模块305。

数据获取模块301，用于获取需要进行特征提取的数据，得到一数据集合；

数据划分模块302，用于将前述数据集合划分为对应不同数据类型的多个子数据集合；

网络构建模块303，用于分别构建对应各子数据集合的神经网络，得到多个神经网络；

联合训练模块304，用于根据前述多个子数据集合对前述多个神经网络进行联合训练；

特征提取模块305，用于根据训练后的多个神经网络对前述多个子数据集合进行特征提取。

在一实施例中，在将前述数据集合划分为对应不同数据类型的多个子数据集合时，数据划分模块302可以用于：

将前述数据集合划分为对应图像类数据的第一子数据集合、对应时序类数据的第二子数据集合以及对应其它类数据的第三子数据集合。

在一实施例中，在分别构建对应各子数据集合的神经网络时，网络构建模块303可以用于：

分别构建对应前述第一子数据集合的卷积神经网络、对应前述第二子数据集合的递归神经网络以及对应第三子数据集合的普通神经网络。

在一实施例中，在根据前述多个子数据集合对前述多个神经网络进行联合训练时，联合训练模块304可以用于：

将第一子数据集合作为卷积神经网络的输入，将第二子数据集合作为递归神经网络的输入，将第三子数据集合作为普通神经网络的输入；

分别获取前述卷积神经网络、前述递归神经网络以及前述普通神经网络的损失值，得到三个损失值；

根据前述三个损失值融合得到一个新的损失值，并将新的损失值反向传播至前述卷积神经网络、前述递归神经网络以及前述普通神经网络。

在一实施例中，在根据前述三个损失值融合得到一个新的损失值时，联合训练模块304可以用于：

获取前述三个损失值的算术平均值，并将获取到的算术平均值作为新的损失值；

或者，获取前述三个损失值的几何平均值，并将获取到的几何平均值作为新的损失值；

或者，获取前述三个损失值的加权平均值，并将获取到的加权平均值作为新的损失值。

在一实施例中，在根据训练后的多个神经网络对前述多个子数据集合进行特征提取时，特征提取模块305可以用于：

确定训练后的卷积神经网络的最后一个隐藏层中权值达到第一预设权值的神经元，并将确定出的神经元的输出值作为从第一子数据集合中提取的特征；

确定训练后的递归神经网络的最后一个隐藏层中权值达到第二预设权值的神经元，并将确定出的神经元的输出值作为从第二子数据集合中提取的特征；

确定训练后的普通神经网络的最后一个隐藏层中权值达到第三预设权值的神经元，并将确定出的神经元的输出值作为从第三子数据集合中提取的特征。

在一实施例中，在将前述数据集合划分为对应不同数据类型的多个子数据集合之前，数据划分模块302可以用于：

对前述数据集合进行预处理。

应当说明的是，本申请实施例提供的特征提取装置与上文实施例中的特征提取方法属于同一构思，在特征提取装置上可以运行特征提取方法实施例中提供的任一方法，其具体实现过程详见特征提取方法实施例，此处不再赘述。

本申请实施例提供一种计算机可读的存储介质，其上存储有计算机程序，当其存储的计算机程序在电子设备上执行时，使得电子设备执行如本申请实施例提供的特征提取方法中的步骤，比如，获取需要进行特征提取的数据，得到一数据集合；将前述数据集合划分为对应不同数据类型的多个子数据集合；分别构建对应各子数据集合的神经网络，得到多个神经网络；根据前述多个子数据集合对前述多个神经网络进行联合训练；根据训练后的多个神经网络对前述多个子数据集合进行特征提取。

本申请实施例还提供一种电子设备，包括存储器，处理器，处理器通过调用存储器中存储的计算机程序，执行本申请实施例提供的特征提取方法中的步骤。

请参照图7，图7为本申请实施例提供的电子设备的结构示意图。该电子设备可以包括存储器401以及处理器402。本领域普通技术人员可以理解，图7中示出的电子设备结构并不构成对电子设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

存储器401可用于存储计算机程序和数据。存储器401存储的计算机程序中包含有可执行代码。计算机程序可以组成各种功能模块。

处理器402是电子设备的控制中心，利用各种接口和线路连接整个电子设备的各个部分，通过运行或执行存储在存储器401内的计算机程序，以及调用存储在存储器401内的数据，从而实现各种功能。

在本申请实施例中，电子设备中的处理器402会按照如下的指令，将一个或一个以上的计算机程序对应的可执行代码加载到存储器401中，并由处理器402运行，从而执行：

获取需要进行特征提取的数据，得到一数据集合；

将前述数据集合划分为对应不同数据类型的多个子数据集合；

分别构建对应各子数据集合的神经网络，得到多个神经网络；

根据前述多个子数据集合对前述多个神经网络进行联合训练；

根据训练后的多个神经网络对前述多个子数据集合进行特征提取。

请参照图8，图8为本申请实施例提供的电子设备的另一结构示意图，与图7所示电子设备的区别在于，电子设备还包括输入单元403和输出单元404等组件。

其中，输入单元403可用于接收输入的数字、字符信息或用户特征信息(比如指纹)，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入等。

输出单元404可用于输出由用户输入的信息或提供给用户的信息，如扬声器、屏幕等。

在本申请实施例中，电子设备中的处理器402会按照如下的指令，将一个或一个以上的计算机程序对应的可执行代码加载到存储器401中，并由处理器402运行，从而执行：

获取需要进行特征提取的数据，得到一数据集合；

将前述数据集合划分为对应不同数据类型的多个子数据集合；

分别构建对应各子数据集合的神经网络，得到多个神经网络；

根据前述多个子数据集合对前述多个神经网络进行联合训练；

根据训练后的多个神经网络对前述多个子数据集合进行特征提取。

在一实施例中，在将前述数据集合划分为对应不同数据类型的多个子数据集合时，处理器402可以执行：

将前述数据集合划分为对应图像类数据的第一子数据集合、对应时序类数据的第二子数据集合以及对应其它类数据的第三子数据集合。

在一实施例中，在分别构建对应各子数据集合的神经网络时，处理器402可以执行：

分别构建对应前述第一子数据集合的卷积神经网络、对应前述第二子数据集合的递归神经网络以及对应第三子数据集合的普通神经网络。

在一实施例中，在根据前述多个子数据集合对前述多个神经网络进行联合训练时，处理器402可以执行：

将第一子数据集合作为卷积神经网络的输入，将第二子数据集合作为递归神经网络的输入，将第三子数据集合作为普通神经网络的输入；

分别获取前述卷积神经网络、前述递归神经网络以及前述普通神经网络的损失值，得到三个损失值；

根据前述三个损失值融合得到一个新的损失值，并将新的损失值反向传播至前述卷积神经网络、前述递归神经网络以及前述普通神经网络。

在一实施例中，在根据前述三个损失值融合得到一个新的损失值时，处理器402可以执行：

获取前述三个损失值的算术平均值，并将获取到的算术平均值作为新的损失值；

或者，获取前述三个损失值的几何平均值，并将获取到的几何平均值作为新的损失值；

或者，获取前述三个损失值的加权平均值，并将获取到的加权平均值作为新的损失值。

在一实施例中，在根据训练后的多个神经网络对前述多个子数据集合进行特征提取时，处理器402可以执行：

确定训练后的卷积神经网络的最后一个隐藏层中权值达到第一预设权值的神经元，并将确定出的神经元的输出值作为从第一子数据集合中提取的特征；

确定训练后的递归神经网络的最后一个隐藏层中权值达到第二预设权值的神经元，并将确定出的神经元的输出值作为从第二子数据集合中提取的特征；

确定训练后的普通神经网络的最后一个隐藏层中权值达到第三预设权值的神经元，并将确定出的神经元的输出值作为从第三子数据集合中提取的特征。

在一实施例中，将前述数据集合划分为对应不同数据类型的多个子数据集合之前，处理器402可以执行：

对前述数据集合进行预处理。

应当说明的是，本申请实施例提供的电子设备与上文实施例中的特征提取方法属于同一构思，在电子设备上可以运行特征提取方法实施例中提供的任一方法，其具体实现过程详见特征提取方法实施例，此处不再赘述。

需要说明的是，对本申请实施例特征提取方法而言，本领域普通技术人员可以理解实现本申请实施例特征提取方法的全部或部分流程，是可以通过计算机程序来控制相关的硬件来完成，计算机程序可存储于一计算机可读取存储介质中，如存储在存储器中，并被至少一个处理器执行，在执行过程中可包括如特征提取方法的实施例的流程。其中，的存储介质可为磁碟、光盘、只读存储器(ROM，Read Only Memory)、随机存取记忆体(RAM，RandomAccess Memory)等。

对本申请实施例的特征提取装置而言，其各功能模块可以集成在一个处理芯片中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中，存储介质譬如为只读存储器，磁盘或光盘等。

以上对本申请实施例所提供的一种特征提取方法、装置、存储介质以及电子设备进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上，本说明书内容不应理解为对本申请的限制。

Claims (10)

1.一种特征提取方法，应用于电子设备，其特征在于，包括：

获取需要进行特征提取的数据，得到一数据集合；

将所述数据集合划分为对应不同数据类型的多个子数据集合；

分别构建对应各所述子数据集合的神经网络，得到多个神经网络；

根据所述多个子数据集合对所述多个神经网络进行联合训练；

根据训练后的所述多个神经网络对所述多个子数据集合进行特征提取。

2.根据权利要求1所述的特征提取方法，其特征在于，所述将所述数据集合划分为对应不同数据类型的多个子数据集合，包括：

将所述数据集合划分为对应图像类数据的第一子数据集合、对应时序类数据的第二子数据集合以及对应其它类数据的第三子数据集合。

3.根据权利要求2所述的特征提取方法，其特征在于，所述分别构建对应各所述子数据集合的神经网络，包括：

分别构建对应所述第一子数据集合的卷积神经网络、对应所述第二子数据集合的递归神经网络以及对应所述第三子数据集合的普通神经网络。

4.根据权利要求3所述的特征提取方法，其特征在于，所述根据所述多个子数据集合对所述多个神经网络进行联合训练，包括：

将所述第一子数据集合作为所述卷积神经网络的输入，将所述第二子数据集合作为所述递归神经网络的输入，将所述第三子数据集合作为所述普通神经网络的输入；

分别获取所述卷积神经网络、所述递归神经网络以及所述普通神经网络的损失值，得到三个损失值；

根据所述三个损失值融合得到一个新的损失值，并将所述新的损失值反向传播至所述卷积神经网络、所述递归神经网络以及所述普通神经网络。

5.根据权利要求4所述的特征提取方法，其特征在于，所述根据所述三个损失值融合得到一个新的损失值，包括：

获取所述三个损失值的算术平均值，并将所述算术平均值作为所述新的损失值；

或者，获取所述三个损失值的几何平均值，并将所述几何平均值作为所述新的损失值；

或者，获取所述三个损失值的加权平均值，并将所述加权平均值作为所述新的损失值。

6.根据权利要求4所述的特征提取方法，其特征在于，所述根据训练后多个所述神经网络对所述多个子数据集合进行特征提取，包括：

确定训练后的所述卷积神经网络的最后一个隐藏层中权值达到第一预设权值的神经元，并将确定出的神经元的输出值作为从所述第一子数据集合中提取的特征；

确定训练后的所述递归神经网络的最后一个隐藏层中权值达到第二预设权值的神经元，并将确定出的神经元的输出值作为从所述第二子数据集合中提取的特征；

确定训练后的所述普通神经网络的最后一个隐藏层中权值达到第三预设权值的神经元，并将确定出的神经元的输出值作为从所述第三子数据集合中提取的特征。

7.根据权利要求1所述的特征提取方法，其特征在于，所述将所述数据集合划分为对应不同数据类型的多个子数据集合之前，还包括：

对所述数据集合进行预处理。

8.一种特征提取装置，应用于电子设备，其特征在于，包括：

数据获取模块，用于获取需要进行特征提取的数据，得到一数据集合；

数据划分模块，用于将所述数据集合划分为对应不同数据类型的多个子数据集合；

网络构建模块，用于分别构建对应各所述子数据集合的神经网络，得到多个神经网络；

联合训练模块，用于根据所述多个子数据集合对所述多个神经网络进行联合训练；

特征提取模块，用于根据训练后的所述多个神经网络对所述多个子数据集合进行特征提取。

9.一种存储介质，其上存储有计算机程序，其特征在于，当所述计算机程序在计算机上运行时，使得所述计算机执行如权利要求1至7任一项所述的特征提取方法。

10.一种电子设备，包括处理器和存储器，所述存储器储存有计算机程序，其特征在于，所述处理器通过调用所述计算机程序，用于执行如权利要求1至7任一项所述的特征提取方法。

Images