CN108920623A - 一种数据挖掘方法及装置 - Google Patents

Abstract

本发明提供一种数据挖掘的方法及装置，每一层的卷积层在接收到输入的特征矩阵后，对输入的特征矩阵进行压缩处理使得降低特征矩阵的维度，减小了卷积神经网络的参数的数量，进而大大减少了大数据挖掘的参数的数量，可以解决大数据挖掘中存在的超高维的问题。

Description

一种数据挖掘方法及装置

技术领域

本发明涉及数据挖掘技术领域，尤其涉及一种数据挖掘方法及装置。

背景技术

在大数据挖掘领域常采用的方法包括深度学习，利用深度学习的自动学习特征的特点，实现对海量数据的分析并从海量数据中挖掘出潜在的知识。其中在深度学习中常用的为卷积神经网络模型(CNN)。

由于卷积神经网络为了获取足够多的特征，采用了过完备的方案，因此在卷积神经网络的每一层卷积层中可能存在一个或多个相似的特征矩阵，这大大增加了下一层卷积层的负担，导致卷积神经网络的参数数量巨大。

发明内容

有鉴于此，本发明的目的在于提供一种数据挖掘方法及装置，以解决现有技术中使用卷积神经网络实现大数据挖掘时存在的卷积神经网络的参数数量巨大的问题。

技术方案如下：

本发明提供一种数据挖掘的方法，包括：

接收输入到卷积层的特征矩阵；

对所述特征矩阵进行压缩处理，得到压缩处理后的特征矩阵；

将所述压缩处理后的特征矩阵输入与所述卷积层紧邻的下一层卷积层，直至将所述压缩处理后的特征矩阵输入到最后一层卷积层，得到卷积结果；

根据所述卷积结果进行数据挖掘。

优选地，所述对所述特征矩阵进行压缩处理，得到压缩处理后的特征矩阵包括：

对所述特征矩阵进行第一重组操作，得到第一重组矩阵；

对所述第一重组矩阵采用预设卷积核以及预设步长进行卷积操作，得到预先卷积矩阵；

对所述预先卷积矩阵进行第二重组操作，得到第二重组矩阵。

优选地，所述对所述第一重组矩阵采用预设卷积核以及预设步长进行卷积操作，得到预先卷积矩阵包括：

对所述第一重组矩阵采用预设卷积核以及预设步长进行卷积操作，得到预先卷积结果；

对所述预先卷积结果采用恒等激活函数保留并映射特征，得到预先卷积矩阵。

优选地，所述数据挖掘包括：分类、聚类、关联规则、时序预测或异常检测。

优选地，所述数据挖掘为分类时，所述根据所述卷积结果进行数据挖掘包括：

将所述卷积结果输入外接分类器；

通过所述分类器，根据所述卷积结果中包括的特征进行分类。

优选地，若所述卷积层为第一层卷积层，则所述特征矩阵为从待处理数据中获取到的输入矩阵。

优选地，所述预设卷积核为C×1的卷积核，所述预设步长为C，其中，C为正整数。

本发明还提供了一种数据挖掘的装置，包括：

接收单元，用于接收输入到卷积层的特征矩阵；

压缩单元，用于对所述特征矩阵进行压缩处理，得到压缩处理后的特征矩阵；

输入单元，用于将所述压缩处理后的特征矩阵输入与所述卷积层紧邻的下一层卷积层，直至将所述压缩处理后的特征矩阵输入到最后一层卷积层，得到卷积结果；

数据挖掘单元，用于根据所述卷积结果进行数据挖掘。

优选地，所述压缩单元包括：

第一重组单元，用于对所述特征矩阵进行第一重组操作，得到第一重组矩阵；

卷积单元，用于对所述第一重组矩阵采用预设卷积核以及预设步长进行卷积操作，得到预先卷积矩阵；

第二重组单元，用于对所述预先卷积矩阵进行第二重组操作，得到第二重组矩阵。

优选地，所述卷积单元包括：

卷积子单元，用于对所述第一重组矩阵采用预设卷积核以及预设步长进行卷积操作，得到预先卷积结果；

映射子单元，用于对所述预先卷积结果采用恒等激活函数保留并映射特征，得到预先卷积矩阵。

与现有技术相比，本发明提供的上述技术方案具有如下优点：

从上述技术方案可知，本申请中每一层的卷积层在接收到输入的特征矩阵后，对输入的特征矩阵进行压缩处理使得降低特征矩阵的维度，减小了卷积神经网络的参数的数量，进而大大减少了大数据挖掘的参数的数量，可以解决大数据挖掘中存在的超高维的问题。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的一种数据挖掘的方法的流程图；

图2是本发明实施例提供的另一种数据挖掘的方法的流程图；

图3是本发明实施例提供的重组层的前向传播的示意图；

图4是本发明实施例提供的重组层的误差反向传播的示意图；

图5是本发明实施例提供的压缩处理的示意图；

图6是本发明实施例提供的稀疏模型GoogleNet-RSparse模型的示意图；

图7是本发明实施例提供的原始GoogleNet模型的Inception3a层与GoogleNet-RSparse模型的Inception3a层及其后的RSparse层输出的特征图；

图8是本发明实施例提供的特征图经全局平均后得到的直方图；

图9是本发明实施例提供的RSparse压缩降维前后GoogleNet模型在UCMercedLandUse数据集上的迭代-误差曲线；

图10是利用本发明实施例提供的一种数据挖掘的装置的结构示意图；

图11是利用本发明实施例提供的另一种数据挖掘的装置的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本实施例公开了一种数据挖掘方法，应用于基于卷积神经网络实现大数据挖掘的应用场景中，其中，卷积神经网络包括至少一层卷积层，参见图1，该实施例包括以下步骤：

S101、接收输入到卷积层的特征矩阵；

若卷积层为第一层卷积层，则所述特征矩阵为从待处理数据中获取到的输入矩阵。

其中，输入矩阵为在将待处理数据输入所述卷积网络模型前，对所述待处理数据进行预处理后得到提取到的矩阵。由于待处理数据的类型不同，因此预处理的具体操作不同。例如，待处理数据为图像，则预处理可以为从图像中提取特征，并构成输入矩阵；待处理数据为语句，则预处理可以为从语句中提取word2vec特征，并构成输入矩阵。

获取到输入矩阵后，经由所述卷积神经网络的输入层输入第一层卷积层。

若所述卷积层不是第一层卷积层，则所述矩阵为经过上一层卷积层进行卷积计算后输出的特征矩阵。

S102、对所述特征矩阵进行压缩处理，得到压缩处理后的特征矩阵；

卷积神经网络采用过完备的方案，以能够获取到足够多的特征，但是这导致卷积神经网络的每一层卷积层中可能存在一个或多个相似的特征矩阵，大大增加了下一层卷积层的负担。

在卷积层输出的特征矩阵输入下一层卷积层之前，对该层卷积层的特征矩阵进行压缩处理，以实现降维的目的，即压缩处理后的特征矩阵为对输入该卷积层的矩阵降维后的特征矩阵。

S103、将所述压缩处理后的特征矩阵输入与所述卷积层紧邻的下一层卷积层，直至将所述压缩处理后的特征矩阵输入到最后一层卷积层，得到卷积结果；

其中，所述卷积结果为所述最后一层卷积层完成卷积计算后的结果。

以包括3层卷积层的卷积神经网络为例，第一层卷积层对输入矩阵进行压缩处理后，得到压缩处理后的特征矩阵，并将压缩处理后的特征矩阵输入第二层卷积层；第二层卷积层对压缩处理后的特征矩阵进行压缩处理后，得到压缩处理后的特征矩阵，并将压缩处理后的特征矩阵输入第三层卷积层；第三层卷积层对压缩处理后的特征矩阵进行压缩处理后，得到压缩处理后的特征矩阵，第三层卷积层是最后一层卷积层，得到卷积结果。

S104、根据所述卷积结果进行数据挖掘。

其中，数据挖掘包括分类、聚类、关联规则、时序预测以及异常检测等。

例如，数据挖掘为分类时，将经过卷积网络模型中的卷积层处理后得到的卷积结果输入外接分类器中，卷积结果中包括提取到的特征，通过分类器根据卷积结果中包括的特征实现对待处理数据的分类，完成数据挖掘的目的。

从上述技术方案可知，本实施例中每一层的卷积层在接收到输入的特征矩阵后，对输入的特征矩阵进行压缩处理使得降低特征矩阵的维度，减小了卷积神经网络的参数的数量，进而大大减少了大数据挖掘的参数的数量，可以解决大数据挖掘中存在的超高维的问题。

本实施例公开了另一种数据挖掘的方法，详细介绍了在输入下一层卷积层之前对矩阵的处理方法，参见图2，该实施例包括以下步骤：

S201、接收输入到卷积层的特征矩阵；

每层卷积层接收到的特征矩阵采用C×H×W表示，其中C为通道的数量，即特征矩阵的数量，H、W分别表示特征矩阵的高和宽。

S202、对所述特征矩阵进行第一重组操作，得到第一重组矩阵；

前一层卷积层输出的特征矩阵为a^l-1，那么重组层先对输入的a^l-1进行第一重组操作(Reshape)，即h^l＝reshape(a^l-1)，h^l为经过第一重组操作后得到的第一重组矩阵。其中，为了将特征保留并映射出来，采用激活函数实现特征的映射，映射后输出特征矩阵a^l，a^l＝h^l。优选地，本实施例中第一重组操作采用的激活函数为恒等激活函数。

以输入的特征矩阵的数量是3为例，图3示出了对输入的3个特征矩阵执行第一重组操作的结果，其实质上是重组层的前向传播。

经过本步骤的第一重组操作后将m个H×W的特征矩阵重组成一个m×(H×W)的特征矩阵。

S203、对所述第一重组矩阵采用预设卷积核以及预设步长进行卷积操作，得到预先卷积矩阵；

采用预设卷积核为c×1的卷积核，预设步长为c的卷积操作对第一重组矩阵进行卷积计算(Conv)，得到m′个特征矩阵，每个特征矩阵为其中，c为正整数。

本实施例中在完成卷积操作后，采用恒等激活函数进行特征映射。

S204、对所述预先卷积矩阵进行第二重组操作，得到第二重组矩阵；

假设下一层的误差项为δ^l，那么对误差项进行一个向上重组恢复操作，即第二重组操作(Reshape)，然后再由链式求导法则，乘以恒等函数的导数，即得到δ^l-1＝upreshape(δ^l)，即得到第二重组矩阵。

图4示出了重组层的误差反向传播。

经过本步骤的第二重组操作后将m′个的特征矩阵重组成个H×W的特征矩阵，最后输入到下一层卷积层中。

其中，本实施例中卷积神经网络的参数的数量为其中，m表示特征矩阵的数量，n表示特征矩阵的重组数，k为矩阵的秩。

为了达到降维的目的，c和m′需要足够小，并且m′＜c，因此本实施例中c和m′都远远小于m和n。正是由于c和m′都远远小于m和n，因此中的第一项m′×c在计算时可以忽略，因此，本实施例中卷积神经网络的参数的数量为而不执行本实施例中公开的两次重组操作以及一次卷积操作构成的压缩操作时，卷积神经网络的参数的数量为m×n×k²。所以本实施例中卷积神经网络的参数的数量是之前卷积神经网络的参数的数量的由于m′＜c，因此实现了减少卷积神经网络的参数的数量。

通过执行本实施例中步骤S202-S204实现了对特征矩阵的压缩处理(RSparse)，得到了压缩处理后的特征矩阵。完整的压缩处理方式如图5所示。通过执行压缩处理实现了降维，减小了卷积神经网络的参数的数量。

需要注意的是，本实施例中RSparse操作中包括的一个卷积操作和两个重组操作都使用了恒等激活函数。

考虑到如果采用ReLU激活函数进行特征映射，即σ(x)＝max{0,x}，那么左端被截断，再加上RSparse本身的降维压缩功能，可能会使大部分信息丢失，从而影响卷积神经网络的性能。因此，卷积层采用恒等激活函数替代ReLU激活函数。

除了Rsparse降维压缩中的卷积层采用恒等激活函数外，Rsparse降维压缩中的卷积层与普通的卷积层的前馈与反馈基本一致。

S205、将所述第二重组矩阵输入与所述卷积层紧邻的下一层卷积层，直至将所述第二重组矩阵输入到最后一层卷积层，得到卷积结果；

S206、根据所述卷积结果进行数据挖掘。

相较于现有技术中基于奇异值分解的思想，在训练完卷积神经网络后，通过对卷积神经网络中的权值矩阵进行奇异值分解，得到一个近似卷积神经网络，使得在部署测试模型时可以加快测试模型的运行速度。但是，由于在训练完成卷积神经网络后才对各个卷积层的权值矩阵进行奇异值分解，因此增加了额外的工作。

其中，奇异值分解是一种便捷的矩阵分解方式，能够挖掘数据中潜在模式，因此被广泛应用于各个不同的领域，例如主成分分析以及推荐系统。用奇异值分解可以得到任意矩阵的满秩分解。

A_m×n＝X_m×kY_k×n

其中k＝Rank(A)，即k为矩阵A的秩。因此在数据相关性特别大的情况下，存储矩阵X与矩阵Y要比存储原始矩阵A占用空间更小，这样就可以应用在数据降维压缩上。

奇异值分解适用于任意的矩阵，求解奇异值与奇异向量的步骤如下：

(1)求解矩阵A乘矩阵A的转置矩阵的特征向量与特征值，(A^TA)v＝λv，上述公式求解得到的特征向量为矩阵A的右奇异向量；

(2)求解矩阵A的奇异值

(3)求矩阵A的左奇异向量

将所有奇异值从大到小排列，然后组成对角矩阵Σ，其对应的奇异向量组成左奇异矩阵U和右奇异矩阵V，那么原始矩阵A就可以写成A_m×n＝U_m×mΣ_m×nV_n×n。

在大多数情况下，前10％甚至1％的奇异值的和就占全部奇异值之和的99％以上，因此可以用前k大的奇异值来近似描述原始矩阵A，即A_m×n≈U_m×kΣ_k×kV_k×n。

如果令X_m×k＝U_m×kΣ_k×k，Y_m×k＝V_k×n，那么式A_m×n≈U_m×kΣ_k×kV_k×n可以转化成为式A_m×n＝X_m×kY_k×n。

本实施例中提供了一种基于卷积神经网络实现的数据挖掘方法，通过对每一层卷积层输出的特征矩阵进行压缩处理，以模拟奇异值分解降维压缩的作用，虽然这与奇异值分解是不同的，但是对输出的特征矩阵实现将降维目的，因此可以将本实施例中训练得到的卷积神经网络作为类奇异值分解卷积神经网络结构。且，本实施例中提出的类奇异值分解卷积神经网络在训练的过程中就可以直接去学习网络的权值矩阵，从而避免了训练完成后再进行奇异值分解导致的工作量增加的问题产生。同时由于对每一层卷积层的特征矩阵进行压缩处理，因此实现了降维的目的，减少了卷积神经网络的参数数量，对卷积神经网络进行稀疏化的目的。

在实际应用中，利用本实施例中对卷积神经网络进行稀疏化的方法对GoogleNet模型进行RSparse层稀疏化。

GoogleNet模型的底层卷积层输出的特征矩阵相对顶层卷积层输出的特征矩阵的数量较少，而且一般卷积神经网络模型的底层卷积层提取的是图像的纹理、边缘等信息，这些信息是卷积神经网络模型抽象的基础，因此GoogleNet的底层卷积层不采用RSparse层进行压缩降维。而GoogleNet的顶层卷积层输出的特征矩阵较多，这些特征有部分是相似的甚至是相同的，为了避免造成下一层卷积层的负担，采用RSparse层将GoogleNet的顶层卷积层输出的特征矩阵进行压缩降维，得到稀疏化模型。采用RSparse层压缩降维后得到的稀疏模型GoogleNet-RSparse模型如图6所示。

图6中，按照输入的顺序，分别经过的是conv层、relu层、pool层、LRN层、conv层、relu层、pool层、inception层、Rsparse层、inception层、Rsparse层、pool层、inception层、Rsparse层、inception层、Rsparse层、inception层、Rsparse层、inception层、Rsparse层、inception层、Rsparse层、pool层、inception层、Rsparse层、inception层、pool层、dropout层、FC层。

GoogleNet-RSparse模型在每层Inception层后加入RSparse层，使得RSparse层的一下层的输入为原始GoogleNet模型输入的m′/c，由于m′＜c，因此所以GoogleNet-RSparse模型的参数的数量会小于原始GoogleNet模型的参数的数量，而且由于RSparse的压缩降维，去除了大量噪声，因此能够提高数据挖掘的精度。

将原始GoogleNet模型的Inception(3a)层与GoogleNet-RSparse-(2，8)模型的Inception(3a)层及其后的RSparse层输出的特征图可视化，得到如图7所示的特征图。其中，特征图可以采用特征矩阵表示。其中，GoogleNet-RSparse-(2，8)模型中的2表示m’＝2，8表示c＝8。

从左侧起第一个图为原始GoogleNet模型Inception(3a)层输出的特征图；从左侧起第二个图为稀疏模型GoogleNet-RSparse模型的Inception(3a)层输出的特征图；从左侧起第三个图为经过RSparse层压缩降维后的GoogleNet-RSparse模型的Inception(3a)层输出的特征图。

在卷积神经网络中最后一层卷积层输出的特征图会经过全局平均池化层再输入到分类器中，图8为对图7所示的特征图经全局平均后得到的直方图。

由图7和图8可知，原始GoogleNet模型的Inception3a层与GoogleNet-RSparse模型的Inception3a层有许多特征图是相似的甚至是相同的，但是GoogleNet-RSparse模型经过RSparse层降维压缩后，得到的特征图差异性较大，所以GoogleNet-RSparse模型通过设置合适的m’和c，能够保留有用的信息，并且减少下一层卷积层的噪声输入，从而达到压缩降维的作用，使得模型变得更加简单，能够应用于小样本数据的目标识别。

优选地，m′＝4,c＝8。在采用迁移学习条件下，GoogleNet-RSparse模型分别在UCMerced LandUse数据集和WHU-RS数据集上的分类准确度以及原始GoogleNet模型分别在UCMerced LandUse数据集和WHU-RS数据集上的分类准确度，如下表所示。

表1

在采用迁移学习条件下，GoogleNet-RSparse模型与原始GoogleNet模型在分类准确度上基本相等，并没有因为降维对分类产生影响。

在不采用迁移学习时，由于小样本数据的样本数量较少，学习不充分，因此模型中存在大量的噪声，此时采用本实施例中对卷积神经网络进行稀疏化的方法能够减少大量的噪声，但是在大规模数据集上时，模型得到了充分的学习，因此模型中噪声较少，采用本实施例中对卷积神经网络进行稀疏化的方法有可能将少有效部分信息给压缩掉，但是模型经过大规模数据预训练后再迁移到小样本数据上，对于小样本而言模型仍然保留足够的区分信息，因此稀疏化前后模型在小样本数据集上的分类准确度相差无几。因此利用本实施例中对卷积神经网络进行稀疏化的方法得到的模型的数据挖掘方法更加适合于没有其他数据源辅助学习的情况。

且采用RSparse压缩降维前后GoogleNet模型在UCMerced LandUse数据集上的迭代-误差曲线如图9所示。

由于经过RSparse压缩降维后的模型在参数上会远远小于原始模型的参数，并且减少了每一层卷积层的噪声数据的输入，从而使得模型的拟合更加容易。而原始的GoogleNet模型由于每一层卷积层都采用了过完备的方法，在小样本数据集上，需要拟合更多的特征图，而且并不保证这些特征图能够区分小样本数据集，所以有可能在训练集中学习到的特征无法应用到测试集中，因此GoogleNet模型在测试集上的收敛速度没有GoogleNet-RSparse模型在测试集上的收敛速度快。

因此，经过RSparse压缩降维的模型的收敛速度明显优于原始的GoogleNet模型。

从上述技术方案可知，本实施例中每一层的卷积层在接收到输入的特征矩阵后，对输入的特征矩阵进行一次卷积操作以及两次重组操作，使得降低特征矩阵的维度，减小了卷积神经网络的参数数量，进而大大减少了大数据挖掘的参数数量，可以解决大数据挖掘中存在的超高维的问题。且在数据分类识别过程中，并不会因为减少参数数量，导致对数据分类识别的准确定降低，反而可以提高收敛速度，能够快速得到分类结果。

对应上述数据挖掘的方法，本实施例还公开了一种数据挖掘的装置，所述装置的结构示意图请参阅图10所示，本实施例中数据挖掘的装置包括：

接收单元601、压缩单元602、输入单元603以及数据挖掘单元604；

接收单元601，用于接收输入到卷积层的特征矩阵；

若所述卷积层为第一层卷积层，则所述特征矩阵为从待处理数据中获取到的输入矩阵；即接收单元601接收到的是从待处理数据中获取到的输入矩阵。

其中，输入矩阵为在将待处理数据输入所述卷积网络模型前，对所述待处理数据进行预处理后得到提取到的矩阵。

获取到输入矩阵后，经由所述卷积神经网络的输入层输入第一层卷积层。

若所述卷积层不是第一层卷积层，则所述矩阵为经过上一层卷积层进行卷积计算后输出的特征矩阵。即接收单元601接收到的是上一层卷积层进行卷积计算后输出的特征矩阵。

压缩单元602，用于对所述特征矩阵进行压缩处理，得到压缩处理后的特征矩阵；

输入单元603，用于将所述压缩处理后的特征矩阵输入与所述卷积层紧邻的下一层卷积层，直至将所述压缩处理后的特征矩阵输入到最后一层卷积层，得到卷积结果；

数据挖掘单元604，用于根据所述卷积结果进行数据挖掘。

其中，数据挖掘包括分类、聚类、关联规则、时序预测以及异常检测等。

例如，数据挖掘为分类时，将经过卷积网络模型中的卷积层处理后得到的卷积结果输入外接分类器中，可以实现对待处理数据的分类，完成数据挖掘的目的。

从上述技术方案可知，本实施例中每一层的卷积层在接收到输入的特征矩阵后，对输入的特征矩阵进行压缩处理使得降低特征矩阵的维度，减小了卷积神经网络的参数的数量，进而大大减少了大数据挖掘的参数的数量，可以解决大数据挖掘中存在的超高维的问题。

在上一实施例公开的数据挖掘的装置的基础上，本实施例还公开了另一种数据挖掘的装置，所述数据挖掘的装置的结构示意图请参阅图11所示，本实施例中数据挖掘的装置中包括的压缩单元602包括：

第一重组单元701、卷积单元702以及第二重组单元703；

第一重组单元701，用于对所述特征矩阵进行第一重组操作，得到第一重组矩阵；

卷积单元702，用于对所述第一重组矩阵采用预设卷积核以及预设步长进行卷积操作，得到预先卷积矩阵；

其中，卷积单元702包括：

卷积子单元和映射子单元；

所述卷积子单元，用于对所述第一重组矩阵采用预设卷积核以及预设步长进行卷积操作，得到预先卷积结果；

其中，所述预设卷积核为C×1的卷积核，所述预设步长为C，其中，C为正整数；

所述映射子单元，用于对所述预先卷积结果采用恒等激活函数保留并映射特征，得到预先卷积矩阵。

第二重组单元703，用于对所述预先卷积矩阵进行第二重组操作，得到第二重组矩阵。

从上述技术方案可知，本实施例中每一层的卷积层在接收到输入的特征矩阵后，对输入的特征矩阵进行一次卷积操作以及两次重组操作，使得降低特征矩阵的维度，减小了卷积神经网络的参数数量，进而大大减少了大数据挖掘的参数数量，可以解决大数据挖掘中存在的超高维的问题。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例提供的装置而言，由于其与实施例提供的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

对所公开的实施例的上述说明，使本领域技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种数据挖掘的方法，其特征在于，包括：

接收输入到卷积层的特征矩阵；

对所述特征矩阵进行压缩处理，得到压缩处理后的特征矩阵；

将所述压缩处理后的特征矩阵输入与所述卷积层紧邻的下一层卷积层，直至将所述压缩处理后的特征矩阵输入到最后一层卷积层，得到卷积结果；

根据所述卷积结果进行数据挖掘。

2.根据权利要求1所述的方法，其特征在于，所述对所述特征矩阵进行压缩处理，得到压缩处理后的特征矩阵包括：

对所述特征矩阵进行第一重组操作，得到第一重组矩阵；

对所述第一重组矩阵采用预设卷积核以及预设步长进行卷积操作，得到预先卷积矩阵；

对所述预先卷积矩阵进行第二重组操作，得到第二重组矩阵。

3.根据权利要求2所述的方法，其特征在于，所述对所述第一重组矩阵采用预设卷积核以及预设步长进行卷积操作，得到预先卷积矩阵包括：

对所述第一重组矩阵采用预设卷积核以及预设步长进行卷积操作，得到预先卷积结果；

对所述预先卷积结果采用恒等激活函数保留并映射特征，得到预先卷积矩阵。

4.根据权利要求1-3任意一项所述的方法，其特征在于，所述数据挖掘包括：分类、聚类、关联规则、时序预测或异常检测。

5.根据权利要求4所述的方法，其特征在于，所述数据挖掘为分类时，所述根据所述卷积结果进行数据挖掘包括：

将所述卷积结果输入外接分类器；

通过所述分类器，根据所述卷积结果中包括的特征进行分类。

6.根据权利要求1-3任意一项所述的方法，其特征在于，若所述卷积层为第一层卷积层，则所述特征矩阵为从待处理数据中获取到的输入矩阵。

7.根据权利要求2或3所述的方法，其特征在于，所述预设卷积核为C×1的卷积核，所述预设步长为C，其中，C为正整数。

8.一种数据挖掘的装置，其特征在于，包括：

接收单元，用于接收输入到卷积层的特征矩阵；

压缩单元，用于对所述特征矩阵进行压缩处理，得到压缩处理后的特征矩阵；

输入单元，用于将所述压缩处理后的特征矩阵输入与所述卷积层紧邻的下一层卷积层，直至将所述压缩处理后的特征矩阵输入到最后一层卷积层，得到卷积结果；

数据挖掘单元，用于根据所述卷积结果进行数据挖掘。

9.根据权利要求8所述的装置，其特征在于，所述压缩单元包括：

第一重组单元，用于对所述特征矩阵进行第一重组操作，得到第一重组矩阵；

卷积单元，用于对所述第一重组矩阵采用预设卷积核以及预设步长进行卷积操作，得到预先卷积矩阵；

第二重组单元，用于对所述预先卷积矩阵进行第二重组操作，得到第二重组矩阵。

10.根据权利要求9所述的装置，其特征在于，所述卷积单元包括：

卷积子单元，用于对所述第一重组矩阵采用预设卷积核以及预设步长进行卷积操作，得到预先卷积结果；

映射子单元，用于对所述预先卷积结果采用恒等激活函数保留并映射特征，得到预先卷积矩阵。