CN107563507A - 基于大数据的深度学习方法 - Google Patents

Abstract

本发明提供了一种基于大数据的深度学习方法，包括以下步骤：建立深度学习模型，所述深度学习模型包括多层神经元模型；选取预选图像的部分区域图像作为一神经元模型的输入；对该输入进行卷积求和、添加偏移量经过激活函数之后输出的特征映射图作为下一层神经元模型的输入；每一层神经元模型的输出作为下一层神经元模型的输入；提取每一层输入的特征映射图的局部显著特征并存储。本发明极大地减少了参数的数量，可以防止过拟合，提升运算的效率。

Description

基于大数据的深度学习方法

技术领域

本发明涉及人工智能技术领域，具体而言，涉及一种基于大数据的深度学习方法。

背景技术

深度学习是近十年来人工智能领域取得的最重要的突破之一，通过建立类似于人脑的分层模型结构对输入数据逐级提取从底层到高层的特征从而能很好地建立从底层信号到高层语义的映射关系。神经网络是对生物上大脑学习方式进行建模。当你尝试进行一个新任务时，一系列特定的神经元集合会被激活。你观察到结果，接下来利用反馈来调整哪些神经元应该被激活，以此来训练大脑。多次之后，一些神经元之间的联系将变强而另外一些则变弱，这就形成了记忆的基础。传统的神经网络具有很强的非线性能力，但是非常明显的缺点是参数数量多、收敛速度慢、容易过拟合等，20世纪计算机的计算能力比较薄弱，而且支持向量机等机器学习方法的兴起，导致神经网络(Artificial Neural Network)并没有得到重视。

发明内容

本发明的目的在于提供一种基于大数据的深度学习方法，以减少参数的数量，防止过拟合，达到提升运算效率的效果。

本发明是这样实现的：

本发明提供一种基于大数据的深度学习方法，所述基于大数据的深度学习方法包括以下步骤：建立深度学习模型，所述深度学习模型包括多层神经元模型；选取预选图像的部分区域图像作为一神经元模型的输入；对该输入进行卷积求和、添加偏移量经过激活函数之后输出的特征映射图作为下一层神经元模型的输入；每一层神经元模型的输出作为下一层神经元模型的输入；提取每一层输入的特征映射图的局部显著特征并存储。

进一步地，所述深度学习模型采用稀疏链接。

进一步地，每一层所述神经元模型采用相同的卷积操作。

进一步地，在提取每一层输入的特征映射图的局部显著特征之后还包括：对所述局部显著特征划分不重叠的矩形，对于每个矩形进行池化函数操作。

进一步地，所述提取每一层输入的特征映射图的局部显著特征包括：对每一层输入的特征映射图进行采样计算得到局部显著特征。

进一步地，所述神经元模型包括链接矩阵。

进一步地，所述方法还包括：计算每一层神经元模型的误差敏感项，依据每一层神经元模型的误差敏感项对每一层神经元模型的链接矩阵进行更新。

进一步地，所述方法还包括：通过GPU加速、数据并行、模型并行的方式对所述深度学习模型加速。

相对现有技术，本发明具有以下有益效果：本发明提供的一种基于大数据的深度学习方法，通过建立深度学习模型，深度学习模型包括多层神经元模型；对神经元模型的输入进行卷积求和、添加偏移量经过激活函数，之后输出的特征映射图作为下一层神经元模型的输入，提取每一层输入的特征映射图的局部显著特征并存储。极大地减少了参数的数量，可以防止过拟合，提升运算的效率。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1示出了本发明所提供的一种基于大数据的深度学习方法的应用环境示意图。

图2示出了本发明所提供的一种服务器的示意图。

图3示出了本发明所提供的一种基于大数据的深度学习方法的步骤图。

图4示出了本发明所提供的一种神经元模型之间的稀疏链接示意图。

图5示出了本发明所提供的一种池化过程示意图。

具体实施方式

下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例所提供的基于大数据的深度学习方法可应用于如图1所示的应用环境中。如图1所示，服务器100、客户端200位于网络400中，客户端200与服务器100通过该网络400进行数据交互。所述客户端200可以获取预选图像300，所述客户端200通过所述网络400访问所述服务器100后，可通过所述网络400将预选图像300发送至服务器100。

本发明实施例提出的基于大数据的深度学习方法可适用于服务器100。该服务器100可以是数据库服务器。该客户端200可以是，但不限于智能手机、个人电脑(personalcomputer，PC)、平板电脑、个人数字助理(personal digital assistant，PDA)、移动上网设备(mobile Internet device，MID)等。所述客户端200的操作系统可以是，但不限于，安卓(Android)系统、IOS(iPhone operating system)系统、Windows phone系统、Windows系统等。

如图2所示，是服务器100的方框示意图。服务器100包括存储器101、存储控制器102及处理器103。所述存储器101、存储控制器102及处理器103，各元件相互之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。服务器100可以建立深度学习模型，深度学习模型包括至少一个可以软件或固件(firmware)的形式存储于所述存储器101中的程序模块。所述处理器103用于执行存储器101中存储的可执行程序模块。

其中，存储器101可以是，但不限于，随机存取存储器101(Random Access Memory，RAM)，只读存储器Read Only Memory，ROM)，可编程只读存储器(Programmable Read-OnlyMemory，PROM)，可擦除只读存储器(Erasable Programmable Read-Only Memory，EPROM)，电可擦除只读存储器(Electric Erasable Programmable Read-Only Memory，EEPROM)等。其中，存储器101用于存储程序，所述处理器103在接收到执行指令后，执行所述程序，前述本发明实施例任一实施例揭示的流过程定义的服务器100所执行的方法可以应用于处理器103中，或者由处理器103实现。

处理器103可能是一种集成电路芯片，具有信号的处理能力。上述的处理器103可以是通用处理器103，包括中央处理器103(Central Processing Unit，简称CPU)、网络处理器103(Network Processor，简称NP)等；还可以是数字信号处理器103(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器103可以是微处理器或者该处理器103也可以是任何常规的处理器等。

图3示出了本发明所提供的一种基于大数据的深度学习方法的步骤图。本发明提供的一种基于大数据的深度学习方法包括以下步骤：

步骤S1，建立深度学习模型，所述深度学习模型包括多层神经元模型。

在本发明实施例中，步骤S1可以由服务器100执行。神经元模型1011可以是以软件或固件(firmware)的形式存储于所述存储器101中的程序模块。所述深度学习模型采用稀疏链接。神经元模型包括链接矩阵。

请参阅图4，显示为神经元模型之间的稀疏链接。神经元g3只和隐含层h的3个神经元直接相连，但是和层x是间接的全链接，所以层g对层x有间接的全局感知。图中每个神经元模型的空间联系是局部的神经元模型联系比较紧密，而较远的神经元模型的联系比较弱。所以神经网络中的权值链接只需要对上一层神经元模型的局部感知即可获得对整个图像的全局感知。

步骤S2，选取预选图像的部分区域图像作为一神经元模型的输入。

步骤S3，对该输入进行卷积求和、添加偏移量经过激活函数之后输出的特征映射图作为下一层神经元模型的输入。

在本发明实施例中，每一层神经元模型采用相同的卷积操作。当所有参数选择不同的数值时，层与层之间的参数数量依然是非常巨大的。权值共享后对于每一个神经元的输入使用相同的卷积操作，使得参数的数量减少为卷积核的大小。

步骤S4，每一层神经元模型的输出作为下一层神经元模型的输入。

步骤S5，提取每一层输入的特征映射图的局部显著特征并存储。

在本发明实施例中，权值共享可以看作是对不同位置的共同特征提取方式，这样的有益效果除了参数数量的减少，还具有一定的平移不变性，当物体在图像中有一定的平移时依然可以用相同的卷积核提取出对应的特征。使用卷积核提取特征，每个像素减去周围邻近的像素值的效果，提取特征得到了原图的大概边缘，这就是平移不变性。利用该方法提取每一层输入的特征映射图的局部显著特征。

在本发明实施例中，提取每一层输入的特征映射图的局部显著特征包括：对每一层输入的特征映射图进行采样计算得到局部显著特征。

在通过卷积获得局部显著特征后进行分类，依然面临计算量大的挑战。即使一张96×96像素的图片，经过400个8×8的卷积核获取特征，每个特征映射图有(96-8+1)×(96-8+1)＝7921维特征，总共有400×7921＝3768400维特征向量，在此基础上进行分类是一个计算量很大的过程，由此引出了池化操作。对输入划分不重叠的矩形，对于每个矩形进行池化函数操作，例如取最大值、取最小值、加权平均等。池化的优势在于(1)降低输入的分辨率，极大的极大的减少上一层的计算复杂度(2)具有一定的转变不变性(例平移不变性、旋转不变性)，这有益于我们来关注某一些特征是什么而不是特征的位置(如图5所示)。

步骤S6，计算每一层神经元模型的误差敏感项，依据每一层神经元模型的误差敏感项对每一层神经元模型的链接矩阵进行更新。

在实际的应用场景中，深层模型的训练需要各种的经验技巧，例如网络结构的选取、神经元个数的设定、参数初始化、学习速率调整等。因此为了方便对模型的构建，需要对模型进行多次训练以及调整，对模型的训练速度有较高的需求。但目前深度学习有以下几个特点：1、数据量大，例在CNN(卷积神经网络)图像处理领域中，图像的数量往往是百万级别的；2、模型的深度深，相比其它的模型，深度学习模型更复杂且参数数量很多，计算量大导致收敛的速度慢。

对于大规模训练数据，可以采用以下三个方式进行对模型加速：GPU加速、数据并行、模型并行。

GPU加速是利用矢量化编程提高算法速度。在模型的计算过程中往往需要对特定的运算操作进行大量的重复计算，而矢量化编程强调对单一指令并行操作相似的数据，然而在单个CPU上矢量运算本质还是串行执行。GPU(图形处理器)包含几千个流处理器可以将矢量运算并行执行。深度学习中大量的操作都是层与层之间的矩阵运算，使用GPU计算能大幅减少计算时间，充分发挥计算的高效并行能力。

数据并行是在模型的训练过程中，对训练数据进行划分，同时采用多模型分别对每个分片的数据进行训练。随着数据分片数量的增多，每个分片的训练样本大量的减少，模型的训练速度能得到线性级别的提升。每个分片的模型训练相互独立，训练完毕后需要进行模型参数的交换，需要服务器更新模型参数。当分片模型把参数对的变化量告诉服务器，服务器更新为最新的模型，然后把最新的模型返回给各个训练模型。

模型并行是将模型可并行执行部分拆分到多个GPU上，利用多个GPU对各个子模型进行计算。CNN除了在特定层是全链接以外，其它的链接关系可以作为模型的并行。可以大大加快模型的前向传播和向后传播的时间。例如在多个卷积核对上一层采样层的特征图进行卷积操作，各个卷积核共用同一输入但运算之间并不相互依赖，可以并行计算提高运算的速率。

本发明提供的一种深度学习方法，通过建立深度学习模型，深度学习模型包括多层神经元模型；对神经元模型的输入进行卷积求和、添加偏移量经过激活函数，之后输出的特征映射图作为下一层神经元模型的输入，提取每一层输入的特征映射图的局部显著特征并存储。极大地减少了参数的数量，可以防止过拟合。同时，通过GPU加速、数据并行、模型并行等方式对深度学习模型加速，以提升运算的效率。

在本发明的描述中，还需要说明的是，除非另有明确的规定和限定，术语“设置”、“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

在本发明的描述中，需要说明的是，术语“上”、“下”、“左”、“右”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，或者是该发明产品使用时惯常摆放的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种基于大数据的深度学习方法，其特征在于，所述基于大数据的深度学习方法包括以下步骤：

建立深度学习模型，所述深度学习模型包括多层神经元模型；

选取预选图像的部分区域图像作为一神经元模型的输入；

对该输入进行卷积求和、添加偏移量经过激活函数之后输出的特征映射图作为下一层神经元模型的输入；

每一层神经元模型的输出作为下一层神经元模型的输入；

提取每一层输入的特征映射图的局部显著特征并存储。

2.如权利要求1所述的基于大数据的深度学习方法，其特征在于，所述深度学习模型采用稀疏链接。

3.如权利要求1所述的基于大数据的深度学习方法，其特征在于，每一层所述神经元模型采用相同的卷积操作。

4.如权利要求1至3任一项所述的基于大数据的深度学习方法，其特征在于，在提取每一层输入的特征映射图的局部显著特征之后还包括：对所述局部显著特征划分不重叠的矩形，对于每个矩形进行池化函数操作。

5.如权利要求1所述的基于大数据的深度学习方法，其特征在于，所述提取每一层输入的特征映射图的局部显著特征包括：对每一层输入的特征映射图进行采样计算得到局部显著特征。

6.如权利要求1所述的基于大数据的深度学习方法，其特征在于，所述神经元模型包括链接矩阵。

7.如权利要求6所述的基于大数据的深度学习方法，其特征在于，所述方法还包括：计算每一层神经元模型的误差敏感项，依据每一层神经元模型的误差敏感项对每一层神经元模型的链接矩阵进行更新。

8.如权利要求1所述的基于大数据的深度学习方法，其特征在于，所述方法还包括：通过GPU加速、数据并行、模型并行的方式对所述深度学习模型加速。