CN106682702A - 深度学习方法和系统 - Google Patents

Abstract

本发明提供了深度学习方法和系统，包括：采集原始信号；将原始信号进行训练，得到权值参数；将原始信号和权值参数进行编码处理，得到特征向量；根据特征向量得到判定结果。本发明实现了自动识别、检测、定位、感知、理解等功能，可针对图像、视频、语音及其他数据进行处理，具有很强的通用性。

Description

深度学习方法和系统

技术领域

本发明涉及深度学习技术领域，尤其是涉及深度学习方法和系统。

背景技术

传统的模式识别方法手工选取特征费时费力，需要启发式专业知识，很大程度上靠经验和运气，而浅层学习的人工神经网络具有一定的局限性，比较容易过拟合，参数比较难调整，并且训练速度慢，在层次上比较少(小于等于3)的情况下效果并不显著。

如何满足目前人们日益所需的自动识别、检测、定位、感知、理解等功能，并针对图像、视频、语音及其他数据进行处理成为亟待解决的问题。

发明内容

有鉴于此，本发明的目的在于提供深度学习方法和系统，实现了自动识别、检测、定位、感知、理解等功能，可针对图像、视频、语音及其他数据进行处理，具有很强的通用性。

第一方面，本发明实施例提供了深度学习方法，包括：

采集原始信号；

将所述原始信号进行训练，得到权值参数；

将所述原始信号和所述权值参数进行编码处理，得到特征向量；

根据所述特征向量得到判定结果。

结合第一方面，本发明实施例提供了第一方面的第一种可能的实施方式，其中，所述将所述原始信号进行训练，得到权值参数包括：

对所述原始信号进行归一化预处理得到统一格式的训练样本；

将所述统一格式的训练样本存储在样本数据库中，并构成训练样本集合；

判断对所述原始信号的采样是否结束；

如果未结束，则继续采集所述原始信号；

如果结束，则根据所述训练样本集合计算所述权值参数。

结合第一方面的第一种可能的实施方式，本发明实施例提供了第一方面的第二种可能的实施方式，其中，所述根据所述训练样本集合计算所述权值参数包括：

从所述样本数据库中读取所述训练样本集合；

对所述训练样本集合进行前向传播计算和网络误差损失计算得到各层残差、各层权值参数和分类精度；

通过最小化所述残差调整所述权值参数，并判断所述分类精度是否达到预设阈值；

如果未达到所述预设阈值，则根据调整后的权值参数进行迭代计算，直到所述分类精度达到所述预设阈值。

结合第一方面，本发明实施例提供了第一方面的第三种可能的实施方式，其中，所述将所述原始信号和所述权值参数进行编码处理，得到特征向量包括：

生成初始化信息；

将所述权值参数、所述原始信号和所述初始化信息进行编码转换；

对所述编码转换后的权值参数进行存储，并根据所述编码转换后的初始化信息分配计算资源；

将所述编码转换后的权值参数和所述编码转换后的原始信号进行卷积计算、池化计算和全连接计算得到所述特征向量。

结合第一方面的第三种可能的实施方式，本发明实施例提供了第一方面的第四种可能的实施方式，其中，所述根据所述特征向量得到判定结果包括：

通过将所述特征向量输入分类器中进行分类得到所述判定结果；

或者；

通过将所述特征向量与指定的对比向量进行比较得到相似度。

第二方面，本发明实施例提供了深度学习系统，包括：采集单元、逻辑控制单元、训练单元和识别单元；

所述采集单元，与所述逻辑控制单元相连接，用于采集原始信号，并将所述原始信号发送给所述逻辑控制单元；

所述逻辑控制单元，与所述训练单元相连接，用于将所述原始信号发送给所述训练单元，以使所述训练单元对所述原始信号进行训练，得到权值参数，接收所述训练单元发送的权值参数，并将所述权值参数、所述原始信号和初始化信息发送给所述识别单元；

所述识别单元，与所述逻辑控制单元相连接，用于根据所述权值参数和所述原始信号进行识别计算得到判定结果，将所述判定结果发送给所述逻辑控制单元。

结合第二方面，本发明实施例提供了第二方面的第一种可能的实施方式，其中，所述训练单元包括服务器和并行计算模块；

所述服务器，用于接收原始信号，并根据所述原始信号进行云端训练得到所述权值参数，将所述权值参数发送给所述逻辑控制单元；

所述并行计算模块，用于对所述云端训练的过程进行并行加速。

结合第二方面，本发明实施例提供了第二方面的第二种可能的实施方式，其中，所述识别单元包括接口模块、权值存储模块、特征提取模块和判定模块；

所述接口模块，与所述判定模块相连接，用于接收所述权值参数、所述原始信号和初始化信息，将所述初始化信息和所述原始信号发送给所述特征提取模块，以及将所述权值参数发送给所述权值存储模块；

所述权值存储模块，与所述特征提取模块相连接，用于存储所述权值参数，并将所述权值参数发送给所述特征提取模块；

所述特征提取模块，与所述判定模块相连接，用于根据初始化信息分配计算资源，并根据所述权值参数、所述原始信号的得到特征向量，将所述特征向量发送给所述判定模块；

所述判定模块，与所述接口模块相连接，用于根据所述特征向量得到判定结果，并将所述判定结果发送给所述接口模块，以使所述接口模块将所述判定结果发送给所述逻辑控制单元。

结合第二方面的第二种可能的实施方式，本发明实施例提供了第二方面的第三种可能的实施方式，其中，所述接口模块还用于对所述权值参数、所述原始信号和所述初始化信息进行编码格式转化，以及对所述判定结果进行通用格式转化。

结合第二方面的第一种可能的实施方式，本发明实施例提供了第二方面的，所述逻辑控制单元为计算机。

本发明提供了深度学习方法和系统，包括：采集原始信号；将原始信号进行训练，得到权值参数；将原始信号和权值参数进行编码处理，得到特征向量；根据特征向量得到判定结果。本发明实现了自动识别、检测、定位、感知、理解等功能，可针对图像、视频、语音及其他数据进行处理，具有很强的通用性。

本发明的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的深度学习方法流程图；

图2为本发明实施例提供的深度学习方法步骤S102的流程图；

图3为本发明实施例提供的深度学习系统结构示意图；

图4为本发明实施例提供的识别单元结构示意图。

图标：

10-采集单元；20-逻辑控制单元；30-训练单元；40-识别单元；41-权值存储模块；42-特征提取模块；43-判定模块；44-接口模块。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例提供的深度学习方法和系统，实现了自动识别、检测、定位、感知、理解等功能，可针对图像、视频、语音及其他数据进行处理，具有很强的通用性。

为便于对本发明的实施例进行理解，首先对本发明实施例所公开的深度学习方法进行详细介绍。

图1为本发明实施例提供的深度学习方法流程图。

参照图1，该深度学习方法包括如下步骤：

步骤S101，采集原始信号；

其中，由采集单元利用现有相机、话筒等设备对图像、语音等信号进行原始信号的采集。

步骤S102，将原始信号进行训练，得到权值参数；

其中，逻辑控制单元将采集信号作为训练样本，通过互联网发送给训练单元，由训练单元对训练样本进行云端训练可以得到权值参数。

步骤S103，将原始信号和权值参数进行编码处理，得到特征向量；

其中，逻辑控制单元将权值参数、原始信号和初始化信息发送给识别单元，由识别单元对原始信号和权值参数进行编码处理，得到特征向量。

步骤S104，根据特征向量得到判定结果。

其中，识别单元根据特征向量得到判定结果，这里，识别单元中的判定模块可以根据不同的应用类型来选择其算法，如果任务是分类，例如文字识别，则需要将特征向量作为输入，通过分类器输出判定结果；如果任务是比较，例如人脸识别，则将特征向量和指定的特征向量进行比较，输出是相似度。

根据本发明的示例性实施例，将原始信号进行训练，得到权值参数包括：

参照图2，步骤201，对原始信号进行归一化预处理得到统一格式的训练样本；

步骤S202，将统一格式的训练样本存储在样本数据库中，并构成训练样本集合；

步骤S203，判断对原始信号的采样是否结束，如果结束，则执行步骤S2042，如果未结束，则执行步骤S2041；

步骤S2041，继续采集原始信号；

步骤S2042，根据训练样本集合计算权值参数。

具体地，如果采样结束，则从样本数据库中读取训练样本集合，计算权值参数。步骤201至步骤S2042的执行主体为训练单元。

根据本发明的示例性实施例，根据训练样本集合计算权值参数包括：

从样本数据库中读取训练样本集合；

对训练样本集合进行前向传播计算和网络误差损失计算得到各层残差、各层权值参数和分类精度；

通过最小化残差调整权值参数，并判断分类精度是否达到预设阈值；

如果未达到预设阈值，则根据调整后的权值参数进行迭代计算，直到分类精度达到预设阈值。

具体地，如果分类精度到达预设阈值，则输出权值参数，并将权值参数保存到权值数据库。

根据本发明的示例性实施例，将原始信号和权值参数进行编码处理，得到特征向量包括：

生成初始化信息；

将权值参数、原始信号和初始化信息进行编码转换；

对编码转换后的权值参数进行存储，并根据编码转换后的初始化信息分配计算资源；

将编码转换后的权值参数和编码转换后的原始信号进行卷积计算、池化计算和全连接计算得到特征向量。

具体地，由逻辑控制单元生成初始化信息，由识别单元将权值参数、原始信号和初始化信息进行编码转换，并进行计算得到特征向量。识别单元中的特征提取模块采用卷积神经网络(CNN)提取原始信号特征，特征提取过程经过卷积、池化、全连接三种计算的多次组合，将输入的原始信号转变为特征向量输出。卷积计算、池化计算和全连接计算的计算方法如下：

卷积计算如公式(1)所示：

其中，l表示层数，j表示卷积核编号，i表示输入层编号，M_j为选择的输入层集合，β为偏置系数，f为激活函数，通常为tanh或sigmoid等非线性函数。

池化计算如公式(2)所示：

其中，l表示层数，j表示n*n大小的池化窗口编号，β为偏置系数，f为激活函数，通常为tanh或sigmoid等非线性函数，down()为降采样函数，通常为取平均值或最大值。

另外，全连接计算为输入节点与输出节点之间全部按照权值参数建立全连接映射。

根据本发明的示例性实施例，根据特征向量得到判定结果包括：

通过将特征向量输入分类器中进行分类得到判定结果；

或者；

通过将特征向量与指定的对比向量进行比较得到相似度。

具体地，以上步骤的执行主体为识别单元。

本发明提供的深度学习方法，包括采集原始信号；将原始信号进行训练，得到权值参数；将原始信号和权值参数进行编码处理，得到特征向量；根据特征向量得到判定结果。本发明实现了自动识别、检测、定位、感知、理解等功能，可针对图像、视频、语音及其他数据进行处理，具有很强的通用性。

图3为本发明实施例提供的深度学习系统结构示意图。

参照图3，深度学习系统包括采集单元10、逻辑控制单元20、训练单元30和识别单元40；

采集单元10，与逻辑控制单元20相连接，用于采集原始信号，并将原始信号发送给逻辑控制单元20；

具体地，采集单元10用于采集图像、语音信号，可利用现有相机、话筒等设备，通过USB、Ethernet等通用接口实现与逻辑控制单元20的连接。

逻辑控制单元20，与训练单元30相连接，用于将原始信号发送给训练单元30，以使训练单元30对原始信号进行训练，得到权值参数，接收训练单元30发送的权值参数，并将权值参数、原始信号和初始化信息发送给识别单元40；

具体地，逻辑控制单元20可以实现用户交互、驱动采集单元、过程调度、数据交换，可利用现有计算机或嵌入式计算机，比如ARM(Advanced RISC Machine)，作为逻辑控制单元的硬件。根据具体的应用场景，利用算法实现特征比较(如人脸、指纹、声音识别)，分类(如字符识别、异常检测)、回归(金融分析)。由于该单元的处理方法主要采用软件实现算法，采用通用计算机即可，可采用基于ARM架构的嵌入式系统实现，也可基于PC的系统实现。当采用ARM架构实现时，逻辑控制单元与识别单元共同构成片上系统(Soc)。

识别单元40，与逻辑控制单元20相连接，用于根据权值参数和原始信号进行识别计算得到判定结果，将判定结果发送给逻辑控制单元20。

根据本发明的示例性实施例，训练单元30包括服务器和并行计算模块；

服务器，用于接收原始信号，并根据原始信号进行云端训练得到权值参数，将权值参数发送给逻辑控制单元20；

具体地，服务器用于运行训练过程、网络通信，通过互联网，训练单元30接收训练样本，或将训练结束后形成的参数发送给逻辑控制单元20。

并行计算模块，用于对云端训练的过程进行并行加速。

根据本发明的示例性实施例，参照图4，识别单元40包括权值存储模块41、特征提取模块42、判定模块43和接口模块44；

接口模块44，与判定模块43相连接，用于接收权值参数、原始信号和初始化信息，将初始化信息和原始信号发送给特征提取模块42，以及将权值参数发送给权值存储模块41；

具体地，接口模块44接收来自逻辑控制单元20的输入，如原始信号、权值参数、初始化信息，并将其转换为本地总线所能接收的编码格式；此外，还需将判定结果转换为通用格式传输给逻辑控制单元20。并且，接口模块44通过USB、Ethernet等通用接口实现与逻辑控制单元的连接

权值存储模块41，与特征提取模块42相连接，用于存储权值参数，并将权值参数发送给特征提取模块42；

具体地，权值存储模块41接收接口模块44发送的权值参数并进行存储，这里，该权值参数为训练好的权值参数；权值存储模块41可采用现有掉电保持存储介质，如SD，MicroSD等存储训练好的权值；采用高速访问存储介质，如Onchip RAM，SDRAM(SynchronousDynamic Random Access Memory，同步动态随机存储器)实现。

特征提取模块42，与判定模块43相连接，用于根据初始化信息分配计算资源，并根据权值参数、原始信号的得到特征向量，将特征向量发送给判定模块43；

具体地，特征提取模块42通过卷积层和池化层组成的卷积神经网络，提取到特征向量，可采用并行性能较高、功耗较低的嵌入式设备，如FPGA(Field－Programmable GateArray，现场可编程逻辑门阵列)和GPU(Graphics Processing Unit，图像处理器)实现。

判定模块43，与接口模块44相连接，用于根据特征向量得到判定结果，并将最终得到的判定结果发送给接口模块44，以使接口模块44将判定结果发送给逻辑控制单元20。

具体地，判定模块43可以根据不同的应用类型来选择其算法，如果任务是分类，例如文字识别，则需要将特征向量作为输入，通过分类器输出判定结果；如果任务是比较，例如人脸识别，则将特征向量和指定的特征向量进行比较，输出是相似度。可采用并行性能较高、功耗较低的嵌入式设备FPGA或GPU实现。

根据本发明的示例性实施例，接口模块44还用于对权值参数、原始信号和初始化信息进行编码格式转化，以及对判定结果进行通用格式转化。

根据本发明的示例性实施例，逻辑控制单元20为计算机。

本发明实施例提供的深度学习系统，与实施例提供的深度学习方法具有相同的技术特征，所以也能解决相同的技术问题，达到相同的技术效果。

本发明实施例所提供的深度学习方法和系统的计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行前面方法实施例中所述的方法，具体实现可参见方法实施例，在此不再赘述。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

另外，在本发明实施例的描述中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (10)

1.一种深度学习方法，其特征在于，包括：

采集原始信号；

将所述原始信号进行训练，得到权值参数；

将所述原始信号和所述权值参数进行编码处理，得到特征向量；

根据所述特征向量得到判定结果。

2.根据权利要求1所述的深度学习方法，其特征在于，所述将所述原始信号进行训练，得到权值参数包括：

对所述原始信号进行归一化预处理得到统一格式的训练样本；

将所述统一格式的训练样本存储在样本数据库中，并构成训练样本集合；

判断对所述原始信号的采样是否结束；

如果未结束，则继续采集所述原始信号；

如果结束，则根据所述训练样本集合计算所述权值参数。

3.根据权利要求2所述的深度学习方法，其特征在于，所述根据所述训练样本集合计算所述权值参数包括：

从所述样本数据库中读取所述训练样本集合；

对所述训练样本集合进行前向传播计算和网络误差损失计算得到各层残差、各层权值参数和分类精度；

通过最小化所述残差调整所述权值参数，并判断所述分类精度是否达到预设阈值；

如果未达到所述预设阈值，则根据调整后的权值参数进行迭代计算，直到所述分类精度达到所述预设阈值。

4.根据权利要求1所述的深度学习方法，其特征在于，所述将所述原始信号和所述权值参数进行编码处理，得到特征向量包括：

生成初始化信息；

将所述权值参数、所述原始信号和所述初始化信息进行编码转换；

对所述编码转换后的权值参数进行存储，并根据所述编码转换后的初始化信息分配计算资源；

将所述编码转换后的权值参数和所述编码转换后的原始信号进行卷积计算、池化计算和全连接计算得到所述特征向量。

5.根据权利要求4所述的深度学习方法，其特征在于，所述根据所述特征向量得到判定结果包括：

通过将所述特征向量输入分类器中进行分类得到所述判定结果；

或者；

通过将所述特征向量与指定的对比向量进行比较得到相似度。

6.一种深度学习系统，其特征在于，包括：采集单元、逻辑控制单元、训练单元和识别单元；

所述采集单元，与所述逻辑控制单元相连接，用于采集原始信号，并将所述原始信号发送给所述逻辑控制单元；

所述逻辑控制单元，与所述训练单元相连接，用于将所述原始信号发送给所述训练单元，以使所述训练单元对所述原始信号进行训练，得到权值参数，接收所述训练单元发送的权值参数，并将所述权值参数、所述原始信号和初始化信息发送给所述识别单元；

所述识别单元，与所述逻辑控制单元相连接，用于根据所述权值参数和所述原始信号进行识别计算得到判定结果，将所述判定结果发送给所述逻辑控制单元。

7.根据权利要求6所述的深度学习系统，其特征在于，所述训练单元包括服务器和并行计算模块；

所述服务器，用于接收原始信号，并根据所述原始信号进行云端训练得到所述权值参数，将所述权值参数发送给所述逻辑控制单元；

所述并行计算模块，用于对所述云端训练的过程进行并行加速。

8.根据权利要求6所述的深度学习系统，其特征在于，所述识别单元包括接口模块、权值存储模块、特征提取模块和判定模块；

所述接口模块，与所述判定模块相连接，用于接收所述权值参数、所述原始信号和初始化信息，将所述初始化信息和所述原始信号发送给所述特征提取模块，以及将所述权值参数发送给所述权值存储模块；

所述权值存储模块，与所述特征提取模块相连接，用于存储所述权值参数，并将所述权值参数发送给所述特征提取模块；

所述特征提取模块，与所述判定模块相连接，用于根据初始化信息分配计算资源，并根据所述权值参数、所述原始信号的得到特征向量，将所述特征向量发送给所述判定模块；

所述判定模块，与所述接口模块相连接，用于根据所述特征向量得到判定结果，并将所述判定结果发送给所述接口模块，以使所述接口模块将所述判定结果发送给所述逻辑控制单元。

9.根据权利要求8所述的深度学习系统，其特征在于，所述接口模块还用于对所述权值参数、所述原始信号和所述初始化信息进行编码格式转化，以及对所述判定结果进行通用格式转化。

10.根据权利要求7所述的深度学习系统，其特征在于，所述逻辑控制单元为计算机。