CN107292322B - 一种图像分类方法、深度学习模型及计算机系统 - Google Patents

一种图像分类方法、深度学习模型及计算机系统 Download PDF

Info

Publication number
CN107292322B
CN107292322B CN201610200963.5A CN201610200963A CN107292322B CN 107292322 B CN107292322 B CN 107292322B CN 201610200963 A CN201610200963 A CN 201610200963A CN 107292322 B CN107292322 B CN 107292322B
Authority
CN
China
Prior art keywords
matrix
deep learning
learning model
projection matrix
parameter matrix
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610200963.5A
Other languages
English (en)
Other versions
CN107292322A (zh
Inventor
许松岑
张洪波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN201610200963.5A priority Critical patent/CN107292322B/zh
Publication of CN107292322A publication Critical patent/CN107292322A/zh
Application granted granted Critical
Publication of CN107292322B publication Critical patent/CN107292322B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting

Abstract

本发明实施例提供了一种图像分类方法、深度学习模型及计算机系统，该方法包括：利用深度学习模型对训练用图像信息进行预处理，得到输入向量x；将该输入向量x输入投影矩阵SD之后，将该投影矩阵SD与参数矩阵
Figure DDA0000956010970000011
相乘，并加入偏置量b，再通过激活函数f得到输出z；利用联合迭代优化算法，根据该输出z与期望输出y的差错量更新该投影矩阵SD与该参数矩阵
Figure DDA0000956010970000012
直到该深度学习模型全连接层的参数收敛，将待分类图像信息输入该深度学习模型，得到该待分类图像的分类结果。通过本发明实施例可以缩短深度学习模型的训练时间并保证准确度。

Description

一种图像分类方法、深度学习模型及计算机系统
技术领域
本发明涉及人工智能技术领域，具体涉及一种图像分类方法、深度学习模型及计算机系统。
背景技术
近年来，关于人工智能的研究越来越多，而深度学习也快速成为了人工智能领域中的热点之一，它不仅可以模拟人脑进行分析学习，还可以模仿人脑的机制来解释数据，例如图像、语音和文本等。经典的深度学习模型主要包括深度置信网络(Deep BeliefNetwork，DBN)、自动编码器(Auto Encoder，AE)以及卷积神经网络(Convolutional NeuralNetwork，CNN)等。针对图像分类的深度学习方法则一般采用CNN，它是一种有监督的网络模型，全连接层的参数数量在很大程度上决定了全连接层参数的收敛速度，而全连接层参数的收敛则意味着CNN模型的训练完成。然而，在全连接层的规模很大时，深度学习模型完成训练需要花费很长的时间。
稀疏自编码(Sparse Auto Encoding)是一种用于削减全连接层参数数量的技术，其原理在于通过使用惩罚因子将全连接层的某些输入神经元的输出值降为0，则与此输入神经元相关的参数就无需被计算，从而达到削减参数的目的。但是通过使用惩罚因子，将全连接层的某些输入神经元的输出值降为0需要一定的迭代过程，在迭代过程完成之前全连接层的参数并没有被削减，而迭代过程需要耗费一定的时间，缩短深度学习模型的训练时间的效果并不明显；此外，实践中发现，惩罚因子只能将输入神经元的输出降至一个接近于0的较小值，这样会导致全连接层的参数数量并没有被削减，深度学习模型的训练时间也没有减少。可见，如何缩短深度学习模型的训练时间并且能保证准确度已成为亟待解决的问题。
发明内容
本发明实施例提供了一种图像分类方法、深度学习模型及计算机系统，可以缩短深度学习模型的训练时间并保证准确度。
本发明实施例第一方面提供了一种图像分类方法，包括：
利用深度学习模型对训练用图像信息进行预处理，得到输入向量x；
将所述输入向量x输入投影矩阵SD之后，将所述投影矩阵SD与参数矩阵
Figure BDA0000956010950000021
相乘，并加入偏置量b，再通过激活函数f得到输出z；
利用联合迭代优化算法，根据所述输出z与期望输出y的差错量更新所述投影矩阵SD与所述参数矩阵
Figure BDA0000956010950000022
直到所述深度学习模型全连接层的参数收敛；
将待分类图像信息输入所述深度学习模型，得到所述待分类图像的分类结果。
可选的，所述利用深度学习模型对训练用图像信息进行预处理，得到输入向量x之后，所述方法还包括：
将所述投影矩阵SD初始化为大小为M×D的随机矩阵，将所述参数矩阵
Figure BDA0000956010950000023
初始化为大小为D×N的随机矩阵；
其中，M、N和D均为大于或等于1的整数，且
Figure BDA0000956010950000024
可选的，所述利用联合迭代优化算法，根据所述输出z与期望输出y的差错量更新所述投影矩阵SD与所述参数矩阵
Figure BDA0000956010950000025
直到所述深度学习模型全连接层的参数收敛，包括：
将所述输出z与期望输出y做差，得到差错量z-y；
建立以所述投影矩阵SD与所述参数矩阵
Figure BDA0000956010950000026
为目标的代价函数，利用拉格朗日乘数法得到拉格朗日方程式：
Figure BDA0000956010950000027
其中，i为迭代的次数，SD opt和
Figure BDA0000956010950000028
分别为所述投影矩阵SD和所述参数矩阵
Figure BDA0000956010950000029
的最优解，||·||表示计算范数；
设置所述代价函数为：
Figure BDA00009560109500000210
针对所述代价函数，固定所述投影矩阵SD对所述参数矩阵
Figure BDA00009560109500000211
求偏导数：
Figure BDA00009560109500000212
并得到所述参数矩阵
Figure BDA00009560109500000213
的更新公式：
Figure BDA00009560109500000214
针对所述代价函数，固定所述参数矩阵
Figure BDA00009560109500000215
对所述投影矩阵SD求偏导数：
Figure BDA00009560109500000216
并得到所述投影矩阵SD的更新公式：
Figure BDA0000956010950000031
其中，α、β为步长，(·)T表示转置，δ为定义的敏感度；
利用所述投影矩阵SD的更新公式和所述参数矩阵
Figure BDA0000956010950000032
的更新公式分别对所述投影矩阵SD和所述参数矩阵
Figure BDA0000956010950000033
进行更新，直到所述深度学习模型全连接层的参数收敛。
可选的，所述全连接层的数量为多个，
对于最后一层全连接层，
Figure BDA0000956010950000034
对于非最后一层全连接层，
Figure BDA0000956010950000035
其中，f′(·)表示求导运算，(ο)表示矩阵点乘运算，
Figure BDA0000956010950000036
和δnext分别为下一层全连接层的参数矩阵和敏感度。
本发明实施例第二方面提供了一种深度学习模型，包括：
第一处理模块，用于对训练用图像信息进行预处理，得到输入向量x；
第二处理模块，用于将所述输入向量x输入投影矩阵SD之后，将所述投影矩阵SD与参数矩阵
Figure BDA0000956010950000037
相乘，并加入偏置量b，再通过激活函数f得到输出z；
更新模块，用于利用联合迭代优化算法，根据所述输出z与期望输出y的差错量更新所述投影矩阵SD与所述参数矩阵
Figure BDA0000956010950000038
直到所述深度学习模型全连接层的参数收敛；
输出模块，用于输出所述第一处理模块、所述第二处理模块和所述更新模块对输入的待分类图像信息进行处理后得到的分类结果。
可选的，所述模型还包括：
初始化模块，用于将所述投影矩阵SD初始化为大小为M×D的随机矩阵，将所述参数矩阵
Figure BDA0000956010950000039
初始化为大小为D×N的随机矩阵；
其中，M、N和D均为大于或等于1的整数，且
Figure BDA00009560109500000310
可选的，所述更新模块利用联合迭代优化算法，根据所述输出z与期望输出y的差错量更新所述投影矩阵SD与所述参数矩阵
Figure BDA00009560109500000311
直到所述深度学习模型全连接层的参数收敛的具体方式为：
将所述输出z与期望输出y做差，得到差错量z-y；
建立以所述投影矩阵SD与所述参数矩阵
Figure BDA00009560109500000312
为目标的代价函数，利用拉格朗日乘数法得到拉格朗日方程式：
Figure BDA00009560109500000313
其中，i为迭代的次数，SD opt和
Figure BDA0000956010950000041
分别为所述投影矩阵SD和所述参数矩阵
Figure BDA0000956010950000042
的最优解，||·||表示计算范数；
设置所述代价函数为：
Figure BDA0000956010950000043
针对所述代价函数，固定所述投影矩阵SD对所述参数矩阵
Figure BDA0000956010950000044
求偏导数：
Figure BDA0000956010950000045
并得到所述参数矩阵
Figure BDA0000956010950000046
的更新公式：
Figure BDA0000956010950000047
针对所述代价函数，固定所述参数矩阵
Figure BDA0000956010950000048
对所述投影矩阵SD求偏导数：
Figure BDA0000956010950000049
并得到所述投影矩阵SD的更新公式：
Figure BDA00009560109500000410
其中，α、β为步长，(·)T表示转置，δ为定义的敏感度；
利用所述投影矩阵SD的更新公式和所述参数矩阵
Figure BDA00009560109500000411
的更新公式分别对所述投影矩阵SD和所述参数矩阵
Figure BDA00009560109500000412
进行更新，直到所述深度学习模型全连接层的参数收敛。
可选的，所述全连接层的数量为多个，
对于最后一层全连接层，
Figure BDA00009560109500000413
对于非最后一层全连接层，
Figure BDA00009560109500000414
其中，f′(·)表示求导运算，(ο)表示矩阵点乘运算，
Figure BDA00009560109500000415
和δnext分别为下一层全连接层的参数矩阵和敏感度。
本发明实施例第三方面提供了一种计算机系统，包括图像采集设备和上述的深度学习模型。
本发明实施例通过利用深度学习模型对训练用图像信息进行预处理，得到输入向量x；将该输入向量x输入投影矩阵SD之后，将该投影矩阵SD与参数矩阵
Figure BDA00009560109500000416
相乘，并加入偏置量b，再通过激活函数f得到输出z；利用联合迭代优化算法，根据该输出z与期望输出y的差错量更新该投影矩阵SD与该参数矩阵
Figure BDA00009560109500000417
直到该深度学习模型全连接层的参数收敛，将待分类图像信息输入该深度学习模型，得到该待分类图像的分类结果，可以缩短深度学习模型的训练时间并保证准确度。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种图像分类方法的流程示意图；
图2是现有技术提供的一种深度学习模型全连接层的结构示意图；
图3是本发明实施例提供的一种深度学习模型全连接层的结构示意图；
图4是本发明实施例提供的一种深度学习模型的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1，为本发明实施例提供的一种图像分类方法的流程示意图。本实施例中所描述的图像分类方法，包括以下步骤：
S101、利用深度学习模型对训练用图像信息进行预处理，得到输入向量x。
具体的，该深度学习模型可以为CNN模型，包括卷积层、子采样层和全连接层，将该训练用图像信息输入到该卷积层，在该卷积层和该子采样层的处理过程如下：
(a)l-1层的该训练用图像信息
Figure BDA0000956010950000051
与卷积核
Figure BDA0000956010950000052
进行卷积，添加偏置
Figure BDA0000956010950000053
后，通过激活函数f，得到特征图像(Feature Map)
Figure BDA0000956010950000054
Figure BDA0000956010950000055
其中，公式(1)中的i为当前层的第j个神经元连接的上一层的神经元数量，Mj为与第j个神经元连接的一系列输入的该训练用图像信息，(*)表示卷积运算，Σ(·)表示求和运算。该激活函数f可以优选sigmoid函数、tanh函数和ReLU函数中的任一种，也可以选择其它类型的激活函数。公式(2)(3)(4)分别介绍了三种常用的激活函数f：
sigmoid函数:
Figure BDA0000956010950000061
tanh函数:
Figure BDA0000956010950000062
ReLU函数:f(x)＝max(0，x) (4)
其中，e为自然对数，max(·)表示求最大值运算。
(b)该训练用图像信息通过卷积层运算后，再通过子采样层，得到进入全连接层l+1的第j个神经元的输入值：
Figure BDA0000956010950000063
其中，down(·)表示子采样运算。该运算会针对图像的一个n×n区域求平均值或者最大值或者最小值。将l+1层所有由公式(5)得到的输入值
Figure BDA0000956010950000064
组合为向量，即可得到进入该深度学习模型全连接层的输入向量x。
S102、将投影矩阵SD初始化为大小为M×D的随机矩阵，将参数矩阵
Figure BDA0000956010950000066
初始化为大小为D×N的随机矩阵。
其中，图2所示的是现有技术提供的一种深度学习模型全连接层的结构示意图，图3所示的是本发明实施例提供的一种深度学习模型全连接层的结构示意图，本发明实施例通过引入M×D的投影矩阵将包括M×N个全连接层参数的参数矩阵W削减为包括D×N个全连接层参数的低维度参数矩阵
Figure BDA0000956010950000067
其中，M、N和D均为大于或等于1的整数，且
Figure BDA0000956010950000065
从而削减了全连接层参数的数量。
具体的，该投影矩阵SD和该参数矩阵
Figure BDA0000956010950000068
均可以初始化为均值为0，方差为1的高斯随机矩阵。
S103、将该输入向量x输入投影矩阵SD之后，将该投影矩阵SD与该参数矩阵
Figure BDA0000956010950000069
相乘，并加入偏置量b，再通过激活函数f得到输出z。
其中，该偏置量b可以初始化为1×N的均值为0，方差为1的高斯随机向量。
具体的，如图3所示，将该输入向量x输入该投影矩阵SD，该输入向量x的维度由M降为D，接着将输入该输入向量x后的该投影矩阵SD与该参数矩阵
Figure BDA00009560109500000610
相乘，并加入偏置量b，再通过激活函数f得到输出
Figure BDA00009560109500000611
需要说明的是，一个深度学习模型一般有多个全连接层，不同深度学习模型全连接层的个数可以不同，每一个全连接层只存在一个投影矩阵。
S104、利用联合迭代优化算法，根据该输出z与期望输出y的差错量更新该投影矩阵SD与该参数矩阵
Figure BDA0000956010950000079
直到该深度学习模型全连接层的参数收敛。
具体的，图3中的联合迭代优化算法主要步骤可以为：
(a)将该输出z与期望输出y做差，得到差错量z-y(或y-z)。
(b)建立以该投影矩阵SD与该参数矩阵
Figure BDA00009560109500000710
为目标的代价函数，利用拉格朗日乘数法得到拉格朗日方程式：
Figure BDA0000956010950000071
其中，i为迭代的次数，Sd opt和
Figure BDA00009560109500000711
分别为该投影矩阵SD和该参数矩阵
Figure BDA00009560109500000712
的最优解，||·||表示计算范数。
(c)设置该代价函数为：
Figure BDA0000956010950000072
(d)针对该代价函数，固定该投影矩阵SD对该参数矩阵
Figure BDA00009560109500000713
求偏导数：
Figure BDA0000956010950000073
并采用最小均方(Least Mean Square，LMS)算法得到该参数矩阵
Figure BDA00009560109500000715
的更新公式：
Figure BDA0000956010950000074
(e)类似地，针对该代价函数，固定该参数矩阵
Figure BDA00009560109500000714
对该投影矩阵SD求偏导数：
Figure BDA0000956010950000075
并采用LMS算法得到该投影矩阵SD的更新公式：
Figure BDA0000956010950000076
其中，α、β为步长，(·)T表示转置，δ为便于推导该联合迭代优化算法而定义的敏感度。
具体的，(d)和(e)并行执行，即该参数矩阵
Figure BDA00009560109500000716
和该投影矩阵SD可以同时更新，可以进一步减少该深度学习模型全连接层的执行时间。另外，结合该差错量对该参数矩阵
Figure BDA00009560109500000717
和该投影矩阵SD进行更新可以保证在全连接层参数被削减的情况下该深度学习模型输出结果的准确度。
在一些可行的实施方式中，对于(d)和(e)也可以采用归一化最小均方(Normalized Least Mean Square，NLMS)算法得到该参数矩阵
Figure BDA00009560109500000718
和该投影矩阵SD的更新公式：
Figure BDA0000956010950000077
Figure BDA0000956010950000078
(f)利用该投影矩阵SD的更新公式和该参数矩阵
Figure BDA0000956010950000084
的更新公式分别对该投影矩阵SD和该参数矩阵
Figure BDA0000956010950000085
进行更新，直到该深度学习模型全连接层的参数收敛。
其中，连续的两次或多次得到的该差错量没有变化时，可以确定该深度学习模型全连接层的参数已经收敛，即该深度学习模型训练完成。
需要说明的是，针对不同的全连接层，δ的定义不同，具体为：
对于最后一层全连接层，
Figure BDA0000956010950000081
对于非最后一层全连接层，
Figure BDA0000956010950000082
其中，f′(·)表示求导运算，(ο)表示矩阵点乘运算，
Figure BDA0000956010950000083
和δnext分别为下一层全连接层的参数矩阵和敏感度。
S105、将待分类图像信息输入该深度学习模型，得到该待分类图像的分类结果。
具体的，在该深度学习模型训练完成后即可将待分类图像信息输入该深度学习模型，进而得到该待分类图像的分类结果。
本发明实施例通过利用深度学习模型对训练用图像信息进行预处理，得到输入向量x；将该输入向量x输入投影矩阵SD之后，将该投影矩阵SD与参数矩阵
Figure BDA0000956010950000086
相乘，并加入偏置量b，再通过激活函数f得到输出z；利用联合迭代优化算法，根据该输出z与期望输出y的差错量更新该投影矩阵SD与该参数矩阵
Figure BDA0000956010950000087
直到该深度学习模型全连接层的参数收敛，将待分类图像信息输入该深度学习模型，得到该待分类图像的分类结果，可以缩短深度学习模型的训练时间并保证准确度。
请参阅图4，为本发明实施例提供的一种深度学习模型的结构示意图。本实施例中所描述的深度学习模型，包括：
第一处理模块401，用于对训练用图像信息进行预处理，得到输入向量x。
初始化模块402，用于将所述投影矩阵SD初始化为大小为M×D的随机矩阵，将所述参数矩阵
Figure BDA0000956010950000088
初始化为大小为D×N的随机矩阵。
第二处理模块403，用于将所述输入向量x输入投影矩阵SD之后，将所述投影矩阵SD与参数矩阵
Figure BDA0000956010950000089
相乘，并加入偏置量b，再通过激活函数f得到输出z。
更新模块404，用于利用联合迭代优化算法，根据所述输出z与期望输出y的差错量更新所述投影矩阵SD与所述参数矩阵
Figure BDA00009560109500000810
直到所述深度学习模型全连接层的参数收敛。
输出模块405，用于输出所述第一处理模块、所述第二处理模块和所述更新模块对输入的待分类图像信息进行处理后得到的分类结果。
在一些可行的实施方式中，所述激活函数f为sigmoid函数、tanh函数和ReLU函数中的任一种。
在一些可行的实施方式中，所述更新模块404利用联合迭代优化算法，根据所述输出z与期望输出y的差错量更新所述投影矩阵SD与所述参数矩阵
Figure BDA0000956010950000099
直到所述深度学习模型全连接层的参数收敛的具体方式可以为：
将所述输出z与期望输出y做差，得到差错量z-y。
建立以所述投影矩阵SD与所述参数矩阵
Figure BDA00009560109500000910
为目标的代价函数，利用拉格朗日乘数法得到拉格朗日方程式：
Figure BDA0000956010950000091
其中，i为迭代的次数，SD opt和
Figure BDA00009560109500000911
分别为所述投影矩阵SD和所述参数矩阵
Figure BDA00009560109500000912
的最优解，||·||表示计算范数。
设置所述代价函数为：
Figure BDA0000956010950000092
针对所述代价函数，固定所述投影矩阵SD对所述参数矩阵
Figure BDA00009560109500000913
求偏导数：
Figure BDA0000956010950000093
并采用LMS算法得到所述参数矩阵
Figure BDA00009560109500000914
的更新公式：
Figure BDA0000956010950000094
针对所述代价函数，固定所述参数矩阵
Figure BDA00009560109500000915
对所述投影矩阵SD求偏导数：
Figure BDA0000956010950000095
并采用LMS算法得到所述投影矩阵SD的更新公式：
Figure BDA0000956010950000096
其中，α、β为步长，(·)T表示转置，δ为定义的敏感度。
在一些可行的实施方式中，也可以采用NLMS算法得到该参数矩阵
Figure BDA00009560109500000916
和该投影矩阵SD的更新公式：
Figure BDA0000956010950000097
Figure BDA0000956010950000098
利用所述投影矩阵SD的更新公式和所述参数矩阵
Figure BDA0000956010950000103
的更新公式分别对所述投影矩阵SD和所述参数矩阵
Figure BDA0000956010950000104
进行更新，直到所述深度学习模型全连接层的参数收敛。
其中，所述全连接层的数量为多个，
对于最后一层全连接层，
Figure BDA0000956010950000101
对于非最后一层全连接层，
Figure BDA0000956010950000102
其中，f′(·)表示求导运算，(ο)表示矩阵点乘运算，
Figure BDA0000956010950000107
和δnext分别为下一层全连接层的参数矩阵和敏感度。
本发明实施例通过利用深度学习模型对训练用图像信息进行预处理，得到输入向量x；将该输入向量x输入投影矩阵SD之后，将该投影矩阵SD与参数矩阵
Figure BDA0000956010950000105
相乘，并加入偏置量b，再通过激活函数f得到输出z；利用联合迭代优化算法，根据该输出z与期望输出y的差错量更新该投影矩阵SD与该参数矩阵
Figure BDA0000956010950000106
直到该深度学习模型全连接层的参数收敛，将待分类图像信息输入该深度学习模型，得到该待分类图像的分类结果，可以缩短深度学习模型的训练时间并保证准确度。
此外，本发明实施例还提供了一种计算机系统，包括图像采集设备和上面实施例所述的深度学习模型。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存取存储器(Random AccessMemory，RAM)等。
以上对本发明实施例所提供的一种图像分类方法、深度学习模型及计算机系统进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (14)

1.一种图像分类方法，其特征在于，包括：
利用深度学习模型对训练用图像信息进行预处理，得到输入向量x；
将所述输入向量x输入投影矩阵SD之后，将所述投影矩阵SD与参数矩阵
Figure FDA0002635870710000011
相乘，并加入偏置量b，再通过激活函数f得到输出z；
利用联合迭代优化算法，根据所述输出z与期望输出y的差错量更新所述投影矩阵SD与所述参数矩阵
Figure FDA0002635870710000012
直到所述深度学习模型全连接层的参数收敛；
将待分类图像信息输入所述深度学习模型，得到所述待分类图像的分类结果。
2.根据权利要求1所述的方法，其特征在于，所述利用深度学习模型对训练用图像信息进行预处理，得到输入向量x之后，所述方法还包括：
将所述投影矩阵SD初始化为大小为M×D的随机矩阵，将所述参数矩阵
Figure FDA0002635870710000013
初始化为大小为D×N的随机矩阵；
其中，M、N和D均为大于或等于1的整数，且
Figure FDA0002635870710000014
3.根据权利要求1或2所述的方法，其特征在于，
Figure FDA0002635870710000015
4.一种图像分类方法，其特征在于，所述方法包括权利要求1至3任意一项所述方法的全部特征，并且，
所述激活函数f为sigmoid函数、tanh函数和ReLU函数中的任一种。
5.一种图像分类方法，其特征在于，所述方法包括权利要求1至4任意一项所述方法的全部特征，并且，所述利用联合迭代优化算法，根据所述输出z与期望输出y的差错量更新所述投影矩阵SD与所述参数矩阵
Figure FDA0002635870710000016
直到所述深度学习模型全连接层的参数收敛，包括：
将所述输出z与期望输出y做差，得到差错量z-y；
建立以所述投影矩阵SD与所述参数矩阵
Figure FDA0002635870710000017
为目标的代价函数，利用拉格朗日乘数法得到拉格朗日方程式：
Figure FDA0002635870710000021
其中，i为迭代的次数，SD opt和
Figure FDA0002635870710000022
分别为所述投影矩阵SD和所述参数矩阵
Figure FDA0002635870710000023
的最优解，‖·‖表示计算范数；
设置所述代价函数为：
Figure FDA0002635870710000024
针对所述代价函数，固定所述投影矩阵SD对所述参数矩阵
Figure FDA0002635870710000025
求偏导数：
Figure FDA0002635870710000026
并得到所述参数矩阵
Figure FDA0002635870710000027
的更新公式：
Figure FDA0002635870710000028
针对所述代价函数，固定所述参数矩阵
Figure FDA0002635870710000029
对所述投影矩阵SD求偏导数：
Figure FDA00026358707100000210
并得到所述投影矩阵SD的更新公式：
Figure FDA00026358707100000211
其中，α、β为步长，(·)T表示转置，δ为定义的敏感度；
利用所述投影矩阵SD的更新公式和所述参数矩阵
Figure FDA00026358707100000212
的更新公式分别对所述投影矩阵SD和所述参数矩阵
Figure FDA00026358707100000213
进行更新，直到所述深度学习模型全连接层的参数收敛。
6.根据权利要求5所述的方法，其特征在于，所述全连接层的数量为多个，
对于最后一层全连接层，
Figure FDA00026358707100000214
对于非最后一层全连接层，
Figure FDA00026358707100000215
其中，f′(·)表示求导运算，(°)表示矩阵点乘运算，
Figure FDA00026358707100000216
和δnext分别为下一层全连接层的参数矩阵和敏感度。
7.一种深度学习模型，其特征在于，包括：
第一处理模块，用于对训练用图像信息进行预处理，得到输入向量x；
第二处理模块，用于将所述输入向量x输入投影矩阵SD之后，将所述投影矩阵SD与参数矩阵
Figure FDA00026358707100000217
相乘，并加入偏置量b，再通过激活函数f得到输出z；
更新模块，用于利用联合迭代优化算法，根据所述输出z与期望输出y的差错量更新所述投影矩阵SD与所述参数矩阵
Figure FDA00026358707100000218
直到所述深度学习模型全连接层的参数收敛；
输出模块，用于输出所述第一处理模块、所述第二处理模块和所述更新模块对输入的待分类图像信息进行处理后得到的分类结果。
8.根据权利要求7所述的模型，其特征在于，所述模型还包括：
初始化模块，用于将所述投影矩阵SD初始化为大小为M×D的随机矩阵，将所述参数矩阵
Figure FDA0002635870710000031
初始化为大小为D×N的随机矩阵；
其中，M、N和D均为大于或等于1的整数，且
Figure FDA0002635870710000032
9.根据权利要求7或8所述的模型，其特征在于，
Figure FDA0002635870710000033
10.一种深度学习模型，其特征在于，所述模型包括权利要求7至8任意一项所述模型的全部特征，并且，
所述激活函数f为sigmoid函数、tanh函数和ReLU函数中的任一种。
11.一种深度学习模型，其特征在于，所述模型包括权利要求7至10任意一项所述模型的全部特征，并且，所述更新模块利用联合迭代优化算法，根据所述输出z与期望输出y的差错量更新所述投影矩阵SD与所述参数矩阵
Figure FDA0002635870710000034
直到所述深度学习模型全连接层的参数收敛的具体方式为：
将所述输出z与期望输出y做差，得到差错量z-y；
建立以所述投影矩阵SD与所述参数矩阵
Figure FDA0002635870710000035
为目标的代价函数，利用拉格朗日乘数法得到拉格朗日方程式：
Figure FDA0002635870710000036
其中，i为迭代的次数，SD opt和
Figure FDA0002635870710000037
分别为所述投影矩阵SD和所述参数矩阵
Figure FDA0002635870710000038
的最优解，‖·‖表示计算范数；
设置所述代价函数为：
Figure FDA0002635870710000039
针对所述代价函数，固定所述投影矩阵SD对所述参数矩阵
Figure FDA00026358707100000310
求偏导数：
Figure FDA00026358707100000311
并得到所述参数矩阵
Figure FDA00026358707100000312
的更新公式：
Figure FDA00026358707100000313
针对所述代价函数，固定所述参数矩阵
Figure FDA0002635870710000041
对所述投影矩阵SD求偏导数：
Figure FDA0002635870710000042
并得到所述投影矩阵SD的更新公式：
Figure FDA0002635870710000043
其中，α、β为步长，(·)T表示转置，δ为定义的敏感度；
利用所述投影矩阵SD的更新公式和所述参数矩阵
Figure FDA0002635870710000044
的更新公式分别对所述投影矩阵SD和所述参数矩阵
Figure FDA0002635870710000045
进行更新，直到所述深度学习模型全连接层的参数收敛。
12.根据权利要求11所述的模型，其特征在于，所述全连接层的数量为多个，
对于最后一层全连接层，
Figure FDA0002635870710000046
对于非最后一层全连接层，
Figure FDA0002635870710000047
其中，f′(·)表示求导运算，(°)表示矩阵点乘运算，
Figure FDA0002635870710000048
和δnext分别为下一层全连接层的参数矩阵和敏感度。
13.一种计算机系统，其特征在于，包括图像采集设备和如权利要求7～12中任一项所述的深度学习模型。
14.一种计算机可读取存储介质，其特征在于，所述计算机可读取存储介质存储有计算机程序，所述计算机程序被硬件执行时能够实现权利要求1～6中任一项所述的方法。
CN201610200963.5A 2016-03-31 2016-03-31 一种图像分类方法、深度学习模型及计算机系统 Active CN107292322B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610200963.5A CN107292322B (zh) 2016-03-31 2016-03-31 一种图像分类方法、深度学习模型及计算机系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610200963.5A CN107292322B (zh) 2016-03-31 2016-03-31 一种图像分类方法、深度学习模型及计算机系统

Publications (2)

Publication Number Publication Date
CN107292322A CN107292322A (zh) 2017-10-24
CN107292322B true CN107292322B (zh) 2020-12-04

Family

ID=60087442

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610200963.5A Active CN107292322B (zh) 2016-03-31 2016-03-31 一种图像分类方法、深度学习模型及计算机系统

Country Status (1)

Country Link
CN (1) CN107292322B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109840530A (zh) * 2017-11-24 2019-06-04 华为技术有限公司 训练多标签分类模型的方法和装置
CN109840531B (zh) * 2017-11-24 2023-08-25 华为技术有限公司 训练多标签分类模型的方法和装置
CN108460737A (zh) * 2018-02-08 2018-08-28 上海爱优威软件开发有限公司 一种cnn-lms图像噪声的智能滤波方法及系统
CN112488104B (zh) * 2020-11-30 2024-04-09 华为技术有限公司 深度及置信度估计系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9031331B2 (en) * 2012-07-30 2015-05-12 Xerox Corporation Metric learning for nearest class mean classifiers
CN105874474A (zh) * 2013-11-04 2016-08-17 脸谱公司 用于面部表示的系统和方法
US20170236000A1 (en) * 2016-02-16 2017-08-17 Samsung Electronics Co., Ltd. Method of extracting feature of image to recognize object

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102159965B (zh) * 2008-09-17 2014-09-24 皇家飞利浦电子股份有限公司 用于mri的b1映射和b1l匀场
CN101872424B (zh) * 2010-07-01 2013-03-27 重庆大学 基于Gabor变换最优通道模糊融合的人脸表情识别方法
CN104200224A (zh) * 2014-08-28 2014-12-10 西北工业大学 基于深度卷积神经网络的无价值图像去除方法
CN104572940B (zh) * 2014-12-30 2017-11-21 中国人民解放军海军航空工程学院 一种基于深度学习与典型相关分析的图像自动标注方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9031331B2 (en) * 2012-07-30 2015-05-12 Xerox Corporation Metric learning for nearest class mean classifiers
CN105874474A (zh) * 2013-11-04 2016-08-17 脸谱公司 用于面部表示的系统和方法
US20170236000A1 (en) * 2016-02-16 2017-08-17 Samsung Electronics Co., Ltd. Method of extracting feature of image to recognize object

Also Published As

Publication number Publication date
CN107292322A (zh) 2017-10-24

Similar Documents

Publication Publication Date Title
US11593586B2 (en) Object recognition with reduced neural network weight precision
WO2019091020A1 (zh) 权重数据存储方法和基于该方法的神经网络处理器
CN107292322B (zh) 一种图像分类方法、深度学习模型及计算机系统
CN110852439B (zh) 数据处理方法及装置、存储介质
CN107292352B (zh) 基于卷积神经网络的图像分类方法和装置
US9129222B2 (en) Method and apparatus for a local competitive learning rule that leads to sparse connectivity
CN113705769A (zh) 一种神经网络训练方法以及装置
CN113205142B (zh) 一种基于增量学习的目标检测方法和装置
EP3570220A1 (en) Information processing method, information processing device, and computer-readable storage medium
CN112288086A (zh) 一种神经网络的训练方法、装置以及计算机设备
WO2021053381A1 (zh) 神经网络模型的压缩与加速方法、数据处理方法及装置
CN111178520A (zh) 一种低计算能力处理设备的数据处理方法及装置
CN110119805B (zh) 基于回声状态网络分类的卷积神经网络算法
CN113240079A (zh) 一种模型训练方法及装置
CN114282666A (zh) 基于局部稀疏约束的结构化剪枝方法和装置
CN116882469B (zh) 用于情感识别的脉冲神经网络部署方法、装置及设备
CN114066899A (zh) 图像分割模型训练、图像分割方法、装置、设备及介质
WO2022125181A1 (en) Recurrent neural network architectures based on synaptic connectivity graphs
WO2020195940A1 (ja) ニューラルネットワークのモデル縮約装置
CN111652349A (zh) 一种神经网络的处理方法及相关设备
CN115439179A (zh) 训练试衣模型的方法、虚拟试衣方法及相关装置
CN114463591A (zh) 深度神经网络图像分类方法、装置、设备和存储介质
CN114332481A (zh) 一种基于非负稀疏自编码器的盲端元提取与光谱解混方法
CN113128380A (zh) 鱼体姿态的识别方法、装置、电子设备和存储介质
Zhao et al. Classifying images using restricted Boltzmann machines and convolutional neural networks

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant