CN112001476A - 数据处理方法、装置和计算机可读存储介质 - Google Patents
数据处理方法、装置和计算机可读存储介质 Download PDFInfo
- Publication number
- CN112001476A CN112001476A CN201910443824.9A CN201910443824A CN112001476A CN 112001476 A CN112001476 A CN 112001476A CN 201910443824 A CN201910443824 A CN 201910443824A CN 112001476 A CN112001476 A CN 112001476A
- Authority
- CN
- China
- Prior art keywords
- network
- network parameter
- value
- values
- data processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003860 storage Methods 0.000 title claims abstract description 42
- 238000003672 processing method Methods 0.000 title claims abstract description 20
- 238000012549 training Methods 0.000 claims abstract description 65
- 238000013135 deep learning Methods 0.000 claims abstract description 47
- 238000000034 method Methods 0.000 claims abstract description 41
- 238000012545 processing Methods 0.000 claims abstract description 26
- 238000004590 computer program Methods 0.000 claims description 9
- 230000006835 compression Effects 0.000 claims description 8
- 238000007906 compression Methods 0.000 claims description 8
- 238000010586 diagram Methods 0.000 description 18
- 230000008569 process Effects 0.000 description 18
- 230000006870 function Effects 0.000 description 9
- 238000004364 calculation method Methods 0.000 description 8
- 238000004422 calculation algorithm Methods 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 4
- 210000002569 neuron Anatomy 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000013139 quantization Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
- G06F18/232—Non-hierarchical techniques
- G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
- G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Probability & Statistics with Applications (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本公开涉及一种数据处理方法、装置和计算机可读存储介质，涉及计算机技术领域。本公开的方法包括：利用训练样本对深度学习网络的至少一次迭代训练，直至满足迭代停止条件；其中，在每次迭代训练中执行以下方法：读取当前存储的深度学习网络的网络参数的值，利用训练样本对网络参数的值进行更新；根据更新后的各个网络参数的值与阈值的比对结果，对网络参数的值的数据量进行压缩；将当前存储的网络参数的值，替换为压缩后的网络参数的值进行存储。
Description
技术领域
本公开涉及计算机技术领域，特别涉及一种数据处理方法、装置和计算机可读存储介质。
背景技术
随着人工智能技术的快速发展，深度学习网络的应用越来越广泛。深度学习网络可以应用于计算机视觉、自然语言处理、生物信息学等多种领域。
深度学习网络由于结构复杂，包含大量的网络参数，在训练和使用过程中存在大量的数据计算，对计算机的性能要求较高。
发明内容
发明人发现：传统的深度学习网络，由于网络参数量很大，导致应用过程中计算量也很大，并且会占用设备的很多存储空间。很难应用于移动设备、嵌入式设备、专用设备等计算、存储、能源都受限的设备。因此，需要对深度学习网络进行改进，减少其对存储资源的占用，提高计算效率。
本公开所要解决的一个技术问题是：如何减少深度学习网络对存储资源的占用，提高计算效率。
根据本公开的一些实施例，提供的一种数据处理方法，包括：利用训练样本对深度学习网络的至少一次迭代训练，直至满足迭代停止条件；其中，在每次迭代训练中执行以下方法：读取当前存储的深度学习网络的网络参数的值，利用训练样本对网络参数的值进行更新；根据更新后的各个网络参数的值与阈值的比对结果，对网络参数的值的数据量进行压缩；将当前存储的网络参数的值，替换为压缩后的网络参数的值进行存储。
在一些实施例中，根据更新后的各个网络参数的值与阈值的比对结果，对网络参数的值的数据量进行压缩包括：将更新后的各个网络参数值与阈值进行比对，将小于阈值的网络参数的值删除，或者将小于阈值的网络参数的值利用一个预设值表示。
在一些实施例中，阈值根据各个网络参数的值中的最大值和调整因子确定。
在一些实施例中，该方法还包括：根据当前存储的网络参数的值对网络参数进行聚类，得到一个或多个类；针对每一个类，将该类中的网络参数的值更新为对应的聚类中心的编码，以便对网络参数的值的数据量进行压缩。
在一些实施例中，根据各个网络参数的值对网络参数进行聚类包括：每次根据各个网络参数到当前聚类中心的距离，确定各个网络参数所属的类，针对每个类，根据该类中各个网络参数到原点的距离以及各个网络参数的值更新当前聚类中心，直至满足收敛条件。
在一些实施例中，各个聚类中心的编码采用以下方法进行确定：根据聚类中心的个数确定编码位数；根据编码位数对各个聚类中心进行编码。
根据本公开的另一些实施例，提供的一种数据处理装置，包括：网络参数更新模块，用于在对深度学习网络的每次迭代训练中，读取当前存储的深度学习网络的网络参数的值，利用训练样本对网络参数的值进行更新；网络参数压缩模块，用于在每次迭代训练中，根据更新后的各个网络参数的值与阈值的比对结果，对网络参数的值的数据量进行压缩；网络参数存储模块，用于在每次迭代训练中，将当前存储的网络参数的值，替换为压缩后的网络参数的值进行存储；其中，深度学习网络利用利用训练样本进行至少一次迭代训练，直至满足迭代停止条件。
在一些实施例中，网络参数压缩模块，用于将更新后的各个网络参数值与阈值进行比对，将小于阈值的网络参数的值删除，或者将小于阈值的网络参数的值利用一个预设值表示。
在一些实施例中，阈值根据各个网络参数的值中的最大值和调整因子确定。
在一些实施例中，该装置还包括：聚类模块，用于根据当前存储的网络参数的值对网络参数进行聚类，得到一个或多个类；网络参数编码模块，用于针对每一个类，将该类中的网络参数的值更新为对应的聚类中心的编码，以便对网络参数的值的数据量进行压缩。
在一些实施例中，聚类模块用于每次根据各个网络参数到当前聚类中心的距离，确定各个网络参数所属的类，针对每个类，根据该类中各个网络参数到原点的距离以及各个网络参数的值更新当前聚类中心，直至满足收敛条件。
在一些实施例中，网络参数编码模块用于根据聚类中心的个数确定编码位数，根据编码位数对各个聚类中心进行编码。
根据本公开的又一些实施例，提供的一种数据处理装置，包括：存储器；以及耦接至存储器的处理器，处理器被配置为基于存储在存储器中的指令，执行如前述任意实施例的数据处理方法。
根据本公开的再一些实施例，提供的一种计算机可读存储介质，其上存储有计算机程序，其中，该程序被处理器执行时实现前述任意实施例的数据处理方法。
本公开中在利用训练样本对深度学习网络进行迭代训练的过程中，每次迭代训练首先利用训练样本对网络参数的值进行更新，再对更新后的网络参数的值的数据量进行压缩，将压缩后的网络参数的值替换当前存储的网络参数的值进行存储。本公开的方法，通过多次迭代训练能够充分的对深度学习网络进行压缩。对网络参数的值的数据量进行压缩，相当于减少神经元之间的连通性，可以减少深度学习网络复杂度和过度拟合，减小复杂网络模型的体积，从而减少数据存储量，释放存储空间，减少深度学习网络对存储资源的占用。此外，由于网络参数的值的数据量减少，网络结构简化，可以提高深度学习网络训练和使用过程中的计算量，提高计算效率。
通过以下参照附图对本公开的示例性实施例的详细描述，本公开的其它特征及其优点将会变得清楚。
附图说明
为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1示出本公开的一些实施例的数据处理方法的流程示意图。
图2示出本公开的另一些实施例的数据处理方法的流程示意图。
图3示出本公开的一些实施例的数据处理装置的结构示意图。
图4示出本公开的另一些实施例的数据处理装置的结构示意图。
图5示出本公开的又一些实施例的数据处理装置的结构示意图。
图6示出本公开的再一些实施例的数据处理装置的结构示意图。
具体实施方式
下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本公开及其应用或使用的任何限制。基于本公开中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。
针对如何减少深度学习网络对存储资源的占用，提高计算效率的问题，提出本方案。下面结合图1描述本公开数据处理方法的一些实施例。
图1为本公开数据处理方法一些实施例的流程图。如图1所示，该实施例的方法包括：步骤S102～S110。
在步骤S102中，读取当前存储的深度学习网络的网络参数的值。
深度学习网络的训练过程中会利用训练样本对深度学习网络进行多次迭代训练，每次迭代训练都会对深度学习网络的网络参数进行更新，并且会对网络参数进行存储，例如将网络参数存储在内存中，以便下一次训练迭代时使用。
深度学习网络的通常训练过程例如为：给定训练数据样本集X，以及每个训练样本对应标签Y，深度学习网络f(X|W)的训练旨在通过多次迭代训练学习网络参数(也可以称为网络权重)的值W，使得f(X|W)→Y，即f(X|W)逼近Y。其中，W可以是包含多个网络参数的值的矩阵、向量或集合。在训练开始之前，可以对网络参数进行随机初始化，例如，W～N(0，1)，将网络连通性P初始化为全连接。网络连通性与网络参数的值相对应，如果wl,i(表示深度学习网络第l层中的第i个网络参数的值)不为0，则表示对应的神经元之间连通。
在步骤S104中，利用训练样本对网络参数的值进行更新。
例如，可以采用梯度下降的方法对网络参数进行更新。深度学习网络中参数的更新过程可以采用现有技术的方案，不限于所举示例。由于当前存储的网络参数的值可以是上一次迭代训练后进过压缩的网络参数的值，因此，本次迭代训练对网络参数的值进行更新时，网络参数的值的数据量减少了，从而减少了本次迭代训练过程中的计算量，提高计算效率和收敛速度。
在步骤S106中，根据更新后的各个网络参数的值与阈值的比对结果，对网络参数的值的数据量进行压缩。
在一些实施例中，将更新后的各个网络参数值与阈值进行比对，将小于阈值的网络参数的值删除，或者将小于阈值的网络参数的值利用一个预设值表示。具体的压缩方法可以根据实际存储方式进行选择。例如，可以直接不对小于阈值的网络参数的值进行存储，或者，将小于阈值的网络参数的值利用0进行表示等，不限于所举示例。
在一些实施例中，阈值根据各个网络参数的值中的最大值和调整因子确定。例如，阈值t可以采用以下公式表示。
t＝λmaxl,i|wl,i| (1)
其中，wl,i表示深度学习网络第l层中的第i个网络参数的值，λ为调整因子，为预设常数。
网络参数的值的压缩方法例如可以采用以下公式进行表示。
其中，s(wl,i)表示压缩后的网络参数的值，|wl,i|表示wl,i的绝对值。
在压缩网络参数的值的同时，还可以将小于阈值的网络参数的值对应连通性Pl,i＝0。
在步骤S108中，将当前存储的网络参数的值，替换为压缩后的网络参数的值进行存储。
压缩后的网络参数的值的数据量减少了，可以释放存储空间。
在步骤S110中，判断是否满足迭代停止条件。如果是，则停止。否则，返回步骤S102重新开始执行。
在一些实施例中，训练的目标函数例如可以采用以下公式进行表示。
其中，W*为使得目标函数最小(迭代停止条件)的训练后深度学习网络的网络参数的值。(X,Y)为输入的训练数据组，X为训练样本，Y为与其对应的样本标签。
为对应不同训练目标的损失函数(例如交叉熵损失等)。|W|1为稀疏约束项，可以是1范数。本方案在训练目标函数中引入一项稀疏约束项，在训练过程中最小化W的1范数，可以使网络参数的值中可压缩的数量尽可能的多，尽量减少存储空间的占用。
在一些实施例中，迭代停止条件还可以是迭代次数达到预设最大次数，不限于所举示例。
上述实施例的方法，在利用训练样本对深度学习网络进行迭代训练的过程中，每次迭代训练首先利用训练样本对网络参数的值进行更新，再对更新后的网络参数的值的数据量进行压缩，将压缩后的网络参数的值替换当前存储的网络参数的值进行存储。上述实施例的方法，通过多次迭代训练能够充分的对深度学习网络进行压缩。对网络参数的值的数据量进行压缩，相当于减少神经元之间的连通性，可以减少深度学习网络复杂度和过度拟合，减小复杂网络模型的体积，从而减少数据存储量，释放存储空间，减少深度学习网络对存储资源的占用。此外，由于网络参数的值的数据量减少，网络结构简化，可以提高深度学习网络训练和使用过程中的计算量，提高计算效率。
为了进一步减少深度学习网络占用的存储空间，提高计算效率，本公开还提供另一些实施例，下面结合图2进行描述。
图2为本公开数据处理方法另一些实施例的流程图。如图2所示，在步骤S110之后，该实施例的方法包括：步骤S202～S204。
在步骤S202中，根据当前存储的网络参数的值对网络参数进行聚类，得到一个或多个类。
聚类算法例如为K均值(K-means)聚类算法，不限于所举示例。
在步骤S204中，针对每一个类，将该类中的网络参数的值更新为对应的聚类中心的编码，以便对网络参数的值的数据量进行压缩。
在一些实施例中，根据聚类中心的个数确定编码位数；根据编码位数对各个聚类中心进行编码。例如，聚类中心个数为8个，则可以用3比特数据进行编码，每一个网络参数都采用3比特数据进行存储，相比于之前有大量的不同网络参数，需要使用至少32比特数据存储每一个网络参数，大大减少了存储空间的占用。也可以针对每一个类仅存储一个值，进一步减少存储空间的占用。
在一些实施例中，聚类过程可以通过至少一次聚类迭代过程完成。在每次聚类迭代过程中，根据各个网络参数到当前聚类中心的距离，确定各个网络参数所属的类，针对每个类，根据该类中各个网络参数到原点的距离以及各个网络参数的值更新当前聚类中心，直至满足收敛条件，则停止聚类过程，对聚类中心进行编码。
进一步，可以根据各个网络参数到原点的距离确定各个网络参数的权重，对各个网络参数的值进行加权确定当前的聚类中心的值。网络参数到原点的距离可以称作网络参数的幅值。幅值越大的网络参数对于深度学习网络的精度影响越大，因此，在聚类过程中参考网络参数的幅值，相对于直接对网络参数进行聚类，可以使压缩后的深度学习网络精确度更高。
例如，聚类算法的目标函数可以表示为以下公式。
其中，C表示聚类中心的值组成的向量(例如C为1xk的向量，k为聚类中心的个数)，A为分配矩阵，表示不同网络参数所属的类(一列中有且只有一个1，表示此列对应的网络参数属于对应的聚类中心，例如，A为kxn的矩阵，n表示网络参数的个数)，W为网络参数的值组成的向量(例如W为1xn的向量，n为网络参数的个数)。P＝γdiag(WTW)，γ为平衡因子，diag(WTW)表示取对角线元素(例如diag(WTW)为1xn的向量)。⊙表示按元素相乘的运算符。
在每次聚类迭代过程中，计算W中每个网络参数与当前C中各个聚类中心的距离来更新分配矩阵A，将网络参数划分至距离最近的聚类中心对应的类中。进一步，针对每个类，采用以下公式更新聚类中心的值。
其中，ci表示第i个类的聚类中心的值，i为正整数。Wi表示第i个类中的网络参数的值组成的向量。Pi表示第i个类中网络参数计算的权重向量，Pi＝γdiag(Wi TWi)。∑(Pi⊙Wi)表示将Pi和Wi中的对应的元素相乘再相加，∑Pi表示将Pi中的元素相加。
上述步骤S202～S204的方法可以单独应用，通过将网络参数分为多个类，在需要存储时仅存储类对应的值，同时还可以减少网络参数的编码长度，提高了深度学习网络占用的存储空间，提高计算效率。此外，在上述实施例的方法中，基于网络参数的幅值对网络参数进行聚类，对不同幅值的网络参数赋予不同的量化误差权重，以对大幅值的网络参数进行精细化量化，在保证网络准确率的同时，最大化压缩网络大小。
本公开的方法适用于任意深度学习网络。下面描述本公开的数据处理方法的一些应用例。
(1)获取训练样本图像，并对图像中的多个目标进行标注。
(2)对多目标识别模型的网络参数的值进行初始化。多目标识别模型例如为卷积神经网络(CNN)等模型，不限于所举示例。
(3)利用训练样本图像对网络参数的值进行更新。例如采用BP(反向传播)算法，对网络参数的值进行更新
(4)根据更新后的各个网络参数的值与阈值的比对结果，对网络参数的值的数据量进行压缩；
(5)将当前存储的网络参数的值，替换为压缩后的网络参数的值进行存储。
(6)判断是否达到迭代停止条件，如果是，则停止训练，否则执行步(7)。
(7)读取当前存储的网络参数的值，并返回步骤(3)重新开始执行。
(8)读取当前存储的网络参数的值，根据各个网络参数的值对网络参数进行聚类，得到一个或多个类。
可以根据各个网络参数的值以及各个网络参数到原点的距离，对网络参数进行聚类，得到一个或多个类。可以参考前述实施例的方法进行聚类。
(9)针对每一个类，将该类中的网络参数的值更新为对应的聚类中心的编码，进行存储。
步骤(8)和(9)可以按照上述顺序执行，可以单独执行，还可以选择不执行。
(10)读取当前存储的网络参数的值，将待识别的图像输入多目标识别模型，得到输出的待识别的图像中各个目标的位置和/或各个目标的类别。
本公开还提供一种数据处理装置，下面结合图3进行描述。
图3为本公开数据处理装置的一些实施例的结构图。如图3所示，该实施例的装置30包括：网络参数更新模块302，网络参数压缩模块304，网络参数存储模块306。
网络参数更新模块302，用于在对深度学习网络的每次迭代训练中，读取当前存储的深度学习网络的网络参数的值，利用训练样本对网络参数的值进行更新。深度学习网络利用利用训练样本进行至少一次迭代训练，直至满足迭代停止条件。
网络参数压缩模块304，用于在每次迭代训练中，根据更新后的各个网络参数的值与阈值的比对结果，对网络参数的值的数据量进行压缩。
在一些实施例中，网络参数压缩模块304，用于将更新后的各个网络参数值与阈值进行比对，将小于阈值的网络参数的值删除，或者将小于阈值的网络参数的值利用一个预设值表示。
在一些实施例中，阈值根据各个网络参数的值中的最大值和调整因子确定。
网络参数存储模块306，用于在每次迭代训练中，将当前存储的网络参数的值，替换为压缩后的网络参数的值进行存储.
本公开还提供数据处理装置的另一些实施例，下面结合图4进行描述。
图4为本公开数据处理装置的另一些实施例的结构图。如图4所示，该实施例的装置40包括：网络参数更新模块402，网络参数压缩模块404，网络参数存储模块406，分别与网络参数更新模块302，网络参数压缩模块304，网络参数存储模块306相同或相似。装置40还包括：聚类模块408，网络参数编码模块410。
聚类模块408，用于根据当前存储的网络参数的值对网络参数进行聚类，得到一个或多个类。
在一些实施例中，聚类模块408用于每次根据各个网络参数到当前聚类中心的距离，确定各个网络参数所属的类，针对每个类，根据该类中各个网络参数到原点的距离以及各个网络参数的值更新当前聚类中心，直至满足收敛条件。
网络参数编码模块410，用于针对每一个类，将该类中的网络参数的值更新为对应的聚类中心的编码，以便对网络参数的值的数据量进行压缩。
在一些实施例中，网络参数编码模块410用于根据聚类中心的个数确定编码位数，根据编码位数对各个聚类中心进行编码。
本公开的实施例中的数据处理装置可各由各种计算设备或计算机系统来实现，下面结合图5以及图6进行描述。
图5为本公开数据处理装置的一些实施例的结构图。如图5所示，该实施例的装置50包括：存储器510以及耦接至该存储器510的处理器520，处理器520被配置为基于存储在存储器510中的指令，执行本公开中任意一些实施例中的数据处理方法。
其中，存储器510例如可以包括系统存储器、固定非易失性存储介质等。系统存储器例如存储有操作系统、应用程序、引导装载程序(Boot Loader)、数据库以及其他程序等。
图6为本公开数据处理装置的另一些实施例的结构图。如图6所示，该实施例的装置60包括：存储器610以及处理器620，分别与存储器510以及处理器520类似。还可以包括输入输出接口630、网络接口640、存储接口650等。这些接口630，640，650以及存储器610和处理器620之间例如可以通过总线660连接。其中，输入输出接口630为显示器、鼠标、键盘、触摸屏等输入输出设备提供连接接口。网络接口640为各种联网设备提供连接接口，例如可以连接到数据库服务器或者云端存储服务器等。存储接口650为SD卡、U盘等外置存储设备提供连接接口。
本领域内的技术人员应当明白，本公开的实施例可提供为方法、系统、或计算机程序产品。因此，本公开可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本公开可采用在一个或多个其中包含有计算机可用程序代码的计算机可用非瞬时性存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本公开是参照根据本公开实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解为可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述仅为本公开的较佳实施例，并不用以限制本公开，凡在本公开的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本公开的保护范围之内。
Claims (14)
1.一种数据处理方法，包括：
利用训练样本对深度学习网络的至少一次迭代训练，直至满足迭代停止条件；
其中，在每次迭代训练中执行以下方法：
读取当前存储的所述深度学习网络的网络参数的值，利用训练样本对所述网络参数的值进行更新；
根据更新后的各个网络参数的值与阈值的比对结果，对所述网络参数的值的数据量进行压缩；
将当前存储的所述网络参数的值，替换为压缩后的所述网络参数的值进行存储。
2.根据权利要求1所述的数据处理方法，
所述根据更新后的各个网络参数的值与阈值的比对结果，对所述网络参数的值的数据量进行压缩包括：
将更新后的各个网络参数值与所述阈值进行比对，将小于阈值的网络参数的值删除，或者将小于阈值的网络参数的值利用一个预设值表示。
3.根据权利要求1所述的数据处理方法，其中，
所述阈值根据各个网络参数的值中的最大值和调整因子确定。
4.根据权利要求1所述的数据处理方法，还包括：
根据当前存储的所述网络参数的值对所述网络参数进行聚类，得到一个或多个类；
针对每一个类，将该类中的网络参数的值更新为对应的聚类中心的编码，以便对所述网络参数的值的数据量进行压缩。
5.根据权利要求4所述的数据处理方法，其中，
所述根据各个网络参数的值对所述网络参数进行聚类包括：
每次根据各个网络参数到当前聚类中心的距离，确定各个网络参数所属的类，针对每个类，根据该类中各个网络参数到原点的距离以及各个网络参数的值更新当前聚类中心，直至满足收敛条件。
6.根据权利要求4所述的数据处理方法，其中，
各个聚类中心的编码采用以下方法进行确定：
根据聚类中心的个数确定编码位数；
根据编码位数对各个聚类中心进行编码。
7.一种数据处理装置，包括：
网络参数更新模块，用于在对深度学习网络的每次迭代训练中，读取当前存储的所述深度学习网络的网络参数的值，利用训练样本对所述网络参数的值进行更新；
网络参数压缩模块，用于在每次迭代训练中，根据更新后的各个网络参数的值与阈值的比对结果，对所述网络参数的值的数据量进行压缩；
网络参数存储模块，用于在每次迭代训练中，将当前存储的所述网络参数的值，替换为压缩后的所述网络参数的值进行存储；
其中，所述深度学习网络利用利用训练样本进行至少一次迭代训练，直至满足迭代停止条件。
8.根据权利要求7所述的数据处理装置，其中，
所述网络参数压缩模块，用于将更新后的各个网络参数值与所述阈值进行比对，将小于阈值的网络参数的值删除，或者将小于阈值的网络参数的值利用一个预设值表示。
9.根据权利要求7所述的数据处理装置，其中，
所述阈值根据各个网络参数的值中的最大值和调整因子确定。
10.根据权利要求7所述的数据处理装置，还包括：
聚类模块，用于根据当前存储的所述网络参数的值对所述网络参数进行聚类，得到一个或多个类；
网络参数编码模块，用于针对每一个类，将该类中的网络参数的值更新为对应的聚类中心的编码，以便对所述网络参数的值的数据量进行压缩。
11.根据权利要求10所述的数据处理装置，其中，
所述聚类模块用于每次根据各个网络参数到当前聚类中心的距离，确定各个网络参数所属的类，针对每个类，根据该类中各个网络参数到原点的距离以及各个网络参数的值更新当前聚类中心，直至满足收敛条件。
12.根据权利要求10所述的数据处理装置，其中，
所述网络参数编码模块用于根据聚类中心的个数确定编码位数，根据编码位数对各个聚类中心进行编码。
13.一种数据处理装置，包括：
存储器；以及
耦接至所述存储器的处理器，所述处理器被配置为基于存储在所述存储器中的指令，执行如权利要求1-6任一项所述的数据处理方法。
14.一种计算机可读存储介质，其上存储有计算机程序，其中，该程序被处理器执行时实现权利要求1-6任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910443824.9A CN112001476A (zh) | 2019-05-27 | 2019-05-27 | 数据处理方法、装置和计算机可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910443824.9A CN112001476A (zh) | 2019-05-27 | 2019-05-27 | 数据处理方法、装置和计算机可读存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112001476A true CN112001476A (zh) | 2020-11-27 |
Family
ID=73461384
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910443824.9A Pending CN112001476A (zh) | 2019-05-27 | 2019-05-27 | 数据处理方法、装置和计算机可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112001476A (zh) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107967515A (zh) * | 2016-10-19 | 2018-04-27 | 三星电子株式会社 | 用于神经网络量化的方法和设备 |
| CN108229681A (zh) * | 2017-12-28 | 2018-06-29 | 郑州云海信息技术有限公司 | 一种神经网络模型压缩方法、系统、装置及可读存储介质 |
| CN108268950A (zh) * | 2018-01-16 | 2018-07-10 | 上海交通大学 | 基于矢量量化的迭代式神经网络量化方法及系统 |
-
2019
- 2019-05-27 CN CN201910443824.9A patent/CN112001476A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107967515A (zh) * | 2016-10-19 | 2018-04-27 | 三星电子株式会社 | 用于神经网络量化的方法和设备 |
| CN108229681A (zh) * | 2017-12-28 | 2018-06-29 | 郑州云海信息技术有限公司 | 一种神经网络模型压缩方法、系统、装置及可读存储介质 |
| CN108268950A (zh) * | 2018-01-16 | 2018-07-10 | 上海交通大学 | 基于矢量量化的迭代式神经网络量化方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112418292B (zh) | 一种图像质量评价的方法、装置、计算机设备及存储介质 | |
| CN110673840B (zh) | 一种基于标签图嵌入技术的自动代码生成方法及系统 | |
| CN110175628A (zh) | 一种基于自动搜索与知识蒸馏的神经网络剪枝的压缩算法 | |
| CN108334945B (zh) | 深度神经网络的加速与压缩方法及装置 | |
| CN111160191B (zh) | 一种视频关键帧提取方法、装置及存储介质 | |
| CN110728350B (zh) | 用于机器学习模型的量化 | |
| CN111105017A (zh) | 神经网络量化方法、装置及电子设备 | |
| CN113128478A (zh) | 模型训练方法、行人分析方法、装置、设备及存储介质 | |
| CN111767833A (zh) | 模型生成方法、装置、电子设备及存储介质 | |
| CN114341882A (zh) | 用于训练深度神经网络的无损指数和有损尾数权重压缩 | |
| CN116362325A (zh) | 一种基于模型压缩的电力图像识别模型轻量化应用方法 | |
| CN113962362A (zh) | 强化学习模型训练方法、决策方法、装置、设备及介质 | |
| CN109214515A (zh) | 一种深度神经网络推理方法及计算设备 | |
| CN113435521A (zh) | 神经网络模型训练方法、装置及计算机可读存储介质 | |
| CN113377964A (zh) | 知识图谱链接预测方法、装置、设备及存储介质 | |
| CN113343020B (zh) | 基于人工智能的图像处理方法、装置及电子设备 | |
| CN114781650A (zh) | 一种数据处理方法、装置、设备以及存储介质 | |
| CN114781654A (zh) | 联邦迁移学习方法、装置、计算机设备及介质 | |
| Huai et al. | Latency-constrained DNN architecture learning for edge systems using zerorized batch normalization | |
| CN114154392A (zh) | 基于区块链和联邦学习的模型共建方法、装置及设备 | |
| CN116431807B (zh) | 一种文本分类方法、装置、存储介质及电子装置 | |
| CN113642727A (zh) | 神经网络模型的训练方法和多媒体信息的处理方法、装置 | |
| CN113392867A (zh) | 一种图像识别方法、装置、计算机设备及存储介质 | |
| CN117351299A (zh) | 图像生成及模型训练方法、装置、设备和存储介质 | |
| CN111950712A (zh) | 模型网络参数处理方法、设备及可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |