CN108009638A - 一种神经网络模型的训练方法、电子设备及存储介质 - Google Patents

一种神经网络模型的训练方法、电子设备及存储介质 Download PDF

Info

Publication number
CN108009638A
CN108009638A CN201711184229.5A CN201711184229A CN108009638A CN 108009638 A CN108009638 A CN 108009638A CN 201711184229 A CN201711184229 A CN 201711184229A CN 108009638 A CN108009638 A CN 108009638A
Authority
CN
China
Prior art keywords
image
loss function
training
training pattern
class probability
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201711184229.5A
Other languages
English (en)
Inventor
徐鹏飞
赵瑞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Shenzhen Horizon Technology Co Ltd
Original Assignee
Shenzhen Shenzhen Horizon Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Shenzhen Horizon Technology Co Ltd filed Critical Shenzhen Shenzhen Horizon Technology Co Ltd
Priority to CN201711184229.5A priority Critical patent/CN108009638A/zh
Publication of CN108009638A publication Critical patent/CN108009638A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种神经网络模型的训练方法，包括：获取第一图像特征和第二图像特征；第一图像特征为图片A经过已经训练完成的模型所输出的图像特征，第二图像特征为图片A经过待训练模型所输出的图像特征；获取分类概率；分类概率为第二图像特征经过待训练模型的分类层所输出的分类概率；根据第一图像特征、第二图像特征及分类概率更新待训练模型的参数直到第二图像特征与所述第一图像特征相拟合。本发明还公开了一种电子设备及存储介质，本发明提供的神经网络模型的训练方法、电子设备及存储介质根据第一图像特征、第二图像特征及分类概率更新待训练模型的参数，训练得到一个与已经训练完成的大模型精度相当的小模型，保证了计算速度和计算精度。

Description

一种神经网络模型的训练方法、电子设备及存储介质
技术领域
本发明涉及模型训练领域，尤其涉及一种神经网络模型的训练方法、电子设备及存储介质。
背景技术
卷积神经网络包含多个卷积层、激活函数层及下采样层等，其局部采样和权重共享的特性使得可以得到平移不变特征，提取的特征远超传统手工设计的特征，大幅提高了识别、检测、分割等机器视觉任务的精度，同时相比于传统神经网络参数更少，易于训练。
随着技术发展，卷积神经网络的趋势是模型深度越深、精度越高，精度的提升使得很多视觉任务可以走向实用，同时也带来了巨大的计算量，模型越深需要的计算量就越大，部署时需大量硬件设备，成本高昂，同时在一些实时性要求高的应用上也不能满足需求。
为了节省成本，提高设备效率，针对CNN模型目前已有一些模型压缩的方法，比如模型剪枝、模型量化、权重共享等。模型剪枝是指训练好一个模型后，统计其各层参数的值，将绝对值小于阈值的参数去掉，从而达到减少参数，减少模型大小，加快计算速度的目的；模型量化是指将训练好的模型中的参数量化到低位表示，降低参数精度，减少硬件计算耗时；权重共享是指将模型中的参数聚类，使用聚类中心代替相近的参数。这几类方法是基本思路都是去除一部分模型参数，或者将参数降低精度来达到加速的效果，虽然可以在一定程度上加快计算速度，但是在一个已有的大模型基础上减少参数个数，或利用硬件特性计算低比特的数据，这是量变而非质变的方法，压缩之后的精度和速度都受到影响。
发明内容
为了克服现有技术的不足，本发明的目的之一在于提供一种神经网络模型的训练方法，以解决现有模型压缩技术影响计算速度和计算精度的问题。
本发明的目的之二在于提供一种电子设备，以解决现有模型压缩技术影响计算速度和计算精度的问题。
本发明的目的之一采用如下技术方案实现：
一种神经网络模型的训练方法，包括：
获取第一图像特征和第二图像特征；其中，所述第一图像特征为图片A经过已经训练完成的模型所输出的图像特征，所述第二图像特征为图片A经过待训练模型所输出的图像特征；
获取分类概率；其中，所述分类概率为所述第二图像特征经过所述待训练模型的分类层所输出的分类概率；
根据所述第一图像特征、所述第二图像特征及所述分类概率更新所述待训练模型的参数直到所述第二图像特征与所述第一图像特征相拟合。
进一步地，所述获取分类概率之前还包括：
将所述待训练模型的分类层的参数替换为所述已经训练完成的模型的分类层的参数。
进一步地，所述根据所述第一图像特征、所述第二图像特征及所述分类概率更新所述待训练模型的参数直到所述第二图像特征与所述第一图像特征相拟合包括：
根据所述第一图像特征和所述第二图像特征计算第一损失函数；
根据所述分类概率计算第二损失函数；
根据所述第一损失函数和所述第二损失函数更新所述待训练模型的参数。
进一步地，所述根据所述第一损失函数和所述第二损失函数更新所述待训练模型的参数包括：
根据所述第一损失函数和所述第二损失函数，利用链式法则和随机梯度下降算法更新所述待训练模型的参数。
进一步地，所述根据所述第一图像特征和所述第二图像特征计算第一损失函数包括：根据公式
计算第一损失函数，其中，L1为第一损失函数，X1i为第一图像特征，X2i为第二图像特征，i＝1......n，n为第二图像特征的数量。
进一步地，所述根据所述分类概率计算第二损失函数包括：根据公式L2＝-log(σj(z))计算第二损失函数，其中，L2为第二损失函数，σj(z)为每个分类的分类概率；
且其中，zj为每种分类的预测值，j＝1......m，m为所有分类的总数。
进一步地，所述待训练模型的特征对比层的维度与所述已经训练完成的模型的特征对比层的维度相同。
进一步地，所述待训练模型的特征对比层的维度为64维。
本发明的目的之二采用如下技术方案实现：
一种电子设备，包括：处理器；
存储器；以及程序，其中所述程序被存储在所述存储器中，并且被配置成由处理器执行，所述程序包括用于执行上述的方法。
本发明还涉及一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行上述的方法。
相比现有技术，本发明的有益效果在于：将相同的图片A分别经过已经训练完成的模型和待训练的模型得到第一图像特征和第二图像特征，将第二图像特征继续经过待训练的模型得到分类概率；根据第一图像特征、第二图像特征及分类概率更新待训练模型的参数直到第二图像特征与第一图像特征相拟合，从而训练得到一个与已经训练完成的大模型精度相当的小模型，保证了计算速度和计算精度。
附图说明
图1为本发明实施例一提供的神经网络模型的训练方法的流程图；
图2为本发明实施例一提供的神经网络模型的结构；
图3为本发明实施例二提供的神经网络模型的训练方法的流程图；
图4为本发明实施例提供的电子设备的示意图。
具体实施方式
下面，结合附图以及具体实施方式，对本发明做进一步描述，需要说明的是，在不相冲突的前提下，以下描述的各实施例之间或各技术特征之间可以任意组合形成新的实施例。
如图1所示，本发明实施例一提供的神经网络模型的训练方法，包括：
步骤S101：获取第一图像特征和第二图像特征；其中，所述第一图像特征为图片A经过已经训练完成的模型所输出的图像特征，所述第二图像特征为图片A经过待训练模型所输出的图像特征。
具体的，如图2所示，已经训练完成的模型基于卷积神经网络，模型的结构包括主干网络、特征对比层和分类层，其中，主干网络包括多个卷积层和多个池化层，主干网络用于提取图片的主要特征，特征对比层用于对主干网络提取的图片的主要特征进行线性变换，分类层用于根据经过线性变换的图像特征计算出预测类别的概率。训练的过程为：将样本图片和标注依次经过主干网络、特征对比层和分类层，设定损失函数计算模型的输出与预测结果的相似度，根据损失函数的值反向传播梯度，使用梯度下降算法优化模型参数，反复迭代，直至输出结果的准确率不再上升，模型即训练完成。主干网络提取图片的主要特征、基于卷积神经网络训练模型以及使用梯度下降算法优化模型参数均为现有技术，在此，不再赘述。本实施例的待训练模型是在已经训练完成的模型的基础上构建的，同样包括主干网络、特征对比层和分类层，相对于已经训练完成的模型，待训练的模型的主干网络的结构层数较少。将图片A经过已经训练完成的模型，依次向前传播至特征对比层输出第一图像特征，将相同的图片A经过待训练模型，依次向前传播至特征对比层输出第二图像特征。进一步地，为了保证参数的统一，提高训练的精度和效率，待训练模型的特征对比层的维度与已经训练完成的模型的特征对比层的维度相同。本实施例中已经训练完成的模型的特征对比层的维度为64维，待训练模型的特征对比层的维度同样为64维。
步骤S102：获取分类概率；其中，所述分类概率为所述第二图像特征经过所述待训练模型的分类层所输出的分类概率。
具体的，将经过待训练模型的特征对比层的第二图像特征继续向前传播至分类层，计算出所有分类结果的分类概率。
步骤S103：根据所述第一图像特征、所述第二图像特征及所述分类概率更新所述待训练模型的参数直到所述第二图像特征与所述第一图像特征相拟合。
该步骤包括：
步骤S1031：根据所述第一图像特征和所述第二图像特征计算第一损失函数。
具体的，根据公式
计算第一损失函数，其中，L1为第一损失函数，X1i为第一图像特征，X2i为第二图像特征，i＝1......n，n为第二图像特征的数量。
步骤S1032：根据所述分类概率计算第二损失函数；
具体的，根据公式L2＝-log(σj(z))计算第二损失函数，其中，L2为第二损失函数，σj(z)为每个分类的分类概率；
且其中，zj为每种分类的预测值，j＝1......m，m为所有分类的总数。
步骤S1033：根据所述第一损失函数和所述第二损失函数更新所述待训练模型的参数。
该步骤包括：
根据所述第一损失函数和所述第二损失函数，利用链式法则和随机梯度下降算法更新所述待训练模型的参数。
具体的，为第一损失函数和第二损失函数分别设置权重值计算综合损失函数，计算公式为：L＝αL1+βL2，其中，L为综合损失函数，α和β为两个权重值，其中权重值的比例可以为1:1，也可以根据实际需要设置其他比例，根据综合损失函数的值，利用链式法则在待训练模型上逐层反向传播梯度，使用随机梯度下降算法更新待训练模型的结构中各层的参数，例如改变卷积计算过程中的权值、特征对比层的系数等，直到经过待训练模型提取到的第二图像特征与经过已经训练完成的模型提取到的第一图像特征相拟合，第二损失函数的值不再下降时训练结束。其中，利用链式法则在待训练模型上逐层反向传播梯度，使用随机梯度下降算法更新待训练模型的参数为现有技术，在此不再赘述。
在本实施例的基础上，对训练好的小模型使用模型压缩技术进一步对其压缩，可以得到计算速度更快的小模型，也在本发明的保护范围内。
本实施例提供的神经网络训练方法的待训练模型的训练过程中，将已经训练完成的模型的冗余结构删除，训练过程中有已经训练完成的模型的特征做指导，直到待训练模型提取的第二图像特征达到与已经训练完成的模型提取的第一图像特征相仿的精度时训练结束。已经训练完成的模型为深度更深的大模型，使用大模型的特征作为训练目标，扩充了数据空间和分类标签，且减少了训练的复杂程度。相比于传统的训练方法，训练速度更快，且精度更高。
如图3所示，本发明实施例二提供的神经网络模型的训练方法，包括：
步骤S201：获取第一图像特征和第二图像特征；其中，所述第一图像特征为图片A经过已经训练完成的模型所输出的图像特征，所述第二图像特征为图片A经过待训练模型所输出的图像特征。
步骤S202：将所述待训练模型的分类层的参数替换为所述已经训练完成的模型的分类层的参数。
具体的，在第二图像特征向前传播之前，将已经训练完成的模型的分类层的参数复制到待训练模型的分类层中，以进一步提高模型训练的精度和速度。
步骤S203：获取分类概率；其中，所述分类概率为所述第二图像特征经过所述待训练模型的分类层所输出的分类概率。
步骤S204：根据所述第一图像特征、所述第二图像特征及所述分类概率更新所述待训练模型的参数直到所述第二图像特征与所述第一图像特征相拟合。
本实施例中的步骤S201和步骤S203-S204与实施例一中的步骤S101-S103相同，在此不再赘述。
本实施例提供的神经网络模型的训练方法，在已经训练完成的模型的基础上构建一个小模型，将相同的图片分别经过已经训练完成的模型和待训练模型分别提取出第一图像特征和第二图像特征，将第二图像特征继续向前传播得到分类概率，根据第一图像特征、第二图像特征及分类概率更新待训练模型的参数，直到经过待训练模型提取到的第二图像特征与经过已经训练完成的模型提取到的第一图像特征相拟合，第二损失函数的值不再下降时训练结束。从而得到一个和已经训练完成的大模型的精度相当的小模型，且不影响模型的精度。
如图4所示，本发明实施例提供的电子设备，包括：处理器11、存储器12以及程序，其中所述程序被存储在存储器12中，并且被配置成由处理器11执行，所述程序包括用于执行上述的方法。
本实施例中的电子设备与前述实施例中的方法是基于同一发明构思下的两个方面，在前面已经对方法实施过程作了详细的描述，所以本领域技术人员可根据前述描述清楚地了解本实施例中的电子设备的实施过程，为了说明书的简洁，在此就不再赘述。
通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本发明可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来。本发明还涉及一种计算机可读存储介质，如ROM/RAM、磁碟、光盘等，其上存储有计算机程序，计算机程序被处理器执行上述的方法。
本发明提供的神经网络模型的训练方法、电子设备及存储介质将相同的图片A分别经过已经训练完成的模型和待训练的模型得到第一图像特征和第二图像特征，将第二图像特征继续经过待训练的模型得到分类概率；根据第一图像特征、第二图像特征及分类概率更新待训练模型的参数直到第二图像特征与第一图像特征相拟合，从而训练得到一个与已经训练完成的大模型精度相当的小模型，保证了计算速度和计算精度。
上述实施方式仅为本发明的优选实施方式，不能以此来限定本发明保护的范围，本领域的技术人员在本发明的基础上所做的任何非实质性的变化及替换均属于本发明所要求保护的范围。

Claims (10)

1.一种神经网络模型的训练方法，其特征在于，包括：
获取第一图像特征和第二图像特征；其中，所述第一图像特征为图片A经过已经训练完成的模型所输出的图像特征，所述第二图像特征为图片A经过待训练模型所输出的图像特征；
获取分类概率；其中，所述分类概率为所述第二图像特征经过所述待训练模型的分类层所输出的分类概率；
根据所述第一图像特征、所述第二图像特征及所述分类概率更新所述待训练模型的参数直到所述第二图像特征与所述第一图像特征相拟合。
2.根据权利要求1所述的神经网络模型的训练方法，其特征在于，所述获取分类概率之前还包括：
将所述待训练模型的分类层的参数替换为所述已经训练完成的模型的分类层的参数。
3.根据权利要求2所述的神经网络模型的训练方法，其特征在于，所述根据所述第一图像特征、所述第二图像特征及所述分类概率更新所述待训练模型的参数直到所述第二图像特征与所述第一图像特征相拟合包括：
根据所述第一图像特征和所述第二图像特征计算第一损失函数；
根据所述分类概率计算第二损失函数；
根据所述第一损失函数和所述第二损失函数更新所述待训练模型的参数。
4.根据权利要求3所述的神经网络模型的训练方法，其特征在于，所述根据所述第一损失函数和所述第二损失函数更新所述待训练模型的参数包括：
根据所述第一损失函数和所述第二损失函数，利用链式法则和随机梯度下降算法更新所述待训练模型的参数。
5.根据权利要求3所述的神经网络模型的训练方法，其特征在于，所述根据所述第一图像特征和所述第二图像特征计算第一损失函数包括：根据公式
计算第一损失函数，其中，L1为第一损失函数，X1i为第一图像特征，X2i为第二图像特征，i＝1......n，n为第二图像特征的数量。
6.根据权利要求3所述的神经网络模型的训练方法，其特征在于，所述根据所述分类概率计算第二损失函数包括：根据公式L2＝-log(σj(z))计算第二损失函数，其中，L2为第二损失函数，σj(z)为每个分类的分类概率；
且其中，zj为每种分类的预测值，j＝1......m，m为所有分类的总数。
7.根据权利要求1所述的神经网络模型的训练方法，其特征在于，所述待训练模型的特征对比层的维度与所述已经训练完成的模型的特征对比层的维度相同。
8.根据权利要求7所述的神经网络模型的训练方法，其特征在于，所述待训练模型的特征对比层的维度为64维。
9.一种电子设备，其特征在于，包括：处理器；
存储器；以及程序，其中所述程序被存储在所述存储器中，并且被配置成由处理器执行，所述程序包括用于执行权利要求1-8任意一项所述的方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于：所述计算机程序被处理器执行如权利要求1-8任意一项所述的方法。
CN201711184229.5A 2017-11-23 2017-11-23 一种神经网络模型的训练方法、电子设备及存储介质 Pending CN108009638A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711184229.5A CN108009638A (zh) 2017-11-23 2017-11-23 一种神经网络模型的训练方法、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711184229.5A CN108009638A (zh) 2017-11-23 2017-11-23 一种神经网络模型的训练方法、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN108009638A true CN108009638A (zh) 2018-05-08

Family

ID=62053454

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711184229.5A Pending CN108009638A (zh) 2017-11-23 2017-11-23 一种神经网络模型的训练方法、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN108009638A (zh)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108875821A (zh) * 2018-06-08 2018-11-23 Oppo广东移动通信有限公司 分类模型的训练方法和装置、移动终端、可读存储介质
CN108960407A (zh) * 2018-06-05 2018-12-07 出门问问信息科技有限公司 递归神经网路语言模型训练方法、装置、设备及介质
CN109190760A (zh) * 2018-08-06 2019-01-11 北京市商汤科技开发有限公司 神经网络训练方法及装置和环境处理方法及装置
CN109598304A (zh) * 2018-12-04 2019-04-09 北京字节跳动网络技术有限公司 分类模型校准方法、装置、设备及可读介质
CN110135524A (zh) * 2019-05-29 2019-08-16 北京迈格威科技有限公司 自动化的模型训练方法、装置、设备及介质
CN110427466A (zh) * 2019-06-12 2019-11-08 阿里巴巴集团控股有限公司 用于问答匹配的神经网络模型的训练方法和装置
CN111062930A (zh) * 2019-12-20 2020-04-24 腾讯科技（深圳）有限公司 图像的选取方法、装置、存储介质和计算机设备
CN111402870A (zh) * 2019-01-02 2020-07-10 中国移动通信有限公司研究院 一种语音识别方法、装置及设备
CN111523640A (zh) * 2020-04-09 2020-08-11 北京百度网讯科技有限公司 神经网络模型的训练方法和装置
CN111553428A (zh) * 2020-04-30 2020-08-18 北京百度网讯科技有限公司 用于训练判别模型的方法、装置、设备及可读存储介质
CN112288032A (zh) * 2020-11-18 2021-01-29 上海依图网络科技有限公司 一种基于生成对抗网络的量化模型训练的方法及装置
WO2021077744A1 (zh) * 2019-10-25 2021-04-29 浪潮电子信息产业股份有限公司 一种图像分类方法、装置、设备及计算机可读存储介质
CN113139560A (zh) * 2020-01-17 2021-07-20 北京达佳互联信息技术有限公司 视频处理模型的训练方法和装置、视频处理方法和装置
CN113159269A (zh) * 2020-01-22 2021-07-23 华为技术有限公司 终端模型处理方法、装置及设备
CN114937179A (zh) * 2022-07-27 2022-08-23 深圳市海清视讯科技有限公司 垃圾图像分类方法、装置、电子设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130266214A1 (en) * 2012-04-06 2013-10-10 Brighham Young University Training an image processing neural network without human selection of features
CN104102919A (zh) * 2014-07-14 2014-10-15 同济大学 一种有效防止卷积神经网络过拟合的图像分类方法
CN107247989A (zh) * 2017-06-15 2017-10-13 北京图森未来科技有限公司 一种神经网络训练方法及装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130266214A1 (en) * 2012-04-06 2013-10-10 Brighham Young University Training an image processing neural network without human selection of features
CN104102919A (zh) * 2014-07-14 2014-10-15 同济大学 一种有效防止卷积神经网络过拟合的图像分类方法
CN107247989A (zh) * 2017-06-15 2017-10-13 北京图森未来科技有限公司 一种神经网络训练方法及装置

Cited By (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108960407B (zh) * 2018-06-05 2019-07-23 出门问问信息科技有限公司 递归神经网路语言模型训练方法、装置、设备及介质
CN108960407A (zh) * 2018-06-05 2018-12-07 出门问问信息科技有限公司 递归神经网路语言模型训练方法、装置、设备及介质
CN108875821A (zh) * 2018-06-08 2018-11-23 Oppo广东移动通信有限公司 分类模型的训练方法和装置、移动终端、可读存储介质
US11138478B2 (en) 2018-06-08 2021-10-05 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Method and apparatus for training, classification model, mobile terminal, and readable storage medium
CN109190760A (zh) * 2018-08-06 2019-01-11 北京市商汤科技开发有限公司 神经网络训练方法及装置和环境处理方法及装置
CN109190760B (zh) * 2018-08-06 2021-11-30 北京市商汤科技开发有限公司 神经网络训练方法及装置和环境处理方法及装置
CN109598304A (zh) * 2018-12-04 2019-04-09 北京字节跳动网络技术有限公司 分类模型校准方法、装置、设备及可读介质
CN109598304B (zh) * 2018-12-04 2019-11-08 北京字节跳动网络技术有限公司 分类模型校准方法、装置、设备及可读介质
CN111402870A (zh) * 2019-01-02 2020-07-10 中国移动通信有限公司研究院 一种语音识别方法、装置及设备
CN111402870B (zh) * 2019-01-02 2023-08-15 中国移动通信有限公司研究院 一种语音识别方法、装置及设备
CN110135524A (zh) * 2019-05-29 2019-08-16 北京迈格威科技有限公司 自动化的模型训练方法、装置、设备及介质
CN110427466B (zh) * 2019-06-12 2023-05-26 创新先进技术有限公司 用于问答匹配的神经网络模型的训练方法和装置
CN110427466A (zh) * 2019-06-12 2019-11-08 阿里巴巴集团控股有限公司 用于问答匹配的神经网络模型的训练方法和装置
WO2021077744A1 (zh) * 2019-10-25 2021-04-29 浪潮电子信息产业股份有限公司 一种图像分类方法、装置、设备及计算机可读存储介质
CN111062930A (zh) * 2019-12-20 2020-04-24 腾讯科技（深圳）有限公司 图像的选取方法、装置、存储介质和计算机设备
CN113139560B (zh) * 2020-01-17 2024-06-14 北京达佳互联信息技术有限公司 视频处理模型的训练方法和装置、视频处理方法和装置
CN113139560A (zh) * 2020-01-17 2021-07-20 北京达佳互联信息技术有限公司 视频处理模型的训练方法和装置、视频处理方法和装置
CN113159269A (zh) * 2020-01-22 2021-07-23 华为技术有限公司 终端模型处理方法、装置及设备
CN111523640B (zh) * 2020-04-09 2023-10-31 北京百度网讯科技有限公司 神经网络模型的训练方法和装置
CN111523640A (zh) * 2020-04-09 2020-08-11 北京百度网讯科技有限公司 神经网络模型的训练方法和装置
CN111553428A (zh) * 2020-04-30 2020-08-18 北京百度网讯科技有限公司 用于训练判别模型的方法、装置、设备及可读存储介质
CN111553428B (zh) * 2020-04-30 2024-01-12 北京百度网讯科技有限公司 用于训练判别模型的方法、装置、设备及可读存储介质
CN112288032A (zh) * 2020-11-18 2021-01-29 上海依图网络科技有限公司 一种基于生成对抗网络的量化模型训练的方法及装置
CN112288032B (zh) * 2020-11-18 2022-01-14 上海依图网络科技有限公司 一种基于生成对抗网络的量化模型训练的方法及装置
CN114937179B (zh) * 2022-07-27 2022-12-13 深圳市海清数字技术有限公司 垃圾图像分类方法、装置、电子设备及存储介质
CN114937179A (zh) * 2022-07-27 2022-08-23 深圳市海清视讯科技有限公司 垃圾图像分类方法、装置、电子设备及存储介质

Similar Documents

Publication Publication Date Title
CN108009638A (zh) 一种神经网络模型的训练方法、电子设备及存储介质
US11797855B2 (en) System and method of accelerating execution of a neural network
CN110175628A (zh) 一种基于自动搜索与知识蒸馏的神经网络剪枝的压缩算法
CN114937151A (zh) 基于多感受野和注意力特征金字塔的轻量级目标检测方法
CN106355248A (zh) 一种深度卷积神经网络训练方法及装置
CN113850824A (zh) 一种基于多尺度特征融合的遥感图像路网提取方法
CN107340993A (zh) 一种支持较少位数浮点数的神经网络运算的装置和方法
WO2020238237A1 (zh) 一种基于幂指数量化的神经网络压缩方法
CN107330446A (zh) 一种面向图像分类的深度卷积神经网络的优化方法
CN105488563A (zh) 面向深度学习的稀疏自适应神经网络、算法及实现装置
CN110321997A (zh) 高并行度计算平台、系统及计算实现方法
CN108510063A (zh) 一种应用于卷积神经网络的加速方法和加速器
CN106779057A (zh) 基于gpu的计算二值神经网络卷积的方法及装置
CN107292458A (zh) 一种应用于神经网络芯片的预测方法和预测装置
WO2024037393A1 (zh) 拓扑识别模型的压缩方法、装置、电子设备及介质
Pietron et al. Retrain or not retrain?-efficient pruning methods of deep cnn networks
CN111127360A (zh) 一种基于自动编码器的灰度图像迁移学习方法
CN113111889A (zh) 用于边缘计算端的目标检测网络处理方法
CN108376257B (zh) 一种燃气表不完整码字识别方法
CN107239532A (zh) 数据挖掘方法及装置
Qi et al. Learning low resource consumption cnn through pruning and quantization
CN113268370A (zh) 一种根因告警分析方法、系统、设备及存储介质
Ma et al. A survey of sparse-learning methods for deep neural networks
CN112766134B (zh) 一种强化类间区分的表情识别方法
CN108805280A (zh) 一种图像检索的方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
AD01 Patent right deemed abandoned

Effective date of abandoning: 20221101

AD01 Patent right deemed abandoned