CN111126456A - 神经网络模型的处理方法、装置、设备及存储介质 - Google Patents

神经网络模型的处理方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN111126456A
CN111126456A CN201911236884.XA CN201911236884A CN111126456A CN 111126456 A CN111126456 A CN 111126456A CN 201911236884 A CN201911236884 A CN 201911236884A CN 111126456 A CN111126456 A CN 111126456A
Authority
CN
China
Prior art keywords
neural network
network model
layer
accuracy
identification accuracy
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911236884.XA
Other languages
English (en)
Other versions
CN111126456B (zh
Inventor
王闻箫
赵帅
陈铭浩
胡津铭
蔡登�
刘海风
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Fabu Technology Co Ltd
Original Assignee
Hangzhou Fabu Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Fabu Technology Co Ltd filed Critical Hangzhou Fabu Technology Co Ltd
Priority to CN201911236884.XA priority Critical patent/CN111126456B/zh
Publication of CN111126456A publication Critical patent/CN111126456A/zh
Application granted granted Critical
Publication of CN111126456B publication Critical patent/CN111126456B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本申请实施例提供一种神经网络模型的处理方法、装置、设备及存储介质，通过获取预先训练获得的第一神经网络模型，所述第一神经网络模型用于图像识别；响应于第一样本图像输入到所述第一神经网络模型，分别基于所述第一神经网络模型中各层的输出进行图像识别处理，得到各层对应的识别准确率；基于所述第一神经网络模型中各层对应的识别准确率，确定各层对所述第一神经网络模型的识别准确率的提升幅度；从所述第一神经网络模型中删除提升幅度小于预设阈值的层，得到第二神经网络模型；基于第二样本图像对所述第二神经网络模型进行训练，得到目标神经网络模型。本申请实施例提供过的方案能够提升神经网络模型的图像识别速度。

Description

神经网络模型的处理方法、装置、设备及存储介质
技术领域
本申请实施例涉及计算机技术领域，尤其涉及神经网络模型的处理方法、装置、设备及存储介质。
背景技术
深度卷积神经网络是计算机视觉领域最重要的深度学习框架之一，它由多个卷积层和全连接层组成，目前准确率最高的图像识别算法，都使用了深度卷积神经网络。然而，深度卷积神经网络的运行需要消耗大量的计算资源，而大部分诸如手机等移动设备的计算资源都非常有限，因此如何降低深度卷积神经网络对计算资源的需求，使其能够应用到手机等移动设备中是当前需要解决的问题。
发明内容
本申请实施例提供一种神经网络模型的处理方法、装置、设备及存储介质，用以提升神经网络模型的图像识别速度，降低神经网络模型对计算资源的需求。
本申请实施例第一方面提供一种神经网络模型的处理方法，包括：
获取预先训练获得的第一神经网络模型，所述第一神经网络模型用于图像识别；响应于第一样本图像输入到所述第一神经网络模型，分别基于所述第一神经网络模型中各层的输出进行图像识别处理，得到各层对应的识别准确率；基于所述第一神经网络模型中各层对应的识别准确率，确定各层对所述第一神经网络模型的识别准确率的提升幅度；从所述第一神经网络模型中删除提升幅度小于预设阈值的层，得到第二神经网络模型；基于第二样本图像对所述第二神经网络模型进行训练，得到目标神经网络模型，使得所述目标神经网络模型可在计算机设备上执行图像识别处理。
在一种可能的实施方式中，所述基于所述第一神经网络模型中各层对应的识别准确率，确定各层对所述第一神经网络模型的识别准确率的提升幅度，包括：
基于所述第一神经网络模型中各层对应的识别准确率，生成所述第一神经网络模型中各层之间的准确率变化曲线；根据所述变化率曲线确定各层对所述第一神经网络模型的识别准确率的提升幅度。
在一种可能的实施方式中，所述基于所述第一神经网络模型中各层对应的识别准确率，确定各层对所述第一神经网络模型的识别准确率的提升幅度，包括：
计算所述第一神经网络模型中各层与前一层的识别准确率的差值，将各层对应的所述差值作为各层对所述第一神经网络模型的识别准确率的提升幅度。
在一种可能的实施方式中，所述从所述第一神经网络模型中删除提升幅度小于预设阈值的层，得到第二神经网络模型，包括：
当所述第一神经网络模型中对所述第一神经网络模型的识别准确率提升幅度小于预设阈值的层的数量大于预设数量时，从所述第一神经网络中删除所述预设数量的所述提升幅度小于预设阈值的层，得到第二神经网络模型。
本申请实施例第二方面提供一种神经网络模型的处理装置，包括：
获取模块，用于获取预先训练获得的第一神经网络模型，所述第一神经网络模型用于图像识别。
第一确定模块，用于响应于第一样本图像输入到所述第一神经网络模型，分别基于所述第一神经网络模型中各层的输出进行图像识别处理，得到各层对应的识别准确率。
第二确定模块，用于基于所述第一神经网络模型中各层对应的识别准确率，确定各层对所述第一神经网络模型的识别准确率的提升幅度。
层处理模块，用于从所述第一神经网络模型中删除提升幅度小于预设阈值的层，得到第二神经网络模型。
训练模块，用于基于第二样本图像对所述第二神经网络模型进行训练，得到目标神经网络模型，使得所述目标神经网络模型可在计算机设备上执行图像识别处理。
在一种可能的实施方式中，所述第二确定模块，包括：
生成子模块，用于基于所述第一神经网络模型中各层对应的识别准确率，生成所述第一神经网络模型中各层之间的准确率变化曲线。
确定子模块，用于根据所述变化率曲线确定各层对所述第一神经网络模型的识别准确率的提升幅度。
在一种可能的实施方式中，所述第二确定模块，包括：
所述第二确定模块，包括：
差值计算子模块，用于计算所述第一神经网络模型中各层与前一层的识别准确率的差值，将各层对应的所述差值作为各层对所述第一神经网络模型的识别准确率的提升幅度。
在一种可能的实施方式中，所述层处理模块，具体用于：
当所述第一神经网络模型中对所述第一神经网络模型的识别准确率提升幅度小于预设阈值的层的数量大于预设数量时，从所述第一神经网络中删除所述预设数量的所述提升幅度小于预设阈值的层，得到第二神经网络模型。
本申请实施例第三方面提供一种计算机设备，包括：
一个或多个处理器。
存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现上述第一方面所述的方法。
本申请实施例第四方面提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述第一方面所述的方法。
基于以上各方面，本申请实施例提供的神经网络模型的处理方法、装置、设备及存储介质，通过获取预先训练获得的第一神经网络模型，并在第一样本图像输入到第一神经网络模型后，基于第一神经网络模型各层的输出进行图像识别处理，得到各层对应的识别准确率，根据各层对应的识别准确率，确定各层对第一神经网络模型准确率的提升幅度，从而通过从第一神经网络模型中删除提升幅度小于预设阈值的层来对第一神经网络模型进行精简得到第二神经网络，通过对第二神经网络模型进行训练，使得第二神经网络模型达到与第一神经网络模型近似的准确率，从而在精简了第一神经网路模型层数，降低了神经网络模型对计算资源的需求的同时，保证了模型的识别准曲率。
应当理解，上述发明内容部分中所描述的内容并非旨在限定本申请的实施例的关键或重要特征，亦非用于限制本申请的范围。本公申请的其它特征将通过以下的描述变得容易理解。
附图说明
图1是本申请实施例提供的一种图片识别的场景示意图；
图2是本申请实施例提供的一种神经网络模型的处理方法的流程图；
图3是本申请实施例提供的神经网络模型处理过程的示意图；
图4是本申请实施例提供的一种准确率变化曲线的示意图；
图5是本申请实施例提供的一种神经网络模型的处理方法的示意图；
图6是本申请实施例提供的一种神经网络模型的处理装置的结构示意图。
具体实施方式
下面将参照附图更详细地描述本申请的实施例。虽然附图中显示了本申请的某些实施例，然而应当理解的是，本申请可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反提供这些实施例是为了更加透彻和完整地理解本申请。应当理解的是，本申请的附图及实施例仅用于示例性作用，并非用于限制本申请的保护范围。
本申请实施例的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请实施例例如能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
图1是本申请实施例提供的一种图片识别的场景示意图，在图1中，图像采集设备11用于采集图像，并将采集获得的图像发送给图像识别设备12(比如，自动驾驶车辆，无人机、移动终端等)，图像识别设备12中设置有训练收敛的神经网络模型，图像识别设备12在接收到图像采集设备发送的图像后，将该图像输入神经网络模型，由神经网络模型对图像中的物体进行识别，并输出识别结果，以使图像识别设备12根据识别结果执行相应的控制策略。但是现有的神经网络模型(比如，深度残差网络ResNet)包括非常多的网络层，每一网络层上又包括数量庞大的过滤器，图像需要逐层处理后才能最终得到识别结果，整个识别过程需要的计算资源非常庞大，处理速度较慢。
针对上述问题，相关技术提出了如下两种解决方案：
方案一，对各网络层中的过滤器进行剪枝处理，通过删除网络层中不重要的过滤器来减少神经网络模型的计算量，从而达到加速的目的。但是考虑到同一个网络层中不同的过滤器之间的运算是可以并行的，因此，过滤器级别的剪枝处理带来的实际加速效果总是小于其理论加速效果。举个例子：假如某个网络层有32个过滤器，设备每次可以同时对8个过滤器进行计算，每次计算的时间固定。那么，32个过滤器需要32/8＝4次计算完成。假设通过过滤器级别的剪枝处理将过滤器从32个减少到17个，理论上减少了(32-17)/32＝46.875％的计算量，但是完成17个过滤器的运算依然需要3次计算，其中前2次每次计算8个过滤器，最后1次计算1个过滤器。因此实际减少的运算时间只有(4-3)/4＝25％，小于46.875％。
方案二，对神经网络模型中的网络层进行剪枝处理，通过删除神经网络模型中不重要的层来减少神经网络模型的计算量。神经网络的不同层之间的计算只能串行执行，因此减少层数量(即做层级别的剪枝)带来的加速效果比减少过滤器要好。但是，现有技术通常是根据训练得到的各网络层的权值来判断各网络层的重要度，但是各网络层之间的权值大小差距很小，很难准确判断哪些网络层重要哪些网络层不重要，因而，实际当中常常存在将重要网络层删掉的情况。
针对相关技术存在的上述问题，本申请实施例提供了一种神经网络模型的处理方案，该方案通过对神经网络模型中各层的输出进行图像识别处理，得到各层对应的识别准确率，根据各层之间识别准确率的变化情况，确定各层对神经网络模型的准确率的提升幅度，通过删除提升幅度低的层来实现神经网络模型的精简，通过对精简后的模型进行训练保证精简后的模型的精度。由于本申请实施例能够根据各层的输出确定出各层对应的识别准确率，并根据各层之间识别准确率的变化情况确定出各层对模型准确率的提升幅度，因而可以根据各层对应的提升幅度准确判断出各层对模型的重要度，不会因为层重要度判断不准确而对精简后的模型的准确率造成严重影响。进一步的，由于本申请实施例删除掉的都是对模型准确率影响较小的层，因而模型精简后的准确率不回出现大幅下降的情况，通过较少次数的训练，就可以得到与原模型准确率近似且层数较少的模型，二次训练的工作量较小。
下面结合示例性的实施例对本申请实施例的技术方案进行描述。
示例的，图2是本申请实施例提供的一种神经网络模型的处理方法的流程图，如图2所示，该方法包括：
步骤201、获取预先训练获得的第一神经网络模型，所述第一神经网络模型用于图像识别。
其中，本实施例对于“第一神经网络模型”的命名，仅是为了将获取到的收敛模型与其他模型进行区分而不具有其他含义。第一神经网络模型可以是任意一种神经网络模型，比如ResNet，但不局限于ResNet。第一神经网络模型被训练于进行图像识别处理，比如，对图像中的人物，景物，图像种类等进行识别和分类。
步骤202、响应于第一样本图像输入到所述第一神经网络模型，分别基于所述第一神经网络模型中各层的输出进行图像识别处理，得到各层对应的识别准确率。
本实施例中第一样本图像为两个或两个以上的样本图像的统称。示例的，图3是本申请实施例提供的神经网络模型处理过程的示意图，如图3所示，样本图像在进入神经网络模型后，神经网络模型中各层网络对样本图像进行串行处理，前一层的输出的特征图为下一层的输入。为了确定每层网络对神经网络模型的重要度，首先可以先使用预先训练好的分类器分别对各层输出的特征图进行图像识别处理，得到基于各层输出的识别准确率或者可以简称为各层对应的识别准确率。进一步的在基于本实施例后面的方法确定各层对神经网络模型的重要度。
步骤203、基于所述第一神经网络模型中各层对应的识别准确率，确定各层对所述第一神经网络模型的识别准确率的提升幅度。
在本实施例中通过各层对第一神经网络模型的识别准确率的提升幅度来表示各层对第一神经网络模型的重要度，对于某一层来说，对第一神经网络模型的识别准确率的提升幅度越大，则对第一神经网络模型越重要，反之，对第一神经网络模型的识别准确率的提升幅度越小甚至是降低，则对第一神经网络模型越不重要。
示例的，为了更好理解本申请实施例的技术方案，下面结合两种示例性的方式来阐述如何基于第一神经网络模型中各层对应的识别准确率，确定各层对第一神经网络模型的识别准确率的提升幅度，但是本领域技术人员应该理解的是，在本领域发明构思下，除了本文中作为示例的两种方式外，其他可用于确定各层对第一神经网络模型的识别准确率的提升幅度的方式也在本申请的保护范围内：
在一种可行的实施方式中，可以基于第一神经网络模型中各层对应的识别准确率，生成第一神经网络模型中各层之间的准确率变化曲线；根据变化率曲线确定各层对第一神经网络模型的识别准确率的提升幅度。
示例的图4是本申请实施例提供的一种准确率变化曲线的示意图，在图4中，纵轴为识别准确率的百分数，横轴为第一神经网络模型的层数，通过将各层对应的识别准确率投影到该坐标系中，并对各层在坐标系中对应的点进行连线，即可得到第一神经网络模型中各层之间的准确率变化曲线。当然这里仅为示例说明而不是唯一限定。
在另一种可行的实施方式中，可以从神经网络模型的第二层开始，计算每一层与前一层的识别准确率的差值，将各层对应的差值作为各层对第一神经网络模型的识别准确率的提升幅度。
举例来说，假设ACCi为分类器基于第一神经网络模型中第i层的输出检测得到的识别准确率，ACCi-1为分类器基于第一神经网络模型中第i-1层的输出检测得到的识别准确率，则第i层对第一神经网络模型的识别准确率的提升幅度I，可以用如下表达式进行表示：
I＝ACCi-ACCi-1
当I为负值时，说明第i层对应的识别准确率相较于第i-1层有所降低。
步骤204、从所述第一神经网络模型中删除提升幅度小于预设阈值的层，得到第二神经网络模型。
其中，在一种可行的实施方式中，可以将确定得到的所有提升幅度小于预设阈值的层全部删掉，使得精简后的第二神经网络模型的层数达到最少，处理速度达到最大。
在另一种可行的实施方式中，在确定得到各层对第一神经网络模型的识别准确率的提升幅度之后，可以先对提升幅度小于预设阈值的层数进行判断，若提升幅度小于或等于预设阈值的层数小于预设数量，则可以将提升幅度小于预设阈值的层数全部删掉，若提升幅度小于预设阈值的层数大于预设数量，则可以从全部提升幅度小于预设阈值的层中删除预设数量的层，比如，按照由小到大的顺序对各层的提升幅度进行排序，将排序在最前面的预设数量的层删除。
由于删除的层数会对模型的准确率造成影响，删除的层数越多对模型的准确率造成的影响越大，因此，本实施例通过对预设数量进行设置，可以使得模型的速度与模型的准确率达到平衡。
步骤205、基于第二样本图像对所述第二神经网络模型进行训练，得到目标神经网络模型，使得所述目标神经网络模型可在计算机设备上执行图像识别处理。
其中，本实施例中所称的计算机设备是指所有具有图像识别功能的设备，比如自动驾驶车辆，无人机、手机等。
示例的，在一种可行的实施方式中，本实施例可以对第二神经网络模型的训练次数进行设置，使得第二神经网络模型只进行预设次数的训练，其中预设次数小于第一神经网络模型的训练次数。
由于本实施例从第一神经网络模型中删除的都是对第一神经网络模型不重要的层，删除后模型的准确率不会受到很大影响，因此，对第二神经网络模型进行较少次数的训练即可达到与第一神经网络模型相似的准确率，第二神经网络模型的训练量较小，效率较高。
本实施例，通过获取预先训练获得的第一神经网络模型，并在第一样本图像输入到第一神经网络模型后，基于第一神经网络模型各层的输出进行图像识别处理，得到各层对应的识别准确率，根据各层对应的识别准确率，确定各层对第一神经网络模型准确率的提升幅度，从而通过从第一神经网络模型中删除提升幅度小于预设阈值的层来对第一神经网络模型进行精简得到第二神经网络，通过对第二神经网络模型进行训练，使得第二神经网络模型达到与第一神经网络模型近似的准确率，从而在精简了第一神经网路模型层数，降低了神经网络模型对计算资源的需求的同时，保证了模型的识别准曲率。
图5是本申请实施例提供的一种神经网络模型的处理方法的示意图，在图5中，超大卷积神经网络是指包含的网络层数超过预设阈值的卷积神经网络，高速卷积神经网络是指从超大卷积神经网络中删除一个或多个网层后得到的卷积神经网络。具体的，在超大卷积网络输入神经网络加速系统之后，神经网络加速系统通过线性分类器分别对超大卷积网络中各层输出的特征图进行图像识别处理，得到各层对应的识别准确率，进一步的，神经网络加速系统基于各层对应的识别准确率判断各层对超大卷积网络准确率的提升幅度，提升幅度越大层的重要度越大，提升幅度越小层的重要度越小，通过删除超大卷积网络中不重要即提升幅度小于预设阈值的层来精简模型，其中，由于层的删除会影响模型的准确率，删除的越多对准确率的影响越大，甚至会出现无法恢复模型准确率或者仅有通过大量训练才能恢复模型准确率的问题，因此，在图5所示的场景中神经网路加速系统，每次只从超大卷积网络中删除预先设定的数量较少的层数，并在删除预设数量的层数后，通过对模型进行预设次数的训练来对模型的参数进行微调，使得模型恢复到删除层前的准确率，在此之后神经网络加速系统循环执行上述过程，直到删除的层数达到预设数量，或者达到预设的处理速度为止。
本实施例通过循环执行重要度评估、层删除，模型训练等过程，能够在提高模型速度的同时，通过较少的训练次数恢复模型的准确率。
图6是本申请实施例提供的一种神经网络模型的处理装置的结构示意图，如图6所示，装置60包括：
获取模块61，用于获取预先训练获得的第一神经网络模型，所述第一神经网络模型用于图像识别；
第一确定模块62，用于响应于第一样本图像输入到所述第一神经网络模型，分别基于所述第一神经网络模型中各层的输出进行图像识别处理，得到各层对应的识别准确率；
第二确定模块63，用于基于所述第一神经网络模型中各层对应的识别准确率，确定各层对所述第一神经网络模型的识别准确率的提升幅度；
层处理模块64，用于从所述第一神经网络模型中删除提升幅度小于预设阈值的层，得到第二神经网络模型；
训练模块65，用于基于第二样本图像对所述第二神经网络模型进行训练，得到目标神经网络模型，使得所述目标神经网络模型可在计算机设备上执行图像识别处理。
在一种可能的实施方式中，所述第二确定模块，包括：
生成子模块，用于基于所述第一神经网络模型中各层对应的识别准确率，生成所述第一神经网络模型中各层之间的准确率变化曲线。
确定子模块，用于根据所述变化率曲线确定各层对所述第一神经网络模型的识别准确率的提升幅度。
在一种可能的实施方式中，所述第二确定模块，包括：
所述第二确定模块，包括：
差值计算子模块，用于计算所述第一神经网络模型中各层与前一层的识别准确率的差值，将各层对应的所述差值作为各层对所述第一神经网络模型的识别准确率的提升幅度。
在一种可能的实施方式中，所述层处理模块，具体用于：
当所述第一神经网络模型中对所述第一神经网络模型的识别准确率提升幅度小于预设阈值的层的数量大于预设数量时，从所述第一神经网络中删除所述预设数量的所述提升幅度小于预设阈值的层，得到第二神经网络模型。
本实施例提供的装置能够执行上述实施例的方法，其执行方式和有益效果类似，在这里不再赘述。
本申请实施例还提供的一种计算机设备，该计算机设备包括移动终端、自动驾驶车辆，无人机等。具体的该计算机设备包括一个或多个处理器。
存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现上述实施例所述的方法。
本申请实施例还提供在一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述任一实施例所示的方法，其执行方式和有益效果类似，在这里不再赘述。
本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如，非限制性地，可以使用的示范类型的硬件逻辑部件包括：场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)等等。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
此外，虽然采用特定次序描绘了各操作，但是这应当理解为要求这样操作以所示出的特定次序或以顺序次序执行，或者要求所有图示的操作应被执行以取得期望的结果。在一定环境下，多任务和并行处理可能是有利的。同样地，虽然在上面论述中包含了若干具体实现细节，但是这些不应当被解释为对本公开的范围的限制。在单独的实施例的上下文中描述的某些特征还可以组合地实现在单个实现中。相反地，在单个实现的上下文中描述的各种特征也可以单独地或以任何合适的子组合的方式实现在多个实现中。
尽管已经采用特定于结构特征和/或方法逻辑动作的语言描述了本主题，但是应当理解所附权利要求书中所限定的主题未必局限于上面描述的特定特征或动作。相反，上面所描述的特定特征和动作仅仅是实现权利要求书的示例形式。

Claims (10)

1.一种神经网络模型的处理方法，其特征在于，包括：
获取预先训练获得的第一神经网络模型，所述第一神经网络模型用于图像识别；
响应于第一样本图像输入到所述第一神经网络模型，分别基于所述第一神经网络模型中各层的输出进行图像识别处理，得到各层对应的识别准确率；
基于所述第一神经网络模型中各层对应的识别准确率，确定各层对所述第一神经网络模型的识别准确率的提升幅度；
从所述第一神经网络模型中删除提升幅度小于预设阈值的层，得到第二神经网络模型；
基于第二样本图像对所述第二神经网络模型进行训练，得到目标神经网络模型，使得所述目标神经网络模型可在计算机设备上执行图像识别处理。
2.根据权利要求1所述的方法，其特征在于，所述基于所述第一神经网络模型中各层对应的识别准确率，确定各层对所述第一神经网络模型的识别准确率的提升幅度，包括：
基于所述第一神经网络模型中各层对应的识别准确率，生成所述第一神经网络模型中各层之间的准确率变化曲线；
根据所述变化率曲线确定各层对所述第一神经网络模型的识别准确率的提升幅度。
3.根据权利要求1所述的方法，其特征在于，所述基于所述第一神经网络模型中各层对应的识别准确率，确定各层对所述第一神经网络模型的识别准确率的提升幅度，包括：
计算所述第一神经网络模型中各层与前一层的识别准确率的差值，将各层对应的所述差值作为各层对所述第一神经网络模型的识别准确率的提升幅度。
4.根据权利要求1-3中任一项所述的方法，其特征在于，所述从所述第一神经网络模型中删除提升幅度小于预设阈值的层，得到第二神经网络模型，包括：
当所述第一神经网络模型中对所述第一神经网络模型的识别准确率提升幅度小于预设阈值的层的数量大于预设数量时，从所述第一神经网络中删除所述预设数量的所述提升幅度小于预设阈值的层，得到第二神经网络模型。
5.一种神经网络模型的处理装置，其特征在于，包括：
获取模块，用于获取预先训练获得的第一神经网络模型，所述第一神经网络模型用于图像识别；
第一确定模块，用于响应于第一样本图像输入到所述第一神经网络模型，分别基于所述第一神经网络模型中各层的输出进行图像识别处理，得到各层对应的识别准确率；
第二确定模块，用于基于所述第一神经网络模型中各层对应的识别准确率，确定各层对所述第一神经网络模型的识别准确率的提升幅度；
层处理模块，用于从所述第一神经网络模型中删除提升幅度小于预设阈值的层，得到第二神经网络模型；
训练模块，用于基于第二样本图像对所述第二神经网络模型进行训练，得到目标神经网络模型，使得所述目标神经网络模型可在计算机设备上执行图像识别处理。
6.根据权利要求5所述的装置，其特征在于，所述第二确定模块，包括：
生成子模块，用于基于所述第一神经网络模型中各层对应的识别准确率，生成所述第一神经网络模型中各层之间的准确率变化曲线；
确定子模块，用于根据所述变化率曲线确定各层对所述第一神经网络模型的识别准确率的提升幅度。
7.根据权利要求5所述的装置，其特征在于，所述第二确定模块，包括：
差值计算子模块，用于计算所述第一神经网络模型中各层与前一层的识别准确率的差值，将各层对应的所述差值作为各层对所述第一神经网络模型的识别准确率的提升幅度。
8.根据权利要求5-7中任一项所述的装置，其特征在于，所述层处理模块，具体用于：
当所述第一神经网络模型中对所述第一神经网络模型的识别准确率提升幅度小于预设阈值的层的数量大于预设数量时，从所述第一神经网络中删除所述预设数量的所述提升幅度小于预设阈值的层，得到第二神经网络模型。
9.一种计算机设备，其特征在于，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-4中任一项所述的方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-4中任一项所述的方法。
CN201911236884.XA 2019-12-05 2019-12-05 神经网络模型的处理方法、装置、设备及存储介质 Active CN111126456B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911236884.XA CN111126456B (zh) 2019-12-05 2019-12-05 神经网络模型的处理方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911236884.XA CN111126456B (zh) 2019-12-05 2019-12-05 神经网络模型的处理方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN111126456A true CN111126456A (zh) 2020-05-08
CN111126456B CN111126456B (zh) 2023-06-23

Family

ID=70497668

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911236884.XA Active CN111126456B (zh) 2019-12-05 2019-12-05 神经网络模型的处理方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN111126456B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111831355A (zh) * 2020-07-09 2020-10-27 北京灵汐科技有限公司 权重精度配置方法、装置、设备及存储介质
CN112632309A (zh) * 2020-12-15 2021-04-09 北京百度网讯科技有限公司 图像展示方法、装置、电子设备和存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109671020A (zh) * 2018-12-17 2019-04-23 北京旷视科技有限公司 图像处理方法、装置、电子设备和计算机存储介质
CN110033083A (zh) * 2019-03-29 2019-07-19 腾讯科技（深圳）有限公司 卷积神经网络模型压缩方法和装置、存储介质及电子装置
CN110263628A (zh) * 2019-05-09 2019-09-20 杭州飞步科技有限公司 障碍物检测方法、装置、电子设备以及存储介质
CN110288049A (zh) * 2019-07-02 2019-09-27 北京字节跳动网络技术有限公司 用于生成图像识别模型的方法和装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109671020A (zh) * 2018-12-17 2019-04-23 北京旷视科技有限公司 图像处理方法、装置、电子设备和计算机存储介质
CN110033083A (zh) * 2019-03-29 2019-07-19 腾讯科技（深圳）有限公司 卷积神经网络模型压缩方法和装置、存储介质及电子装置
CN110263628A (zh) * 2019-05-09 2019-09-20 杭州飞步科技有限公司 障碍物检测方法、装置、电子设备以及存储介质
CN110288049A (zh) * 2019-07-02 2019-09-27 北京字节跳动网络技术有限公司 用于生成图像识别模型的方法和装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111831355A (zh) * 2020-07-09 2020-10-27 北京灵汐科技有限公司 权重精度配置方法、装置、设备及存储介质
CN111831355B (zh) * 2020-07-09 2023-05-16 北京灵汐科技有限公司 权重精度配置方法、装置、设备及存储介质
CN112632309A (zh) * 2020-12-15 2021-04-09 北京百度网讯科技有限公司 图像展示方法、装置、电子设备和存储介质
CN112632309B (zh) * 2020-12-15 2022-10-04 北京百度网讯科技有限公司 图像展示方法、装置、电子设备和存储介质

Also Published As

Publication number Publication date
CN111126456B (zh) 2023-06-23

Similar Documents

Publication Publication Date Title
CN108846826B (zh) 物体检测方法、装置、图像处理设备及存储介质
WO2019051941A1 (zh) 车型识别方法、装置、设备及计算机可读存储介质
WO2018112783A1 (zh) 图像识别方法及装置
CN109159113B (zh) 一种基于视觉推理的机器人作业方法
CN109947940B (zh) 文本分类方法、装置、终端及存储介质
CN109284779A (zh) 基于深度全卷积网络的物体检测方法
CN113642431A (zh) 目标检测模型的训练方法及装置、电子设备和存储介质
CN110705573A (zh) 一种目标检测模型的自动建模方法及装置
CN114186632A (zh) 关键点检测模型的训练方法、装置、设备、存储介质
CN114580263A (zh) 基于知识图谱的信息系统故障预测方法及相关设备
CN111126456B (zh) 神经网络模型的处理方法、装置、设备及存储介质
CN109117746A (zh) 手部检测方法及机器可读存储介质
CN113361710A (zh) 学生模型训练方法、图片处理方法、装置及电子设备
CN111126358A (zh) 人脸检测方法、装置、存储介质及设备
CN109978058B (zh) 确定图像分类的方法、装置、终端及存储介质
CN105354228A (zh) 相似图搜索方法及装置
CN115249281B (zh) 图像遮挡和模型训练方法、装置、设备以及存储介质
CN112950652B (zh) 机器人及其手部图像分割方法和装置
CN110705695B (zh) 搜索模型结构的方法、装置、设备和存储介质
CN109359544B (zh) 一种人像检索方法及装置
CN112861689A (zh) 一种基于nas技术的坐标识别模型的搜索方法及装置
CN111967579A (zh) 使用卷积神经网络对图像进行卷积计算的方法和装置
CN110969210A (zh) 一种小慢目标的识别分类方法、装置、设备及存储介质
CN113793604B (zh) 语音识别系统优化方法和装置
CN117710755B (zh) 一种基于深度学习的车辆属性识别系统及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant