CN110276452A - 神经网络模型的剪枝方法、装置、设备和人工智能芯片 - Google Patents
神经网络模型的剪枝方法、装置、设备和人工智能芯片 Download PDFInfo
- Publication number
- CN110276452A CN110276452A CN201910584232.9A CN201910584232A CN110276452A CN 110276452 A CN110276452 A CN 110276452A CN 201910584232 A CN201910584232 A CN 201910584232A CN 110276452 A CN110276452 A CN 110276452A
- Authority
- CN
- China
- Prior art keywords
- network model
- pruning
- layer
- power consumption
- neural network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000013138 pruning Methods 0.000 title claims abstract description 211
- 238000000034 method Methods 0.000 title claims abstract description 77
- 238000003062 neural network model Methods 0.000 title claims abstract description 67
- 238000013473 artificial intelligence Methods 0.000 title claims abstract description 15
- 210000005036 nerve Anatomy 0.000 claims abstract description 60
- 238000004458 analytical method Methods 0.000 claims abstract description 21
- 238000004364 calculation method Methods 0.000 claims description 9
- 230000035945 sensitivity Effects 0.000 claims description 7
- 238000013528 artificial neural network Methods 0.000 claims description 6
- 238000012545 processing Methods 0.000 claims description 6
- 238000013527 convolutional neural network Methods 0.000 claims description 5
- 230000000306 recurrent effect Effects 0.000 claims description 5
- 238000004590 computer program Methods 0.000 claims description 4
- 230000008569 process Effects 0.000 abstract description 16
- 238000012549 training Methods 0.000 abstract description 12
- 238000010586 diagram Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 5
- 238000005259 measurement Methods 0.000 description 4
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 210000004218 nerve net Anatomy 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
Abstract
本发明实施例提供了一种神经网络模型的剪枝方法、装置、设备和人工智能芯片。神经网络模型的剪枝方法包括：获取对第一神经网络模型中的多个层进行训练过程中逐层分析时每层所使用的第一功耗；根据第一功耗分别制定每层对应的第一剪枝策略；根据第一剪枝策略对第一神经网络模型中的每层选择性地进行剪枝以获得剪枝完成的第二神经网络模型，从而有效减少神经网络模型训练过程中的功耗。
Description
技术领域
本发明涉及神经网络模型的技术领域，特别涉及一种神经网络模型的剪枝方法、装置、设备和人工智能芯片。
背景技术
随着神经网络不断地变深，其网络规模及复杂程度都在不断地变大，同时也会使得网络参数的数量变得越来越多，运算的过程变得越来越复杂，因而导致网络运行所占用的运算资源越来越大，所需的运算时间也越来越多，运算所需要的硬件资源(内存、CPU等)也越来越高，然而这并不利于神经网络在移动和嵌入式等资源受限型设备上的部署。
为了降低运算和存储成本，目前已有许多研究者对神经网络模型进行压缩与加速的研究，参数剪枝则是其中的一种方法。然而，目前现有的参数剪枝方法大多基于通道对神经网络模型进行剪枝，这样并不能保证剪枝后，系统的功耗能够最大化降低。
发明内容
有鉴于此，本发明实施例为解决上述问题提供了一种神经网络模型的剪枝方法、装置、设备和人工智能芯片，有效减少了神经网络模型训练过程中的功耗。
本发明实施例的第一方面提供一种神经网络模型的剪枝方法，该方法包括：获取对第一神经网络模型中的多个层进行训练过程中逐层分析时每层所使用的第一功耗；根据第一功耗分别制定每层对应的第一剪枝策略；根据第一剪枝策略对第一神经网络模型中的每层选择性地进行剪枝以获得剪枝完成的第二神经网络模型。
本发明一实施例中，上述根据第一功耗分别制定每层对应的第一剪枝策略，包括：当第一神经网络模型的多个层中的第一层的第一功耗大于预设阈值时，第一层对应的第一剪枝策略为对第一层进行剪枝，当多个层中的第一层的第一功耗小于或等于预设阈值时，第一层对应的第一剪枝策略为不对第一层进行剪枝。
本发明一实施例中，上述根据第一剪枝策略对第一神经网络模型中的每层选择性地进行剪枝以获得剪枝完成的第二神经网络模型，包括：根据第一剪枝策略对第一神经网络模型中的每层采用权衰减法、灵敏度计算方法或相关性剪枝方法选择性地进行剪枝以获得剪枝完成的第二神经网络模型。
本发明一实施例中，该神经网络模型的剪枝方法还包括：对第二神经网络模型进行再训练；获取对第二神经网络模型中的多个层进行训练过程中逐层分析时每层所使用的第二功耗；判断每层所使用的第二功耗是否均小于或等于预设阈值；当每层所使用的第二功耗中存在至少一层的第二功耗大于预设阈值时，根据第二功耗分别制定每层对应的第二剪枝策略，并根据第二剪枝策略对第二神经网络模型中的每层选择性地进行剪枝以获得剪枝完成的第三神经网络模型；当每层所使用的第二功耗均小于或等于预设阈值时，结束再训练以获得目标神经网络模型。
本发明一实施例中，在对第二神经网络模型进行再训练之前，该神经网络模型的剪枝方法还包括：设置最大迭代次数；判断再训练的次数是否大于最大迭代次数；当再训练的次数大于最大迭代次数时，结束再训练以获得目标神经网络模型。
本发明一实施例中，第一神经网络模型包括卷积神经网络模型、循环神经网络模型或深层神经网络模型。
本发明实施例的第二方面提供一种神经网络模型的剪枝装置，包括：获取模块，用于获取对第一神经网络模型中的多个层进行训练过程中逐层分析时每层所使用的第一功耗；制定模块，用于根据第一功耗分别制定每层对应的第一剪枝策略；剪枝模块，用于根据第一剪枝策略对第一神经网络模型中的每层选择性地进行剪枝以获得剪枝完成的第二神经网络模型。
本发明实施例的第三方面提供一种人工智能芯片，该人工智能芯片上执行有通过如本发明实施例的第一方面中的任一项所述的神经网络模型的剪枝方法而获得的神经网络模型。
本发明实施例的第四方面提供一种神经网络模型的剪枝设备，包括：存储器，用于存储计算机程序；处理组件，用于执行计算机程序时实现如本发明实施例的第一方面中任一项所述的神经网络模型的剪枝方法。
本发明实施例的第五方面提供一种计算机可读存储介质，其上存储有计算机可执行指令，可执行指令被处理器执行时实现如本发明实施例的第一方面中任一项所述的神经网络模型的剪枝方法。
根据本发明实施例提供的技术方案，通过获取对第一神经网络模型中的多个层进行训练过程中逐层分析时每层所使用的第一功耗；根据第一功耗分别制定每层对应的第一剪枝策略；根据第一剪枝策略对第一神经网络模型中的每层选择性地进行剪枝以获得剪枝完成的第二神经网络模型，从而有效减少神经网络模型训练过程中的功耗。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1所示为本发明一实施例提供的一种神经网络模型的剪枝方法的流程示意图。
图2所示为本发明另一实施例提供的一种神经网络模型的剪枝方法的流程示意图。
图3所示为本发明一实施例提供的一种神经网络模型的剪枝装置的结构示意图。
图4所示为本发明一实施例提供的一种人工智能芯片的结构示意图。
图5所示为本发明一实施例提供的一种神经网络模型的剪枝设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有相关实施例，都属于本发明保护的范围。
还需要说明的是，本发明实施例中的“第一”、“第二”、“第三”等仅仅是为了彼此之间相互区分，并不用于限定具有固定的顺序，也不用于限定具有固定的数量。
本发明实施例中提供了一种神经网络模型的剪枝方法、装置、设备和人工智能芯片，以下分别进行详细说明。
图1所示为本发明一实施例提供的一种神经网络模型的剪枝方法的流程示意图。该剪枝方法可以由服务器执行。该剪枝方法包括以下步骤。
S110：获取对第一神经网络模型中的多个层进行训练过程中逐层分析时每层所使用的第一功耗。
具体而言，第一神经网络模型进行训练过程中，对第一神经网络模型中的多个层进行逐层分析，服务器获取进行逐层分析时每层所使用的第一功耗。
服务器可直接通过读取检测功耗的设备中检测到的功耗从而获取到每层所使用的第一功耗；服务器也可直接计算从而获取到每层所使用的第一功耗，本发明实施例对服务器如何获取到每层所使用的第一功耗的方式不做具体限定。
第一功耗可以是通过primeTime-PX进行功耗分析得来的，也可以是通过功耗测量仪器如智能插座表等测量得来的，本发明实施例对第一功耗的检测方法不做具体限定。
每层所使用的第一功耗可以相同，也可以不同，本发明实施例对多个层中每层所使用的第一功耗是否相同不做具体限定
S120：根据第一功耗分别制定每层对应的第一剪枝策略。
具体而言，服务器根据每层所使用的第一功耗分别制定每层对应的第一剪枝策略。
每层对应的第一剪枝策略可以为对该层进行剪枝，也可以为不对该层进行剪枝，本发明实施例对每层对应的第一剪枝策略的具体内容不做具体限定。
S130：根据第一剪枝策略对第一神经网络模型中的每层选择性地进行剪枝以获得剪枝完成的第二神经网络模型。
具体而言，服务器分别根据每层对应的第一剪枝策略对第一神经网络模型中的每层实施第一剪枝策略，第一剪枝策略可以为对某一层进行剪枝，也可以为对另一层不进行剪枝，从而对每层进行选择性地剪枝，最终获得剪枝完成的第二神经网络模型。在一些实施例中，设置一个预设阈值，当多个层中的某一层所使用的第一功耗大于预设阈值时，服务器制定这一层对应的第一剪枝策略为对这一层进行剪枝，而当多个层中的某一层所使用的第一功耗小于或等于预设阈值时，服务器制定这一层对应的第一剪枝策略为不对这一层进行剪枝；在另一些实施例中，每层对应的设置一个预设阈值，当某一层所使用的第一功耗大于这一层对应设置的预设阈值时，服务器制定这一层对应的第一剪枝策略为对这一层进行剪枝，当某一层所使用的第一功耗小于或等于这一层对应设置的预设阈值时，服务器制定这一层对应的第一剪枝策略为不对这一层进行剪枝。本发明实施例对服务器根据第一功耗分别制定每层对应的第一剪枝策略的方式不做具体限定。
剪枝的对象可以为节点，也可以为权重；剪枝的方式可以为权衰减法，也可以为灵敏度计算方法，还可以为其他方法如相关性剪枝方法或移除滤波器等，本发明实施例对剪枝的对象和剪枝的方式不做具体限定。
根据本发明实施例提供的技术方案，通过获取对第一神经网络模型中的多个层进行训练过程中逐层分析时每层所使用的第一功耗；根据第一功耗分别制定每层对应的第一剪枝策略；根据第一剪枝策略对第一神经网络模型中的每层选择性地进行剪枝以获得剪枝完成的第二神经网络模型，从而实现减少每层所使用的第一功耗，进而减少神经网络模型训练过程中的功耗，且保证剪枝后神经网络模型的功耗能够最大化地降低。
图2所示为本发明另一实施例提供的一种神经网络模型的剪枝方法的流程示意图。图2是图1实施例的变型例。具体地，除包括图1实施例中的步骤S110、S120和S130外，该方法还包括如下步骤。
S210：对第二神经网络模型进行再训练。
S220：获取对第二神经网络模型中的多个层进行训练过程中逐层分析时每层所使用的第二功耗。
服务器可直接通过读取检测功耗的设备中检测到的功耗从而获取到每层所使用的第二功耗；服务器也可直接计算从而获取到每层所使用的第二功耗，本发明实施例对服务器如何获取到每层所使用的第二功耗的方式不做具体限定。
第二功耗可以是通过primeTime-PX进行功耗分析得来的，也可以是通过功耗测量仪器如智能插座表等测量得来的，本发明实施例对第二功耗的检测方法不做具体限定。
S230：判断每层所使用的第二功耗是否均小于或等于预设阈值。
S240：当每层所使用的第二功耗中存在至少一层的第二功耗大于预设阈值时，根据第二功耗分别制定每层对应的第二剪枝策略，并根据第二剪枝策略对第二神经网络模型中的每层选择性地进行剪枝以获得剪枝完成的第三神经网络模型。
S250：当每层所使用的第二功耗均小于或等于预设阈值时，结束再训练以获得目标神经网络模型。
在步骤S240之后，还可再次返回到步骤S210，此时第二神经网络模型更换为第三神经网络模型，直至满足步骤S250的条件后，结束再训练以获得目标神经网络模型，本发明实施例对此不做具体限定。
根据本发明实施例提供的技术方案，通过对第二神经网络模型进行再训练；获取对第二神经网络模型中的多个层进行训练过程中逐层分析时每层所使用的第二功耗；判断每层所使用的第二功耗是否均小于或等于预设阈值；当每层所使用的第二功耗中存在至少一层的第二功耗大于预设阈值时，根据第二功耗分别制定每层对应的第二剪枝策略，并根据第二剪枝策略对第二神经网络模型中的每层选择性地进行剪枝以获得剪枝完成的第三神经网络模型；当每层所使用的第二功耗均小于或等于预设阈值时，结束再训练以获得目标神经网络模型，从而确保剪枝完成的神经网络模型如第二神经网络模型或第三神经网络模型等中每层所使用的功耗均小于或等于预设阈值，进而进一步减少神经网络训练过程中逐层分析时的总功耗。
在本发明一实施例中，上述步骤S120包括：当第一神经网络模型的多个层中的第一层的第一功耗大于预设阈值时，第一层对应的第一剪枝策略为对第一层进行剪枝，当多个层中的第一层的第一功耗小于或等于预设阈值时，第一层对应的第一剪枝策略为不对第一层进行剪枝。
具体而言，服务器中设置有预设阈值，当第一神经网络模型的多个层中的第一层的第一功耗大于预设阈值时，服务器设置第一层对应的第一剪枝策略为对第一层进行剪枝，当多个层中的第一层的第一功耗小于或等于预设阈值时，服务器设置第一层对应的第一剪枝策略为不对第一层进行剪枝。
第一层可以是第一神经网络模型中的任何一层，本发明实施例对此不做具体限定。
本发明实施例中，通过设置当第一神经网络模型的多个层中的第一层的第一功耗大于预设阈值时，第一层对应的第一剪枝策略为对第一层进行剪枝，当多个层中的第一层的第一功耗小于或等于预设阈值时，第一层对应的第一剪枝策略为不对第一层进行剪枝，从而有效减少大于预设阈值的各个层中的功耗，进而减少整个神经网络训练过程中的总功耗。
在本发明一实施例中，上述步骤S130包括：根据第一剪枝策略对第一神经网络模型中的每层采用权衰减法、灵敏度计算方法或相关性剪枝方法选择性地进行剪枝以获得剪枝完成的第二神经网络模型。
剪枝的方式可以为权衰减法、灵敏度计算方法或相关性剪枝方法，也可以为其他的方法如移除滤波器等，本发明实施例对剪枝的方式不做具体的限定。
本发明实施例中，通过根据第一剪枝策略对第一神经网络模型中的每层采用权衰减法、灵敏度计算方法或相关性剪枝方法选择性地进行剪枝以获得剪枝完成的第二神经网络模型，从而实现对第一神经网络模型中的每层选择性地进行剪枝，进而获得剪枝完成的第二神经网络模型。
在本发明一实施例中，上述步骤S210之前，该神经网络模型的剪枝方法还可包括如下步骤。
S201：设置最大迭代次数。
最大迭代次数可根据实际的需求进行设置，本发明实施例对最大迭代次数的具体次数不做具体限定。
S202：判断再训练的次数是否大于最大迭代次数。
S203：当再训练的次数大于最大迭代次数时，结束再训练以获得目标神经网络模型。
在步骤S240之后，还可再次返回到步骤S202，此时第二神经网络模型更换为第三神经网络模型，直至满足步骤S250或S203的条件后，结束再训练以获得目标神经网络模型，本发明实施例对此不做具体限定。
本发明实施例中，通过设置最大迭代次数；判断再训练的次数是否大于最大迭代次数；当再训练的次数大于最大迭代次数时，结束再训练以获得目标神经网络模型，避免了再训练过多次的执行以影响神经网络模型训练的速度，同时有效减少了神经网络模型训练过程中的总功耗。
在本发明一实施例中，第一神经网络模型包括卷积神经网络模型、循环神经网络模型或深层神经网络模型。
第一神经网络模型可以为卷积神经网络模型，也可以为循环神经网络模型，还可以为深层神经网络模型，还可以为其他具有多个层的神经网络模型，本发明实施例对比不做具体限定。
图3所示为本发明一实施例提供的一种神经网络模型的剪枝装置的结构示意图。该剪枝装置300包括：第一获取模块310，用于获取对第一神经网络模型中的多个层进行训练过程中逐层分析时每层所使用的第一功耗；制定模块320，用于根据第一功耗分别制定每层对应的第一剪枝策略；第一剪枝模块330，用于根据第一剪枝策略对第一神经网络模型中的每层选择性地进行剪枝以获得剪枝完成的第二神经网络模型。
在本发明一实施例中，制定模块320还用于当第一神经网络模型的多个层中的第一层的第一功耗大于预设阈值时，第一层对应的第一剪枝策略为对第一层进行剪枝，当多个层中的第一层的第一功耗小于或等于预设阈值时，第一层对应的第一剪枝策略为不对第一层进行剪枝。
在本发明一实施例中，第一剪枝模块330还用于根据第一剪枝策略对第一神经网络模型中的每层采用权衰减法、灵敏度计算方法或相关性剪枝方法选择性地进行剪枝以获得剪枝完成的第二神经网络模型。
在本发明一实施例中，该剪枝装置300还包括：再训练模块340，用于对第二神经网络模型进行再训练；第二获取模块350，用于获取对第二神经网络模型中的多个层进行训练过程中逐层分析时每层所使用的第二功耗；第一判断模块360，用于判断每层所使用的第二功耗是否均小于或等于预设阈值；第二剪枝模块370，用于当每层所使用的第二功耗中存在至少一层的第二功耗大于预设阈值时，根据第二功耗分别制定每层对应的第二剪枝策略，并根据第二剪枝策略对第二神经网络模型中的每层选择性地进行剪枝以获得剪枝完成的第三神经网络模型；第一结束模块380，用于当每层所使用的第二功耗均小于或等于预设阈值时，结束再训练以获得目标神经网络模型。
在本发明一实施例中，该剪枝装置300还包括：设置模块390，用于设置最大迭代次数；第二判断模块3100，用于判断再训练的次数是否大于最大迭代次数；第二结束模块3110，用于当再训练的次数大于最大迭代次数时，结束再训练以获得目标神经网络模型。
在本发明一实施例中，第一神经网络模型包括卷积神经网络模型、循环神经网络模型或深层神经网络模型。
根据本发明实施例提供的一种神经网络模型的剪枝装置，通过设置该剪枝装置包括第一获取模块、制定模块和第一剪枝模块，其中，第一获取模块用于获取对第一神经网络模型中的多个层进行训练过程中逐层分析时每层所使用的第一功耗；制定模块用于根据第一功耗分别制定每层对应的第一剪枝策略；第一剪枝模块用于根据第一剪枝策略对第一神经网络模型中的每层选择性地进行剪枝以获得剪枝完成的第二神经网络模型，从而实现减少每层所使用的第一功耗，进而减少神经网络模型训练过程中的功耗。
图4所示为本发明一实施例提供的一种人工智能芯片400的结构示意图。该人工智能芯片400上执行有通过图1或图2实施例中的任一项所述的神经网络模型的剪枝方法而获得的神经网络模型410。
神经网络模型410可以为第二神经网络模型，也可以为第三神经网络模型，还可以为目标神经网络模型，具体地，在人工智能芯片上执行的神经网络模型410是根据图1或图2实施例中的任一项所述的神经网络模型的剪枝方法而获得的，本发明实施例对此不做具体限定。
根据本发明实施例提供的技术方案，通过使得人工智能芯片上执行有通过如本发明实施例的第一方面中的任一项所述的神经网络模型的剪枝方法而获得的神经网络模型，从而有效降低人工智能芯片的功耗。
图5所示为本发明实施例的一种神经网络模型的剪枝设备500的框图。
参照图5，剪枝设备500包括处理组件510，其进一步包括一个或多个处理器，以及由存储器520所代表的存储器资源，用于存储可由处理组件510的执行的指令，例如应用程序。存储器520中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外，处理组件510被配置为执行指令，以执行上述神经网络模型的剪枝方法。
剪枝设备500还可以包括一个电源组件被配置为执行剪枝设备500的电源管理，一个有线或无线网络接口被配置为将剪枝设备500连接到网络，和一个输入输出(I/O)接口。剪枝设备500可以操作基于存储在存储器520的操作系统，例如Windows ServerTM，Mac OSXTM，UnixTM,LinuxTM，FreeBSDTM或类似。
一种非临时性计算机可读存储介质，当存储介质中的指令由上述剪枝设备500的处理器执行时，使得上述剪枝设备500能够执行一种神经网络模型的剪枝方法，包括获取对第一神经网络模型中的多个层进行训练过程中逐层分析时每层所使用的第一功耗；根据第一功耗分别制定每层对应的第一剪枝策略；根据第一剪枝策略对第一神经网络模型中的每层选择性地进行剪枝以获得剪枝完成的第二神经网络模型。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的装置、设备和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再做过多描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置、设备和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序校验码的介质。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。
Claims (10)
1.一种神经网络模型的剪枝方法，其特征在于，包括：
获取对第一神经网络模型中的多个层进行训练过程中逐层分析时每层所使用的第一功耗；
根据所述第一功耗分别制定每层对应的第一剪枝策略；
根据所述第一剪枝策略对所述第一神经网络模型中的每层选择性地进行剪枝以获得剪枝完成的第二神经网络模型。
2.根据权利要求1所述的剪枝方法，其特征在于，所述根据所述第一功耗分别制定每层对应的第一剪枝策略，包括：
当所述第一神经网络模型的多个层中的第一层的第一功耗大于预设阈值时，所述第一层对应的第一剪枝策略为对所述第一层进行剪枝，
当所述多个层中的第一层的第一功耗小于或等于预设阈值时，所述第一层对应的第一剪枝策略为不对所述第一层进行剪枝。
3.根据权利要求1所述的剪枝方法，其特征在于，所述根据所述第一剪枝策略对所述第一神经网络模型中的每层选择性地进行剪枝以获得剪枝完成的第二神经网络模型，包括：
根据所述第一剪枝策略对所述第一神经网络模型中的每层采用权衰减法、灵敏度计算方法或相关性剪枝方法选择性地进行剪枝以获得剪枝完成的第二神经网络模型。
4.根据权利要求1所述的剪枝方法，其特征在于，所述剪枝方法还包括:
对所述第二神经网络模型进行再训练；
获取对所述第二神经网络模型中的多个层进行训练过程中逐层分析时每层所使用的第二功耗；
判断所述每层所使用的第二功耗是否均小于或等于预设阈值；
当所述每层所使用的第二功耗中存在至少一层的第二功耗大于所述预设阈值时，根据所述第二功耗分别制定每层对应的第二剪枝策略，并根据所述第二剪枝策略对所述第二神经网络模型中的每层选择性地进行剪枝以获得剪枝完成的第三神经网络模型；
当所述每层所使用的第二功耗均小于或等于所述预设阈值时，结束再训练以获得目标神经网络模型。
5.根据权利要求4所述的剪枝方法，其特征在于，在对所述第二神经网络模型进行再训练之前，所述剪枝方法还包括：
设置最大迭代次数；
判断所述再训练的次数是否大于所述最大迭代次数；
当所述再训练的次数大于所述最大迭代次数时，结束再训练以获得所述目标神经网络模型。
6.根据权利要求1-5中任一项所述的剪枝方法，其特征在于，所述第一神经网络模型包括卷积神经网络模型、循环神经网络模型或深层神经网络模型。
7.一种神经网络模型的剪枝装置，其特征在于，包括：
获取模块，用于获取对第一神经网络模型中的多个层进行训练过程中逐层分析时每层所使用的第一功耗；
制定模块，用于根据所述第一功耗分别制定每层对应的第一剪枝策略；
剪枝模块，用于根据所述第一剪枝策略对所述第一神经网络模型中的每层选择性地进行剪枝以获得剪枝完成的第二神经网络模型。
8.一种人工智能芯片，其特征在于，所述人工智能芯片上执行有通过如权利要求1至6中的任一项所述的神经网络模型的剪枝方法而获得的神经网络模型。
9.一种神经网络模型的剪枝设备，其特征在于，包括：
存储器，用于存储计算机程序；
处理组件，用于执行所述计算机程序时实现如权利要求1至6中任一项所述的神经网络模型的剪枝方法。
10.一种计算机可读存储介质，其上存储有计算机可执行指令，其特征在于，所述可执行指令被处理器执行时实现如权利要求1至6中的任一项所述的神经网络模型的剪枝方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910584232.9A CN110276452A (zh) | 2019-06-28 | 2019-06-28 | 神经网络模型的剪枝方法、装置、设备和人工智能芯片 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910584232.9A CN110276452A (zh) | 2019-06-28 | 2019-06-28 | 神经网络模型的剪枝方法、装置、设备和人工智能芯片 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110276452A true CN110276452A (zh) | 2019-09-24 |
Family
ID=67963918
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910584232.9A Pending CN110276452A (zh) | 2019-06-28 | 2019-06-28 | 神经网络模型的剪枝方法、装置、设备和人工智能芯片 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110276452A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111275190A (zh) * | 2020-02-25 | 2020-06-12 | 北京百度网讯科技有限公司 | 神经网络模型的压缩方法及装置、图像处理方法及处理器 |
| CN111553169A (zh) * | 2020-06-25 | 2020-08-18 | 北京百度网讯科技有限公司 | 语义理解模型的剪枝方法、装置、电子设备和存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105354623A (zh) * | 2015-09-30 | 2016-02-24 | 中国电力科学研究院 | 一种面向电网时空数据的异常检测优化方法 |
| US20170337472A1 (en) * | 2016-05-19 | 2017-11-23 | Nec Laboratories America, Inc. | Passive pruning of filters in a convolutional neural network |
| US20180232640A1 (en) * | 2017-02-10 | 2018-08-16 | Samsung Electronics Co., Ltd. | Automatic thresholds for neural network pruning and retraining |
| CN108764471A (zh) * | 2018-05-17 | 2018-11-06 | 西安电子科技大学 | 基于特征冗余分析的神经网络跨层剪枝方法 |
| CN109635936A (zh) * | 2018-12-29 | 2019-04-16 | 杭州国芯科技股份有限公司 | 一种基于重训练的神经网络剪枝量化方法 |
-
2019
- 2019-06-28 CN CN201910584232.9A patent/CN110276452A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105354623A (zh) * | 2015-09-30 | 2016-02-24 | 中国电力科学研究院 | 一种面向电网时空数据的异常检测优化方法 |
| US20170337472A1 (en) * | 2016-05-19 | 2017-11-23 | Nec Laboratories America, Inc. | Passive pruning of filters in a convolutional neural network |
| US20180232640A1 (en) * | 2017-02-10 | 2018-08-16 | Samsung Electronics Co., Ltd. | Automatic thresholds for neural network pruning and retraining |
| CN108764471A (zh) * | 2018-05-17 | 2018-11-06 | 西安电子科技大学 | 基于特征冗余分析的神经网络跨层剪枝方法 |
| CN109635936A (zh) * | 2018-12-29 | 2019-04-16 | 杭州国芯科技股份有限公司 | 一种基于重训练的神经网络剪枝量化方法 |
Non-Patent Citations (1)
| Title |
|---|
| ERMAO CAI 等: "NeuralPower: Predict and Deploy Energy-Efficient Convolutional Neural Networks", PROCEEDINGS OF MACHINE LEARNING RESEARCH 77, ACML 2017, pages 622 - 624 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111275190A (zh) * | 2020-02-25 | 2020-06-12 | 北京百度网讯科技有限公司 | 神经网络模型的压缩方法及装置、图像处理方法及处理器 |
| CN111275190B (zh) * | 2020-02-25 | 2023-10-10 | 北京百度网讯科技有限公司 | 神经网络模型的压缩方法及装置、图像处理方法及处理器 |
| CN111553169A (zh) * | 2020-06-25 | 2020-08-18 | 北京百度网讯科技有限公司 | 语义理解模型的剪枝方法、装置、电子设备和存储介质 |
| CN111553169B (zh) * | 2020-06-25 | 2023-08-25 | 北京百度网讯科技有限公司 | 语义理解模型的剪枝方法、装置、电子设备和存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107015892A (zh) | 一种压力测试方法、装置和系统 | |
| CN103856337B (zh) | 资源占用率获取方法、提供方法、系统及服务器 | |
| CN104866465A (zh) | 敏感文本检测方法及装置 | |
| CN110276452A (zh) | 神经网络模型的剪枝方法、装置、设备和人工智能芯片 | |
| CN101779189A (zh) | 并行计算机中的主动电力管理 | |
| CN103246508A (zh) | 用于开发并行计算机的集合操作的方法和装置 | |
| CN106875004A (zh) | 复合模式神经元信息处理方法和系统 | |
| CN103150144A (zh) | 用于并行计算机中的集体操作协议选择的方法和系统 | |
| CN111625419B (zh) | 一种日志采集方法、系统、设备及计算机可读存储介质 | |
| CN107786368A (zh) | 异常节点检测方法以及相关装置 | |
| CN105630797B (zh) | 数据处理方法及系统 | |
| CN104270362B (zh) | 请求处理方法和装置 | |
| CN109685092A (zh) | 基于大数据的聚类方法、设备、存储介质及装置 | |
| CN105955101A (zh) | 一种控制方法、调度处理器和控制器 | |
| CN109697461A (zh) | 基于有限数据的分类模型训练方法和终端设备 | |
| CN108304925A (zh) | 一种池化计算装置及方法 | |
| CN108304926A (zh) | 一种适用于神经网络的池化计算装置及方法 | |
| CN110380925A (zh) | 一种网络设备探测中端口选择方法及系统 | |
| CN109740725A (zh) | 神经网络模型运行方法及装置、以及存储介质 | |
| CN109787918A (zh) | 基于网络传输的数据加速方法、装置、系统及一种加速卡 | |
| CN109375146A (zh) | 一种用电数据的补采方法、系统及终端设备 | |
| CN108809716A (zh) | 一种采集数据审核的方法和装置 | |
| CN103577296A (zh) | 一种总线可靠性测试方法及系统 | |
| CN116938953A (zh) | 基于区块链的数据处理方法、装置、电子设备及存储介质 | |
| CN103581036B (zh) | 一种虚拟机网络流量的控制方法、装置和系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |