CN117875379A - 模型量化方法、装置、介质以及电子设备 - Google Patents

模型量化方法、装置、介质以及电子设备 Download PDF

Info

Publication number
CN117875379A
CN117875379A CN202410146566.9A CN202410146566A CN117875379A CN 117875379 A CN117875379 A CN 117875379A CN 202410146566 A CN202410146566 A CN 202410146566A CN 117875379 A CN117875379 A CN 117875379A
Authority
CN
China
Prior art keywords
quantized
model
quantization
network node
sequence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202410146566.9A
Other languages
English (en)
Inventor
郭若愚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Youzhuju Network Technology Co Ltd
Original Assignee
Beijing Youzhuju Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Youzhuju Network Technology Co Ltd filed Critical Beijing Youzhuju Network Technology Co Ltd
Priority to CN202410146566.9A priority Critical patent/CN117875379A/zh
Publication of CN117875379A publication Critical patent/CN117875379A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0495—Quantised networks; Sparse networks; Compressed networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G06N5/041—Abduction

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

本公开涉及一种模型量化方法、装置、介质以及电子设备，涉及计算机技术领域，该方法通过确定待量化模型中的各个网络节点对应的量化敏感度，根据量化敏感度，对各网络节点进行排序，获得节点序列，然后根据各网络节点的参数量，将节点序列划分为多个子序列，并确定各子序列中包括的网络节点对应的目标量化位宽，接着，根据各网络节点对应的目标量化位宽，对待量化模型进行量化，获得量化模型，可以使用精度损失更低的高比特对较难量化的网络节点进行量化，使用低比特来对较容易量化的网络节点进行量化，从而在提高量化模型的推理速度的同时，保证量化模型的精度损失尽可能地低。

Description

模型量化方法、装置、介质以及电子设备
技术领域
本公开涉及计算机技术领域，具体地，涉及一种模型量化方法、装置、介质以及电子设备。
背景技术
模型量化是指将浮点计算模型转换为低比特的定点计算模型，从而有效地降低模型的计算强度、参数大小以及内存消耗。但是，模型量化往往也会带来一定的精度损失，这是由于模型中某些网络节点的精度损失对模型的推理结果影响比较大而引起的。因此，如何在保证模型的精度的情况下，对模型进行量化，成为越来越重要的研究方向。
发明内容
提供该发明内容部分以便以简要的形式介绍构思，这些构思将在后面的具体实施方式部分被详细描述。该发明内容部分并不旨在标识要求保护的技术方案的关键特征或必要特征，也不旨在用于限制所要求的保护的技术方案的范围。
第一方面，本公开提供一种模型量化方法，包括：
确定待量化模型中的各个网络节点对应的量化敏感度；
根据所述量化敏感度，对各所述网络节点进行排序，获得节点序列；
根据各所述网络节点的参数量，将所述节点序列划分为多个子序列；
确定各所述子序列中包括的所述网络节点对应的目标量化位宽；
根据各所述网络节点对应的目标量化位宽，对所述待量化模型进行量化，获得量化模型。
第二方面，本公开提供一种模型量化装置，包括：
第一确定模块，被配置为确定待量化模型中的各个网络节点对应的量化敏感度；
获得模块，被配置为根据所述量化敏感度，对各所述网络节点进行排序，获得节点序列；
划分模块，被配置为根据各所述网络节点的参数量，将所述节点序列划分为多个子序列；
第二确定模块，被配置为确定各所述子序列中包括的所述网络节点对应的目标量化位宽；
量化模块，被配置为根据各所述网络节点对应的目标量化位宽，对所述待量化模型进行量化，获得量化模型。
第三方面，本公开提供一种计算机可读介质，其上存储有计算机程序，该程序被处理装置执行时实现第一方面所述方法的步骤。
第四方面，本公开提供一种电子设备，包括：
存储装置，其上存储有计算机程序；
处理装置，用于执行所述存储装置中的所述计算机程序，以实现第一方面所述方法的步骤。
基于上述技术方案，通过确定待量化模型中的各个网络节点对应的量化敏感度，根据量化敏感度，对各网络节点进行排序，获得节点序列，然后根据各网络节点的参数量，将节点序列划分为多个子序列，并确定各子序列中包括的网络节点对应的目标量化位宽，接着，根据各网络节点对应的目标量化位宽，对待量化模型进行量化，获得量化模型，可以使用精度损失更低的高比特对较难量化的网络节点进行量化，使用低比特来对较容易量化的网络节点进行量化，从而在提高量化模型的推理速度的同时，保证量化模型的精度损失尽可能地低。
本公开的其他特征和优点将在随后的具体实施方式部分予以详细说明。
附图说明
结合附图并参考以下具体实施方式，本公开各实施例的上述和其他特征、优点及方面将变得更加明显。贯穿附图中，相同或相似的附图标记表示相同或相似的元素。应当理解附图是示意性的，原件和元素不一定按照比例绘制。在附图中：
图1是根据一些实施例示出的一种模型量化方法的流程图。
图2是图1所示步骤130的详细流程图。
图3是图1所示步骤110的详细流程图。
图4是图1所示步骤110的详细流程图。
图5是根据一些实施例示出的模型量化装置的结构示意图。
图6是根据一些实施例示出的电子设备的结构示意图。
具体实施方式
下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。
应当理解，本公开的方法实施方式中记载的各个步骤可以按照不同的顺序执行，和/或并行执行。此外，方法实施方式可以包括附加的步骤和/或省略执行示出的步骤。本公开的范围在此方面不受限制。
本文使用的术语“包括”及其变形是开放性包括，即“包括但不限于”。术语“基于”是“至少部分地基于”。术语“一个实施例”表示“至少一个实施例”；术语“另一实施例”表示“至少一个另外的实施例”；术语“一些实施例”表示“至少一些实施例”。其他术语的相关定义将在下文描述中给出。
需要注意，本公开中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分，并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。
需要注意，本公开中提及的“一个”、“多个”的修饰是示意性而非限制性的，本领域技术人员应当理解，除非在上下文另有明确指出，否则应该理解为“一个或多个”。
本公开实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性的目的，而并不是用于对这些消息或信息的范围进行限制。
图1是根据一些实施例示出的一种模型量化方法的流程图。如图1所示，本公开实施例提供一种模型量化方法，该方法可以通过电子设备执行，具体可以是通过一种模型量化装置来执行，该装置可以由软件和/或硬件的方式实现，配置于电子设备中。如图1所示，该方法可以包括以下步骤。
在步骤110中，确定待量化模型中的各个网络节点对应的量化敏感度。
这里，待量化模型可以是指需要进行模型量化的模型，例如，待量化模型可以为浮点型的神经网络模型。模型量化是指将高位宽表示的权重或者激活值用较低位宽表示。例如，位宽Float32表示的模型，可以量化表示为int8大小的模型。
示例性地，待量化模型可以为图像类型的模型、文本类型的模型、音频类型的模型中的一种。也就是说，本公开实施例提供的模型量化方法，可以用于图像类型的模型、文本类型的模型、音频类型的模型等等类型的模型的量化。例如，对图像类型的机器学习模型、文本类型的机器学习模型、声音类型的机器学习模型等等进行量化。
另外，待量化模型的适用领域在本公开实施例中不作具体限定。本公开实施例提供的待量化模型可以是属于自动驾驶、计算机视觉、自然语言处理、数据分类处理、语音识别等等领域。
待量化模型中的各个网络节点是指待量化模型中的各个层。例如，如果待量化模型为神经网络模型，则待量化模型中的各个网络节点可以是指神经网络模型中的各个层，如卷积层、池化层、全连接层等等。
量化敏感度是指各个网络节点对量化的敏感程度。量化敏感度越大，表示网络节点对量化的敏感程度越大，相应地，量化敏感度越大的网络节点，在对该网络节点进行量化时，其精度损失也就越大。应当理解的是，针对不同的网络节点，其对应的量化敏感度可以是不同的。
在步骤120中，根据量化敏感度，对各网络节点进行排序，获得节点序列。
这里，节点序列包括按照量化敏感度排序的所有网络节点。例如，待量化模型中包括5个网络节点，表示为Nodes＝(N1，N2，N3，N4，N5)，假设N1的量化敏感度为5、N2的量化敏感度为7，N3的量化敏感度为3，N4的量化敏感度为4，N5的量化敏感度为1，排序方式是按照量化敏感度从大到小进行排序，则节点序列Nodes′＝(N2，N1，N4，N3，N5)。
需要注意的是，在上述示例中是按照量化敏感度从大到小的排序方式，对所有网络节点进行排序，获得节点序列。在其他示例中，也可以是按照量化敏感度从小到大的排序方式，对所有网络节点进行排序，获得节点序列。应当理解的是，采用何种排序方式，可以是根据实际情况进行选择的，其并不影响本公开实施例提供的模型量化方法的原理。
值得说明的是，若采用量化敏感度从大到小的排序方式进行排序，则节点序列中排序越靠前的网络节点对于量化的敏感程度越大，对该网络节点进行量化而带来的精度损失也可能越大。若采用量化敏感度从小到大的排序方式进行排序，则节点序列中排序越靠前的网络节点对于量化的敏感程度越小，对该网络节点进行量化而带来的精度损失也可能越小。
在步骤130中，根据各网络节点的参数量，将节点序列划分为多个子序列。
这里，网络节点的参数量可以是指该网络节点使用的权重参数的数量。例如，假设一个网络节点使用10个权重参数，则该网络节点对应的参数量为10。
其中，根据网络节点的参数量，将节点序列划分为多个子序列，实际上是将节点序列截取为多段，每一段即为一个子序列。例如，针对节点序列Nodes′＝(N2，N1，N4，N3，N5)，其可以划分为包括N2、N1的第一子序列、包括N4的第二子序列、以及包括N3、N5的第三子序列。应当理解的是，各个子序列之间是不重合的，多个子序列构成一个完整的子序列。
作为一些示例，可以按照各个网络节点的参数量，从节点序列包括的多个网络节点中依次选取至少一个参数量之和满足预设条件的网络节点构成一个子序列，直至将节点序列划分为多个子序列。
在步骤140中，确定各子序列中包括的网络节点对应的目标量化位宽。
这里，目标量化位宽是指用于对网络节点进行量化的比特，如fp16、int8、int4等等。可以为不同的子序列，分配对应的目标量化位宽。分配给该子序列的目标量化位宽，可以作为该子序列中包括的所有网络节点对应的目标量化位宽。
示例性地，针对量化敏感度相对较高的子序列，可以为其分配相对较大的目标量化位宽，针对量化敏感度相对较低的子序列，可以为其分配相对较小的目标量化位宽。
例如，包括N2、N1的第一子序列中的量化敏感度大于包括N4的第二子序列的量化敏感度，包括N4的第二子序列的量化敏感度大于包括N3、N5的第三子序列的量化敏感度，则可以给第一子序列分配fp16的目标量化位宽，给第二子序列分配int8的目标量化位宽，给第三子序列分配int4的目标量化位宽。
当然，在其他实施方式中，针对每一子序列中的网络节点，可以再根据各个网络节点的量化敏感度或者参数量的不同，分配不同的目标量化位宽。
在步骤150中，根据各网络节点对应的目标量化位宽，对待量化模型进行量化，获得量化模型。
这里，量化模型是指对待量化模型进行量化后的模型。针对待量化模型中的各个网络节点，使用该网络节点对应的目标量化位宽，对该网络节点进行量化，获得量化模型。
例如，网络节点N2、N1的目标量化位宽为fp16，网络节点N4的目标量化位宽为int8，网络节点N3、N5的目标量化位宽为int4，则基于fp16比特，对网络节点N2、N1进行量化，基于int8比特，对网络节点N4进行量化，基于int4比特，对网络节点N3、N5进行量化。
也就是说，针对不同量化敏感度的网络节点，可以采用不同的量化位宽对其进行量化，从而避免出现每一网络节点均采用统一的量化位宽进行量化而导致精度损失比较大的问题。
由此，通过确定待量化模型中的各个网络节点对应的量化敏感度，根据量化敏感度，对各网络节点进行排序，获得节点序列，然后根据各网络节点的参数量，将节点序列划分为多个子序列，并确定各子序列中包括的网络节点对应的目标量化位宽，接着，根据各网络节点对应的目标量化位宽，对待量化模型进行量化，获得量化模型，可以使用精度损失更低的高比特对较难量化的网络节点进行量化，使用低比特来对较容易量化的网络节点进行量化，从而在提高量化模型的推理速度的同时，保证量化模型的精度损失尽可能地低。
以待量化模型为用于图像分类的神经网络模型为例，电子设备可以确定神经网络模型中的各个网络节点对应的量化敏感度，然后根据量化敏感度，对神经网络模型各个网络节点进行排序，获得节点序列，并根据各网络节点的参数量，将节点序列划分为多个子序列。然后，确定各子序列中包括的网络节点对应的目标量化位宽，接着，根据各网络节点对应的目标量化位宽，对神经网络模型进行量化，获得量化后的神经网络模型。
图2是图1所示步骤130的详细流程图。如图2所示，在一些可以实现的实施方式中，步骤130可以包括以下步骤。
在步骤131中，针对节点序列中的每一网络节点，根据网络节点的参数量与待量化模型的总参数量之间的比值，确定该网络节点对应的第一参数量占比。
这里，网络节点的参数量是指该网络节点使用的权重参数的数量。网络节点的参数量的大小，与该网络节点的结构相关。例如，对于一个20*40的全连接层而言，其参数量与40*80的全连接层的参数量是不同的，具体的参数量需要根据每一网络节点的实际结构来计算得到。
待量化模型的总参数量是指待量化模型中所有网络节点的参数量之和。例如，假设待量化模型具有100个网络节点，每一个网络节点的参数量均为1，则待量化模型的总参数量为100。
第一参数量占比是指网络节点的参数量在总参数量中的占比。例如，假设待量化模型的总参数量为100，若第1个网络节点的参数量为12，则第1个网络节点对应的第一参数量占比为12％。因此，针对每一网络节点对应的第一参数量占比，可以将该网络节点的参数量与待量化模型的总参数量之间的比值作为该网络节点对应的第一参数量占比。
在步骤132中，确定至少一个用于对节点序列进行划分的第二参数量占比。
这里，第二参数量占比是用于将节点序列截断为多个子序列的参数。基于第二参数量占比截取到的多个子序列的参数量占比为100％，也就是说，多个子序列构成一个完整的节点序列。
需要注意的是，第二参数量占比可以是一个值，也可以是多个值。若第二参数量占比是一个值，则基于第二参数量占比对节点序列进行截取，可以将节点序列分为两个子序列。若第二参数量占比是多个值，则基于第二参数量占比对节点序列进行截取，则可以依次使用多个第二参数量占比中的一个对节点序列进行截取，获得多个子序列。
在一些实施例中，可以确定量化后的待量化模型相对于待量化模型的加速比例，根据加速比例，确定第二参数量占比。
这里，加速比例是指量化后的待量化模型相对于量化前的待量化模型，其推理速度加速的比例。例如，假设加速比例为150％，则相对于量化前的待量化模型，量化后的待量化模型能够在量化前的待量化模型的推理速度上加速50％。
值得说明的是，加速比例可以是由用户自定义设置的。加速比例实际上是用户预期的量化后的模型相对于量化前的模型的性能加速。用户需要量化后的模型的推理速度加速多少，用户则可以设置多大的加速比例即可。
示例性地，可以根据加速比例与第二参数量占比之间的映射关系，确定用于对节点序列进行划分的第二参数量占比。
假设fp16的速度为1、int8的速度为2，设置的混合精度的比例为0.1，则量化后的模型的加速比例为1.9。其中，混合精度的比例为0.1，表示网络节点中使用fp16进行量化的参数量相对于待量化模型的总参数量的占比。也就是说，10％的第二参数量占比的网络节点使用fp16进行量化。相应地，加速比例存在以下线性关系：1.9＝1*0.1+2*(1-0.1)。相应地，使用fp16量化的第二参数量占比为10％，使用int8量化的第二参数量占比为90％。
因此，可以基于设定的加速比例来计算得到对应的精度损失，然后基于精度损失、加速比例来计算得到采用各个量化位宽对待量化模型进行量化的百分比。
例如，节点序列中包括的网络节点的第一参数量占比为(10％、5％、3％、2％、10％、10％、8％、2％、10％、20％、20％)，如果使用fp16量化的第二参数量占比为10％，使用int8量化的第二参数量占比为90％，则节点序列中的第一个占比10％的网络节点使用fp16进行量化，节点序列中剩余的(5％、3％、2％、10％、10％、8％、2％、10％、20％、20％)网络节点均采用int8进行量化，则量化后的待量化模型的加速比例为190％。
基于此，通过加速比例来确定第二参数量占比，可以使得量化模型的加速比例整体可控，可以根据用户的需求来选择不同的加速比例。
在步骤133中，根据至少一个第二参数量占比，依顺序对节点序列进行截取，获得多个子序列，其中，在各子序列中，该子序列中包括的网络节点的第一参数量占比之和等于该子序列对应的第二参数量占比。
这里，在确定到第二参数量占比之后，基于该第二参数量占比，依顺序对节点序列进行截取，获得多个子序列，多个子序列的参数量占比为100％。应当理解的是，每一第二参数量占比用于对节点序列进行一次截取。截取到的子序列中包括的网络节点的第一参数量占比之和等于用于对节点序列进行截取的第二参数量占比。需要注意的是，若第二参数量占比的数量为多个，则可以按照多个第二参数量占比的排列顺序，每一次使用一个第二参数量占比对节点序列进行截取，获得该第二参数量占比对应的子序列。
例如，节点序列中包括的网络节点的第一参数量占比为(10％、5％、3％、2％、10％、10％、8％、2％、10％、20％、20％)，多个第二参数量占比分别为20％、40％以及40％，则先使用20％的第二参数量占比对节点序列进行截取，获得第一子序列(10％、5％、3％、2％)，然后使用40％第二参数量占比对节点序列进行截取，获得第二子序列(10％、10％、8％、2％、10％)，接着，使用40％第二参数量占比对节点序列进行截取，获得第三子序列(20％、20％)。也就是说，多个子序列包括第一子序列(10％、5％、3％、2％)、第二子序列(10％、10％、8％、2％、10％)以及第三子序列(20％、20％)。
值得说明的是，在实际应用过程中，如果基于第二参数量占比无法截取到第一参数量占比之和完全等于第二参数量占比的子序列，则可以少截取一个网络节点。
例如，节点序列中包括的网络节点的第一参数量占比为(10％、5％、3％、2％、10％、10％、8％、2％、10％、20％、20％)，多个第二参数量占比分别为19％、41％以及40％，则多个子序列包括第一子序列(10％、5％、3％)、第二子序列(2％、10％、10％、8％、2％)以及第三子序列(10％、20％、20％)。
当然，在实际应用过程中，如果基于第二参数量占比无法截取到第一参数量占比之和完全等于第二参数量占比的子序列，则可以多截取一个网络节点。至于采用何种截取方式，则可以根据需求进行设置。
由此，通过上述步骤131至步骤133，可以保证在对待量化模型进行量化时，可以定制量化模型的速度，从而优先产出符合推理速度的量化模型，并在这一基础上保证量化模型的精度能够达到最优。
图3是图1所示步骤110的详细流程图。如图3所示，在一些可以实现的实施方式中，步骤110可以包括以下步骤。
在步骤301中，针对待量化模型中的每一网络节点，确定该网络节点对应的权重参数。
这里，网络节点对应的权重参数是指用于计算网络节点的输入和输出之间关系的参数。网络节点的原理可以表示为y＝w*x，其中，x为网络节点的输入，y为网络节点的输出，w为网络节点的权重参数。应当理解的是，权重参数w是通过对网络节点进行机器训练获得的参数。
示例性地，可以直接读取待量化模型中的各个网络节点的权重参数。应当理解的是，读取到的权重参数是指网络节点包含的所有权重参数。
在步骤302中，根据权重参数，确定网络节点对应的量化敏感度。
这里，针对每一个网络节点，可以根据该网络节点对应的权重参数，确定该网络节点对应的量化敏感度。
在一些实施例中，可以根据权重参数中的最大值与最小值之间的差值，确定网络节点对应的量化敏感度。
示例性地，可以通过第一计算式计算得到网络节点的量化敏感度，该第一计算式为：
diffi＝maxi-mini
其中，diffi为第i个网络节点对应的量化敏感度，maxi为第i个网络节点的权重参数中的最大值，mini为第i个网络节点的权重参数中的最小值。
例如，假设待量化模型的第1个网络节点的权重参数为0.8、0.9、0.3、0.1、0.6，则第1个网络节点的量化敏感度为0.9-0.1＝0.8。
需要注意的是，通过权重参数中的最大值与最小值之间的差值，计算网络节点对应的量化敏感度，实际上是通过局部最优的方式计算得到每一个网络节点对应的量化敏感度。
由此，通过上述实施方式计算网络节点的量化敏感度，可以快速计算得到待量化模型中各个网络节点对应的量化敏感度。
图4是图1所示步骤110的详细流程图。如图4所示，在一些可以实现的实施方式中，步骤110可以包括以下步骤。
在步骤401中，将样本数据输入至待量化模型，获得待量化模型对应的第一输出结果。
这里，待量化模型可以是训练完成的模型。针对不同类型的待量化模型，其对应的样本数据的类型也可以不一样。例如，在待量化模型为图像类的模型时，样本数据可以为图像样本，在待量化模型为声学类的模型时，样本数据可以为声音样本，在待量化模型为文本类的模型时，样本数据可以为文本样本。也就是说，针对不同领域的待量化模型，样本数据也可以是与待量化模型的领域一致的样本。
第一输出结果是未量化前的待量化模型基于样本数据预测得到的结果。以图像分类任务为例，第一输出结果可以是样本数据中的图像的类别信息。
在步骤402中，针对待量化模型中的每一网络节点，基于预设量化位宽对该网络节点进行量化，并保持其他网络节点不变，获得该网络节点对应的量化后的待量化模型。
这里，预设量化位宽可以是指定的量化位宽，如fp16比特。其中，每一个量化后的待量化模型实际上是对待量化模型中的某一个网络节点进行量化而获得的。
例如，待量化模型包括N1、N2、N3、N4、N5共5个网络节点，基于预设量化位宽对N1网络节点进行量化，并保持N2、N3、N4、N5不变，获得N1网络节点对应的量化后的待量化模型。基于预设量化位宽对N2网络节点进行量化，并保持N1、N3、N4、N5不变，获得N2网络节点对应的量化后的待量化模型。基于预设量化位宽对N3网络节点进行量化，并保持N1、N2、N4、N5不变，获得N3网络节点对应的量化后的待量化模型。基于预设量化位宽对N4网络节点进行量化，并保持N1、N2、N3、N5不变，获得N4网络节点对应的量化后的待量化模型。基于预设量化位宽对N5网络节点进行量化，并保持N1、N2、N3、N4不变，获得N5网络节点对应的量化后的待量化模型。
在步骤403中，针对每一量化后的待量化模型，将样本数据输入至量化后的待量化模型，获得量化后的待量化模型输出的第二输出结果。
这里，第二输出结果的概念与上述第一输出结果的概念一致，在此不再赘述。针对通过步骤402获得的每一个量化后的待量化模型，将样本数据输入至量化后的待量化模型，获得对应的第二输出结果。
例如，将样本数据输入至N1网络节点对应的量化后的待量化模型，获得第二输出结果。将样本数据输入至N2网络节点对应的量化后的待量化模型，获得第二输出结果。将样本数据输入至N3网络节点对应的量化后的待量化模型，获得第二输出结果。将样本数据输入至N4网络节点对应的量化后的待量化模型，获得第二输出结果。将样本数据输入至N5网络节点对应的量化后的待量化模型，获得第二输出结果。
在步骤404中，针对每一网络节点，确定第一输出结果与第二输出结果之间的差值的绝对值，确定网络节点对应的量化敏感度。
这里，对于每一个网络节点，可以将该网络节点对应的第一输出结果与第二输出结果之间的差值的绝对值，作为该网络节点对应的量化敏感度。
示例性地，可以通过第二计算式计算得到网络节点的量化敏感度，该第二计算式为：
diffn＝|On-O′n|
其中，diffn为第n个网络节点的第一输出结果与第二输出结果之间的差值的绝对值，On为第n个网络节点的第一输出结果，O′n为第n个网络节点的第二输出结果。
应当理解的是，第一输出结果是原始的待量化模型的输出结果，第二输出结果是对原始的待量化模型中的某一个网络节点进行量化后的待量化模型。因此，第一输出结果与第二输出结果之间的差值的绝对值，实际上表征了量化后的待量化模型相对于量化前的待量化模型出现的精度损失。也就是说，该精度损失是由被量化的网络节点所导致的，则第一输出结果与第二输出结果之间的差值的绝对值可以作为该网络节点对应的量化敏感度。
需要注意的是，根据第一输出结果与第二输出结果之间的差值的绝对值，确定网络节点对应的量化敏感度，实际上是通过全局最优的方式来计算得到每一个网络节点的量化敏感度，这样计算得到的量化敏感度更加准确。
由此，通过上述实施方式，可以准确计算得到待量化模型中的每一个网络节点对应的量化敏感度。
在一些可以实现的实施方式中，步骤140中，可以根据各子序列对应的量化敏感度，确定各子序列对应的量化位宽，并将子序列对应的量化位宽确定为该子序列包括的所有网络节点对应的目标量化位宽。
这里，在多个子序列中，量化敏感度较大的子序列对应的量化位宽大于量化敏感度较小的子序列对应的量化位宽。
应当理解是，量化敏感度较大的子序列相对于量化敏感度较小的子序列，采用同样的量化位宽对量化敏感度较大的子序列中的网络节点以及量化敏感度较小的子序列中的网络节点进行量化，量化敏感度较大的子序列中的网络节点的精度损失会大于量化敏感度较小的子序列中的网络节点。
因此，通过设置量化敏感度较大的子序列对应的量化位宽大于量化敏感度较小的子序列对应的量化位宽，可以使得量化敏感度更大的网络节点使用更大的量化位宽进行量化，而量化敏感度更小的网络节点使用更小的量化位宽进行量化。
示例性地，可以预先设置有多个不同大小的量化位宽，如fp16、int8、int4以及int3。在确定到多个子序列之后，根据子序列的量化敏感度，从fp16、int8、int4以及int3中为每一子序列分配对应的量化位宽。
例如，包括N2、N1的第一子序列中的量化敏感度大于包括N4的第二子序列的量化敏感度，包括N4的第二子序列的量化敏感度大于包括N3、N5的第三子序列的量化敏感度，则可以给第一子序列分配fp16的目标量化位宽，给第二子序列分配int8的目标量化位宽，给第三子序列分配int4的目标量化位宽。
由此，通过上述实施方式，可以为不同量化敏感度的网络节点分配不同的目标量化位宽，从而保证量化模型的精度损失能够尽可能地小。
图5是根据一些实施例示出的模型量化装置的结构示意图。如图5所示，本公开实施例提供一种模型量化装置500，该模型量化装置500可以包括：
第一确定模块501，被配置为确定待量化模型中的各个网络节点对应的量化敏感度；
获得模块502，被配置为根据所述量化敏感度，对各所述网络节点进行排序，获得节点序列；
划分模块503，被配置为根据各所述网络节点的参数量，将所述节点序列划分为多个子序列；
第二确定模块504，被配置为确定各所述子序列中包括的所述网络节点对应的目标量化位宽；
量化模块505，被配置为根据各所述网络节点对应的目标量化位宽，对所述待量化模型进行量化，获得量化模型。
可选地，所述划分模块503包括：
第一参数确定单元，被配置为针对所述节点序列中的每一所述网络节点，根据所述网络节点的参数量与所述待量化模型的总参数量之间的比值，确定该网络节点对应的第一参数量占比；
第二参数确定单元，被配置为确定至少一个用于对所述节点序列进行截取的第二参数量占比；
截取单元，被配置为根据至少一个所述第二参数量占比，依顺序对所述节点序列进行截取，获得多个所述子序列，其中，在各所述子序列中，该子序列中包括的所述网络节点的第一参数量占比之和等于该子序列对应的所述第二参数量占比。
可选地，所述第二参数确定单元具体被配置为：
确定量化后的所述待量化模型相对于所述待量化模型的加速比例；
根据所述加速比例，确定所述第二参数量占比。
可选地，所述第一确定模块501具体被配置为：
针对所述待量化模型中的每一所述网络节点，确定该网络节点对应的权重参数；
根据所述权重参数，确定所述网络节点对应的量化敏感度。
可选地，所述第一确定模块501具体被配置为：
根据所述权重参数中的最大值与最小值之间的差值，确定所述网络节点对应的量化敏感度。
可选地，所述第一确定模块501具体被配置为：
将样本数据输入至所述待量化模型，获得所述待量化模型对应的第一输出结果；
针对所述待量化模型中的每一所述网络节点，基于预设量化位宽对该网络节点进行量化，并保持其他网络节点不变，获得该网络节点对应的量化后的待量化模型；
针对每一所述量化后的待量化模型，将所述样本数据输入至所述量化后的待量化模型，获得所述量化后的待量化模型输出的第二输出结果；
针对每一所述网络节点，确定所述第一输出结果与所述第二输出结果之间的差值的绝对值，确定所述网络节点对应的量化敏感度。
可选地，所述第二确定模块504具体被配置为：
根据各所述子序列对应的量化敏感度，确定各所述子序列对应的量化位宽，并将所述子序列对应的量化位宽确定为该子序列包括的所有网络节点对应的目标量化位宽，其中，在多个所述子序列中，所述量化敏感度较大的子序列对应的量化位宽大于所述量化敏感度较小的子序列对应的量化位宽。
关于上述模型量化装置500中的各个功能模块执行的功能逻辑已经在关于方法的部分进行了详细说明，在此不再赘述。
下面参考图6，其示出了适于用来实现本公开实施例的电子设备(例如终端设备或服务器)600的结构示意图。本公开实施例中的终端设备可以包括但不限于诸如移动电话、笔记本电脑、数字广播接收器、PDA(个人数字助理)、PAD(平板电脑)、PMP(便携式多媒体播放器)、车载终端(例如车载导航终端)等等的移动终端以及诸如数字TV、台式计算机等等的固定终端。图6示出的电子设备仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。
如图6所示，电子设备600可以包括处理装置(例如中央处理器、图形处理器等)601，其可以根据存储在只读存储器(ROM)602中的程序或者从存储装置608加载到随机访问存储器(RAM)603中的程序而执行各种适当的动作和处理。在RAM 603中，还存储有电子设备600操作所需的各种程序和数据。处理装置601、ROM 602以及RAM 603通过总线604彼此相连。输入/输出(I/O)接口605也连接至总线604。
通常，以下装置可以连接至I/O接口605：包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置606；包括例如液晶显示器(LCD)、扬声器、振动器等的输出装置607；包括例如磁带、硬盘等的存储装置608；以及通信装置609。通信装置609可以允许电子设备600与其他设备进行无线或有线通信以交换数据。虽然图6示出了具有各种装置的电子设备600，但是应理解的是，并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。
特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在非暂态计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信装置609从网络上被下载和安装，或者从存储装置608被安装，或者从ROM 602被安装。在该计算机程序被处理装置601执行时，执行本公开实施例的方法中限定的上述功能。
需要说明的是，本公开上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、RF(射频)等等，或者上述的任意合适的组合。
在一些实施方式中，客户端、服务器可以利用诸如HTTP(HyperText TransferProtocol，超文本传输协议)之类的任何当前已知或未来研发的网络协议进行通信，并且可以与任意形式或介质的数字数据通信(例如，通信网络)互连。通信网络的示例包括局域网(“LAN”)，广域网(“WAN”)，网际网(例如，互联网)以及端对端网络(例如，ad hoc端对端网络)，以及任何当前已知或未来研发的网络。
上述计算机可读介质可以是上述电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。
上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备：确定待量化模型中的各个网络节点对应的量化敏感度；根据所述量化敏感度，对各所述网络节点进行排序，获得节点序列；根据各所述网络节点的参数量，将所述节点序列划分为多个子序列；确定各所述子序列中包括的所述网络节点对应的目标量化位宽；根据各所述网络节点对应的目标量化位宽，对所述待量化模型进行量化，获得量化模型。
可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码，上述程序设计语言包括但不限于面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言——诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)——连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本公开实施例中所涉及到的模块可以通过软件的方式实现，也可以通过硬件的方式来实现。其中，模块的名称在某种情况下并不构成对该模块本身的限定。
本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如，非限制性地，可以使用的示范类型的硬件逻辑部件包括：现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、片上系统(SOC)、复杂可编程逻辑设备(CPLD)等等。
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
以上描述仅为本公开的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本公开中所涉及的公开范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述公开构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。
此外，虽然采用特定次序描绘了各操作，但是这不应当理解为要求这些操作以所示出的特定次序或以顺序次序执行来执行。在一定环境下，多任务和并行处理可能是有利的。同样地，虽然在上面论述中包含了若干具体实现细节，但是这些不应当被解释为对本公开的范围的限制。在单独的实施例的上下文中描述的某些特征还可以组合地实现在单个实施例中。相反地，在单个实施例的上下文中描述的各种特征也可以单独地或以任何合适的子组合的方式实现在多个实施例中。
尽管已经采用特定于结构特征和/或方法逻辑动作的语言描述了本主题，但是应当理解所附权利要求书中所限定的主题未必局限于上面描述的特定特征或动作。相反，上面所描述的特定特征和动作仅仅是实现权利要求书的示例形式。关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

Claims (10)

1.一种模型量化方法，其特征在于，包括：
确定待量化模型中的各个网络节点对应的量化敏感度；
根据所述量化敏感度，对各所述网络节点进行排序，获得节点序列；
根据各所述网络节点的参数量，将所述节点序列划分为多个子序列；
确定各所述子序列中包括的所述网络节点对应的目标量化位宽；
根据各所述网络节点对应的目标量化位宽，对所述待量化模型进行量化，获得量化模型。
2.根据权利要求1所述的方法，其特征在于，所述根据各所述网络节点的参数量，将所述节点序列划分为多个子序列，包括：
针对所述节点序列中的每一所述网络节点，根据所述网络节点的参数量与所述待量化模型的总参数量之间的比值，确定该网络节点对应的第一参数量占比；
确定至少一个用于对所述节点序列进行截取的第二参数量占比；
根据至少一个所述第二参数量占比，依顺序对所述节点序列进行截取，获得多个所述子序列，其中，在各所述子序列中，该子序列中包括的所述网络节点的第一参数量占比之和等于该子序列对应的所述第二参数量占比。
3.根据权利要求2所述的方法，其特征在于，所述确定至少一个用于对所述节点序列进行划分的第二参数量占比，包括：
确定量化后的所述待量化模型相对于所述待量化模型的加速比例；
根据所述加速比例，确定所述第二参数量占比。
4.根据权利要求1至3中任一项所述的方法，其特征在于，所述确定待量化模型中的各个网络节点对应的量化敏感度，包括：
针对所述待量化模型中的每一所述网络节点，确定该网络节点对应的权重参数；
根据所述权重参数，确定所述网络节点对应的量化敏感度。
5.根据权利要求4所述的方法，其特征在于，所述根据所述权重参数，确定所述网络节点对应的量化敏感度，包括：
根据所述权重参数中的最大值与最小值之间的差值，确定所述网络节点对应的量化敏感度。
6.根据权利要求1至3中任一项所述的方法，其特征在于，所述确定待量化模型中的各个网络节点对应的量化敏感度，包括：
将样本数据输入至所述待量化模型，获得所述待量化模型对应的第一输出结果；
针对所述待量化模型中的每一所述网络节点，基于预设量化位宽对该网络节点进行量化，并保持其他网络节点不变，获得该网络节点对应的量化后的待量化模型；
针对每一所述量化后的待量化模型，将所述样本数据输入至所述量化后的待量化模型，获得所述量化后的待量化模型输出的第二输出结果；
针对每一所述网络节点，确定所述第一输出结果与所述第二输出结果之间的差值的绝对值，确定所述网络节点对应的量化敏感度。
7.根据权利要求1至3中任一项所述的方法，其特征在于，所述确定各所述子序列中包括的所述网络节点对应的目标量化位宽，包括：
根据各所述子序列对应的量化敏感度，确定各所述子序列对应的量化位宽，并将所述子序列对应的量化位宽确定为该子序列包括的所有网络节点对应的目标量化位宽，其中，在多个所述子序列中，所述量化敏感度较大的子序列对应的量化位宽大于所述量化敏感度较小的子序列对应的量化位宽。
8.一种模型量化装置，其特征在于，包括：
第一确定模块，被配置为确定待量化模型中的各个网络节点对应的量化敏感度；
获得模块，被配置为根据所述量化敏感度，对各所述网络节点进行排序，获得节点序列；
划分模块，被配置为根据各所述网络节点的参数量，将所述节点序列划分为多个子序列；
第二确定模块，被配置为确定各所述子序列中包括的所述网络节点对应的目标量化位宽；
量化模块，被配置为根据各所述网络节点对应的目标量化位宽，对所述待量化模型进行量化，获得量化模型。
9.一种计算机可读介质，其上存储有计算机程序，其特征在于，该程序被处理装置执行时实现权利要求1-7中任一项所述方法的步骤。
10.一种电子设备，其特征在于，包括：
存储装置，其上存储有计算机程序；
处理装置，用于执行所述存储装置中的所述计算机程序，以实现权利要求1-7中任一项所述方法的步骤。
CN202410146566.9A 2024-02-01 2024-02-01 模型量化方法、装置、介质以及电子设备 Pending CN117875379A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410146566.9A CN117875379A (zh) 2024-02-01 2024-02-01 模型量化方法、装置、介质以及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202410146566.9A CN117875379A (zh) 2024-02-01 2024-02-01 模型量化方法、装置、介质以及电子设备

Publications (1)

Publication Number Publication Date
CN117875379A true CN117875379A (zh) 2024-04-12

Family

ID=90579239

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202410146566.9A Pending CN117875379A (zh) 2024-02-01 2024-02-01 模型量化方法、装置、介质以及电子设备

Country Status (1)

Country Link
CN (1) CN117875379A (zh)

Similar Documents

Publication Publication Date Title
CN112364860A (zh) 字符识别模型的训练方法、装置和电子设备
CN110009101B (zh) 用于生成量化神经网络的方法和装置
CN112241761B (zh) 模型训练方法、装置和电子设备
CN113392018B (zh) 流量分发方法、装置、存储介质及电子设备
CN116072108A (zh) 模型生成方法、语音识别方法、装置、介质及设备
CN113033680B (zh) 视频分类方法、装置、可读介质及电子设备
CN112380883B (zh) 模型训练方法、机器翻译方法、装置、设备及存储介质
CN117236805A (zh) 电力设备控制方法、装置、电子设备和计算机可读介质
WO2023045870A1 (zh) 网络模型的压缩方法、图像生成方法、装置、设备及介质
CN113435528B (zh) 对象分类的方法、装置、可读介质和电子设备
CN113593527B (zh) 一种生成声学特征、语音模型训练、语音识别方法及装置
CN117875379A (zh) 模型量化方法、装置、介质以及电子设备
CN112418233B (zh) 图像处理方法、装置、可读介质及电子设备
CN111680754B (zh) 图像分类方法、装置、电子设备及计算机可读存储介质
CN113361677B (zh) 神经网络模型的量化方法和装置
CN111444384B (zh) 一种音频关键点确定方法、装置、设备及存储介质
CN113361701A (zh) 神经网络模型的量化方法和装置
CN115565607B (zh) 确定蛋白质信息的方法、装置、可读介质及电子设备
CN118331716B (zh) 异构算力集成系统下算力智能迁移方法
CN116307998B (zh) 电力设备材料运输方法、装置、电子设备和计算机介质
CN112070163B (zh) 图像分割模型训练和图像分割方法、装置、设备
CN112015625B (zh) 报警设备控制方法、装置、电子设备和计算机可读介质
CN113283115B (zh) 图像模型生成方法、装置和电子设备
CN116755889B (zh) 应用于服务器集群数据交互的数据加速方法、装置与设备
CN113345426B (zh) 一种语音意图识别方法、装置及可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination