CN114444679A - 二值化输入模型的量化方法及系统、计算机可读存储介质 - Google Patents

二值化输入模型的量化方法及系统、计算机可读存储介质 Download PDF

Info

Publication number
CN114444679A
CN114444679A CN202011235611.6A CN202011235611A CN114444679A CN 114444679 A CN114444679 A CN 114444679A CN 202011235611 A CN202011235611 A CN 202011235611A CN 114444679 A CN114444679 A CN 114444679A
Authority
CN
China
Prior art keywords
model
image
binarization
channel
input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011235611.6A
Other languages
English (en)
Inventor
邹伟
熊超
蔡权雄
牛昕宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong Industry Research Kunyun Artificial Intelligence Research Institute Co ltd
Original Assignee
Shandong Industry Research Kunyun Artificial Intelligence Research Institute Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong Industry Research Kunyun Artificial Intelligence Research Institute Co ltd filed Critical Shandong Industry Research Kunyun Artificial Intelligence Research Institute Co ltd
Priority to CN202011235611.6A priority Critical patent/CN114444679A/zh
Publication of CN114444679A publication Critical patent/CN114444679A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种二值化输入模型的量化方法，包括以下步骤：将预处理后的二值化输入图像进行均衡处理；将进行均衡处理后的输入图像输入深度学习模型进行训练，得到模型参数；将所述模型参数的相邻层进行等价放缩得到缩放后的模型参数；将具有缩放后的模型参数的深度学习模型进行模型量化；本发明还公开了一种二值化输入模型系统及计算机可读存储介质，解决了现有技术中二值化输入模型量化过程精度损失的问题，降低模型精度损失且提高运行速度。

Description

二值化输入模型的量化方法及系统、计算机可读存储介质
技术领域
本发明涉及二值化输入网络领域，尤其涉及一种二值化输入模型的量化方法及系统。
背景技术
随着深度学习的发展，使用大量真实场景数据训练而来的神经模型已经部署在真实的场景中，但是随之而来的是模型巨大的参数量和计算量给模型部署带来了不小的挑战，尤其是在嵌入式设备和移动端设备上。这些设备通常计算能力不高，存储资源少，导致的结果就是神经模型占用资源过多和无法实时运行。
目前训练好的神经模型大都是基于一种float32的浮点数据类型，为了让神经模型更好的适应于嵌入式设备和移动端设备，研究人员发明了一种将浮点计算转换成低比特定点计算的技术，它可以有效的降低模型参数大小和提高运行速度，但是这种技术往往带来一定大小的精度损失，现有技术二值化输入模型的量化存在以下缺点：1、训练微调的方式需要修改模型训练源码和增加模型部署周期；2、数据校准的方式因为数据的异常分布，导致量化映射不饱和，导致精度损失严重，这些方法都不能很好的降低以二值化数据为输入模型的量化损失。
因此，针对一般量化方法失效的二值化输入模型，提供一种降低二值化输入模型量化损失的方法是至关重要的。
发明内容
本发明主要目的在于提供一种二值化输入模型的量化方法及系统、计算机可读存储介质，旨在解决现有技术中二值化输入模型量化过程精度损失的问题。
为实现上述目的，本发明提供一种二值化输入模型的量化方法，所述二值化输入模型的量化方法包括以下步骤：
在一实施例中，将预处理后的二值化输入图像进行均衡处理；
将进行均衡处理后的输入图像输入深度学习模型进行训练，得到模型参数；
将所述模型参数的相邻层进行等价放缩得到缩放后的模型参数；
将具有缩放后的模型参数的深度学习模型进行模型量化。
在一实施例中，所述均衡处理包括：获取所述输入图像的三通道图像，为每个通道的图像进行增广处理。
在一实施例中，所述为每个通道的图像进行增广处理，包括：
对通道图像进行高斯滤波处理以降低各图像像素噪声；
对通道图像进行反色处理以及直方图均衡处理以增强图像整体对比效果；
对通道图像进行随机线性扰动处理以使各图像像素分布均衡。
在一实施例中，将进行均衡处理后的输入图像输入深度学习模型进行训练，包括：
在训练过程中，保存各通道图像的权重副本；
在二值化网络模型前向传播过程中，使用符号函数获取二值化激活值和二值化权重；
根据所述二值化权重和二值化激活值进行模型推断；
在二值化网络模型反向传播过程中，使用梯度更新所述权重副本，其中，对所述权重副本更新时，将不满足预设值的权重进行裁剪。
在一实施例中，所述在根据所述二值化权重和二值化激活值进行模型推断之前，还包括：对通道图像数据进行归一化处理。
在一实施例中，所述对通道图像数据进行归一化处理，包括：
获取各通道图像数据，以卷积核为单位计算所述图像数据的均值；
对各卷积核中的图像数据做减均值和标准化操作；
获取各通道图像数据，计算各图像通道的均值并对对应通道中的所有像素做减均值操作。
在一实施例中，所述二值化权重中的图像像素服从伯努利分布且方差为1、所述二值化激活值中的图像像素服从伯努利分布。
在一实施例中，所述将所述模型参数的相邻层进行等价放缩得到缩放后的模型参数，包括：
获取相邻两层可用于等价缩放的比例因子，根据所述相邻两层中的最大值、最小值调整不同通道的权重；
遍历至输出层，以调整整个深度学习模型可等价缩放的输出的权重。
为实现上述目的，本发明还提供一种二值化输入模型系统，所述系统至少包括一个或者多个处理器、存储器及存储在存储器上并可在处理器上运行的二值化输入模型的量化程序，所述处理器执行所述二值化输入模型的量化程序时实现如上所述的二值化输入模型的量化方法的各个步骤。
为实现上述目的，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质存储有二值化输入模型的量化程序，所述二值化输入模型的量化程序被处理器执行时实现如上所述的二值化输入模型的量化方法的各个步骤。
本申请实施例中提供的二值化输入模型的量化方法及系统、计算机可读存储介质的技术方案，至少具有如下技术效果：
1、由于采用将预处理后的二值化输入图像进行均衡处理，通过获取所述输入图像的三通道图像，对通道图像进行高斯滤波处理以降低各图像像素噪声，对通道图像进行反色处理以及直方图均衡处理以增强图像整体对比效果，对通道图像进行随机线性扰动处理以使各图像像素分布均衡，为每个通道的图像进行增广处理的技术方案，解决了现有技术中图像数据的异常分布导致的进度损失严重的问题，实现了图像数据的均衡分布，降低了精度损失。
2、由于采用将进行均衡处理后的输入图像输入深度学习模型进行训练，得到模型参数，通过在训练过程中，保存各通道图像的权重副本，对通道图像数据进行归一化处理，在二值化网络模型前向传播过程中，使用符号函数获取二值化激活值和二值化权重，根据所述二值化权重和二值化激活值进行模型推断；在二值化网络模型反向传播过程中，使用梯度更新所述权重副本，其中，对所述权重副本更新时，将不满足预设值的权重进行裁剪的技术方案，解决了现有技术中二值化网络模型参数多以及运行速度慢的问题，减小了精度损失，提高运行速度。
3、由于采用将所述模型参数的相邻层进行等价放缩得到缩放后的模型参数，通过获取相邻两层可用于等价缩放的比例因子，根据所述相邻两层中的最大值、最小值调整不同通道的权重，遍历至输出层，以调整整个深度学习模型可等价缩放的输出的权重，再将具有缩放后的模型参数的深度学习模型进行模型量化的技术方案，解决了现有技术中二值化网络模型输出分布不均衡导致量化精度损失严重的问题，实现了二值化网络模型均衡分布。
附图说明
图1为本发明实施例涉及的二值化输入模型系统结构示意图；
图2为本发明二值化输入模型的量化方法的第一实施例的流程示意图；
图3为本发明二值化输入模型的量化方法的第一实施例的一个细化流程示意图；
图4为本发明二值化输入模型的量化方法的第一实施例步骤S111的一个细化流程示意图；
图5为本发明二值化输入模型的量化方法的第一实施例步骤S120的一个细化流程示意图；
图6为本发明二值化输入模型的量化方法的第一实施例步骤S130的一个细化流程示意图；
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本申请为了解决现有技术中二值化输入模型量化过程精度损失的问题，采用了将预处理后的二值化输入图像进行均衡处理；将进行均衡处理后的输入图像输入深度学习模型进行训练，得到模型参数；将所述模型参数的相邻层进行等价放缩得到缩放后的模型参数；将具有缩放后的模型参数的深度学习模型进行模型量化；本发明还采用了一种二值化输入模型系统及计算机可读存储介质，降低模型精度损失且提高运行速度。
为了更好地理解上述技术方案，下面将参照附图更详细地描述本申请的示例性实施例。虽然附图中显示了本申请的示例性实施例，然而应当理解，可以以各种形式实现本申请而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本申请，并且能够将本申请的范围完整的传达给本领域的技术人员。
本领域技术人员可以理解，图1所示的二值化输入模型系统的硬件结构并不构成对二值化输入模型系统的限定，二值化输入模型系统可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
作为一种实现方式，可以如图1所示，图1为本发明实施例涉及的二值化输入模型系统结构示意图。
处理器1100可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器1100中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器1100可以是通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器1200，处理器1100读取存储器1200中的信息，结合其硬件完成上述方法的步骤。
可以理解，本发明实施例中的存储器1200可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(Read Only Memory，ROM)、可编程只读存储器(Programmable ROM，PROM)、可擦除可编程只读存储器(Erasable PROM，EPROM)、电可擦除可编程只读存储器(Electrically EPROM，EEPROM)或闪存。易失性存储器可以是随机存取存储器(Random Access Memory，RAM)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(Static RAM，SRAM)、动态随机存取存储器(Dynamic RAM，DRAM)、同步动态随机存取存储器(Synchronous DRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(Double DataRate SDRAM，DDRSDRAM)、增强型同步动态随机存取存储器(Enhanced SDRAM，ESDRAM)、同步连接动态随机存取存储器(Synchlink DRAM，SLDRAM)和直接内存总线随机存取存储器(Direct Rambus RAM，DRRAM)。本发明实施例描述的系统和方法的存储器1200旨在包括但不限于这些和任意其它适合类型的存储器。
对于软件实现，可通过执行本发明实施例所述功能的模块(例如过程、函数等)来实现本发明实施例所述的技术。软件代码可存储在存储器中并通过处理器执行。存储器可以在处理器中或在处理器外部实现。
基于上述结构，提出本发明的实施例。
参照图2，图2为本发明二值化输入模型的量化方法的第一实施例的流程示意图，所述方法包括以下步骤：
步骤S110，将预处理后的二值化输入图像进行均衡处理。
在本实施例中，对所述二值化图像进行均衡处理之前，需要对输入图像进行预处理，所述输入图像一般为彩色图像，所述预处理过程包括：首先，对彩色图像进行灰度化转化为灰度图像，所述灰度图像也称为灰阶图像，灰度图像中每个像素可以由0(黑)到255(白)的亮度值表示，0-255之间表示不同的灰度级；最后，对彩色图像进行灰度化处理后，进行二值化处理转化为二值化输入图像，所述二值化处理可以采用阈值法，利用图像中目标与背景的差异，把图像分别设置为两个不同的级别，选取一个合适的阈值，以确定像素是目标还是背景，从而获得二值化的图像，再将预处理后的二值化输入图像进行均衡处理，使输入图像各像素分布均衡。
参照图3，图3步骤S111为本发明二值化输入模型的量化方法的步骤S110的一个细化，其他步骤与图1相同，这里不再赘述。
步骤S111，获取所述输入图像的三通道图像，为每个通道的图像进行增广处理。
在本实施例中，彩色图像主要分为两种类型，RGB及CMYK。其中RGB的彩色图像包含三个通道，分别由三种不同颜色成分组合而成，一个为红色，一个为绿色，另一个为蓝色；而CMYK类型的图像则由四个颜色成分组成：青C、品M、黄Y、黑CMYK，本申请以在RGB三通道图像上进行操作为例，先将RGB三通道图像转变成灰度图像以减少计算量，再为每个通道独立进行增广处理操作，从而丰富样本的多样性，使图像像素均匀遍布整个颜色空间。
参照图4，图4为本发明二值化输入模型的量化方法的第一实施例步骤S111的一个细化流程示意图，包括以下步骤：
步骤S1111，对通道图像进行高斯滤波处理以降低各图像像素噪声。
在本实施例中，所述高斯滤波处理是对整幅图像像素进行加权平均的过程，每一个图像像素点的值，都由其本身和邻域内的其他图像像素值经过加权平均后得到，高斯滤波的具体操作是：用一个模板扫描图像中的每一个图像像素，用模板确定的邻域内图像像素的加权平均灰度值去替代模板中心像图像素点的值，实现有效减小二值化图像像素集噪声与周围图像像素之间的差异，使图像变平滑以降低误检。
步骤S1112，对通道图像进行反色处理以及直方图均衡处理以增强图像整体对比效果。
在本实施例中，所述反色处理是指将三通道即R、G、B值进行反转，例如，若原输入图像颜色的量化级别是256，则新图像的R、G、B值为255减去原输入图像的R、G、B值，将反转后的R、G、B值写入新图像，例如一个图像像素点的颜色为(0，0，0)，反色后为(255，255，255)，以改变图像背景与目标的对比形态；所述直方图均衡处理是指对图像像素个数多的灰度值进行展宽，而对图像像素个数少的灰度值进行归并，从而增大对比度，改变图像的直方图来改变各图像像素的灰度，实现增强图像整体对比效果。
步骤S1113，对通道图像进行随机线性扰动处理以使各图像像素分布均衡。
在本实施例中，使用随机线性扰动处理使模型适应更多亮度变化，目的是使图像像素分布更加均衡，形态更加多样，以及减小因噪声与背景的差异而产生的误检。
由于采用将预处理后的二值化输入图像进行均衡处理，通过获取所述输入图像的三通道图像，对通道图像进行高斯滤波处理以降低各图像像素噪声，对通道图像进行反色处理以及直方图均衡处理以增强图像整体对比效果，对通道图像进行随机线性扰动处理以使各图像像素分布均衡，为每个通道的图像进行增广处理的技术方案，解决了现有技术中图像数据的异常分布导致的进度损失严重的问题，实现了图像数据的均衡分布，降低了精度损失。
步骤S120，将进行均衡处理后的输入图像输入深度学习模型进行训练，得到模型参数。
在本实施例中，将均衡处理后的输入图像的二值化数据输入深度学习模型训练，在训练过程中，在二值化网络模型前向传播过程中，使用符号函数获取二值化激活值和二值化权重，其中，所述二值化权重和二值化激活值限制在+1和-1，同时，将不满足预设值的二值化权重进行裁剪，在二值化网络模型反向传播过程中，使用二值化权重和二值化激活值计算参数梯度，使用梯度更新权重副本。
参照图5，图5为本发明二值化输入模型的量化方法的第一实施例步骤S120的一个细化流程示意图，包括以下步骤：
步骤S121，在训练过程中，保存各通道图像的权重副本。
在本实施例中，在二值化模型训练过程中，每个通道图像对应一个权重，在二值化网络模型前向传播过程中，生成的二值化权重以及二值化激活值二值化数据格式的；而二值化网络模型反向传播过程中，计算获取的梯度值是实数而非二值化，将权重副本在二值化网络模型前向传播之前进行保存，在二值化网络模型反向传播过程中，对梯度进行更新时可使用该权重副本进行更新。
步骤S122，在二值化网络模型前向传播过程中，使用符号函数获取二值化激活值和二值化权重。
在本实施例中，一个神经元有n个二值化激活值作为输入，每一个二值化激活值对应一个权值w，神经元内会对二值化激活值与二值化权重做乘法后求和，求和的结果与偏置做差，最终将结果放入符号函数中，由符号函数给出最后的输出，其中，二值化激活值与二值化权重以二进制形式表示，输出也以二进制形式表示，输出0状态代表抑制，1状态代表激活。在二值化网络模型前向传播过程中，在二值化网络模型前向传播过程中，给定输入数据，一层一层的计算，前一层符号函数的结果作为下一层的输入，使用符号函数得到二值化权重与二值化激活值，使用上一层的二值化激活值与二值化权重相乘求和，求和的结果与偏置做差得到一个偏置参数，该偏置参数也为二值化参数。
步骤S123，对通道图像数据进行归一化处理。
在本实施例中，将二值化权重发送至执行归一化处理层进行归一化操作，所述归一化，也称为标准差标准化，采用z-score对通道图像数据进行归一化处理，首先获取各通道图像数据，以卷积核为单位计算所述图像数据的均值，接着，对各卷积核中的图像数据做减均值和标准化操作；最后，获取各通道图像数据，计算各图像通道的均值并对对应通道中的所有像素做减均值操作，其中，二值化权重中的图像像素服从伯努利分布且方差为1、所述二值化激活值中的图像像素服从伯努利分布，所述归一化处理通常是在二值化网络模型前向传播过程，进入激活层之前使用，可以加速模型训练并降低通道图像权重尺度的影响，以提升模型的收敛速度和精度。
步骤S124，根据所述二值化权重和二值化激活值进行模型推断。
在本实施例中，将归一化处理后的图像数据对应的二值化权重以及二值化激活值输入模型进行二值化输入模型推断，模型推断过程包括二值化网络模型反向传播过程以及二值化网络模型前向传播过程。
步骤S125，在二值化网络模型反向传播过程中，使用梯度更新所述权重副本，其中，对所述权重副本更新时，将不满足预设值的权重进行裁剪。
在本实施例中，在二值化网络模型反向传播过程中，计算每一层的梯度，从输出层开始计算，反向计算前一层，一直到计算出第一层的梯度值，其中，根据二值化权重以及二值化激活值计算模型梯度，所述梯度是实数而非二值化，使用权重副本对梯度进行更新，对所述权重副本更新时，将不满足预设值+1和-1的权重进行裁剪以降低通道图像权重尺度。
由于采用将进行均衡处理后的输入图像输入深度学习模型进行训练，得到模型参数，通过在训练过程中，保存各通道图像的权重副本，在二值化网络模型前向传播过程中，使用符号函数获取二值化激活值和二值化权重，对通道图像数据进行归一化处理，根据所述二值化权重和二值化激活值进行模型推断，加速模型训练并降低通道图像权重尺度；在二值化网络模型反向传播过程中，使用梯度更新所述权重副本，其中，对所述权重副本更新时，将不满足预设值的权重进行裁剪的技术方案，解决了现有技术中二值化网络模型参数多以及运行速度慢的问题，减小了精度损失，提高运行速度。
步骤S130，将所述模型参数的相邻层进行等价放缩得到缩放后的模型参数。
在本实施例中，对模型前向传播与反向传播过程中，保存并更新每一层输出的最大值、最小值，获取相邻两层可用于等价缩放的比例因子，根据获取到的最大值、最小值调整不同通道的权重，并且整个过程将一直遍历到输出层，以达到让整个模型可等价缩放的输出都被调整。
参照图6，图6为本发明二值化输入模型的量化方法的第一实施例步骤S130的一个细化流程示意图，包括以下步骤：
步骤S131，获取相邻两层可用于等价缩放的比例因子，根据所述相邻两层中的最大值、最小值调整不同通道的权重。
在本实施例中，在二值化网络中，前一层的输出可作为下一层的输入，直到遍历至输出层终止；例如：二值化网络模型中包括三个层，最后一层为输出层，且每一输入层又包括三个节点，每个节点对应一个激活值，其中，可以包括最大值、最小值以及中间值，第一层节点的输出可作为第二层节点的输入，以此类推，直至遍历至输出层终止，而每一层节点之间可以任意组合，每一层节点的连接对应一个通道权重，在训练过程中，保存第一层输出的最大值以及最小值，通过获取每一层的最大值以及最小值调整对应通道的权重。
步骤S132，遍历至输出层，以调整整个深度学习模型可等价缩放的输出的权重。
在本实施例中，遍历至输出层，保存每一层的最大值以及最小值调整相应通道的权重，寻找相邻两层可用于等价缩放的比例因子，获取每一层的最大值以及最小值，对每一层可用于等价缩放的输出的通道的权重乘以一个比例因子，其中，通过每一层相应的最大值以及最小值调整相应通道的权重，使得整个深度学习模型中每个可等价缩放的输出的权重都得到调整，例如：假设模型中有相邻的y＝f(w1x+b1)和h＝f(w2x+b2)层，其中y和h代表不同层，w1和w2对应每一层对应的权重，x表示输出，b1和b2表示偏置，对w1和b1乘以一个比例因子scale矩阵以均衡输出分布，那么为了保证h的输出等价于乘以scale因子之前，需要对w2乘以一个scale对角矩阵来恢复结果。
由于采用将所述模型参数的相邻层进行等价放缩得到缩放后的模型参数，通过获取相邻两层可用于等价缩放的比例因子，根据所述相邻两层中的最大值、最小值调整不同通道的权重，遍历至输出层，以调整整个深度学习模型可等价缩放的输出的权重，再将具有缩放后的模型参数的深度学习模型进行模型量化的技术方案，解决了现有技术中二值化网络模型输出分布不均衡导致量化精度损失严重的问题，实现了二值化网络模型均衡分布。
步骤S140，将具有缩放后的模型参数的深度学习模型进行模型量化。
在本实施例中，所述缩放后的模型参数可以表示缩放后的输出对应的二值化权重以及二值化激活值，所述模型量化的原理是以较低的推理精度损失将连续取值的浮点型模型权重或流经模型的张量数据定点近似为有限多个离散值的过程，它是以更少位数的数据类型用于近似表示32位有限范围浮点型数据的过程，而模型的输入输出依然是浮点型，从而达到减少模型尺寸大小、减少模型内存消耗及加快模型推理速度等目标，本申请模型量化通过减少每个二值化权重所需的比特数来压缩二值化网络，将具有缩放后的输出对应的二值化权重以及二值化激活值的深度学习模型进行模型量化，通过模型量化实现二值化权重共享，加快二值化输入网络的运行速度。
由于采用将将预处理后的二值化输入图像进行均衡处理，将进行均衡处理后的输入图像输入深度学习模型进行训练，得到模型参数，将所述模型参数的相邻层进行等价放缩得到缩放后的模型参数，将具有缩放后的模型参数的深度学习模型进行模型量化的技术方案，解决了现有技术中图像数据的异常分布导致的进度损失严重的问题，实现了二值化网络模型均衡分布，降低了精度损失二值化，提高运行速度。
基于同一发明构思，本申请实施例还提供了一种二值化输入模型系统，所述一种二值化输入模型系统包括一个或者多个处理器、存储器以及存储在所述存储器并可在所述处理器上运行的二值化输入模型的量化程序，所述处理器执行所述二值化输入模型的量化程序时实现如上所述的二值化输入模型的量化方法的各个步骤，且能达到相同的技术效果，为避免重复，这里不再赘述。
由于本申请实施例提供的二值化输入模型系统，为实施本申请实施例的方法所采用的二值化输入模型系统，故而基于本申请实施例所介绍的方法，本领域所属人员能够了解该二值化输入模型系统的具体结构及变形，故而在此不再赘述。凡是本申请实施例的方法所采用的二值化输入模型系统都属于本申请所欲保护的范围。上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
基于同一发明构思，本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有二值化输入模型的量化程序，所述二值化输入模型的量化程序被处理器执行时实现如上所述的二值化输入模型的量化方法的各个步骤，且能达到相同的技术效果，为避免重复，这里不再赘述。
由于本申请实施例提供的计算机可读存储介质，为实施本申请实施例的方法所采用的计算机可读存储介质，故而基于本申请实施例所介绍的方法，本领域所属人员能够了解该计算机可读存储介质的具体结构及变形，故而在此不再赘述。凡是本申请实施例的方法所采用的计算机可读存储介质都属于本申请所欲保护的范围。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
应当注意的是，在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的部件或步骤。位于部件之前的单词“一”或“一个”不排除存在多个这样的部件。本发明可以借助于包括有若干不同部件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种二值化输入模型的量化方法，其特征在于，所述方法包括：
将预处理后的二值化输入图像进行均衡处理；
将进行均衡处理后的输入图像输入深度学习模型进行训练，得到模型参数；
将所述模型参数的相邻层进行等价放缩得到缩放后的模型参数；
将具有缩放后的模型参数的深度学习模型进行模型量化。
2.如权利要求1所述的二值化输入模型的量化方法，其特征在于，所述均衡处理包括：
获取所述输入图像的三通道图像，为每个通道的图像进行增广处理。
3.如权利要求2所述的二值化输入模型的量化方法，其特征在于，所述为每个通道的图像进行增广处理，包括：
对通道图像进行高斯滤波处理以降低各图像像素噪声；
对通道图像进行反色处理以及直方图均衡处理以增强图像整体对比效果；
对通道图像进行随机线性扰动处理以使各图像像素分布均衡。
4.如权利要求3所述的二值化输入模型的量化方法，其特征在于，所述将进行均衡处理后的输入图像输入深度学习模型进行训练，包括：
在训练过程中，保存各通道图像的权重副本；
在二值化网络模型前向传播过程中，使用符号函数获取二值化激活值和二值化权重；
根据所述二值化权重和二值化激活值进行模型推断；
在二值化网络模型反向传播过程中，使用梯度更新所述权重副本，其中，对所述权重副本更新时，将不满足预设值的权重进行裁剪。
5.如权利要求4所述的二值化输入模型的量化方法，其特征在于，所述根据所述二值化权重和二值化激活值进行模型推断之前，还包括：对通道图像数据进行归一化处理。
6.如权利要求5所述的二值化输入模型的量化方法，其特征在于，所述对通道图像数据进行归一化处理，包括：
获取各通道图像数据，以卷积核为单位计算所述图像数据的均值；
对各卷积核中的图像数据做减均值和标准化操作；
获取各通道图像数据，计算各图像通道的均值并对对应通道中的所有像素做减均值操作。
7.如权利要求6所述的二值化输入模型的量化方法，其特征在于，所述二值化权重中的图像像素服从伯努利分布且方差为1、所述二值化激活值中的图像像素服从伯努利分布。
8.如权利要求1所述的二值化输入模型的量化方法，其特征在于，所述将所述模型参数的相邻层进行等价放缩得到缩放后的模型参数，包括：
获取相邻两层可用于等价缩放的比例因子，根据所述相邻两层中的最大值、最小值调整不同通道的权重；
遍历至输出层，以调整整个深度学习模型可等价缩放的输出的权重。
9.一种二值化输入模型系统，其特征在于，所述系统至少包括一个或者多个处理器、存储器及存储在存储器上并可在处理器上运行的二值化输入模型的量化程序，所述处理器执行所述二值化输入模型的量化程序时实现权利要求1-8任一所述的方法。
10.一种计算机可读存储介质，其特征在于，其上存储有二值化输入模型的量化程序，其特征在于，该二值化输入模型的量化程序被处理器执行时实现权利要求1-8任一所述的方法。
CN202011235611.6A 2020-11-06 2020-11-06 二值化输入模型的量化方法及系统、计算机可读存储介质 Pending CN114444679A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011235611.6A CN114444679A (zh) 2020-11-06 2020-11-06 二值化输入模型的量化方法及系统、计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011235611.6A CN114444679A (zh) 2020-11-06 2020-11-06 二值化输入模型的量化方法及系统、计算机可读存储介质

Publications (1)

Publication Number Publication Date
CN114444679A true CN114444679A (zh) 2022-05-06

Family

ID=81361226

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011235611.6A Pending CN114444679A (zh) 2020-11-06 2020-11-06 二值化输入模型的量化方法及系统、计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN114444679A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115238893A (zh) * 2022-09-23 2022-10-25 北京航空航天大学 面向自然语言处理的神经网络模型量化方法和装置
CN116432715A (zh) * 2023-06-14 2023-07-14 深圳比特微电子科技有限公司 一种模型压缩方法、装置和可读存储介质
CN116451770A (zh) * 2023-05-19 2023-07-18 北京百度网讯科技有限公司 神经网络模型的压缩方法、训练方法、处理方法和装置

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115238893A (zh) * 2022-09-23 2022-10-25 北京航空航天大学 面向自然语言处理的神经网络模型量化方法和装置
CN115238893B (zh) * 2022-09-23 2023-01-17 北京航空航天大学 面向自然语言处理的神经网络模型量化方法和装置
CN116451770A (zh) * 2023-05-19 2023-07-18 北京百度网讯科技有限公司 神经网络模型的压缩方法、训练方法、处理方法和装置
CN116451770B (zh) * 2023-05-19 2024-03-01 北京百度网讯科技有限公司 神经网络模型的压缩方法、训练方法、处理方法和装置
CN116432715A (zh) * 2023-06-14 2023-07-14 深圳比特微电子科技有限公司 一种模型压缩方法、装置和可读存储介质
CN116432715B (zh) * 2023-06-14 2023-11-10 深圳比特微电子科技有限公司 一种模型压缩方法、装置和可读存储介质

Similar Documents

Publication Publication Date Title
CN110599409B (zh) 基于多尺度卷积组与并行的卷积神经网络图像去噪方法
CN114444679A (zh) 二值化输入模型的量化方法及系统、计算机可读存储介质
CN111292264B (zh) 一种基于深度学习的图像高动态范围重建方法
CN109685743B (zh) 基于噪声学习神经网络模型的图像混合噪声消除方法
CN111695633B (zh) 基于rpf-cam的低照度目标检测方法
CN111209858B (zh) 一种基于深度卷积神经网络的实时车牌检测方法
CN111986126B (zh) 一种基于改进vgg16网络的多目标检测方法
CN112561881B (zh) 基于评价模型的红外图像自适应数据增强方法
CN109815931B (zh) 一种视频物体识别的方法、装置、设备以及存储介质
CN111986125A (zh) 一种用于多目标任务实例分割的方法
CN111047543A (zh) 图像增强方法、装置和存储介质
CN111179196B (zh) 一种基于分而治之的多分辨率深度网络图像去高光方法
CN111127360A (zh) 一种基于自动编码器的灰度图像迁移学习方法
CN116468746B (zh) 一种双向复制粘贴的半监督医学图像分割方法
Steffens et al. Cnn based image restoration: Adjusting ill-exposed srgb images in post-processing
CN116863194A (zh) 一种足溃疡图像分类方法、系统、设备及介质
CN111768326A (zh) 一种基于gan扩增图像前景物体的高容量数据保护方法
CN111241993B (zh) 座位数的确定方法、装置、电子设备及存储介质
CN117422653A (zh) 一种基于权重共享和迭代数据优化的低光照图像增强方法
Dixit et al. Image Contrast Optimization using Local Color Correction and Fuzzy Intensification
CN107292840B (zh) 图像复原方法及装置、计算机可读存储介质、终端
CN112991236B (zh) 一种基于模板的图像增强方法及装置
Zhou et al. An improved algorithm using weighted guided coefficient and union self‐adaptive image enhancement for single image haze removal
CN114913588A (zh) 一种应用于复杂场景下的人脸图像修复及识别方法
CN114202475A (zh) 自适应图像增强方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination