CN112926570B - 一种自适应比特网络量化方法、系统及图像处理方法 - Google Patents

一种自适应比特网络量化方法、系统及图像处理方法 Download PDF

Info

Publication number
CN112926570B
CN112926570B CN202110323738.1A CN202110323738A CN112926570B CN 112926570 B CN112926570 B CN 112926570B CN 202110323738 A CN202110323738 A CN 202110323738A CN 112926570 B CN112926570 B CN 112926570B
Authority
CN
China
Prior art keywords
network
quantization
full
bit width
parameters
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110323738.1A
Other languages
English (en)
Other versions
CN112926570A (zh
Inventor
戴文睿
费文
李成林
邹君妮
熊红凯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Jiaotong University
Original Assignee
Shanghai Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Jiaotong University filed Critical Shanghai Jiaotong University
Priority to CN202110323738.1A priority Critical patent/CN112926570B/zh
Publication of CN112926570A publication Critical patent/CN112926570A/zh
Application granted granted Critical
Publication of CN112926570B publication Critical patent/CN112926570B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种自适应比特网络量化方法、系统及图像处理方法，包括：获取全精度网络模型；获取所应用的分类任务下的测试数据集，并在测试数据集测试全精度网络模型的分类结果；使用量化函数对全精度网络模型的参数进行量化，并计算不同参数在待选比特位宽条件下量化前后的标准误差；估计不同参数的量化对网络性能的影响，获得当前参数的重要性；求解目标压缩率下具有最高准确度的比特位宽分配策略；将网络按照比特位宽分配策略进行量化，得到最终网络，用于图像分类和目标检测。本发明可以快速给出不同压缩率要求下网络参数的比特位宽和量化模型，同时保证较高的分类准确度，保证了量化方法的通用性。

Description

一种自适应比特网络量化方法、系统及图像处理方法
技术领域
本发明涉及图像处理技术领域，特别涉及一种自适应比特网络量化方法、系统及图像处理方法。
背景技术
图像是人类获取和交换信息的主要媒介，图像处理技术的发展深刻影响着人们生产生活。尤其到了21世纪，随着人类活动范围的扩大和成像技术的进步，图像数据的数量和质量都取得极大的增长，于是，图像数据的智能化处理受到越来越多的重视。目前主要的图像处理任务包括分类，即对图片包含的主要目标进行判断；以及目标识别，即定位图片中特定类别物体所在的位置。传统的图像分类和目标识别方法，需要手工设计特征提取器从输入图像中提取特征，并基于特征进行分类或者回归，来判断图片包含的主要目标或者图片中特定类别物体的位置，不能充分根据目标图像联合优化特征提取和分类/回归等步骤。
近年来，计算能力的提升极大推动人工智能的发展，以深度神经网络为代表的技术广泛应用在图像处理领域，明显提升传统方法的性能。然而，深度神经网络对于计算量的巨大需求也阻碍这项技术在资源受限的环境下应用。随着移动媒体业务、智能监控和自动驾驶等领域图像处理的需求激增，如何在例如手机和可穿戴设备、图像采集设备以及车载设备等部署和应用深度神经网络成为亟待解决的问题。参数量化通过使用定点数运算代替浮点数运算，节省带宽和计算资源。同时，许多研究工作指出低精度的网络模型也能有不错的性能表现，这为模型量化提供了可能。
模型量化通常会带来信息损失，典型的，在图像分类任务中，低比特量化后的网络的分类准确率会出现明显下降。混合精度量化可在一定程度解决这个问题，混合精度量化为不同参数选择合适的比特位宽，对分类结果影响小而参数量大的网络权重被分配低比特，这样同时保证了压缩率和准确度。自适应比特位宽分配则根据设定的准则计算参数的重要性，从而自动地给出相应参数的比特位宽。现有自适应比特位宽分配方法包括基于网络结构搜索和基于性能估计两种，基于搜索的方法需要耗费大量时间和资源训练一个超网络，而现有基于性能估计的方法只能应用在线性量化函数而且性能欠佳。
发明内容
本发明针对上述现有技术中存在的问题，提出一种自适应比特网络量化方法、系统及图像处理方法，主要用于图像分类和目标检测等领域。
为解决上述技术问题，本发明是通过如下技术方案实现的：
本发明提供一种自适应比特网络量化方法，其包括：
S11：获取全精度网络模型；
S12：获取所应用的分类任务下的测试数据集，并在所述测试数据集测试所述S11所获取的全精度网络模型的分类结果；
S13：使用量化函数对所述全精度网络模型的参数进行量化，并计算不同参数在待选比特位宽条件下量化前后的标准误差；
S14：估计不同参数的量化对网络性能的影响，对于任意一个参数，加入固定强度的标准高斯噪声，并保持其他参数不变，利用所述S12所获取的测试数据集进行测试得到分类结果，并与所述S12中的全精度网络模型的分类结果进行对比获得当前参数的重要性；
S15：计算各种比特位宽分配策略的分配准确度，求解目标压缩率下具有最高准确度的比特位宽分配策略；
S16：将网络按照所述S15所选择的比特位宽分配策略进行量化，得到最终网络。
较佳地，所述S14中当前参数的重要性的计算方式为：给定第i个网络参数Wi、第j张图片，参数重要性Tij为Wi加入标准噪声后的网络Fqi与全精度网络F输出的分类结果的标准误差：
Figure BDA0002993793200000021
较佳地，所述S15中的计算各种比特位宽分配策略的分配准确度进一步包括：通过分析量化噪声以及网络参数重要性估计网络的性能指标；
所述量化噪声具体为：当前网络层参数进行量化后与全精度网络模型的参数之间的差值ε，所述量化噪声的强度为所述S13中的标准误差；
所述性能指标具体为：对于所述测试数据集中的每一张图片，量化后网络预测的类别与所述全精度网络相同的概率p，所述概率越大，表示量化网络越准确。
较佳地，所述S15进一步包括：
S151：将全部参数产生的量化噪声按照重要性的权重叠加起来，得到等效误差，对于第j张测试图片，等效误差为：
Figure BDA0002993793200000031
S152：根据等效误差∈j、全精度网络输出值中最大概率值与次大概率值的概率差值δj，通过概率误差函数G(∈j,δj)来计算第j张测试图片的性能指标：pj＝G(∈j,δj)。
较佳地，所述S15中的计算各种比特位宽分配策略的分配准确度进一步包括：通过动态规划算法来分析量化噪声以及网络参数重要性估计网络的性能指标；
所述动态规划算法是依照网络参数序数进行的，其状态空间为不同压缩率下当前参数的最优比特位宽。
本发明还提供一种自适应比特网络量化系统，其包括：初始化单元、测试数据集获取单元、预处理单元、当前参数重要性获得单元、比特位宽计算单元以及网络量化单元；其中，
所述初始化单元用于获取全精度网络模型；
所述测试数据集获取单元用于获取所应用的分类任务下的测试数据集，并在所述测试数据集测试所述初始化单元所获取的全精度网络模型的分类结果；
所述预处理单元用于使用量化函数对所述全精度网络模型的参数进行量化，并计算不同参数在待选比特位宽条件下量化前后的标准误差；
所述当前参数重要性获得单元用于估计不同参数的量化对网络性能的影响，对于任意一个参数，加入固定强度的标准高斯噪声，并保持其他参数不变，利用所述测试数据集获取单元所获取的测试数据集进行测试得到分类结果，并与所述测试数据集获取单元中的全精度网络模型的分类结果进行对比获得当前参数的重要性；
所述比特位宽计算单元用于计算各种比特位宽分配策略的分配准确度，求解目标压缩率下具有最高准确度的比特位宽分配策略；
所述网络量化单元用于将网络按照所述比特位宽计算单元所选择的比特位宽分配策略进行量化，得到最终网络。
较佳地，所述当前参数重要性获得单元中当前参数的重要性的计算方式为：给定第i个网络参数Wi、第j张图片，参数重要性Tij为Wi加入标准噪声后的网络Fqi与全精度网络F输出的分类结果的标准误差：
Figure BDA0002993793200000032
较佳地，所述比特位宽计算单元进一步用于通过分析量化噪声以及网络参数重要性估计网络的性能指标；
所述量化噪声具体为：当前网络层参数进行量化后与全精度网络模型的参数之间的差值ε，所述量化噪声的强度为所述S13中的标准误差；
所述性能指标具体为：对于所述测试数据集中的每一张图片，量化后网络预测的类别与所述全精度网络相同的概率p，所述概率越大，表示量化网络越准确。
较佳地，所述比特位宽计算单元进一步包括：等效噪声计算单元以及概率估计单元；其中，
所述等效噪声计算单元用于：将全部参数产生的量化噪声按照重要性的权重叠加起来，得到等效误差，对于第j张测试图片，等效误差为：
Figure BDA0002993793200000041
所述概率估计单元进一步用于：根据等效误差∈j、全精度网络输出值中最大概率值与次大概率值的概率差值δj，通过概率误差函数G(∈j,δj)来计算第j张测试图片的性能指标：pj＝G(∈j,δj)。
本发明还提供一种图像处理方法，用于实现图像分类或图像目标检测，包括：
获取待分类或待检测的原始图像；
采用神经网络对所述原始图像进行分类或目标检测，其中，所述神经网络经上述的自适应比特网络量化方法得到。
本发明还提供一种图像处理系统，用于实现图像分类或图像目标检测，所述系统包括：
图像获取模块，该模块获取待分类或待检测的原始图像；
处理处理模块，该模块采用神经网络对所述原始图像进行分类或目标检测，其中，所述神经网络经上述的自适应比特网络量化方法得到。
本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述的自适应比特网络量化方法或上述图像处理方法。
本发明还提供一种计算机可读存储介质，其存储用于电子数据交换的计算机程序，其中，所述计算机程序使得计算机执行上述的自适应比特网络量化方法或上述图像处理方法。
本发明还提供一种计算机程序产品，所述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，所述计算机程序可操作来使计算机执行上述的自适应比特网络量化方法或上述图像处理方法。
相较于现有技术，本发明实施例具有以下至少一种优点：
(1)本发明提供的自适应比特网络量化方法、系统，可以快速给出不同压缩率要求下网络参数的比特位宽和量化模型，同时保证较高的分类准确度，保证了量化方法的通用性和实用性，可用于图像分类和目标检测等领域；
(2)本发明提供的自适应比特网络量化方法、系统，适用于由任意多个计算层串联构成神经网络，网络输出属于不同类别的概率；可以应用在原本需要手动设计神经网络的场合，典型应用是图像分类任务，也可以用来分析包括音视频在内的数据类型；更进一步，可以应用到芯片中，利用芯片系统进行并行加速实现神经网络的量化从而适应各种工业场景；
(3)本发明提供的自适应比特网络量化方法、系统，通过动态规划算法，分解子问题的方式迭代优化各个参数的比特位宽，显著降低了时间复杂度，可以快速给出目标压缩率下的最优比特位宽分配。
(4)本发明提供的图像处理方法、系统、设备以及介质，采用上述自适应比特网络量化方法得到的网络进行处理，实现只利用全精度网络1/4到1/8硬件资源条件，达到和全精度网络相近的处理能力，并降低处理时间和资源耗损。
附图说明
下面结合附图对本发明的实施方式作进一步说明：
图1为本发明一实施例的自适应比特网络量化方法的流程图；
图2为本发明一实施例的神经网络的结构示意图；
图3为本发明一实施例的估计不同参数的量化对网络性能的影响的示意图；
图4为本发明一实施例的自适应比特网络量化系统的结构示意图。
标号说明：1-初始化单元，2-测试数据集获取单元，3-预处理单元，4-当前参数重要性获得单元，5-比特位宽计算单元，6-网络量化单元。
具体实施方式
下面对本发明的实施例作详细说明，本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。
如图1所示，为本发明一实施例的自适应比特网络量化方法的流程图。
请参考图1，本实施例的自适应比特网络量化方法包括：
S11：获取全精度网络模型；
一实施例中，全精度网络模型可以由数据训练得到，也可以是从模型提供商购买，其特征是可以完成特定图片的分类任务。
S12：获取所应用的分类任务下的测试数据集，并在测试数据集测试S11所获取的全精度网络模型的分类结果；
一实施例中，测试数据集可以从训练集采集得到，即随机选择一部分训练图像数据，也可以在实际环境采集后经人工标注的图片。测试数据集有1000张图片就能达到不错的效果，而通常训练数据集规模接近百万，这说明本发明计算复杂度相对于训练一个完整网络是很低的。将测试数据集输入到上述全精度网络模型，得到测试图片属于各个类别的概率值。测试数据集的分类结果是指对于数据集中每一张图片，网络最后一层输出该图片属于某一类别的概率，概率最大的类别即为预测的类别信息。
S13：使用量化函数对全精度网络模型的参数进行量化，并计算不同参数在待选比特位宽条件下量化前后的标准误差；
一实施例中，量化函数实现的连续的浮点型网络参数向离散数据点映射的功能，包括但不限于对称线性量化、非对称线性量化及对数比例量化。常用的量化函数有线性量化，将[a,b]区间数值x量化为b比特的公式为
Figure BDA0002993793200000061
允许溢出(overflow)的线性量化，即将部分待量化的极端值固定为区间边界值；非均匀量化等。调用上述量化函数对所有参数在相应比特位宽下量化，以及基于聚类算法的非线性量化。量化噪声通过计算量化后的数值与原始值的标准误差
Figure BDA0002993793200000062
得到。对于n个参数，每个参数p种比特位宽选择，本步骤将得到n*p的量化噪声矩阵εik，而且对于每一个参数，随之比特位宽的下降，量化噪声急剧增大。
S14：估计不同参数的量化对网络性能的影响，对于任意一个参数，加入固定强度的标准高斯噪声，并保持其他参数不变，利用S12所获取的测试数据集进行测试得到分类结果，并与S12中的全精度网络模型的分类结果进行对比获得当前参数的重要性；
一实施例中，标准高斯噪声为概率分布服从均值为0，方差为1的高斯分布的噪声。
S15：计算各种比特位宽分配策略的分配准确度，求解目标压缩率下具有最高准确度的比特位宽分配策略；
S16：将网络按照S15所选择的比特位宽分配策略进行量化，得到最终网络。
一实施例中，S11中的全精度神经网络为卷积神经网络，包括：VGG系列网络、残差网络(ResNet)等。全精度网络模型由多个计算层串联构成并且在某项图像分类任务上达到较高的分类准确度。计算层指包含待量化参数的网络层，包括：全连接层和卷积层。串联方式指数据流动方向是单向的，不含循环结构。全精度指网络参数的储存类型为浮点型，单个网络参数的储存长度大于或等于16比特。如图2所示，在一实施例中，神经网络的由5个计算层堆叠而成，中间加入辅助结构，每一个计算层含有一个待量化的权重参数，其中，ReLU是一个不含参数的逐点运算的非线性函数，池化层对特征图进行下采样。位宽分配的任务是为上述5个参数选择量化的比特位宽，达到目标压缩率。
较佳实施例中，S14中当前参数的重要性的计算方式为：给定第i个网络参数Wi、第j张图片，参数重要性Tij为Wi加入标准噪声后的网络Fqi与全精度网络F输出的分类结果的标准误差：
Figure BDA0002993793200000071
误差Tij越大，即参数的重要性越高，当前参数上添加少量噪声就可能改变分类输出，同时，网络分类结果是最后一层的输出，参数的重要性又表示了量化噪声传播过程中的放大系数。
较佳实施例中，S15中的计算各种比特位宽分配策略的分配准确度进一步包括：通过分析量化噪声以及网络参数重要性估计网络的性能指标；
量化噪声具体为：当前网络层参数进行量化后与全精度网络模型的参数之间的差值ε，量化噪声的强度为S13中的标准误差；
性能指标具体为：对于测试数据集中的每一张图片，量化后网络预测的类别与全精度网络相同的概率p，概率越大，表示量化网络越准确。
较佳实施例中，如图3所示，S15进一步包括：
S151：将全部参数产生的量化噪声按照重要性的权重叠加起来，得到等效误差，对于第j张测试图片，等效误差为：
Figure BDA0002993793200000072
S152：根据等效误差∈j、全精度网络输出值中最大概率值与次大概率值的概率差值δj，通过概率误差函数G(∈j,δj)来计算第j张测试图片的性能指标：pj＝G(∈j,δj)。在一些近似条件下，这个概率函数有如下的表达式：
Figure BDA0002993793200000073
公式中
Figure BDA0002993793200000074
K为分类任务中的类别数，β(·,·)为贝塔函数族，常用在球面函数的积分中。在一实施例中，概率函数是一维变量函数，将概率函数按一定精度保存为查询列表，以提高计算效率。
较佳实施例中，S15中的计算各种比特位宽分配策略的分配准确度进一步包括：通过动态规划算法来分析量化噪声以及网络参数重要性估计网络的性能指标。进一步地，动态规划算法是依照网络参数序数进行的，其状态空间为不同压缩率下当前参数的最优比特位宽。具体地，包括：给定网络参数最大占用内存空间(T比特)，求具有最低分类误差(最高分类准确度)的比特位宽分配方案：
Figure BDA0002993793200000081
将上述优化问题按照参数序数顺序依次分解，每一个子问题求解当前参数在不同内存空间要求下的最优比特位宽。动态规划的状态空间为量化后参数占用内存空间(B比特)，在当前参数序数为i时，状态空间转移方程式表示为：
Figure BDA0002993793200000082
函数G′中的前两项用来计算不同状态下的等效噪声，估计网络性能，选择性能最好的比特位宽作为子问题的最优解，再经过迭代计算求得原问题的最优解。
在一具体实例中，将本发明的方法与现有的方法进行对比，来验证本发明的优点。完成图像分类任务图像分类任务ImageNet大规模视觉识别竞赛(ILSVRC2012)，该任务包含1000种类别，训练数据集拥有超过十万张图片，验证数据集有五万张图片。量化函数为允许溢出的线性量化，比特位宽选择是3-10比特。表1和表2分别为量化后的VGG16网络和ResNet50模型容量和准确率对比结果，本发明达到同等压缩率下的性能最优。
表1
Figure BDA0002993793200000083
表2
Figure BDA0002993793200000084
Figure BDA0002993793200000091
如图4所示为本发明一实施例的自适应比特网络量化系统的结构示意图。
请参考图4，本实施例的自适应比特网络量化系统包括：初始化单元1，测试数据集获取单元2、预处理单元3、当前参数重要性获得单元4、比特位宽计算单元5以及网络量化单元6。其中，初始化单元1用于获取全精度网络模型。测试数据集获取单元2用于获取所应用的分类任务下的测试数据集，并在测试数据集测试初始化单元1所获取的全精度网络模型的分类结果。预处理单元3用于使用量化函数对所述全精度网络模型的参数进行量化，并计算不同参数在待选比特位宽条件下量化前后的标准误差。当前参数重要性获得单元4用于估计不同参数的量化对网络性能的影响，对于任意一个参数，加入固定强度的标准高斯噪声，并保持其他参数不变，利用测试数据集获取单元所获取的测试数据集进行测试得到分类结果，并与测试数据集获取单元中的全精度网络模型的分类结果进行对比获得当前参数的重要性。比特位宽计算单元5用于计算各种比特位宽分配策略的分配准确度，求解目标压缩率下具有最高准确度的比特位宽分配策略；网络量化单元6用于将网络按照比特位宽计算单元5所选择的比特位宽分配策略进行量化，得到最终网络。
上述实施例的自适应比特网络量化方法、系统及可读存储介质可以用于图像目标检测。具体地，首先获得用于目标检测的原始网络，然后采用上述实施例中的自适应比特网络量化方法，得到量化后的神经网络，采用该神经网络对待检测的图像数据进行处理，得到目标检测结果的输出。
目标检测是找出图像中所有感兴趣的物体，包含物体定位和物体分类两个子任务，同时确定物体的类别和位置。目标检测模型的主要性能指标是检测准确度和速度，其中准确度主要考虑物体的定位以及分类准确度。用于目标检测的原始网络是广泛使用的一阶段检测网络，包括RetinaNet和SSD网络模型。一阶段检测网络结构由特征提取网络，类别判定网络和位置回归网络三部分组成，其中特征提取网络的输出作为类别判定网络和位置回归网络的输入，且位置回归网络和类别判定网络的层数相同，结构类似。综上，特征提取网络和类别判定网络级联构成通用的图像分类网络，应用上述图像分类的实施例得到特征提取网络和类别判定网络的比特位宽分配，并将类别判定网络的位宽结果赋予位置回归网络，最后量化全部网络获得用于目标检测的神经网络。
在本发明另一实施例中，提供一种图像处理方法，该方法中首先获取原始图像；再采用上述的自适应比特网络量化方法得到的神经网络进行处理，得到处理结果。
具体的，本实施例中利用PASCAL-VOC在2007年和2012年挑战赛的图片数据，在测试图片上定位车辆，房间设施，动物和人等四大类、20小类目标，采用平均期望精度(mAP,mean Average Precision)衡量模型对目标的定位能力，此项指标越大，表示目标识别更准确。PASCAL-VOC挑战赛的分类结果帮助实现智能机器人的路径规划和自主避障等任务。
本发明实施例提供的低精度神经网络只有全精度网络1/4到1/8大小，却达到和全精度网络相近的准确度，表3展示了量化后RetinaNet和SSD网络模型在此数据集上的平均期望精度。
表3
Figure BDA0002993793200000101
综上，本发明上述实施例的图像处理方法，在获取同样准确度的同时，能降低处理时间和计算资源。可以满足移动媒体业务、智能监控和自动驾驶等领域图像处理的需求，可以在手机和可穿戴设备、图像采集设备以及车载设备等部署使用。
在本发明另一实施例中，对应于上述图像处理方法，还提供一种图像处理系统，用于实现图像分类或图像目标检测，包括：
图像获取模块，该模块获取待分类或待检测的原始图像；其中原始图像可以是任何摄像或图像设备得到的图像；
处理处理模块，该模块采用神经网络对原始图像进行分类或目标检测，其中，神经网络经上述的自适应比特网络量化方法得到。
在本发明另一实施例中，还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述任一项实施例中的自适应比特网络量化方法或上述任一项实施例中图像处理方法。
可选地，存储器，用于存储程序；存储器，可以包括易失性存储器(英文：volatilememory)，例如随机存取存储器(英文：random-access memory，缩写：RAM)，如静态随机存取存储器(英文：static random-access memory，缩写：SRAM)，双倍数据率同步动态随机存取存储器(英文：Double Data Rate Synchronous Dynamic Random Access Memory，缩写：DDR SDRAM)等；存储器也可以包括非易失性存储器(英文：non-volatile memory)，例如快闪存储器(英文：flash memory)。存储器用于存储计算机程序(如实现上述方法的应用程序、功能模块等)、计算机指令等，上述的计算机程序、计算机指令等可以分区存储在一个或多个存储器中。并且上述的计算机程序、计算机指令、数据等可以被处理器调用。上述的计算机程序、计算机指令等可以分区存储在一个或多个存储器中。并且上述的计算机程序、计算机指令、数据等可以被处理器调用。处理器，用于执行存储器存储的计算机程序，以实现上述实施例涉及的方法中的各个步骤。处理器和存储器可以是独立结构，也可以是集成在一起的集成结构。
在本发明另一实施例中，还提供一种计算机可读存储介质，其存储用于电子数据交换的计算机程序，其中，计算机程序使得计算机执行上述任一项实施例中的自适应比特网络量化方法或上述任一项实施例中图像处理方法。
在本发明另一实施例中，本还提供一种计算机程序产品，计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，计算机程序可操作来使计算机执行上述任一项实施例中的自适应比特网络量化方法或上述任一项实施例中图像处理方法。
本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤。
此处公开的仅为本发明的优选实施例，本说明书选取并具体描述这些实施例，是为了更好地解释本发明的原理和实际应用，并不是对本发明的限定。任何本领域技术人员在说明书范围内所做的修改和变化，均应落在本发明所保护的范围内。

Claims (8)

1.一种自适应比特网络量化方法，用于实现图像分类，其特征在于，包括：
S11：获取全精度网络模型，获取待分类的原始图像；
S12：获取特定图像分类任务下的图像测试数据集，并在所述测试数据集测试所述S11所获取的全精度网络模型的分类结果；
S13：使用量化函数对所述全精度网络模型的参数进行量化，并计算不同参数在待选比特位宽条件下量化前后的标准误差；
S14：估计不同参数的量化对网络性能的影响，对于任意一个参数，加入固定强度的标准高斯噪声，并保持其他参数不变，利用所述S12所获取的图像测试数据集进行测试得到分类结果，并与所述S12中的全精度网络模型的分类结果进行对比获得当前参数的重要性；其中，当前参数的重要性的计算方式为：给定第i个网络参数Wi、第j张图片，参数重要性Tij为Wi加入标准噪声后的网络Fqi与全精度网络F输出的分类结果的标准误差：
Figure FDA0003967367250000011
Figure FDA0003967367250000012
S15：计算各种比特位宽分配策略的分配准确度，求解目标压缩率下具有最高准确度的比特位宽分配策略；其中，计算各种比特位宽分配策略的分配准确度进一步包括：通过分析量化噪声以及网络参数重要性估计网络的性能指标；
所述量化噪声具体为：当前网络层参数进行量化后与全精度网络模型的参数之间的差值ε，所述量化噪声的强度为所述S13中的标准误差；
所述性能指标具体为：对于所述测试数据集中的每一张图片，量化后网络预测的类别与所述全精度网络相同的概率p，所述概率越大，表示量化网络越准确；
所述S15进一步包括：
S151：将全部参数产生的量化噪声按照重要性的权重叠加起来，得到等效误差，对于第j张测试图片，等效误差为：
Figure FDA0003967367250000013
其中，Tij为Wi加入标准噪声后的网络Fqi与全精度网络F输出的分类结果的标准误差；n为参数的个数；
S152：根据等效误差∈j、全精度网络输出值中最大概率值与次大概率值的概率差值δj，通过概率误差函数G(∈j,δj)来计算第j张测试图片的性能指标：pj＝G(∈j,δj)；
概率误差函数G(∈j,δj)表达式为：
Figure FDA0003967367250000021
公式中
Figure FDA0003967367250000022
K为分类任务中的类别数，β(·,·)为贝塔函数族，常用在球面函数的积分中；
S16：将网络按照所述S15所选择的比特位宽分配策略进行量化，得到最终网络。
2.根据权利要求1所述的自适应比特网络量化方法，其特征在于，所述S15中的计算各种比特位宽分配策略的分配准确度进一步包括：通过动态规划算法来分析量化噪声以及网络参数重要性估计网络的性能指标；
所述动态规划算法是依照网络参数序数进行的，其状态空间为不同压缩率下当前参数的最优比特位宽；具体包括：给定网络参数最大占用内存空间T比特，求具有最低分类误差的比特位宽分配方案：
Figure FDA0003967367250000023
将上述优化问题按照参数序数顺序依次分解，每一个子问题求解当前参数在不同内存空间要求下的最优比特位宽；动态规划的状态空间为量化后参数占用内存空间B比特，在当前参数序数为i时，状态空间转移方程式表示为：
Figure FDA0003967367250000024
其中，函数G′中的前两项用来计算不同状态下的等效噪声，估计网络性能，选择性能最好的比特位宽作为子问题的最优解，再经过迭代计算求得原问题的最优解；Tij为分类结果的标准误差；n为参数的个数。
3.一种自适应比特网络量化系统，其特征在于，包括：初始化单元、测试数据集获取单元、预处理单元、当前参数重要性获得单元、比特位宽计算单元以及网络量化单元；其中，
所述初始化单元用于获取全精度网络模型，获取待分类的原始图像；
所述测试数据集获取单元用于获取特定图像的分类任务下的图像测试数据集，并在所述测试数据集测试所述初始化单元所获取的全精度网络模型的分类结果；
所述预处理单元用于使用量化函数对所述全精度网络模型的参数进行量化，并计算不同参数在待选比特位宽条件下量化前后的标准误差；
所述当前参数重要性获得单元用于估计不同参数的量化对网络性能的影响，对于任意一个参数，加入固定强度的标准高斯噪声，并保持其他参数不变，利用所述测试数据集获取单元所获取的图像测试数据集进行测试得到分类结果，并与所述测试数据集获取单元中的全精度网络模型的分类结果进行对比获得当前参数的重要性；其中，当前参数的重要性的计算方式为：给定第i个网络参数Wi、第j张图片，参数重要性Tij为Wi加入标准噪声后的网络Fqi与全精度网络F输出的分类结果的标准误差：
Figure FDA0003967367250000031
所述比特位宽计算单元用于计算各种比特位宽分配策略的分配准确度，求解目标压缩率下具有最高准确度的比特位宽分配策略；其中，计算各种比特位宽分配策略的分配准确度进一步包括：通过分析量化噪声以及网络参数重要性估计网络的性能指标；所述量化噪声具体为：当前网络层参数进行量化后与全精度网络模型的参数之间的差值ε，所述量化噪声的强度为所述预处理单元中的标准误差；所述性能指标具体为：对于所述测试数据集中的每一张图片，量化后网络预测的类别与所述全精度网络相同的概率p，所述概率越大，表示量化网络越准确；所述比特位宽计算单元进一步包括：
将全部参数产生的量化噪声按照重要性的权重叠加起来，得到等效误差，对于第j张测试图片，等效误差为：
Figure FDA0003967367250000032
其中，Tij为Wi加入标准噪声后的网络Fqi与全精度网络F输出的分类结果的标准误差；n为参数的个数；
根据等效误差∈j、全精度网络输出值中最大概率值与次大概率值的概率差值δj，通过概率误差函数G(∈j,δj)来计算第j张测试图片的性能指标：pj＝G(∈j,δj)；
概率误差函数G(∈j,δj)表达式为：
Figure FDA0003967367250000033
公式中
Figure FDA0003967367250000034
K为分类任务中的类别数，β(·,·)为贝塔函数族，常用在球面函数的积分中；
所述网络量化单元用于将网络按照所述比特位宽计算单元所选择的比特位宽分配策略进行量化，得到最终网络。
4.一种图像处理方法，用于实现图像分类或图像目标检测，其特征在于，包括：
获取待分类或待检测的原始图像；
采用神经网络对所述原始图像进行分类或目标检测，其中，所述神经网络经权利要求1至2任一项所述的自适应比特网络量化方法得到。
5.一种图像处理系统，用于实现图像分类或图像目标检测，其特征在于，包括：
图像获取模块，该模块获取待分类或待检测的原始图像；
处理处理模块，该模块采用神经网络对所述原始图像进行分类或目标检测，其中，所述神经网络经权利要求1至2任一项所述的自适应比特网络量化方法得到。
6.一种电子设备，其特征在于，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1-2任一项或权利要求4所述的方法。
7.一种计算机可读存储介质，其特征在于，其存储用于电子数据交换的计算机程序，其中，所述计算机程序使得计算机执行如权利要求1-2任一项或权利要求4所述的方法。
8.一种计算机，其特征在于，所述计算机包括存储了计算机程序的非瞬时性计算机可读存储介质，所述计算机程序可操作来使计算机执行如权利要求1-2任一项或权利要求4所述的方法。
CN202110323738.1A 2021-03-26 2021-03-26 一种自适应比特网络量化方法、系统及图像处理方法 Active CN112926570B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110323738.1A CN112926570B (zh) 2021-03-26 2021-03-26 一种自适应比特网络量化方法、系统及图像处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110323738.1A CN112926570B (zh) 2021-03-26 2021-03-26 一种自适应比特网络量化方法、系统及图像处理方法

Publications (2)

Publication Number Publication Date
CN112926570A CN112926570A (zh) 2021-06-08
CN112926570B true CN112926570B (zh) 2023-01-17

Family

ID=76176072

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110323738.1A Active CN112926570B (zh) 2021-03-26 2021-03-26 一种自适应比特网络量化方法、系统及图像处理方法

Country Status (1)

Country Link
CN (1) CN112926570B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113762489A (zh) * 2021-08-12 2021-12-07 北京交通大学 一种对深度卷积神经网络进行多位宽量化的方法
CN113627416B (zh) * 2021-10-12 2022-01-25 上海蜜度信息技术有限公司 图片分类和对象检测的同步处理方法、系统、存储介质及终端
CN114330749A (zh) * 2021-12-30 2022-04-12 中国石油大学(华东) 数字信号处理方法及装置
CN115620081B (zh) * 2022-09-27 2023-07-07 北京百度网讯科技有限公司 一种目标检测模型的训练方法及目标检测方法、装置
CN115759238B (zh) * 2023-01-04 2023-08-11 北京科技大学 一种量化模型的生成方法及装置、电子设备及存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110348562A (zh) * 2019-06-19 2019-10-18 北京迈格威科技有限公司 神经网络的量化策略确定方法、图像识别方法和装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110852434B (zh) * 2019-09-30 2022-09-23 梁磊 基于低精度浮点数的cnn量化方法、前向计算方法及硬件装置
CN111860495B (zh) * 2020-06-19 2022-05-17 上海交通大学 一种层级化网络结构搜索方法、设备及可读存储介质
CN112101524A (zh) * 2020-09-07 2020-12-18 上海交通大学 可在线切换比特位宽的量化神经网络的方法及系统

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110348562A (zh) * 2019-06-19 2019-10-18 北京迈格威科技有限公司 神经网络的量化策略确定方法、图像识别方法和装置

Also Published As

Publication number Publication date
CN112926570A (zh) 2021-06-08

Similar Documents

Publication Publication Date Title
CN112926570B (zh) 一种自适应比特网络量化方法、系统及图像处理方法
WO2023138300A1 (zh) 目标检测方法及应用其的移动目标跟踪方法
WO2021185125A1 (zh) 一种神经网络的定点化方法、装置
CN111382868B (zh) 神经网络结构搜索方法和神经网络结构搜索装置
CN111782840B (zh) 图像问答方法、装置、计算机设备和介质
US20170228432A1 (en) Automated outlier detection
CN108491827B (zh) 一种车辆检测方法、装置及存储介质
CN110686633B (zh) 一种滑坡位移预测方法、装置及电子设备
CA3148760C (en) Automated image retrieval with graph neural network
CN112818893A (zh) 一种面向移动终端的轻量化开集地标识别方法
CN116596095B (zh) 基于机器学习的碳排放量预测模型的训练方法及装置
US11423313B1 (en) Configurable function approximation based on switching mapping table content
CN114239799A (zh) 一种高效目标检测方法、设备、介质和系统
CN117217280A (zh) 神经网络模型优化方法、装置及计算设备
CN116524296A (zh) 设备缺陷检测模型的训练方法、装置和设备缺陷检测方法
CN111008992A (zh) 目标跟踪方法、装置和系统及存储介质
CN115659165A (zh) 园区负荷数据样本的构建方法、装置、设备及存储介质
CN116012598A (zh) 基于贝叶斯线性的图像识别方法、装置、设备和介质
CN114155388A (zh) 一种图像识别方法、装置、计算机设备和存储介质
CN112686278B (zh) 模型获取方法、装置及存储介质
CN117611580B (zh) 瑕疵检测方法、装置、计算机设备和存储介质
US20210397902A1 (en) Image analysis device and method, and method for generating image analysis model used for same
CN110874627B (zh) 数据处理方法、数据处理装置及计算机可读介质
CN117077813A (zh) 一种机器学习模型的训练方法及训练系统
CN117114069A (zh) 一种神经网络结构的搜索方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant