CN110533165A - 一种图像处理方法、装置及设备 - Google Patents

一种图像处理方法、装置及设备 Download PDF

Info

Publication number
CN110533165A
CN110533165A CN201910760134.6A CN201910760134A CN110533165A CN 110533165 A CN110533165 A CN 110533165A CN 201910760134 A CN201910760134 A CN 201910760134A CN 110533165 A CN110533165 A CN 110533165A
Authority
CN
China
Prior art keywords
quantization threshold
quantization
image processing
optimal
network model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910760134.6A
Other languages
English (en)
Other versions
CN110533165B (zh
Inventor
梁玲燕
董刚
赵雅倩
曹其春
刘海威
杨宏斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Inspur Electronic Information Industry Co Ltd
Original Assignee
Inspur Electronic Information Industry Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Inspur Electronic Information Industry Co Ltd filed Critical Inspur Electronic Information Industry Co Ltd
Priority to CN201910760134.6A priority Critical patent/CN110533165B/zh
Priority to PCT/CN2019/108958 priority patent/WO2021031298A1/zh
Priority to US17/615,367 priority patent/US20230252757A1/en
Publication of CN110533165A publication Critical patent/CN110533165A/zh
Application granted granted Critical
Publication of CN110533165B publication Critical patent/CN110533165B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/28—Quantising the image, e.g. histogram thresholding for discrimination between background and foreground patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/10—Interfaces, programming languages or software development kits, e.g. for simulating neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/48—Extraction of image or video features by mapping characteristic values of the pattern into a parameter space, e.g. Hough transformation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions

Abstract

本发明公开了一种图像处理方法，由于本发明中对于通过饱和映射法得到的第一量化阈值以及通过非饱和映射法得到的第二量化阈值进行了加权计算，相当于对两个量化阈值进行了融合，得到的最佳量化阈值可以适用于大多数的激活输出层，因此也就能够更加有效的保留激活输出层的有效信息，并用于后续的图像处理工作，提高了量化后的深度神经网络在低位宽硬件平台上，进行推理计算的精度。本发明还公开了一种图像处理装置及设备，具有如上图像处理方法相同的有益效果。

Description

一种图像处理方法、装置及设备
技术领域
本发明涉及图像处理领域，特别是涉及一种图像处理方法，本发明还涉及一种图像处理装置及设备。
背景技术
深度神经网络已逐渐应用于周边应用中以便对图片进行处理(比如分类、检测以及识别等处理)，但周边应用的一些设备一般只有较低的计算能力，而且内存和电量消耗也都受限，因此将模型量化使其模型尺寸变小，推理更快，耗电更低是非常有必要的。
现有技术中在对深度神经网络进行量化时，通常会根据由预选图片组成的标定数据集，采用饱和映射或者非饱和映射的方法得到一个量化阈值，然后根据得到的量化阈值便可以对深度神经网络的网络模型进行量化，从而将其应用于低位宽的目标硬件设备中进行图片的处理，但是饱和映射以及非饱和映射均只适用于深度神经网络中部分的激活输出层，如此一来，由于单一的方法总会不适用于部分的激活输出层，这些激活输出层便无法保留下来尽可能多的核心特征用于后续的图像处理工作，因此在利用量化后的深度神经网络进行图像处理时，很大程度上降低了对于图像处理的精度。
因此，如何提供一种解决上述技术问题的方案是本领域技术人员目前需要解决的问题。
发明内容
本发明的目的是提供一种图像处理方法，提高了图像处理的精度；本发明的另一目的是提供一种图像处理装置及设备，提高了图像处理的精度。
为解决上述技术问题，本发明提供了一种图像处理方法，包括：
根据由预选图片组成的标定数据集，采用饱和映射法计算出深度神经网络的网络模型中激活输出层的第一量化阈值；
根据所述标定数据集，采用非饱和映射法计算出所述激活输出层的第二量化阈值；
根据所述第一量化阈值以及所述第二量化阈值加权计算得到最佳量化阈值；
根据所述最佳量化阈值对所述网络模型进行量化；
将量化后的所述神经网络部署到硬件端并对待处理图片进行处理。
优选地，所述目标硬件平台为定点运算型硬件平台；
所述根据所述最佳量化阈值对所述网络模型进行量化具体为：
根据所述最佳量化阈值计算得到缩放因子；
根据2的幂次方形式的所述缩放因子对所述网络模型进行量化。
优选地，所述根据所述第一量化阈值以及所述第二量化阈值加权计算得到最佳量化阈值具体为：
Sbest＝α*Ssat+β*Sno-sat；
其中，Tsat为所述第一量化阈值，Tno-sat为所述第二量化阈值，γ为预设值且大于等于1，Ssat为所述第一量化阈值的以2为基底的形式，Sno-sat为所述第二量化阈值的以2为基底的形式，Sbest为刻度因子，Tbest为所述最佳量化阈值，α为所述第一量化阈值的权重，β为所述第二量化阈值的权重，ceil为向上取整函数，n为需要量化的定位位数。
优选地，所述刻度因子的计算过程为：
根据多组预设的α以及β组合计算出每组所述组合对应的所述候选刻度因子；
根据所述候选刻度因子各自的累计概率分布值以及量化误差以及预设比较标准，得到所述最佳刻度因子。
优选地，所述预设比较标准为：
若多个所述候选刻度因子的累计概率分布值均相等，则将量化误差最小的所述候选刻度因子作为所述最佳刻度因子；
若多个所述候选刻度因子的累计概率分布值不均相等，则将累计概率分布值最大的所述候选刻度因子作为所述最佳刻度因子。
优选地，所述饱和映射法为相对熵法或均方差法。
为解决上述技术问题，本发明还提供了一种图像处理装置，包括：
第一计算模块，用于根据由预选图片组成的标定数据集，采用饱和映射法计算出深度神经网络的网络模型中激活输出层的第一量化阈值；
第二计算模块，用于根据所述标定数据集，采用非饱和映射法计算出所述激活输出层的第二量化阈值；
第三计算模块，用于根据所述第一量化阈值以及所述第二量化阈值加权计算得到最佳量化阈值；
量化模块，用于根据所述最佳量化阈值对所述网络模型进行量化；
应用模块，用于将量化后的所述神经网络部署到硬件端并对待处理图片进行处理。
优选地，所述目标硬件平台为定点运算型硬件平台；
所述量化模块包括：
第四计算模块，用于根据所述最佳量化阈值计算得到缩放因子；
量化子模块，用于根据2的幂次方形式的所述缩放因子对所述网络模型进行量化。
优选地，所述饱和映射法为相对熵法。
为解决上述技术问题，本发明还提供了一种图像处理设备，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如上任一项所述图像处理方法的步骤。
本发明提供了一种图像处理方法，由于本发明中对于通过饱和映射法得到的第一量化阈值以及通过非饱和映射法得到的第二量化阈值进行了加权计算，相当于对两个量化阈值进行了融合，得到的最佳量化阈值可以适用于大多数的激活输出层，因此也就能够更加有效的保留激活输出层的有效信息，并用于后续的图像处理工作，提高了量化后的深度神经网络在低位宽硬件平台上，进行推理计算的精度。
本发明还提供了一种图像处理装置及设备，具有如上图像处理方法相同的有益效果。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对现有技术和实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明提供的一种图像处理方法的流程示意图；
图2为本发明提供的一种图像处理装置的结构示意图；
图3为本发明提供的一种图像处理设备的结构示意图。
具体实施方式
本发明的核心是提供一种图像处理方法，提高了图像处理的精度；本发明的另一核心是提供一种图像处理装置及设备，提高了图像处理的精度。
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参考图1，图1为本发明提供的一种图像处理方法的流程示意图，包括：
步骤S1：根据由预选图片组成的标定数据集，采用饱和映射法计算出深度神经网络的网络模型中激活输出层的第一量化阈值；
具体的，标定数据集可以由预选的各种典型图片组成，对于不同的图像处理任务以及不同的场景，预选的标定数据集也可能不同。
具体的，当前量化技术包括线性映射和非线性映射两种。在本发明中，重点讨论在线性映射过程中，当前技术存在的不足，以及本发明所提出的解决方案。在当前技术中，线性映射主要包括饱和映射和非饱和映射两种，不管是饱和映射模式还是非饱和映射模式，最佳量化阈值的计算将直接影响到量化后模型在实际运行中的分类/检测精度。
具体的，考虑到上述背景技术中的技术问题，本发明实施例中可以首先根据标定数据集，采用饱和映射法计算出网络模型中激活输出层的第一量化阈值，以便为后续步骤最佳量化阈值的计算提供数据基础。
步骤S2：根据标定数据集，采用非饱和映射法计算出激活输出层的第二量化阈值；
具体的，与步骤S1相同，考虑到现有技术中采用单一的饱和映射法或者非饱和映射法计算出来的量化阈值对网络模型进行量化，都会降低其图像处理的精度，因此在本步骤中可以采用非饱和映射法计算出激活输出层的第二量化阈值，以便作为后续步骤中计算最佳量化阈值的数据基础。
其中，非饱和映射法可以有多种类型，例如可以为最大值量化方法等，本发明实施例在此不做限定。
步骤S3：根据第一量化阈值以及第二量化阈值加权计算得到最佳量化阈值；
具体的，由于无论是采用饱和映射法还是非饱和映射法，其都仅仅适用于网络模型中的部分激活输出层，对于另外一些不适用的激活输出层来说，其无法保留大量的关键特征用于图像处理，因此整个网络模型保留下来总的用于图像处理的关键特征数量不足，导致了图像处理精度的降低，而在本发明实施例中，可以将通过饱和映射法以及非饱和映射法得到的第一量化阈值以及第二量化阈值通过加权的方法进行计算得到最佳量化阈值，相当于将两种映射法进行了融合，如此一来，可能对于某些激活输出层来说保留下来的关键特征数量减少了，但是对于整个网络模型来说，保留下来的关键特征数量必然是增加了，因此在进行图像处理时便具有了较高的处理精度。
具体的，其中第一量化阈值以及第二量化阈值的权重可以有多种设置方法，本发明实施例在此不做限定。
步骤S4：根据最佳量化阈值对网络模型进行量化；
具体的，可以根据融合后得到的最佳量化阈值对网络模型进行量化，以便将其应用在低位宽的目标硬件平台中并对待处理图片进行处理。
步骤S5：将量化后的神经网络部署到硬件端并对待处理图片进行处理。
具体的，量化后的网络模型便可以被用作图像处理，本发明实施例中的网络模型由于采用了由第一量化阈值以及第二量化阈值融合(加权计算)后得到的最佳量化阈值进行了量化，因此对于待处理图片的处理精度较高。
其中，待处理图片可以为多种类型的图片，例如可以为人脸图像等，本发明实施例在此不做限定。
本发明提供了一种图像处理方法，由于本发明中对于通过饱和映射法得到的第一量化阈值以及通过非饱和映射法得到的第二量化阈值进行了加权计算，相当于对两个量化阈值进行了融合，得到的最佳量化阈值可以适用于大多数的激活输出层，因此也就能够更加有效的保留激活输出层的有效信息，并用于后续的图像处理工作，提高了量化后的深度神经网络在低位宽硬件平台上，进行推理计算的精度。
在上述实施例的基础上：
作为一种优选的实施例，目标硬件平台为定点运算型硬件平台；
根据最佳量化阈值对网络模型进行量化具体为：
根据最佳量化阈值计算得到缩放因子；
根据2的幂次方形式的缩放因子对网络模型进行量化。
具体的，为了方便定点运算，提高计算效率，可以将用于量化网络模型的缩放因子表示为2的幂次方形式，以便在硬件处理端采用位移操作模式代替定点乘运算并提高计算效率。
当然，也可以不将缩放因子转换为2的幂次方形式，本发明实施例在此不做限定。
作为一种优选的实施例，根据第一量化阈值以及第二量化阈值加权计算得到最佳量化阈值具体为：
Sbest＝α*Ssat+β*Sno-sat；
其中，Tsat为第一量化阈值，Tno-sat为第二量化阈值，γ为预设值且大于等于1，Ssat为第一量化阈值的以2为基底的形式，Sno-sat为第二量化阈值的以2为基底的形式，Sbest为刻度因子，Tbest为最佳量化阈值，α为第一量化阈值的权重，β为第二量化阈值的权重，ceil为向上取整函数，n为需要量化的定位位数。
具体的，本发明实施例中的计算最佳量化阈值的过程具有速度快以及准确性高的优点，当然，除了本发明实施例中的具体过程中，加权计算最佳量化阈值还可以为其他具体过程，本发明实施例在此不做限定。
其中，Tno-sat一般可以取该激活输出层的最大值，而其中的γ取值区间可以为[1，2]，例如可以设置其为2等，本发明实施例在此不做限定。
其中，需要量化的定位位数可以为多种，例如16bit、8bit、4bit以及2bit等，本发明实施例在此不做限定。
其中，缩放因子可以表示为
其中，Sweight为权重值缩放因子，Sbest-in为输入feature的缩放因子，Sbest-out为卷积输出feature值的缩放因子。
作为一种优选的实施例，刻度因子的计算过程为：
根据多组预设的α以及β组合计算出每组组合对应的候选刻度因子；
根据候选刻度因子各自的累计概率分布值以及量化误差以及预设比较标准，得到最佳刻度因子。
具体的，预设的α以及β组合的数目以及具体形式均可以自主设定，且α以及β之和不大于1即可，例如α以及β的组合可以包括(0.5，0.5)、(0.4，0.6)、(0.3，0.7)、(0.2，0.8)、(0.1，0.9)以及(0，1)等，本发明实施例在此不做限定。
其中，候选刻度引子各自的累计概率分布值以及量化误差均可以通过该候选刻度引子对应的候选最佳量化阈值计算出来，即根据候选刻度因子计算出候选最佳量化阈值，然后根据候选最佳量化阈值再计算出自身对应的累计概率分布值以及量化误差。
具体的，通过对比每组α以及β组合对应的候选刻度因子的累计概率分布值以及量化误差，便可以选出最优的刻度因子作为最佳刻度因子，该最佳刻度因子对应的量化阈值便可以作为最佳量化阈值。
其中，由于累计概率分布值以及量化误差可以有效地表征网络模型对于图像处理的精度，通过这两个评价指标可以准确地找到能够提高图像处理精度的最佳刻度因子及其对应的最佳量化阈值。
当然，除了本发明实施例中提供的累计概率分布值以及量化误差外，评价指标还可以为其他类型，本发明实施例在此不做限定。
另外值得一提的是，还可以将第一量化阈值对应的累计概率分布值以及量化误差作为备选项与上述各组的累计概率分布值以及量化误差按照预设标准进行对比，若第一量化阈值对应的累计概率分布值以及量化误差为最优，那么即可以将第一量化阈值直接作为最优量化阈值，本发明实施例在此不做限定。
作为一种优选的实施例，预设比较标准为：
若多个候选刻度因子的累计概率分布值均相等，则将量化误差最小的候选刻度因子作为最佳刻度因子；
若多个候选刻度因子的累计概率分布值不均相等，则将累计概率分布值最大的候选刻度因子作为最佳刻度因子。
具体的，若累计概率分布值相等，则说明候选刻度因子对应的量化后的网络模型的图像处理精度大体相同，则比较量化过程中产生误差的可能性，即量化误差的大小，选取量化误差最小的候选刻度因子可以提高量化的可靠性。
具体的，若累计概率分布值不同，那么则可以将累计概率分布值最大的候选刻度引子作为最佳刻度因子，以便提高图像处理精度，本发明实施例在此不做限定。
作为一种优选的实施例，饱和映射法为相对熵法或均方差法。
具体的，相对熵法以及MSE(Mean-Square Error，均方差)法具有精准度高以及速度快等优点。
具体的，利用相对熵法得到第一量化阈值的过程可以为，首先遍历整个激活量输出，计算该激活层的最大激活输出值，然后在0到最大激活输出值之间查找使相对熵最小所对应的值作为第一量化阈值。
当然，除了相对熵法或者均方差法外，饱和映射法还可以为其他类型，本发明实施例在此不做限定。
请参考图2，图2为本发明提供的一种图像处理装置的结构示意图，包括：
第一计算模块1，用于根据由预选图片组成的标定数据集，采用饱和映射法计算出深度神经网络的网络模型中激活输出层的第一量化阈值；
第二计算模块2，用于根据标定数据集，采用非饱和映射法计算出激活输出层的第二量化阈值；
第三计算模块3，用于根据第一量化阈值以及第二量化阈值加权计算得到最佳量化阈值；
量化模块4，用于根据最佳量化阈值对网络模型进行量化；
应用模块5，用于将量化后的神经网络部署到硬件端并对待处理图片进行处理。
作为一种优选的实施例，目标硬件平台为定点运算型硬件平台；
量化模块包括：
第四计算模块，用于根据最佳量化阈值计算得到缩放因子；
量化子模块，用于根据2的幂次方形式的缩放因子对网络模型进行量化。
作为一种优选的实施例，饱和映射法为相对熵法。
对于本发明实施例提供的图像处理装置的介绍请参照前述的图像处理方法的实施例，本发明实施例在此不再赘述。
请参考图3，图3为本发明提供的一种图像处理设备的结构示意图，包括：
存储器6，用于存储计算机程序；
处理器7，用于执行计算机程序时实现如前述实施例中图像处理方法的步骤。
对于本发明实施例提供的图像处理设备的介绍请参照前述的图像处理方法的实施例，本发明实施例在此不再赘述。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
还需要说明的是，在本说明书中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者设备中还存在另外的相同要素。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其他实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种图像处理方法，其特征在于，包括：
根据由预选图片组成的标定数据集，采用饱和映射法计算出深度神经网络的网络模型中激活输出层的第一量化阈值；
根据所述标定数据集，采用非饱和映射法计算出所述激活输出层的第二量化阈值；
根据所述第一量化阈值以及所述第二量化阈值加权计算得到最佳量化阈值；
根据所述最佳量化阈值对所述网络模型进行量化；
将量化后的所述神经网络部署到硬件端并对待处理图片进行处理。
2.根据权利要求1所述的图像处理方法，其特征在于，所述目标硬件平台为定点运算型硬件平台；
所述根据所述最佳量化阈值对所述网络模型进行量化具体为：
根据所述最佳量化阈值计算得到缩放因子；
根据2的幂次方形式的所述缩放因子对所述网络模型进行量化。
3.根据权利要求1所述的图像处理方法，其特征在于，所述根据所述第一量化阈值以及所述第二量化阈值加权计算得到最佳量化阈值具体为：
Sbest＝α*Ssat+β*Sno-sat；
其中，Tsat为所述第一量化阈值，Tno-sat为所述第二量化阈值，γ为预设值且大于等于1，Ssat为所述第一量化阈值的以2为基底的形式，Sno-sat为所述第二量化阈值的以2为基底的形式，Sbest为刻度因子，Tbest为所述最佳量化阈值，α为所述第一量化阈值的权重，β为所述第二量化阈值的权重，ceil为向上取整函数，n为需要量化的定位位数。
4.根据权利要求3所述的图像处理方法，其特征在于，所述刻度因子的计算过程为：
根据多组预设的α以及β组合计算出每组所述组合对应的所述候选刻度因子；
根据所述候选刻度因子各自的累计概率分布值以及量化误差以及预设比较标准，得到所述最佳刻度因子。
5.根据权利要求4所述的图像处理方法，其特征在于，所述预设比较标准为：
若多个所述候选刻度因子的累计概率分布值均相等，则将量化误差最小的所述候选刻度因子作为所述最佳刻度因子；
若多个所述候选刻度因子的累计概率分布值不均相等，则将累计概率分布值最大的所述候选刻度因子作为所述最佳刻度因子。
6.根据权利要求1至5任一项所述的图像处理方法，其特征在于，所述饱和映射法为相对熵法或均方差法。
7.一种图像处理装置，其特征在于，包括：
第一计算模块，用于根据由预选图片组成的标定数据集，采用饱和映射法计算出深度神经网络的网络模型中激活输出层的第一量化阈值；
第二计算模块，用于根据所述标定数据集，采用非饱和映射法计算出所述激活输出层的第二量化阈值；
第三计算模块，用于根据所述第一量化阈值以及所述第二量化阈值加权计算得到最佳量化阈值；
量化模块，用于根据所述最佳量化阈值对所述网络模型进行量化；
应用模块，用于将量化后的所述神经网络部署到硬件端并对待处理图片进行处理。
8.根据权利要求7所述的图像处理装置，其特征在于，所述目标硬件平台为定点运算型硬件平台；
所述量化模块包括：
第四计算模块，用于根据所述最佳量化阈值计算得到缩放因子；
量化子模块，用于根据2的幂次方形式的所述缩放因子对所述网络模型进行量化。
9.根据权利要求8所述的图像处理装置，其特征在于，所述饱和映射法为相对熵法。
10.一种图像处理设备，其特征在于，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如权利要求1至6任一项所述图像处理方法的步骤。
CN201910760134.6A 2019-08-16 2019-08-16 一种图像处理方法、装置及设备 Active CN110533165B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201910760134.6A CN110533165B (zh) 2019-08-16 2019-08-16 一种图像处理方法、装置及设备
PCT/CN2019/108958 WO2021031298A1 (zh) 2019-08-16 2019-09-29 一种图像处理方法、装置及设备
US17/615,367 US20230252757A1 (en) 2019-08-16 2019-09-29 Image processing method, device and apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910760134.6A CN110533165B (zh) 2019-08-16 2019-08-16 一种图像处理方法、装置及设备

Publications (2)

Publication Number Publication Date
CN110533165A true CN110533165A (zh) 2019-12-03
CN110533165B CN110533165B (zh) 2022-05-17

Family

ID=68663552

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910760134.6A Active CN110533165B (zh) 2019-08-16 2019-08-16 一种图像处理方法、装置及设备

Country Status (3)

Country Link
US (1) US20230252757A1 (zh)
CN (1) CN110533165B (zh)
WO (1) WO2021031298A1 (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106886386A (zh) * 2017-01-23 2017-06-23 苏州科达科技股份有限公司 从低动态图像生成高动态图像的方法
US20180097992A1 (en) * 2015-06-12 2018-04-05 Gopro, Inc. Global Tone Mapping
CN108334875A (zh) * 2018-04-26 2018-07-27 南京邮电大学 基于自适应多阈值的静脉特征提取方法
CN108537322A (zh) * 2018-03-16 2018-09-14 新智认知数据服务有限公司 神经网络层间激活值量化方法及装置
CN109242091A (zh) * 2018-09-03 2019-01-18 郑州云海信息技术有限公司 图像识别方法、装置、设备及可读存储介质
US20190138882A1 (en) * 2017-11-07 2019-05-09 Samusung Electronics Co., Ltd. Method and apparatus for learning low-precision neural network that combines weight quantization and activation quantization
CN110008952A (zh) * 2019-03-26 2019-07-12 深兰科技（上海）有限公司 一种目标识别方法及设备

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6723882B2 (ja) * 2016-09-09 2020-07-15 Ｋｒｈ株式会社 仮設足場の幅木材
CN107256422A (zh) * 2017-06-06 2017-10-17 上海兆芯集成电路有限公司 数据量化方法及装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180097992A1 (en) * 2015-06-12 2018-04-05 Gopro, Inc. Global Tone Mapping
CN106886386A (zh) * 2017-01-23 2017-06-23 苏州科达科技股份有限公司 从低动态图像生成高动态图像的方法
US20190138882A1 (en) * 2017-11-07 2019-05-09 Samusung Electronics Co., Ltd. Method and apparatus for learning low-precision neural network that combines weight quantization and activation quantization
CN108537322A (zh) * 2018-03-16 2018-09-14 新智认知数据服务有限公司 神经网络层间激活值量化方法及装置
CN108334875A (zh) * 2018-04-26 2018-07-27 南京邮电大学 基于自适应多阈值的静脉特征提取方法
CN109242091A (zh) * 2018-09-03 2019-01-18 郑州云海信息技术有限公司 图像识别方法、装置、设备及可读存储介质
CN110008952A (zh) * 2019-03-26 2019-07-12 深兰科技（上海）有限公司 一种目标识别方法及设备

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
SAMBHAV R. JAIN 等: "Trained Uniform Quantization for Accurate and Efficient Neural Network Inference on Fixed-Point Hardware", 《ARXIV》 *
纪荣嵘 等: "深度神经网络压缩与加速综述", 《计算机研究与发展》 *

Also Published As

Publication number Publication date
CN110533165B (zh) 2022-05-17
US20230252757A1 (en) 2023-08-10
WO2021031298A1 (zh) 2021-02-25

Similar Documents

Publication Publication Date Title
US20220327355A1 (en) Sparsified Training of Convolutional Neural Networks
KR102566480B1 (ko) 신경망 프루닝 및 재훈련을 위한 자동 임계값들
van Wyk et al. A pocs-based graph matching algorithm
CN107203891A (zh) 一种自动多阀值特征过滤方法及装置
KR20080021592A (ko) 메트릭 임베딩에 의한 이미지 비교
CN111079989B (zh) 一种基于dwt-pca-lstm的供水公司供水量预测装置
CN108875906B (zh) 一种多尺度逐步累加的卷积神经网络学习方法
CN111008631B (zh) 图像的关联方法及装置、存储介质和电子装置
CN108509407A (zh) 文本语义相似度计算方法、装置及用户终端
CN115952832A (zh) 自适应模型量化方法及装置、存储介质及电子装置
CN112836668A (zh) 一种船舶目标检测方法、终端设备及存储介质
CN113095254A (zh) 一种人体部位关键点的定位方法及系统
CN111553296B (zh) 一种基于fpga实现的二值神经网络立体视觉匹配方法
CN108734126A (zh) 一种美颜方法、美颜装置及终端设备
Wang et al. Global aligned structured sparsity learning for efficient image super-resolution
CN110533165A (zh) 一种图像处理方法、装置及设备
US11429771B2 (en) Hardware-implemented argmax layer
CN112733863A (zh) 一种图像特征提取方法、装置、设备及存储介质
CN105760442B (zh) 基于数据库邻域关系的图像特征增强方法
CN109918237A (zh) 异常网络层确定方法及相关产品
CN115527159A (zh) 一种基于跨模态间尺度注意聚合特征的计数系统及方法
Kang et al. A dynamic fixed-point representation for neuromorphic computing systems
CN112881518B (zh) 一种动态滤波补偿器剩余寿命预测方法
CN114818907A (zh) 输电线路的状态监测方法、装置、设备及存储介质
US20230114610A1 (en) Neural network construction method and apparatus having average quantization mechanism

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant