CN112200275A - 人工神经网络的量化方法及装置 - Google Patents

人工神经网络的量化方法及装置 Download PDF

Info

Publication number
CN112200275A
CN112200275A CN202011426060.1A CN202011426060A CN112200275A CN 112200275 A CN112200275 A CN 112200275A CN 202011426060 A CN202011426060 A CN 202011426060A CN 112200275 A CN112200275 A CN 112200275A
Authority
CN
China
Prior art keywords
images
neural network
artificial neural
image
quantization
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011426060.1A
Other languages
English (en)
Other versions
CN112200275B (zh
Inventor
缪冉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Qigan Electronic Information Technology Co ltd
Original Assignee
Shanghai Qigan Electronic Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Qigan Electronic Information Technology Co ltd filed Critical Shanghai Qigan Electronic Information Technology Co ltd
Priority to CN202011426060.1A priority Critical patent/CN112200275B/zh
Publication of CN112200275A publication Critical patent/CN112200275A/zh
Application granted granted Critical
Publication of CN112200275B publication Critical patent/CN112200275B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Abstract

人工神经网络的量化方法及装置，所述量化方法包括：根据图像集中的部分图像，来计算理想分布p；根据理想分布p，来从图像集中筛选出用于对该人工神经网络进行量化的量化图集；采用所述量化图集来对该人工神经网络进行量化。本发明提高了人工神经网络的量化精度，降低因网络压缩而造成的性能损失，实现筛选量化图片的自动化，在原始数据集较大时可极大地提升图像选择的效率，同时也大量节省人的时间与精力。

Description

人工神经网络的量化方法及装置
技术领域
本发明涉及人工智能技术领域，特别是涉及一种人工神经网络的量化方法及装置。
背景技术
为了让计算机系统能够自主地从数据中学习经验，人工神经网络（ArtificialNeural Network，ANN）成为当下人工智能领域的一项重点研究内容。
自2014年的ILSVRC（ImageNet Large Scale Visual Recognition Competition）大赛以来，越来越多的ANN框架相继被提出，它们在计算机视觉等领域中取得了众多优异的成绩。特别地，随着轻量型人工神经网络以及量化（Quantization）、剪枝（Pruning）与压缩（Compression）等技术的出现，人工神经网络得以在移动端上部署。
然而，由于量化图像的选择、模型数据的压缩等因素存在，人工神经网络的量化移植往往会伴随着一定程度的精度损失。因此，如何提高ANN的量化精度既是学术界一个亟待解决的难题，也是工业界的一个紧迫需求。
发明内容
本发明解决的技术问题是：如何提高人工神经网络的量化精度和量化效率。
为了解决上述技术问题，本发明实施例提供一种人工神经网络的量化方法，包括：
从图像集中选择若干与待量化的人工神经网络相关的图像，作为用于对该人工神经网络进行量化的量化图集；
采用所述量化图集来对该人工神经网络进行量化；
其中，所述从图像集中选择若干与待量化的人工神经网络相关的图像，作为用于对该人工神经网络进行量化的量化图集包括：
根据图像集中的部分图像，来计算理想分布p；
根据理想分布p，来从图像集中筛选出用于对该人工神经网络进行量化的量化图集。
可选的，所述从图像集中选择若干与待量化的人工神经网络相关的图像，作为用于对该人工神经网络进行量化的量化图集还包括：对初始量化图像的数量N、相似度指标c以及散度指标d进行初始化。
可选的，所述根据图像集中的部分图像，来计算理想分布p包括：
从图像集中抽取N张图像作为初始量化图像；
根据N张所述初始量化图像，分别对该人工神经网络进行量化，产生N个量化方案；
根据N个所述量化方案，分别计算各个量化方案中该人工神经网络输出层的余弦相似度，得到N个余弦相似度；
根据各个量化方案中该人工神经网络输出层的余弦相似度，从N张图像中筛选出图像所对应的余弦相似度符合预定要求的图像；
对图像所对应的余弦相似度符合预定要求的各张图像分别进行深度特征提取；
对提取的深度特征进行统计，生成理想分布p。
可选的，所述从图像集中抽取N张图像作为初始量化图像包括：随机从图像集中不放回地抽取N张图像作为初始量化图像。
可选的，在所述根据N张所述初始量化图像，分别对该人工神经网络进行量化，产生N个量化方案的过程中，由各张图像量化产生的定点数据各不相同。
可选的，所述根据N个所述量化方案，分别计算各个量化方案中该人工神经网络输出层的余弦相似度，得到N个余弦相似度包括：通过以下公式来计算各个量化方案中该人工神经网络输出层的余弦相似度：
Figure 260712DEST_PATH_IMAGE001
其中，
Figure 315256DEST_PATH_IMAGE002
表示该人工神经网络输出层输出的定点数据，
Figure 10680DEST_PATH_IMAGE003
表示该人工神经网络输 出层输出的浮点数据，
Figure 658830DEST_PATH_IMAGE004
表示向量
Figure 199533DEST_PATH_IMAGE002
与向量
Figure 108583DEST_PATH_IMAGE003
的夹角。
可选的，所述从N张图像中筛选出图像所对应的余弦相似度符合预定要求的图像包括：从N张图像中筛选出图像所对应的余弦相似度大于相似度指标c的图像。
可选的，所述根据理想分布p，来从图像集中筛选出用于对该人工神经网络进行量化的量化图集包括：
对图像集中未被抽取的部分或全部图像分别进行深度特征提取；
分别对各张图像中被提取的深度特征进行统计，分别得到关于各张图像的特征分布；
分别计算关于各张图像的特征分布与理想分布p之间的KL散度；
从图像集中筛选出图像所对应的KL散度符合预定要求的图像，作为用于对该人工神经网络进行量化的量化图集。
可选的，所述分别计算关于各张图像的特征分布与理想分布p之间的KL散度包括：通过以下公式来计算关于各张图像的特征分布与理想分布p之间的KL散度：
Figure 601006DEST_PATH_IMAGE005
其中，
Figure 595507DEST_PATH_IMAGE006
表示理想分布，
Figure 80846DEST_PATH_IMAGE007
表示图像的分布，
Figure 844403DEST_PATH_IMAGE008
表示
Figure 147208DEST_PATH_IMAGE007
相对于理想分布的散度。
可选的，所述从图像集中筛选出图像所对应的KL散度符合预定要求的图像包括：从图像集中筛选出图像所对应的KL散度小于或等于散度指标d的图像。
为了解决上述技术问题，本发明实施例还提供一种人工神经网络的量化装置，包括：
处理器，适于加载并执行软件程序的指令；
存储器，适于存储软件程序，所述软件程序包括用于执行以下步骤的指令：
从图像集中选择若干与待量化的人工神经网络相关的图像，作为用于对该人工神经网络进行量化的量化图集；
采用所述量化图集来对该人工神经网络进行量化；
其中，所述从图像集中选择若干与待量化的人工神经网络相关的图像，作为用于对该人工神经网络进行量化的量化图集包括：
根据图像集中的部分图像，来计算理想分布p；
根据理想分布p，来从图像集中筛选出用于对该人工神经网络进行量化的量化图集。
可选的，所述根据图像集中的部分图像，来计算理想分布p包括：
从图像集中抽取N张图像作为初始量化图像；
根据N张所述初始量化图像，分别对该人工神经网络进行量化，产生N个量化方案；
根据N个所述量化方案，分别计算各个量化方案中该人工神经网络输出层的余弦相似度，得到N个余弦相似度；
根据各个量化方案中该人工神经网络输出层的余弦相似度，从N张图像中筛选出图像所对应的余弦相似度符合预定要求的图像；
对图像所对应的余弦相似度符合预定要求的各张图像分别进行深度特征提取；
对提取的深度特征进行统计，生成理想分布p。
可选的，所述根据理想分布p，来从图像集中筛选出用于对该人工神经网络进行量化的量化图集包括：
对图像集中未被抽取的部分或全部图像分别进行深度特征提取；
分别对各张图像中被提取的深度特征进行统计，分别得到关于各张图像的特征分布；
分别计算关于各张图像的特征分布与理想分布p之间的KL散度；
从图像集中筛选出图像所对应的KL散度符合预定要求的图像，作为用于对该人工神经网络进行量化的量化图集。
与现有技术相比，本发明的技术方案具有以下有益效果：
根据图像集中的部分图像，来计算理想分布p；根据理想分布p，来从图像集中筛选出用于对该人工神经网络进行量化的量化图集；采用所述量化图集来对该人工神经网络进行量化，从而提高了人工神经网络的量化精度，降低因网络压缩而造成的性能损失，实现筛选量化图片的自动化，在原始数据集较大时可极大地提升图像选择的效率，同时也大量节省人的时间与精力。
进一步的，公开了根据图像集中的部分图像，来计算理想分布p、以及根据理想分布p，来从图像集中筛选出用于对该人工神经网络进行量化的量化图集的具体实施步骤。
附图说明
图1为本发明实施例中人工神经网络的量化方法流程图；
图2为本发明实施例中自动化图像选择模型流程图。
具体实施方式
根据背景技术部分的分析可知，人工神经网络的量化移植往往会伴随着一定程度的精度损失。因此，如何提高ANN的量化精度既是学术界一个亟待解决的难题，也是工业界的一个紧迫需求。
随着人工神经网络在移动端上的深入应用，自动化的量化移植工具成为提升开发效率的关键一环。在这其中，量化图像的选择往往会在设计自动量化工具的进程中被忽略。
现有技术中，通常采用试错法选择适用于网络量化的图像。该方案在操作上主要分为以下三个步骤：
首先，它需要人们根据经验，主观地从图像数据集中选择若干与被量化网络相关的图片，选择的依据大多采用图像的低级图形特征以及人们对它们产生的语义理解；
其次，采用所选的图片，来进行多次量化实验以调整量化的定点位；
最后，再通过一些评价指标（例如余弦相似度以及KL散度等等），来选择最佳的量化结果。
由此可见，现有技术中上述手工选择图片来进行量化的方案，所产生的量化结果极度不稳定，非常考验被量化的人工神经网络对于量化图像的泛化性能。在实际的操作过程中，输入不同的图像会直接导致网络的量化精度产生巨大差异。并且这种差异往往无法显式地体现在原始的图形特征上，需要对图像进一步分析探究。
也就是说，在量化图片的选择方面，现有技术中往往是结合自身经验，通过试错法不断寻找适合特定网络的图片。该方案的弊端在于：
1）无法自动化筛选量化图片。当可供选择的量化图片过多时，手工选择图片的效率就会大打折扣，极大地消耗了人的时间和精力，且选择图片的数量也极为有限，无法发挥大型图像数据集的优势；
2）人为挑选图片存在一定的偶然性，它们仅仅是根据图像浅层的图形特征来进行的，而图像的真实质量往往不尽如人意，最后导致达不到所需的量化精度。
发明人认为，倘若在量化的过程中使用自动化的图像筛选方法，综合考虑每张图像的更深层次的特征，量化工具就能够在量化过程中有效的处理一些大规模图像数据集。这不仅可以提高工作效率，同时也可以保障ANN量化后的性能。
发明人经研究后，提出了采用量化工具专门自动化解决图像选择问题的方案，旨在提升人工神经网络的量化精度，降低因网络压缩而造成的性能损失，同时完善自动量化工具的开发，为用户提供更加快捷、优质的量化方案。
本发明根据图像集中的部分图像，来计算理想分布p；根据理想分布p，来从图像集中筛选出用于对该人工神经网络进行量化的量化图集；采用所述量化图集来对该人工神经网络进行量化，从而提高了人工神经网络的量化精度，降低因网络压缩而造成的性能损失，实现筛选量化图片的自动化，在原始数据集较大时可极大地提升图像选择的效率，同时也大量节省人的时间与精力。
进一步的，公开了根据图像集中的部分图像，来计算理想分布p、以及根据理想分布p，来从图像集中筛选出用于对该人工神经网络进行量化的量化图集的具体实施步骤。
为使本领域技术人员更好地理解和实现本发明，以下参照附图，通过具体实施例进行详细说明。
实施例一
如下所述，本发明实施例提供一种人工神经网络的量化方法。包括：
从图像集中选择若干与待量化的人工神经网络相关的图像，作为用于对该人工神经网络进行量化的量化图集；
采用所述量化图集来对该人工神经网络进行量化；
其中，所述从图像集中选择若干与待量化的人工神经网络相关的图像，作为用于对该人工神经网络进行量化的量化图集包括：
根据图像集中的部分图像，来计算理想分布p；
根据理想分布p，来从图像集中筛选出用于对该人工神经网络进行量化的量化图集。
参照图1所示的人工神经网络的量化方法流程图、以及图2所示的自动化图像选择模型流程图，以下通过具体步骤进行详细说明：
S101，从图像集中抽取N张图像作为初始量化图像。
在一些实施例中，所述从图像集中抽取N张图像作为初始量化图像可以包括：随机从图像集中不放回地抽取N张图像作为初始量化图像
在一些实施例中，还可以包括：对初始量化图像的数量N、相似度指标c以及散度指标d进行初始化。
S102，根据N张所述初始量化图像，分别对该人工神经网络进行量化。
根据N张所述初始量化图像，分别对该人工神经网络进行量化，产生N个量化方案。
在一些实施例中，在所述根据N张所述初始量化图像，分别对该人工神经网络进行量化，产生N个量化方案的过程中，由各张图像量化产生的定点数据各不相同。
S103，根据N个所述量化方案，分别计算各个量化方案中该人工神经网络输出层的余弦相似度。
根据N个所述量化方案，分别计算各个量化方案中该人工神经网络输出层的余弦相似度，得到N个余弦相似度。
计算网络输出层的定点数据与原始浮点数据的余弦相似度可以很好的度量量化精度，余弦相似度又称余弦距离，它是通过计算两个向量夹角的余弦值来度量它们之间的相似度。
在一些实施例中，具体可以通过以下公式来计算各个量化方案中该人工神经网络输出层的余弦相似度：
Figure 488060DEST_PATH_IMAGE009
其中，
Figure 901723DEST_PATH_IMAGE010
表示该人工神经网络输出层输出的定点数据，
Figure 519787DEST_PATH_IMAGE011
表示该人工神经网络 输出层输出的浮点数据，
Figure 603280DEST_PATH_IMAGE012
表示向量
Figure 306794DEST_PATH_IMAGE010
与向量
Figure 258569DEST_PATH_IMAGE011
的夹角。
计算所有的N个余弦相似度后，AIST（Automatic Image Selection Tool，自动化图像选择工具）会筛选出相似度大于等于相似度指标c的对应的量化图片（参考后续步骤S104）。
S104，从N张图像中筛选出图像所对应的余弦相似度符合预定要求的图像。
根据各个量化方案中该人工神经网络输出层的余弦相似度，从N张图像中筛选出图像所对应的余弦相似度符合预定要求的图像。
在一些实施例中，所述从N张图像中筛选出图像所对应的余弦相似度符合预定要求的图像可以包括：从N张图像中筛选出图像所对应的余弦相似度大于相似度指标c的图像。
S105，对图像所对应的余弦相似度符合预定要求的各张图像分别进行深度特征提取。
高相似度对应的量化图像中蕴含着进行图像选择所需的信息，AIST的深度特征的提取任务是通过自动编码器（Autoencoder）完成的。自动编码器是由一个编码器（Encoder）和一个解码器（Decoder）组成的一种特殊的神经网络结构，它使用反向传播算法进行学习，最小化重构损失函数以拟合恒等映射，属于无监督学习的范畴。由于上述特性的存在，自动编码器经常被运用在特征提取、数据去噪以及数据降维等任务中。在实际操作过程中，AIST只让图像经过编码器，将图像原始数据映射成高级的特征表示（Representation），再对这些表示进行特征统计，生成理想分布p。
倘若成功求取理想分布，那就意味着神经网络量化所需的图像应尽可能的逼近理想分布p。因此，AIST需要再次度量待选图像特征的分布q与理想分布p的散度，并以此来选择散度较低的图片作为新的量化图集。所以所有待选择的图片应再次被输入自动编码器进行编码，再获得编码特征的统计信息。
S106，对提取的深度特征进行统计，生成理想分布p。
S107，对图像集中未被抽取的部分或全部图像分别进行深度特征提取。
S108，分别对各张图像中被提取的深度特征进行统计。
分别对各张图像中被提取的深度特征进行统计，分别得到关于各张图像的特征分布。
S109，分别计算关于各张图像的特征分布与理想分布p之间的KL散度。
在数理统计中，KL散度（Kullback-LeiblerDivergence）又被称为相对熵（Relative Entropy），常被用与衡量一个分布与另一个参考分布之间的差异。KL散度属于一种非对称度量，在统计学、流体力学以及机器学习等领域都有着广泛的应用。
在一些实施例中，具体可以通过以下公式来计算关于各张图像的特征分布与理想分布p之间的KL散度：
Figure 619887DEST_PATH_IMAGE013
其中，
Figure 264495DEST_PATH_IMAGE014
表示理想分布，
Figure 455305DEST_PATH_IMAGE015
表示图像的分布，
Figure 820559DEST_PATH_IMAGE016
表示
Figure 413214DEST_PATH_IMAGE015
相对于理想分布的散度。
得到所有待选图像的深度特征分布与理想分布之间的KL散度之后，AIST就可以凭 借散度指标
Figure 963144DEST_PATH_IMAGE017
选择符合量化需求的图像集。具体的筛选规则是当某张图片与理想分布的散 度满足
Figure 765884DEST_PATH_IMAGE018
时，就称该图片是符合量化需求的。
S110，从图像集中筛选出图像所对应的KL散度符合预定要求的图像，作为用于对该人工神经网络进行量化的量化图集。
在一些实施例中，所述从图像集中筛选出图像所对应的KL散度符合预定要求的图像包括：从图像集中筛选出图像所对应的KL散度小于或等于散度指标d的图像。
通过以上对技术方案的描述可以看出：本实施例中，根据图像集中的部分图像，来计算理想分布p；根据理想分布p，来从图像集中筛选出用于对该人工神经网络进行量化的量化图集；采用所述量化图集来对该人工神经网络进行量化，从而提高了人工神经网络的量化精度，降低因网络压缩而造成的性能损失，实现筛选量化图片的自动化，在原始数据集较大时可极大地提升图像选择的效率，同时也大量节省人的时间与精力。
进一步的，公开了根据图像集中的部分图像，来计算理想分布p、以及根据理想分布p，来从图像集中筛选出用于对该人工神经网络进行量化的量化图集的具体实施步骤。
经实验验证，表明在采用本实施例所提供的人工神经网络的量化方法对待量化的人工神经网络进行量化，能够提高量化精度。
实施例二
如下所述，本发明实施例提供一种人工神经网络的量化装置。
所述人工神经网络的量化装置包括：
处理器，适于加载并执行软件程序的指令；
存储器，适于存储软件程序，所述软件程序包括用于执行以下步骤的指令：
从图像集中选择若干与待量化的人工神经网络相关的图像，作为用于对该人工神经网络进行量化的量化图集；
采用所述量化图集来对该人工神经网络进行量化；
其中，所述从图像集中选择若干与待量化的人工神经网络相关的图像，作为用于对该人工神经网络进行量化的量化图集包括：
根据图像集中的部分图像，来计算理想分布p；
根据理想分布p，来从图像集中筛选出用于对该人工神经网络进行量化的量化图集。
在一些实施例中，所述根据图像集中的部分图像，来计算理想分布p可以包括：
从图像集中抽取N张图像作为初始量化图像；
根据N张所述初始量化图像，分别对该人工神经网络进行量化，产生N个量化方案；
根据N个所述量化方案，分别计算各个量化方案中该人工神经网络输出层的余弦相似度，得到N个余弦相似度；
根据各个量化方案中该人工神经网络输出层的余弦相似度，从N张图像中筛选出图像所对应的余弦相似度符合预定要求的图像；
对图像所对应的余弦相似度符合预定要求的各张图像分别进行深度特征提取；
对提取的深度特征进行统计，生成理想分布p。
在一些实施例中，所述根据理想分布p，来从图像集中筛选出用于对该人工神经网络进行量化的量化图集包括：
对图像集中未被抽取的部分或全部图像分别进行深度特征提取；
分别对各张图像中被提取的深度特征进行统计，分别得到关于各张图像的特征分布；
分别计算关于各张图像的特征分布与理想分布p之间的KL散度；
从图像集中筛选出图像所对应的KL散度符合预定要求的图像，作为用于对该人工神经网络进行量化的量化图集。
通过以上对技术方案的描述可以看出：本实施例中，根据图像集中的部分图像，来计算理想分布p；根据理想分布p，来从图像集中筛选出用于对该人工神经网络进行量化的量化图集；采用所述量化图集来对该人工神经网络进行量化，从而提高了人工神经网络的量化精度，降低因网络压缩而造成的性能损失，实现筛选量化图片的自动化，在原始数据集较大时可极大地提升图像选择的效率，同时也大量节省人的时间与精力。
进一步的，公开了根据图像集中的部分图像，来计算理想分布p、以及根据理想分布p，来从图像集中筛选出用于对该人工神经网络进行量化的量化图集的具体实施步骤。
本领域普通技术人员可以理解，上述实施例的各种方法中，全部或部分步骤是可以通过程序指令相关的硬件来完成的，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：ROM、RAM、磁盘或光盘等。
虽然本发明披露如上，但本发明并非限定于此。任何本领域技术人员，在不脱离本发明的精神和范围内，均可作各种更动与修改，因此本发明的保护范围应当以权利要求所限定的范围为准。

Claims (13)

1.一种人工神经网络的量化方法，其特征在于，包括：
从图像集中选择若干与待量化的人工神经网络相关的图像，作为用于对该人工神经网络进行量化的量化图集；
采用所述量化图集来对该人工神经网络进行量化；
其中，所述从图像集中选择若干与待量化的人工神经网络相关的图像，作为用于对该人工神经网络进行量化的量化图集包括：
根据图像集中的部分图像，来计算理想分布p；
根据理想分布p，来从图像集中筛选出用于对该人工神经网络进行量化的量化图集。
2.如权利要求1所述的人工神经网络的量化方法，其特征在于，所述从图像集中选择若干与待量化的人工神经网络相关的图像，作为用于对该人工神经网络进行量化的量化图集还包括：对初始量化图像的数量N、相似度指标c以及散度指标d进行初始化。
3.如权利要求1所述的人工神经网络的量化方法，其特征在于，所述根据图像集中的部分图像，来计算理想分布p包括：
从图像集中抽取N张图像作为初始量化图像；
根据N张所述初始量化图像，分别对该人工神经网络进行量化，产生N个量化方案；
根据N个所述量化方案，分别计算各个量化方案中该人工神经网络输出层的余弦相似度，得到N个余弦相似度；
根据各个量化方案中该人工神经网络输出层的余弦相似度，从N张图像中筛选出图像所对应的余弦相似度符合预定要求的图像；
对图像所对应的余弦相似度符合预定要求的各张图像分别进行深度特征提取；
对提取的深度特征进行统计，生成理想分布p。
4.如权利要求3所述的人工神经网络的量化方法，其特征在于，所述从图像集中抽取N张图像作为初始量化图像包括：随机从图像集中不放回地抽取N张图像作为初始量化图像。
5.如权利要求3所述的人工神经网络的量化方法，其特征在于，在所述根据N张所述初始量化图像，分别对该人工神经网络进行量化，产生N个量化方案的过程中，由各张图像量化产生的定点数据各不相同。
6.如权利要求3所述的人工神经网络的量化方法，其特征在于，所述根据N个所述量化方案，分别计算各个量化方案中该人工神经网络输出层的余弦相似度，得到N个余弦相似度包括：通过以下公式来计算各个量化方案中该人工神经网络输出层的余弦相似度：
Figure 590512DEST_PATH_IMAGE001
其中，
Figure 38810DEST_PATH_IMAGE002
表示该人工神经网络输出层输出的定点数据，
Figure 208761DEST_PATH_IMAGE003
表示该人工神经网络输 出层输出的浮点数据，
Figure 135128DEST_PATH_IMAGE004
表示向量
Figure 356025DEST_PATH_IMAGE002
与向量
Figure 444067DEST_PATH_IMAGE003
的夹角。
7.如权利要求3所述的人工神经网络的量化方法，其特征在于，所述从N张图像中筛选出图像所对应的余弦相似度符合预定要求的图像包括：从N张图像中筛选出图像所对应的余弦相似度大于相似度指标c的图像。
8.如权利要求1或3所述的人工神经网络的量化方法，其特征在于，所述根据理想分布p，来从图像集中筛选出用于对该人工神经网络进行量化的量化图集包括：
对图像集中未被抽取的部分或全部图像分别进行深度特征提取；
分别对各张图像中被提取的深度特征进行统计，分别得到关于各张图像的特征分布；
分别计算关于各张图像的特征分布与理想分布p之间的KL散度；
从图像集中筛选出图像所对应的KL散度符合预定要求的图像，作为用于对该人工神经网络进行量化的量化图集。
9.如权利要求8所述的人工神经网络的量化方法，其特征在于，所述分别计算关于各张图像的特征分布与理想分布p之间的KL散度包括：通过以下公式来计算关于各张图像的特征分布与理想分布p之间的KL散度：
Figure 242259DEST_PATH_IMAGE005
其中，
Figure 332837DEST_PATH_IMAGE006
表示理想分布，
Figure 532874DEST_PATH_IMAGE007
表示图像的分布，
Figure 791817DEST_PATH_IMAGE008
表示
Figure 687092DEST_PATH_IMAGE007
相对于理想分布的散度。
10.如权利要求8所述的人工神经网络的量化方法，其特征在于，所述从图像集中筛选出图像所对应的KL散度符合预定要求的图像包括：从图像集中筛选出图像所对应的KL散度小于或等于散度指标d的图像。
11.一种人工神经网络的量化装置，其特征在于，包括：
处理器，适于加载并执行软件程序的指令；
存储器，适于存储软件程序，所述软件程序包括用于执行以下步骤的指令：
从图像集中选择若干与待量化的人工神经网络相关的图像，作为用于对该人工神经网络进行量化的量化图集；
采用所述量化图集来对该人工神经网络进行量化；
其中，所述从图像集中选择若干与待量化的人工神经网络相关的图像，作为用于对该人工神经网络进行量化的量化图集包括：
根据图像集中的部分图像，来计算理想分布p；
根据理想分布p，来从图像集中筛选出用于对该人工神经网络进行量化的量化图集。
12.如权利要求11所述的人工神经网络的量化装置，其特征在于，所述根据图像集中的部分图像，来计算理想分布p包括：
从图像集中抽取N张图像作为初始量化图像；
根据N张所述初始量化图像，分别对该人工神经网络进行量化，产生N个量化方案；
根据N个所述量化方案，分别计算各个量化方案中该人工神经网络输出层的余弦相似度，得到N个余弦相似度；
根据各个量化方案中该人工神经网络输出层的余弦相似度，从N张图像中筛选出图像所对应的余弦相似度符合预定要求的图像；
对图像所对应的余弦相似度符合预定要求的各张图像分别进行深度特征提取；
对提取的深度特征进行统计，生成理想分布p。
13.如权利要求11或12所述的人工神经网络的量化装置，其特征在于，所述根据理想分布p，来从图像集中筛选出用于对该人工神经网络进行量化的量化图集包括：
对图像集中未被抽取的部分或全部图像分别进行深度特征提取；
分别对各张图像中被提取的深度特征进行统计，分别得到关于各张图像的特征分布；
分别计算关于各张图像的特征分布与理想分布p之间的KL散度；
从图像集中筛选出图像所对应的KL散度符合预定要求的图像，作为用于对该人工神经网络进行量化的量化图集。
CN202011426060.1A 2020-12-09 2020-12-09 人工神经网络的量化方法及装置 Active CN112200275B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011426060.1A CN112200275B (zh) 2020-12-09 2020-12-09 人工神经网络的量化方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011426060.1A CN112200275B (zh) 2020-12-09 2020-12-09 人工神经网络的量化方法及装置

Publications (2)

Publication Number Publication Date
CN112200275A true CN112200275A (zh) 2021-01-08
CN112200275B CN112200275B (zh) 2021-03-02

Family

ID=74033186

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011426060.1A Active CN112200275B (zh) 2020-12-09 2020-12-09 人工神经网络的量化方法及装置

Country Status (1)

Country Link
CN (1) CN112200275B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113255901A (zh) * 2021-07-06 2021-08-13 上海齐感电子信息科技有限公司 实时量化方法及实时量化系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109993296A (zh) * 2019-04-01 2019-07-09 北京中科寒武纪科技有限公司 量化实现方法及相关产品
CN111401518A (zh) * 2020-03-04 2020-07-10 杭州嘉楠耘智信息科技有限公司 一种神经网络量化方法、装置及计算机可读存储介质
WO2020160787A1 (en) * 2019-02-08 2020-08-13 Huawei Technologies Co., Ltd. Neural network quantization method using multiple refined quantized kernels for constrained hardware deployment
CN111683250A (zh) * 2020-05-13 2020-09-18 武汉大学 一种基于深度学习的生成式遥感图像压缩方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020160787A1 (en) * 2019-02-08 2020-08-13 Huawei Technologies Co., Ltd. Neural network quantization method using multiple refined quantized kernels for constrained hardware deployment
CN109993296A (zh) * 2019-04-01 2019-07-09 北京中科寒武纪科技有限公司 量化实现方法及相关产品
CN111401518A (zh) * 2020-03-04 2020-07-10 杭州嘉楠耘智信息科技有限公司 一种神经网络量化方法、装置及计算机可读存储介质
CN111683250A (zh) * 2020-05-13 2020-09-18 武汉大学 一种基于深度学习的生成式遥感图像压缩方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113255901A (zh) * 2021-07-06 2021-08-13 上海齐感电子信息科技有限公司 实时量化方法及实时量化系统

Also Published As

Publication number Publication date
CN112200275B (zh) 2021-03-02

Similar Documents

Publication Publication Date Title
CN109344893B (zh) 一种基于移动终端的图像分类方法
CN111147862B (zh) 一种基于目标编码的端到端图像压缩方法
CN110827297A (zh) 基于改进的条件生成对抗网络的绝缘子分割方法
JP2023547010A (ja) 知識の蒸留に基づくモデルトレーニング方法、装置、電子機器
CN111127360A (zh) 一种基于自动编码器的灰度图像迁移学习方法
CN116363261A (zh) 图像编辑模型的训练方法、图像编辑方法和装置
CN110647990A (zh) 基于灰色关联分析的深度卷积神经网络模型的裁剪方法
CN112200275B (zh) 人工神经网络的量化方法及装置
CN113837965A (zh) 图像清晰度识别方法、装置、电子设备及存储介质
CN113642710A (zh) 一种网络模型的量化方法、装置、设备和存储介质
CN115546236B (zh) 基于小波变换的图像分割方法及装置
CN115604131B (zh) 一种链路流量预测方法、系统、电子设备及介质
CN111275166A (zh) 基于卷积神经网络的图像处理装置、设备及可读存储介质
CN114385876B (zh) 一种模型搜索空间生成方法、装置及系统
CN111767419A (zh) 图片搜索方法、装置、设备及计算机可读存储介质
CN112465838B (zh) 陶瓷晶粒图像分割方法、系统、储存介质及计算机设备
CN114240770A (zh) 一种图像处理方法、装置、服务器及存储介质
CN114565080A (zh) 神经网络压缩方法及装置、计算机可读介质、电子设备
CN113743593A (zh) 神经网络量化方法、系统、存储介质及终端
WO2020168526A1 (zh) 图像编码方法、设备及计算机可读存储介质
CN114065920A (zh) 一种基于通道级剪枝神经网络的图像识别方法及系统
CN113610064B (zh) 笔迹识别方法和装置
CN117115453B (zh) 目标图像生成方法、装置及计算机可读存储介质
CN113344181B (zh) 神经网络的结构搜索方法、装置、计算机设备及存储介质
CN108805944B (zh) 一种归类精度保持的在线图像集压缩方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant