CN110705685A - 一种神经网络量化分类方法与系统 - Google Patents

一种神经网络量化分类方法与系统 Download PDF

Info

Publication number
CN110705685A
CN110705685A CN201910804608.2A CN201910804608A CN110705685A CN 110705685 A CN110705685 A CN 110705685A CN 201910804608 A CN201910804608 A CN 201910804608A CN 110705685 A CN110705685 A CN 110705685A
Authority
CN
China
Prior art keywords
neural network
network model
processing
output
target neural
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910804608.2A
Other languages
English (en)
Inventor
崔鑫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Unisound Intelligent Technology Co Ltd
Original Assignee
Unisound Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Unisound Intelligent Technology Co Ltd filed Critical Unisound Intelligent Technology Co Ltd
Priority to CN201910804608.2A priority Critical patent/CN110705685A/zh
Publication of CN110705685A publication Critical patent/CN110705685A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Feedback Control In General (AREA)

Abstract

本发明提供了一种神经网络量化分类方法与系统，该神经网络量化分类方法与系统有别于现有技术的只是对神经网络模型的权值进行分类和量化处理，该方法和系统通过对神经网络模型中每一层的输入信息进行统计处理、分类处理和权值量化处理这样能够有针对性地对每一层的输出信息进行合适的权值量化处理，从而在相同量化比特位数下最大限度地提高每一层的输出信息的精度。该方法和系统还通过对神经网络模型的每一层的输出信息进行排序处理，这样能够针对每一层的输出信息各自的输出通道特性选择合适的计算方式，从而使得该神经网络模型在硬件运行时能够获得最优的计算效率和降低硬件运行所需的功耗。

Description

一种神经网络量化分类方法与系统
技术领域
本发明涉及神经网络的技术领域，特别涉及一种神经网络量化分类方法与系统。
背景技术
对神经网络模型的权值进行量化，其目的是在保证神经网络模型针对目标任务的性能不发生显著降低的前提下，将神经网络模型的权值进行分类，并在每类共享权值，从而达到减少神经网络模型存储空间的效果。具体而言，对神经网络模型的每个不同阶段的权值进行分类，并且不同类之间采用不同的量化权值，这样能够有效地降低量化造成的精度损失，并且对神经网络模型的权重执行上述分类处理，能够尽可能使用较少的位数来量化权值，以节约对应硬件的内存和计算资源需求，从而大大地提升硬件的运算速度和降低硬件的功耗。
但是，现有技术都只是针对神经网络模型的权值进行分类和不同比特位数的量化处理，其并未对神经网络模型中每一层的输入信息进行优化的量化处理，这严重的阻碍神经网络模型计算效率的进一步提升。可见，现有技术急需一种能够对神经网络模型中每一层的输入信息进行量化处理以提高其运行效率和降低功耗的神经网络比特量化方法和系统。
发明内容
针对现有技术存在的缺陷，本发明提供一种神经网络量化分类方法与系统，其中，该神经网络量化分类方法包括如下步骤：步骤(1)，对目标神经网络模型进行第一训练，并对第一训练后的该目标神经网络模型的每一层的输入通道进行统计处理；步骤(2)，根据该统计处理的结果，对该目标神经网络模型的每一层的输入进行分类处理和权值量化处理，同时动态调整该分类处理和该权值量化处理各自的处理模式；步骤(3)，对经过该步骤(2)处理后的该目标神经网络模型进行第二训练，以及对第二训练后的该目标神经网络模型的每一层的输出通道进行排序处理，并且该神经网络量化分类方法系统也是基于上述方法来运行的。可见，该神经网络量化分类方法与系统有别于现有技术的只是对神经网络模型的权值进行分类和量化处理，该方法和系统通过对神经网络模型中每一层的输入信息进行统计处理、分类处理和权值量化处理，其中，该统计处理是针对该神经网络模型中每一层的输出通道对应的矩和数值范围来实现的，这样能够有针对性地对每一层的输出信息进行合适的权值量化处理，从而在相同量化比特位数下最大限度地提高每一层的输出信息的精度。最后，该方法和系统还通过对神经网络模型的每一层的输出信息进行排序处理，这样能够针对每一层的输出信息各自的输出通道特性选择合适的计算方式，从而使得该神经网络模型在硬件上运行时能够获得最优的计算效率和降低硬件运行所需的功耗。
本发明提供一种神经网络量化分类方法，其特征在于，所述神经网络量化分类方法包括如下步骤：
步骤(1)，对目标神经网络模型进行第一训练，并对第一训练后的所述目标神经网络模型的每一层的输入通道进行统计处理；
步骤(2)，根据所述统计处理的结果，对所述目标神经网络模型的每一层的输入进行分类处理和权值量化处理，同时动态调整所述分类处理和所述权值量化处理各自的处理模式；
步骤(3)，对经过所述步骤(2)处理后的所述目标神经网络模型进行第二训练，以及对第二训练后的所述目标神经网络模型的每一层的输出通道进行排序处理；
进一步，在所述步骤(1)中，对目标神经网络模型进行第一训练，具体包括，
步骤(101A)，获取所述目标神经网络模型首次经过所述第一训练后，对应的输出结果的收敛状态评价值；
步骤(102A)，将所述收敛状态评价值与预设收敛状态合格范围进行匹配处理，以此判断所述目标神经网络模型是否满足预设收敛状态条件；
步骤(103A)，若所述收敛状态评价值匹配于所述预设收敛状态合格范围，则中止对所述目标神经网络进行所述第一训练，否则，继续对所述目标神经网络进行所述第一训练，直到所述目标神经网络模型满足预设收敛状态条件为止；
进一步，在所述步骤(1)中，对第一训练后的所述目标神经网络模型的每一层的输入通道进行统计处理具体包括，
步骤(101B)，获取满足预设收敛状态条件的所述目标神经网络模型的所有层中的每一个对应的输出通道在不同阶段的状态函数；
步骤(102B)，根据所述所有层中的每一个对应的输出通道在不同阶段的状态函数，计算得到每一个对应的输出通道的矩和数值范围；
步骤(103B)，对步骤(102B)得到的所有输出通道的矩和数值范围，进行预判处理，以此排除具有异常状态的矩和/或数值范围；
进一步，在所述步骤(2)中，根据所述统计处理的结果，对所述目标神经网络模型的每一层的输入进行分类处理和权值量化处理，同时动态调整所述分类处理和所述权值量化处理各自的处理模式具体包括，
步骤(201)，获取所述统计处理得到的所有层中的每一个对应的输出通道的矩和数值范围，以及获取所有输出通道相互之间的位置关系；
步骤(202)，根据所述所有输出通道相互之间的位置关系，将分布于预设相近区域范围的输出通道对应的矩和数值范围划分为同一类，以此得到关于不同矩和数值范围的若干聚类，其中，所述若干聚类包括K-means聚类、均值漂移聚类和基于密度的聚类中的至少一者；
步骤(203)，对于相同聚类内的所有输出通道的矩和数值范围均采用相同模式的比特位权值量化处理，对于不同类聚之间的输出通道的矩和数值范围则采用差异模式的比特位权值量化处理；
步骤(204)，获取经过所述步骤(203)处理后的所述目标神经网络模型中每一层的输出精度，若所述输出精度满足预设输出精度条件，则直接进入到所述步骤(3)，否则，对所述目标神经网络模型进行关于分类处理和权值量化处理的动态调整，直到其满足所述预设输出精度条件为止；
进一步，在所述步骤(3)中，对经过所述步骤(2)处理后的所述目标神经网络模型进行第二训练，以及对第二训练后的所述目标神经网络模型的每一层的输出通道进行排序处理具体包括，
步骤(301)，对经过所述步骤(2)处理后的所述目标神经网络进行关于不同阶段权重的微调处理，以使所述目标神经网络的每一层的输出满足预设输出精度分布规律；
步骤(302)，获取经过所述步骤(2)处理后的所述目标神经网络模型的每一层的输入特征，并将所述目标神经网络模型中每一个神经元与其对应的所述输入特征进行卷积运算处理，以此确定每一个神经元对应的输出通道；
步骤(303)，根据每一个神经元对应的输出通道，对所述目标神经网络模型的每一层的输出进行所述排序处理。
本发明还提供一种神经网络量化分类系统，其特征在于：
所述神经网络量化分类系统包括第一训练模块、第二训练模块、统计模块、量化处理模块、分类模块和排序模块；其中，
所述第一训练模块用于对目标神经网络模型进行第一训练；
所述统计模块用于对经过所述第一训练后的所述目标神经网络模型的每一层的输入通道进行统计处理
所述分类模块和所述量化处理模型用于根据所述统计处理的结果，对所述目标神经网络模型的每一层的输入进行分类处理和权值量化处理，以及动态调整所述分类处理和所述权值量化处理各自的处理模式；
所述第二训练模块用于经过所述分类处理和所述权值量化处理的所述目标神经网络模型进行第二训练；
所述排序模块用于对经过所述第二训练后的所述目标神经网络模型的每一层的输出进行排序处理；
进一步，所述第一训练模块包括收敛评价子模块、收敛对比子模块和收敛训练子模块；其中，
所述收敛评价子模块用于获取所述目标神经网络模型首次经过所述第一训练后，对应的输出结果的收敛状态评价值；
所述收敛对比子模块用于将所述收敛状态评价值与预设收敛状态合格值进行对比处理，以此判断所述目标神经网络模型是否满足预设收敛状态条件；
所述收敛训练子模块用于对所述目标神经网络模型进行关于模型收敛的所述第一训练；
进一步，所述统计模块包括输出状态函数确定子模块、输出通道参数确定子模块和预判子模块；其中，
所述输出状态函数确定子模块用于获取满足预设收敛状态条件的所述目标神经网络模型的所有层中的每一个对应的输出通道在不同阶段的状态函数；
所述输出通道参数确定子模块用于根据所述所有层中的每一个对应的输出通道在不同阶段的状态函数，计算得到每一个对应的输出通道的矩和数值范围；
所述预判子模块用于对得到的所有输出通道的矩和数值范围，进行预判处理，以此排除具有异常状态的矩和/或数值范围；
进一步，所述分类模块包括输出通道位置确定子模块和聚类生成子模块；其中，
所述输出通道位置确定子模块用于获取所有输出通道相互之间的位置关系；
所述聚类生成子模块用于根据所述所有输出通道相互之间的位置关系，将分布于预设相近区域范围的输出通道对应的矩和数值范围划分为同一类，以此得到关于不同矩和数值范围的若干聚类；
所述量化处理模块包括聚类量化子模块和输出精度判断子模块；其中，
所述聚类量化子模块用于对相同聚类内的所有输出通道的矩和数值范围均采用相同模式的比特位权值量化处理，以及对不同类聚之间的输出通道的矩和数值范围则采用差异模式的比特位权值量化处理；
所述输出精度判断子模块用于判断所述聚类量化子模块处理后的所述目标神经网络模型中每一层的输出精度、与预设输出精度条件之间匹配与否；
进一步，所述排序模块包括微调子模块、输出通道确定子模块和顺序确定子模块；其中，
所述微调子模块用于对所述目标神经网络进行关于不同阶段权重的微调处理，以使所述目标神经网络的每一层的输出满足预设输出精度分布规律；
所述输出通道确定子模块用于将所述目标神经网络模型中每一个神经元与其对应的所述输入特征进行卷积运算处理，以此确定每一个神经元对应的输出通道；
所述顺序确定子模块用于根据每一个神经元对应的输出通道，对所述目标神经网络模型的每一层的输出进行所述排序处理。
相比于现有技术，该神经网络量化分类方法与系统有别于现有技术的只是对神经网络模型的权值进行分类和量化处理，该方法和系统通过对神经网络模型中每一层的输入信息进行统计处理、分类处理和权值量化处理，其中，该统计处理是针对该神经网络模型中每一层的输出通道对应的矩和数值范围来实现的，这样能够有针对性地对每一层的输出信息进行合适的权值量化处理，从而在相同量化比特位数下最大限度地提高每一层的输出信息的精度。最后，该方法和系统还通过对神经网络模型的每一层的输出信息进行排序处理，这样能够针对每一层的输出信息各自的输出通道特性选择合适的计算方式，从而使得该神经网络模型在硬件上运行时能够获得最优的计算效率和降低硬件运行所需的功耗。
本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明提供的一种神经网络量化分类方法的流程示意图。
图2为本发明提供的一种神经网络量化分类系统的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
参阅图1，为本发明实施例提供的一种神经网络量化分类方法的流程示意图。该神经网络量化分类方法包括如下步骤：
步骤(1)，对目标神经网络模型进行第一训练，并对第一训练后的该目标神经网络模型的每一层的输入通道进行统计处理。
优选地，在该步骤(1)中，对目标神经网络模型进行第一训练，具体包括，
步骤(101A)，获取该目标神经网络模型首次经过该第一训练后，对应的输出结果的收敛状态评价值；
步骤(102A)，将该收敛状态评价值与预设收敛状态合格范围进行匹配处理，以此判断该目标神经网络模型是否满足预设收敛状态条件；
步骤(103A)，若该收敛状态评价值匹配于该预设收敛状态合格范围，则中止对该目标神经网络进行该第一训练，否则，继续对该目标神经网络进行该第一训练，直到该目标神经网络模型满足预设收敛状态条件为止。
优选地，在该步骤(1)中，对第一训练后的该目标神经网络模型的每一层的输入通道进行统计处理具体包括，
步骤(101B)，获取满足预设收敛状态条件的该目标神经网络模型的所有层中的每一个对应的输出通道在不同阶段的状态函数；
步骤(102B)，根据该所有层中的每一个对应的输出通道在不同阶段的状态函数，计算得到每一个对应的输出通道的矩和数值范围；
步骤(103B)，对步骤(102B)得到的所有输出通道的矩和数值范围，进行预判处理，以此排除具有异常状态的矩和/或数值范围。
步骤(2)，根据该统计处理的结果，对该目标神经网络模型的每一层的输入进行分类处理和权值量化处理，同时动态调整该分类处理和该权值量化处理各自的处理模式。
优选地，在该步骤(2)中，根据该统计处理的结果，对该目标神经网络模型的每一层的输入进行分类处理和权值量化处理，同时动态调整该分类处理和该权值量化处理各自的处理模式具体包括，
步骤(201)，获取该统计处理得到的所有层中的每一个对应的输出通道的矩和数值范围，以及获取所有输出通道相互之间的位置关系；
步骤(202)，根据该所有输出通道相互之间的位置关系，将分布于预设相近区域范围的输出通道对应的矩和数值范围划分为同一类，以此得到关于不同矩和数值范围的若干聚类，其中，所述若干聚类包括K-means聚类、均值漂移聚类和基于密度的聚类中的至少一者；
步骤(203)，对于相同聚类内的所有输出通道的矩和数值范围均采用相同模式的比特位权值量化处理，对于不同类聚之间的输出通道的矩和数值范围则采用差异模式的比特位权值量化处理；
步骤(204)，获取经过该步骤(203)处理后的该目标神经网络模型中每一层的输出精度，若该输出精度满足预设输出精度条件，则直接进入到该步骤(3)，否则，对该目标神经网络模型进行关于分类处理和权值量化处理的动态调整，直到其满足该预设输出精度条件为止。
步骤(3)，对经过该步骤(2)处理后的该目标神经网络模型进行第二训练，以及对第二训练后的该目标神经网络模型的每一层的输出通道进行排序处理。
优选地，在该步骤(3)中，对经过该步骤(2)处理后的该目标神经网络模型进行第二训练，以及对第二训练后的该目标神经网络模型的每一层的输出通道进行排序处理具体包括，
步骤(301)，对经过该步骤(2)处理后的该目标神经网络进行关于不同阶段权重的微调处理，以使该目标神经网络的每一层的输出满足预设输出精度分布规律；
步骤(302)，获取经过该步骤(2)处理后的该目标神经网络模型的每一层的输入特征，并将该目标神经网络模型中每一个神经元与其对应的该输入特征进行卷积运算处理，以此确定每一个神经元对应的输出通道；
步骤(303)，根据每一个神经元对应的输出通道，对该目标神经网络模型的每一层的输出进行该排序处理。
参阅图2，为本发明实施例提供的一种神经网络量化分类系统的结构示意图。该神经网络量化分类系统包括第一训练模块、第二训练模块、统计模块、量化处理模块、分类模块和排序模块。其中
该第一训练模块用于对目标神经网络模型进行第一训练；
该统计模块用于对经过该第一训练后的该目标神经网络模型的每一层的输入通道进行统计处理
该分类模块和该量化处理模型用于根据该统计处理的结果，对该目标神经网络模型的每一层的输入进行分类处理和权值量化处理，以及动态调整该分类处理和该权值量化处理各自的处理模式；
该第二训练模块用于经过该分类处理和该权值量化处理的该目标神经网络模型进行第二训练；
该排序模块用于对经过该第二训练后的该目标神经网络模型的每一层的输出进行排序处理。
优选地，该第一训练模块包括收敛评价子模块、收敛对比子模块和收敛训练子模块；
优选地，该收敛评价子模块用于获取该目标神经网络模型首次经过该第一训练后，对应的输出结果的收敛状态评价值；
优选地，该收敛对比子模块用于将该收敛状态评价值与预设收敛状态合格值进行对比处理，以此判断该目标神经网络模型是否满足预设收敛状态条件；
优选地，该收敛训练子模块用于对该目标神经网络模型进行关于模型收敛的该第一训练；
优选地，该统计模块包括输出状态函数确定子模块、输出通道参数确定子模块和预判子模块；
优选地，该输出状态函数确定子模块用于获取满足预设收敛状态条件的该目标神经网络模型的所有层中的每一个对应的输出通道在不同阶段的状态函数；
优选地，该输出通道参数确定子模块用于根据该所有层中的每一个对应的输出通道在不同阶段的状态函数，计算得到每一个对应的输出通道的矩和数值范围；
优选地，该预判子模块用于对得到的所有输出通道的矩和数值范围，进行预判处理，以此排除具有异常状态的矩和/或数值范围；
优选地，该分类模块包括输出通道位置确定子模块和聚类生成子模块；
优选地，该输出通道位置确定子模块用于获取所有输出通道相互之间的位置关系；
优选地，该量化处理模块包括聚类量化子模块和输出精度判断子模块；
优选地，该聚类量化子模块用于对相同聚类内的所有输出通道的矩和数值范围均采用相同模式的比特位权值量化处理，以及对不同类聚之间的输出通道的矩和数值范围则采用差异模式的比特位权值量化处理；
优选地，该输出精度判断子模块用于判断该聚类量化子模块处理后的该目标神经网络模型中每一层的输出精度、与预设输出精度条件之间匹配与否；
优选地，该排序模块包括微调子模块、输出通道确定子模块和顺序确定子模块；
优选地，该微调子模块用于对该目标神经网络进行关于不同阶段权重的微调处理，以使该目标神经网络的每一层的输出满足预设输出精度分布规律；
优选地，该输出通道确定子模块用于将该目标神经网络模型中每一个神经元与其对应的该输入特征进行卷积运算处理，以此确定每一个神经元对应的输出通道；
优选地，该顺序确定子模块用于根据每一个神经元对应的输出通道，对该目标神经网络模型的每一层的输出进行该排序处理。
从上述实施例的内容可以看出，该神经网络量化分类方法与系统有别于现有技术的只是对神经网络模型的权值进行分类和量化处理，该方法和系统通过对神经网络模型中每一层的输入信息进行统计处理、分类处理和权值量化处理，其中，该统计处理是针对该神经网络模型中每一层的输出通道对应的矩和数值范围来实现的，这样能够有针对性地对每一层的输出信息进行合适的权值量化处理，从而在相同量化比特位数下最大限度地提高每一层的输出信息的精度。最后，该方法和系统还通过对神经网络模型的每一层的输出信息进行排序处理，这样能够针对每一层的输出信息各自的输出通道特性选择合适的计算方式，从而使得该神经网络模型在硬件上运行时能够获得最优的计算效率和降低硬件运行所需的功耗。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种神经网络量化分类方法，其特征在于，所述神经网络量化分类方法包括如下步骤：
步骤(1)，对目标神经网络模型进行第一训练，并对第一训练后的所述目标神经网络模型的每一层的输入通道进行统计处理；
步骤(2)，根据所述统计处理的结果，对所述目标神经网络模型的每一层的输入进行分类处理和权值量化处理，同时动态调整所述分类处理和所述权值量化处理各自的处理模式；
步骤(3)，对经过所述步骤(2)处理后的所述目标神经网络模型进行第二训练，以及对第二训练后的所述目标神经网络模型的每一层的输出通道进行排序处理。
2.如权利要求1所述的神经网络量化分类方法，其特征在于：
在所述步骤(1)中，对目标神经网络模型进行第一训练，具体包括，步骤(101A)，获取所述目标神经网络模型首次经过所述第一训练后，对应的输出结果的收敛状态评价值；
步骤(102A)，将所述收敛状态评价值与预设收敛状态合格范围进行匹配处理，以此判断所述目标神经网络模型是否满足预设收敛状态条件；
步骤(103A)，若所述收敛状态评价值匹配于所述预设收敛状态合格范围，则中止对所述目标神经网络进行所述第一训练，否则，继续对所述目标神经网络进行所述第一训练，直到所述目标神经网络模型满足预设收敛状态条件为止。
3.如权利要求1所述的神经网络量化分类方法，其特征在于：
在所述步骤(1)中，对第一训练后的所述目标神经网络模型的每一层的输入通道进行统计处理具体包括，
步骤(101B)，获取满足预设收敛状态条件的所述目标神经网络模型的所有层中的每一个对应的输出通道在不同阶段的状态函数；
步骤(102B)，根据所述所有层中的每一个对应的输出通道在不同阶段的状态函数，计算得到每一个对应的输出通道的矩和数值范围；
步骤(103B)，对步骤(102B)得到的所有输出通道的矩和数值范围，进行预判处理，以此排除具有异常状态的矩和/或数值范围。
4.如权利要求1所述的神经网络量化分类方法，其特征在于：
在所述步骤(2)中，根据所述统计处理的结果，对所述目标神经网络模型的每一层的输入进行分类处理和权值量化处理，同时动态调整所述分类处理和所述权值量化处理各自的处理模式具体包括，
步骤(201)，获取所述统计处理得到的所有层中的每一个对应的输出通道的矩和数值范围，以及获取所有输出通道相互之间的位置关系；
步骤(202)，根据所述所有输出通道相互之间的位置关系，将分布于预设相近区域范围的输出通道对应的矩和数值范围划分为同一类，以此得到关于不同矩和数值范围的若干聚类，其中，所述若干聚类包括K-means聚类、均值漂移聚类和基于密度的聚类中的至少一者；
步骤(203)，对于相同聚类内的所有输出通道的矩和数值范围均采用相同模式的比特位权值量化处理，对于不同类聚之间的输出通道的矩和数值范围则采用差异模式的比特位权值量化处理；
步骤(204)，获取经过所述步骤(203)处理后的所述目标神经网络模型中每一层的输出精度，若所述输出精度满足预设输出精度条件，则直接进入到所述步骤(3)，否则，对所述目标神经网络模型进行关于分类处理和权值量化处理的动态调整，直到其满足所述预设输出精度条件为止。
5.如权利要求1所述的神经网络量化分类方法，其特征在于：
在所述步骤(3)中，对经过所述步骤(2)处理后的所述目标神经网络模型进行第二训练，以及对第二训练后的所述目标神经网络模型的每一层的输出通道进行排序处理具体包括，
步骤(301)，对经过所述步骤(2)处理后的所述目标神经网络进行关于不同阶段权重的微调处理，以使所述目标神经网络的每一层的输出满足预设输出精度分布规律；
步骤(302)，获取经过所述步骤(2)处理后的所述目标神经网络模型的每一层的输入特征，并将所述目标神经网络模型中每一个神经元与其对应的所述输入特征进行卷积运算处理，以此确定每一个神经元对应的输出通道；
步骤(303)，根据每一个神经元对应的输出通道，对所述目标神经网络模型的每一层的输出进行所述排序处理。
6.一种神经网络量化分类系统，其特征在于：
所述神经网络量化分类系统包括第一训练模块、第二训练模块、统计模块、量化处理模块、分类模块和排序模块；其中，
所述第一训练模块用于对目标神经网络模型进行第一训练；
所述统计模块用于对经过所述第一训练后的所述目标神经网络模型的每一层的输入通道进行统计处理
所述分类模块和所述量化处理模型用于根据所述统计处理的结果，对所述目标神经网络模型的每一层的输入进行分类处理和权值量化处理，以及动态调整所述分类处理和所述权值量化处理各自的处理模式；
所述第二训练模块用于经过所述分类处理和所述权值量化处理的所述目标神经网络模型进行第二训练；
所述排序模块用于对经过所述第二训练后的所述目标神经网络模型的每一层的输出进行排序处理。
7.如权利要求6所述的神经网络量化分类系统，其特征在于：
所述第一训练模块包括收敛评价子模块、收敛对比子模块和收敛训练子模块；其中，
所述收敛评价子模块用于获取所述目标神经网络模型首次经过所述第一训练后，对应的输出结果的收敛状态评价值；
所述收敛对比子模块用于将所述收敛状态评价值与预设收敛状态合格值进行对比处理，以此判断所述目标神经网络模型是否满足预设收敛状态条件；
所述收敛训练子模块用于对所述目标神经网络模型进行关于模型收敛的所述第一训练。
8.如权利要求6所述的神经网络量化分类系统，其特征在于：
所述统计模块包括输出状态函数确定子模块、输出通道参数确定子模块和预判子模块；其中，
所述输出状态函数确定子模块用于获取满足预设收敛状态条件的所述目标神经网络模型的所有层中的每一个对应的输出通道在不同阶段的状态函数；
所述输出通道参数确定子模块用于根据所述所有层中的每一个对应的输出通道在不同阶段的状态函数，计算得到每一个对应的输出通道的矩和数值范围；
所述预判子模块用于对得到的所有输出通道的矩和数值范围，进行预判处理，以此排除具有异常状态的矩和/或数值范围。
9.如权利要求6所述的神经网络量化分类系统，其特征在于：
所述分类模块包括输出通道位置确定子模块和聚类生成子模块；其中，所述输出通道位置确定子模块用于获取所有输出通道相互之间的位置关系；
所述聚类生成子模块用于根据所述所有输出通道相互之间的位置关系，将分布于预设相近区域范围的输出通道对应的矩和数值范围划分为同一类，以此得到关于不同矩和数值范围的若干聚类；
所述量化处理模块包括聚类量化子模块和输出精度判断子模块；其中，所述聚类量化子模块用于对相同聚类内的所有输出通道的矩和数值范围均采用相同模式的比特位权值量化处理，以及对不同类聚之间的输出通道的矩和数值范围则采用差异模式的比特位权值量化处理；
所述输出精度判断子模块用于判断所述聚类量化子模块处理后的所述目标神经网络模型中每一层的输出精度、与预设输出精度条件之间匹配与否。
10.如权利要求6所述的神经网络量化分类系统，其特征在于：
所述排序模块包括微调子模块、输出通道确定子模块和顺序确定子模块；
其中，
所述微调子模块用于对所述目标神经网络进行关于不同阶段权重的微调处理，以使所述目标神经网络的每一层的输出满足预设输出精度分布规律；
所述输出通道确定子模块用于将所述目标神经网络模型中每一个神经元与其对应的所述输入特征进行卷积运算处理，以此确定每一个神经元对应的输出通道；
所述顺序确定子模块用于根据每一个神经元对应的输出通道，对所述目标神经网络模型的每一层的输出进行所述排序处理。
CN201910804608.2A 2019-08-28 2019-08-28 一种神经网络量化分类方法与系统 Pending CN110705685A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910804608.2A CN110705685A (zh) 2019-08-28 2019-08-28 一种神经网络量化分类方法与系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910804608.2A CN110705685A (zh) 2019-08-28 2019-08-28 一种神经网络量化分类方法与系统

Publications (1)

Publication Number Publication Date
CN110705685A true CN110705685A (zh) 2020-01-17

Family

ID=69193742

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910804608.2A Pending CN110705685A (zh) 2019-08-28 2019-08-28 一种神经网络量化分类方法与系统

Country Status (1)

Country Link
CN (1) CN110705685A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113177627A (zh) * 2021-01-11 2021-07-27 联合微电子中心(香港)有限公司 优化系统、重新训练系统及其方法及处理器和可读介质
CN113642854A (zh) * 2021-07-23 2021-11-12 重庆中烟工业有限责任公司 烟支单支克重预测方法、装置及计算机可读存储介质
CN114386588A (zh) * 2022-03-23 2022-04-22 杭州雄迈集成电路技术股份有限公司 神经网络量化方法和装置、神经网络推理方法和系统
WO2023230748A1 (en) * 2022-05-30 2023-12-07 Nvidia Corporation Dynamic class weighting for training one or more neural networks

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113177627A (zh) * 2021-01-11 2021-07-27 联合微电子中心(香港)有限公司 优化系统、重新训练系统及其方法及处理器和可读介质
CN113177627B (zh) * 2021-01-11 2024-05-10 联合微电子中心有限责任公司 优化系统、重新训练系统及其方法及处理器和可读介质
CN113642854A (zh) * 2021-07-23 2021-11-12 重庆中烟工业有限责任公司 烟支单支克重预测方法、装置及计算机可读存储介质
CN114386588A (zh) * 2022-03-23 2022-04-22 杭州雄迈集成电路技术股份有限公司 神经网络量化方法和装置、神经网络推理方法和系统
CN114386588B (zh) * 2022-03-23 2022-07-29 杭州雄迈集成电路技术股份有限公司 神经网络推理方法和系统
WO2023230748A1 (en) * 2022-05-30 2023-12-07 Nvidia Corporation Dynamic class weighting for training one or more neural networks

Similar Documents

Publication Publication Date Title
CN110705685A (zh) 一种神经网络量化分类方法与系统
CN111356148B (zh) 一种实现网络优化的方法及相关设备
CN110751278A (zh) 一种神经网络比特量化方法和系统
CN111105104A (zh) 一种基于相似日和rbf神经网络的短期电力负荷预测方法
CN106446959A (zh) 一种云计算资源动态匹配方法及装置
CN111401642A (zh) 自动调整预测值的方法、装置、设备及存储介质
WO2021189830A1 (zh) 样本数据优化方法、装置、设备及存储介质
WO2018006631A1 (zh) 一种用户等级自动划分方法及系统
CN107861873B (zh) 基于两属性分级调整的测试用例优先级调整方法
CN115967990A (zh) 一种基于分类和预测的边端协同业务卸载方法
CN111191687A (zh) 基于改进K-means算法的电力通信数据聚类方法
CN114202065B (zh) 一种基于增量式演化lstm的流数据预测方法及装置
CN117828371B (zh) 一种综合运维平台的业务信息智能分析方法
CN116915710A (zh) 流量预警方法、装置、设备及可读存储介质
CN111985845A (zh) 一种异构Spark集群的节点优先级调优方法
CN111598457A (zh) 一种电力无线网络质量的确定方法及装置
CN112465245A (zh) 一种针对不平衡数据集的产品质量预测方法
CN111124439A (zh) 一种云边协同的智能动态卸载算法
CN112637904B (zh) 负载均衡方法、装置及计算设备
CN114024912A (zh) 一种基于改造chameleon算法的网络流量应用识别分析方法及系统
CN109308565B (zh) 人群绩效等级识别方法、装置、存储介质及计算机设备
CN115185649A (zh) 资源调度的方法、装置、设备及存储介质
CN113283699A (zh) 一种基于关键指标分布的自适应评价方法
CN112990389B (zh) 一种风控场景下的流量分层方法及装置
CN116821721B (zh) 一种跨城网约车的识别方法、装置、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200117

RJ01 Rejection of invention patent application after publication