CN116992032B - 基于模型自动量化的文本分类方法、系统和存储介质 - Google Patents
基于模型自动量化的文本分类方法、系统和存储介质 Download PDFInfo
- Publication number
- CN116992032B CN116992032B CN202311235665.6A CN202311235665A CN116992032B CN 116992032 B CN116992032 B CN 116992032B CN 202311235665 A CN202311235665 A CN 202311235665A CN 116992032 B CN116992032 B CN 116992032B
- Authority
- CN
- China
- Prior art keywords
- target
- value
- neural network
- text
- activation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 69
- 238000013139 quantization Methods 0.000 title claims abstract description 55
- 238000003860 storage Methods 0.000 title claims abstract description 11
- 230000004913 activation Effects 0.000 claims abstract description 121
- 238000013528 artificial neural network Methods 0.000 claims abstract description 90
- 108010074506 Transfer Factor Proteins 0.000 claims abstract description 85
- 238000009499 grossing Methods 0.000 claims abstract description 80
- 238000003062 neural network model Methods 0.000 claims abstract description 39
- 238000012546 transfer Methods 0.000 claims description 31
- 230000006870 function Effects 0.000 claims description 22
- 238000012545 processing Methods 0.000 claims description 20
- 238000009826 distribution Methods 0.000 claims description 19
- 238000004364 calculation method Methods 0.000 claims description 15
- 238000004590 computer program Methods 0.000 claims description 14
- 230000008569 process Effects 0.000 claims description 12
- 238000012549 training Methods 0.000 claims description 10
- 238000012216 screening Methods 0.000 claims description 8
- 230000000694 effects Effects 0.000 abstract description 10
- 238000005516 engineering process Methods 0.000 abstract description 6
- 238000011002 quantification Methods 0.000 abstract description 3
- 230000005540 biological transmission Effects 0.000 description 7
- 230000008901 benefit Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000011161 development Methods 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 239000013598 vector Substances 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 108010001267 Protein Subunits Proteins 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000013140 knowledge distillation Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 238000013138 pruning Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/35—Clustering; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Health & Medical Sciences (AREA)
- Mathematical Physics (AREA)
- Databases & Information Systems (AREA)
- Character Discrimination (AREA)
- Image Analysis (AREA)
Abstract
本申请涉及一种基于模型自动量化的文本分类方法、系统和存储介质，其中，上述方法包括：基于文本特征数据，得到初始神经网络；获取初始神经网络在目标卷积层的输入值和输出值；根据输入值，获取第一激活值；根据转移因子、第一激活值和第一权重值得到平滑系数；根据平滑系数，得到目标卷积层输出和初始神经网络在目标卷积层的输出值的均方误差集合，进而得到目标平滑系数；根据目标平滑系数对应得到目标神经网络模型，用于对待分类文本数据进行分类。通过本申请，解决了相关技术中存在的通过传统模型量化方法生成的文本分类神经网络模型的学习效果较差，导致文本分类的准确度较低问题，提高了文本分类的准确度。
Description
技术领域
本申请涉及深度神经网络的模型量化压缩领域，特别是涉及基于模型自动量化的文本分类方法、系统和存储介质。
背景技术
随着移动互联网和物联网的深入发展，以及以ChatGPT为代表的大模型的不断发展，模型结构和规模也变得越来越复杂，这极大地限制了高性能模型在资源受限场景中的部署和应用。研究者提出了模型压缩的方法来尝试解决这种矛盾，包括模型剪枝、量化、知识蒸馏、网络结构搜索等方法，其中，模型量化是目前自然语言处理领域最有效的模型优化方法之一，但是通过模型量化方法对神经网络模型进行压缩时，由于神经网络中的激活异常值对输出的模型精度的影响被放大，导致最终生成的神经网络模型的学习效果较差。具体地，在现有的文本分类技术中，通过传统模型量化方法生成的文本分类神经网络模型的学习效果较差，导致文本分类的准确度较低。
针对相关技术中存在的通过传统模型量化方法生成的文本分类神经网络模型的学习效果较差，导致文本分类的准确度较低问题，目前还没有提出有效的解决方案。
发明内容
在本实施例中提供了一种基于模型自动量化的文本分类方法、系统和存储介质，以解决相关技术中存在的通过模型量化方法对神经网络模型进行压缩时，最终生成的神经网络模型的学习效果较差问题。
第一个方面，在本实施例中提供了一种基于模型自动量化的文本分类方法，包括：
步骤A：从目标文本中提取文本特征数据；基于文本特征数据，对神经网络进行训练，得到初始神经网络；
步骤B：获取所述初始神经网络在目标卷积层的输入值和输出值；根据所述输入值，获取所述初始神经网络的第一激活值；
步骤C：根据预设的转移因子和所述转移因子的迭代步长，生成转移因子列表，所述转移因子用于决定从所述第一激活值到预设的第一权重值分布范围波动转移的程度；
步骤D：根据所述转移因子、所述第一激活值和所述第一权重值，并基于参数平滑处理策略，得到平滑系数；根据所述平滑系数，对所述第一激活值和所述第一权重值进行处理，得到第二激活值和第二权重值；对所述第二权重值和所述第二激活值进行量化操作，得到目标权重值和目标激活值；
步骤E：根据所述目标权重值和所述目标激活值，得到目标卷积层输出；根据所述目标卷积层输出和所述初始神经网络在目标卷积层的输出值，得到均方误差；
步骤F：遍历所述转移因子列表中的所述转移因子，重复执行步骤D和步骤E，得到所述转移因子列表中的所述转移因子对应的均方误差集合；从所述均方误差集合中筛选出最小均方误差；将所述最小均方误差对应的所述平滑系数作为所述目标卷积层的目标平滑系数，以得到目标神经网络模型；
步骤G：根据所述目标神经网络模型对待分类文本数据进行分类，得到文本分类结果。
在其中的一些实施例中，所述获取所述初始神经网络在目标卷积层的输入值和输出值，包括：
在所述初始神经网络的前向过程中，通过注册钩子函数，获取所述初始神经网络在目标卷积层的输入值、输出值。
在其中的一些实施例中，所述根据所述输入值，获取所述初始神经网络的第一激活值，包括：
对所述输入值进行卷积和激活函数处理，得到所述初始神经网络的第一激活值。
在其中的一些实施例中，所述根据预设的转移因子和所述转移因子的迭代步长，生成转移因子列表，包括：
根据所述预设的转移因子的阈值范围，和所述迭代步长，生成所述转移因子列表。
在其中的一些实施例中，所述根据所述平滑系数，对所述第一激活值和所述第一权重值进行处理，得到第二激活值和第二权重值，包括：
将所述第一激活值除以所述平滑系数，得到第二激活值；
将所述第一权重值乘以所述平滑系数，得到第二权重值。
在其中的一些实施例中，所述将所述最小均方误差对应的所述平滑系数作为所述目标卷积层的目标平滑系数，还包括：
对所述初始神经网络的每层目标卷积层重复执行步骤B到步骤F，得到所述每层目标卷积层的目标平滑系数。
在其中的一些实施例中，所述对所述初始神经网络的每层目标卷积层重复执行步骤B到步骤F，包括：
拷贝初始目标卷积层的参数副本，根据所述初始目标卷积层的参数副本，对所述每层目标卷积层并行执行步骤B到步骤F。
第二个方面，在本实施例中提供了一种基于模型自动量化的文本分类系统，包括：
数据获取模块，用于从目标文本中提取文本特征数据；基于文本特征数据，对神经网络进行训练，得到初始神经网络；获取所述初始神经网络在目标卷积层的输入值和输出值；根据所述输入值，获取所述初始神经网络的第一激活值；
目标生成模块，用于根据预设的转移因子和所述转移因子的迭代步长，生成转移因子列表，所述转移因子用于决定从所述第一激活值到预设的第一权重值分布范围波动转移的程度；根据所述转移因子、所述第一激活值和所述第一权重值，并基于参数平滑处理策略，得到平滑系数；根据所述平滑系数，对所述第一激活值和所述第一权重值进行处理，得到第二激活值和第二权重值；对所述第二权重值和所述第二激活值进行量化操作，得到目标权重值和目标激活值；
损失计算模块，用于根据所述目标权重值和所述目标激活值，得到目标卷积层输出；根据所述目标卷积层输出和所述初始神经网络在目标卷积层的输出值，得到均方误差；
最优系数生成模块，用于遍历所述转移因子列表中的所述转移因子，重复执行所述目标生成模块和所述损失计算模块中的功能，得到所述转移因子列表中的所述转移因子对应的均方误差集合；从所述均方误差集合中筛选出最小均方误差；将所述最小均方误差对应的所述平滑系数作为所述目标卷积层的目标平滑系数，以得到目标神经网络模型；
文本分类模块，用于根据目标神经网络模型对待分类文本数据进行分类，得到文本分类结果。
第三个方面，在本实施例中提供了一种电子装置，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述第一个方面所述的基于模型自动量化的文本分类方法。
第四个方面，在本实施例中提供了一种存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述第一个方面所述的基于模型自动量化的文本分类方法。
与相关技术相比，在本实施例中提供的基于模型自动量化的文本分类方法、系统和存储介质，通过步骤A：从目标文本中提取文本特征数据；基于文本特征数据，对神经网络进行训练，得到初始神经网络；步骤B：获取初始神经网络在目标卷积层的输入值和输出值；根据输入值，获取初始神经网络的第一激活值；步骤C：根据预设的转移因子和转移因子的迭代步长，生成转移因子列表，转移因子用于决定从第一激活值到预设的第一权重值分布范围波动转移的程度；步骤D：根据转移因子、第一激活值和第一权重值，并基于参数平滑处理策略，得到平滑系数；根据平滑系数，对第一激活值和第一权重值进行处理，得到第二激活值和第二权重值；对第二权重值和第二激活值进行量化操作，得到目标权重值和目标激活值；步骤E：根据目标权重值和目标激活值，得到目标卷积层输出；根据目标卷积层输出和初始神经网络在目标卷积层的输出值，得到均方误差；步骤F：遍历转移因子列表中的转移因子，重复执行步骤D和步骤E，得到转移因子列表中的转移因子对应的均方误差集合；从均方误差集合中筛选出最小均方误差；将最小均方误差对应的平滑系数作为目标卷积层的目标平滑系数，以得到目标神经网络模型；步骤G：根据目标神经网络模型对待分类文本数据进行分类，得到文本分类结果，解决了相关技术中存在的通过传统模型量化方法生成的文本分类神经网络模型的学习效果较差，导致文本分类的准确度较低问题，提高了文本分类的准确度。
本申请的一个或多个实施例的细节在以下附图和描述中提出，以使本申请的其他特征、目的和优点更加简明易懂。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1是本实施例的基于模型自动量化的文本分类方法的终端的硬件结构框图；
图2是第一实施例的基于模型自动量化的文本分类方法的流程图；
图3是第二实施例的基于模型自动量化的文本分类方法的流程图；
图4是本优选实施例的基于模型自动量化的文本分类方法的流程图；
图5是本实施例的基于模型自动量化的文本分类系统的结构框图。
附图标记：102、处理器；104、存储器；106、传输设备；108、输入输出设备；10、数据获取模块；20、目标生成模块；30、损失计算模块；40、最优系数生成模块；50、文本分类模块。
具体实施方式
为更清楚地理解本申请的目的、技术方案和优点，下面结合附图和实施例，对本申请进行了描述和说明。
除另作定义外，本申请所涉及的技术术语或者科学术语应具有本申请所属技术领域具备一般技能的人所理解的一般含义。在本申请中的“一”、“一个”、“一种”、“该”、“这些”等类似的词并不表示数量上的限制，它们可以是单数或者复数。在本申请中所涉及的术语“包括”、“包含”、“具有”及其任何变体，其目的是涵盖不排他的包含；例如，包含一系列步骤或模块（单元）的过程、方法和系统、产品或设备并未限定于列出的步骤或模块（单元），而可包括未列出的步骤或模块（单元），或者可包括这些过程、方法、产品或设备固有的其他步骤或模块（单元）。在本申请中所涉及的“连接”、“相连”、“耦接”等类似的词语并不限定于物理的或机械连接，而可以包括电气连接，无论是直接连接还是间接连接。在本申请中所涉及的“多个”是指两个或两个以上。“和/或”描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。通常情况下，字符“/”表示前后关联的对象是一种“或”的关系。在本申请中所涉及的术语“第一”、“第二”、“第三”等，只是对相似对象进行区分，并不代表针对对象的特定排序。
在本实施例中提供的方法实施例可以在终端、计算机或者类似的运算装置中执行。比如在终端上运行，图1是本实施例的基于模型自动量化的文本分类方法的终端的硬件结构框图。如图1所示，终端可以包括一个或多个（图1中仅示出一个）处理器102和用于存储数据的存储器104，其中，处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置。上述终端还可以包括用于通信功能的传输设备106以及输入输出设备108。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述终端的结构造成限制。例如，终端还可包括比图1中所示更多或者更少的组件，或者具有与图1所示出的不同配置。
存储器104可用于存储计算机程序，例如，应用软件的软件程序以及模块，如在本实施例中的基于模型自动量化的文本分类方法对应的计算机程序，处理器102通过运行存储在存储器104内的计算机程序，从而执行各种功能应用以及数据处理，即实现上述的方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
传输设备106用于经由一个网络接收或者发送数据。上述的网络包括终端的通信供应商提供的无线网络。在一个实例中，传输设备106包括一个网络适配器（NetworkInterface Controller，简称为NIC），其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输设备106可以为射频（RadioFrequency，简称为RF）模块，其用于通过无线方式与互联网进行通讯。
在本实施例中提供了一种基于模型自动量化的文本分类方法，图2是第一实施例的基于模型自动量化的文本分类方法的流程图，如图2所示，该流程包括如下步骤：
步骤A：从目标文本中提取文本特征数据；基于文本特征数据，对神经网络进行训练，得到初始神经网络；
步骤B：获取初始神经网络在目标卷积层的输入值和输出值；根据输入值，获取初始神经网络的第一激活值；
步骤C：根据预设的转移因子和转移因子的迭代步长，生成转移因子列表，转移因子用于决定从第一激活值到预设的第一权重值分布范围波动转移的程度；
步骤D：根据转移因子、第一激活值和第一权重值，并基于参数平滑处理策略，得到平滑系数；根据平滑系数，对第一激活值和第一权重值进行处理，得到第二激活值和第二权重值；对第二权重值和第二激活值进行量化操作，得到目标权重值和目标激活值；
步骤E：根据目标权重值和目标激活值，得到目标卷积层输出；根据目标卷积层输出和初始神经网络在目标卷积层的输出值，得到均方误差；
步骤F：遍历转移因子列表中的转移因子，重复执行步骤D和步骤E，得到转移因子列表中的转移因子对应的均方误差集合；从均方误差集合中筛选出最小均方误差；将最小均方误差对应的平滑系数作为目标卷积层的目标平滑系数，以得到目标神经网络模型；
步骤G：根据目标神经网络模型对待分类文本数据进行分类，得到文本分类结果。
具体地，首先对目标文本进行人工打标分类，得到分类后的数据，具体为将目标文本按照语法功能词汇（名词、动词、形容词、副词等）进行人工打标分类，再通过Word2Vec等文本处理工具，将分类后的文本数据转化为文本数据向量，该文本数据向量即文本特征数据；基于文本特征数据，对神经网络进行训练，得到初始神经网络；通过初始神经网络在目标卷积层的输入值，获取初始神经网络的第一激活值，第一激活值是上述输入值进行非线性变换得到的，通过在神经网络中加入非线性因素的，提高神经网络对模型的表达能力，进而提高了神经网络的模型学习能力，上述输出值是根据第一激活值和预设的第一权重值得到的，上述输入值、输出值、第一激活值和第一权重值以矩阵形式表示；根据转移因子、第一激活值和第一权重值，并基于参数平滑处理策略，得到平滑系数，上述参数平滑处理策略，具体为：第一激活值矩阵X按列求得绝对值的最大值，记为；第一权重值矩阵W按行求得绝对值的最大值，记为/>，平滑系数/>的计算公式如下：
（1.1）；
式(1.1)中α为转移因子，用于决定从激活到权重分布范围波动转移的程度，转移因子的最优阈值范围在0.5附近，在本实施例中，转移因子的阈值范围为0.4~0.6。
基于上述参数平滑处理策略得到的平滑系数，用于对第一激活值的分布压缩，同时转移到预设的第一权重值上，对应得到第二激活值和第二权重值，使得原本分布均衡的第一权重值承接了部分的第一激活值的范围波动，基于8-bit量化方法，对第二权重值和第二激活值进行量化操作，得到目标权重值和目标激活值，需要说明的是，在其他实施例中，还可通过其他量化方法对第二权重值和第二激活值进行量化操作，计算上述目标权重值和目标激活值，与上述第一权重值和第一激活值的均方误差；接着遍历转移因子列表中的转移因子，依次求得该目标卷积层中不同转移因子对应的均方误差集合，并从上述均方误差集合中筛选出最小均方误差，上述最小均方误差对应的平滑系数，即该目标卷积层的目标平滑系数，通过目标平滑系数，对上述第一激活值和第一权重值处理得到的第二激活值和第二权重值，使得神经网络中的参数更容易量化，通过该目标平滑系数对应得到神经网络模型即目标神经网络模型；获取待分类文本，通过Word2Vec等文本处理工具，将待分类文本转化为待分类文本数据向量，将待分类文本数据向量输入至目标神经网络模型，输出的结果映射到对应的语法功能类别，从而实现对待分类文本的文本分类功能。
通过上述步骤，与现有技术相比，本申请通过计算得到平滑系数，对第一激活值的分布进行压缩，同时将第一激活值的部分范围波动转移到预设的第一权重值上，从而减小第一激活值中的离群值带来的影响，使第一激活值更容易被量化，并且不会影响整体神经网络模型的准确度，解决了相关技术中存在的通过传统模型量化方法生成的文本分类神经网络模型的学习效果较差，导致文本分类的准确度较低问题，提高了文本分类的准确度。
图3是第二实施例的基于模型自动量化的文本分类方法的流程图，如图3所示，在其中的一些实施例中，获取初始神经网络在目标卷积层的输入值和输出值，包括如下步骤：
步骤B1-1：在初始神经网络的前向过程中，通过注册钩子函数，获取初始神经网络在目标卷积层的输入值、输出值。
具体地，在初始神经网络的前向传播过程中，通过注册钩子函数来获取初始神经网络在目标卷积层的输入值、输出值，保证了获取到的输入值和输出值的准确性和数据全面性。
如图3所示，本实施例还包括以下步骤：
步骤B1-2：根据输入值，获取初始神经网络的第一激活值；
步骤C1：根据预设的转移因子和转移因子的迭代步长，生成转移因子列表，转移因子用于决定从第一激活值到预设的第一权重值分布范围波动转移的程度；
步骤D1：根据转移因子、第一激活值和第一权重值，并基于参数平滑处理策略，得到平滑系数；根据平滑系数，对第一激活值和第一权重值进行处理，得到第二激活值和第二权重值；对第二权重值和第二激活值进行量化操作，得到目标权重值和目标激活值；
步骤E1：根据目标权重值和目标激活值，得到目标卷积层输出；根据目标卷积层输出和初始神经网络在目标卷积层的输出值，得到均方误差；
步骤F1：遍历转移因子列表中的转移因子，重复执行步骤D1和步骤E1，得到转移因子列表中的转移因子对应的均方误差集合；从均方误差集合中筛选出最小均方误差；将最小均方误差对应的平滑系数作为目标卷积层的目标平滑系数。
在其中的一些实施例中，根据输入值，获取初始神经网络的第一激活值，包括如下步骤：
对输入值进行卷积和激活函数处理，得到神经网络的第一激活值。
具体地，大多数情况下上述初始神经网络在目标卷积层的输入值和输出值的关系都是非线性的，所以通常会用非线性函数对目标卷积层进行激活，用于增加模型可以表达的内容（模型的表达效率和层数有关）。激活函数有sigmoid、softmax等，使用激活函数把输入值压缩到0-1之间，可提高神经网络模型的学习效率，进而提高神经网络模型分类的有效性。
在其中的一些实施例中，根据预设的转移因子和转移因子的迭代步长，生成转移因子列表，包括如下步骤：
根据预设的转移因子的阈值范围，和迭代步长，生成转移因子列表。
具体地，转移因子的最优范围在0.5附近，在本实施例中，转移因子的阈值范围为0.4~0.6，迭代步长为0.02，根据上述转移因子的阈值范围和迭代步长，生成待遍历的转移因子列表，通过上述方式，有利于获取到较合适的目标平滑系数，从而提高神经网络模型的准确性。
在其中的一些实施例中，根据平滑系数，对第一激活值和第一权重值进行处理，得到第二激活值和第二权重值，包括如下步骤：
将第一激活值除以平滑系数，得到第二激活值；
将第一权重值乘以平滑系数，得到第二权重值。
具体地，将第一激活值除以平滑系数，得到第二激活值；将第一权重值乘以平滑系数，得到第二权重值，通过上述步骤，使得原本分布均衡的第一权重值承接了部分的第一激活值的范围波动，从而提高了神经网络模型的数据处理效率。
在其中的一些实施例中，将最小均方误差对应的平滑系数作为目标卷积层的目标平滑系数之后，还包括如下步骤：
对初始神经网络的每层目标卷积层重复执行步骤B到步骤F，得到每层目标卷积层的目标平滑系数。
具体地，初始神经网络包括多层目标卷积层，通过重复执行步骤B到步骤F，得到每层目标卷积层的目标平滑系数，进而提高了神经网络模型整体的参数量化效果。
在其中的一些实施例中，对初始神经网络的每层目标卷积层重复执行步骤B到步骤F，包括如下步骤：
拷贝初始目标卷积层的参数副本，根据初始目标卷积层的参数副本，对每层目标卷积层并行执行步骤B到步骤F。
具体地，通过拷贝初始目标卷积层的参数副本，并采用并行计算的方式，对初始神经网络的每层目标卷积层重复执行步骤B到步骤F，提高了神经网络模型的数据处理速度。
下面通过优选实施例对本实施例进行描述和说明。
图4是本优选实施例的基于模型自动量化的文本分类方法的流程图，如图4所示，该方法包括如下步骤：
步骤S101：从目标文本中提取文本特征数据；基于文本特征数据，对神经网络进行训练，得到初始神经网络。
步骤S102，在初始神经网络前向过程中注册钩子函数，用来统计初始神经网络输入值和输出值的分布。
步骤S103，在用户指定的阈值范围（如0.4~0.6）以及指定的迭代步长下（如迭代步长为0.02），产生待遍历的转移因子列表。
步骤S104，对于一个给定的转移因子值，计算平滑系数，以及和平滑系数运算后的第二权重值和第二激活值，然后对调整过的第二权重值和第二激活值进行正常的量化操作。
步骤S105，计算量化后的目标卷积层输出与实际输出值的均方误差。
步骤S106，重置转移因子列表中的参数后，依次求得该目标卷积层其他值对应的目标卷积层输出，并与实际输出值计算均方误差，上述均方误差最小的就是该目标卷积层的最优转移因子值，通过最优转移因子便可计算得到对应最优平滑系数，该最优平滑系数即目标平滑系数。
步骤S107，对神经网络的每层目标卷积层重复执行步骤S102到步骤S106，得到每层目标卷积层的目标平滑系数，用于得到目标神经网络模型。
步骤S108，根据目标神经网络模型对待分类文本数据进行分类，得到文本分类结果。
通过上述本优选实施例的基于模型自动量化的文本分类方法得到的神经网络模型，相比传统的全局只通过一个平滑系数得到的神经网络模型，具有更好的学习效果。另外，可以看到，逐层最优解的求解过程是一个计算开销比较小的过程，运算简单，没有引入复杂度很高的计算过程，并且对于每一目标卷积层的求解，可以采用拷贝初始层参数副本，采用并行计算的方法进行加速优化，缩短整个神经网络求解过程的时间。
在本实施例中还提供了一种基于模型自动量化的文本分类系统，该系统用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。以下所使用的术语“模块”、“单元”、“子单元”等可以实现预定功能的软件和/或硬件的组合。尽管在以下实施例中所描述的系统较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
图5是本实施例的基于模型自动量化的文本分类系统的结构框图，如图5所示，该系统包括数据获取模块10、目标生成模块20、损失计算模块30、最优系数生成模块40和文本分类模块50。
具体地，数据获取模块10，用于从目标文本中提取文本特征数据；基于文本特征数据，对神经网络进行训练，得到初始神经网络；获取初始神经网络在目标卷积层的输入值和输出值；根据输入值，获取初始神经网络的第一激活值；目标生成模块20，用于根据预设的转移因子和转移因子的迭代步长，生成转移因子列表，转移因子用于决定从第一激活值到预设的第一权重值分布范围波动转移的程度；根据转移因子、第一激活值和第一权重值，并基于参数平滑处理策略，得到平滑系数；根据平滑系数，对第一激活值和第一权重值进行处理，得到第二激活值和第二权重值；对第二权重值和第二激活值进行量化操作，得到目标权重值和目标激活值；损失计算模块30，用于根据目标权重值和目标激活值，得到目标卷积层输出；根据目标卷积层输出和初始神经网络在目标卷积层的输出值，得到均方误差；最优系数生成模块40，用于遍历转移因子列表中的转移因子，重复执行上述目标生成模块20和损失计算模块30中的功能，得到转移因子列表中的转移因子对应的均方误差集合；从均方误差集合中筛选出最小均方误差；将最小均方误差对应的平滑系数作为目标卷积层的目标平滑系数，以得到目标神经网络模型；文本分类模块50，用于根据目标神经网络模型对待分类文本数据进行分类，得到文本分类结果。
通过上述基于模型自动量化的文本分类系统，解决了相关技术中存在的通过传统模型量化方法生成的文本分类神经网络模型的学习效果较差，导致文本分类的准确度较低问题，提高了文本分类的准确度。
在其中的一些实施例中，数据获取模块10还用于在初始神经网络的前向过程中，通过注册钩子函数，获取初始神经网络在目标卷积层的输入值、输出值。
在其中的一些实施例中，数据获取模块10还用于对输入值进行卷积和激活函数处理，得到初始神经网络的第一激活值。
在其中的一些实施例中，目标生成模块20还用于根据预设的转移因子的阈值范围，和迭代步长，生成转移因子列表。
在其中的一些实施例中，目标生成模块20还用于将第一激活值除以平滑系数，得到第二激活值；将第一权重值乘以平滑系数，得到第二权重值。
在其中的一些实施例中，最优系数生成模块40还用于对初始神经网络的每层目标卷积层重复执行数据获取模块10、目标生成模块20、损失计算模块30和最优系数生成模块40中的功能，得到每层目标卷积层的目标平滑系数。
在其中的一些实施例中，最优系数生成模块40还用于拷贝初始目标卷积层的参数副本，根据初始目标卷积层的参数副本，对每层目标卷积层并行执行数据获取模块10、目标生成模块20、损失计算模块30和最优系数生成模块40中的功能。
在本实施例中还提供了一种电子装置，包括存储器和处理器，该存储器中存储有计算机程序，该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。
可选地，上述电子装置还可以包括传输设备以及输入输出设备，其中，该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。
可选地，在本实施例中，上述处理器可以被设置为通过计算机程序执行以下步骤：
S1，目标文本中提取文本特征数据；基于文本特征数据，对神经网络进行训练，得到初始神经网络。
S2，获取初始神经网络在目标卷积层的输入值和输出值；根据输入值，获取初始神经网络的第一激活值。
S3，根据预设的转移因子和转移因子的迭代步长，生成转移因子列表，转移因子用于决定从第一激活值到预设的第一权重值分布范围波动转移的程度。
S4，根据转移因子、第一激活值和第一权重值，并基于参数平滑处理策略，得到平滑系数；根据平滑系数，对第一激活值和第一权重值进行处理，得到第二激活值和第二权重值；对第二权重值和第二激活值进行量化操作，得到目标权重值和目标激活值。
S5，根据目标权重值和目标激活值，得到目标卷积层输出；根据目标卷积层输出和初始神经网络在目标卷积层的输出值，得到均方误差。
S6，遍历转移因子列表中的转移因子，重复执行步骤D和步骤E，得到转移因子列表中的转移因子对应的均方误差集合；从均方误差集合中筛选出最小均方误差；将最小均方误差对应的平滑系数作为目标卷积层的目标平滑系数，以得到目标神经网络模型。
S7，根据目标神经网络模型对待分类文本数据进行分类，得到文本分类结果。
需要说明的是，在本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，在本实施例中不再赘述。
此外，结合上述实施例中提供的基于模型自动量化的文本分类方法，在本实施例中还可以提供一种存储介质来实现。该存储介质上存储有计算机程序；该计算机程序被处理器执行时实现上述实施例中的任意一种基于模型自动量化的文本分类方法。
应该明白的是，这里描述的具体实施例只是用来解释这个应用，而不是用来对它进行限定。根据本申请提供的实施例，本领域普通技术人员在不进行创造性劳动的情况下得到的所有其它实施例，均属本申请保护范围。
显然，附图只是本申请的一些例子或实施例，对本领域的普通技术人员来说，也可以根据这些附图将本申请适用于其他类似情况，但无需付出创造性劳动。另外，可以理解的是，尽管在此开发过程中所做的工作可能是复杂和漫长的，但是，对于本领域的普通技术人员来说，根据本申请披露的技术内容进行的某些设计、制造或生产等更改仅是常规的技术手段，不应被视为本申请公开的内容不足。
“实施例”一词在本申请中指的是结合实施例描述的具体特征、结构或特性可以包括在本申请的至少一个实施例中。该短语出现在说明书中的各个位置并不一定意味着相同的实施例，也不意味着与其它实施例相互排斥而具有独立性或可供选择。本领域的普通技术人员能够清楚或隐含地理解的是，本申请中描述的实施例在没有冲突的情况下，可以与其它实施例结合。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对专利保护范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。
Claims (10)
1.一种基于模型自动量化的文本分类方法，其特征在于，包括：
步骤A：从目标文本中提取文本特征数据；基于文本特征数据，对神经网络进行训练，得到初始神经网络；
步骤B：获取所述初始神经网络在目标卷积层的输入值和输出值；根据所述输入值，获取所述初始神经网络的第一激活值；
步骤C：根据预设的转移因子和所述转移因子的迭代步长，生成转移因子列表，所述转移因子用于决定从所述第一激活值到预设的第一权重值分布范围波动转移的程度；
步骤D：根据所述转移因子、所述第一激活值和所述第一权重值，并基于参数平滑处理策略，得到平滑系数；根据所述平滑系数，对所述第一激活值和所述第一权重值进行处理，得到第二激活值和第二权重值；对所述第二权重值和所述第二激活值进行量化操作，得到目标权重值和目标激活值；
其中，所述平滑系数用于对所述第一激活值的分布压缩，同时转移到预设的所述第一权重值上，对应得到所述第二激活值和所述第二权重值；
步骤E：根据所述目标权重值和所述目标激活值，得到目标卷积层输出；根据所述目标卷积层输出和所述初始神经网络在目标卷积层的输出值，得到均方误差；
步骤F：遍历所述转移因子列表中的所述转移因子，重复执行步骤D和步骤E，得到所述转移因子列表中的所述转移因子对应的均方误差集合；从所述均方误差集合中筛选出最小均方误差；将所述最小均方误差对应的所述平滑系数作为所述目标卷积层的目标平滑系数，以得到目标神经网络模型；
步骤G：根据所述目标神经网络模型对待分类文本数据进行分类，得到文本分类结果。
2.根据权利要求1所述的基于模型自动量化的文本分类方法，其特征在于，所述获取所述初始神经网络在目标卷积层的输入值和输出值，包括：
在所述初始神经网络的前向过程中，通过注册钩子函数，获取所述初始神经网络在目标卷积层的输入值、输出值。
3.根据权利要求1所述的基于模型自动量化的文本分类方法，其特征在于，所述根据所述输入值，获取所述初始神经网络的第一激活值，包括：
对所述输入值进行卷积和激活函数处理，得到所述初始神经网络的第一激活值。
4.根据权利要求1所述的基于模型自动量化的文本分类方法，其特征在于，所述根据预设的转移因子和所述转移因子的迭代步长，生成转移因子列表，包括：
根据所述预设的转移因子的阈值范围，和所述迭代步长，生成所述转移因子列表。
5.根据权利要求1所述的基于模型自动量化的文本分类方法，其特征在于，所述根据所述平滑系数，对所述第一激活值和所述第一权重值进行处理，得到第二激活值和第二权重值，包括：
将所述第一激活值除以所述平滑系数，得到第二激活值；
将所述第一权重值乘以所述平滑系数，得到第二权重值。
6.根据权利要求1所述的基于模型自动量化的文本分类方法，其特征在于，所述将所述最小均方误差对应的所述平滑系数作为所述目标卷积层的目标平滑系数，还包括：
对所述初始神经网络的每层目标卷积层重复执行步骤B到步骤F，得到所述每层目标卷积层的目标平滑系数。
7.根据权利要求6所述的基于模型自动量化的文本分类方法，其特征在于，所述对所述初始神经网络的每层目标卷积层重复执行步骤B到步骤F，包括：
拷贝初始目标卷积层的参数副本，根据所述初始目标卷积层的参数副本，对所述每层目标卷积层并行执行步骤B到步骤F。
8.一种基于模型自动量化的文本分类系统，其特征在于，包括：
数据获取模块，用于从目标文本中提取文本特征数据；基于文本特征数据，对神经网络进行训练，得到初始神经网络；获取所述初始神经网络在目标卷积层的输入值和输出值；根据所述输入值，获取所述初始神经网络的第一激活值；
目标生成模块，用于根据预设的转移因子和所述转移因子的迭代步长，生成转移因子列表，所述转移因子用于决定从所述第一激活值到预设的第一权重值分布范围波动转移的程度；根据所述转移因子、所述第一激活值和所述第一权重值，并基于参数平滑处理策略，得到平滑系数；根据所述平滑系数，对所述第一激活值和所述第一权重值进行处理，得到第二激活值和第二权重值；对所述第二权重值和所述第二激活值进行量化操作，得到目标权重值和目标激活值；其中，所述平滑系数用于对所述第一激活值的分布压缩，同时转移到预设的所述第一权重值上，对应得到所述第二激活值和所述第二权重值；
损失计算模块，用于根据所述目标权重值和所述目标激活值，得到目标卷积层输出；根据所述目标卷积层输出和所述初始神经网络在目标卷积层的输出值，得到均方误差；
最优系数生成模块，用于遍历所述转移因子列表中的所述转移因子，重复执行所述目标生成模块和所述损失计算模块中的功能，得到所述转移因子列表中的所述转移因子对应的均方误差集合；从所述均方误差集合中筛选出最小均方误差；将所述最小均方误差对应的所述平滑系数作为所述目标卷积层的目标平滑系数，以得到目标神经网络模型；
文本分类模块，用于根据目标神经网络模型对待分类文本数据进行分类，得到文本分类结果。
9.一种电子装置，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行权利要求1至权利要求7中任一项所述的基于模型自动量化的文本分类方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至权利要求7中任一项所述的基于模型自动量化的文本分类方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311235665.6A CN116992032B (zh) | 2023-09-25 | 2023-09-25 | 基于模型自动量化的文本分类方法、系统和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311235665.6A CN116992032B (zh) | 2023-09-25 | 2023-09-25 | 基于模型自动量化的文本分类方法、系统和存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116992032A CN116992032A (zh) | 2023-11-03 |
| CN116992032B true CN116992032B (zh) | 2024-01-09 |
Family
ID=88530470
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311235665.6A Active CN116992032B (zh) | 2023-09-25 | 2023-09-25 | 基于模型自动量化的文本分类方法、系统和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116992032B (zh) |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108229663A (zh) * | 2018-01-29 | 2018-06-29 | 百度在线网络技术（北京）有限公司 | 用于生成卷积神经网络的方法和装置 |
| WO2019149200A1 (zh) * | 2018-02-01 | 2019-08-08 | 腾讯科技（深圳）有限公司 | 文本分类方法、计算机设备及存储介质 |
| CN113408715A (zh) * | 2020-03-17 | 2021-09-17 | 杭州海康威视数字技术股份有限公司 | 一种神经网络的定点化方法、装置 |
| CN114528924A (zh) * | 2022-01-27 | 2022-05-24 | 山东浪潮科学研究院有限公司 | 一种图像分类模型的推理方法、装置、设备及介质 |
| CN116258190A (zh) * | 2021-12-09 | 2023-06-13 | 华为技术有限公司 | 一种量化方法、装置及相关设备 |
| CN116579407A (zh) * | 2023-05-19 | 2023-08-11 | 北京百度网讯科技有限公司 | 神经网络模型的压缩方法、训练方法、处理方法和装置 |
| CN116610797A (zh) * | 2022-02-07 | 2023-08-18 | 京东科技信息技术有限公司 | 文本情感分类模型的训练方法、装置、电子设备和介质 |
| WO2023173593A1 (zh) * | 2022-03-16 | 2023-09-21 | 青岛海尔科技有限公司 | 文本分类方法、文本分类装置、存储介质及电子装置 |
-
2023
- 2023-09-25 CN CN202311235665.6A patent/CN116992032B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108229663A (zh) * | 2018-01-29 | 2018-06-29 | 百度在线网络技术（北京）有限公司 | 用于生成卷积神经网络的方法和装置 |
| WO2019149200A1 (zh) * | 2018-02-01 | 2019-08-08 | 腾讯科技（深圳）有限公司 | 文本分类方法、计算机设备及存储介质 |
| CN113408715A (zh) * | 2020-03-17 | 2021-09-17 | 杭州海康威视数字技术股份有限公司 | 一种神经网络的定点化方法、装置 |
| CN116258190A (zh) * | 2021-12-09 | 2023-06-13 | 华为技术有限公司 | 一种量化方法、装置及相关设备 |
| CN114528924A (zh) * | 2022-01-27 | 2022-05-24 | 山东浪潮科学研究院有限公司 | 一种图像分类模型的推理方法、装置、设备及介质 |
| CN116610797A (zh) * | 2022-02-07 | 2023-08-18 | 京东科技信息技术有限公司 | 文本情感分类模型的训练方法、装置、电子设备和介质 |
| WO2023173593A1 (zh) * | 2022-03-16 | 2023-09-21 | 青岛海尔科技有限公司 | 文本分类方法、文本分类装置、存储介质及电子装置 |
| CN116579407A (zh) * | 2023-05-19 | 2023-08-11 | 北京百度网讯科技有限公司 | 神经网络模型的压缩方法、训练方法、处理方法和装置 |
Non-Patent Citations (2)
| Title |
|---|
| 双重状态转移优化RBFNN的锂电池SOC估算方法;阳春华;李学鹏;陈宁;周晓君;;控制工程(第12期);全文 * |
| 实体―属性抽取的GRU+CRF方法;王仁武;孟现茹;孔琦;;现代情报(第10期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116992032A (zh) | 2023-11-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN115456160A (zh) | 一种数据处理方法和数据处理设备 | |
| CN111488986A (zh) | 一种模型压缩方法、图像处理方法以及装置 | |
| CN112513886B (zh) | 信息处理方法、信息处理装置和信息处理程序 | |
| CN111783937A (zh) | 一种神经网络构建方法以及系统 | |
| CN111178258B (zh) | 一种图像识别的方法、系统、设备及可读存储介质 | |
| CN103679639B (zh) | 基于非局部均值的图像去噪方法和装置 | |
| CN113505883A (zh) | 一种神经网络训练方法以及装置 | |
| CN111797992A (zh) | 一种机器学习优化方法以及装置 | |
| CN112463159B (zh) | 编译方法、装置、电子设备和存储介质 | |
| CN110163333A (zh) | 卷积神经网络的并行优化方法 | |
| CN111870959A (zh) | 一种游戏中的资源推荐方法及装置 | |
| CN113869496A (zh) | 一种神经网络的获取方法、数据处理方法以及相关设备 | |
| CN114698395A (zh) | 神经网络模型的量化方法和装置、数据处理的方法和装置 | |
| CN114239668A (zh) | 模型更新的方法、终端和服务器 | |
| CN114511083A (zh) | 一种模型的训练方法、装置、存储介质及电子装置 | |
| WO2022246986A1 (zh) | 数据处理方法、装置、设备及计算机可读存储介质 | |
| CN116992032B (zh) | 基于模型自动量化的文本分类方法、系统和存储介质 | |
| WO2020107264A1 (zh) | 神经网络架构搜索的方法与装置 | |
| CN111652349A (zh) | 一种神经网络的处理方法及相关设备 | |
| CN112699260A (zh) | 物种识别方法及装置 | |
| CN116151315A (zh) | 一种面向晶上系统的注意力网络调度优化方法及装置 | |
| CN112446461A (zh) | 一种神经网络模型训练方法及装置 | |
| CN114610922A (zh) | 图像处理方法及装置、存储介质及电子设备 | |
| CN114358252A (zh) | 目标神经网络模型中的操作执行方法及装置、存储介质 | |
| CN110704587B (zh) | 文本答案的查找方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |