CN112613614A - 一种bert模型压缩加速的方法、系统、设备及介质 - Google Patents
一种bert模型压缩加速的方法、系统、设备及介质 Download PDFInfo
- Publication number
- CN112613614A CN112613614A CN202011438005.4A CN202011438005A CN112613614A CN 112613614 A CN112613614 A CN 112613614A CN 202011438005 A CN202011438005 A CN 202011438005A CN 112613614 A CN112613614 A CN 112613614A
- Authority
- CN
- China
- Prior art keywords
- model
- quantization
- student
- bert
- pseudo
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000000034 method Methods 0.000 title claims abstract description 49
- 238000013139 quantization Methods 0.000 claims abstract description 138
- 238000012549 training Methods 0.000 claims abstract description 52
- 230000006870 function Effects 0.000 claims description 24
- 238000004821 distillation Methods 0.000 claims description 15
- 230000006835 compression Effects 0.000 claims description 13
- 238000007906 compression Methods 0.000 claims description 13
- 239000011159 matrix material Substances 0.000 claims description 13
- 230000001133 acceleration Effects 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 6
- 238000010586 diagram Methods 0.000 description 16
- 230000009466 transformation Effects 0.000 description 11
- 230000008569 process Effects 0.000 description 8
- 230000000694 effects Effects 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 5
- 238000006243 chemical reaction Methods 0.000 description 3
- 230000008447 perception Effects 0.000 description 3
- 238000000844 transformation Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000003058 natural language processing Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 238000013140 knowledge distillation Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000011002 quantification Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000009966 trimming Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/04—Inference or reasoning models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
- G06N20/20—Ensemble learning
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Artificial Intelligence (AREA)
- Medical Informatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computational Linguistics (AREA)
- Compression Of Band Width Or Redundancy In Fax (AREA)
Abstract
本发明公开了一种bert模型压缩加速的方法、系统、设备和存储介质，方法包括：构建第一学生模型，使用通用数据集训练所述第一学生模型，并基于基准bert模型将所述第一学生模型转化为预训练bert模型；构建第二学生模型，使用自然语言任务数据集训练所述第二学生模型，并基于所述预训练bert模型将所述第二学生模型转换为伪量化模型；以及将所述伪量化模型转换成量化模型，并对所述量化模型的算子进行合并以生成推理引擎。本发明压缩了bert模型的体积，加快了推理速度，提高了bert模型的整体性能。
Description
技术领域
本发明涉及模型推理领域，更具体地，特别是指一种bert模型压缩加速的方法、系统、计算机设备及可读介质。
背景技术
在NLP(Natural Language Processing，自然语言处理)领域，BERT模型的强大毫无疑问，但由于模型过于庞大，单个样本计算一次的开销动辄上百毫秒，很难应用到实际生产中。对于bert模型的压缩，现有技术包括Bert模型蒸馏，量化和裁剪。在自然语言理解任务中，如果直接使用int8量化技术来加速模型的推理速度，虽然可以获得2倍的加速效果，但是精度会出现严重下降，而且伪量化模型不能直接进行推理运算。如果仅用知识蒸馏对bert模型进行压缩，对模型推理的加速效果也不太理想。
发明内容
有鉴于此，本发明实施例的目的在于提出一种bert模型压缩加速的方法、系统、计算机设备及计算机可读存储介质，在训练阶段采用模型蒸馏和量化等手段进行模型压缩，在推理阶段采用模型转换和算子合并等手段完成模型的实际推理应用，大大压缩了bert模型的体积，并且提高了推理速度。
基于上述目的，本发明实施例的一方面提供了一种bert模型压缩加速的方法，包括如下步骤：构建第一学生模型，使用通用数据集训练所述第一学生模型，并基于基准bert模型将所述第一学生模型转化为预训练bert模型；构建第二学生模型，使用自然语言任务数据集训练所述第二学生模型，并基于所述预训练bert模型将所述第二学生模型转换为伪量化模型；以及将所述伪量化模型转换成量化模型，并对所述量化模型的算子进行合并以生成推理引擎。
在一些实施方式中，所述基于基准bert模型将所述第一学生模型转化为预训练bert模型包括：将基准bert模型作为老师模型，构建所述老师模型和所述第一学生模型之间对应层蒸馏的目标代价函数，最小化所述目标代价函数以将所述第一学生模型转化为预训练bert模型。
在一些实施方式中，所述将所述伪量化模型转换成量化模型包括：对所述伪量化模型进行解析以获得伪量化节点，将所述伪量化节点转换为量化节点和反量化节点。
在一些实施方式中，所述对所述量化模型的算子进行合并以生成推理引擎包括：对矩阵乘法中的权重进行量化以生成包括比例系数的新权重，提取所述比例系数并与下一个输入量化层的量化系数进行合并。
本发明实施例的另一方面，还提供了一种bert模型压缩加速系统，包括：第一训练模块，配置用于构建第一学生模型，使用通用数据集训练所述第一学生模型，并基于基准bert模型将所述第一学生模型转化为预训练bert模型；第二训练模块，配置用于构建第二学生模型，使用自然语言任务数据集训练所述第二学生模型，并基于所述预训练bert模型将所述第二学生模型转换为伪量化模型；以及量化模块，配置用于将所述伪量化模型转换成量化模型，并对所述量化模型的算子进行合并以生成推理引擎。
在一些实施方式中，所述第一训练模块配置用于：将基准bert模型作为老师模型，构建所述老师模型和所述第一学生模型之间对应层蒸馏的目标代价函数，最小化所述目标代价函数以将所述第一学生模型转化为预训练bert模型。
在一些实施方式中，所述量化模块配置用于：对所述伪量化模型进行解析以获得伪量化节点，将所述伪量化节点转换为量化节点和反量化节点。
在一些实施方式中，所述量化模块配置用于：对矩阵乘法中的权重进行量化以生成包括比例系数的新权重，提取所述比例系数并与下一个输入量化层的量化系数进行合并。
本发明实施例的又一方面，还提供了一种计算机设备，包括：至少一个处理器；以及存储器，所述存储器存储有可在所述处理器上运行的计算机指令，所述指令由所述处理器执行时实现如上方法的步骤。
本发明实施例的再一方面，还提供了一种计算机可读存储介质，计算机可读存储介质存储有被处理器执行时实现如上方法步骤的计算机程序。
本发明具有以下有益技术效果：在训练阶段采用模型蒸馏和量化等手段进行模型压缩，在推理阶段采用模型转换和算子合并等手段完成模型的实际推理应用，大大压缩了bert模型的体积，并且提高了推理速度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的实施例。
图1为本发明提供的bert模型压缩加速的方法的实施例的示意图；
图2为本发明实施例的训练阶段的示意图；
图3为本发明实施例的推理阶段的示意图；
图4a为本发明实施例的伪量化模型的计算图；
图4b为本发明实施例的伪量化模型中伪量化节点展开后的网络结构图；
图4c为本发明实施例的权重量化合并后的网络结构图；
图4d为本发明实施例的算子合并后的网络结构图；
图5为本发明提供的bert模型压缩加速的计算机设备的实施例的硬件结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明实施例进一步详细说明。
需要说明的是，本发明实施例中所有使用“第一”和“第二”的表述均是为了区分两个相同名称非相同的实体或者非相同的参量，可见“第一”“第二”仅为了表述的方便，不应理解为对本发明实施例的限定，后续实施例对此不再一一说明。
基于上述目的，本发明实施例的第一个方面，提出了一种bert模型压缩加速的方法的实施例。图1示出的是本发明提供的bert模型压缩加速的方法的实施例的示意图。如图1所示，本发明实施例包括如下步骤：
S1、构建第一学生模型，使用通用数据集训练第一学生模型，并基于基准bert模型将第一学生模型转化为预训练bert模型；
S2、构建第二学生模型，使用自然语言任务数据集训练第二学生模型，并基于预训练bert模型将第二学生模型转换为伪量化模型；以及
S3、将伪量化模型转换成量化模型，并对量化模型的算子进行合并以生成推理引擎。
本发明实施例主要包括训练阶段和推理阶段，训练阶段包括模型的预训练和模型的微调，推理阶段包括模型的转换和算子的合并。
图2示出的是本发明实施例中训练阶段的示意图。如图2所示，采用Wiki通用数据集对初始模型进行预训练，然后采用具体任务专用数据集进行再次训练，并通过模型蒸馏和量化对再次训练后的模型进行微调。
构建第一学生模型，使用通用数据集训练第一学生模型，并基于基准bert模型将第一学生模型转化为预训练bert模型。
在一些实施方式中，所述基于基准bert模型将所述第一学生模型转化为预训练bert模型包括：将基准bert模型作为老师模型，构建所述老师模型和所述第一学生模型之间对应层蒸馏的目标代价函数，最小化所述目标代价函数以将所述第一学生模型转化为预训练bert模型。
本发明实施例采用标准bert模型作为老师模型，在预训练阶段主要使bert模型在大型数据集wiki中学习到通用知识。首先构建第一学生模型，其中包含M个transformer层，而老师模型有N个transformer层，从中选择M个transformer层用于蒸馏。然后设计老师模型和第一学生模型之间对应层蒸馏的目标代价函数，通过最小化该代价函数，使第一学生模型可以获取老师模型的知识。从而使得第一学生模型转换成预训练bert模型。
构建第二学生模型，使用自然语言任务数据集训练第二学生模型，并基于预训练bert模型将第二学生模型转换为伪量化模型。
本步骤主要是对Bert模型进行微调，目的在于：1.使bert在具体的自然语言任务中学习到专用知识。2.通过量化感知训练，使得权重参数适应int8量化带来的精度损失。
在微调过程中，将transformer蒸馏和模型量化感知训练结合到一起，生成一个新的伪量化模型。具体的实施步骤如下：
1.一般涉及到具体自然语言任务数据集数据量较小，首先对具体应用的自然语言数据集进行数据的增广，扩充数据量；
2.考虑到实际应用的压缩率，设计第二学生模型，使用预训练bert模型作为老师模型，同样可以最小化第二学生模型与预训练bert模型之间的代价函数，从而使得第二学生模型转换成训练模型；
3.对训练模型进行量化，可以采用对称量化，量化的公式为：
x_q＝round(clip(scale*x,-127,127))
其中x为量化前的数据，以fp32格式存储，x_q为量化后的数据，以int8格式存储，scale为量化比例系数，在训练过程中生成，clip(x，min，max)函数，为限幅函数，将x限制在min和max值之间；round(x)函数为四舍五入函数，将x转换为int8格式的数据。
根据量化公式，采用量化感知训练方法，对bert中的enbedding(植入)，encoder(编码)层添加的伪量化节点为：
x_q＝round(clip(scale*x,-127,127))/scale
4.对模型进行微调，等训练模型的损失函数收敛后，保存模型，生成伪量化模型，完成训练。
图3示出的是本发明实施例的推理阶段的示意图。训练后产生的伪量化模型参数仍然以fp32的格式存储，不能直接用于int8的推理，更不能获得int8的加速效果。因此需要先处理伪量化模型，将其转换为8bit的模型进行存储，然后进行算子合并的方式减少计算量，最后生成推理引擎。如图3所示，推理阶段包括：对伪量化模型进行解析，并对伪量化模型进行转换，对转换后的伪量化模型进行算子合并，最后生成推理引擎执行具体的推理任务。这其中，伪量化模型的转换、算子合并和生成推理引擎是模型离线生成的过程。
结合图4a、4b、4c和4d对推理阶段进行说明。将伪量化模型转换成量化模型，并对量化模型的算子进行合并以生成推理引擎。由于bert模型的网络结构中主要的计算为矩阵乘法，因此，下面以矩阵乘法y＝W*x为例说明整个模型离线生成的过程。
在一些实施方式中，所述将所述伪量化模型转换成量化模型包括：对所述伪量化模型进行解析以获得伪量化节点，将所述伪量化节点转换为量化节点和反量化节点。
图4a示出的是本发明实施例的伪量化模型的计算图。其中FQ为伪量化节点，即FQ＝round(clip(scale*x，-127，127))/scale，其中scale为训练微调得到的量化系数。
图4b示出的是本发明实施例的伪量化模型中伪量化节点展开后的网络结构图。将伪量化模型中FQ节点展开成量化节点和反量化节点，其中量化节点Q＝round(clip(scale*x，-127，127))，反量化节点为DQ＝Q/scale。
在一些实施方式中，所述对所述量化模型的算子进行合并以生成推理引擎包括：对矩阵乘法中的权重进行量化以生成包括比例系数的新权重，提取所述比例系数并与下一个输入量化层的量化系数进行合并。
图4c示出的是本发明实施例的权重量化合并后的网络结构图。对权重W进行量化，生成新的int8权重W’，用公式可以表示该过程为：W’＝round(clip(scale*W，-127，127))。
图4d示出的是本发明实施例的算子合并后的网络结构图。对图4c中的虚线框中的算子结构继续进行合并，主要操作为将DQ算子移动到矩阵乘法之后进行，该过程会生成新的int8矩阵乘法算子，如图4d所示。其中，新生成的int8矩阵乘法的计算过程为：
Y_int32＝W_int8*x_int8
Y_fp32＝(fp32)Y_int32/(DQ1*DQ2)
另外图4d中的虚线框中的算子可以继续进行合并，合并过程需要用到两个等价变换。
等价变换1：对于矩阵乘法
存在如下等价变换
其中a，b分别为W和x的量化比例系数，为fp32的常量。该变换会提取出比例系数ab，该系数连接着下一层的输入量化层，因此经过该变换，ab可以与下一层的量化系数进行合并，节省一次乘法运算。
等价变换2：对于矩阵之间的加法y＝a*x1+b*x2存在如下等价变换
该变换会提取出新的比例系数a或b，该系数可以与下一层的量化系数进行合并，节省一次乘法运算。
通过上述两个等价变换，可以进一步完成算子合并，节省部分冗余计算，提高推理速度。
对于模型训练阶段，本发明采用bert模型蒸馏和模型量化两种手段相结合的方式，对bert模型进行重训练，生成一个高效的伪量化模型；对于模型推理阶段，本发明采用伪量化模型的解析及算子融合等方法，来进一步加速模型的推理速度。
需要特别指出的是，上述bert模型压缩加速的方法的各个实施例中的各个步骤均可以相互交叉、替换、增加、删减，因此，这些合理的排列组合变换之于bert模型压缩加速的方法也应当属于本发明的保护范围，并且不应将本发明的保护范围局限在实施例之上。
基于上述目的，本发明实施例的第二个方面，提出了一种bert模型压缩加速的系统，包括：第一训练模块，配置用于构建第一学生模型，使用通用数据集训练所述第一学生模型，并基于基准bert模型将所述第一学生模型转化为预训练bert模型；第二训练模块，配置用于构建第二学生模型，使用自然语言任务数据集训练所述第二学生模型，并基于所述预训练bert模型将所述第二学生模型转换为伪量化模型；以及量化模块，配置用于将所述伪量化模型转换成量化模型，并对所述量化模型的算子进行合并以生成推理引擎。
在一些实施方式中，所述第一训练模块配置用于：将基准bert模型作为老师模型，构建所述老师模型和所述第一学生模型之间对应层蒸馏的目标代价函数，最小化所述目标代价函数以将所述第一学生模型转化为预训练bert模型。
在一些实施方式中，所述量化模块配置用于：对所述伪量化模型进行解析以获得伪量化节点，将所述伪量化节点转换为量化节点和反量化节点。
在一些实施方式中，所述量化模块配置用于：对矩阵乘法中的权重进行量化以生成包括比例系数的新权重，提取所述比例系数并与下一个输入量化层的量化系数进行合并。
基于上述目的，本发明实施例的第三个方面，提出了一种计算机设备，包括：至少一个处理器；以及存储器，存储器存储有可在处理器上运行的计算机指令，指令由处理器执行以实现如下步骤：S1、构建第一学生模型，使用通用数据集训练第一学生模型，并基于基准bert模型将第一学生模型转化为预训练bert模型；S2、构建第二学生模型，使用自然语言任务数据集训练第二学生模型，并基于预训练bert模型将第二学生模型转换为伪量化模型；以及S3、将伪量化模型转换成量化模型，并对量化模型的算子进行合并以生成推理引擎。
在一些实施方式中，所述基于基准bert模型将所述第一学生模型转化为预训练bert模型包括：将基准bert模型作为老师模型，构建所述老师模型和所述第一学生模型之间对应层蒸馏的目标代价函数，最小化所述目标代价函数以将所述第一学生模型转化为预训练bert模型。
在一些实施方式中，所述将所述伪量化模型转换成量化模型包括：对所述伪量化模型进行解析以获得伪量化节点，将所述伪量化节点转换为量化节点和反量化节点。
在一些实施方式中，所述对所述量化模型的算子进行合并以生成推理引擎包括：对矩阵乘法中的权重进行量化以生成包括比例系数的新权重，提取所述比例系数并与下一个输入量化层的量化系数进行合并。
如图2所示，为本发明提供的上述bert模型压缩加速的计算机设备的一个实施例的硬件结构示意图。
以如图2所示的装置为例，在该装置中包括一个处理器301以及一个存储器302，并还可以包括：输入装置303和输出装置304。
处理器301、存储器302、输入装置303和输出装置304可以通过总线或者其他方式连接，图2中以通过总线连接为例。
存储器302作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块，如本申请实施例中的bert模型压缩加速的方法对应的程序指令/模块。处理器301通过运行存储在存储器302中的非易失性软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例的bert模型压缩加速的方法。
存储器302可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据bert模型压缩加速的方法的使用所创建的数据等。此外，存储器302可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施例中，存储器302可选包括相对于处理器301远程设置的存储器，这些远程存储器可以通过网络连接至本地模块。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置303可接收输入的用户名和密码等信息。输出装置304可包括显示屏等显示设备。
一个或者多个bert模型压缩加速的方法对应的程序指令/模块存储在存储器302中，当被处理器301执行时，执行上述任意方法实施例中的bert模型压缩加速的方法。
执行上述bert模型压缩加速的方法的计算机设备的任何一个实施例，可以达到与之对应的前述任意方法实施例相同或者相类似的效果。
本发明还提供了一种计算机可读存储介质，计算机可读存储介质存储有被处理器执行时执行如上方法的计算机程序。
最后需要说明的是，本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，可以通过计算机程序来指令相关硬件来完成，bert模型压缩加速的方法的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，程序的存储介质可为磁碟、光盘、只读存储记忆体(ROM)或随机存储记忆体(RAM)等。上述计算机程序的实施例，可以达到与之对应的前述任意方法实施例相同或者相类似的效果。
以上是本发明公开的示例性实施例，但是应当注意，在不背离权利要求限定的本发明实施例公开的范围的前提下，可以进行多种改变和修改。根据这里描述的公开实施例的方法权利要求的功能、步骤和/或动作不需以任何特定顺序执行。此外，尽管本发明实施例公开的元素可以以个体形式描述或要求，但除非明确限制为单数，也可以理解为多个。
应当理解的是，在本文中使用的，除非上下文清楚地支持例外情况，单数形式“一个”旨在也包括复数形式。还应当理解的是，在本文中使用的“和/或”是指包括一个或者一个以上相关联地列出的项目的任意和所有可能组合。
上述本发明实施例公开实施例序号仅仅为了描述，不代表实施例的优劣。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
所属领域的普通技术人员应当理解：以上任何实施例的讨论仅为示例性的，并非旨在暗示本发明实施例公开的范围(包括权利要求)被限于这些例子；在本发明实施例的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，并存在如上的本发明实施例的不同方面的许多其它变化，为了简明它们没有在细节中提供。因此，凡在本发明实施例的精神和原则之内，所做的任何省略、修改、等同替换、改进等，均应包含在本发明实施例的保护范围之内。
Claims (10)
1.一种bert模型压缩加速的方法，其特征在于，包括以下步骤：
构建第一学生模型，使用通用数据集训练所述第一学生模型，并基于基准bert模型将所述第一学生模型转化为预训练bert模型；
构建第二学生模型，使用自然语言任务数据集训练所述第二学生模型，并基于所述预训练bert模型将所述第二学生模型转换为伪量化模型；以及
将所述伪量化模型转换成量化模型，并对所述量化模型的算子进行合并以生成推理引擎。
2.根据权利要求1所述的方法，其特征在于，所述基于基准bert模型将所述第一学生模型转化为预训练bert模型包括：
将基准bert模型作为老师模型，构建所述老师模型和所述第一学生模型之间对应层蒸馏的目标代价函数，最小化所述目标代价函数以将所述第一学生模型转化为预训练bert模型。
3.根据权利要求1所述的方法，其特征在于，所述将所述伪量化模型转换成量化模型包括：
对所述伪量化模型进行解析以获得伪量化节点，将所述伪量化节点转换为量化节点和反量化节点。
4.根据权利要求1所述的方法，其特征在于，所述对所述量化模型的算子进行合并以生成推理引擎包括：
对矩阵乘法中的权重进行量化以生成包括比例系数的新权重，提取所述比例系数并与下一个输入量化层的量化系数进行合并。
5.一种bert模型压缩加速的方法，其特征在于，包括：
第一训练模块，配置用于构建第一学生模型，使用通用数据集训练所述第一学生模型，并基于基准bert模型将所述第一学生模型转化为预训练bert模型；
第二训练模块，配置用于构建第二学生模型，使用自然语言任务数据集训练所述第二学生模型，并基于所述预训练bert模型将所述第二学生模型转换为伪量化模型；以及
量化模块，配置用于将所述伪量化模型转换成量化模型，并对所述量化模型的算子进行合并以生成推理引擎。
6.根据权利要求5所述的系统，其特征在于，所述第一训练模块配置用于：
将基准bert模型作为老师模型，构建所述老师模型和所述第一学生模型之间对应层蒸馏的目标代价函数，最小化所述目标代价函数以将所述第一学生模型转化为预训练bert模型。
7.根据权利要求5所述的系统，其特征在于，所述量化模块配置用于：
对所述伪量化模型进行解析以获得伪量化节点，将所述伪量化节点转换为量化节点和反量化节点。
8.根据权利要求5所述的系统，其特征在于，所述量化模块配置用于：
对矩阵乘法中的权重进行量化以生成包括比例系数的新权重，提取所述比例系数并与下一个输入量化层的量化系数进行合并。
9.一种计算机设备，其特征在于，包括：
至少一个处理器；以及
存储器，所述存储器存储有可在所述处理器上运行的计算机指令，所述指令由所述处理器执行时实现权利要求1-4任意一项所述方法的步骤。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-4任意一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011438005.4A CN112613614A (zh) | 2020-12-10 | 2020-12-10 | 一种bert模型压缩加速的方法、系统、设备及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011438005.4A CN112613614A (zh) | 2020-12-10 | 2020-12-10 | 一种bert模型压缩加速的方法、系统、设备及介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112613614A true CN112613614A (zh) | 2021-04-06 |
Family
ID=75232773
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011438005.4A Withdrawn CN112613614A (zh) | 2020-12-10 | 2020-12-10 | 一种bert模型压缩加速的方法、系统、设备及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112613614A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113705317A (zh) * | 2021-04-14 | 2021-11-26 | 腾讯科技（深圳）有限公司 | 图像处理模型训练方法、图像处理方法及相关设备 |
-
2020
- 2020-12-10 CN CN202011438005.4A patent/CN112613614A/zh not_active Withdrawn
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113705317A (zh) * | 2021-04-14 | 2021-11-26 | 腾讯科技（深圳）有限公司 | 图像处理模型训练方法、图像处理方法及相关设备 |
| CN113705317B (zh) * | 2021-04-14 | 2024-04-26 | 腾讯科技（深圳）有限公司 | 图像处理模型训练方法、图像处理方法及相关设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20240119286A1 (en) | Adaptive artificial neural network selection techniques | |
| CN113011581B (zh) | 神经网络模型压缩方法、装置、电子设备及可读存储介质 | |
| CN107292382A (zh) | 一种神经网络声学模型激活函数定点量化方法 | |
| CN112565777B (zh) | 基于深度学习模型视频数据传输方法、系统、介质及设备 | |
| CN111583913B (zh) | 语音识别和语音合成的模型训练方法、装置和计算机设备 | |
| CN110795235B (zh) | 一种移动web深度学习协作的方法及系统 | |
| CN105513099A (zh) | 一种骨骼动画数据的压缩方法及装置 | |
| CN115101085A (zh) | 一种卷积增强外部注意力的多说话人时域语音分离方法 | |
| CN110751265A (zh) | 一种轻量型神经网络构建方法、系统及电子设备 | |
| CN113241064A (zh) | 语音识别、模型训练方法、装置、电子设备和存储介质 | |
| CN111738435A (zh) | 一种基于移动设备的在线稀疏训练方法及系统 | |
| CN112200311A (zh) | 一种4比特量化推理的方法、装置、设备及可读介质 | |
| US20230252294A1 (en) | Data processing method, apparatus, and device, and computer-readable storage medium | |
| CN113763973A (zh) | 音频信号增强方法、装置、计算机设备和存储介质 | |
| CN112613614A (zh) | 一种bert模型压缩加速的方法、系统、设备及介质 | |
| CN118333857A (zh) | 轻量级多尺度图像超分辨率重建方法 | |
| CN112052945A (zh) | 神经网络的训练方法、神经网络的训练装置和电子设备 | |
| CN111860770A (zh) | 一种融合裁剪与量化的模型压缩方法及系统 | |
| CN117809620A (zh) | 语音合成方法、装置、电子设备和存储介质 | |
| CN111479286B (zh) | 一种边缘计算系统减少通信流量的数据处理方法 | |
| CN117671371A (zh) | 一种基于代理注意力的视觉任务处理方法和系统 | |
| CN115994590B (zh) | 基于分布式集群的数据处理方法、系统、设备及存储介质 | |
| CN111260049A (zh) | 一种基于国产嵌入式系统的神经网络实现方法 | |
| CN113885889B (zh) | 一种用于量化模型部署的方法、系统、存储介质及设备 | |
| Xu et al. | Low complexity rate-adaptive deep joint source channel coding for wireless image transmission using tensor-train decomposition |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WW01 | Invention patent application withdrawn after publication |
Application publication date: 20210406 |
|
| WW01 | Invention patent application withdrawn after publication |