CN113887709A - 神经网络自适应量化方法、装置、设备、介质和产品 - Google Patents

神经网络自适应量化方法、装置、设备、介质和产品 Download PDF

Info

Publication number
CN113887709A
CN113887709A CN202111288941.6A CN202111288941A CN113887709A CN 113887709 A CN113887709 A CN 113887709A CN 202111288941 A CN202111288941 A CN 202111288941A CN 113887709 A CN113887709 A CN 113887709A
Authority
CN
China
Prior art keywords
neural network
value
activation function
channel
weight
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111288941.6A
Other languages
English (en)
Inventor
不公告发明人
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Biren Intelligent Technology Co Ltd
Original Assignee
Shanghai Biren Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Biren Intelligent Technology Co Ltd filed Critical Shanghai Biren Intelligent Technology Co Ltd
Priority to CN202111288941.6A priority Critical patent/CN113887709A/zh
Publication of CN113887709A publication Critical patent/CN113887709A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Feedback Control In General (AREA)

Abstract

本发明提供一种神经网络自适应量化方法、装置、设备、介质和产品，其中，该方法包括：基于神经网络的权重值对神经网络输出结果的贡献度调整权重值；基于神经网络的激活函数输出值对神经网络输出结果的贡献度调整激活函数输出值；基于调整后的神经网络中权重值的最大值所在的通道，对调整后的神经网络进行等效变换，使权重值各通道的分布接近；基于调整后的神经网络中激活函数输出值的最大值所在的通道，对调整后的神经网络进行等效变换，使激活函数输出值各通道的分布接近；对等效变换后的神经网络中的权重值和激活函数输出值进行量化处理，得到目标神经网络。本发明可以在不增加成本的基础上降低量化引起的精度损失。

Description

神经网络自适应量化方法、装置、设备、介质和产品
技术领域
本发明涉及计算机技术领域，尤其涉及一种神经网络自适应量化方法、神经网络自适应量化装置、电子设备、非暂态计算机可读存储介质和计算机程序产品。
背景技术
随着人工智能的发展，人工神经网络(Artificial Neural Network，简称ANN)，以下简称为神经网络，在图像分类、目标检测、自然语言处理等方面都取得了很好的效果。然而，随着神经网络预测准确度的提升，也带来了神经网络规模的增大，神经网络规模增大会占用较多的存储、计算和带宽等资源，从而降低神经网络的处理速度，影响神经网络在移动终端的部署。
对神经网络进行量化是目前比较常用的减小神经网络规模的方法。对神经网络进行量化，就是将神经网络中用32bit或者64bit表达的浮点数转换为主要用8bit的定点数表达，也支持更低bit的定点数表达。
现有的神经网络量化方法，是在神经网络训练后进行量化，虽然操作比较简单，但是通常会产生较大的精度损失。感知量化的方法虽然可以在一定程度上解决精度损失的问题，但是需要额外的训练过程，会造成成本的增加。
发明内容
本发明提供一种神经网络自适应量化方法、装置、设备、介质和产品，用以解决现有技术的神经网络量化方法精度损失较大，成本增加的缺陷，可以在不增加成本的基础上降低量化引起的精度损失。
第一方面，本发明提供一种神经网络自适应量化方法，包括：
基于神经网络的权重值对所述神经网络输出结果的贡献度调整所述权重值；基于所述神经网络的激活函数输出值对所述神经网络输出结果的贡献度调整所述激活函数输出值；
基于调整后的神经网络中权重值的最大值所在的通道，对所述调整后的神经网络进行等效变换，使所述权重值各通道的分布接近；基于所述调整后的神经网络中激活函数输出值的最大值所在的通道，对所述调整后的神经网络进行等效变换，使所述激活函数输出值各通道的分布接近；
对等效变换后的神经网络中的权重值和激活函数输出值进行量化处理，得到目标神经网络。
根据本发明提供的一种神经网络自适应量化方法，所述基于神经网络的权重值对所述神经网络输出结果的贡献度调整所述权重值；基于所述神经网络的激活函数输出值对所述神经网络输出结果的贡献度，调整所述激活函数输出值，包括：
对所述神经网络每一层的权重值和激活函数输出值分别确定贡献度评判值；
基于所确定的贡献度评判值进行贡献度分析，分别确定所述权重值和所述激活函数输出值的量化因子；
基于所确定的量化因子分别调整对应的权重值和对应的激活函数输出值。
根据本发明提供的一种神经网络自适应量化方法，所述对所述神经网络中每一层的权重值和激活函数输出值分别确定贡献度评判值，包括：
确定所述神经网络每一层中各采样单元的权重值的第一均值，作为所述权重值的贡献度评判值；确定所述神经网络每一层中各通道的激活函数输出值的第二均值，作为所述激活函数输出值的贡献度评判值；和/或，
所述基于所确定的贡献度评判值进行贡献度分析，分别确定所述权重值和所述激活函数输出值的量化因子，包括：
判断所述贡献度评判值是否大于预先设定的阈值；
若所述贡献度评判值大于预先设定的阈值，为所述贡献度评判值对应的权重值或者激活函数输出值设置第一量化因子；
若所述贡献度评判值小于或等于预先设定的阈值，为所述贡献度评判值对应的权重值或者激活函数输出值设置第二量化因子；其中，所述第二量化因子小于所述第一量化因子。
根据本发明提供的一种神经网络自适应量化方法，所述基于所确定的量化因子分别调整对应的权重值和对应的激活函数输出值，包括：
基于所确定的量化因子与对应的权重值的乘积，对所述权重值进行更新；基于所确定的量化因子与对应的激活函数输出值的乘积，对所述激活函数输出值进行更新。
根据本发明提供的一种神经网络自适应量化方法，所述基于调整后的神经网络中权重值的最大值所在的通道，对所述调整后的神经网络进行等效变换，使所述权重值各通道的分布接近；基于所述调整后的神经网络中激活函数输出值的最大值所在的通道，对所述调整后的神经网络进行等效变换，使所述激活函数输出值各通道的分布接近，包括：
针对所述调整后的神经网络中的每一层：分别确定权重值和激活函数输出值中最大值所在的通道，作为主要通道；
分别确定权重值和激活函数输出值中除所述主要通道以外的其他通道的缩放因子；
基于所确定的缩放因子对所述调整后的神经网络进行等效变换。
根据本发明提供的一种神经网络自适应量化方法，所述分别确定权重值和激活函数输出值中除所述主要通道以外的其他通道的缩放因子，包括：
将所述主要通道的最大权重值与权重值中除所述主要通道以外的其他通道的最大权重值的比值，作为对应的其他通道的第一缩放因子；将所述主要通道的最大激活函数输出值与激活函数输出值中除所述主要通道以外的其他通道的最大权重值的比值，作为对应的其他通道的第二缩放因子；和/或，
所述基于所确定的缩放因子对所述调整后的神经网络进行等效变换，包括：
基于所述第一缩放因子与对应的其他通道中的权重值的乘积，使所述权重值各通道的分布接近；基于所述第二缩放因子与对应的其他通道中的激活函数输出值的乘积，使所述激活函数输出值各通道的分布接近；
对所述调整后的神经网络的下一层中的权重值除以所述第一缩放因子；对所述调整后的神经网络的下一层中的激活函数输出值除以所述第二缩放因子。
第二方面，本发明还提供一种自适应神经网络量化装置，包括：
贡献分析模块，用于基于神经网络的权重值对所述神经网络输出结果的贡献度调整所述权重值；基于所述神经网络的激活函数输出值对所述神经网络输出结果的贡献度调整所述激活函数输出值；
等效变换模块，用于基于调整后的神经网络中权重值的最大值所在的通道，对所述调整后的神经网络进行等效变换，使所述权重值各通道的分布接近；基于所述调整后的神经网络中激活函数输出值的最大值所在的通道，对所述调整后的神经网络进行等效变换，使所述激活函数输出值各通道的分布接近；
量化处理模块，用于对等效变换后的神经网络中的权重值和激活函数输出值进行量化处理，得到目标神经网络。
第三方面，本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述神经网络自适应量化方法的步骤。
第四方面，发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述神经网络自适应量化方法的步骤。
第五方面，发明还提供一种计算机程序产品，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述神经网络自适应量化方法的步骤。
本发明提供的神经网络自适应量化方法、装置、设备、介质和产品，利用对神经网络输出结果的贡献度，对神经网络的权重值和激活函数输出值进行第一次自适应调整，通过增强对输出结果贡献度大的权重值和激活函数输出值，减弱对输出结果贡献度大的权重值和激活函数输出值，可以有效保证量化后神经网络的精度；利用调整后的神经网络中权重值和激活函数值的最大值所在的通道，对神经网络的权重值和激活函数输出值进行第二次自适应调整，通过分别使权重值和激活函数输出值各通道的分布接近，可以降低由于各通道分布不一致引起的量化精度损失；并且不需要额外的训练过程，不会造成成本的增加。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的神经网络自适应量化方法的流程示意图；
图2是本发明提供的基于贡献度调整神经网络的方法的流程示意图；
图3是本发明提供的基于最大值通道对神经网络进行等效变换的方法的流程示意图；
图4是本发明提供的神经网络自适应量化方法一个应用场景实施例的示意图；
图5是本发明提供的自适应神经网络量化装置的组成结构示意图；
图6是本发明提供的电子设备的组成结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
下面结合图1-图4描述本发明的神经网络自适应量化方法。
请参阅图1，图1是本发明提供的神经网络自适应量化方法的流程示意图，图1所示的神经网络自适应量化方法可以由自适应神经网络量化装置执行，自适应神经网络量化装置可以设置于服务端或者终端，例如智能手机、笔记型计算机、平板型计算机、车载计算机等移动终端，本发明实施例对此不作限定。如图1所示，该神经网络自适应量化方法至少包括：
101，基于神经网络的权重值对神经网络输出结果的贡献度调整权重值；基于神经网络的激活函数输出值对神经网络输出结果的贡献度调整激活函数输出值。
在本发明实施例中，进行自适应量化的神经网络可以为对神经网络进行训练后得到的神经网络，例如，神经网络可以为卷积神经网络(Convolutional Neural Networks，简称CNN)、深度神经网络(Deep Neural Networks,简称DNN)、循环神经网络(RecurrentNeural Network,简称RNN)等，本发明实施例对进行自适应量化的神经网络的类型不作限定。进行自适应量化的神经网络可以为用于进行计算机视觉处理的神经网络，或者也可以为用于进行自然语言处理的神经网络，等，本发明实施例对进行自适应量化的神经网络的应用领域不作限定。例如进行自适应量化的神经网络，可以为对医疗领域的CT图像或者对用户的通话记录等敏感信息进行识别的神经网络，由于这类涉及敏感信息的神经网络的训练样本较难获取，采用训练后量化的方法可以在保证信息安全的基础上减小神经网络的规模，获得轻量型神经网络。
在本发明实施例中，由于神经网络的权重值(weight)与神经网络的激活函数输出值(input activation)的卷积操作、乘加操作是神经网络中的基本操作。因此神经网络中的每个权重值和每个激活函数输出值都对神经网络得输出结果作出了贡献。但是由于处于神经网络中不同位置的权重值和激活函数输出值对神经网络的输出结果的贡献度往往不同，例如，神经网络层数越深，获得的特征的抽象程度越高，越能够反映出本质的区别，对应的权重值和激活函数输出值对输出结果的贡献度也就越大。因此可以通过分别确定神经网络中的权重值和激活函数输出值对神经网络的输出结果的贡献度，分别对神经网络中对应的权重值和激活函数输出值进行调整，以增大调整后的神经网络中贡献大的权重值和激活函数输出值与贡献小的权重值和激活函数输出值之间的差距。
在本发明实施例中，可以通过剪枝去掉神经网络中的权重值或者激活函数输出值，比较神经网络剪枝后的精度与神经网络剪枝前的精度，来确定剪枝去掉的权重值或者激活函数输出值对神经网络的输出结果的贡献度。
可选地，可以通过将所确定的权重值或者激活函数输出值对神经网络的输出结果的贡献度与对应的权重值或者激活函数输出值相乘，对神经网络中的权重值和激活函数输出值进行调整；或者，也可以将所确定的权重值或者激活函数输出值对神经网络的输出结果的贡献度与预先设定的阈值进行比较，将贡献度小于或等于预先设定的阈值的权重值或者激活函数输出值设置为0，保留贡献度大于预先设定的阈值的权重值或者激活函数输出值，来对神经网络中的权重值和激活函数输出值进行调整。本发明实施例对根据权重值和激活函数输出值对神经网络的输出结果的贡献度对神将网络中的权重值和激活函数输出值进行调整的方法不作限定。
102，基于调整后的神经网络中权重值的最大值所在的通道，对调整后的神经网络进行等效变换，使权重值各通道的分布接近；基于调整后的神经网络中激活函数输出值的最大值所在的通道，对调整后的神经网络进行等效变换，使激活函数输出值各通道的分布接近。
在本发明实施例中，在基于权重值和激活函数输出值对神经网络输出结果的贡献度对神将网络进行调整，得到调整后的神经网络后，可以通过确定调整后的神经网络的权重值中最大权重值所在的通道，对神经网络的权重值中除最大权重值所在的通道以外的其他通道进行等效变换，使非最大权重值所在的通道的权重值分布与最大权重值所在的通道的权重值分布接近；以及通过确定调整后的神经网络的激活函数输出值中最大激活函数输出值所在的通道，对神经网络的激活函数输出值中除最大激活函数输出值所在的通道以外的其他通道进行等效变换，使非最大激活函数输出值所在的通道的激活函数输出值分布与最大激活函数输出值所在的通道的激活函数输出值分布接近。
在本发明实施例中，可以通过对调整后的神经网络中当前层中的非最大值所在的通道的权重值或者激活函数输出值乘以变换因子，并对调整后的神经网络中当前层的下一层的权重值或者激活函数输出值除以该变换因子，实现等效变换。
可选地，可以根据所确定的最大值所在的通道的最大权重值与其他通道的最大权重值，确定等效变换的变换因子，对对应的其他通道的权重值以及下一层的权重值进行等效变换；可以根据所确定的最大值所在的通道的最大激活函数输出值与其他通道的最大激活函数输出值，确定等效变换的变换因子，对对应的其他通道的激活函数输出值以及下一层的激活函数输出值进行等效变换。或者，也可以根据所确定的最大值所在的通道的最大权重值和权重值的均值，与其他通道的最大权重值和权重值的均值，确定等效变换的变换因子，对对应的其他通道的权重值以及下一层的权重值进行等效变换；也可以根据所确定的最大值所在的通道的最大激活函数输出值和激活函数输出值的均值，与其他通道的最大激活函数输出值和激活函数输出值的均值，确定等效变换的变换因子，对对应的其他通道的激活函数输出值以及下一层的激活函数输出值进行等效变换。本发明实施例对根据权重值和激活函数输出值中最大值所在的通道确定变换因子的方法不作限定。
103，对等效变换后的神经网络中的权重值和激活函数输出值进行量化处理，得到目标神经网络。
在本发明实施例中，在基于权重值和激活函数输出值的最大值所在的通道，对调整后的神经网络进行等效变换，得到等效变换后的神经网络后，可以采用现有的量化处理方法对等效变换后的神经网络中的权重值和激活函数输出值进行量化处理，得到规模减小的目标神经网络。本发明实施例对等效变换后的神经网络中的权重值和激活函数输出值进行量化处理的方法不作限定。
本发明实施例提供的神经网络自适应量化方法，通过基于神经网络的权重值对神经网络输出结果的贡献度调整权重值；基于神经网络的激活函数输出值对神经网络输出结果的贡献度调整激活函数输出值；基于调整后的神经网络中权重值的最大值所在的通道，对调整后的神经网络进行等效变换，使权重值各通道的分布接近；基于调整后的神经网络中激活函数输出值的最大值所在的通道，对调整后的神经网络进行等效变换，使激活函数输出值各通道的分布接近；对等效变换后的神经网络中的权重值和激活函数输出值进行量化处理，得到目标神经网络；利用对神经网络输出结果的贡献度，对神经网络的权重值和激活函数输出值进行第一次自适应调整，通过增强对输出结果贡献度大的权重值和激活函数输出值，减弱对输出结果贡献度大的权重值和激活函数输出值，可以有效保证量化后神经网络的精度；利用调整后的神经网络中权重值和激活函数值的最大值所在的通道，对神经网络的权重值和激活函数输出值进行第二次自适应调整，通过分别使权重值和激活函数输出值各通道的分布接近，可以降低由于各通道分布不一致引起的量化精度损失；并且不需要额外的训练过程，不会造成成本的增加。
请参阅图2，图2是本发明提供的基于贡献度调整神经网络的方法的流程示意图，如图2所示，该方法至少包括：
201，对神经网络每一层的权重值和激活函数输出值分别确定贡献度评判值。
在本发明实施例中，可以针对神经网络中的每一层，分别确定当前层中的权重值和激活函数输出值的贡献度评判值，以贡献度评判值确定权重值和激活函数输出值对神经网络输出结果的贡献度。可选地，可以根据预先设定的算法确定权重值和激活函数输出值的贡献度评判值，例如，预先设定的算法可以为均值算法等。本发明实施例对确定权重值和激活函数输出值的贡献度评判值的方法不作限定。
在一些可选的例子中，可以根据第一均值算法，确定神经网络每一层中各采样单元的权重值的第一均值，作为权重值的贡献度评判值，例如，第一均值算法可以为绝对值的算数平均值；可以根据第二均值算法，确定神经网络每一层中各通道的激活函数输出值的第二均值，作为激活函数输出值的贡献度评判值，例如，第二均值算法可以为算数平均值。
例如，若神经网络中当前层的采样单元，包括卷积核，为n个，第i个采样单元的尺寸为Wi×Hi×Ci的矩阵，其中，Wi为采样单元i的宽度，Hi为采样单元i的高度，Ci为采样单元i的通道数，则该层的权重值的贡献度评判值为n个，n个贡献度评判值中的第i个贡献度评判值可以通过计算第i个采样单元中Wi×Hi×Ci个权重值的绝对值的算数平均值得到。
例如，若神经网络中当前层的激活函数输出值的尺寸为W’×H’×C’的矩阵，其中，W’为激活函数输出值的宽度，H’为激活函数输出值的高度，C’为激活函数输出值的通道数，则该层的激活函数输出值的贡献度评判值为C’个，C’个贡献度评判值中的第j个贡献度评判值可以通过计算第j个通道中W’×H’个激活函数输出值的算数平均值得到。
202，基于所确定的贡献度评判值进行贡献度分析，分别确定权重值和激活函数输出值的量化因子。
在本发明实施例中，在确定神经网络中每一层的权重值和激活函数输出值的贡献度评判值后，可以根据贡献度评判值进行贡献度分析，根据贡献度分析结果分别确定权重值和激活函数输出值的量化因子，以量化因子反映权重值和激活函数输出值对神经网络输出结果的贡献度。可选地，可以根据预先设定的阈值进行贡献度分析，预先设定的阈值可以根据经验设定。本发明实施例对根据贡献度评判值进行贡献度分析的方法不作限定。
在一些可选的例子中，可以将贡献度评判值与预先设定的阈值进行比较，判断贡献度评判值是否大于预先设定的阈值；若贡献度评判值大于预先设定的阈值，可以根据预先设定的规则，为贡献度评判值对应的权重值或者激活函数输出值设置第一量化因子；若贡献度评判值小于或等于预先设定的阈值，可以根据预先设定的规则，为贡献度评判值对应的权重值或者激活函数输出值设置第二量化因子；其中，第二量化因子小于第一量化因子，第一量化因子和第二量化因子可以根据经验设定。
其中，预先设定的规则可以依据以下原则设定：量化因子越大表明对输出结果的贡献度越大，对应的权重值或者激活函数输出值越重要；量化因子越小表明对输出结果的贡献度越小，对应的权重值或者激活函数输出值越不重要。
例如，预先设定的规则可以为：若贡献度评判值大于预先设定的阈值，将贡献度评判值对应的权重值或者激活函数输出值的量化因子设置为1；若贡献度评判值小于或等于预先设定的阈值，将贡献度评判值对应的权重值或者激活函数输出值的量化因子设置为0。
或者，预先设定的规则可以为：若贡献度评判值大于预先设定的阈值，将贡献度评判值对应的权重值或者激活函数输出值的量化因子设置为0.7或0.9；若贡献度评判值小于或等于预先设定的阈值，将贡献度评判值对应的权重值或者激活函数输出值的量化因子设置为0.3或0.1。
203，基于所确定的量化因子分别调整对应的权重值和对应的激活函数输出值。
在本发明实施例中，在根据贡献度评判值确定权重值和激活函数输出值的量化因子后，可以根据权重值和激活函数输出值的量化因子，分别对对应的权重值和激活函数输出值进行调整，增大调整后的神经网络中贡献大的权重值和激活函数输出值与贡献小的权重值和激活函数输出值之间的差距。可选地，可以通过权重值和激活函数输出值乘以对应的量化因子，对重值和激活函数输出值进行调整。本发明实施例对根据量化因子对权重值和激活函数输出值进行调整的方法不作限定。
在一些可选的例子中，量化因子的取值可以在[0,1]之间，可以基于所确定的量化因子与对应的权重值的乘积，对权重值进行更新，以实现对权重值的调整，其中，量化因子可以为第一量化因子或者第二量化因子；基于所确定的量化因子与对应的激活函数输出值的乘积，对激活函数输出值进行更新，以实现对激活函数输出值的调整，其中，量化因子可以为第一量化因子或者第二量化因子。
由于，在神经网络中，权重值的取值通常在[-1,1]之间，激活函数输出值的取值通常在[0,1]之间，当第一量化因子和第二量化的取值在[0,1]之间，并且第一量化因子大于第二量化因子时，通过将权重值和激活函数输出值乘以第一量化因子所得到的调整后的权重值和激活函数输出值，通常明显大于将权重值和激活函数输出值乘以第二量化因子所得到的调整后的权重值和激活函数输出值。
本发明实施例通过确定权重值和激活函数输出值的贡献度评判值，引入量化因子，根据量化因子的大小，对神经网络中的权重值和激活函数输出值进行重要性分割，可以选出贡献度大的权重值和激活函数输出值，作为待量化的权重值和激活函数输出值，在量化时可以忽略贡献度小的权重值和激活函数输出值，可以有效保证量化后神经网络的精度，并且可以有效减少量化处理的数据量，提升整个量化过程的效率。
请参阅图3，图3是本发明提供的基于最大值通道对神经网络进行等效变换的方法的流程示意图，如图3所示，该方法针对调整后的神经网络中的每一层至少包括：
301，分别确定权重值和激活函数输出值中最大值所在的通道，作为主要通道。
在本发明实施例中，可以分别确定当前层中的权重值和激活函数输出值中最大权重值和最大激活函数输出值所在的通道，作为当前层权重值和激活函数输出值的主要通道(dominant channel)。例如，对于当前层中的权重值，可以首先确定每个采样单元的每个通道的权重值中的最大权重值，然后从所确定的各采样单元的各通道对应的最大权重值中，确定出一个当前层的最大权重值，最后根据所确定的当前层的最大权重值确定该最大权重值所在的通道，作为当前层权重值的主要通道。
例如，对于当前层中的激活函数输出值，可以首先确定激活函数输出值的每个通道的激活函数输出值中的最大激活函数输出值，然后从所确定的各通道对应的最大激活函数输出值中，确定出一个当前层的最大激活函数输出值，最后根据所确定的当前层的最大激活函数输出值确定该最大激活函数输出值所在的通道，作为当前层激活函数输出值的主要通道。
302，分别确定权重值和激活函数输出值中除主要通道以外的其他通道的缩放因子。
在本发明实施例中，在确定当前层中的权重值和激活函数输出值的主要通道后，可以根据所确定的权重值和激活函数输出值的主要通道，分别确定当前层中权重值和激活函数输出值中除主要通道以外的其他通道，并确定当前层中权重值和激活函数输出值中除主要通道以外的其他通道的缩放因子。可选地，可以根据主要通道的最大值和其他通道的最大值，确定对应的其他通道的缩放因子。本发明实施例对确定除主要通道以外的其他通道的缩放因子的方法不作限定。
例如，对于当前层中的权重值，可以通过计算主要通道的最大权重值与其他通道的最大权重值的比值，将主要通道的最大权重值与权重值中除主要通道以外的其他通道的最大权重值的比值，作为对应的其他通道的第一缩放因子。例如，对于当前层中的激活函数输出值，可以通过计算主要通道的最大激活函数输出值与其他通道的最大激活函数输出值的比值，将主要通道的最大激活函数输出值与激活函数输出值中除主要通道以外的其他通道的最大激活函数输出值的比值，作为对应的其他通道的第二缩放因子。
303，基于所确定的缩放因子对调整后的神经网络进行等效变换。
在本发明实施例中，在确定当前层中的权重值和激活函数输出值的其他通道的缩放因子后，可以根据权重值和激活函数输出值的其他通道的缩放因子，分别对调整后的神经网络中的权重值和激活函数输出值进行等效变换，使当前层中非最大值所在的通道的权重值分布与最大值所在的通道的权重值分布接近，非最大值所在的通道的激活函数输出值分布与最大值所在的通道的激活函数输出值分布接近。
可选地，可以通过当前层中其他通道中的权重值和激活函数输出值乘以对应的缩放因子，当前层的下一层中的权重值和激活函数输出值乘以对应的缩放因子，对调整后的神经网络进行等效变换。本发明实施例对根据缩放因子对调整后的神经网络进行等效变换的方法不作限定。
例如，对于当前层中的权重值，可以通过计算权重值的第一缩放因子与对应的其他通道中的权重值的乘积，基于第一缩放因子与对应的其他通道中的权重值的乘积，利用第一缩放因子的数值大于1，扩大非最大值所在的通道中权重值的范围，使权重值各通道的分布接近；对于当前层的下一层中的权重值，可以通过对权重值除以第一缩放因子，实现对调整后的神经网络的等效变换。
例如，对于当前层中的激活函数输出值，可以通过计算激活函数输出值的第二缩放因子与对应的其他通道中的激活函数输出值的乘积，基于第二缩放因子与对应的其他通道中的激活函数输出值的乘积，利用第二缩放因子的数值大于1，扩大非最大值所在的通道中激活函数输出值的范围，使激活函数输出值各通道的分布接近；对于当前层的下一层中的激活函数输出值，可以通过对激活函数输出值除以第二缩放因子，实现对调整后的神经网络的等效变换。
请参阅图4，图4是本发明提供的神经网络自适应量化方法一个应用场景实施例的示意图，如图4所示，对以32bit浮点数表示weight和input activation的神经网络进行自适应量化，包括：首先，对神经网络中的weight和input activation进行贡献度分析，通过评价weight和input activation对神经网络输出结果的贡献度，引入自适应量化因子，通过神经网络中的weight和input activation乘以自适应缩放因子，对神经网络进行调整，选出待量化的weight和input activation，得到调整后的神经网络。然后，针对调整后的神经网络中的每一层，寻找weight和input activation最大对应的channel，作为dominantchannel，为其他非dominant channel引入自适应缩放因子，通过weight和inputactivation的其他非dominant channel乘以自适应缩放因子，使weight和inputactivation的非dominant channel与dominant channel的分布接近，并对下一层中的weight和input activation除以自适应缩放因子，得到等效变换后的神经网络。最后，对等效变换后的神经网络中的weight和input activation进行量化处理，得到量化后以8bit定点数表示weight和input activation的目标神经网络。在表1中分别以18层深度残差网络(Deep residual network,简称ResNet)和MobileNet为例，列举了采用32bit浮点数表示weight和input activation时网络的精度、采用常规的逐通道(perchannel)量化方法对用32bit浮点数表示的weight和input activation进行量化后网络的精度、以及采用本发明实施例的自适应量化方法对用32bit浮点数表示的weight和input activation进行量化后网络的精度。
表1
Figure BDA0003334229580000161
Figure BDA0003334229580000171
从表1中的实验数据可以看出，相比于采用常规的量化方法，采用本发明实施例的自适应量化方法对神经网络进行量化，所得到的网络的精度更接近于量化之前的网络的精度，因此采用本发明实施例的自适应量化方法对神经网络进行量化不会产生较大的精度损失。
下面对本发明提供的自适应神经网络量化装置进行描述，下文描述的自适应神经网络量化装置与上文描述的神经网络自适应量化方法可相互对应参照。
请参阅图5，图5是本发明提供的自适应神经网络量化装置的组成结构示意图，图5所示的自适应神经网络量化装置可用来执行图1的神经网络自适应量化方法，如图5所示，该自适应神经网络量化装置至少包括：
贡献分析模块510，用于基于神经网络的权重值对神经网络输出结果的贡献度调整权重值；基于神经网络的激活函数输出值对神经网络输出结果的贡献度调整激活函数输出值。
等效变换模块520，用于基于调整后的神经网络中权重值的最大值所在的通道，对调整后的神经网络进行等效变换，使权重值各通道的分布接近；基于调整后的神经网络中激活函数输出值的最大值所在的通道，对调整后的神经网络进行等效变换，使激活函数输出值各通道的分布接近。
量化处理模块530，用于对等效变换后的神经网络中的权重值和激活函数输出值进行量化处理，得到目标神经网络。
可选地，贡献分析模块510，包括：
评判值计算单元，用于对神经网络每一层的权重值和激活函数输出值分别确定贡献度评判值。
贡献度分析单元，用于基于所确定的贡献度评判值进行贡献度分析，分别确定权重值和激活函数输出值的量化因子。
量化因子调整单元，用于基于所确定的量化因子分别调整对应的权重值和对应的激活函数输出值。
可选地，评判值计算单元，用于确定神经网络每一层中各采样单元的权重值的第一均值，作为权重值的贡献度评判值；确定神经网络每一层中各通道的激活函数输出值的第二均值，作为激活函数输出值的贡献度评判值；和/或，
贡献度分析单元，用于判断贡献度评判值是否大于预先设定的阈值；若贡献度评判值大于预先设定的阈值，为贡献度评判值对应的权重值或者激活函数输出值设置第一量化因子；若贡献度评判值小于或等于预先设定的阈值，为贡献度评判值对应的权重值或者激活函数输出值设置第二量化因子；其中，第二量化因子小于第一量化因子。
可选地，量化因子调整单元，用于基于所确定的量化因子与对应的权重值的乘积，对权重值进行更新；基于所确定的量化因子与对应的激活函数输出值的乘积，对激活函数输出值进行更新。
可选地，等效变换模块520包括：
主要通道选取单元，用于针对调整后的神经网络中的每一层，分别确定权重值和激活函数输出值中最大值所在的通道，作为主要通道。
缩放因子计算单元，用于针对调整后的神经网络中的每一层，分别确定权重值和激活函数输出值中除主要通道以外的其他通道的缩放因子。
等效变换单元，用于针对调整后的神经网络中的每一层，基于所确定的缩放因子对调整后的神经网络进行等效变换。
可选地，缩放因子计算单元，用于将主要通道的最大权重值与权重值中除主要通道以外的其他通道的最大权重值的比值，作为对应的其他通道的第一缩放因子；将主要通道的最大激活函数输出值与激活函数输出值中除主要通道以外的其他通道的最大权重值的比值，作为对应的其他通道的第二缩放因子；和/或，
等效变换单元，用于基于第一缩放因子与对应的其他通道中的权重值的乘积，使权重值各通道的分布接近；基于第二缩放因子与对应的其他通道中的激活函数输出值的乘积，使激活函数输出值各通道的分布接近；对调整后的神经网络的下一层中的权重值除以第一缩放因子；对调整后的神经网络的下一层中的激活函数输出值除以第二缩放因子。
本发明还提供了一种基于上述各方法所提供的神经网络自适应量化方法对神经网络进行量化处理得到的神经网络。可选地，该神经网络可以为图像识别神经网络，或者也可以为文本分类神经网络，或者还可以为语音识别神经网络，等，本发明实施例对此不作限定。
本发明还提供了一种CT图像识别方法，将CT图像输入神经网络进行处理，得到神经网络输出的CT图像中癌症组织的信息。可选地，CT图像中癌症组织的信息可以包括癌症组织的性质，例如良性、恶性等。其中，神经网络为通过上述各方法所提供的神经网络自适应量化方法对神经网络进行处理后得到的神经网络。
图6示例了一种电子设备的实体结构示意图，如图6所示，该电子设备可以包括：处理器(processor)610、通信接口(CommunicationsInterface)620、存储器(memory)630和通信总线640，其中，处理器610，通信接口620，存储器630通过通信总线640完成相互间的通信。处理器610可以调用存储器630中的逻辑指令，以执行神经网络自适应量化方法，该方法包括：
基于神经网络的权重值对所述神经网络输出结果的贡献度调整所述权重值；基于所述神经网络的激活函数输出值对所述神经网络输出结果的贡献度调整所述激活函数输出值；
基于调整后的神经网络中权重值的最大值所在的通道，对所述调整后的神经网络进行等效变换，使所述权重值各通道的分布接近；基于所述调整后的神经网络中激活函数输出值的最大值所在的通道，对所述调整后的神经网络进行等效变换，使所述激活函数输出值各通道的分布接近；
对等效变换后的神经网络中的权重值和激活函数输出值进行量化处理，得到目标神经网络。
此外，上述的存储器630中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，RandomAccessMemory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法所提供的神经网络自适应量化方法，该方法包括：
基于神经网络的权重值对所述神经网络输出结果的贡献度调整所述权重值；基于所述神经网络的激活函数输出值对所述神经网络输出结果的贡献度调整所述激活函数输出值；
基于调整后的神经网络中权重值的最大值所在的通道，对所述调整后的神经网络进行等效变换，使所述权重值各通道的分布接近；基于所述调整后的神经网络中激活函数输出值的最大值所在的通道，对所述调整后的神经网络进行等效变换，使所述激活函数输出值各通道的分布接近；
对等效变换后的神经网络中的权重值和激活函数输出值进行量化处理，得到目标神经网络。
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各提供的神经网络自适应量化方法，该方法包括：
基于神经网络的权重值对所述神经网络输出结果的贡献度调整所述权重值；基于所述神经网络的激活函数输出值对所述神经网络输出结果的贡献度调整所述激活函数输出值；
基于调整后的神经网络中权重值的最大值所在的通道，对所述调整后的神经网络进行等效变换，使所述权重值各通道的分布接近；基于所述调整后的神经网络中激活函数输出值的最大值所在的通道，对所述调整后的神经网络进行等效变换，使所述激活函数输出值各通道的分布接近；
对等效变换后的神经网络中的权重值和激活函数输出值进行量化处理，得到目标神经网络。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种神经网络自适应量化方法，其特征在于，包括：
基于神经网络的权重值对所述神经网络输出结果的贡献度调整所述权重值；基于所述神经网络的激活函数输出值对所述神经网络输出结果的贡献度调整所述激活函数输出值；
基于调整后的神经网络中权重值的最大值所在的通道，对所述调整后的神经网络进行等效变换，使所述权重值各通道的分布接近；基于所述调整后的神经网络中激活函数输出值的最大值所在的通道，对所述调整后的神经网络进行等效变换，使所述激活函数输出值各通道的分布接近；
对等效变换后的神经网络中的权重值和激活函数输出值进行量化处理，得到目标神经网络。
2.根据权利要求1所述的神经网络自适应量化方法，其特征在于，所述基于神经网络的权重值对所述神经网络输出结果的贡献度调整所述权重值；基于所述神经网络的激活函数输出值对所述神经网络输出结果的贡献度，调整所述激活函数输出值，包括：
对所述神经网络每一层的权重值和激活函数输出值分别确定贡献度评判值；
基于所确定的贡献度评判值进行贡献度分析，分别确定所述权重值和所述激活函数输出值的量化因子；
基于所确定的量化因子分别调整对应的权重值和对应的激活函数输出值。
3.根据权利要求2所述的神经网络自适应量化方法，其特征在于，所述对所述神经网络中每一层的权重值和激活函数输出值分别确定贡献度评判值，包括：
确定所述神经网络每一层中各采样单元的权重值的第一均值，作为所述权重值的贡献度评判值；确定所述神经网络每一层中各通道的激活函数输出值的第二均值，作为所述激活函数输出值的贡献度评判值；和/或，
所述基于所确定的贡献度评判值进行贡献度分析，分别确定所述权重值和所述激活函数输出值的量化因子，包括：
判断所述贡献度评判值是否大于预先设定的阈值；
若所述贡献度评判值大于预先设定的阈值，为所述贡献度评判值对应的权重值或者激活函数输出值设置第一量化因子；
若所述贡献度评判值小于或等于预先设定的阈值，为所述贡献度评判值对应的权重值或者激活函数输出值设置第二量化因子；其中，所述第二量化因子小于所述第一量化因子。
4.根据权利要求3所述的神经网络自适应量化方法，其特征在于，所述基于所确定的量化因子分别调整对应的权重值和对应的激活函数输出值，包括：
基于所确定的量化因子与对应的权重值的乘积，对所述权重值进行更新；基于所确定的量化因子与对应的激活函数输出值的乘积，对所述激活函数输出值进行更新。
5.根据权利要求1至4任一项所述的神经网络自适应量化方法，其特征在于，所述基于调整后的神经网络中权重值的最大值所在的通道，对所述调整后的神经网络进行等效变换，使所述权重值各通道的分布接近；基于所述调整后的神经网络中激活函数输出值的最大值所在的通道，对所述调整后的神经网络进行等效变换，使所述激活函数输出值各通道的分布接近，包括：
针对所述调整后的神经网络中的每一层：分别确定权重值和激活函数输出值中最大值所在的通道，作为主要通道；
分别确定权重值和激活函数输出值中除所述主要通道以外的其他通道的缩放因子；
基于所确定的缩放因子对所述调整后的神经网络进行等效变换。
6.根据权利要求5所述的神经网络自适应量化方法，其特征在于，所述分别确定权重值和激活函数输出值中除所述主要通道以外的其他通道的缩放因子，包括：
将所述主要通道的最大权重值与权重值中除所述主要通道以外的其他通道的最大权重值的比值，作为对应的其他通道的第一缩放因子；将所述主要通道的最大激活函数输出值与激活函数输出值中除所述主要通道以外的其他通道的最大权重值的比值，作为对应的其他通道的第二缩放因子；和/或，
所述基于所确定的缩放因子对所述调整后的神经网络进行等效变换，包括：
基于所述第一缩放因子与对应的其他通道中的权重值的乘积，使所述权重值各通道的分布接近；基于所述第二缩放因子与对应的其他通道中的激活函数输出值的乘积，使所述激活函数输出值各通道的分布接近；
对所述调整后的神经网络的下一层中的权重值除以所述第一缩放因子；对所述调整后的神经网络的下一层中的激活函数输出值除以所述第二缩放因子。
7.一种自适应神经网络量化装置，其特征在于，包括：
贡献分析模块，用于基于神经网络的权重值对所述神经网络输出结果的贡献度调整所述权重值；基于所述神经网络的激活函数输出值对所述神经网络输出结果的贡献度调整所述激活函数输出值；
等效变换模块，用于基于调整后的神经网络中权重值的最大值所在的通道，对所述调整后的神经网络进行等效变换，使所述权重值各通道的分布接近；基于所述调整后的神经网络中激活函数输出值的最大值所在的通道，对所述调整后的神经网络进行等效变换，使所述激活函数输出值各通道的分布接近；
量化处理模块，用于对等效变换后的神经网络中的权重值和激活函数输出值进行量化处理，得到目标神经网络。
8.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至6任一项所述神经网络自适应量化方法的步骤。
9.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述神经网络自适应量化方法的步骤。
10.一种计算机程序产品，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述神经网络自适应量化方法的步骤。
CN202111288941.6A 2021-11-02 2021-11-02 神经网络自适应量化方法、装置、设备、介质和产品 Pending CN113887709A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111288941.6A CN113887709A (zh) 2021-11-02 2021-11-02 神经网络自适应量化方法、装置、设备、介质和产品

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111288941.6A CN113887709A (zh) 2021-11-02 2021-11-02 神经网络自适应量化方法、装置、设备、介质和产品

Publications (1)

Publication Number Publication Date
CN113887709A true CN113887709A (zh) 2022-01-04

Family

ID=79015375

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111288941.6A Pending CN113887709A (zh) 2021-11-02 2021-11-02 神经网络自适应量化方法、装置、设备、介质和产品

Country Status (1)

Country Link
CN (1) CN113887709A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116644796A (zh) * 2023-07-27 2023-08-25 美智纵横科技有限责任公司 网络模型的量化方法和语音数据的处理方法、装置及芯片

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116644796A (zh) * 2023-07-27 2023-08-25 美智纵横科技有限责任公司 网络模型的量化方法和语音数据的处理方法、装置及芯片
CN116644796B (zh) * 2023-07-27 2023-10-03 美智纵横科技有限责任公司 网络模型的量化方法和语音数据的处理方法、装置及芯片

Similar Documents

Publication Publication Date Title
CN111488985B (zh) 深度神经网络模型压缩训练方法、装置、设备、介质
CN110929836B (zh) 神经网络训练及图像处理方法和装置、电子设备、介质
US20230401833A1 (en) Method, computer device, and storage medium, for feature fusion model training and sample retrieval
CN112329476B (zh) 一种文本纠错方法及装置、设备、存储介质
CN111489364A (zh) 基于轻量级全卷积神经网络的医学图像分割方法
WO2020090413A1 (ja) 分類装置、分類方法および分類プログラム
CN113011532B (zh) 分类模型训练方法、装置、计算设备及存储介质
CN110102051B (zh) 游戏外挂的检测方法及装置
CN111160043B (zh) 特征编码方法、装置、电子设备及可读存储介质
CN110705708A (zh) 卷积神经网络模型的压缩方法、装置及计算机存储介质
WO2023165139A1 (zh) 模型量化方法、装置、设备、存储介质及程序产品
CN111260655A (zh) 基于深度神经网络模型的图像生成方法与装置
CN109829550B (zh) 模型评价方法和装置、模型评价系统及其训练方法和装置
CN112101543A (zh) 神经网络模型确定方法、装置、电子设备及可读存储介质
CN113887709A (zh) 神经网络自适应量化方法、装置、设备、介质和产品
CN112085668B (zh) 一种基于区域自适应自监督学习的图像色调映射的方法
US11507782B2 (en) Method, device, and program product for determining model compression rate
CN112613604A (zh) 神经网络的量化方法及装置
CN109871448B (zh) 一种短文本分类的方法及系统
CN116704217A (zh) 基于困难样本挖掘的模型训练方法、设备和存储介质
CN117348837A (zh) 浮点精度模型的量化方法、装置、电子设备以及存储介质
CN112200275B (zh) 人工神经网络的量化方法及装置
CN111614358B (zh) 基于分通道量化的特征提取方法、系统、设备及存储介质
CN114139678A (zh) 卷积神经网络量化方法、装置、电子设备和存储介质
CN109800441B (zh) 一种模型输出推荐方法和装置、模型输出推荐系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Country or region after: China

Address after: 201114 room 1302, 13 / F, building 16, 2388 Chenhang Road, Minhang District, Shanghai

Applicant after: Shanghai Bi Ren Technology Co.,Ltd.

Address before: 201114 room 1302, 13 / F, building 16, 2388 Chenhang Road, Minhang District, Shanghai

Applicant before: Shanghai Bilin Intelligent Technology Co.,Ltd.

Country or region before: China