CN112183731A - 一种面向点云的高效二值化神经网络量化方法及装置 - Google Patents

一种面向点云的高效二值化神经网络量化方法及装置 Download PDF

Info

Publication number
CN112183731A
CN112183731A CN202011105690.9A CN202011105690A CN112183731A CN 112183731 A CN112183731 A CN 112183731A CN 202011105690 A CN202011105690 A CN 202011105690A CN 112183731 A CN112183731 A CN 112183731A
Authority
CN
China
Prior art keywords
neural network
network
layer
point cloud
scale
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011105690.9A
Other languages
English (en)
Inventor
刘祥龙
秦浩桐
丁一芙
蔡中昂
张明远
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beihang University
Original Assignee
Beihang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beihang University filed Critical Beihang University
Priority to CN202011105690.9A priority Critical patent/CN112183731A/zh
Publication of CN112183731A publication Critical patent/CN112183731A/zh
Priority to CN202111205851.6A priority patent/CN113947193A/zh
Priority to CN202210834539.1A priority patent/CN115271037A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种面向点云的高效二值化神经网络量化方法及装置。该方法使用熵最大化的聚合函数和逐层尺度恢复步骤，使点云神经网络可以通过训练过程中最小化损失函数，达到信息熵最大化和网络权重、激活量化损失最小化，从而减少量化损失，提高二值化点云神经网络的性能。本发明与按位运算完全兼容，具有快速推断量化神经网络的优点。事实表明，本发明在各种网络架构中的表现非常出色，在内存消耗，推理速度和准确性方面优于现有技术。

Description

一种面向点云的高效二值化神经网络量化方法及装置
技术领域
本发明涉及一种神经网络量化方法，尤其涉及一种面向点云的高效二值化神经网络量化方法，同时也涉及相应的神经网络量化装置，属于深度学习技术领域。
背景技术
点云(Point Cloud)，尤其是点云神经网络，已在各种计算机视觉应用，如自动驾驶、增强现实等中得到越来越多的关注。传统的点云通常具有海量参数和高计算完备性，针对单一任务的训练和推断过程需要耗费大量的时间。造成这一问题的主要原因是：目前在各个任务上取得最好成绩的模型普遍采用具有全精度的神经网络，使得这些模型需要使用大量的存储资源。同时许多应用程序需要实时交互和快速响应，但是点云的训练和推断过程中需要产生数量巨大的浮点数运算操作，例如，斯坦福大学的Charles R.Qi等人提出的PointNet具有大约3.5E6个参数，并且需要4.4E8个FLOP来处理单个样本。这在很大程度上限制了点云在诸如移动电话、平板电脑、相机等便携式设备上的应用。
近年来，研究者们已经提出了许多方法，使得深度神经网络能够在计算和存储资源有限的便携式设备上应用，包括网络权重量化、权值修剪、低秩分解、哈希映射，以及轻量级架构设计。其中，基于量化的方法以较低的比特数表示网络中的参数，但仍然能够得到较高的网络准确率和高度紧凑的神经网络模型。例如，神经网络模型的全二值化方法，将网络中原本32位的浮点数参数量化至1位表示，节省了参数的存储空间，能够最大程度地降低神经网络模型的存储占用消耗；同时将原本参数的计算由浮点数运算转化为位运算，减小了神经网络的计算量，极大地加速了网络推断过程。
在申请号为201910599176.6的中国发明申请中，公开了一种平衡二值化神经网络量化方法及系统。该方法包括如下步骤：S1，对于神经网络中的网络权重进行平衡标准二值化操作，得到二值化网络权重；S2，对于神经网络中的网络激活值进行平衡二值化操作，得到二值化网络激活值；S3，在神经网络的迭代训练过程中对网络中的卷积层执行步骤S1和S2，生成平衡二值化神经网络。该方法使用平衡标准化的二值化网络权重和平衡二值化的网络激活值，使神经网络可以通过训练过程中最小化损失函数，达到网络激活值信息熵最大化和网络权重、激活量化损失最小化，从而减少量化损失，提高二值化神经网络的分类性能。但是，该方法不能简单地转移到点云神经网络中，仍然存在很多需要解决的技术问题。
发明内容
针对现有技术的不足，本发明所要解决的首要技术问题在于提供一种面向点云的高效二值化神经网络量化方法。
本发明所要解决的另一技术问题在于提供一种面向点云的高效二值化神经网络量化装置。
为实现上述发明目的，本发明采用下述的技术方案：
根据本发明实施例的第一方面，提供一种面向点云的高效二值化神经网络量化方法，包括如下步骤：
在点云神经网络的训练过程中：在网络前馈传播过程，将特征聚合层的输入进行变换后，通过熵最大化的聚合函数聚合全局特征；在网络前馈传播过程，逐层恢复二值线性单元的输出尺度；在网络反向传播过程，使用梯度更新可学习的尺度恢复因子；
在点云神经网络的推断过程中：使用二值化的网络权重和网络激活值，并且仅使用训练好的尺度恢复因子进行输出尺度恢复。
其中较优地，在点云神经网络的训练过程中，对网络中的卷积层执行特征聚合步骤：在特征聚合层利用熵最大化的聚合函数进行特征聚合，获得保留最大信息熵的二值化特征输出，并进行神经网络推断，在反向传播时对网络权重和激活进行更新，从而生成二值化的点云神经网络。
其中较优地，所述特征聚合步骤包括如下子步骤：对于熵最大化的聚合函数，应用多层感知机对输入的每个点进行独立建模，然后以一个恒定的偏移量对输入进行移位操作，通过聚合函数将每个点的建模特征聚合为全局特征，最后获得的输出满足关于零对称的分布要求，并且使熵最大化，尽可能在量化后保留更多的信息。
其中较优地，对于点云神经网络中的原始输入Y'，对Y'中的每一个值进行移位操作，偏移函数的计算公式定义为：
Figure BDA0002726872540000031
其中δ*是原始输入分布的偏移量。
其中较优地，经过聚合函数φ聚合后的全局特征Y满足∑y＜0fY(y)＝0.5的分布。
其中较优地，在点云神经网络的训练过程中，对网络中的卷积层执行逐层尺度恢复步骤：对网络中的二值化线性层使用可学习的尺度恢复因子，恢复输出到合理的尺度，在反向传播时对尺度恢复因子进行更新。
其中较优地，所述逐层尺度恢复步骤包括如下子步骤：对于逐层尺度恢复的二值化线性层，添加一个可学习的尺度恢复因子，将二值化后的输入与网络权重进行二值卷积，获得的输出与尺度恢复因子相乘，以恢复输出尺度。
其中较优地，所述尺度恢复因子α的初始化为二值化线性层的输出Ba和Bw全精度对应输出A和W之间的标准偏差之比，即
Figure BDA0002726872540000032
其中，σ表示标准偏差，
Figure BDA0002726872540000033
和
Figure BDA0002726872540000034
均表示向量内积，
Figure BDA0002726872540000035
在计算过程中利用了逐位运算XNOR和Bitcount。
其中较优地，通过将尺度恢复因子α与二值化线性层的输出Ba和Bw相乘，使得神经元输出z恢复到合理的比例。
根据本发明实施例的第二方面，提供一种面向点云的高效二值化神经网络量化装置，包括处理器和存储器，所述处理器读取所述存储器中的计算机程序，用于执行以下操作：
在点云神经网络的训练过程中：在网络前馈传播过程，将特征聚合层的输入进行变换后，通过熵最大化的聚合函数聚合全局特征；在网络前馈传播过程，逐层恢复二值线性单元的输出尺度；在网络反向传播过程，使用梯度更新可学习的尺度恢复因子；
在点云神经网络的推断过程中：使用二值化的网络权重和网络激活值，并且仅使用训练好的尺度恢复因子进行输出尺度恢复。
本发明提供的面向点云的高效二值化神经网络量化方法及装置，使用熵最大化的聚合函数和逐层尺度恢复步骤，使点云神经网络可以通过训练过程中最小化损失函数，达到信息熵最大化和网络权重、激活量化损失最小化，从而减少量化损失，提高二值化点云神经网络的性能。本发明与按位运算完全兼容，具有快速推断量化神经网络的优点。事实表明，本发明在各种网络架构中的表现非常出色，在内存消耗，推理速度和准确性方面优于现有技术。
附图说明
图1为本发明提供的面向点云的高效二值化神经网络量化方法的流程图；
图2为本发明实施例提供的熵最大化的聚合函数(EMAF)的前馈传播过程示意图；
图3为本发明实施例提供的面向点云的高效二值化神经网络量化装置的结构图；
图4为本发明提供的高效二值化神经网络量化方法与现有的PointNet方法在推理速度和存储需求上的比较图。
具体实施方式
下面结合附图和具体实施例对本发明的技术内容进行详细具体地说说明。
前已述及，二值化方法已经成为最有前途的神经网络模型加速方法之一。神经网络模型的全二值化能够最大程度地降低模型的存储占用和计算量，极大地节省参数的存储空间，同时将原本参数的计算由浮点数卷积运算转化为位运算，大大减小了神经网络的计算量，极大地加速了推理过程。目前，已经在2D视觉任务上取得了众所周知的成功。
但是，由于点云的数据结构与2D图像相比有着根本性差异。2D图像的像素是以规则的矩阵形式排列，这使得卷积神经网络(CNN)能够利用卷积核对相邻的像素之间的局部特征进行编码。而在点云的数据结构中，每个点的顺序在空间相似度上不包含任何信息，因此大多数解决2D视觉任务的二值化方法，并不能简单地转移到点云上。
另一方面，现有的各类点云特征提取器通常具有两个共同的设计：首先，CNN内核被多层感知机(或全连接层)替代，将特征以“点”的形式处理；其次，利用池化层来聚合全局特征。这两个针对点云的特殊设计对于实现神经网络模型的全二值化提出了挑战。观察结果表明，当使用二进制表示时，神经网络模型的多样性和表达能力会受到极大的限制和损害，部分信息在传播途中丢失，这导致了准确性显著下降。同时，二值化过程导致输出尺度失真，破坏了尺度敏感结构的性能，阻碍了优化的过程。因此，如果没有一个精心设计的特征聚合层，以及恢复输出尺度的方法，将会进一步影响神经网络模型的准确率。
为此，本发明实施例提供的高效二值化神经网络量化方法及装置的基本思路在于一方面在特征聚合层利用熵最大化的聚合函数(Entropy-Maximizing AggregationFunction，简写为EMAF)，通过对聚合函数的输入进行简单的变换，获得使得信息熵最大化的全局特征，尽可能在二值化点云中保留更多信息；另一方面，使用逐层尺度恢复(Layer-wise Scale Recovery，简写为LSR)步骤恢复被二值化过程破坏的输出尺度，通过在二值化线性层中加入可学习的尺度恢复因子，使输出尺度恢复到合理的比例。下面，结合图1展开详细具体的说明。
图1为本发明提供的面向点云的高效二值化神经网络量化方法的流程图，其中的倾斜虚线框代表熵最大化的聚合函数(EMAF)步骤，竖直虚线框代表逐层尺度恢复(LSR)步骤。如图1所示，本发明实施例提供的高效二值化神经网络量化方法(简写为BiPointNet)，主要包括如下步骤：
在点云神经网络的训练过程中：在网络前馈传播过程，将特征聚合层的输入进行变换后，通过熵最大化的聚合函数聚合全局特征；在网络前馈传播过程，逐层恢复二值线性单元的输出尺度；在网络反向传播过程，使用梯度更新可学习的尺度恢复因子。
在点云神经网络的推断过程中：使用二值化的网络权重和网络激活值，并且仅使用训练好的尺度恢复因子进行输出尺度恢复。
具体地说，在点云神经网络的训练过程中，对网络中的卷积层执行特征聚合步骤，即对输入的每个点进行独立建模，并以恒定的偏移量进行位移，在特征聚合层利用熵最大化的聚合函数(EMAF)进行特征聚合，获得保留最大信息熵的二值化特征输出，并进行神经网络推断，在反向传播时对网络权重和激活进行更新，从而生成二值化的点云神经网络。
另一方面，在点云神经网络的训练过程中，对网络中的卷积层执行逐层尺度恢复步骤，对网络中的二值化线性层使用可学习的尺度恢复因子，将二值化后的输入和网络权重进行二值卷积，得到的输出与尺度恢复因子相乘，使输出恢复输出到合理的尺度，在反向传播时对尺度恢复因子进行更新。
下面，详细说明上述特征聚合步骤和逐层尺度恢复步骤的具体实施过程。
特征聚合步骤：对于熵最大化的聚合函数(EMAF)，应用多层感知机对输入的每个点进行独立建模，然后以一个恒定的偏移量对输入进行移位操作，通过聚合函数将每个点的建模特征聚合为全局特征，最后获得的输出满足关于零对称的分布要求，并且使熵最大化，尽可能在量化后保留更多的信息。
参见表1，特征聚合步骤具体包括如下子步骤：
表1熵最大化的聚合函数(EMAF)的前馈传播过程
Figure BDA0002726872540000061
具体地说，对于点云神经网络中的原始输入Y'，首先对Y'中的每一个值进行移位操作，偏移函数的计算公式定义为：
Figure BDA0002726872540000062
其中δ*是原始输入分布的偏移量。
将获得的结果通过聚合函数φ进行聚合，得到量化后的全局特征，其计算公式如下：
Figure BDA0002726872540000063
其中，φ表示聚合函数，比如最大池化或平均池化；
Figure BDA0002726872540000071
表示偏移函数，其定义为
Figure BDA0002726872540000072
Y’是原始输入；δ*是原始输入的分布偏移量。通过求解最大信息熵的计算公式，得到对于原始输入Y'来说，能够使得信息熵HB最大化的分布偏移δ*。
当聚合函数φ表示最大池化时，其信息熵最大化的目标函数如下：
Figure BDA0002726872540000073
其中，n表示每次批处理的元素个数。通过计算，得到每个n对应的最优的分布偏移δ*。
当聚合函数φ表示平均池化时，其信息熵最大化的目标函数为：
Figure BDA0002726872540000074
上述目标函数的解可以表示为nδ＝0，而且由于n≥1，因此
Figure BDA0002726872540000075
在经过池化层之后，特征聚合步骤的输出Y应满足
Figure BDA0002726872540000076
的分布。使用该步骤所得的输出，可以使得聚合后的特征的信息熵HB最大，使原始特征和量化后特征间的互信息最大化，即最大化地保留了量化特征中包含的原始特征信息。上述目标函数的解与n不相关，这一特性使其可以处理任意数量的点云输入。
如图2所示，通过最大化输出的二进制特征B的信息熵，可以尽可能保留原始输入Y'中的信息，减少对聚合函数的输出进行量化时的信息损失。
逐层尺度恢复步骤：对于逐层尺度恢复的二值化线性层，添加一个可学习的尺度恢复因子，将二值化后的输入与网络权重进行二值卷积，获得的输出与尺度恢复因子相乘，以恢复输出尺度。
参见表2，逐层尺度恢复步骤具体包括如下子步骤：
表2可学习的尺度恢复因子(LSR)的前馈传播过程
Figure BDA0002726872540000081
具体地说，在二值化线性层中，设计一个可学习的尺度恢复因子α。其中，该尺度恢复因子α的初始化为二值化线性层的输出Ba和Bw全精度对应输出A和W之间的标准偏差之比，即
Figure BDA0002726872540000082
其中，σ表示标准偏差，
Figure BDA0002726872540000083
和
Figure BDA0002726872540000084
均表示向量内积，但
Figure BDA0002726872540000085
在计算过程中利用了逐位运算XNOR和Bitcount。在训练过程中，尺度恢复因子α是可学习的，以保证恢复尺度可以调整。
通过将尺度恢复因子α与二值化线性层的输出Ba和Bw相乘，使得神经元输出z恢复到合理的比例，计算公式如下：
Figure BDA0002726872540000086
为实现本发明所提供的面向点云的高效二值化神经网络量化方法，本发明还提供一种面向点云的高效二值化神经网络量化装置。如图3所示，该装置包括存储器31和处理器32，还可以根据实际需要进一步包括通信组件、传感器组件、电源组件、多媒体组件及输入/输出接口。其中，存储器、通信组件、传感器组件、电源组件、多媒体组件及输入/输出接口均与该处理器32连接。上述存储器31可以是静态随机存取存储器(SRAM)、电可擦除可编程只读存储器(EEPROM)、可擦除可编程只读存储器(EPROM)、可编程只读存储器(PROM)、只读存储器(ROM)、磁存储器、快闪存储器等，处理器可以是中央处理器(CPU)、图形处理器(GPU)、现场可编程逻辑门阵列(FPGA)、专用集成电路(ASIC)、数字信号处理(DSP)芯片等。其它通信组件、传感器组件、电源组件、多媒体组件等均可以采用现有智能手机中的通用部件实现，在此就不具体说明了。
另一方面，在上述面向点云的高效二值化神经网络量化装置中，所述处理器32读取所述存储器31中的计算机程序，用于执行以下操作：
在点云神经网络的训练过程中：在网络前馈传播过程，将特征聚合层的输入进行变换后，通过熵最大化的聚合函数聚合全局特征；在网络前馈传播过程，逐层恢复二值线性单元的输出尺度；在网络反向传播过程，使用梯度更新可学习的尺度恢复因子；
在点云神经网络的推断过程中：使用二值化的网络权重和网络激活值，并且仅使用训练好的尺度恢复因子进行输出尺度恢复。
为了进一步验证BiPointNet在部署到现有便携式设备中时的效率，发明人在Raspberry Pi 4B上进一步实现了上述BiPointNet的技术方案，采用1.5GHz 64位四核ARMCPU Cortex-A72，Raspberry Pi 3B采用1.2GHz 64位四核ARM CPU Cortex-A53。在图4中，发明人比较了BiPointNet和PointNet，可以发现BiPointNet比PointNet实现了14.7倍的推理速度提升和18.9倍的存储减少，而PointNet本身就是公认的快速和轻量级模型。
与现有技术相比较，本发明提供的面向点云的高效二值化神经网络量化方法及装置，使用熵最大化的聚合函数和逐层尺度恢复的二值化线性层，使点云神经网络可以通过训练过程中最小化损失函数，达到聚合后的二值化特征信息熵最大化和网络权重、激活量化损失最小化，从而减少量化损失，提高二值化点云神经网络的性能。
上面对本发明所提供的面向点云的高效二值化神经网络量化方法及装置进行了详细的说明。对本领域的一般技术人员而言，在不背离本发明实质内容的前提下对它所做的任何显而易见的改动，都将构成对本发明专利权的侵犯，将承担相应的法律责任。

Claims (10)

1.一种面向点云的高效二值化神经网络量化方法，其特征在于包括如下步骤：
在点云神经网络的训练过程中：在网络前馈传播过程，将特征聚合层的输入进行变换后，通过熵最大化的聚合函数聚合全局特征；在网络前馈传播过程，逐层恢复二值线性单元的输出尺度；在网络反向传播过程，使用梯度更新可学习的尺度恢复因子；
在点云神经网络的推断过程中：使用二值化的网络权重和网络激活值，并且仅使用训练好的尺度恢复因子进行输出尺度恢复。
2.如权利要求1所述的高效二值化神经网络量化方法，其特征在于：
在点云神经网络的训练过程中，对网络中的卷积层执行特征聚合步骤：在特征聚合层利用熵最大化的聚合函数进行特征聚合，获得保留最大信息熵的二值化特征输出，并进行神经网络推断，在反向传播时对网络权重和激活进行更新，从而生成二值化的点云神经网络。
3.如权利要求2所述的高效二值化神经网络量化方法，其特征在于：
所述特征聚合步骤包括如下子步骤：对于熵最大化的聚合函数，应用多层感知机对输入的每个点进行独立建模，然后以一个恒定的偏移量对输入进行移位操作，通过聚合函数将每个点的建模特征聚合为全局特征，最后获得的输出满足关于零对称的分布要求，并且使熵最大化。
4.如权利要求3所述的高效二值化神经网络量化方法，其特征在于：
对于点云神经网络中的原始输入Y'，对Y'中的每一个值进行移位操作，偏移函数的计算公式为：τ(Y′)＝Y′-δ*，其中δ*是原始输入分布的偏移量。
5.如权利要求4所述的高效二值化神经网络量化方法，其特征在于：
经过聚合函数φ聚合后的全局特征Y满足∑y＜0fY(y)＝0.5的分布。
6.如权利要求1所述的高效二值化神经网络量化方法，其特征在于：
在点云神经网络的训练过程中，对网络中的卷积层执行逐层尺度恢复步骤：对网络中的二值化线性层使用可学习的尺度恢复因子，恢复输出到合理的尺度，在反向传播时对尺度恢复因子进行更新。
7.如权利要求6所述的高效二值化神经网络量化方法，其特征在于：
所述逐层尺度恢复步骤包括如下子步骤：对于逐层尺度恢复的二值化线性层，添加一个可学习的尺度恢复因子，将二值化后的输入与网络权重进行二值卷积，获得的输出与尺度恢复因子相乘，以恢复输出尺度。
8.如权利要求7所述的高效二值化神经网络量化方法，其特征在于：
所述尺度恢复因子α的初始化为二值化线性层的输出Ba和Bw全精度对应输出A和W之间的标准偏差之比，即
Figure FDA0002726872530000021
其中，σ表示标准偏差，
Figure FDA0002726872530000022
和⊙均表示向量内积，⊙在计算过程中利用了逐位运算XNOR和Bitcount。
9.如权利要求8所述的高效二值化神经网络量化方法，其特征在于：
通过将尺度恢复因子α与二值化线性层的输出Ba和Bw相乘，使得神经元输出z恢复到合理的比例。
10.一种面向点云的高效二值化神经网络量化装置，其特征在于包括处理器和存储器，所述处理器读取所述存储器中的计算机程序，用于执行以下操作：
在点云神经网络的训练过程中：在网络前馈传播过程，将特征聚合层的输入进行变换后，通过熵最大化的聚合函数聚合全局特征；在网络前馈传播过程，逐层恢复二值线性单元的输出尺度；在网络反向传播过程，使用梯度更新可学习的尺度恢复因子；
在点云神经网络的推断过程中：使用二值化的网络权重和网络激活值，并且仅使用训练好的尺度恢复因子进行输出尺度恢复。
CN202011105690.9A 2020-10-15 2020-10-15 一种面向点云的高效二值化神经网络量化方法及装置 Pending CN112183731A (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202011105690.9A CN112183731A (zh) 2020-10-15 2020-10-15 一种面向点云的高效二值化神经网络量化方法及装置
CN202111205851.6A CN113947193A (zh) 2020-10-15 2021-10-15 一种面向点云的高效二值化神经网络量化方法及装置
CN202210834539.1A CN115271037A (zh) 2020-10-15 2021-10-15 一种面向点云的高效二值化神经网络量化方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011105690.9A CN112183731A (zh) 2020-10-15 2020-10-15 一种面向点云的高效二值化神经网络量化方法及装置

Publications (1)

Publication Number Publication Date
CN112183731A true CN112183731A (zh) 2021-01-05

Family

ID=73950452

Family Applications (3)

Application Number Title Priority Date Filing Date
CN202011105690.9A Pending CN112183731A (zh) 2020-10-15 2020-10-15 一种面向点云的高效二值化神经网络量化方法及装置
CN202210834539.1A Pending CN115271037A (zh) 2020-10-15 2021-10-15 一种面向点云的高效二值化神经网络量化方法及装置
CN202111205851.6A Withdrawn CN113947193A (zh) 2020-10-15 2021-10-15 一种面向点云的高效二值化神经网络量化方法及装置

Family Applications After (2)

Application Number Title Priority Date Filing Date
CN202210834539.1A Pending CN115271037A (zh) 2020-10-15 2021-10-15 一种面向点云的高效二值化神经网络量化方法及装置
CN202111205851.6A Withdrawn CN113947193A (zh) 2020-10-15 2021-10-15 一种面向点云的高效二值化神经网络量化方法及装置

Country Status (1)

Country Link
CN (3) CN112183731A (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116721399B (zh) * 2023-07-26 2023-11-14 之江实验室 一种量化感知训练的点云目标检测方法及装置

Also Published As

Publication number Publication date
CN113947193A (zh) 2022-01-18
CN115271037A (zh) 2022-11-01

Similar Documents

Publication Publication Date Title
US20200134460A1 (en) Processing method and accelerating device
Imani et al. Revisiting hyperdimensional learning for fpga and low-power architectures
CN105260776B (zh) 神经网络处理器和卷积神经网络处理器
JP7325158B2 (ja) ニューラル・ネットワーク・コアにおける動的精度のためのデータ表現
US11915128B2 (en) Neural network circuit device, neural network processing method, and neural network execution program
WO2020167480A1 (en) Adjusting activation compression for neural network training
WO2020014590A1 (en) Generating a compressed representation of a neural network with proficient inference speed and power consumption
US20190244080A1 (en) Neural Network Processor with On-Chip Convolution Kernel Storage
CN113273082A (zh) 具有异常块浮点的神经网络激活压缩
WO2020154083A1 (en) Neural network activation compression with non-uniform mantissas
CN111105017B (zh) 神经网络量化方法、装置及电子设备
CN109389208B (zh) 数据的量化装置及量化方法
CN112446888A (zh) 图像分割模型的处理方法和处理装置
CN114978189A (zh) 一种数据编码方法以及相关设备
CN115022637A (zh) 一种图像编码方法、图像解压方法以及装置
CN112183731A (zh) 一种面向点云的高效二值化神经网络量化方法及装置
Qi et al. Learning low resource consumption cnn through pruning and quantization
CN109389218B (zh) 数据压缩方法及压缩装置
CN109389209B (zh) 处理装置及处理方法
CN108960420B (zh) 处理方法及加速装置
CN116797850A (zh) 基于知识蒸馏和一致性正则化的类增量图像分类方法
Zhan et al. Field programmable gate array‐based all‐layer accelerator with quantization neural networks for sustainable cyber‐physical systems
WO2021081854A1 (zh) 一种卷积运算电路和卷积运算方法
CN116095183A (zh) 一种数据压缩方法以及相关设备
CN116306951A (zh) 一种量子计算方法和装置、电子设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20210105

WD01 Invention patent application deemed withdrawn after publication