CN113627593A - 面向目标检测模型Faster R-CNN的自动量化方法 - Google Patents

面向目标检测模型Faster R-CNN的自动量化方法 Download PDF

Info

Publication number
CN113627593A
CN113627593A CN202110891657.1A CN202110891657A CN113627593A CN 113627593 A CN113627593 A CN 113627593A CN 202110891657 A CN202110891657 A CN 202110891657A CN 113627593 A CN113627593 A CN 113627593A
Authority
CN
China
Prior art keywords
layer
network
target detection
cnn
detection model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110891657.1A
Other languages
English (en)
Other versions
CN113627593B (zh
Inventor
於志文
于昊艺
刘思聪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Northwestern Polytechnical University
Original Assignee
Northwestern Polytechnical University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Northwestern Polytechnical University filed Critical Northwestern Polytechnical University
Priority to CN202110891657.1A priority Critical patent/CN113627593B/zh
Publication of CN113627593A publication Critical patent/CN113627593A/zh
Application granted granted Critical
Publication of CN113627593B publication Critical patent/CN113627593B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种面向目标检测模型Faster R‑CNN的自动量化方法，涉及深度神经网络的量化和基于深度学习的强化学习领域。具体过程为：遍历目标检测模型Faster R‑CNN，获取可量化网络层的索引，利用一个十维向量为每一层可量化的网络构建状态，创建目标检测模型Faster R‑CNN的存储资源查询表，评估未量化时目标检测模型Faster R‑CNN的准确率，利用基于深度学习的强化学习方法搜索最佳的量化策略，对量化后的目标检测模型Faster R‑CNN再训练。该方法解决了传统的基于规则的启发式量化算法需要大量的人力工作为网络的每一层设计最佳的量化位宽的问题。同时为了加快量化策略的搜索速度，将量化后模型所需的存储资源融入到搜索过程中，跳过不必要的搜索，从而提高搜索速度。

Description

面向目标检测模型Faster R-CNN的自动量化方法
技术领域
本发明属于目标检测技术领域，涉及深度神经网络的量化和基于深度学习的强化学习领域，尤其涉及面向目标检测模型Faster R-CNN的自动量化方法。
背景技术
近年来，深度神经网络(Deep Neural Networks，DNN)在计算机视觉、自然语言处理等领域取得了巨大的成功。但是，由于深度神经网络需要很大的计算与存储开销，对于计算资源有限、功耗预算紧张的移动设备和嵌入式硬件来说，使用深度神经网络是非常具有挑战性的。为了将计算密集型的深度神经网络部署在移动设备和嵌入式硬件中，有一种方法是模型剪枝，通过对深度神经网络中一些不重要的参数进行剪枝，或者在推理过程中跳过某些操作来降低深度神经网络的计算成本和存储空间；另一种方法是模型量化，通过将深度神经网络的权重由浮点小数转换为定点整数，从而实现以较低的位宽计算和存储模型的权重，从而实现在资源受限的终端设备上部署深度神经网络。
传统的模型量化技术需要研究人员探索较大的设计空间并有效权衡计算效率与模型准确率。因此，为减少对人工经验的依赖和人为因素的干扰，深度神经网络的自动量化成为了当下的研究热点。常规的深度神经网络量化技术对所有网络层使用相同的量化位宽，但是由于不同的网络层具有不同程度的冗余，因此，有必要对不同网络层使用混合量化位宽。当前该领域的研究挑战是如何确定每一层网络的量化位宽。常规方法要求具有机器学习和硬件架构方面知识的领域专家通过基于规则的启发式方法来探索巨大的设计空间，例如应该在提取低级特征的第一层和计算最终输出的最后一层中保留较多的量化比特位数。同样，由于卷积层较为敏感，在卷积层中应该使用比全连接层更多的量化位宽。但是随着神经网络的不断深入，设计空间呈指数增长，这使得依靠基于规则的启发式方法手工制定的量化策略通常不是最佳的。
发明内容
要解决的技术问题
为了避免现有技术的不足之处，本发明提出一种面向目标检测模型Faster R-CNN的自动量化方法及目标检测方法。
技术方案
一种面向目标检测模型Faster R-CNN的自动量化方法，其特征在于步骤如下：
步骤1：获取可量化网络层的索引集合Q
遍历目标检测模型Faster R-CNN的每一层，若该网络层为卷积层或全连接层，则将该层的索引添加到集合Q中；
步骤2：获取可量化网络层的状态空间S
遍历步骤1中得到的可量化网络层的索引集合Q，若该网络层为卷积层，则其状态可定义为：
si＝(i,kernel,stride,feature,in,out,n,fcf,fwa,ai-1)
其中，i表示该网络层的索引，kernel表示卷积核的大小，stride表示卷积核的步长，feature表示输入特征向量的大小，in表示输入的通道数，out表示输出的通道数， n表示该网络层参数的总个数，fcf表示该网络层的类型，fwa表示该网络的权重或激活， ai-1表示前一层网络的动作，即前一层网络的量化位宽；若该网络层为全连接层，则其状态定义为：
si＝(i,1,0,feature,in,out,n,fcf,fwa,ai-1)
其中，i表示该网络层的索引，feature表示输入特征向量的大小，in表示输入的隐藏单元个数，out表示输出的隐藏单元个数，n表示该网络层参数的总个数，fcf表示该网络层的类型，fwa表示该网络的权重或激活，ai-1表示前一层网络的动作，即前一层网络的量化位宽；
步骤3：获取目标检测模型Faster R-CNN的存储资源查询表T；
步骤4：获取未量化时目标检测模型Faster R-CNN的准确率accori；
步骤5：利用基于深度学习的强化学习方法搜索最佳的量化策略P；
通过基于深度确定性策略梯度算法DDPG的参与者-评价者框架为目标检测模型Faster R-CNN每一层网络的权重和激活分配最佳的量化位宽；在第i层网络中，DDPG 算法根据步骤2中得到的当前层的状态si输出连续的动作ai，并将其四舍五入为离散值作为每一层网络的量化位宽Ai，形式上描述为：
Ai＝round(7.5+ai×5)
其中，round为四舍五入函数；
当DDPG算法为每一层网络分配相应的量化位宽后，利用线性量化公式对目标检测模型Faster R-CNN进行量化；具体来讲，对于第i层网络的权重Wi，首先将其截取到[-r,r]内，然后根据量化位宽ai对其进行量化，形式上描述为：
Figure RE-GDA0003297941920000031
其中，round为四舍五入函数，clamp为截取函数，Scale为量化参数，形式上描述为：
Figure RE-GDA0003297941920000032
对于截取区间r，通过寻找使未量化权值分布W与量化权值分布Q之间 Kullback-Leibler散度最小的最优值来选择截取区间r，形式上描述为：
Figure RE-GDA0003297941920000033
其中，DKL(X,Y)表示分布X和分布Y之间的Kullback-Leibler散度；对于每一层网络的激活，以同样的方式对其进行量化，但是由于激活值是非负的，因此在量化前将其截取到[0,r]；
对目标检测模型Faster R-CNN量化后，评估量化后模型的准确率accquan，然后将步骤4中获取的未量化时模型的准确率accori和量化后模型的准确率accquan的差值作为DDPG算法的奖励，形式上描述为：
R＝0.1×(accquan-accori)
最后通过最优化奖励值R来搜素最佳的量化策略；
在搜索量化策略的过程中，通过步骤3中获取的模型存储资源查询表T，计算每次量化完毕后模型所需的存储资源；若当前存储资源大于预先设置的存储资源约束，则跳过该循环直接进入下一循环，从而加速最佳量化策略P的搜索速度；
步骤6：对量化后的目标检测模型Faster R-CNN进行再训练进一步提升模型的准确率。
步骤2中fcf的类型具体为：0表示全连接层，1表示卷积层。
步骤2中fwa的类型具体为：0表示激活，1表示权重。
步骤3中所述的T是一个三维矩阵，第一维表示可量化网络层的索引，第二维表示权重的量化位宽，第三维表示激活的量化位宽，形式上描述为：
Figure RE-GDA0003297941920000041
其中，ti,w,a表示第i层网络在权重量化位宽为wbit，激活量化位宽为abit时，该层网络所需的存储资源大小，weight_num表示该网络层权重的个数，activate_num表示该网络层激活输出的个数。
一种目标检测方法，其特征在于利用上述的量化后的目标检测模型Faster R-CNN进行目标检测。
有益效果
本发明提出的一种面向目标检测模型Faster R-CNN的自动量化方法，遍历目标检测模型Faster R-CNN，获取可量化网络层的索引，利用一个十维向量为每一层可量化的网络构建状态，创建目标检测模型Faster R-CNN的存储资源查询表，评估未量化时目标检测模型Faster R-CNN的准确率，利用基于深度学习的强化学习方法搜索最佳的量化策略，对量化后的目标检测模型Faster R-CNN再训练，进一步提升其准确率。
本发明利用基于深度学习的强化学习方法为目标检测模型Faster R-CNN每一层网络的权重和激活确定量化位宽。该方法解决了传统的基于规则的启发式量化算法需要大量的人力工作为网络的每一层设计最佳的量化位宽的问题。同时为了加快量化策略的搜索速度，将量化后模型所需的存储资源融入到搜索过程中，跳过不必要的搜索，从而提高搜索速度。
经过本发明自动量化方法后的目标检测模型Faster R-CNN，其对目标的检测结果更为准确。
附图说明
附图仅用于示出具体实施例的目的，而并不认为是对本发明的限制，在整个附图中，相同的参考符号表示相同的部件。
图1为本发明实例中面向目标检测模型Faster R-CNN的自动量化方法的流程图。
图2为Faster R-CNN的网络结构图。
图3为在自动量化的过程中Faster R-CNN的准确率变化示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图和实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。此外，下面描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
本发明提出一种面向目标检测模型Faster R-CNN的自动量化方法，利用以下原理：基于深度学习的强化学习方法能够自动地在巨大的搜索空间中为目标检测模型FasterR-CNN每一层网络的权重和激活选择最佳的量化位宽，从而得到一套最优的量化策略。其能够有效解决基于规则的启发式方法存在的局部最优问题。同时在搜索的过程中引入了模型存储资源约束，可以有效避免不必要的搜索，从而加快搜索速度。
如图1所示，本发明的具体步骤如下：
步骤1：获取可量化网络层的索引集合Q。遍历目标检测模型Faster R-CNN的每一层，若该网络层为卷积层或全连接层，则将该层的索引添加到集合Q中。
步骤2：获取可量化网络层的状态空间S。遍历步骤1中得到的可量化网络层的索引集合Q，若该网络层为卷积层，则其状态可定义为：
si＝(i,kernel,stride,feature,in,out,n,fcf,fwa,ai-1)
其中，i表示该网络层的索引，kernel表示卷积核的大小，stride表示卷积核的步长，feature表示输入特征向量的大小，in表示输入的通道数，out表示输出的通道数， n表示该网络层参数的总个数，fcf表示该网络层的类型(0表示全连接层，1表示卷积层)，fwa表示该网络的权重或激活(0表示激活，1表示权重)，ai-1表示前一层网络的动作，即前一层网络的量化位宽。若该网络层为全连接层，则其状态可定义为：
si＝(i,1,0,feature,in,out,n,fcf,fwa,ai-1)
其中，i表示该网络层的索引，feature表示输入特征向量的大小，in表示输入的隐藏单元个数，out表示输出的隐藏单元个数，n表示该网络层参数的总个数，fcf表示该网络层的类型(0表示全连接层，1表示卷积层)，fwa表示该网络的权重或激活(0 表示激活，1表示权重)，ai-1表示前一层网络的动作，即前一层网络的量化位宽。
步骤3：获取目标检测模型Faster R-CNN的存储资源查询表T。T是一个三维矩阵，第一维表示可量化网络层的索引，第二维表示权重的量化位宽，第三维表示激活的量化位宽，形式上可以描述为：
Figure RE-GDA0003297941920000061
其中，ti,w,a表示第i层网络在权重量化位宽为wbit，激活量化位宽为abit时，该层网络所需的存储资源大小(单位为MB)，weight_num表示该网络层权重的个数， activate_num表示该网络层激活输出的个数。
步骤4：获取未量化时目标检测模型Faster R-CNN的准确率accori。
步骤5：利用基于深度学习的强化学习方法搜索最佳的量化策略P。通过基于深度确定性策略梯度算法(Deep Deterministic Policy Gradient，DDPG)的参与者-评价者框架(Actor-Critic)为目标检测模型Faster R-CNN每一层网络的权重和激活分配最佳的量化位宽。在第i层网络中，DDPG算法根据步骤2中得到的当前层的状态si输出连续的动作ai，并将其四舍五入为离散值作为每一层网络的量化位宽Ai，形式上可以描述为：
Ai＝round(7.5+ai×5)
其中，round为四舍五入函数。
当DDPG算法为每一层网络分配相应的量化位宽后，利用线性量化公式对目标检测模型Faster R-CNN进行量化。具体来讲，对于第i层网络的权重Wi,首先将其截取到 [-r,r]内，然后根据量化位宽ai对其进行量化，形式上可以描述为：
Figure RE-GDA0003297941920000071
其中，round为四舍五入函数，clamp为截取函数，Scale为量化参数，形式上可以描述为：
Figure RE-GDA0003297941920000072
对于截取区间r，通过寻找使未量化权值分布W与量化权值分布Q之间 Kullback-Leibler散度(Kullback-Leibler divergence)最小的最优值来选择截取区间r，形式上可以描述为：
Figure RE-GDA0003297941920000073
其中，DKL(X,Y)表示分布X和分布Y之间的Kullback-Leibler散度。对于每一层网络的激活，以同样的方式对其进行量化，但是由于激活值是非负的，因此在量化前将其截取到[0,r]。
对目标检测模型Faster R-CNN量化后，评估量化后模型的准确率accquan，然后将步骤4中获取的未量化时模型的准确率accori和量化后模型的准确率accquan的差值作为DDPG算法的奖励，形式上可以描述为：
R＝0.1×(accquan-accori)
最后通过最优化奖励值R来搜素最佳的量化策略。
在搜索量化策略的过程中，通过步骤3中获取的模型存储资源查询表T，计算每次量化完毕后模型所需的存储资源。若当前存储资源大于预先设置的存储资源约束，则跳过该循环直接进入下一循环，从而加速最佳量化策略P的搜索速度。
步骤6：对量化后的目标检测模型Faster R-CNN进行再训练进一步提升模型的准确率。由于量化通常会导致模型的准确率在一定程度上下降，通过对量化后的模型进行再训练进一步提升模型的准确率。
图2为目标检测模型Faster R-CNN的网络结构图。Faster R-CNN是经典的两阶段检测模型，主要由骨干网络和检测网络两部分组成。骨干网络对原始图片进行特征提取得到其特征图。检测网络对特征图进一步处理得到目标的位置及类别，特征图首先经过区域建议网络得到若干个候选建议框，这些大小不等的建议框再经过Roi池化层处理成固定尺寸的建议框，最后对这些建议框中的目标进行精确的位置预测和分类。
图3为在自动量化的过程中Faster R-CNN的准确率变化示意图。从图中可以看出，原始模型的准确率分别为0.930(IoU＝0.5)和0.875(IoU＝0.75)，搜索初期模型量化后的准确率降至0.010，搜索到最佳量化策略后模型量化后的准确率分别为0.779 (IoU＝0.5)和0.646(IoU＝0.75)，但较原始模型的准确率相比仍有所下降，最终经过一段时间的微调将模型的准确率分别提升至0.982(IoU＝0.5)和0.962(IoU＝0.75)，同时量化后模型的大小较原始模型的大小相比压缩了4.48倍。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明公开的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。

Claims (5)

1.一种面向目标检测模型Faster R-CNN的自动量化方法，其特征在于步骤如下：
步骤1：获取可量化网络层的索引集合Q
遍历目标检测模型Faster R-CNN的每一层，若该网络层为卷积层或全连接层，则将该层的索引添加到集合Q中；
步骤2：获取可量化网络层的状态空间S
遍历步骤1中得到的可量化网络层的索引集合Q，若该网络层为卷积层，则其状态可定义为：
si＝(i，kernel，stride，feature，in，out，n，fcf，fwa，ai-1)
其中，i表示该网络层的索引，kernel表示卷积核的大小，stride表示卷积核的步长，feature表示输入特征向量的大小，in表示输入的通道数，out表示输出的通道数，n表示该网络层参数的总个数，fcf表示该网络层的类型，fwa表示该网络的权重或激活，ai-1表示前一层网络的动作，即前一层网络的量化位宽；若该网络层为全连接层，则其状态定义为：
si＝(i，1，0，feature，in，out，n，fcf，fwa，ai-1)
其中，i表示该网络层的索引，feature表示输入特征向量的大小，in表示输入的隐藏单元个数，out表示输出的隐藏单元个数，n表示该网络层参数的总个数，fcf表示该网络层的类型，fwa表示该网络的权重或激活，ai-1表示前一层网络的动作，即前一层网络的量化位宽；
步骤3：获取目标检测模型Faster R-CNN的存储资源查询表T；
步骤4：获取未量化时目标检测模型Faster R-CNN的准确率accori；
步骤5：利用基于深度学习的强化学习方法搜索最佳的量化策略P；
通过基于深度确定性策略梯度算法DDPG的参与者-评价者框架为目标检测模型FasterR-CNN每一层网络的权重和激活分配最佳的量化位宽；在第i层网络中，DDPG算法根据步骤2中得到的当前层的状态si输出连续的动作ai，并将其四舍五入为离散值作为每一层网络的量化位宽Ai，形式上描述为：
Ai＝round(7.5+ai×5)
其中，round为四舍五入函数；
当DDPG算法为每一层网络分配相应的量化位宽后，利用线性量化公式对目标检测模型Faster R-CNN进行量化；具体来讲，对于第i层网络的权重Wi，首先将其截取到[-r，r]内，然后根据量化位宽ai对其进行量化，形式上描述为：
Figure FDA0003196355030000021
其中，round为四舍五入函数，clamp为截取函数，Scale为量化参数，形式上描述为：
Figure FDA0003196355030000022
对于截取区间r，通过寻找使未量化权值分布W与量化权值分布Q之间Kullback-Leibler散度最小的最优值来选择截取区间r，形式上描述为：
Figure FDA0003196355030000023
其中，DKL(X，Y)表示分布X和分布Y之间的Kullback-Leibler散度；对于每一层网络的激活，以同样的方式对其进行量化，但是由于激活值是非负的，因此在量化前将其截取到[0，r]；
对目标检测模型Faster R-CNN量化后，评估量化后模型的准确率accquan，然后将步骤4中获取的未量化时模型的准确率accori和量化后模型的准确率accquan的差值作为DDPG算法的奖励，形式上描述为：
R＝0.1×(accquan-accori)
最后通过最优化奖励值R来搜素最佳的量化策略；
在搜索量化策略的过程中，通过步骤3中获取的模型存储资源查询表T，计算每次量化完毕后模型所需的存储资源；若当前存储资源大于预先设置的存储资源约束，则跳过该循环直接进入下一循环，从而加速最佳量化策略P的搜索速度；
步骤6：对量化后的目标检测模型Faster R-CNN进行再训练进一步提升模型的准确率。
2.根据权利要求1所述的一种面向目标检测模型Faster R-CNN的自动量化方法，其特征在于步骤2中fcf的类型具体为：0表示全连接层，1表示卷积层。
3.根据权利要求1所述的一种面向目标检测模型Faster R-CNN的自动量化方法，其特征在于步骤2中fwa的类型具体为：0表示激活，1表示权重。
4.根据权利要求1所述的一种面向目标检测模型Faster R-CNN的自动量化方法，其特征在于步骤3中所述的T是一个三维矩阵，第一维表示可量化网络层的索引，第二维表示权重的量化位宽，第三维表示激活的量化位宽，形式上描述为：
Figure FDA0003196355030000031
其中，ti，w，a表示第i层网络在权重量化位宽为wbit，激活量化位宽为abit时，该层网络所需的存储资源大小，weight_hum表示该网络层权重的个数，activate_num表示该网络层激活输出的个数。
5.一种目标检测方法，其特征在于利用权利要求1所述的量化后的目标检测模型Faster R-CNN进行目标检测。
CN202110891657.1A 2021-08-04 2021-08-04 面向目标检测模型Faster R-CNN的自动量化方法 Active CN113627593B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110891657.1A CN113627593B (zh) 2021-08-04 2021-08-04 面向目标检测模型Faster R-CNN的自动量化方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110891657.1A CN113627593B (zh) 2021-08-04 2021-08-04 面向目标检测模型Faster R-CNN的自动量化方法

Publications (2)

Publication Number Publication Date
CN113627593A true CN113627593A (zh) 2021-11-09
CN113627593B CN113627593B (zh) 2024-06-04

Family

ID=78382647

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110891657.1A Active CN113627593B (zh) 2021-08-04 2021-08-04 面向目标检测模型Faster R-CNN的自动量化方法

Country Status (1)

Country Link
CN (1) CN113627593B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200097818A1 (en) * 2018-09-26 2020-03-26 Xinlin LI Method and system for training binary quantized weight and activation function for deep neural networks
WO2020181685A1 (zh) * 2019-03-12 2020-09-17 南京邮电大学 一种基于深度学习的车载视频目标检测方法
CN111860779A (zh) * 2020-07-09 2020-10-30 北京航空航天大学 一种深度卷积神经网络快速自动压缩方法
CN112488070A (zh) * 2020-12-21 2021-03-12 上海交通大学 一种面向遥感图像目标检测的神经网络压缩方法
WO2021057926A1 (zh) * 2019-09-25 2021-04-01 杭州海康威视数字技术股份有限公司 一种神经网络模型训练方法及装置
CN112733964A (zh) * 2021-02-01 2021-04-30 西安交通大学 一种强化学习自动感知权重分布的卷积神经网络量化方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200097818A1 (en) * 2018-09-26 2020-03-26 Xinlin LI Method and system for training binary quantized weight and activation function for deep neural networks
WO2020181685A1 (zh) * 2019-03-12 2020-09-17 南京邮电大学 一种基于深度学习的车载视频目标检测方法
WO2021057926A1 (zh) * 2019-09-25 2021-04-01 杭州海康威视数字技术股份有限公司 一种神经网络模型训练方法及装置
CN111860779A (zh) * 2020-07-09 2020-10-30 北京航空航天大学 一种深度卷积神经网络快速自动压缩方法
CN112488070A (zh) * 2020-12-21 2021-03-12 上海交通大学 一种面向遥感图像目标检测的神经网络压缩方法
CN112733964A (zh) * 2021-02-01 2021-04-30 西安交通大学 一种强化学习自动感知权重分布的卷积神经网络量化方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
曹诗雨;刘跃虎;李辛昭: "基于Fast R-CNN的车辆目标检测", 中国图象图形学报, vol. 22, no. 5, 16 May 2017 (2017-05-16) *
许悦雷;朱明明;马时平;唐红;马红强;: "迁移学习结合难分样本挖掘的机场目标检测", 西安电子科技大学学报, no. 05, 15 May 2018 (2018-05-15) *

Also Published As

Publication number Publication date
CN113627593B (zh) 2024-06-04

Similar Documents

Publication Publication Date Title
US11874640B2 (en) Wind power prediction method and system for optimizing deep transformer network
CN110378468B (zh) 一种基于结构化剪枝和低比特量化的神经网络加速器
US20180204110A1 (en) Compressed neural network system using sparse parameters and design method thereof
CN110851566B (zh) 一种应用于命名实体识别的可微分网络结构搜索的方法
CN112101525A (zh) 一种通过nas设计神经网络的方法、装置和系统
CN106485316A (zh) 神经网络模型压缩方法以及装置
CN111079899A (zh) 神经网络模型压缩方法、系统、设备及介质
JPH07261784A (ja) パターン認識方法、音声認識方法および音声認識装置
CN112000770A (zh) 面向智能问答的基于语义特征图的句子对语义匹配方法
WO2023071592A1 (zh) 面向超大搜索空间的网络结构搜索方法、系统及介质
CN111831355A (zh) 权重精度配置方法、装置、设备及存储介质
CN113537365A (zh) 一种基于信息熵动态赋权的多任务学习自适应平衡方法
CN112598129A (zh) 基于ReRAM神经网络加速器的可调硬件感知的剪枝和映射框架
CN114819143A (zh) 一种适用于通信网现场维护的模型压缩方法
CN113313250B (zh) 采用混合精度量化与知识蒸馏的神经网络训练方法及系统
CN116721305A (zh) 一种基于神经网络结构搜索的混合精度量化感知训练方法
CN113627593A (zh) 面向目标检测模型Faster R-CNN的自动量化方法
CN116486280A (zh) 一种基于频域特征融合的舰船检测方法、装置和存储介质
CN113033653B (zh) 一种边-云协同的深度神经网络模型训练方法
CN110826726B (zh) 目标处理方法、目标处理装置、目标处理设备及介质
CN114170490A (zh) 基于自适应数据量化和多面体模板的图像识别方法及系统
CN117707795B (zh) 基于图的模型划分的边端协同推理方法及系统
CN117808083B (zh) 一种分布式训练通信方法、装置、系统、设备及存储介质
KR102585925B1 (ko) 이미지 기반의 학습 데이터를 수집하기 위한 장치 및 이를 위한 방법
CN113591509B (zh) 车道线检测模型的训练方法、图像处理方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant