CN106548234A - 一种神经网络剪枝方法及装置 - Google Patents

一种神经网络剪枝方法及装置 Download PDF

Info

Publication number
CN106548234A
CN106548234A CN201611026107.9A CN201611026107A CN106548234A CN 106548234 A CN106548234 A CN 106548234A CN 201611026107 A CN201611026107 A CN 201611026107A CN 106548234 A CN106548234 A CN 106548234A
Authority
CN
China
Prior art keywords
neuron
internet
beta pruning
value
vector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201611026107.9A
Other languages
English (en)
Inventor
王乃岩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Tusimple Technology Co Ltd
Original Assignee
Beijing Tucson Interconnect Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Tucson Interconnect Technology Co Ltd filed Critical Beijing Tucson Interconnect Technology Co Ltd
Priority to CN201611026107.9A priority Critical patent/CN106548234A/zh
Priority to CN202010483570.6A priority patent/CN111860826A/zh
Publication of CN106548234A publication Critical patent/CN106548234A/zh
Priority to PCT/CN2017/102029 priority patent/WO2018090706A1/zh
Priority to US16/416,142 priority patent/US20190279089A1/en
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Algebra (AREA)
  • Databases & Information Systems (AREA)
  • Image Analysis (AREA)
  • Medicines Containing Material From Animals Or Micro-Organisms (AREA)
  • Feedback Control In General (AREA)

Abstract

本发明公开了一种神经网络剪枝方法及装置，以解决现有技术中网络剪枝不能兼顾压缩、加速和精度的技术问题。该方法：根据待剪枝网络层中神经元的激活值，确定神经元的重要度值；根据所述待剪枝网络层中神经元与下一个网络层中神经元的连接权重，确定神经元的多样性值；根据所述待剪枝网络层中的神经元的重要度值和多样性值，采用体积最大化神经元选取策略从所述待剪枝网络层中选取保留的神经元；将所述待剪枝网络层中的其他神经元剪掉，得到剪枝网络层。本发明技术方案能够在确保神经网络精度的同时取得了较好的压缩和加速效果。

Description

一种神经网络剪枝方法及装置
技术领域
本发明涉及计算机领域，特别涉及一种神经网络剪枝方法及装置。
背景技术
目前，深度神经网络在计算机视觉领域取得了巨大的成功，如图像分类、目标检测、图像分割等。然而，效果较好的深度神经网络往往有着数量较大的模型参数，不仅计算量大而且在实际部署中模型占据较大一部分空间，这在一些需要实时运算的应用场景无法正常应用。因此，如何对深度神经网络进行压缩与加速则显得尤为重要，尤其是未来一些需要将深度神经网络应用到诸如嵌入式设备、集成硬件设备中的应用场景。
目前，对深度神经网络进行压缩和加速的方式主要是通过网络剪枝的方式实现，例如，Song Han等人发表的论文“Learning both Weights and Connections forEfficient Neural Network”中提出了一种基于权重的网络剪枝技术，以及Zelda Mariet等人发表的论文“Diversity Networks”中提出了一种基于行列式点过程的神经网络剪枝技术。然而目前的网络剪枝技术的效果不理想，仍然存在压缩、加速和精度不能同时兼顾的技术问题。
发明内容
鉴于上述问题，本发明提供一种神经网络剪枝方法及装置，以解决现有技术存在压缩、加速和精度不能同时兼顾的技术问题。
本发明一方面，提供一种神经网络剪枝方法，方法包括：
根据待剪枝网络层中神经元的激活值，确定神经元的重要度值；
根据所述待剪枝网络层中神经元与下一个网络层中神经元的连接权重，确定神经元的多样性值；
根据所述待剪枝网络层中的神经元的重要度值和多样性值，采用体积最大化神经元选取策略从所述待剪枝网络层中选取保留的神经元；
将所述待剪枝网络层中的其他神经元剪掉，得到剪枝网络层。
另一方面，本发明实施例还提供一种神经网络剪枝装置，该装置包括：
重要度值确定单元，用于根据待剪枝网络层中神经元的激活值，确定神经元的重要度值；
多样性值确定单元，用于根据所述待剪枝网络层中神经元与下一个网络层中神经元的连接权重，确定神经元的多样性值；
神经元选取单元，用于根据所述待剪枝网络层中的神经元的重要度值和多样性值，采用体积最大化神经元选取策略从所述待剪枝网络层中选取保留的神经元；
剪枝单元，用于将所述待剪枝网络层中的其他神经元剪掉，得到剪枝网络层。
本发明实施例提供的神经网络剪枝方法，首先，针对待剪枝网络层中的每一个神经元，根据所述神经元的激活值确定其重要度值以及根据该神经元与下一个网络层中神经元的连接权重确定其多样性值；再根据待剪枝网络层中神经元的重要度值和多样性值，采用体积最大化神经元选取策略从待剪枝中选取保留的神经元。本发明技术方案，神经元的重要性值反映神经元对神经网络输出结果的影响程度，神经元的多样性反映神经元的表达能力，因此，采用体积最大神经元选取策略选取出的神经元对神经网络的输出结果的贡献作用和表达能力较强，剪掉的神经元为对神经网络输出结果贡献较弱且表达能力较差的神经元，因此，剪枝后的神经网络与剪枝前的神经网络相比，不仅得到了很好的压缩和加速效果，而且与剪枝前相比其精度损失较小，因此，本发明实施例提供的剪枝方法能够在确保神经网络精度的同时取得了较好的压缩和加速效果。
本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：
图1为本发明实施例中神经网络剪枝方法的流程图之一；
图2为本发明实施例中确定神经元的重要度值的方法流程图；
图3为本发明实施例中从所述待剪枝网络层中选取保留的神经元的方法流程图之一；
图4为本发明实施例中从所述待剪枝网络层中选取保留的神经元的方法流程图之二；
图5为本发明实施例中采用贪心求解方法选取神经元的方法流程图；
图6为本发明实施例中神经网络剪枝方法的流程图之二；
图7为本发明实施例中神经网络剪枝方法的流程图之三；
图8为本发明实施例中神经网络剪枝装置的结构示意图之一；
图9为本发明实施例中重要度值确定单元的结构示意图；
图10为本发明实施例中神经元选取单元的结构示意图之一；
图11为本发明实施例中神经元选取单元的结构示意图之二；
图12为本发明实施例中神经网络剪枝装置的结构示意图之二；
图13为本发明实施例中神经网络剪枝装置的结构示意图之三。
具体实施方式
为了使本技术领域的人员更好地理解本发明中的技术方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
以上是本发明的核心思想，为了使本技术领域的人员更好地理解本发明实施例中的技术方案，并使本发明实施例的上述目的、特征和优点能够更加明显易懂，下面结合附图对本发明实施例中技术方案作进一步详细的说明。
本发明技术方案，在应用时可以根据实际应用需求确定神经网络中的哪些网络层需要剪枝(后续称为待剪枝网络层)，既可以单独对神经网络中的部分网络层进行剪枝，也可以对神经网络中的所有网络层进行剪枝。在实际应用中，例如，可根据网络层的计算量大小确定是否对该网络层进行剪枝，以及可权衡剪枝后神经网络要求的速度和精度(如精度不低于剪枝前的90％)来确定剪枝的网络层数量以及每一个待剪枝网络层需要剪掉的神经元数量，各待剪枝网络层剪掉的神经元数量可以相同也可以不相同，本领域技术人员可以根据实际应用的需求灵活选定，本申请不做严格限定。
图1为本发明实施例提供的一种神经网络剪枝方法的流程图，对神经网络中的每一个待剪枝网络层均可采用图1所示的方法流程，该方法包括：
步骤101、根据待剪枝网络层中神经元的激活值，确定神经元的重要度值。
步骤102、根据所述待剪枝网络层中神经元与下一个网络层中神经元的连接权重，确定神经元的多样性值。
步骤103、根据所述待剪枝网络层中的神经元的重要度值和多样性值，采用体积最大化神经元选取策略从所述待剪枝网络层中选取保留的神经元。
步骤104、将所述待剪枝网络层中的其他神经元剪掉，得到剪枝网络层。
以下对前述图1所示的各个步骤的具体实现方式进行详细的描述，以便本领域技术人员理解本申请技术方案。具体实现方式仅仅是一个示例，本领域技术人员基于该示例想到的其他替代方式或等同方式均在本申请保护的范围内。
本发明实施例中，均以待剪枝网络层为神经网络中的第l层为例进行描述。
优选地，前述步骤101可通过如图2所示的方法流程实现，方法包括：
步骤101a、通过神经网络对输入数据进行一次前向操作，得到所述待剪枝网络层中每个神经元的激活值向量；
步骤101b、计算各神经元的激活值向量的方差；
步骤101c、根据各神经元的方差得到所述待剪枝网络层的神经元方差重要性向量；
步骤101d、根据所述神经元方差重要性向量，分别对各神经元的方差进行归一化处理，得到神经元的重要度值。
假设待剪枝网络层为神经网络的第l层，待剪枝网络层包含的神经元总数为nl，神经网络的训练数据为T＝[t1,t2,...,tN]，表示在输入数据tj时(其中1≤j≤N)，第l层中第i个神经元的激活值(其中1≤i≤nl)。
通过前述步骤101a可得到待剪枝网络层中各神经元的激活值向量可如下式(1)所示：
式(1)中，为待剪枝网络层中第i个神经元的激活值向量。
前述步骤101b中，通过以下式(2)计算各神经元的激活值向量的方差：
式(2)中，为待剪枝网络层中第i个神经元的激活值向量的方差。
前述步骤101c中，得到的神经元方差重要性向量可表示为
前述步骤101d具体可通过以下式(3)对各神经元的方差进行归一化处理：
式(3)中，为待剪枝网络层中第i个神经元的激活值向量的方差，Ql为待剪枝神经网络层的神经元方差重要性向量。
本发明实施例中，当神经元的激活值向量方差很小时，表明该神经元针对不同的输入数据其激活值均不会产生明显的变化(例如神经元的激活值均为0时表明该神经元对网络的输出结果没有影响)，即激活值向量方差越小的神经元对神经网络的输出结果的影响力越小，反之，激活值向量方差越大的神经元对神经网络的输出结果的影响力越大，因此通过神经元的激活值向量方差即可反映该神经元对于神经网络的重要性。若神经元的激活值一直保持同一个非0值，则该神经元可以融合至其他神经元中。
当然，本申请用于表示神经元的重要性值不仅限于采用神经元的激活值向量方差，本领域技术人员还可以采用神经元的激活值均值、激活值标准差或激活值梯度均值等表示神经元的重要性，本申请不做严格限定。
优选地，本发明实施例中，前述步骤102具体实现可如下：针对待剪枝网络层中的每个神经元，根据所述神经元与下一个网络层中神经元的连接权重，构建所述神经元的权重向量，并将所述权重向量的方向向量确定为所述神经元的多样性值。
构建神经元的权重向量如式(4)所示：
式(4)中表示待剪枝网络层中第i个神经元的权重向量，表示待剪枝网络层中第i个神经元与其下一个网络层(即第l+1层)中第j个神经元之间的连接权重，nl+1为第l+1层包含的神经元的总数量，其中1≤j≤nl+1。
神经元的权重向量的方向向量表示为
优选地，本发明实施例中，前述步骤103具体实现可通过图3或图4所示的方法流程实现。
如图3所示，为本发明实施例中从所述待剪枝网络层中选取保留的神经元的方法流程图，该方法包括：
步骤103a、针对待剪枝网络层中的每个神经元，将所述神经元的重要度值与多样性值的乘积确定为所述神经元的特征向量；
本发明实施例中，神经元的特征向量可如下式(6)所示：
式(6)中表示待剪枝网络层中第i个神经元的特征向量。
步骤103b、从所述待剪枝网络层中的神经元中选取多组包含k个神经元的组合，所述k为预置的正整数；
优选地，为确保对尽可能多的包含k个神经元的组合进行比对，以进一步确保最终选取保留的神经元更优，本发明实施例中，在前述步骤103b中，可选取个组合，其中nl表示待剪枝网络层包含的神经元总数，kl表示确定保留的神经元数量，即前述的k。
步骤103c、计算每个组合包含的神经元的特征向量所组成的平行六面体的体积，选取体积最大的组合作为保留的神经元。
在得到神经元的特征向量之后，神经元之间的夹角θij的余弦值可以作为神经元之间相似程度的衡量值，即 越大则表明待剪枝网络层中的第i个神经元和第j个神经元越相似，例如时则表明第i个神经元和第j个神经元完全相同；反之，越小则表明第i个神经元和第j个神经元越相似差别越大，由该两个神经元构成的集合的多样性越大。基于此原理，在选取神经元时，选取重要性高且相似度越低的神经元，则选取的神经元构成的集合的多样性越大。以选取两个神经元为例，选取较大且较小的两个神经元，方便优化，可采用替代即最大化即可，而最大化即为最大化第i个神经元和第j个神经元的和两个向量构成的平行四边形的面积。基于该原理拓展到选取k个神经元上即为MAX-VOL问题，即在矩阵中寻找一个子矩阵使得该k个向量组成的平行六面体的体积最大。
如图4所示，为本发明实施例中从所述待剪枝网络层中选取保留的神经元的方法流程图，该方法包括：
步骤401、针对待剪枝网络层中的每个神经元，将所述神经元的重要度值与多样性值的乘积确定为所述神经元的特征向量；
前述步骤401的实现方式可参见前述步骤301，在此不再赘述。
步骤402、采用贪心求解方法，从所述待剪枝网络层中的神经元中选取k个神经元作为保留的神经元。
本发明实施例中，前述步骤402中，采用贪心求解方法选取神经元具体实现可如图5所示的方法流程：
步骤402a、初始化神经元集合为空集合C；
步骤402b、根据所述待剪枝网络层中的神经元的特征向量构建特征矩阵；
本发明实施例中，构建的特征矩阵如其中Bl为特征矩阵，为第l层第i个神经元的特征向量。
步骤402c、采用多轮以下选取方式选取k个神经元：
从本轮选取的特征矩阵Bl中选取模长最大的特征向量并将所述模长最大的特征向量对应的神经元添加至所述神经元集合C中；
判断所述神经元集合中的神经元数量是否达到k，若是则结束；
若否，则：从本轮选取的特征矩阵Bl中去掉所述模长最大的特征向量在其他特征向量中的投影，得到下一轮选取的特征矩阵Bl，并进行下一轮选取。
本发明技术方案，神经元的重要性值反映神经元对神经网络输出结果的影响程度，神经元的多样性反映神经元的表达能力，因此，采用体积最大神经元选取策略选取出的神经元对神经网络的输出结果的贡献作用和表达能力较强，剪掉的神经元为对神经网络输出结果贡献较弱且表达能力较差的神经元，因此，剪枝后的神经网络与剪枝前的神经网络相比，不仅得到了很好的压缩和加速效果，而且与剪枝前相比其精度损失较小，因此，本发明实施例提供的剪枝方法能够在确保神经网络精度的同时取得了较好的压缩和加速效果。
优选地，对待剪枝网络层进行剪枝后会损失网络精度，因此，为提高剪枝后的神经网络的精度，本发明实施例在对待剪枝网络层进行剪枝之后，采用权重融合策略对该剪枝网络层中神经元与下一个网络层的神经元之间的连接权重进行调整。另外，由于进行权重融合后可能会导致剪枝网络层的下一层网络得到的激活值与剪枝前不相同，会存在一定的误差，剪枝网络层位于神经网络的浅层时，该误差由于后续网络层的操作会产生误差累积，因此，为进一步提高神经网络的精度，本发明实施例还对剪枝网络层之后的所有网络层均调整该网络层与其下一个网络层的神经元的连接权重。
因此，在前述图1所示的步骤104之后，还包括步骤105，如图6所示：
步骤105、以剪枝网络层开始，采用权重融合策略，对各网络层的神经元与其下一个网络层的神经元之间的连接权重进行调整。
本发明实施例中，采用权重融合策略对各网络层的神经元与其下一个网络层的神经元之间的连接权进行调整，具体实现可如下。
1)针对剪枝网络层，采用以下公式(7)得到剪枝网络层(即第l层)与其下一个网络层(即第l+1层)中的连接权重。
式(7)中，为第l层第i个神经元与第l+1层中第j个神经元之间调整后的连接权重，为融合增量，为第l层第i个神经元与第l+1层中第j个神经元之间调整前的连接权重。
通过求解以下式子得到
求解结果为：
其中，air l为的最小二乘解。
2)针对剪枝网络层之后的网络层，采用以下公式(8)调整网络层的神经元与其下一个网络层的神经元之间的连接权重：
其中，k＞l式(8)
式(8)中，为第k层第i个神经元与第k+1层中第j个神经元之间调整后的连接权重，为融合增量，为第k层第i个神经元与第k+1层中第j个神经元之间调整前的连接权重。
通过求解以下式子得到
以上式子中，为第k层第i个神经元调整后的激活值向量；为第k层第i个神经元调整前的激活值向量。
可通过最小二乘法求解得到，原理同前述内容，在此不再赘述。
优选地，为进一步提高剪枝后的神经网络的精度，本发明实施例还可以在前述图6所示的方法流程中包含步骤106，如图7所示：
步骤106、采用预置的训练数据对权重调整后的神经网络进行训练。
本发明实施例中，对权重调整后的神经网络进行训练，可采用现有技术的训练方式，在此不再赘述。本发明实施例中，可以权重调整后的神经网络为初始网络模型，设定较低的学习率在原始训练数据T上进行重新训练，即可进一步提高剪枝后的神经网络的网络精度。
本发明实施例中，每对神经网络中的某一待剪枝网络层进行剪枝后，即进行前述步骤105和步骤106；再以步骤106训练后的神经网络进行下一个待剪枝网络层的剪枝操作。
基于前述方法相同的构思，本发明实施例还提供一种神经网络剪枝装置，该装置的结构如图8所示，该装置包括：
重要度值确定单元81，用于根据待剪枝网络层中神经元的激活值，确定神经元的重要度值；
多样性值确定单元82，用于根据所述待剪枝网络层中神经元与下一个网络层中神经元的连接权重，确定神经元的多样性值；
神经元选取单元83，用于根据所述待剪枝网络层中的神经元的重要度值和多样性值，采用体积最大化神经元选取策略从所述待剪枝网络层中选取保留的神经元；
剪枝单元84，用于将所述待剪枝网络层中的其他神经元剪掉，得到剪枝网络层。
优选地，重要度值确定单元81的结构如图9所示，包括：
激活值向量确定模块811，用于通过神经网络对输入数据进行一次前向操作，得到该待剪枝网络层中每个神经元的激活值向量；
计算模块812，用于计算各神经元的激活值向量的方差；
神经元方差重要性向量确定模块813，用于根据各神经元的方差得到所述待剪枝网络层的神经元方差重要性向量；
重要度值确定模块814，用于根据所述神经元方差重要性向量，分别对各神经元的方差进行归一化处理，得到神经元的重要度值。
优选地，所述多样性值确定单元82，具体用于：针对待剪枝网络层中的每个神经元，根据所述神经元与下一个网络层中神经元的连接权重，构建所述神经元的权重向量，并将所述权重向量的方向向量确定为所述神经元的多样性值。
优选地，神经元选取单元83的结构如图10所示，包括：
第一特征向量确定模块831，用于针对待剪枝网络层中的每个神经元，将所述神经元的重要度值与多样性值的乘积确定为所述神经元的特征向量；
组合模块832，用于从所述待剪枝网络层中的神经元中选取多组包含k个神经元的组合，所述k为预置的正整数；
第一选取模块833，用于计算每个组合包含的神经元的特征向量所组成的平行六面体的体积，选取体积最大的组合作为保留的神经元。
优选地，前述神经元选取单元83的另一种结构如图11所示，包括：
第二特征向量确定模块834，用于针对待剪枝网络层中的每个神经元，将所述神经元的重要度值与多样性值的乘积确定为所述神经元的特征向量；
第二选取模块835，用于采用贪心求解方法，从所述待剪枝网络层中的神经元中选取k个神经元作为保留的神经元。
优选地，本发明实施例中，图8～11所示的装置还可以包括权重调整单元85，如图12所示为在图8所示的装置中包括权重调整单元85：
权重调整单元85，用于以剪枝网络层开始，采用权重融合策略，对各网络层的神经元与其下一个网络层的神经元之间的连接权重进行调整。
优选地，本发明实施例中，还可进一步在图11所示的装置中包括训练单元86，如图13所示：
训练单元86，用于采用预置的训练数据对权重调整后的神经网络进行训练。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (16)

1.一种神经网络剪枝方法，其特征在于，所述方法包括：
根据待剪枝网络层中神经元的激活值，确定神经元的重要度值；
根据所述待剪枝网络层中神经元与下一个网络层中神经元的连接权重，确定神经元的多样性值；
根据所述待剪枝网络层中的神经元的重要度值和多样性值，采用体积最大化神经元选取策略从所述待剪枝网络层中选取保留的神经元；
将所述待剪枝网络层中的其他神经元剪掉，得到剪枝网络层。
2.根据权利要求1所述的方法，其特征在于，所述根据待剪枝网络层中神经元的激活值，确定神经元的重要度值，包括：
通过神经网络对输入数据进行一次前向操作，得到该待剪枝网络层中每个神经元的激活值向量；
计算各神经元的激活值向量的方差；
根据各神经元的方差得到所述待剪枝网络层的神经元方差重要性向量；
根据所述神经元方差重要性向量，分别对各神经元的方差进行归一化处理，得到神经元的重要度值。
3.根据权利要求2所述的方法，其特征在于，采用以下公式对各神经元的方差进行归一化处理：
其中
式中，qi为待剪枝网络层中第i个神经元的激活值向量的方差，Q为待剪枝网络层的神经元方差重要性向量。
4.根据权利要求1所述的方法，其特征在于，根据所述待剪枝网络层中神经元与下一个网络层中神经元的连接权重，确定神经元的多样性值，包括：
针对待剪枝网络层中的每个神经元，根据所述神经元与下一个网络层中神经元的连接权重，构建所述神经元的权重向量，并将所述权重向量的方向向量确定为所述神经元的多样性值。
5.根据权利要求1所述的方法，其特征在于，所述根据所述待剪枝网络层中的神经元的重要度值和多样性值，采用体积最大化神经元选取策略从所述待剪枝网络层中选取保留的神经元，包括：
针对待剪枝网络层中的每个神经元，将所述神经元的重要度值与多样性值的乘积确定为所述神经元的特征向量；
从所述待剪枝网络层中的神经元中选取多组包含k个神经元的组合，所述k为预置的正整数；
计算每个组合包含的神经元的特征向量所组成的平行六面体的体积，选取体积最大的组合作为保留的神经元。
6.根据权利要求1所述的方法，其特征在于，所述根据所述待剪枝网络层中的神经元的重要度值和多样性值，采用体积最大化神经元选取策略从所述待剪枝网络层中选取保留的神经元，包括：
针对待剪枝网络层中的每个神经元，将所述神经元的重要度值与多样性值的乘积确定为所述神经元的特征向量；
采用贪心求解方法，从所述待剪枝网络层中的神经元中选取k个神经元作为保留的神经元。
7.根据权利要求6所述的方法，其特征在于，采用贪心求解方法，从所述待剪枝网络层中的神经元中选取k个神经元作为保留的神经元，包括：
初始化神经元集合为空集合；
根据所述待剪枝网络层中的神经元的特征向量构建特征矩阵；
采用多轮以下选取方式选取k个神经元：
从本轮选取的特征矩阵中选取模长最大的特征向量，并将所述模长最大的特征向量对应的神经元添加至所述神经元集合中；
判断所述神经元集合中的神经元数量是否达到k，若是则结束；
若否，则：从本轮选取的特征矩阵中去掉所述模长最大的特征向量在其他特征向量中的投影，得到下一轮选取的特征矩阵，并进行下一轮选取。
8.根据权利要求1～7任一项所述的方法，其特征在于，得到剪枝网络层之后，所述方法还包括：
以剪枝网络层开始，采用权重融合策略，对各网络层的神经元与其下一个网络层的神经元之间的连接权重进行调整。
9.根据权利要求8所述的方法，其特征在于，所述方法还包括：采用预置的训练数据对权重调整后的神经网络进行训练。
10.一种神经网络剪枝装置，其特征在于，所述装置包括：
重要度值确定单元，用于根据待剪枝网络层中神经元的激活值，确定神经元的重要度值；
多样性值确定单元，用于根据所述待剪枝网络层中神经元与下一个网络层中神经元的连接权重，确定神经元的多样性值；
神经元选取单元，用于根据所述待剪枝网络层中的神经元的重要度值和多样性值，采用体积最大化神经元选取策略从所述待剪枝网络层中选取保留的神经元；
剪枝单元，用于将所述待剪枝网络层中的其他神经元剪掉，得到剪枝网络层。
11.根据权利要求10所述的装置，其特征在于，所述重要度值确定单元，包括：
激活值向量确定模块，用于通过神经网络对输入数据进行一次前向操作，得到该待剪枝网络层中每个神经元的激活值向量；
计算模块，用于计算各神经元的激活值向量的方差；
神经元方差重要性向量确定模块，用于根据各神经元的方差得到所述待剪枝网络层的神经元方差重要性向量；
重要度值确定模块，用于根据所述神经元方差重要性向量，分别对各神经元的方差进行归一化处理，得到神经元的重要度值。
12.根据权利要求10所述的装置，特征在于，多样性值确定单元，具体用于：
针对待剪枝网络层中的每个神经元，根据所述神经元与下一个网络层中神经元的连接权重，构建所述神经元的权重向量，并将所述权重向量的方向向量确定为所述神经元的多样性值。
13.根据权利要求10所述的装置，其特征在于，神经元选取单元，包括：
第一特征向量确定模块，用于针对待剪枝网络层中的每个神经元，将所述神经元的重要度值与多样性值的乘积确定为所述神经元的特征向量；
组合模块，用于从所述待剪枝网络层中的神经元中选取多组包含k个神经元的组合，所述k为预置的正整数；
第一选取模块，用于计算每个组合包含的神经元的特征向量所组成的平行六面体的体积，选取体积最大的组合作为保留的神经元。
14.根据权利要求10所述的装置，其特征在于，所述神经元选取单元，包括：
第二特征向量确定模块，用于针对待剪枝网络层中的每个神经元，将所述神经元的重要度值与多样性值的乘积确定为所述神经元的特征向量；
第二选取模块，用于采用贪心求解方法，从所述待剪枝网络层中的神经元中选取k个神经元作为保留的神经元。
15.根据权利要求10～14任一项所述的装置，其特征在于，所述装置，还包括：
权重调整单元，用于以剪枝网络层开始，采用权重融合策略，对各网络层的神经元与其下一个网络层的神经元之间的连接权重进行调整。
16.根据权利要求15所述的装置，其特征在于，所述装置，还包括：
训练单元，用于采用预置的训练数据对权重调整后的神经网络进行训练。
CN201611026107.9A 2016-11-17 2016-11-17 一种神经网络剪枝方法及装置 Pending CN106548234A (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201611026107.9A CN106548234A (zh) 2016-11-17 2016-11-17 一种神经网络剪枝方法及装置
CN202010483570.6A CN111860826A (zh) 2016-11-17 2016-11-17 一种低计算能力处理设备的图像数据处理方法及装置
PCT/CN2017/102029 WO2018090706A1 (zh) 2016-11-17 2017-09-18 一种神经网络剪枝方法及装置
US16/416,142 US20190279089A1 (en) 2016-11-17 2019-05-17 Method and apparatus for neural network pruning

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611026107.9A CN106548234A (zh) 2016-11-17 2016-11-17 一种神经网络剪枝方法及装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202010483570.6A Division CN111860826A (zh) 2016-11-17 2016-11-17 一种低计算能力处理设备的图像数据处理方法及装置

Publications (1)

Publication Number Publication Date
CN106548234A true CN106548234A (zh) 2017-03-29

Family

ID=58395187

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201611026107.9A Pending CN106548234A (zh) 2016-11-17 2016-11-17 一种神经网络剪枝方法及装置
CN202010483570.6A Pending CN111860826A (zh) 2016-11-17 2016-11-17 一种低计算能力处理设备的图像数据处理方法及装置

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202010483570.6A Pending CN111860826A (zh) 2016-11-17 2016-11-17 一种低计算能力处理设备的图像数据处理方法及装置

Country Status (3)

Country Link
US (1) US20190279089A1 (zh)
CN (2) CN106548234A (zh)
WO (1) WO2018090706A1 (zh)

Cited By (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107688850A (zh) * 2017-08-08 2018-02-13 北京深鉴科技有限公司 一种深度神经网络压缩方法
CN107862380A (zh) * 2017-10-19 2018-03-30 珠海格力电器股份有限公司 人工神经网络运算电路
CN107944555A (zh) * 2017-12-07 2018-04-20 广州华多网络科技有限公司 神经网络压缩和加速的方法、存储设备和终端
CN107967516A (zh) * 2017-10-12 2018-04-27 中科视拓（北京）科技有限公司 一种基于迹范数约束的神经网络的加速与压缩方法
WO2018090706A1 (zh) * 2016-11-17 2018-05-24 北京图森未来科技有限公司 一种神经网络剪枝方法及装置
CN108229533A (zh) * 2017-11-22 2018-06-29 深圳市商汤科技有限公司 图像处理方法、模型剪枝方法、装置及设备
CN108334934A (zh) * 2017-06-07 2018-07-27 北京深鉴智能科技有限公司 基于剪枝和蒸馏的卷积神经网络压缩方法
CN108764471A (zh) * 2018-05-17 2018-11-06 西安电子科技大学 基于特征冗余分析的神经网络跨层剪枝方法
CN108898168A (zh) * 2018-06-19 2018-11-27 清华大学 用于目标检测的卷积神经网络模型的压缩方法和系统
WO2018214913A1 (zh) * 2017-05-23 2018-11-29 上海寒武纪信息科技有限公司 处理方法及加速装置
WO2018227801A1 (zh) * 2017-06-15 2018-12-20 北京图森未来科技有限公司 一种构建神经网络的方法及装置
CN109063835A (zh) * 2018-07-11 2018-12-21 中国科学技术大学 神经网络的压缩装置及方法
CN109086866A (zh) * 2018-07-02 2018-12-25 重庆大学 一种适用于嵌入式设备的部分二值卷积方法
CN109102074A (zh) * 2017-06-21 2018-12-28 上海寒武纪信息科技有限公司 一种训练装置
CN109615858A (zh) * 2018-12-21 2019-04-12 深圳信路通智能技术有限公司 一种基于深度学习的智能停车行为判断方法
WO2019091401A1 (zh) * 2017-11-08 2019-05-16 杭州海康威视数字技术股份有限公司 深度神经网络的网络模型压缩方法、装置及计算机设备
WO2019125874A1 (en) * 2017-12-22 2019-06-27 Microsoft Technology Licensing, Llc Neural entropy enhanced machine learning
CN110175673A (zh) * 2017-05-23 2019-08-27 上海寒武纪信息科技有限公司 处理方法及加速装置
CN110222842A (zh) * 2019-06-21 2019-09-10 数坤（北京）网络科技有限公司 一种网络模型训练方法、装置及存储介质
CN110232436A (zh) * 2019-05-08 2019-09-13 华为技术有限公司 卷积神经网络的修剪方法、装置及存储介质
CN110472736A (zh) * 2019-08-26 2019-11-19 联想(北京)有限公司 一种裁剪神经网络模型的方法和电子设备
CN111079930A (zh) * 2019-12-23 2020-04-28 深圳市商汤科技有限公司 数据集质量参数的确定方法、装置及电子设备
CN111079691A (zh) * 2019-12-27 2020-04-28 中国科学院重庆绿色智能技术研究院 一种基于双流网络的剪枝方法
CN111523710A (zh) * 2020-04-10 2020-08-11 三峡大学 基于pso-lssvm在线学习的电力设备温度预测方法
CN111553477A (zh) * 2020-04-30 2020-08-18 深圳市商汤科技有限公司 图像处理方法、装置及存储介质
CN111582471A (zh) * 2020-04-17 2020-08-25 中科物栖（北京）科技有限责任公司 一种神经网络模型压缩方法及装置
CN112036564A (zh) * 2020-08-28 2020-12-04 腾讯科技（深圳）有限公司 神经网络的剪枝方法、装置、设备及存储介质
CN113366509A (zh) * 2019-01-31 2021-09-07 日立安斯泰莫株式会社 运算装置
CN113392953A (zh) * 2020-03-12 2021-09-14 澜起科技股份有限公司 用于对神经网络中卷积层进行剪枝的方法和装置
CN114358254A (zh) * 2022-01-05 2022-04-15 腾讯科技（深圳）有限公司 模型处理方法以及相关产品

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11195094B2 (en) * 2017-01-17 2021-12-07 Fujitsu Limited Neural network connection reduction
US20180293486A1 (en) * 2017-04-07 2018-10-11 Tenstorrent Inc. Conditional graph execution based on prior simplified graph execution
CN108052862B (zh) * 2017-11-09 2019-12-06 北京达佳互联信息技术有限公司 年龄预估方法和装置
US11544551B2 (en) * 2018-09-28 2023-01-03 Wipro Limited Method and system for improving performance of an artificial neural network
US11816574B2 (en) 2019-10-25 2023-11-14 Alibaba Group Holding Limited Structured pruning for machine learning model
WO2022068314A1 (zh) * 2020-09-29 2022-04-07 华为技术有限公司 神经网络训练的方法、神经网络的压缩方法以及相关设备
JP7502972B2 (ja) 2020-11-17 2024-06-19 株式会社日立ソリューションズ・テクノロジー プルーニング管理装置、プルーニング管理システム及びプルーニング管理方法
KR20220071713A (ko) 2020-11-24 2022-05-31 삼성전자주식회사 뉴럴 네트워크 가중치 압축 방법 및 장치
CN117581234A (zh) * 2021-05-07 2024-02-20 Hrl实验室有限责任公司 神经形态存储器电路和人工神经网络的神经发生的方法
CN113657595B (zh) * 2021-08-20 2024-03-12 中国科学院计算技术研究所 基于神经网络实时剪枝的神经网络加速器
CN113806754A (zh) * 2021-11-17 2021-12-17 支付宝(杭州)信息技术有限公司 一种后门防御方法和系统
WO2024098375A1 (en) * 2022-11-11 2024-05-16 Nvidia Corporation Techniques for pruning neural networks
CN116684480B (zh) * 2023-07-28 2023-10-31 支付宝(杭州)信息技术有限公司 信息推送模型的确定及信息推送的方法及装置

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6404923B1 (en) * 1996-03-29 2002-06-11 Microsoft Corporation Table-based low-level image classification and compression system
US5734797A (en) * 1996-08-23 1998-03-31 The United States Of America As Represented By The Secretary Of The Navy System and method for determining class discrimination features
EP1378855B1 (en) * 2002-07-05 2007-10-17 Honda Research Institute Europe GmbH Exploiting ensemble diversity for automatic feature extraction
JP4546157B2 (ja) * 2004-06-03 2010-09-15 キヤノン株式会社 情報処理方法、情報処理装置、撮像装置
WO2007147166A2 (en) * 2006-06-16 2007-12-21 Quantum Leap Research, Inc. Consilence of data-mining
US7882052B2 (en) * 2006-09-11 2011-02-01 Eors Szathmary Evolutionary neural network and method of generating an evolutionary neural network
CN101968832B (zh) * 2010-10-26 2012-12-19 东南大学 基于构造－剪枝混合优化rbf网络的煤灰熔点预测方法
CN102708404B (zh) * 2012-02-23 2016-08-03 北京市计算中心 一种基于机器学习的多核下mpi最优运行时的参数预测方法
CN102799627B (zh) * 2012-06-26 2014-10-22 哈尔滨工程大学 一种基于一阶逻辑和神经网络的数据对应方法
CN105160396B (zh) * 2015-07-06 2018-04-24 东南大学 一种利用现场数据建立神经网络模型的方法
CN105389599A (zh) * 2015-10-12 2016-03-09 上海电机学院 基于神经模糊网络的特征选择方法
CN107506828B (zh) * 2016-01-20 2020-11-03 中科寒武纪科技股份有限公司 用于稀疏连接的人工神经网络计算装置和方法
CN105740906B (zh) * 2016-01-29 2019-04-02 中国科学院重庆绿色智能技术研究院 一种基于深度学习的车辆多属性联合分析方法
CN105975984B (zh) * 2016-04-29 2018-05-15 吉林大学 基于证据理论的网络质量评价方法
CN106548234A (zh) * 2016-11-17 2017-03-29 北京图森互联科技有限责任公司 一种神经网络剪枝方法及装置

Cited By (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018090706A1 (zh) * 2016-11-17 2018-05-24 北京图森未来科技有限公司 一种神经网络剪枝方法及装置
US11710041B2 (en) 2017-05-23 2023-07-25 Shanghai Cambricon Information Technology Co., Ltd Feature map and weight selection method and accelerating device
CN110175673A (zh) * 2017-05-23 2019-08-27 上海寒武纪信息科技有限公司 处理方法及加速装置
US20200104693A1 (en) * 2017-05-23 2020-04-02 Shanghai Cambricon Information Technology Co., Ltd. Processing method and accelerating device
US11907844B2 (en) * 2017-05-23 2024-02-20 Shanghai Cambricon Information Technology Co., Ltd Processing method and accelerating device
US11727276B2 (en) 2017-05-23 2023-08-15 Shanghai Cambricon Information Technology Co., Ltd Processing method and accelerating device
CN110175673B (zh) * 2017-05-23 2021-02-09 上海寒武纪信息科技有限公司 处理方法及加速装置
WO2018214913A1 (zh) * 2017-05-23 2018-11-29 上海寒武纪信息科技有限公司 处理方法及加速装置
CN108334934A (zh) * 2017-06-07 2018-07-27 北京深鉴智能科技有限公司 基于剪枝和蒸馏的卷积神经网络压缩方法
WO2018227801A1 (zh) * 2017-06-15 2018-12-20 北京图森未来科技有限公司 一种构建神经网络的方法及装置
CN111178520B (zh) * 2017-06-15 2024-06-07 北京图森智途科技有限公司 一种构建神经网络的方法及装置
CN111178520A (zh) * 2017-06-15 2020-05-19 北京图森智途科技有限公司 一种低计算能力处理设备的数据处理方法及装置
CN109102074A (zh) * 2017-06-21 2018-12-28 上海寒武纪信息科技有限公司 一种训练装置
CN107688850A (zh) * 2017-08-08 2018-02-13 北京深鉴科技有限公司 一种深度神经网络压缩方法
CN107967516A (zh) * 2017-10-12 2018-04-27 中科视拓（北京）科技有限公司 一种基于迹范数约束的神经网络的加速与压缩方法
CN107862380A (zh) * 2017-10-19 2018-03-30 珠海格力电器股份有限公司 人工神经网络运算电路
WO2019091401A1 (zh) * 2017-11-08 2019-05-16 杭州海康威视数字技术股份有限公司 深度神经网络的网络模型压缩方法、装置及计算机设备
CN108229533A (zh) * 2017-11-22 2018-06-29 深圳市商汤科技有限公司 图像处理方法、模型剪枝方法、装置及设备
CN107944555B (zh) * 2017-12-07 2021-09-17 广州方硅信息技术有限公司 神经网络压缩和加速的方法、存储设备和终端
CN107944555A (zh) * 2017-12-07 2018-04-20 广州华多网络科技有限公司 神经网络压缩和加速的方法、存储设备和终端
WO2019125874A1 (en) * 2017-12-22 2019-06-27 Microsoft Technology Licensing, Llc Neural entropy enhanced machine learning
EP3729338A1 (en) * 2017-12-22 2020-10-28 Microsoft Technology Licensing LLC Neural entropy enhanced machine learning
CN108764471A (zh) * 2018-05-17 2018-11-06 西安电子科技大学 基于特征冗余分析的神经网络跨层剪枝方法
CN108764471B (zh) * 2018-05-17 2020-04-14 西安电子科技大学 基于特征冗余分析的神经网络跨层剪枝方法
CN108898168A (zh) * 2018-06-19 2018-11-27 清华大学 用于目标检测的卷积神经网络模型的压缩方法和系统
CN109086866B (zh) * 2018-07-02 2021-07-30 重庆大学 一种适用于嵌入式设备的部分二值卷积方法
CN109086866A (zh) * 2018-07-02 2018-12-25 重庆大学 一种适用于嵌入式设备的部分二值卷积方法
CN109063835A (zh) * 2018-07-11 2018-12-21 中国科学技术大学 神经网络的压缩装置及方法
CN109063835B (zh) * 2018-07-11 2021-07-09 中国科学技术大学 神经网络的压缩装置及方法
CN109615858A (zh) * 2018-12-21 2019-04-12 深圳信路通智能技术有限公司 一种基于深度学习的智能停车行为判断方法
CN113366509A (zh) * 2019-01-31 2021-09-07 日立安斯泰莫株式会社 运算装置
CN110232436A (zh) * 2019-05-08 2019-09-13 华为技术有限公司 卷积神经网络的修剪方法、装置及存储介质
CN110222842A (zh) * 2019-06-21 2019-09-10 数坤（北京）网络科技有限公司 一种网络模型训练方法、装置及存储介质
CN110472736B (zh) * 2019-08-26 2022-04-22 联想(北京)有限公司 一种裁剪神经网络模型的方法和电子设备
CN110472736A (zh) * 2019-08-26 2019-11-19 联想(北京)有限公司 一种裁剪神经网络模型的方法和电子设备
CN111079930A (zh) * 2019-12-23 2020-04-28 深圳市商汤科技有限公司 数据集质量参数的确定方法、装置及电子设备
CN111079930B (zh) * 2019-12-23 2023-12-19 深圳市商汤科技有限公司 数据集质量参数的确定方法、装置及电子设备
CN111079691A (zh) * 2019-12-27 2020-04-28 中国科学院重庆绿色智能技术研究院 一种基于双流网络的剪枝方法
CN113392953A (zh) * 2020-03-12 2021-09-14 澜起科技股份有限公司 用于对神经网络中卷积层进行剪枝的方法和装置
CN111523710A (zh) * 2020-04-10 2020-08-11 三峡大学 基于pso-lssvm在线学习的电力设备温度预测方法
CN111582471A (zh) * 2020-04-17 2020-08-25 中科物栖（北京）科技有限责任公司 一种神经网络模型压缩方法及装置
CN111553477A (zh) * 2020-04-30 2020-08-18 深圳市商汤科技有限公司 图像处理方法、装置及存储介质
CN112036564A (zh) * 2020-08-28 2020-12-04 腾讯科技（深圳）有限公司 神经网络的剪枝方法、装置、设备及存储介质
CN112036564B (zh) * 2020-08-28 2024-01-09 腾讯科技（深圳）有限公司 图片识别方法、装置、设备及存储介质
CN114358254A (zh) * 2022-01-05 2022-04-15 腾讯科技（深圳）有限公司 模型处理方法以及相关产品

Also Published As

Publication number Publication date
CN111860826A (zh) 2020-10-30
US20190279089A1 (en) 2019-09-12
WO2018090706A1 (zh) 2018-05-24

Similar Documents

Publication Publication Date Title
CN106548234A (zh) 一种神经网络剪枝方法及装置
Malach et al. Proving the lottery ticket hypothesis: Pruning is all you need
CN108229555B (zh) 样本权重分配方法、模型训练方法、电子设备及存储介质
CN111242282B (zh) 基于端边云协同的深度学习模型训练加速方法
CN110427799B (zh) 基于生成对抗网络的人手深度图像数据增强方法
CN107316079A (zh) 终端卷积神经网络的处理方法、装置、存储介质及处理器
CN108171663A (zh) 基于特征图最近邻替换的卷积神经网络的图像填充系统
CN107562805A (zh) 一种以图搜图的方法及装置
CN108197669B (zh) 卷积神经网络的特征训练方法及装置
CN107783840A (zh) 一种分布式多层深度学习资源分配方法和装置
CN109492761A (zh) 实现神经网络的fpga加速装置、方法和系统
CN109582030A (zh) 一种调整无人机姿态控制中待整定参数方法及相关装置
CN117236421A (zh) 一种基于联邦知识蒸馏的大模型训练方法
CN113890795B (zh) 大规模mimo信道估计模型的构建方法、装置及介质
CN114936595A (zh) 一种联邦学习中的模型微调和头部聚合方法
CN106529679A (zh) 一种机器学习方法及系统
CN106679670A (zh) 一种基于融合赋权的无人飞行器航迹规划决策方法
DE102022106961A1 (de) Verbesserung einer Kanalschätzung in einer drahtlosen Kommunikation basierend auf überwachtem Lernen
KR20230002041A (ko) 이미지 처리를 위한 인공 신경망 모델 학습 방법 및 시스템
KR102393761B1 (ko) 이미지 처리를 위한 인공 신경망 모델 학습 방법 및 시스템
CN111669563B (zh) 一种基于强化学习的立体图像视觉舒适度增强方法
CN115085805B (zh) 一种基于对抗蒸馏模型的光纤光性能监测方法及系统
Boin et al. AVDDPG: Federated reinforcement learning applied to autonomous platoon control
CN116776729A (zh) 一种导弹剩余飞行时间估计方法、系统、设备及存储介质
CN110349210B (zh) 高压输电线缠绕异物的跟踪预测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20170522

Address after: 101300, No. two, 1 road, Shunyi Park, Zhongguancun science and Technology Park, Beijing, Shunyi District

Applicant after: Beijing Tucson Future Technology Co., Ltd.

Address before: 100020 Guanghua Road, Beijing, Chaoyang District, No. 9, world trade building, floor 6

Applicant before: Beijing Tucson Interconnect Technology Co., Ltd.

SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20200402

Address after: 101300, No. two, 1 road, Shunyi Park, Zhongguancun science and Technology Park, Beijing, Shunyi District

Applicant after: BEIJING TUSENZHITU TECHNOLOGY Co.,Ltd.

Address before: 101300, No. two, 1 road, Shunyi Park, Zhongguancun science and Technology Park, Beijing, Shunyi District

Applicant before: TuSimple

RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20170329