CN113379034B - 一种基于网络结构搜索技术的神经网络结构优化方法 - Google Patents

一种基于网络结构搜索技术的神经网络结构优化方法 Download PDF

Info

Publication number
CN113379034B
CN113379034B CN202110661438.4A CN202110661438A CN113379034B CN 113379034 B CN113379034 B CN 113379034B CN 202110661438 A CN202110661438 A CN 202110661438A CN 113379034 B CN113379034 B CN 113379034B
Authority
CN
China
Prior art keywords
neural network
network structure
training
initial
search
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110661438.4A
Other languages
English (en)
Other versions
CN113379034A (zh
Inventor
王中风
赵世泽
何鎏璐
谢逍如
林军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University
Original Assignee
Nanjing University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University filed Critical Nanjing University
Priority to CN202110661438.4A priority Critical patent/CN113379034B/zh
Publication of CN113379034A publication Critical patent/CN113379034A/zh
Application granted granted Critical
Publication of CN113379034B publication Critical patent/CN113379034B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Neurology (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本申请公开了一种基于网络结构搜索技术的神经网络结构优化方法，包括以下步骤：获取训练样本，将所述训练样本输入初始神经网络，通过搜索算法根据所述训练样本，在所述初始神经网络上依次生成具有不同搜索状态的分支神经网络结构，得到若干个待优化神经网络结构，所述搜索状态包括插入分支的节点位置和对应节点位置的插入深度，对待优化神经网络结构进行优化，得到最优神经网络结构。通过搜索算法自动在初始神经网络结构上构建分支神经网络结构，对其进行优化后，得到最优神经网络分支结构，解决了现有神经网络构建过程中，通过动态计算的模型压缩算法对模型进行压缩，耗费大量人力物力，同时还存在神经网络陷入局部最优，严重影响效率的问题。

Description

一种基于网络结构搜索技术的神经网络结构优化方法
技术领域
本发明涉及神经网络技术领域，特别涉及一种基于网络结构搜索技术的神经网络结构优化方法。
背景技术
近年来深度学习在图像识别、目标检测、语义分割等多个领域都取得了不小的成就，通过训练神经网络，可以实现对样本的特征提取和识别。目前广泛应用的神经网络是通过不断的加深网络的深度来提高模型的精度，但这种方法一方面会极大的增加模型的消耗，占用更多的资源，另一方面也会降低处理样本的速度。神经网络在计算过程中存在着大量的冗余，因此利用这些冗余目前提出了动态计算的模型压缩算法，来对模型进行压缩，一方面降低模型的内存和算力消耗，另一方面加快模型处理样本的速度。根据输入样本的复杂度来自适应的调整神经网络的结构，合理分配计算资源达到减少计算冗余的目的，目前有越来越多的神经网络开始使用动态计算架构。
但现有通过动态计算的模型压缩算法对模型进行压缩，构建神经网络需要耗费大量的人力物力，同时还存在神经网络陷入局部最优的问题，严重影响效率。
发明内容
本申请提供了一种基于网络结构搜索技术的神经网络结构优化方法，以解决在现有神经网络构建过程中，通过动态计算的模型压缩算法对模型进行压缩，需要耗费大量的人力物力，同时还存在神经网络陷入局部最优，严重影响效率的问题。
本申请一种基于网络结构搜索技术的神经网络结构优化方法，其特征在于，所述方法包括以下步骤：
获取训练样本；
将所述训练样本输入初始神经网络；
通过搜索算法根据所述训练样本，在所述初始神经网络上依次生成具有不同搜索状态的分支神经网络结构，得到若干个待优化神经网络结构，所述搜索状态包括插入分支的节点位置以及对应节点位置的插入深度；
对所述待优化神经网络结构进行优化，得到最优神经网络结构。
所述通过搜索算法根据所述训练样本，在所述初始神经网络上依次自动生成具有不同搜索状态的分支神经网络结构，得到若干个待优化神经网络结构，所述搜索状态包括插入分支的节点位置以及对应节点位置的插入深度，具体包括以下步骤：
在所述初始神经网络上确定插入分支的节点位置；
在所述节点位置确定插入深度；
根据所述节点位置和插入深度连接相应的备选模块，所述备选模块用于叠堆形成所述神经网络的分支神经网络结构；
重复上述步骤，得到若干个具有不同搜索状态的待优化神经网络结构。
所述备选模块的结构特征与所述初始神经网络的结构特征一致。
还包括以下步骤：对所述备选模块的输入维度和输出维度进行调整。
所述分支神经网络结构的长度小于初始神经网络结构长度。
所述对所述分支神经网络结构进行优化，得到优化网络结构，包括以下步骤：
对所述训练样本通过和若干个待优化神经网络结构进行训练，得到若干个训练结果；
计算所述训练结果的计算量；
将训练样本输入初始神经网络训练，得到初始神经网络训练结果；
计算初始神经网络训练结果的计算量；
将所述训练结果的计算量与初始神经网络训练结果的计算量进行比较；
若所述训练结果的计算量小于初始神经网络训练结果的计算量，通过当前训练结果对应的待优化神经网络结构对初始神经网络结构进行替换；
重复上述步骤，直到对所述待优化神经网络结构进行比较，得到最优神经网络结构。
由以上技术方案可知，本申请提供了了一种基于网络结构搜索技术的神经网络结构优化方法，通过搜索算法在初始神经网络结构上构建分支神经网络结构，对其进行优化后，得到最优神经网络分支结构，解决了在现有神经网络构建过程中，通过动态计算的模型压缩算法对模型进行压缩，需要耗费大量的人力物力，同时还存在神经网络陷入局部最优，严重影响效率的问题。
附图说明
为了更清楚地说明本申请的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本申请提供的一种基于网络结构搜索技术的神经网络结构优化方法的流程图；
图2为本申请提供的最优神经网络结构示意图；
图3为本申请提供的一种基于网络结构搜索技术的神经网络结构优化方法在一种实施例下的流程图；
图4为本申请提供的一种基于网络结构搜索技术的神经网络结构优化方法在另一种实施例下的流程图；
图5为本申请提供的搜索算法的代码示意图。
具体实施方式
参见图1，本申请提供了一种基于网络结构搜索技术的神经网络结构优化方法，所述方法包括以下步骤：
S100：获取训练样本；
S200：将所述训练样本输入初始神经网络；
S300：通过搜索算法根据所述训练样本，在所述初始神经网络上依次自动生成具有不同搜索状态的分支神经网络结构，得到若干个待优化神经网络结构，所述搜索状态包括插入分支的节点位置以及对应节点位置的插入深度；
首先在主干网络上探索合适的分支插入点和分支网络深度，这个过程的主要目的是确定整个网络的拓扑结构。一旦拓扑结构确定，就可以大致确定分支网络的计算量。在这个过程中，指定与主干网络结构最相似的模块作为备选模块，这些备选模块可以组成不同长度的分支网络结构，但分支网络结构的长度不会超过主干网络的总长。更为具体的是，在本申请一实施例中，需要退出的训练样本经过退出点处的分支神经网络结构，即可得到对应的输出。
更为具体的是，所述具有不同搜索状态的神经网络结构的状态距离均等于2，所述状态距离为两个搜索状态中的分支深度差值和插入位置深度的差值的绝对值之和。通过对神经网络结构的状态距离进行有效限定，能够有效降低搜索空间的维度，极大的减少搜索过程的计算量，进一步提升神经网络结构运算效率。
S400：对所述待优化神经网络结构进行优化，得到最优神经网络结构。
参见图2，为本申请一实施例中的最优神经网络结构示意图，所述最优神经网络结构包括初始神经网络结构，以及根据搜索算法在所述初始神经网络结构生成的分支网络结构。所述分支网络结构具有对应的搜索状态，所述搜索状态包括插入分支的节点位置以及对应节点位置的插入深度。
在本申请一实施例中，这些不同长度的分支网络结构会从主干网络上第一个可以退出的点开始，逐个进行尝试，直到找到网络精度和网络压缩率的综合性能最高的退出节点，此时即视为最优的拓扑结构。
参见图3，在本申请一实施例中，所述通过搜索算法根据所述训练样本，在所述初始神经网络上依次生成具有不同搜索状态的分支神经网络结构，得到若干个待优化神经网络结构，所述搜索状态包括插入分支的节点位置以及对应节点位置的插入深度，具体包括以下步骤：
S301：在所述初始神经网络上确定插入分支的节点位置；
S302：在所述节点位置确定插入深度；
S303：根据所述节点位置和插入深度连接相应的备选模块，所述备选模块用于叠堆形成所述神经网络的分支神经网络结构；
S304：重复上述步骤，得到若干个具有不同搜索状态的待优化神经网络结构。
在本申请一实施例中，所述备选模块的结构特征与所述初始神经网络的结构特征一致。需要说明的是，为了保证搜索的效率和搜索结果的性能，在选择搜索的备选模块时需要满足一些要求。考虑到目前主流的神经网络结构往往是大量结构相同的模块堆叠而成，因此我们在选择搜索的备选模块时，也会尽量根据主干网络和目前主流的神经网络结构，选择与它们的结构相一致的模块作为备选模块。例如对于ResNet，我们会尽量选择具有相同结构特征的它的基本组成单位ResBlock作为搜索的备选模块。
在本申请一实施例中，还包括以下步骤：对所述备选模块的输入维度和输出维度进行调整。通过对所述备选模块进行调整，保证所述备选模块与初始神经网络以及其他所述备选模块之间能够进行适配。
在本申请一实施例中，所述分支神经网络结构的长度小于初始神经网络结构长度。
参见图4，在本申请一实施例中，所述对所述分支神经网络结构进行优化，得到优化网络结构，包括以下步骤：
S401：对所述训练样本通过和若干个待优化神经网络结构进行训练，得到若干个训练结果；
S402：计算所述训练结果的计算量；
S403：将训练样本输入初始神经网络训练，得到初始神经网络训练结果；
S404：计算初始神经网络训练结果的计算量；
S405:将所述训练结果的计算量与初始神经网络训练结果的计算量进行比较；
S406：若所述训练结果的计算量小于初始神经网络训练结果的计算量，通过当前训练结果对应的待优化神经网络结构对初始神经网络结构进行替换；
S407：重复上述步骤，直到对所述待优化神经网络结构进行比较，得到最优神经网络结构。
参见图5，展示了所述搜索算法的搜索过程，首先定义初始搜索状态，搜索状态分为两部分，一部分是分支节点插入的位置，另一部分是插入分支的深度。使用(退出节点，深度)的元组来表示网络的一个搜索状态，例如搜索状态(2，3)即为在主干网络上深度为2的节点处插入深度为3的分支网络，初始状态(0，0)则为初始神经网络结构尚未插入分支神经网络结构的状态。根据搜索状态，我们可以确定唯一与之相对应的待优化神经网络结构。之后我们根据搜索状态生成对应的待优化神经网络结构并对其进行训练，记录网络的性能指标。同时将网络此时的搜索状态记为当前的搜索状态，并暂时作为搜索过程中的最佳状态。
此外，我们还定义了网络的两个搜索状态之间的距离，即为两个搜索状态中的分支深度差值和插入位置深度的差值的绝对值之和，如下式所示：
distance＝|depthi-depthj|+|exit nodei-exit nodej|
其中depth代表分支网络的深度，exit node则代表分支节点的位置，i和j代表不同的搜索状态。
在搜索过程中，首先遍历所有与初始搜索状态之间距离为2的搜索状态，并对这些状态对应的网络进行训练，得到这些搜索状态对应的网络的计算量，并与初始搜索状态对应的网络的计算量作比较，如果当前搜索状态对应的网络的计算量小于初始状态的计算量，那么则认为当前的搜索状态的性能要高于初始搜索状态，则将当前的搜索状态作为最佳搜索状态进行记录，重复上述的操作直到已经遍历所有与最佳状态距离小于等于2的搜索状态，如果网络的搜索状态不再更新，则停止搜索，将当前的网络结构作为最优的网络结构进行输出。
在本申请一实施例中，通过使用Python在ResNet，ResNext，MobileNetV2等多种神经网络结构上进行了动态计算架构的搜索。我们主要在CIFAR10和CIFAR100数据集上进行网络训练。在精度相同或者更高的前提下，我们主要对比了相比于人工设计该方法提升的压缩率。
其中本方法实现的在CIFAR10上的架构设计与人工设计架构参见表1：
神经网络结构 失误率 计算量(Flops/M) 压缩率提升
ResNet20 7.79 21.42 47.24
ResNet32 6.76 28.87 58.08
ResNet44 6.63 39.91 59.55
ResNet50 6.33 41.94 62.34
ResNet56 6.34 45.17 64.01
ResNet110 6.04 63.85 74.77
MobileNetV2 5.44 23.63 43.70
ResNet20 7.79 21.42 47.24
ResNet32 6.76 28.87 58.08
表一而在CIFAR100上与人工设计方案的压缩率对比则参见表2：
神经网络结构 失误率 计算量(Flops/M) 压缩率提升
ResNext28 27.52 49.08 11.31
ResNext47 26.21 66.86 29.37
ResNext65 24.97 89.66 33.08
ResNext83 23.96 105.95 38.89
ResNet20 30.72 29.21 28.05
ResNet32 30.46 39.37 42.87
ResNet44 28.83 56.54 41.85
ResNet50 28.03 58.06 47.76
ResNet56 28.08 54.86 56.3
表2
通过上述表格，可以明显看出，通过采用本申请提供的技术方案，可以明显的提升动态计算架构的压缩率，并且随着网络结构复杂度的上升和参数量的增多，网络的压缩率也在不断上升，对于结构最复杂的ResNet110，网络的压缩率可以提高74.77％。
由以上技术方案可知，本申请公开了一种基于网络结构搜索技术的神经网络结构优化方法，包括以下步骤：获取训练样本，将所述训练样本输入初始神经网络，通过搜索算法根据所述训练样本，在所述初始神经网络上依次生成具有不同搜索状态的分支神经网络结构，得到若干个待优化神经网络结构，所述搜索状态包括插入分支的节点位置和对应节点位置的插入深度，对所述待优化神经网络结构进行优化，得到最优神经网络结构。通过搜索算法在初始神经网络结构上构建分支神经网络结构，对其进行自动化优化后，得到最优神经网络分支结构，解决了现有神经网络构建过程中，通过动态计算的模型压缩算法对模型进行压缩，耗费大量人力物力，同时还存在神经网络陷入局部最优，严重影响效率的问题。

Claims (4)

1.一种基于网络结构搜索技术的神经网络结构优化方法，所述方法应用于图像识别，其特征在于，所述方法包括以下步骤：
获取训练样本；
将所述训练样本输入初始神经网络；
在所述初始神经网络上确定插入分支的节点位置；
在所述节点位置确定插入深度；
根据所述节点位置和插入深度连接相应的备选模块，所述备选模块用于叠堆形成神经网络的分支神经网络结构；
重复上述步骤，得到若干个具有不同搜索状态的待优化神经网络结构，所述搜索状态包括插入分支的节点位置以及对应节点位置的插入深度；
依次对所述训练样本通过若干个待优化神经网络结构进行训练，得到若干个训练结果；
计算所述训练结果的计算量；
将训练样本输入初始神经网络训练，得到初始神经网络训练结果；
计算初始神经网络训练结果的计算量；
依次将所述训练结果的计算量与初始神经网络训练结果的计算量进行比较；
若所述训练结果的计算量小于初始神经网络训练结果的计算量，通过当前训练结果对应的待优化神经网络结构对初始神经网络结构进行替换；
重复上述步骤，直到对所述待优化神经网络结构进行比较，得到最优神经网络结构。
2.根据权利要求1所述的基于网络结构搜索技术的神经网络结构优化方法，其特征在于，所述备选模块的结构特征与所述初始神经网络的结构特征一致。
3.根据权利要求2所述的基于网络结构搜索技术的神经网络结构优化方法，其特征在于，还包括以下步骤：对所述备选模块的输入维度和输出维度进行调整。
4.根据权利要求3所述的基于网络结构搜索技术的神经网络结构优化方法，其特征在于，所述分支神经网络结构的长度小于初始神经网络结构长度。
CN202110661438.4A 2021-06-15 2021-06-15 一种基于网络结构搜索技术的神经网络结构优化方法 Active CN113379034B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110661438.4A CN113379034B (zh) 2021-06-15 2021-06-15 一种基于网络结构搜索技术的神经网络结构优化方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110661438.4A CN113379034B (zh) 2021-06-15 2021-06-15 一种基于网络结构搜索技术的神经网络结构优化方法

Publications (2)

Publication Number Publication Date
CN113379034A CN113379034A (zh) 2021-09-10
CN113379034B true CN113379034B (zh) 2023-10-20

Family

ID=77574376

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110661438.4A Active CN113379034B (zh) 2021-06-15 2021-06-15 一种基于网络结构搜索技术的神经网络结构优化方法

Country Status (1)

Country Link
CN (1) CN113379034B (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103441476A (zh) * 2013-08-08 2013-12-11 国家电网公司 基于负荷均衡期望值搜索的配电网故障恢复方法
CN107644252A (zh) * 2017-03-10 2018-01-30 南京大学 一种多机制混合的递归神经网络模型压缩方法
CN109284820A (zh) * 2018-10-26 2019-01-29 北京图森未来科技有限公司 一种深度神经网络的结构搜索方法及装置
DE102017128082A1 (de) * 2017-11-28 2019-05-29 Connaught Electronics Ltd. Meta-Architektur-Design für ein CNN-Netzwerk
CN110782015A (zh) * 2019-10-25 2020-02-11 腾讯科技（深圳）有限公司 神经网络的网络结构优化器的训练方法、装置及存储介质
CN111242268A (zh) * 2019-09-05 2020-06-05 中国科学院计算技术研究所 一种搜索卷积神经网络的方法
CN111476346A (zh) * 2020-02-28 2020-07-31 之江实验室 一种基于牛顿共轭梯度法的深度学习网络架构
CN111553480A (zh) * 2020-07-10 2020-08-18 腾讯科技（深圳）有限公司 神经网络搜索方法、装置、计算机可读介质及电子设备
CN112766466A (zh) * 2021-02-23 2021-05-07 北京市商汤科技开发有限公司 一种神经网络架构搜索的方法、装置和电子设备

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016010601A2 (en) * 2014-04-23 2016-01-21 The Florida State University Research Foundation, Inc. Adaptive nonlinear model predictive control using a neural network and input sampling

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103441476A (zh) * 2013-08-08 2013-12-11 国家电网公司 基于负荷均衡期望值搜索的配电网故障恢复方法
CN107644252A (zh) * 2017-03-10 2018-01-30 南京大学 一种多机制混合的递归神经网络模型压缩方法
DE102017128082A1 (de) * 2017-11-28 2019-05-29 Connaught Electronics Ltd. Meta-Architektur-Design für ein CNN-Netzwerk
CN109284820A (zh) * 2018-10-26 2019-01-29 北京图森未来科技有限公司 一种深度神经网络的结构搜索方法及装置
CN111242268A (zh) * 2019-09-05 2020-06-05 中国科学院计算技术研究所 一种搜索卷积神经网络的方法
CN110782015A (zh) * 2019-10-25 2020-02-11 腾讯科技（深圳）有限公司 神经网络的网络结构优化器的训练方法、装置及存储介质
CN111476346A (zh) * 2020-02-28 2020-07-31 之江实验室 一种基于牛顿共轭梯度法的深度学习网络架构
CN111553480A (zh) * 2020-07-10 2020-08-18 腾讯科技（深圳）有限公司 神经网络搜索方法、装置、计算机可读介质及电子设备
CN112766466A (zh) * 2021-02-23 2021-05-07 北京市商汤科技开发有限公司 一种神经网络架构搜索的方法、装置和电子设备

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
Automatic Generation of Dynamic Inference Architecture for Deep Neural Networks;Shize Zhao等;2021 IEEE Workshop on Signal Processing Systems (SiPS);第117-122页 *
Neural Architecture Optimization;Renqian Luo等;Advances in Neural Information Processing Systems 31;第1-12页 *
基于改进AGP算法的神经网络结构优化研究;孙环龙;中国优秀硕士学位论文全文数据库 信息科技辑(第3期);第I140-182页 *
基于进化算法的神经网络结构优化研究;杨英;中国优秀硕士学位论文全文数据库 信息科技辑(第5期);第I140-66页 *
轻量级神经网络架构综述;葛道辉等;软件学报(第9期);第7-33页 *

Also Published As

Publication number Publication date
CN113379034A (zh) 2021-09-10

Similar Documents

Publication Publication Date Title
CN111160108B (zh) 一种无锚点的人脸检测方法及系统
CN109766423A (zh) 基于神经网络的问答方法及装置、存储介质、终端
CN109102064A (zh) 一种高精度的神经网络量化压缩方法
CN111612147A (zh) 深度卷积网络的量化方法
CN111860771B (zh) 一种应用于边缘计算的卷积神经网络计算方法
CN112214689A (zh) 基于社交网络中群体的影响力最大化方法及系统
CN113568954A (zh) 网络流量预测数据预处理阶段的参数最优化方法及系统
CN113379034B (zh) 一种基于网络结构搜索技术的神经网络结构优化方法
CN117040541B (zh) 一种用于cad图纸数据的数据存储方法及系统
CN113780542A (zh) 一种面向fpga的多目标网络结构的构建方法
CN116304213B (zh) 基于图神经网络的rdf图数据库子图匹配查询优化方法
CN112419325A (zh) 一种基于深度学习的超像素分割方法
Liu et al. Improvement of pruning method for convolution neural network compression
CN114997360A (zh) 神经架构搜索算法的演化参数优化方法、系统及存储介质
CN103794219B (zh) 一种基于m码字分裂的矢量量化码本生成方法
CN114998697A (zh) 一种基于特征融合和沙漏网络的热图预测方法
CN113726342B (zh) 面向大规模图迭代计算的分段差值压缩与惰性解压方法
CN113205856B (zh) 一种微生物宏基因组分箱方法及系统
CN116310636A (zh) 基于神经网络拓扑结构的轻量化神经网络结构搜索方法
CN112733848B (zh) 基于多尺度特征和扩张型逆残差全连接的目标检测方法
CN114692484B (zh) 一种基于神经网络的微波窗设计方法
Mayr et al. Are van Emde Boas trees viable on the GPU?
CN1148679C (zh) 将个人数字助理系统的处理速度最佳化的装置与方法
CN117313790A (zh) 一种增强大模型上下文方法及系统
CN116720559A (zh) 基于退火法的动态可重构卷积神经网络加速器及其参数优化方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant