CN113033784A - 一种针对cpu和gpu设备搜索神经网络结构的方法 - Google Patents

一种针对cpu和gpu设备搜索神经网络结构的方法 Download PDF

Info

Publication number
CN113033784A
CN113033784A CN202110415478.0A CN202110415478A CN113033784A CN 113033784 A CN113033784 A CN 113033784A CN 202110415478 A CN202110415478 A CN 202110415478A CN 113033784 A CN113033784 A CN 113033784A
Authority
CN
China
Prior art keywords
network
training
neural network
cpu
searching
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202110415478.0A
Other languages
English (en)
Inventor
杜权
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenyang Yaze Network Technology Co ltd
Original Assignee
Shenyang Yaze Network Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenyang Yaze Network Technology Co ltd filed Critical Shenyang Yaze Network Technology Co ltd
Priority to CN202110415478.0A priority Critical patent/CN113033784A/zh
Publication of CN113033784A publication Critical patent/CN113033784A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Neurology (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开一种针对CPU和GPU设备搜索神经网络结构的方法，步骤为：设计并确定CPU和GPU设备网络结构的表示空间；通过权重共享的方式训练一个全连接的超网；在不同的硬件平台上运行采样得到的子网络，统计其执行一次计算所需的运行时间；收集的子网络结构和在不同硬件平台上对应的运行时间，训练一个额外的预测器；在全连接的超网上执行进化算法，搜索出最优网络结构；初始化最优网络结构的参数，在训练集数据上重新进行训练直到该神经网络收敛。本发明解决了以往为不同硬件定制化神经网络结构存在的过程繁琐、可迁移性差等问题，在同一框架下为CPU、GPU设备搜索不同的神经网络结构，有效地提升神经网络结构的准确度和运行效率。

Description

一种针对CPU和GPU设备搜索神经网络结构的方法
技术领域
本发明涉及一种神经网络结构搜索方法，具体为一种针对CPU和GPU设备搜索神经网络结构的方法。
背景技术
近年来，机器学习，尤其是以神经网络为代表的深度学习技术不断发展，在语音、图像和自然语言处理等领域的诸多任务上取得了令人瞩目的成就。以神经机器翻译为例，最近几年的神经网络结构经历了巨大的变化，从循环神经网络、卷积神经网络到以自注意力机制为基础的神经网络，不断刷新机器翻译任务的分数。然而，与之相对应的神经网络结构也越来越复杂，一个趋势是网络的参数量愈发庞大、神经元连接愈发复杂，而设计和实现这些神经网络也越来越依赖于专业人员对相关技术的了解。目前神经网络的设计几乎都是与硬件结构无关的，即专家设计这些神经网络时很少考虑具体运行环境和硬件约束。然而在实际部署时，不同硬件的计算资源不同，例如一些参数量上亿的神经机器翻译模型在并行计算效率高的显卡设备上的运行速度能够满足在线翻译的需求，然而在计算资源有限的移动设备上就无法满足用户实时翻译的需求。
目前神经网络结构的设计趋势是为不同的硬件平台设计不同的神经网络结构，然而这些神经网络的设计需要大量从业经验，而且这些经验都仅限于专门化的硬件平台，无法适用于广泛的硬件平台。例如，针对显卡设备并行计算效率高的特点设计的浅而宽的神经机器翻译网络结构就不适合在并行计算效率低的CPU设备上面运行，后者更加适合部署较深但每层神经元数量较少的网络。因此，针对CPU和GPU设备进行神经网络结构自动化设计具有很高的应用价值。
发明内容
针对现有的针对CPU和GPU设备的神经网络结构设计方法存在的依赖专家经验、CPU和GPU设备上的神经网络结构设计经验难以相互迁移、验证神经网络结构效果的成本高昂等问题，本发明提出一种针对CPU和GPU设备搜索神经网络结构的方式，能够自动化特定硬件环境下的神经网络结构设计过程。
为解决上述技术问题，本发明采用的技术方案是：
本发明提供一种针对CPU和GPU设备搜索神经网络结构的方法，包括以下步骤：
1)设计并确定CPU和GPU设备网络结构的表示空间，包括需要搜索的网络结构的层数、每层的神经元数量和连接方式，使用字符串编码的形式对这些信息进行表示；
2)通过权重共享的方式训练一个全连接的超网，其中不同的子网络共享所有的权重，在每个训练步骤通过均匀采样的方式选择一个子网络进行训练，根据梯度下降的方式对共享的权重进行优化；
3)在不同的硬件平台，包括CPU、GPU设备上运行步骤2)采样得到的子网络，统计其执行一次计算所需的运行时间；
4)利用步骤3)收集的子网络结构和在不同硬件平台上对应的运行时间，训练一个额外的预测器，用于预测不同网络结构在不同硬件平台上对应的运行时间；
5)在全连接的超网上执行进化算法，根据不同硬件平台上的运行时间限制以及不同网络结构在校验集数据上对应的损失搜索出最优网络结构；
6)初始化步骤5)得到的最优网络结构的参数，在训练集数据上重新进行训练直到该神经网络收敛。
步骤1)中，使用字符串的形式对离散化的网络结构的组合进行表示，该字符串包含神经网络的层数、每层的神经元数量以及不同层的连接方式。
步骤2)中，通过权重共享的方式训练一个全连接的超网，其中不同的子网络共享所有的权重，在每个训练步骤通过均匀采样的方式选择一个子网络进行训练，根据梯度下降的方式对共享的权重进行优化，具体为：
201)选择固定的超网的层数和每层的神经元数量，其数值等于步骤1)中最大的超网的层数和每层的神经元数量，对超网的参数进行随机初始化；
202)训练时，每次在全部的子网络中选择一个子网络进行训练，即只利用超网中的部分层、每层中的部分神经元和部分连接进行训练，通过反向传播的方式对全部的参数进行更新。
步骤3)中，在不同的硬件平台，包括CPU、GPU设备上运行步骤2)采样得到的子网络，收集其执行一次前向计算所需的运行时间，具体为：
在CPU、GPU设备上运行步骤2)采样得到的子网络，直接评估其执行一次前向计算所需的运行时间；前向计算只计算得到结果。
步骤4)中，利用步骤3)得到的不同子网络在不同硬件平台上的运行时间训练一个预测器，用于预测没有直接评估的子网络所需的运行时间，具体为：
使用循环神经网络作为预测器，其输入为网络结构的编码，输出为预测的该结构在不同硬件上的运行时间，在搜索前对其进行随机初始化，在搜索时使用步骤3)统计的数据进行训练。
步骤5)中，在全连接的超网上执行进化算法，根据不同硬件平台上的运行时间限制以及不同网络结构在校验集数据上对应的损失搜索出最优网络结构，具体为：
501)根据搜索过程中收集的运行时间数据，选择100-200个在不同硬件上运行时间最短的网络结构作为初始化种群；
502)通过进化算法，随机交叉、替换或删除种群中的网络结构，使用预测器来预测剩下的网络结构，仅保留时间小于规定阈值的网络结构；
503)检查种群中时间小于规定阈值的网络结构，如果其运行时间达到预设的目标，则停止搜索，否则回到502)步骤。
步骤6)中，初始化步骤5)得到的最优网络结构的参数，在训练集数据上重新进行训练直到该神经网络收敛，具体为：
选择步骤5)得到的最优网络结构，对其进行随机初始化，在训练数据集上进行训练直至收敛，保存其参数。
超网指的是在执行搜索步骤前，搜索空间中层数、神经元数和神经连接数最多的网络结构，而子网络指的是超网中的一个子模块。
本发明具有以下有益效果及优点：
1.本发明解决了传统的为不同硬件定制化神经网络结构存在的过程繁琐、可迁移性差等问题，可以在同一框架下为CPU、GPU设备搜索不同的神经网络结构。
2.此外，本发明提出的方法可以有效地提升神经网络结构的准确度和运行效率，相较于在CPU和GPU设备上使用固定的神经网络结构，本发明能够有效地根据不同硬件的特点自动化地搜索得到最优的结构。
附图说明
图1为本发明中对超网中的子网络结构采样示意图；
图2为本发明中神经网络结构搜索方法示意图。
具体实施方式
针对现有的针对CPU和GPU设备的神经网络结构设计方法存在的依赖专家经验、CPU和GPU设备上的神经网络结构设计经验难以相互迁移、验证神经网络结构效果的成本高昂等问题，本发明提出一种针对CPU和GPU设备搜索神经网络结构的方式，能够自动化特定硬件环境下的神经网络结构设计过程。
本发明方法包括以下步骤：
1)设计并确定CPU和GPU设备网络结构的表示空间，包括需要搜索的网络结构的层数、每层的神经元数量和连接方式，使用字符串编码的形式对这些信息进行表示；
2)如图1所示，通过权重共享的方式训练一个全连接的超网，其中不同的子网络共享所有的权重，在每个训练步骤通过均匀采样的方式选择一个子网络进行训练，即图1中实线范围内的神经网络结构，根据梯度下降的方式对共享的权重进行优化；
3)如图2所示，在不同的硬件平台，包括CPU、GPU设备上运行步骤2)采样得到的子网络，收集其执行一次前向计算所需的运行时间；
4)如图2所示，利用步骤3)收集的子网络结构和在不同硬件平台上对应的运行时间，训练一个额外的预测器，用于预测不同网络结构在不同硬件平台上对应的运行时间；
5)如图2所示，在全连接的超网上执行进化算法，根据不同硬件平台上的运行时间限制以及不同网络结构在校验集数据上对应的损失搜索出最优网络结构；
6)初始化步骤5)得到的最优网络结构的参数，在训练集数据上重新进行训练直到该神经网络收敛。
步骤1)中，使用字符串的形式对离散化的网络结构的组合进行表示，该字符串包含神经网络的层数、每层的神经元数量以及不同层的连接方式。
步骤2)中，通过权重共享的方式训练一个全连接的超网，其中不同的子网络共享所有的权重，在每个训练步骤通过均匀采样的方式选择一个子网络进行训练，根据梯度下降的方式对共享的权重进行优化，具体为：
201)选择固定的超网的层数和每层的神经元数量，其数值等于步骤1)中最大的数量，对超网的参数进行随机初始化；
202)训练时，每次在全部的子网络中选择一个进行训练，即只利用超网中的部分层、每层中部分的神经元和部分的连接进行训练，而通过反向传播的方式对全部的参数进行更新。
步骤3)中，在不同的硬件平台，包括CPU、GPU设备上运行步骤2)采样得到的子网络，收集其执行一次前向计算所需的运行时间，具体为：
301)在CPU、GPU设备上运行步骤2)采样得到的子网络，直接评估其执行一次前向计算所需的运行时间；前向计算与训练网络的不同之处仅在于只计算得到结果，而不计算参数的梯度，因此其速度得到了大幅提升。
步骤4)中，利用步骤3)得到的不同子网络在不同硬件平台上的运行时间训练一个预测器，用于预测没有直接评估的子网络所需的运行时间，具体为：
401)使用循环神经网络作为预测器，其输入为网络结构的编码，输出为预测的该结构在不同硬件上的运行时间，在搜索前对其进行随机初始化，在搜索时使用步骤3)收集的数据进行训练，该预测器的作用是用来快速评估新的子网络结构，而不需要在硬件平台上进行计算。
步骤5)中，在全连接的超网上执行进化算法，根据不同硬件平台上的运行时间限制以及不同网络结构在校验集数据上对应的损失搜索出最优网络结构，具体为：
501)根据搜索过程中收集的运行时间数据，选择100～200个在不同硬件上运行时间最短的网络结构作为初始化种群；
502)通过进化算法，随机交叉、替换或删除种群中的网络结构，使用预测器来预测剩下的网络结构，仅保留时间小于规定阈值(本实施例为100)的网络结构；
503)检查种群中时间小于规定阈值的网络结构，如果其运行时间达到预设的目标，则停止搜索，否则回到502)步骤。
步骤6)中，初始化步骤5)得到的最优网络结构的参数，在训练集数据上重新进行训练直到该神经网络收敛，具体为：
601)选择步骤5)得到的最优网络结构，对其进行随机初始化，在训练数据集上进行训练直至收敛，保存其参数。
为验证方法的有效性，将本发明提出的针对不同设备搜索神经网络结构的方法在机器翻译任务上进行实验。具体来说在IWSLT 2014德到英翻译任务上进行实验，该任务训练数据约为16万条双语句对，实验基线使用标准的Transformer模型，包括6个编码器层和6个解码器层，模型隐藏层单元为512，分别在NVIDIA TITAN X GPU和Intel Core i7-5930KCPU上进行测试。其中模型参数单位为百万，缩写为M，越小越好；BLEU代表在测试集上机器翻译系统的品质，越高越好；延迟通过翻译长度为20的德语句子统计出，越小越好，实验结果如下表所示。
Figure BDA0003025719400000051
实验表明，本发明提出的针对不同设备搜索神经网络结构的方法能够在GPU和CPU设备上有效减少模型参数，显著降低系统延迟，同时不损失翻译品质。该方法在CPU设备上能够降低16.5％的参数量、减少44.5％的延迟；在GPU设备上能够减少49.5％的延迟。
总之，本发明提出了一种针对不同设备搜索神经网络结构的方法，能够在无需针对不同设备和运行环境对系统和模型结构进行修改的前提下，有效地减少模型的参数，降低翻译系统的延迟，节约计算资源。同时，本发明能够在不影响神经机器翻译系统翻译效果的前提下，明显地提升系统的运行速度。

Claims (8)

1.一种针对CPU和GPU设备搜索神经网络结构的方法，其特征在于包括以下步骤：
1)设计并确定CPU和GPU设备网络结构的表示空间，包括需要搜索的网络结构的层数、每层的神经元数量和连接方式，使用字符串编码的形式对这些信息进行表示；
2)通过权重共享的方式训练一个全连接的超网，其中不同的子网络共享所有的权重，在每个训练步骤通过均匀采样的方式选择一个子网络进行训练，根据梯度下降的方式对共享的权重进行优化；
3)在不同的硬件平台，包括CPU、GPU设备上运行步骤2)采样得到的子网络，统计其执行一次计算所需的运行时间；
4)利用步骤3)收集的子网络结构和在不同硬件平台上对应的运行时间，训练一个额外的预测器，用于预测不同网络结构在不同硬件平台上对应的运行时间；
5)在全连接的超网上执行进化算法，根据不同硬件平台上的运行时间限制以及不同网络结构在校验集数据上对应的损失搜索出最优网络结构；
6)初始化步骤5)得到的最优网络结构的参数，在训练集数据上重新进行训练直到该神经网络收敛。
2.按权利要求1所述的针对CPU和GPU设备搜索神经网络结构的方法，其特征在于：步骤1)中，使用字符串的形式对离散化的网络结构的组合进行表示，该字符串包含神经网络的层数、每层的神经元数量以及不同层的连接方式。
3.按权利要求1所述的针对CPU和GPU设备搜索神经网络结构的方法，其特征在于：步骤2)中，通过权重共享的方式训练一个全连接的超网，其中不同的子网络共享所有的权重，在每个训练步骤通过均匀采样的方式选择一个子网络进行训练，根据梯度下降的方式对共享的权重进行优化，具体为：
201)选择固定的超网的层数和每层的神经元数量，其数值等于步骤1)中最大的超网的层数和每层的神经元数量，对超网的参数进行随机初始化；
202)训练时，每次在全部的子网络中选择一个子网络进行训练，即只利用超网中的部分层、每层中的部分神经元和部分连接进行训练，通过反向传播的方式对全部的参数进行更新。
4.按权利要求1所述的针对CPU和GPU设备搜索神经网络结构的方法，其特征在于：步骤3)中，在不同的硬件平台，包括CPU、GPU设备上运行步骤2)采样得到的子网络，收集其执行一次前向计算所需的运行时间，具体为：
在CPU、GPU设备上运行步骤2)采样得到的子网络，直接评估其执行一次前向计算所需的运行时间；前向计算只计算得到结果。
5.按权利要求1所述的针对CPU和GPU设备搜索神经网络结构的方法，其特征在于：步骤4)中，利用步骤3)得到的不同子网络在不同硬件平台上的运行时间训练一个预测器，用于预测没有直接评估的子网络所需的运行时间，具体为：
使用循环神经网络作为预测器，其输入为网络结构的编码，输出为预测的该结构在不同硬件上的运行时间，在搜索前对其进行随机初始化，在搜索时使用步骤3)统计的数据进行训练。
6.按权利要求1所述的针对CPU和GPU设备搜索神经网络结构的方法，其特征在于：步骤5)中，在全连接的超网上执行进化算法，根据不同硬件平台上的运行时间限制以及不同网络结构在校验集数据上对应的损失搜索出最优网络结构，具体为：
501)根据搜索过程中收集的运行时间数据，选择100-200个在不同硬件上运行时间最短的网络结构作为初始化种群；
502)通过进化算法，随机交叉、替换或删除种群中的网络结构，使用预测器来预测剩下的网络结构，仅保留时间小于规定阈值的网络结构；
503)检查种群中时间小于规定阈值的网络结构，如果其运行时间达到预设的目标，则停止搜索，否则回到502)步骤。
7.按权利要求1所述的针对CPU和GPU设备搜索神经网络结构的方法，其特征在于：步骤6)中，初始化步骤5)得到的最优网络结构的参数，在训练集数据上重新进行训练直到该神经网络收敛，具体为：
选择步骤5)得到的最优网络结构，对其进行随机初始化，在训练数据集上进行训练直至收敛，保存其参数。
8.按权利要求1所述的针对CPU和GPU设备搜索神经网络结构的方法，其特征在于：超网指的是在执行搜索步骤前，搜索空间中层数、神经元数和神经连接数最多的网络结构，而子网络指的是超网中的一个子模块。
CN202110415478.0A 2021-04-18 2021-04-18 一种针对cpu和gpu设备搜索神经网络结构的方法 Withdrawn CN113033784A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110415478.0A CN113033784A (zh) 2021-04-18 2021-04-18 一种针对cpu和gpu设备搜索神经网络结构的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110415478.0A CN113033784A (zh) 2021-04-18 2021-04-18 一种针对cpu和gpu设备搜索神经网络结构的方法

Publications (1)

Publication Number Publication Date
CN113033784A true CN113033784A (zh) 2021-06-25

Family

ID=76456750

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110415478.0A Withdrawn CN113033784A (zh) 2021-04-18 2021-04-18 一种针对cpu和gpu设备搜索神经网络结构的方法

Country Status (1)

Country Link
CN (1) CN113033784A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115099393A (zh) * 2022-08-22 2022-09-23 荣耀终端有限公司 神经网络结构搜索方法及相关装置
WO2023015674A1 (zh) * 2021-08-12 2023-02-16 北京交通大学 一种对深度卷积神经网络进行多位宽量化的方法
WO2024012306A1 (zh) * 2022-07-14 2024-01-18 北京字跳网络技术有限公司 神经网络模型结构确定方法、装置、设备、介质及产品
WO2024065535A1 (en) * 2022-09-29 2024-04-04 Intel Corporation Methods, apparatus, and articles of manufacture to generate hardware-aware machine learning model architectures for multiple domains without training

Citations (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105224502A (zh) * 2015-09-28 2016-01-06 浪潮(北京)电子信息产业有限公司 一种基于gpu的深度学习方法及系统
US20170270424A1 (en) * 2016-03-15 2017-09-21 Wisconsin Alumni Research Foundation Method of Estimating Program Speed-Up in Highly Parallel Architectures Using Static Analysis
US20180032865A1 (en) * 2016-07-29 2018-02-01 Denso Corporation Prediction apparatus, prediction method, and prediction program
US20190057309A1 (en) * 2016-04-28 2019-02-21 Sony Corporation Information processing apparatus and information processing method
US20190188560A1 (en) * 2017-12-15 2019-06-20 International Business Machines Corporation Multi-gpu deep learning using cpus
CN110097186A (zh) * 2019-04-29 2019-08-06 济南浪潮高新科技投资发展有限公司 一种神经网络异构量化训练方法
US20190251422A1 (en) * 2018-02-09 2019-08-15 Microsoft Technology Licensing, Llc Deep neural network architecture for search
GB201913353D0 (en) * 2019-09-16 2019-10-30 Samsung Electronics Co Ltd Method for designing accelerator hardware
CN110851566A (zh) * 2019-11-04 2020-02-28 沈阳雅译网络技术有限公司 一种改进的可微分网络结构搜索的方法
US20200082247A1 (en) * 2018-09-07 2020-03-12 Kneron (Taiwan) Co., Ltd. Automatically architecture searching framework for convolutional neural network in reconfigurable hardware design
US20200097822A1 (en) * 2018-09-25 2020-03-26 Advanced Micro Devices, Inc. Dropout for accelerated deep learning in heterogeneous architectures
US20200104715A1 (en) * 2018-09-28 2020-04-02 Xilinx, Inc. Training of neural networks by including implementation cost as an objective
US20200151573A1 (en) * 2018-11-12 2020-05-14 Advanced Micro Devices, Inc. Dynamic precision scaling at epoch granularity in neural networks
US20200151510A1 (en) * 2018-11-12 2020-05-14 Advanced Micro Devices, Inc. Adaptive batch reuse on deep memories
CN111340220A (zh) * 2020-02-25 2020-06-26 北京百度网讯科技有限公司 用于训练预测模型的方法和装置
CN111488971A (zh) * 2020-04-09 2020-08-04 北京百度网讯科技有限公司 神经网络模型搜索方法及装置、图像处理方法及装置
US20200257961A1 (en) * 2017-11-30 2020-08-13 Google Llc Neural architecture search using a performance prediction neural network
US20200302271A1 (en) * 2019-03-18 2020-09-24 Microsoft Technology Licensing, Llc Quantization-aware neural architecture search
CN111931901A (zh) * 2020-07-02 2020-11-13 华为技术有限公司 一种神经网络构建方法以及装置
WO2020240113A1 (fr) * 2019-05-28 2020-12-03 Bull Sas Procede d'implementation d'un accelerateur materiel d'un reseau de neurones
CN112101525A (zh) * 2020-09-08 2020-12-18 南方科技大学 一种通过nas设计神经网络的方法、装置和系统
CN112116090A (zh) * 2020-09-28 2020-12-22 腾讯科技（深圳）有限公司 神经网络结构搜索方法、装置、计算机设备及存储介质
CN112270194A (zh) * 2020-11-03 2021-01-26 沈阳雅译网络技术有限公司 一种基于梯度神经网络结构搜索的命名实体识别方法
CN112364981A (zh) * 2020-11-10 2021-02-12 南方科技大学 一种混合精度神经网络的可微分搜索方法和装置
CN112445823A (zh) * 2019-09-04 2021-03-05 华为技术有限公司 神经网络结构的搜索方法、图像处理方法和装置
US20210073612A1 (en) * 2019-09-10 2021-03-11 Nvidia Corporation Machine-learning-based architecture search method for a neural network
CN112560985A (zh) * 2020-12-25 2021-03-26 北京百度网讯科技有限公司 神经网络的搜索方法、装置及电子设备
CN112561028A (zh) * 2019-09-25 2021-03-26 华为技术有限公司 训练神经网络模型的方法、数据处理的方法及装置

Patent Citations (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105224502A (zh) * 2015-09-28 2016-01-06 浪潮(北京)电子信息产业有限公司 一种基于gpu的深度学习方法及系统
US20170270424A1 (en) * 2016-03-15 2017-09-21 Wisconsin Alumni Research Foundation Method of Estimating Program Speed-Up in Highly Parallel Architectures Using Static Analysis
US20190057309A1 (en) * 2016-04-28 2019-02-21 Sony Corporation Information processing apparatus and information processing method
US20180032865A1 (en) * 2016-07-29 2018-02-01 Denso Corporation Prediction apparatus, prediction method, and prediction program
US20200257961A1 (en) * 2017-11-30 2020-08-13 Google Llc Neural architecture search using a performance prediction neural network
US20190188560A1 (en) * 2017-12-15 2019-06-20 International Business Machines Corporation Multi-gpu deep learning using cpus
US20190251422A1 (en) * 2018-02-09 2019-08-15 Microsoft Technology Licensing, Llc Deep neural network architecture for search
US20200082247A1 (en) * 2018-09-07 2020-03-12 Kneron (Taiwan) Co., Ltd. Automatically architecture searching framework for convolutional neural network in reconfigurable hardware design
US20200097822A1 (en) * 2018-09-25 2020-03-26 Advanced Micro Devices, Inc. Dropout for accelerated deep learning in heterogeneous architectures
US20200104715A1 (en) * 2018-09-28 2020-04-02 Xilinx, Inc. Training of neural networks by including implementation cost as an objective
US20200151510A1 (en) * 2018-11-12 2020-05-14 Advanced Micro Devices, Inc. Adaptive batch reuse on deep memories
US20200151573A1 (en) * 2018-11-12 2020-05-14 Advanced Micro Devices, Inc. Dynamic precision scaling at epoch granularity in neural networks
US20200302271A1 (en) * 2019-03-18 2020-09-24 Microsoft Technology Licensing, Llc Quantization-aware neural architecture search
CN110097186A (zh) * 2019-04-29 2019-08-06 济南浪潮高新科技投资发展有限公司 一种神经网络异构量化训练方法
WO2020240113A1 (fr) * 2019-05-28 2020-12-03 Bull Sas Procede d'implementation d'un accelerateur materiel d'un reseau de neurones
CN112445823A (zh) * 2019-09-04 2021-03-05 华为技术有限公司 神经网络结构的搜索方法、图像处理方法和装置
WO2021043193A1 (zh) * 2019-09-04 2021-03-11 华为技术有限公司 神经网络结构的搜索方法、图像处理方法和装置
US20210073612A1 (en) * 2019-09-10 2021-03-11 Nvidia Corporation Machine-learning-based architecture search method for a neural network
GB201913353D0 (en) * 2019-09-16 2019-10-30 Samsung Electronics Co Ltd Method for designing accelerator hardware
CN112561028A (zh) * 2019-09-25 2021-03-26 华为技术有限公司 训练神经网络模型的方法、数据处理的方法及装置
CN110851566A (zh) * 2019-11-04 2020-02-28 沈阳雅译网络技术有限公司 一种改进的可微分网络结构搜索的方法
CN111340220A (zh) * 2020-02-25 2020-06-26 北京百度网讯科技有限公司 用于训练预测模型的方法和装置
CN111488971A (zh) * 2020-04-09 2020-08-04 北京百度网讯科技有限公司 神经网络模型搜索方法及装置、图像处理方法及装置
CN111931901A (zh) * 2020-07-02 2020-11-13 华为技术有限公司 一种神经网络构建方法以及装置
CN112101525A (zh) * 2020-09-08 2020-12-18 南方科技大学 一种通过nas设计神经网络的方法、装置和系统
CN112116090A (zh) * 2020-09-28 2020-12-22 腾讯科技（深圳）有限公司 神经网络结构搜索方法、装置、计算机设备及存储介质
CN112270194A (zh) * 2020-11-03 2021-01-26 沈阳雅译网络技术有限公司 一种基于梯度神经网络结构搜索的命名实体识别方法
CN112364981A (zh) * 2020-11-10 2021-02-12 南方科技大学 一种混合精度神经网络的可微分搜索方法和装置
CN112560985A (zh) * 2020-12-25 2021-03-26 北京百度网讯科技有限公司 神经网络的搜索方法、装置及电子设备

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
HADJER BENMEZIANE ET AL.: "A Comprehensive Survey on Hardware-Aware Neural Architecture Search", ARXIV:2101.09336V1, pages 6 - 7 *
LI LYNA ZHANG ET AL.: "Fast Hardware-Aware Neural Architecture Search", 2020 IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION WORKSHOPS (CVPRW), pages 3 - 4 *
刘强;李佳峻;: "基于GPU的并行拟牛顿神经网络训练算法设计", 河海大学学报(自然科学版), no. 05 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023015674A1 (zh) * 2021-08-12 2023-02-16 北京交通大学 一种对深度卷积神经网络进行多位宽量化的方法
WO2024012306A1 (zh) * 2022-07-14 2024-01-18 北京字跳网络技术有限公司 神经网络模型结构确定方法、装置、设备、介质及产品
CN115099393A (zh) * 2022-08-22 2022-09-23 荣耀终端有限公司 神经网络结构搜索方法及相关装置
CN115099393B (zh) * 2022-08-22 2023-04-07 荣耀终端有限公司 神经网络结构搜索方法及相关装置
WO2024065535A1 (en) * 2022-09-29 2024-04-04 Intel Corporation Methods, apparatus, and articles of manufacture to generate hardware-aware machine learning model architectures for multiple domains without training

Similar Documents

Publication Publication Date Title
CN113033784A (zh) 一种针对cpu和gpu设备搜索神经网络结构的方法
CN110134946B (zh) 一种针对复杂数据的机器阅读理解方法
CN110379416A (zh) 一种神经网络语言模型训练方法、装置、设备及存储介质
CN108829684A (zh) 一种基于迁移学习策略的蒙汉神经机器翻译方法
EP3408800A1 (en) An artificial intelligence engine having an architect module
CN111539227B (zh) 训练语义表示模型的方法、装置、设备和计算机存储介质
CN113158608A (zh) 确定模拟电路参数的处理方法、装置、设备及存储介质
CN112101525A (zh) 一种通过nas设计神经网络的方法、装置和系统
US20220374678A1 (en) Method for determining pre-training model, electronic device and storage medium
CN112560985A (zh) 神经网络的搜索方法、装置及电子设备
CN110532575A (zh) 文本翻译方法及装置
Zhao et al. Synchronously improving multi-user English translation ability by using AI
CN111160049B (zh) 文本翻译方法、装置、机器翻译系统和存储介质
CN117892667B (zh) 运算器芯片设置方法、计算子系统以及智能计算平台
CN116090536A (zh) 神经网络的优化方法、装置、计算机设备及存储介质
CN116595356A (zh) 时序信号预测方法、装置、电子设备及存储介质
CN117633184A (zh) 一种模型构建和智能回复方法、设备及介质
CN109347900B (zh) 基于改进狼群算法的云服务系统自适应演化方法
CN115438678B (zh) 机器翻译方法、装置、电子设备及存储介质
CN115017924B (zh) 跨语际语言翻译的神经机器翻译模型构建及其翻译方法
CN112633516B (zh) 性能预测和机器学习编译优化方法及装置
CN112419098B (zh) 基于安全信息熵的电网安全稳定仿真样本筛选扩充方法
Lu et al. TreeNet based fast task decomposition for resource-constrained edge intelligence
Cegan Intelligent preloading of websites resources based on clustering web user sessions
CN111401555A (zh) 模型训练方法、装置、服务器及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20210625