CN110866589A - 深度神经网络模型的运行方法、装置及框架 - Google Patents

深度神经网络模型的运行方法、装置及框架 Download PDF

Info

Publication number
CN110866589A
CN110866589A CN201810914330.XA CN201810914330A CN110866589A CN 110866589 A CN110866589 A CN 110866589A CN 201810914330 A CN201810914330 A CN 201810914330A CN 110866589 A CN110866589 A CN 110866589A
Authority
CN
China
Prior art keywords
memory
layer
dnn model
release
preset
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810914330.XA
Other languages
English (en)
Other versions
CN110866589B (zh
Inventor
李焱
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alibaba China Co Ltd
Original Assignee
Autonavi Software Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Autonavi Software Co Ltd filed Critical Autonavi Software Co Ltd
Priority to CN201810914330.XA priority Critical patent/CN110866589B/zh
Publication of CN110866589A publication Critical patent/CN110866589A/zh
Application granted granted Critical
Publication of CN110866589B publication Critical patent/CN110866589B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5011—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resources being hardware resources other than CPUs, Servers and Terminals
    • G06F9/5016—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resources being hardware resources other than CPUs, Servers and Terminals the resource being the memory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5011—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resources being hardware resources other than CPUs, Servers and Terminals
    • G06F9/5022—Mechanisms to release resources
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Neurology (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本发明公开一种深度神经网络模型的运行方法、装置及框架，涉及计算机技术领域，能够解决现有DNN模型运行过程中占用内存较多的问题。本发明的方法主要包括：当确定深度神经网络DNN模型在监控周期内有预设个数的层运行完毕时，根据预设内存释放策略，释放所述DNN模型当前占用的未使用内存，所述预设内存释放策略包括用于优化所述DNN模型占用内存的内存释放时机和内存释放途径；基于所述DNN模型的内存释放结果，为所述DNN模型中需要申请内存的层申请内存，并基于申请的内存运行所述需要申请内存的层。本发明主要适用于多线程并发运行DNN模型的场景中。

Description

深度神经网络模型的运行方法、装置及框架
技术领域
本发明涉及计算机技术领域，特别是涉及一种深度神经网络模型的运行方法、装置及框架。
背景技术
深度神经网络(Deep Neural Network，简称DNN)是一种模拟人脑神经网络，以实现人工智能的机器学习技术。随着人类需求的增多、客户要求的提高，DNN研究者逐渐研究出更大更复杂的模型，来高效地处理更多更复杂的数据，使其在图像处理、人脸识别、语音识别等热门领域得到广泛应用。
DNN模型主要由输入层、隐层和输出层组成，其中输入层和输出层均只有一层，而隐层可以有多层，并且随着隐层的增多，DNN模型的逻辑复杂度也会增高。目前在DNN模型运行过程中，会依次针对每一层不断地向系统申请内存，使得DNN模型占用的内存越来越多，系统剩余内存越来越少。因此，如何减少DNN模型运行过程中占用的内存是亟待解决的。
发明内容
有鉴于此，本发明提供的深度神经网络模型的运行方法、装置及框架，其目的在于如何解决现有DNN模型运行过程中占用内存较多的问题。
第一方面，本发明提供了一种深度神经网络模型的运行方法，所述方法包括：
当确定深度神经网络DNN模型在监控周期内有预设个数的层运行完毕时，根据预设内存释放策略，释放所述DNN模型当前占用的未使用内存，所述预设内存释放策略包括用于优化所述DNN模型占用内存的内存释放时机和内存释放途径；
基于所述DNN模型的内存释放结果，为所述DNN模型中需要申请内存的层申请内存，并基于申请的内存运行所述需要申请内存的层。
可选的，所述根据预设内存释放策略，释放所述DNN模型当前占用的未使用内存包括：
判断当前是否到达所述预设内存释放策略中记录的内存释放时机；
若当前已达到内存释放时机，则确定当前的内存释放时机所对应的内存释放途径，并根据确定的内存释放途径，释放所述DNN模型当前占用的未使用内存。
可选的，所述确定当前的内存释放时机所对应的内存释放途径包括：
将根据预设选取规则选取的内存释放途径确定为所述当前的内存释放时机所对应的内存释放途径；
或者，根据所述预设内存释放策略中预先设置的内存释放时机与内存释放途径的对应关系，确定所述当前的内存释放时机所对应的内存释放途径。
可选的，所述释放所述DNN模型当前占用的未使用内存，包括：
将所述DNN模型当前占用的未使用内存释放到系统和/或内存池中。
可选的，为所述DNN模型中需要申请内存的层申请内存包括：
为所述需要申请内存的层向所述内存池申请内存；
若所述内存池中的内存不足，则为所述需要申请内存的层向系统申请内存。
可选的，在多线程并发运行多个DNN模型的情况下，为所述DNN模型中需要申请内存的层申请内存包括：
为所述需要申请内存的层向所述内存池申请内存；
若所述内存池被锁定，则为所述需要申请内存的层向系统申请内存；
若所述内存池未被锁定，但所述内存池中的内存不足，则为所述需要申请内存的层向所述系统申请内存。
可选的，所述基于申请的内存运行所述需要申请内存的层包括：
将输入的特征图进行分块处理，获得多个特征分块；
基于申请的内存，并行拷贝并计算所述多个特征分块；或者，基于申请的内存，在拷贝完当前特征分块并开始计算的同时拷贝下一特征分块，直至计算完所有特征分块。
可选的，将输入的特征图进行分块处理，获得多个特征分块包括：
在针对所述DNN模型中的卷积神经网络模型进行卷积运算的过程中，将输入的特征图进行分块处理，获得多个特征分块。
可选的，所述方法还包括：
记录所述DNN模型运行过程中占用内存情况的内存日志。
可选的，所述预设内存释放策略是通过对所述DNN模型历史运行过程生成的完整内存日志分析得到的、用于优化内存的完整内存释放策略；
或者，所述预设内存释放策略是用户基于查询接口查询实时内存日志，并对所述实时内存日志进行分析得到、用于优化内存的实时内存释放策略。
可选的，确定深度神经网络DNN模型在监控周期内有预设个数的层运行完毕包括：
获取在所述监控周期内正在运行的层的生命周期，所述生命周期是通过对模型文件中记录的所述DNN模型的输入输出信息进行分析而得；
当所述正在运行的层的生命周期结束时，确定所述正在运行的层运行完毕；
当运行完毕的层的个数达到所述预设个数时，确定在所述监控周期内有所述预设个数的层运行完毕。
第二方面，本发明提供了一种深度神经网络模型的运行装置，所述装置包括：
释放单元，用于当确定深度神经网络DNN模型在监控周期内有预设个数的层运行完毕时，根据预设内存释放策略，释放所述DNN模型当前占用的未使用内存，所述预设内存释放策略包括用于优化所述DNN模型占用内存的内存释放时机和内存释放途径；
申请单元，用于基于所述DNN模型的内存释放结果，为所述DNN模型中需要申请内存的层申请内存；
运行单元，用于基于申请的内存运行所述需要申请内存的层。
可选的，所述释放单元包括：
判断模块，用于判断当前是否到达所述预设内存释放策略中记录的内存释放时机；
第一确定模块，用于当当前已达到内存释放时机时，确定当前的内存释放时机所对应的内存释放途径；
释放模块，用于根据确定的内存释放途径，释放所述DNN模型当前占用的未使用内存。
可选的，所述第一确定模块，用于当当前已达到内存释放时机时，将根据预设选取规则选取的内存释放途径确定为所述当前的内存释放时机所对应的内存释放途径；或者，根据所述预设内存释放策略中预先设置的内存释放时机与内存释放途径的对应关系，确定所述当前的内存释放时机所对应的内存释放途径。
可选的，所述释放单元，用于根据预设内存释放策略，将所述DNN模型当前占用的未使用内存释放到系统和/或内存池中。
可选的，所述申请单元，用于基于所述DNN模型的内存释放结果，为所述需要申请内存的层向所述内存池申请内存；若所述内存池中的内存不足，则为所述需要申请内存的层向系统申请内存。
可选的，所述申请单元，用于在多线程并发运行多个DNN模型的情况下，基于所述DNN模型的内存释放结果，为所述需要申请内存的层向所述内存池申请内存；若所述内存池被锁定，则为所述需要申请内存的层向系统申请内存；若所述内存池未被锁定，但所述内存池中的内存不足，则为所述需要申请内存的层向所述系统申请内存。
可选的，所述运行单元包括：
分块模块，用于将输入的特征图进行分块处理，获得多个特征分块；
拷贝计算模块，用于基于申请的内存，并行拷贝并计算所述多个特征分块；或者，基于申请的内存，在拷贝完当前特征分块并开始计算的同时拷贝下一特征分块，直至计算完所有特征分块。
可选的，所述分块模块，用于在针对所述DNN模型中的卷积神经网络模型进行卷积运算的过程中，将输入的特征图进行分块处理，获得多个特征分块。
可选的，所述装置还包括：
记录单元，用于记录所述DNN模型运行过程中占用内存情况的内存日志。
可选的，所述释放单元释放所述DNN模型当前占用的未使用内存时，所根据的所述预设内存释放策略是通过对所述DNN模型历史运行过程生成的完整内存日志分析得到的、用于优化内存的完整内存释放策略；或者是用户基于查询接口查询实时内存日志，并对所述实时内存日志进行分析得到、用于优化内存的实时内存释放策略。
可选的，所述装置还包括：
确定单元，用于确定所述DNN模型在监控周期内是否有预设个数的层运行完毕；
所述确定单元包括：
获取模块，用于获取在所述监控周期内正在运行的层的生命周期，所述生命周期是通过对模型文件中记录的所述DNN模型的输入输出信息进行分析而得；
第二确定模块，用于当所述正在运行的层的生命周期结束时，确定所述正在运行的层运行完毕；
所述第二确定模块，还用于当运行完毕的层的个数达到所述预设个数时，确定在所述监控周期内有所述预设个数的层运行完毕。
第三方面，本发明提供了一种深度神经网络模型的运行框架，所述框架包括：初始化层、管理层和数据层；所述管理层包括第二方面所述的装置，所述数据层包括内存池、内存分配与复用模块；
所述初始化层，用于通过分析深度神经网络DNN模型的模型文件，获取所述DNN模型各层的计算顺序和每层占用内存的生命周期；
所述内存池，用于存储所述DNN模型的层释放的内存；
所述内存分配与复用模块，用于在所述DNN模型的层向所述内存池申请内存时，为需要申请内存的层分配所述内存池中的内存。
第四方面，本发明提供了一种存储介质，所述存储介质存储有多条指令，所述指令适用于由处理器加载并执行如第一方面所述的深度神经网络模型的运行方法。
第五方面，本发明提供了一种电子设备，所述电子设备包括：存储介质和处理器；
所述处理器，适于实现各指令；
所述存储介质，适于存储多条指令；
所述指令适于由所述处理器加载并执行如第一方面所述的深度神经网络模型的运行方法。
借由上述技术方案，本发明提供的深度神经网络模型的运行方法、装置及框架，能够当确定DNN模型在监控周期内有预设个数的层运行完毕时，不是直接为需要申请内存的层继续向系统申请所需的内存，而是先根据包括用于优化内存的内存释放时机和内存释放途径的预设内存释放策略，将DNN模型当前占用的未使用内存进行释放，然后再基于DNN模型的内存释放结果，为该DNN模型中需要申请内存的层申请内存，并基于申请的内存运行该需要申请内存的层，从而使得整个DNN模型在运行过程中，占用的内存并不是持续增加的，而是在增加和减少中变换，进而可以起到减少DNN模型整个运行过程中占用内存量的作用。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
图1示出了本发明实施例提供的一种深度神经网络模型的运行方法的流程图；
图2示出了本发明实施例提供的另一种深度神经网络模型的运行方法的流程图；
图3示出了本发明实施例提供的一种深度神经网络模型的运行装置的组成框图；
图4示出了本发明实施例提供的另一种深度神经网络模型的运行装置的组成框图；
图5示出了本发明实施例提供的一种深度神经网络模型的运行框架的结构示意图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
为了减少DNN模型运行过程中占用的内存，本发明实施例提供了一种深度神经网络模型的运行方法，如图1所示，所述方法主要包括：
101、当确定DNN模型在监控周期内有预设个数的层运行完毕时，根据预设内存释放策略，释放所述DNN模型当前占用的未使用内存。
其中，所述预设内存释放策略包括用于优化所述DNN模型占用内存的内存释放时机和内存释放途径。内存释放时机包括单个DNN模型的某层运行完成时、单个DNN模型运行完成时以及所有DNN模型运行完成时。也就是说，当确定DNN模型在监控周期内有预设个数的层运行完毕时，可以根据预设内存释放策略中的内存释放时机确定当前时间是否可以释放DNN模型当前占用的未使用内存，若需要释放内存，则还需要根据内存释放途径来释放DNN模型当前占用的未使用内存。其中，DNN模型当前占用的未使用内存包括运行完毕的所有层当前占用的总内存。也就是说，若在监控周期内运行完毕的预设个数的层的之前层都没有占用内存，则可以仅释放该预设个数的层占用的内存；若该预设个数的层的之前层中存在占用内存的，则除了要释放该预设个数的层占用的内存外，还要释放之前层占用的内存。
在实际应用中，一个监控周期可以是预先定义好的一个时间段，也可以是从上一次释放内存开始到监控到预设个数的层运行完毕。
102、基于所述DNN模型的内存释放结果，为所述DNN模型中需要申请内存的层申请内存，并基于申请的内存运行所述需要申请内存的层。
根据上述步骤101的详解可知，DNN模型当前占用的未使用内存可能会被释放，也可能不会被释放；当被释放时，可能会释放到一个内存释放途径中，也可能会释放到另一个内存释放途径中。因此，可以根据具体的内存释放结果，来确定向哪里为需要申请内存的层申请内存，在申请成功内存后，再运行该需要申请内存的层。其中，由于有的DNN模型中各个层之间均具有依赖关系，有的DNN模型中可能存在部分层之间没有依赖关系，所以有的DNN模型只能一层一层顺序执行，有的DNN模型可以存在部分层并行执行。因此，同一时间需要运行的层可能只有一层，也可能有多层，故而需要申请内存的层可能只有一层，也可能有多层。
DNN模型每层所使用的内存主要包括：输入特征图(feature map)时所需的内存、输出feature map时所需的内存以及进行运算(例如卷积运算)时所需的内存。在为每层申请内存时，并不是直接为整个层申请内存，而是一步步申请内存，即先为输入feature map申请内存，在对feature map进行运算的过程中再申请运算时所需的存储，最后为输出feature map申请内存。其中，每个DNN模型都含有对应的模型文件，该模型文件用于描述DNN模型每层的输入输出信息，因此在为输入feature map和输出featuremap申请内存时，可以根据输入输出信息获知所需占用内存的大小。
本发明实施例提供的深度神经网络模型的运行方法，能够当确定DNN模型在监控周期内有预设个数的层运行完毕时，不是直接为需要申请内存的层继续向系统申请所需的内存，而是先根据包括用于优化内存的内存释放时机和内存释放途径的预设内存释放策略，将DNN模型当前占用的未使用内存进行释放，然后再基于DNN模型的内存释放结果，为该DNN模型中需要申请内存的层申请内存，并基于申请的内存运行该需要申请内存的层，从而使得整个DNN模型在运行过程中，占用的内存并不是持续增加的，而是在增加和减少中变换，进而可以起到减少DNN模型整个运行过程中占用内存量的作用。
进一步的，根据图1所示的方法，本发明的另一个实施例还提供了一种深度神经网络模型的运行方法，如图2所示，所述方法主要包括：
201、当确定DNN模型在监控周期内有预设个数的层运行完毕时，判断当前是否到达预设内存释放策略中记录的内存释放时机；若当前已达到内存释放时机，则执行步骤202；若当前未达到内存释放时机，则执行步骤203。
在上述步骤102中提及，每个DNN模型都含有一个对应的用于描述每层输入输出信息的模型文件，因此在对DNN模型进行运行之前，可以先根据模型文件中的输入输出信息计算出每层使用内存的生命周期，并将每层的生命周期进行记录；在运行DNN模型的过程中，可以获取在所述监控周期内正在运行的层的生命周期，当该正在运行的层的生命周期结束时，确定该正在运行的层运行完毕，当运行完毕的层的个数达到该预设个数时，确定在该监控周期内有该预设个数的层运行完毕。
当确定DNN模型在监控周期内有预设个数的层运行完毕时，可以判断当前是否到达预设内存释放策略中记录的内存释放时机；若当前已达到内存释放时机，则可以确定当前的内存释放时机所对应的内存释放途径，并根据确定的内存释放途径，释放DNN模型当前占用的未使用内存；若当前未达到内存释放时机，则不释放所述DNN模型当前占用的未使用内存。
202、确定当前的内存释放时机所对应的内存释放途径，并根据确定的内存释放途径，释放所述DNN模型当前占用的未使用内存。
内存释放途径包括内存池和/或系统。若当前的内存释放时机所对应的内存释放途径是内存池，则将DNN模型当前占用的未使用内存释放到内存池中；若当前的内存释放时机所对应的内存释放途径是系统，则将DNN模型当前占用的未使用内存释放到系统中。
具体的，为了减小DNN模型运行过程中占用的内存，可以在每层运行完毕后，就将当前层占用的内存释放到系统中，下一层直接根据所需向系统申请内存，从而使得在每层运行过程中，DNN模型占用的内存都是最小的，进而使得DNN模型整个运行过程中占用的内存最少。但是，若每层都将内存释放到系统中，每层都需要花费时间向系统申请内存，则也会造成DNN模型运行效率大大降低的问题。因此，为了平衡内存占用量和运行效率，可以选择将内存释放到内存池当中，使得需要申请内存的层无需花费大量时间从系统中申请内存，直接快速从内存池中获取即可。然而，每层占用的内存不一定相同，若每层运行完毕后，就立即将内存释放到内存池当中，需要申请内存的层运行时可能因内存池内存不够还是需要向系统申请内存，并且若各层占用内存量是递增的，则每层都会出现内存池内存不够而需要向系统申请内存的现象，从而整个DNN模型的运行效率还是很低。因此，为了在尽量减小内存占用量的情况下，尽量再提高DNN模型的运行效率，还需要衡量内存释放的时机。
由此可知，在实际应用中，为了平衡内存占用量和运行效率，有时需要将内存释放到内存池中，有时需要将内存释放到系统中。具体的，可以设置一个预设选取规则(例如随机选取)，然后根据该预设选取规则选取本次所需的内存释放途径，并将根据预设选取规则选取的内存释放途径确定为所述当前的内存释放时机所对应的内存释放途径。
然而，根据预设选取规则为每个内存释放时机选取的内存释放途径往往与实际情况结合的程度较差，在平衡内存占用量和运行效率方面还是无法达到最佳效果。因此，可以根据实际情况预先设置好内存释放时机与内存释放途径的对应关系(即预设内存释放策略中直接存储内存释放时机与内存释放途径的对应关系)，在需要释放内存时，直接根据预先设置的对应关系，确定当前的内存释放时机所对应的内存释放途径。在实际应用中，内存释放时机与内存释放途径的对应关系可以是用户根据DNN模型历史运行情况设置的，也可以是用户根据DNN模型当前的运行情况设置的。为了让用户查询DNN模型的历史运行情况或者当前运行情况，可以记录DNN模型运行过程中占用内存情况的内存日志，以便用户通过分析内存日志来设置内存释放策略。也就是说，预设内存释放策略可以是通过对DNN模型历史运行过程生成的完整内存日志(DNN模型运行生成的所有内存日志)分析得到的、用于优化内存的完整内存释放策略；或者，预设内存释放策略可以是用户基于查询接口查询实时内存日志(即当前内存日志)，并对实时内存日志进行分析得到、用于优化内存的实时内存释放策略。此外，在实际应用中，为了便于用户查询内存日志，可以将实时内存日志和完整内存日志分开进行存储，并分别提供对应的查询接口。
示例性的，假如DNN模型的输入层需要2MB内存、第一隐层需要3MB内存、第二隐层需要5MB内存、输出层需要4M内存，则不同内存管理方法导致内存占用量和运行效率不同。
(1)若每层运行完毕后，都释放内存到系统中，则具体过程如下：针对输入层向系统申请2MB内存，输入层运行完毕后，释放2MB内存到系统中；再针对第一隐层向系统申请3MB内存，第一隐层运行完毕后，释放3MB内存到系统中；再针对第二隐层向系统申请5MB内存，第二隐层运行完毕后释放5MB内存到系统中；最后针对输出层向系统申请4MB内存，输出层运行完毕后释放4MB内存到系统中。由此可知，该方法使得DNN模型运行过程中占用的最大内存是5MB，但需要向系统申请4次内存。
(2)若均衡内存占用量和运行效率，则具体过程可以如下：针对输入层向系统申请2MB内存，输入层运行完毕后，不释放内存；再针对第一隐层向系统申请3MB内存，第一隐层运行完毕后，释放输入层和第一隐层占用的5MB内存到内存池中；针对第二隐层向内存池申请5MB内存(即2MB内存块和3MB内存块)，第二隐层运行完毕后，释放5MB内存到内存池中；针对输出层向内存池申请2MB内存块和3MB内存块，输出层运行完毕后，释放2MB内存块和3MB内存块到系统中。由此可知，该方法使得DNN模型运行过程中占用的最大内存也是5MB，但只需要向系统申请1次内存。
203、不释放所述DNN模型当前占用的未使用内存。
204、基于所述DNN模型的内存释放结果，为所述DNN模型中需要申请内存的层申请内存，并基于申请的内存运行所述需要申请内存的层。
具体的，在单线程场景下，为需要申请内存的层申请内存的具体实现方式可以为：先为所述需要申请内存的层向内存池申请内存；若内存池中的内存充足，则直接获取内存池中的内存进行运行；若内存池中的内存不足，则为所述需要申请内存的层向系统申请内存，如内存池中只有2MB内存，而需要申请内存的层需要申请3MB内存，则需要向系统申请3MB内存。
在多线程并发运行多个DNN模型的场景下，为需要申请内存的层申请内存的具体实现方式可以为：先为所述需要申请内存的层向内存池申请内存；若内存池被锁定，则为所述需要申请内存的层向系统申请内存；若内存池未被锁定，且内存池中的内存充足，则直接获取内存池中的内存进行运行；若内存池未被锁定，但内存池中的内存不足，则为所述需要申请内存的层向系统申请内存。也就是说，当多线程并发运行时，多个线程可以共享内存池，但是，在多个线程同时向内存池申请内存，而内存池的内存有限的情况下，可以为内存池设置一个锁机制，只给一个线程分配内存。另外，为了使得各个线程顺利运行，避免各线程之间产生干扰，可以采用线程本地存储技术，即将当前线程的运行过程中的变量或其他数据等存储到一定空间，而不让其他线程使用。
需要补充的是，多线程并发运行的DNN模型可以是相同种类的模型，也可以是不同种类的模型。例如，可以运行的DNN模型包括：分类模型(例如GoogleNet模型、AlexNet模型和VGG模型等)、检测模型(例如RCNN(Regions with Convolutional Neural Networkfeatures，具有卷积神经网络特征的区域)模型、R-FCN(Region-based ConvolutionalNeural Network，基于区域的全卷积网络)模型和SSD(Single Shot MultiBox Detector，单发多盒检测器)模型等)、分割模型(例如DeepLab模型和DenseNet(密集连接卷积网络)模型等)以及递归神经网络模型(例如RNN(Recurrent NeuralNetwork，循环神经网络)模型和LSTM(Long Short-Term Memory，长短期记忆网络)模型等)。
此外，为了提高每层运算的效率，尤其为了提高针对DNN模型中的卷积神经网络模型的每层进行卷积运算的效率，可以先将输入的feature map进行分块处理，获得多个特征分块，然后基于申请的内存，并行拷贝并计算该多个特征分块；或者，基于申请的内存，在拷贝完当前特征分块并开始计算的同时拷贝下一特征分块，直至计算完所有特征分块。
具体的，在对输入的feature map进行分块处理时，可以尽量将没有依赖关系的特征分到不同的特征分块，而将具有依赖关系的特征分到相同的特征分块，从而可以并行处理没有依赖关系的特征分块，而对于具有依赖关系的特征分块则需要按照依赖关系进行先后处理。
需要补充的是，由于本发明实施例是通过内存管理方面来减少DNN模型占用的内存，而不是从数据运算本身压缩DNN模型占用的内存，所以本发明实施例所提供的减少内存的方法可以与压缩内存的方法进行相结合，来进一步减少DNN模型运行过程中占用的内存。例如，可以与参数二值化、奇异值分解(Singular Value Decomposition，SVD)和稀疏化等针对单个模型的内存压缩法进行结合。
本发明实施例提供的深度神经网络模型的运行方法，相对于现有技术因递增地向系统申请内存而占用内存大而言，本发明实施例不仅能够减少DNN模型运行过程中内存的占用量，还可以根据由内存日志分析而得的预设内存释放策略选择最佳的内存释放时机和最佳的内存释放途径，而无需针对每层都向系统申请内存，从而达到均衡内存占用量和运行效率的效果。此外，在进行卷积等运算的过程中，还可以通过将输入的feature map划分为多个特征分块，并对多个特征分块进行并行处理，从而可以提高DNN模型每层的运算效率，进而提高整个DNN模型的运算效率。
进一步的，依据上述方法实施例，本发明的另一个实施例还提供了一种深度神经网络模型的运行装置，如图3所示，所述装置包括：
释放单元31，用于当确定深度神经网络DNN模型在监控周期内有预设个数的层运行完毕时，根据预设内存释放策略，释放所述DNN模型当前占用的未使用内存，所述预设内存释放策略包括用于优化所述DNN模型占用内存的内存释放时机和内存释放途径；
申请单元32，用于基于所述DNN模型的内存释放结果，为所述DNN模型中需要申请内存的层申请内存；
运行单元33，用于基于申请的内存运行所述需要申请内存的层。
可选的，如图4所示，所述释放单元31包括：
判断模块311，用于判断当前是否到达所述预设内存释放策略中记录的内存释放时机；
第一确定模块312，用于当当前已达到内存释放时机时，确定当前的内存释放时机所对应的内存释放途径；
释放模块313，用于根据确定的内存释放途径，释放所述DNN模型当前占用的未使用内存。
可选的，所述第一确定模块312，用于当当前已达到内存释放时机时，将根据预设选取规则选取的内存释放途径确定为所述当前的内存释放时机所对应的内存释放途径；或者，根据所述预设内存释放策略中预先设置的内存释放时机与内存释放途径的对应关系，确定所述当前的内存释放时机所对应的内存释放途径。
可选的，所述释放单元31，用于根据预设内存释放策略，将所述DNN模型当前占用的未使用内存释放到系统和/或内存池中。
可选的，所述申请单元32，用于基于所述DNN模型的内存释放结果，为所述需要申请内存的层向所述内存池申请内存；若所述内存池中的内存不足，则为所述需要申请内存的层向系统申请内存。
可选的，所述申请单元32，用于在多线程并发运行多个DNN模型的情况下，基于所述DNN模型的内存释放结果，为所述需要申请内存的层向所述内存池申请内存；若所述内存池被锁定，则为所述需要申请内存的层向系统申请内存；若所述内存池未被锁定，但所述内存池中的内存不足，则为所述需要申请内存的层向所述系统申请内存。
可选的，所述运行单元33包括：
分块模块331，用于将输入的特征图进行分块处理，获得多个特征分块；
拷贝计算模块332，用于基于申请的内存，并行拷贝并计算所述多个特征分块；或者，基于申请的内存，在拷贝完当前特征分块并开始计算的同时拷贝下一特征分块，直至计算完所有特征分块。
可选的，所述分块模块331，用于在针对所述DNN模型中的卷积神经网络模型进行卷积运算的过程中，将输入的特征图进行分块处理，获得多个特征分块。
可选的，如图4所示，所述装置还包括：
记录单元34，用于记录所述DNN模型运行过程中占用内存情况的内存日志。
可选的，所述释放单元31释放所述DNN模型当前占用的未使用内存时，所根据的所述预设内存释放策略是通过对所述DNN模型历史运行过程生成的完整内存日志分析得到的、用于优化内存的完整内存释放策略；或者是用户基于查询接口查询实时内存日志，并对所述实时内存日志进行分析得到、用于优化内存的实时内存释放策略。
可选的，如图4所示，所述装置还包括：
确定单元35，用于确定所述DNN模型在监控周期内是否有预设个数的层运行完毕；
所述确定单元35包括：
获取模块351，用于获取在所述监控周期内正在运行的层的生命周期，所述生命周期是通过对模型文件中记录的所述DNN模型的输入输出信息进行分析而得；
第二确定模块352，用于当所述正在运行的层的生命周期结束时，确定所述正在运行的层运行完毕；
所述第二确定模块352，还用于当运行完毕的层的个数达到所述预设个数时，确定在所述监控周期内有所述预设个数的层运行完毕。
本发明实施例提供的深度神经网络模型的运行装置中，各个功能模块运行过程中所采用的方法详解可以参见图1、图2方法实施例的对应方法详解，在此不再赘述。
本发明实施例提供的深度神经网络模型的运行装置，能够当确定DNN模型在监控周期内有预设个数的层运行完毕时，不是直接为需要申请内存的层继续向系统申请所需的内存，而是先根据包括用于优化内存的内存释放时机和内存释放途径的预设内存释放策略，将DNN模型当前占用的未使用内存进行释放，然后再基于DNN模型的内存释放结果，为该DNN模型中需要申请内存的层申请内存，并基于申请的内存运行该需要申请内存的层，从而使得整个DNN模型在运行过程中，占用的内存并不是持续增加的，而是在增加和减少中变换，进而可以起到减少DNN模型整个运行过程中占用内存量的作用。相对于现有技术因递增地向系统申请内存而占用内存大而言，本发明实施例不仅能够减少DNN模型运行过程中内存的占用量，还可以根据由内存日志分析而得的预设内存释放策略选择最佳的内存释放时机和最佳的内存释放途径，而无需针对每层都向系统申请内存，从而达到均衡内存占用量和运行效率的效果。此外，在进行卷积等运算的过程中，还可以通过将输入的feature map划分为多个特征分块，并对多个特征分块进行并行处理，从而可以提高DNN模型每层的运算效率，进而提高整个DNN模型的运算效率。
进一步的，依据上述方法及装置实施例，本发明的另一个实施例还提供了一种深度神经网络模型的运行框架，如图5所示，所述框架是基于Caffe原始框架的改进，所述框架包括：初始化层、管理层和数据层；所述管理层包括图3或图4所示的装置，所述数据层包括内存池、内存分配与复用单元；
所述初始化层，用于通过分析深度神经网络DNN模型的模型文件，获取所述DNN模型各层的计算顺序和每层占用内存的生命周期；
所述内存池，用于存储所述DNN模型的层释放的内存；
所述内存分配与复用单元，用于在所述DNN模型的层向所述内存池申请内存时，为需要申请内存的层分配所述内存池中的内存。
此外，如图5所示，当所述管理层包括记录单元时，可以将日志记录到数据层，在数据层生成日志文件。DNN模型可运行的硬件环境包括Nvidia GPU(Nvidia GraphicsProcessing Unit，英伟达图形处理器)、X86CPU(X86Central Processing Unit，X86处理器)和ARM CPU(Advanced RISC Machines Central Processing Unit，ARM处理器)。
本发明实施例提供的深度神经网络模型的运行框架，包括初始化层、管理层和数据层，管理层能够当确定DNN模型在监控周期内有预设个数的层运行完毕时，不是直接为需要申请内存的层继续向系统申请所需的内存，而是先根据包括用于优化内存的内存释放时机和内存释放途径的预设内存释放策略，将DNN模型当前占用的未使用内存进行释放，然后再基于DNN模型的内存释放结果，为该DNN模型中需要申请内存的层申请内存，并基于申请的内存运行该需要申请内存的层，从而使得整个DNN模型在运行过程中，占用的内存并不是持续增加的，而是在增加和减少中变换，进而可以起到减少DNN模型整个运行过程中占用内存量的作用。相对于现有技术因递增地向系统申请内存而占用内存大而言，本发明实施例不仅能够减少DNN模型运行过程中内存的占用量，还可以根据由内存日志分析而得的预设内存释放策略选择最佳的内存释放时机和最佳的内存释放途径，而无需针对每层都向系统申请内存，从而达到均衡内存占用量和运行效率的效果。此外，在进行卷积等运算的过程中，还可以通过将输入的feature map划分为多个特征分块，并对多个特征分块进行并行处理，从而可以提高DNN模型每层的运算效率，进而提高整个DNN模型的运算效率。
进一步的，依据上述实施例，本发明的另一个实施例还提供了一种存储介质，所述存储介质存储有多条指令，所述指令适用于由处理器加载并执行如上所述的深度神经网络模型的运行方法。
本发明实施例提供的存储介质中存储的指令，能够当确定DNN模型在监控周期内有预设个数的层运行完毕时，不是直接为需要申请内存的层继续向系统申请所需的内存，而是先根据包括用于优化内存的内存释放时机和内存释放途径的预设内存释放策略，将DNN模型当前占用的未使用内存进行释放，然后再基于DNN模型的内存释放结果，为该DNN模型中需要申请内存的层申请内存，并基于申请的内存运行该需要申请内存的层，从而使得整个DNN模型在运行过程中，占用的内存并不是持续增加的，而是在增加和减少中变换，进而可以起到减少DNN模型整个运行过程中占用内存量的作用。相对于现有技术因递增地向系统申请内存而占用内存大而言，本发明实施例不仅能够减少DNN模型运行过程中内存的占用量，还可以根据由内存日志分析而得的预设内存释放策略选择最佳的内存释放时机和最佳的内存释放途径，而无需针对每层都向系统申请内存，从而达到均衡内存占用量和运行效率的效果。此外，在进行卷积等运算的过程中，还可以通过将输入的feature map划分为多个特征分块，并对多个特征分块进行并行处理，从而可以提高DNN模型每层的运算效率，进而提高整个DNN模型的运算效率。
进一步的，依据上述实施例，本发明的另一个实施例还提供了一种电子设备，所述电子设备包括：存储介质和处理器；
所述处理器，适于实现各指令；
所述存储介质，适于存储多条指令；
所述指令适于由所述处理器加载并执行如上所述的深度神经网络模型的运行方法。
本发明实施例提供的电子设备，能够当确定DNN模型在监控周期内有预设个数的层运行完毕时，不是直接为需要申请内存的层继续向系统申请所需的内存，而是先根据包括用于优化内存的内存释放时机和内存释放途径的预设内存释放策略，将DNN模型当前占用的未使用内存进行释放，然后再基于DNN模型的内存释放结果，为该DNN模型中需要申请内存的层申请内存，并基于申请的内存运行该需要申请内存的层，从而使得整个DNN模型在运行过程中，占用的内存并不是持续增加的，而是在增加和减少中变换，进而可以起到减少DNN模型整个运行过程中占用内存量的作用。相对于现有技术因递增地向系统申请内存而占用内存大而言，本发明实施例不仅能够减少DNN模型运行过程中内存的占用量，还可以根据由内存日志分析而得的预设内存释放策略选择最佳的内存释放时机和最佳的内存释放途径，而无需针对每层都向系统申请内存，从而达到均衡内存占用量和运行效率的效果。此外，在进行卷积等运算的过程中，还可以通过将输入的feature map划分为多个特征分块，并对多个特征分块进行并行处理，从而可以提高DNN模型每层的运算效率，进而提高整个DNN模型的运算效率。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
可以理解的是，上述方法及装置中的相关特征可以相互参考。另外，上述实施例中的“第一”、“第二”等是用于区分各实施例，而并不代表各实施例的优劣。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在此提供的算法和显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述，构造这类系统所要求的结构是显而易见的。此外，本发明也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本发明的内容，并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。
在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。
类似地，应当理解，为了精简本公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。
本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的深度神经网络模型的运行方法、装置及框架中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。
应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。

Claims (25)

1.一种深度神经网络模型的运行方法，其特征在于，所述方法包括：
当确定深度神经网络DNN模型在监控周期内有预设个数的层运行完毕时，根据预设内存释放策略，释放所述DNN模型当前占用的未使用内存，所述预设内存释放策略包括用于优化所述DNN模型占用内存的内存释放时机和内存释放途径；
基于所述DNN模型的内存释放结果，为所述DNN模型中需要申请内存的层申请内存，并基于申请的内存运行所述需要申请内存的层。
2.根据权利要求1所述的方法，其特征在于，所述根据预设内存释放策略，释放所述DNN模型当前占用的未使用内存包括：
判断当前是否到达所述预设内存释放策略中记录的内存释放时机；
若当前已达到内存释放时机，则确定当前的内存释放时机所对应的内存释放途径，并根据确定的内存释放途径，释放所述DNN模型当前占用的未使用内存。
3.根据权利要求2所述的方法，其特征在于，所述确定当前的内存释放时机所对应的内存释放途径包括：
将根据预设选取规则选取的内存释放途径确定为所述当前的内存释放时机所对应的内存释放途径；
或者，根据所述预设内存释放策略中预先设置的内存释放时机与内存释放途径的对应关系，确定所述当前的内存释放时机所对应的内存释放途径。
4.根据权利要求2所述的方法，其特征在于，所述释放所述DNN模型当前占用的未使用内存，包括：
将所述DNN模型当前占用的未使用内存释放到系统和/或内存池中。
5.根据权利要求4所述的方法，其特征在于，为所述DNN模型中需要申请内存的层申请内存包括：
为所述需要申请内存的层向所述内存池申请内存；
若所述内存池中的内存不足，则为所述需要申请内存的层向系统申请内存。
6.根据权利要求4所述的方法，其特征在于，在多线程并发运行多个DNN模型的情况下，为所述DNN模型中需要申请内存的层申请内存包括：
为所述需要申请内存的层向所述内存池申请内存；
若所述内存池被锁定，则为所述需要申请内存的层向系统申请内存；
若所述内存池未被锁定，但所述内存池中的内存不足，则为所述需要申请内存的层向所述系统申请内存。
7.根据权利要求1所述的方法，其特征在于，所述基于申请的内存运行所述需要申请内存的层包括：
将输入的特征图进行分块处理，获得多个特征分块；
基于申请的内存，并行拷贝并计算所述多个特征分块；或者，基于申请的内存，在拷贝完当前特征分块并开始计算的同时拷贝下一特征分块，直至计算完所有特征分块。
8.根据权利要求7所述的方法，其特征在于，将输入的特征图进行分块处理，获得多个特征分块包括：
在针对所述DNN模型中的卷积神经网络模型进行卷积运算的过程中，将输入的特征图进行分块处理，获得多个特征分块。
9.根据权利要求1所述的方法，其特征在于，所述方法还包括：
记录所述DNN模型运行过程中占用内存情况的内存日志。
10.根据权利要求9所述的方法，其特征在于，所述预设内存释放策略是通过对所述DNN模型历史运行过程生成的完整内存日志分析得到的、用于优化内存的完整内存释放策略；
或者，所述预设内存释放策略是用户基于查询接口查询实时内存日志，并对所述实时内存日志进行分析得到、用于优化内存的实时内存释放策略。
11.根据权利要求1至10中任一项所述的方法，其特征在于，确定深度神经网络DNN模型在监控周期内有预设个数的层运行完毕包括：
获取在所述监控周期内正在运行的层的生命周期，所述生命周期是通过对模型文件中记录的所述DNN模型的输入输出信息进行分析而得；
当所述正在运行的层的生命周期结束时，确定所述正在运行的层运行完毕；
当运行完毕的层的个数达到所述预设个数时，确定在所述监控周期内有所述预设个数的层运行完毕。
12.一种深度神经网络模型的运行装置，其特征在于，所述装置包括：
释放单元，用于当确定深度神经网络DNN模型在监控周期内有预设个数的层运行完毕时，根据预设内存释放策略，释放所述DNN模型当前占用的未使用内存，所述预设内存释放策略包括用于优化所述DNN模型占用内存的内存释放时机和内存释放途径；
申请单元，用于基于所述DNN模型的内存释放结果，为所述DNN模型中需要申请内存的层申请内存；
运行单元，用于基于申请的内存运行所述需要申请内存的层。
13.根据权利要求12所述的装置，其特征在于，所述释放单元包括：
判断模块，用于判断当前是否到达所述预设内存释放策略中记录的内存释放时机；
第一确定模块，用于当当前已达到内存释放时机时，确定当前的内存释放时机所对应的内存释放途径；
释放模块，用于根据确定的内存释放途径，释放所述DNN模型当前占用的未使用内存。
14.根据权利要求13所述的装置，其特征在于，所述第一确定模块，用于当当前已达到内存释放时机时，将根据预设选取规则选取的内存释放途径确定为所述当前的内存释放时机所对应的内存释放途径；或者，根据所述预设内存释放策略中预先设置的内存释放时机与内存释放途径的对应关系，确定所述当前的内存释放时机所对应的内存释放途径。
15.根据权利要求13所述的装置，其特征在于，所述释放单元，用于根据预设内存释放策略，将所述DNN模型当前占用的未使用内存释放到系统和/或内存池中。
16.根据权利要求15所述的装置，其特征在于，所述申请单元，用于基于所述DNN模型的内存释放结果，为所述需要申请内存的层向所述内存池申请内存；若所述内存池中的内存不足，则为所述需要申请内存的层向系统申请内存。
17.根据权利要求15所述的装置，其特征在于，所述申请单元，用于在多线程并发运行多个DNN模型的情况下，基于所述DNN模型的内存释放结果，为所述需要申请内存的层向所述内存池申请内存；若所述内存池被锁定，则为所述需要申请内存的层向系统申请内存；若所述内存池未被锁定，但所述内存池中的内存不足，则为所述需要申请内存的层向所述系统申请内存。
18.根据权利要求12所述的装置，其特征在于，所述运行单元包括：
分块模块，用于将输入的特征图进行分块处理，获得多个特征分块；
拷贝计算模块，用于基于申请的内存，并行拷贝并计算所述多个特征分块；或者，基于申请的内存，在拷贝完当前特征分块并开始计算的同时拷贝下一特征分块，直至计算完所有特征分块。
19.根据权利要求18所述的装置，其特征在于，所述分块模块，用于在针对所述DNN模型中的卷积神经网络模型进行卷积运算的过程中，将输入的特征图进行分块处理，获得多个特征分块。
20.根据权利要求12所述的装置，其特征在于，所述装置还包括：
记录单元，用于记录所述DNN模型运行过程中占用内存情况的内存日志。
21.根据权利要求20所述的装置，其特征在于，所述释放单元释放所述DNN模型当前占用的未使用内存时，所根据的所述预设内存释放策略是通过对所述DNN模型历史运行过程生成的完整内存日志分析得到的、用于优化内存的完整内存释放策略；或者是用户基于查询接口查询实时内存日志，并对所述实时内存日志进行分析得到、用于优化内存的实时内存释放策略。
22.根据权利要求12至21中任一项所述的装置，其特征在于，所述装置还包括：
确定单元，用于确定所述DNN模型在监控周期内是否有预设个数的层运行完毕；
所述确定单元包括：
获取模块，用于获取在所述监控周期内正在运行的层的生命周期，所述生命周期是通过对模型文件中记录的所述DNN模型的输入输出信息进行分析而得；
第二确定模块，用于当所述正在运行的层的生命周期结束时，确定所述正在运行的层运行完毕；
所述第二确定模块，还用于当运行完毕的层的个数达到所述预设个数时，确定在所述监控周期内有所述预设个数的层运行完毕。
23.一种深度神经网络模型的运行框架，其特征在于，所述框架包括：初始化层、管理层和数据层；所述管理层包括权利要求12至22中任一项所述的装置，所述数据层包括内存池、内存分配与复用单元；
所述初始化层，用于通过分析深度神经网络DNN模型的模型文件，获取所述DNN模型各层的计算顺序和每层占用内存的生命周期；
所述内存池，用于存储所述DNN模型的层释放的内存；
所述内存分配与复用单元，用于在所述DNN模型的层向所述内存池申请内存时，为需要申请内存的层分配所述内存池中的内存。
24.一种存储介质，其特征在于，所述存储介质存储有多条指令，所述指令适用于由处理器加载并执行如权利要求1至11中任意一项所述的深度神经网络模型的运行方法。
25.一种电子设备，其特征在于，所述电子设备包括：存储介质和处理器；
所述处理器，适于实现各指令；
所述存储介质，适于存储多条指令；
所述指令适于由所述处理器加载并执行如权利要求1至11中任意一项所述的深度神经网络模型的运行方法。
CN201810914330.XA 2018-08-10 2018-08-10 深度神经网络模型的运行方法、装置及框架 Active CN110866589B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810914330.XA CN110866589B (zh) 2018-08-10 2018-08-10 深度神经网络模型的运行方法、装置及框架

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810914330.XA CN110866589B (zh) 2018-08-10 2018-08-10 深度神经网络模型的运行方法、装置及框架

Publications (2)

Publication Number Publication Date
CN110866589A true CN110866589A (zh) 2020-03-06
CN110866589B CN110866589B (zh) 2023-06-30

Family

ID=69651008

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810914330.XA Active CN110866589B (zh) 2018-08-10 2018-08-10 深度神经网络模型的运行方法、装置及框架

Country Status (1)

Country Link
CN (1) CN110866589B (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111562986A (zh) * 2020-05-11 2020-08-21 上海加糖科技有限公司 内存分配方法、装置、电子设备和计算机可读存储介质
CN111897517A (zh) * 2020-07-13 2020-11-06 浙江大华技术股份有限公司 一种关系图生成方法及装置
CN112256440A (zh) * 2020-12-23 2021-01-22 上海齐感电子信息科技有限公司 神经网络推理的内存管理方法及装置
CN112596811A (zh) * 2020-12-17 2021-04-02 杭州艾芯智能科技有限公司 动态数据加载减少内存开销的方法、系统、计算机设备及存储介质
CN112862067A (zh) * 2021-01-14 2021-05-28 支付宝(杭州)信息技术有限公司 基于隐私保护利用业务模型进行业务处理的方法和装置
CN113608881A (zh) * 2021-10-09 2021-11-05 腾讯科技（深圳）有限公司 内存分配方法、装置、设备、可读存储介质及程序产品
WO2021227789A1 (zh) * 2020-05-09 2021-11-18 深圳云天励飞技术股份有限公司 存储空间的分配方法、装置、终端及计算机可读存储介质
CN114020450A (zh) * 2021-10-08 2022-02-08 深圳云天励飞技术股份有限公司 一种神经网络模型执行方法、装置、系统、电子设备
WO2022257980A1 (zh) * 2021-06-10 2022-12-15 寒武纪(西安)集成电路有限公司 计算装置、利用计算装置实施卷积运算的方法及相关产品

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102541748A (zh) * 2011-12-28 2012-07-04 青岛海信宽带多媒体技术有限公司 一种内存保护方法
US20160342888A1 (en) * 2015-05-20 2016-11-24 Nec Laboratories America, Inc. Memory efficiency for convolutional neural networks operating on graphics processing units
CN107145902A (zh) * 2017-04-27 2017-09-08 厦门美图之家科技有限公司 一种基于卷积神经网络的图像处理方法、装置及移动终端
CN107729134A (zh) * 2017-10-31 2018-02-23 努比亚技术有限公司 一种提高应用程序本地方法运行速度的方法、移动终端及计算机可读存储介质
CN107729081A (zh) * 2017-09-30 2018-02-23 广东欧珀移动通信有限公司 应用管理方法、装置、存储介质及电子设备
CN108009634A (zh) * 2017-12-21 2018-05-08 美的集团股份有限公司 一种卷积神经网络的优化方法、装置及计算机存储介质
EP3346379A1 (en) * 2017-01-09 2018-07-11 Sap Se Database management system with dynamic allocation of database requests
CN108304265A (zh) * 2018-01-23 2018-07-20 腾讯科技（深圳）有限公司 内存管理方法、装置及存储介质

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102541748A (zh) * 2011-12-28 2012-07-04 青岛海信宽带多媒体技术有限公司 一种内存保护方法
US20160342888A1 (en) * 2015-05-20 2016-11-24 Nec Laboratories America, Inc. Memory efficiency for convolutional neural networks operating on graphics processing units
EP3346379A1 (en) * 2017-01-09 2018-07-11 Sap Se Database management system with dynamic allocation of database requests
CN107145902A (zh) * 2017-04-27 2017-09-08 厦门美图之家科技有限公司 一种基于卷积神经网络的图像处理方法、装置及移动终端
CN107729081A (zh) * 2017-09-30 2018-02-23 广东欧珀移动通信有限公司 应用管理方法、装置、存储介质及电子设备
CN107729134A (zh) * 2017-10-31 2018-02-23 努比亚技术有限公司 一种提高应用程序本地方法运行速度的方法、移动终端及计算机可读存储介质
CN108009634A (zh) * 2017-12-21 2018-05-08 美的集团股份有限公司 一种卷积神经网络的优化方法、装置及计算机存储介质
CN108304265A (zh) * 2018-01-23 2018-07-20 腾讯科技（深圳）有限公司 内存管理方法、装置及存储介质

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
MINSOO RHU 等: "vDNN: Virtualized Deep Neural Networks for Scalable, Memory-Efficient Neural Network Design" *
TARO SEKIYAMA 等: "Profile-guided memory optimization for deep neural networks" *
曹维: "基于模拟的高性能体系结构评测技术研究" *
耿光超: "电力系统稳定约束最优潮流：模型、算法与并行化" *

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021227789A1 (zh) * 2020-05-09 2021-11-18 深圳云天励飞技术股份有限公司 存储空间的分配方法、装置、终端及计算机可读存储介质
CN111562986A (zh) * 2020-05-11 2020-08-21 上海加糖科技有限公司 内存分配方法、装置、电子设备和计算机可读存储介质
CN111562986B (zh) * 2020-05-11 2023-05-16 上海加糖科技有限公司 内存分配方法、装置、电子设备和计算机可读存储介质
CN111897517A (zh) * 2020-07-13 2020-11-06 浙江大华技术股份有限公司 一种关系图生成方法及装置
CN112596811A (zh) * 2020-12-17 2021-04-02 杭州艾芯智能科技有限公司 动态数据加载减少内存开销的方法、系统、计算机设备及存储介质
CN112256440A (zh) * 2020-12-23 2021-01-22 上海齐感电子信息科技有限公司 神经网络推理的内存管理方法及装置
CN112862067A (zh) * 2021-01-14 2021-05-28 支付宝(杭州)信息技术有限公司 基于隐私保护利用业务模型进行业务处理的方法和装置
WO2022257980A1 (zh) * 2021-06-10 2022-12-15 寒武纪(西安)集成电路有限公司 计算装置、利用计算装置实施卷积运算的方法及相关产品
CN114020450A (zh) * 2021-10-08 2022-02-08 深圳云天励飞技术股份有限公司 一种神经网络模型执行方法、装置、系统、电子设备
CN113608881A (zh) * 2021-10-09 2021-11-05 腾讯科技（深圳）有限公司 内存分配方法、装置、设备、可读存储介质及程序产品
CN113608881B (zh) * 2021-10-09 2022-02-25 腾讯科技（深圳）有限公司 内存分配方法、装置、设备、可读存储介质及程序产品

Also Published As

Publication number Publication date
CN110866589B (zh) 2023-06-30

Similar Documents

Publication Publication Date Title
CN110866589B (zh) 深度神经网络模型的运行方法、装置及框架
CN110689115B (zh) 神经网络模型处理方法、装置、计算机设备及存储介质
US9818059B1 (en) Exploiting input data sparsity in neural network compute units
Peemen et al. Memory-centric accelerator design for convolutional neural networks
AU2017279610A1 (en) Memory access optimisation using per-layer computational mapping and memory allocation for CNN application
US9886377B2 (en) Pipelined convolutional operations for processing clusters
US11853866B2 (en) Implementation of a neural network in multicore hardware
Bailey The advantages and limitations of high level synthesis for FPGA based image processing
CN110058883A (zh) 一种基于opu的cnn加速方法及系统
WO2023160290A1 (zh) 神经网络推理加速方法、目标检测方法、设备及存储介质
JP2018116469A (ja) 演算システムおよびニューラルネットワークの演算方法
US11734788B2 (en) Task execution in a SIMD processing unit with parallel groups of processing lanes
CN110826708A (zh) 一种用多核处理器实现神经网络模型拆分方法及相关产品
CN114416045A (zh) 自动生成算子的方法和装置
CN112464569A (zh) 一种机器学习方法及系统
CN113496248A (zh) 训练计算机实施的模型的方法和设备
CN112488296A (zh) 基于硬件环境的数据操作方法、装置、设备及存储介质
US20220147748A1 (en) Efficient object detection using deep learning techniques
JP2024116153A (ja) 複数の入力データセットのための処理
Kang et al. Multi-bank on-chip memory management techniques for CNN accelerators
Sun et al. Efficient tensor cores support in tvm for low-latency deep learning
CN110020004A (zh) 一种数据计算方法及引擎
US20230325087A1 (en) Systems and methods for accelerating memory transfers and computation efficiency using a computation-informed partitioning of an on-chip data buffer and implementing computation-aware data transfer operations to the on-chip data buffer
AU2020298244A1 (en) Optimizing machine learning model performance
CN115586972B (zh) 命令生成方法、装置、ai芯片、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20200415

Address after: 310052 room 508, floor 5, building 4, No. 699, Wangshang Road, Changhe street, Binjiang District, Hangzhou City, Zhejiang Province

Applicant after: Alibaba (China) Co.,Ltd.

Address before: 102200, No. 18, No., Changsheng Road, Changping District science and Technology Park, Beijing, China. 1-5

Applicant before: AUTONAVI SOFTWARE Co.,Ltd.

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant