CN110704182A - 深度学习的资源调度方法、装置及终端设备 - Google Patents
深度学习的资源调度方法、装置及终端设备 Download PDFInfo
- Publication number
- CN110704182A CN110704182A CN201910881382.6A CN201910881382A CN110704182A CN 110704182 A CN110704182 A CN 110704182A CN 201910881382 A CN201910881382 A CN 201910881382A CN 110704182 A CN110704182 A CN 110704182A
- Authority
- CN
- China
- Prior art keywords
- model
- deep learning
- derivative
- resource
- terminal equipment
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000013135 deep learning Methods 0.000 title claims abstract description 127
- 238000000034 method Methods 0.000 title claims abstract description 35
- 238000013468 resource allocation Methods 0.000 claims abstract description 9
- 238000004590 computer program Methods 0.000 claims description 15
- 238000009795 derivation Methods 0.000 claims description 13
- 238000012360 testing method Methods 0.000 claims description 6
- 238000012545 processing Methods 0.000 abstract description 9
- 238000010801 machine learning Methods 0.000 abstract description 2
- 238000013136 deep learning model Methods 0.000 description 19
- 230000006870 function Effects 0.000 description 17
- 230000008569 process Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 230000001960 triggered effect Effects 0.000 description 3
- 238000004088 simulation Methods 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000003416 augmentation Effects 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
- G06F9/5011—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resources being hardware resources other than CPUs, Servers and Terminals
- G06F9/5016—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resources being hardware resources other than CPUs, Servers and Terminals the resource being the memory
Landscapes
- Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Image Analysis (AREA)
- Stored Programmes (AREA)
Abstract
本发明实施例适用于机器学习技术领域，提供了一种深度学习的资源调度方法、装置及终端设备，所述方法应用于终端设备，包括：确定用于深度学习的基础配置信息，基于基础配置信息生成执行深度学习的基准模型；通过在基准模型中增加多个卷积层组成多个派生模型并将多个派生模型配置于终端设备中；当接收到深度学习指令时，获取终端设备当前的可用资源数量；根据可用资源数量和各个派生模型对应的资源‑准确率权衡方案，确定进行深度学习的目标派生模型；为目标派生模型分配匹配终端设备当前的可用资源数量的资源。本实施例根据终端设备的资源分配情况来选择调用哪一种容量的模型，可以达到资源和准确率的动态平衡，满足视频流的实时处理要求。
Description
技术领域
本发明属于机器学习技术领域，特别是涉及一种深度学习的资源调度方法、一种深度学习的资源调度装置、一种终端设备及一种计算机可读存储介质。
背景技术
增强现实(Augmented Reality，简称AR)技术是一种将虚拟信息与真实世界巧妙融合的技术，通过广泛运用多媒体、三维建模、实时跟踪及注册、智能交互、传感等多种技术手段，可以将计算机生成的文字、图像、三维模型、音乐、视频等虚拟信息模拟仿真后，应用到真实世界中，两种信息互为补充，从而实现对真实世界的“增强”。
通常，在智能手机、无人机以及AR头戴等设备上对虚拟信息进行模拟仿真需要通过运行深度学习模型来实现，运行深度学习模型需要消耗大量的资源。为使设备端的深度学习成为可能，现有技术中主要是通过压缩深度学习模型来降低其资源需求的。但是，这种处理方式会降低深度学习的准确率。并且，更为重要的是，各种深度学习模型都是独立开发的，不同压缩率的学习模型在开发时设定的资源占用情况及准确率通常是不一样且固定不变的。如果设备分配的资源无法满足压缩后的深度学习模型的资源需求，那么视频流处理的帧率就会降低，无法满足终端设备对于视频流实时处理的要求，用户的体验也会较差。
发明内容
有鉴于此，本发明实施例提供了一种深度学习的资源调度方法、装置及终端设备，以解决现有技术中配置于终端设备端的深度学习模型的资源占用情况及准确率通常是固定不变的，无法根据终端设备的实际运行情况动态地进行资源分配的问题。
本发明实施例的第一方面提供了一种深度学习的资源调度方法，应用于终端设备，所述方法包括：
确定用于深度学习的基础配置信息，基于所述基础配置信息生成执行所述深度学习的基准模型；
通过在所述基准模型中增加多个卷积层组成多个派生模型并将所述多个派生模型配置于终端设备中，各个派生模型共享模型参数并分别提供不同的资源-准确率权衡方案；
当接收到深度学习指令时，获取所述终端设备当前的可用资源数量；
根据所述可用资源数量和所述各个派生模型对应的资源-准确率权衡方案，确定进行深度学习的目标派生模型；
为所述目标派生模型分配匹配所述终端设备当前的可用资源数量的资源。
本发明实施例的第二方面提供了一种深度学习的资源调度装置，应用于终端设备，所述装置包括：
基准模型生成模块，用于确定用于深度学习的基础配置信息，基于所述基础配置信息生成执行所述深度学习的基准模型；
派生模型生成模块，用于通过在所述基准模型中增加多个卷积层组成多个派生模型并将所述多个派生模型配置于终端设备中，各个派生模型共享模型参数并分别提供不同的资源-准确率权衡方案；
可用资源数量获取模块，用于在接收到深度学习指令时，获取所述终端设备当前的可用资源数量；
目标派生模型确定模块，用于根据所述可用资源数量和所述各个派生模型对应的资源-准确率权衡方案，确定进行深度学习的目标派生模型；
资源分配模块，用于为所述目标派生模型分配匹配所述终端设备当前的可用资源数量的资源。
本发明实施例的第三方面提供了一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如第一方面所述深度学习的资源调度方法的步骤：
确定用于深度学习的基础配置信息，基于所述基础配置信息生成执行所述深度学习的基准模型；
通过在所述基准模型中增加多个卷积层组成多个派生模型并将所述多个派生模型配置于终端设备中，各个派生模型共享模型参数并分别提供不同的资源-准确率权衡方案；
当接收到深度学习指令时，获取所述终端设备当前的可用资源数量；
根据所述可用资源数量和所述各个派生模型对应的资源-准确率权衡方案，确定进行深度学习的目标派生模型；
为所述目标派生模型分配匹配所述终端设备当前的可用资源数量的资源。
本发明实施例的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如第一方面所述深度学习的资源调度方法的步骤：
确定用于深度学习的基础配置信息，基于所述基础配置信息生成执行所述深度学习的基准模型；
通过在所述基准模型中增加多个卷积层组成多个派生模型并将所述多个派生模型配置于终端设备中，各个派生模型共享模型参数并分别提供不同的资源-准确率权衡方案；
当接收到深度学习指令时，获取所述终端设备当前的可用资源数量；
根据所述可用资源数量和所述各个派生模型对应的资源-准确率权衡方案，确定进行深度学习的目标派生模型；
为所述目标派生模型分配匹配所述终端设备当前的可用资源数量的资源。
与现有技术相比，本发明实施例包括以下优点：
本发明实施例，在确定用于深度学习的基础配置信息并基于基础配置信息生成执行深度学习的基准模型后，可以通过在上述基准模型中增加多个卷积层组成多个派生模型并将多个派生模型配置于终端设备中，当接收到深度学习指令时，通过获取终端设备当前的可用资源数量，可以根据该可用资源数量和各个派生模型对应的资源-准确率权衡方案，确定进行深度学习的目标派生模型，通过为目标派生模型分配资源，可以保证深度学习在符合终端设备当前的可用资源数量的情况下进行。本实施例根据终端设备的资源分配情况来选择调用哪一种容量的模型，可以达到资源和准确率的动态平衡，满足视频流的实时处理要求；由于各个派生模型共享模型参数，也不需要占用终端设备额外的内存空间。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明一个实施例的一种深度学习的资源调度方法的步骤流程示意图；
图2是本发明一个实施例的另一种深度学习的资源调度方法的步骤流程示意图；
图3是本发明一个实施例的一种深度学习的资源调度装置的示意图；
图4是本发明一个实施例的一种终端设备的示意图。
具体实施方式
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本发明实施例。然而，本领域技术人员应当清楚，在没有这些具体细节的其他实施例中也可以实现本发明。在其他情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本发明的描述。
下面通过具体实施例来说明本发明的技术方案。
参照图1，示出了本发明一个实施例的一种深度学习的资源调度方法的步骤流程示意图，具体可以包括如下步骤：
S101、确定用于深度学习的基础配置信息，基于所述基础配置信息生成执行所述深度学习的基准模型；
需要说明的是，本方法可以应用于终端设备中。例如，手机、平板电脑、AR头盔等等，本实施例对终端设备的具体类型不作限定。
通常，在终端设备中进行的深度学习都是基于配置于该设备中的深度学习模型来实现的，一个完整功能的深度学习模型应当包括一些特定的部分或模块。例如，输入模块、输出模块、包含卷积层、全连接层等的训练模块等等。上述这些特定的部分或模块即是一个深度学习模型所应当具备的基础配置信息，基于基础配置信息生成的能够实现深度学习基本功能的模型即是本实施例中的基准模型。
一般地，能够实现完整功能的学习模型应该包括某些特定层。因此，作为本实施例的一种示例，可以首先确定上述特定层包括哪些。例如，可以包括全部的3层全连接层以及特定的3层卷积层，由这些层组成的模型可以作为实现深度学习的基准模型。通过采用该基准模型进行学习，可以实现完整的功能但相应的学习结果的准确率也较低。
S102、通过在所述基准模型中增加多个卷积层组成多个派生模型并将所述多个派生模型配置于终端设备中，各个派生模型共享模型参数并分别提供不同的资源-准确率权衡方案；
在本发明实施例中，可以将深度学习模型设计成紧凑的多容量模型。上述多容量模型由一组派生模型组成，各个派生模型可以提供不同的资源-准确率权衡方案。
例如，派生模型A，派生模型B和排成模型C，其中，派生模型A可以提供准确率超过90％的学习结果，但相应的，该派生模型A在进行深度学习时，所需要占用的资源将会超过全部内存资源的70％；而派生模型B和派生模型C提供的学习结果准确率及资源的占用率均低于派生模型A。例如，派生模型B的学习准确率为70％，资源占用率为45％；派生模型C的学习准确率为50％，资源占用率为35％。
在具体实现中，可以通过在上述基准模型上增加卷积层，从而得到准确率更高的派生模型。
在本发明实施例中，上述各个派生模型提供的资源-准确率权衡方案可以通过在逐一采用各个派生模型进行深度学习试验时，对各个派生模型占用的资源和试验结果的准确率进行统计得到。
以某个完整的深度学习模型为例，若该深度学习模型包括有13层卷积层，则可以在对模型进行训练时，逐一测试每一层卷积层对最终准确率的影响因子；然后，对各层卷积层进行组合，得到多个具有不同的准确率及资源占用率的派生模型。
例如，可以将上述完整的深度学习模型作为派生模型A。即，派生模型A包括有13层卷积层和3层全连接层，其学习准确率超过90％，学习时所需要占用的资源将会超过全部内存资源的70％；而派生模型B则可以包括3层全连接层以及上述13层卷积层中的8层，这8层卷积层是根据各层的影响因子来选择的，使得最后组合得到的派生模型B的学习准确率大约在70％左右，相应的资源占用率为45％；派生模型C包括3层全连接层以及上述13层卷积层中的6层，最后组合得到的派生模型C的学习准确率大约在50％左右，相应的资源占用率为35％。
需要说明的是，上述各个派生模型并不是相互独立的，而是可以共享模型参数，较小容量的派生模型可以嵌入到较大容量的派生模型中，全部派生模型所占用的内存空间由最大容量的派生模型决定。因此，在上述示例中，全部模型所占用的内存空间即是派生模型A所占用的内存空间。
在生成多个派生模型后，可以将多个派生模型配置于终端设备，供终端设备进行深度学习时使用。
需要说明的是，上述配置于终端设备中的派生模型所进行的深度学习可以是设备在实现AR功能、VR(Virtual Reality，虚拟现实)功能或其他需要使用到深度学习才能实现的某一功能时所进行的学习，本实施例对于终端设备进行深度学习的具体目的不作限定。
S103、当接收到深度学习指令时，获取所述终端设备当前的可用资源数量；
当接收到深度学习指令时，可以认为终端设备需要使用模型进行具体的深度学习任务。上述深度学习指令可以由终端设备在开启某一功能时触发。
此时，可以首先识别终端设备当前的可用资源数量。终端设备当前的可用资源数量可以是指该设备当前可供使用的内存剩余空间。
在本发明实施例中，为了保证终端设备的正常使用，同时给其他程序预留一部分资源，可以设定一个百分比，例如80％，然后以当前内存剩余空间的80％作为进行模型训练时的可用资源。
例如，可供使用的内存剩余空间为2000M，那么，在当前情况下，可提供给模型进行深度学习的资源可以为1600M。
S104、根据所述可用资源数量和所述各个派生模型对应的资源-准确率权衡方案，确定进行深度学习的目标派生模型；
通常，当终端设备中可用资源较多时，可以选择调用占用资源较多的派生模型，从而保证深度学习的准确率，保证视频流处理的实时性；当可用资源较少时，则可以选择调用占用资源较少的派生模型，通过降低深度学习的准确率，优先保证深度学习能够顺利进行。
在本发明实施例中，各个派生模型的资源占用情况可以预先写入多容量模型的配置文件中。在识别出终端设备当前的可用资源数量后，可以通过将上述可用资源数量与配置文件中各个派生模型的资源占用情况进行比较，从而确定出可调用的目标派生模型。
例如，假设上述示例中派生模型A进行深度学习时所需的资源为1200M，派生模型B进行深度学习时所需的资源为750M，派生模型C进行深度学习时所需的资源为600M，若当前可提供给模型进行深度学习的内存资源为1600M，则可以选定派生模型A作为目标派生模型；若当前可提供给模型进行深度学习的内存资源为700M，则可以优先选定派生模型C作为目标派生模型。
S105、为所述目标派生模型分配匹配所述终端设备当前的可用资源数量的资源。
在选定目标派生模型后，终端设备可以根据选定的模型所需要的资源数量为该模型分配资源，并进行深度学习。上述分配资源的过程可以是由终端设备本身自行调节的。
在本发明实施例中，在确定用于深度学习的基础配置信息并基于基础配置信息生成执行深度学习的基准模型后，可以通过在上述基准模型中增加多个卷积层组成多个派生模型并将多个派生模型配置于终端设备中，当接收到深度学习指令时，通过获取终端设备当前的可用资源数量，可以根据该可用资源数量和各个派生模型对应的资源-准确率权衡方案，确定进行深度学习的目标派生模型，通过为目标派生模型分配资源，可以保证深度学习在符合终端设备当前的可用资源数量的情况下进行。本实施例根据终端设备的资源分配情况来选择调用哪一种容量的模型，可以达到资源和准确率的动态平衡，满足视频流的实时处理要求；由于各个派生模型共享模型参数，也不需要占用终端设备额外的内存空间。
参照图2，示出了本发明一个实施例的另一种深度学习的资源调度方法的步骤流程示意图，所述方法应用于终端设备，具体可以包括如下步骤：
S201、确定用于深度学习的基础配置信息，基于所述基础配置信息生成执行所述深度学习的基准模型；
在终端设备中进行深度学习一般都是基于配置于该设备中的深度学习模型来实现的，一个完整功能的深度学习模型应当包括一些特定的部分或模块。上述这些特定的部分或模块即是一个深度学习模型所应当具备的基础配置信息，基于基础配置信息生成的能够实现深度学习基本功能的模型即是本实施例中的基准模型。
通常，采用该基准模型进行深度学习，虽然可以实现完整的功能但相应的学习结果的准确率也较低。
S202、通过在所述基准模型中增加多个卷积层组成多个派生模型并将所述多个派生模型配置于终端设备中，各个派生模型共享模型参数并分别提供不同的资源-准确率权衡方案；
在本发明实施例中，可以将深度学习模型设计成紧凑的多容量模型。上述多容量模型由一组派生模型组成，各个派生模型可以共享模型参数并提供不同的资源-准确率权衡方案。
在具体实现中，可以通过在上述基准模型上增加卷积层，从而得到准确率更高的派生模型。
由于在深度学习过程中，对于学习结果起到决定性作用的是模型的卷积层部分，因此，上述各个派生模型的准确率和资源占用率可以通过对各个派生模型的卷积层进行验证得到。
在具体实现中，针对某个多容量的深度学习模型，可以在对模型进行训练时，逐一测试每一层卷积层对最终准确率的影响因子；然后，对各层卷积层进行组合，得到多个具有不同的准确率及资源占用率的派生模型。
需要说明的是，上述各个派生模型并不是相互独立的。较小容量的派生模型可以嵌入到较大容量的派生模型中，全部派生模型所占用的内存空间由最大容量的派生模型决定。
生成的多个派生模型可以被配置于手机、平板电脑、AR头盔等终端设备中，用于后续的深度学习时使用。
S203、当接收到深度学习指令时，分别确定所述终端设备中各个程序的优先级，统计所述优先级大于深度学习对应优先级的必要程序所需的资源数量；
在本发明实施例中，上述深度学习指令可以由终端设备在开启某一功能时触发。例如，当用户在佩戴AR头盔并开启该头盔的AR功能时，可以认为触发了AR头盔的深度学习指令。
在本发明实施例中，为了保证深度学习的顺利进行，在接收到深度学习指令时，可以首先确定终端设备中各个程序的优先级。
具体地，上述各个程序的优先级可以根据终端设备的类型具体确定。一般来说，该设备中用于实现必备功能的程序的优先级较高，而其他优先级则相对较低。
例如，以终端设备为手机为例，手机通话、短消息等功能可以具有较高的优先级，而用户安装于手机中的视频软件等其他程序则优先级较低。上述各个程序的优先级可以根据实际需要确定并配置于终端设备中，本实施例对此不作限定。
在确定出各个程序的优先级后，可以统计出优先级大于深度学习对应优先级的必要程序，并计算运行这些必要程序所需的资源数量。
需要说明的是，上述必要程序可以是当前在终端设备中正在运行的程序，也可以是当前并不处于运行状态中的一些程序。
S204、确定所述终端设备的资源总量，以所述资源总量与所述必要程序所需的资源数量的差值，作为所述终端设备当前的可用资源数量；
通常，终端设备的资源总量在一定时间内都是固定的。在统计出运行必要程序所需的资源数量后，可以以终端设备的资源总量与上述必要程序所需的资源数量的差值，作为该设备当前的可用资源数量。
对于当前正在运行但并不是必要程序的一些程序，由于这些程序的运行会相应的抢占终端设备的资源数量，因此可以在进行资源分配前，强制终止这些程序的运行。
在具体实现中，可以首先识别终端设备中当前正在运行且优先级小于深度学习对应优先级的目标程序，然后终止上述目标程序的运行，从而缩减部分资源，优先保证深度学习的进行。
S205、根据所述各个派生模型对应的资源-准确率权衡方案，确定分别采用所述各个派生模型进行深度学习占用的资源数量；
在本发明实施例中，各个派生模型的资源占用情况可以预先写入多容量模型的配置文件中。例如，对于某个派生模型B，其学习准确率大约在70％左右，相应的资源占用率为750M。
S206、识别所述占用的资源数量小于所述可用资源数量的多个待筛选派生模型，确定所述待筛选派生模型中占用的资源数量最大值对应的模型为所述目标派生模型；
在本发明实施例中，通过将上述可用资源数量与配置文件中各个派生模型的资源占用情况进行比较，可以确定出可调用的目标派生模型。
在具体实现中，可以首先根据终端设备当前的可用资源数量，筛选出符合该可用资源数量的全部派生模型。
例如，若当前可提供给模型进行深度学习的内存资源为1600M，则可以将配置文件中占用资源少于1600M的全部派生模型提取出来。
对于提取出的待筛选派生模型，由于深度学习是一个资源依赖性较高的过程，因此可以将提取的待筛选派生模型中占用的资源数量最大值对应的模型作为目标派生模型。
例如，假设提取出的待筛选模型包括派生模型A、派生模型B和派生模型C，其对于资源的占用情况分别是1200M、750M和600M，则可以以这些派生模型中占用资源最大的派生模型A作为目标派生模型，优先保证深度学习的流畅性，尽可能满足视频流的实时处理要求。
S207、为所述目标派生模型分配匹配所述终端设备当前的可用资源数量的资源。
在选定目标派生模型后，终端设备可以根据选定的模型所需要的资源数量为该模型分配资源，并进行深度学习。
本发明实施例通过将终端设备的深度学习模型设计为紧凑的多容量模型，由于多容量模型由一组派生模型组成，每个派生模型提供不同的资源-准确率权衡，容量较小的派生模型与拥有较大容量的派生模型可以共享模型参数，从而在进行深度学习时，可以根据当前终端设备提供给该模型分配的资源来调节使用哪一种容量模型，达到资源和准确率的动态平衡，尽可能满足视频流的实时处理要求。
需要说明的是，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
参照图3，示出了本发明一个实施例的一种深度学习的资源调度装置的示意图，所述装置应用于终端设备，具体可以包括如下模块：
基准模型生成模块301，用于确定用于深度学习的基础配置信息，基于所述基础配置信息生成执行所述深度学习的基准模型；
派生模型生成模块302，用于通过在所述基准模型中增加多个卷积层组成多个派生模型并将所述多个派生模型配置于终端设备中，各个派生模型共享模型参数并分别提供不同的资源-准确率权衡方案；
可用资源数量获取模块303，用于在接收到深度学习指令时，获取所述终端设备当前的可用资源数量；
目标派生模型确定模块304，用于根据所述可用资源数量和所述各个派生模型对应的资源-准确率权衡方案，确定进行深度学习的目标派生模型；
资源分配模块305，用于为所述目标派生模型分配匹配所述终端设备当前的可用资源数量的资源。
在本发明实施例中，所述各个派生模型提供的资源-准确率权衡方案可以通过在逐一采用所述各个派生模型进行深度学习试验时，对所述各个派生模型占用的资源和试验结果的准确率进行统计得到。
在本发明实施例中，所述可用资源数量获取模块303具体可以包括如下子模块：
优先级确定子模块，用于分别确定所述终端设备中各个程序的优先级；
资源数量统计子模块，用于统计所述优先级大于深度学习对应优先级的必要程序所需的资源数量；
可用资源数量确定子模块，用于确定所述终端设备的资源总量，以所述资源总量与所述必要程序所需的资源数量的差值，作为所述终端设备当前的可用资源数量。
在本发明实施例中，所述装置还可以包括如下模块：
目标程序识别模块，用于识别所述终端设备中当前正在运行且所述优先级小于所述深度学习对应优先级的目标程序；
目标程序控制模块，用于终止所述目标程序的运行。
在本发明实施例中，所述目标派生模型确定模块304具体可以包括如下子模块：
占用资源数量确定子模块，用于根据所述各个派生模型对应的资源-准确率权衡方案，确定分别采用所述各个派生模型进行深度学习占用的资源数量；
待筛选派生模型识别子模块，用于识别所述占用的资源数量小于所述可用资源数量的多个待筛选派生模型；
目标派生模型确定子模块，用于确定所述待筛选派生模型中占用的资源数量最大值对应的模型为所述目标派生模型。
对于装置实施例而言，由于其与方法实施例基本相似，所以描述得比较简单，相关之处参见方法实施例部分的说明即可。
参照图4，示出了本发明一个实施例的一种终端设备的示意图。如图4所示，本实施例的终端设备400包括：处理器410、存储器420以及存储在所述存储器420中并可在所述处理器410上运行的计算机程序421。所述处理器410执行所述计算机程序421时实现上述深度学习的资源调度方法各个实施例中的步骤，例如图1所示的步骤S101至S105。或者，所述处理器410执行所述计算机程序421时实现上述各装置实施例中各模块/单元的功能，例如图3所示模块301至305的功能。
示例性的，所述计算机程序421可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器420中，并由所述处理器410执行，以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段可以用于描述所述计算机程序421在所述终端设备400中的执行过程。例如，所述计算机程序421可以被分割成基准模型生成模块、派生模型生成模块、可用资源数量获取模块、目标派生模型确定模块和资源分配模块，各模块具体功能如下：
基准模型生成模块，用于确定用于深度学习的基础配置信息，基于所述基础配置信息生成执行所述深度学习的基准模型；
派生模型生成模块，用于通过在所述基准模型中增加多个卷积层组成多个派生模型并将所述多个派生模型配置于终端设备中，各个派生模型共享模型参数并分别提供不同的资源-准确率权衡方案；
可用资源数量获取模块，用于在接收到深度学习指令时，获取所述终端设备当前的可用资源数量；
目标派生模型确定模块，用于根据所述可用资源数量和所述各个派生模型对应的资源-准确率权衡方案，确定进行深度学习的目标派生模型；
资源分配模块，用于为所述目标派生模型分配匹配所述终端设备当前的可用资源数量的资源。
所述终端设备400可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述终端设备400可包括，但不仅限于，处理器410、存储器420。本领域技术人员可以理解，图4仅仅是终端设备400的一种示例，并不构成对终端设备400的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述终端设备400还可以包括输入输出设备、网络接入设备、总线等。
所述处理器410可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器420可以是所述终端设备400的内部存储单元，例如终端设备400的硬盘或内存。所述存储器420也可以是所述终端设备400的外部存储设备，例如所述终端设备400上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(SecureDigital,SD)卡，闪存卡(Flash Card)等等。进一步地，所述存储器420还可以既包括所述终端设备400的内部存储单元也包括外部存储设备。所述存储器420用于存储所述计算机程序421以及所述终端设备400所需的其他程序和数据。所述存储器420还可以用于暂时地存储已经输出或者将要输出的数据。
以上所述实施例仅用以说明本发明的技术方案，而非对其限制。尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。
Claims (10)
1.一种深度学习的资源调度方法，应用于终端设备，其特征在于，所述方法包括：
确定用于深度学习的基础配置信息，基于所述基础配置信息生成执行所述深度学习的基准模型；
通过在所述基准模型中增加多个卷积层组成多个派生模型并将所述多个派生模型配置于终端设备中，各个派生模型共享模型参数并分别提供不同的资源-准确率权衡方案；
当接收到深度学习指令时，获取所述终端设备当前的可用资源数量；
根据所述可用资源数量和所述各个派生模型对应的资源-准确率权衡方案，确定进行深度学习的目标派生模型；
为所述目标派生模型分配匹配所述终端设备当前的可用资源数量的资源。
2.根据权利要求1所述的方法，其特征在于，所述各个派生模型提供的资源-准确率权衡方案通过在逐一采用所述各个派生模型进行深度学习试验时，对所述各个派生模型占用的资源和试验结果的准确率进行统计得到。
3.根据权利要求1所述的方法，其特征在于，所述获取所述终端设备当前的可用资源数量的步骤包括：
分别确定所述终端设备中各个程序的优先级；
统计所述优先级大于深度学习对应优先级的必要程序所需的资源数量；
确定所述终端设备的资源总量，以所述资源总量与所述必要程序所需的资源数量的差值，作为所述终端设备当前的可用资源数量。
4.根据权利要求3所述的方法，其特征在于，还包括：
识别所述终端设备中当前正在运行且所述优先级小于所述深度学习对应优先级的目标程序；
终止所述目标程序的运行。
5.根据权利要求1所述的方法，其特征在于，所述根据所述可用资源数量和所述各个派生模型对应的资源-准确率权衡方案，确定进行深度学习的目标派生模型的步骤包括：
根据所述各个派生模型对应的资源-准确率权衡方案，确定分别采用所述各个派生模型进行深度学习占用的资源数量；
识别所述占用的资源数量小于所述可用资源数量的多个待筛选派生模型；
确定所述待筛选派生模型中占用的资源数量最大值对应的模型为所述目标派生模型。
6.一种深度学习的资源调度装置，应用于终端设备，其特征在于，所述装置包括：
基准模型生成模块，用于确定用于深度学习的基础配置信息，基于所述基础配置信息生成执行所述深度学习的基准模型；
派生模型生成模块，用于通过在所述基准模型中增加多个卷积层组成多个派生模型并将所述多个派生模型配置于终端设备中，各个派生模型共享模型参数并分别提供不同的资源-准确率权衡方案；
可用资源数量获取模块，用于在接收到深度学习指令时，获取所述终端设备当前的可用资源数量；
目标派生模型确定模块，用于根据所述可用资源数量和所述各个派生模型对应的资源-准确率权衡方案，确定进行深度学习的目标派生模型；
资源分配模块，用于为所述目标派生模型分配匹配所述终端设备当前的可用资源数量的资源。
7.根据权利要求6所述的装置，其特征在于，所述可用资源数量获取模块包括：
优先级确定子模块，用于分别确定所述终端设备中各个程序的优先级；
资源数量统计子模块，用于统计所述优先级大于深度学习对应优先级的必要程序所需的资源数量；
可用资源数量确定子模块，用于确定所述终端设备的资源总量，以所述资源总量与所述必要程序所需的资源数量的差值，作为所述终端设备当前的可用资源数量。
8.根据权利要求6所述的装置，其特征在于，所述目标派生模型确定模块包括：
占用资源数量确定子模块，用于根据所述各个派生模型对应的资源-准确率权衡方案，确定分别采用所述各个派生模型进行深度学习占用的资源数量；
待筛选派生模型识别子模块，用于识别所述占用的资源数量小于所述可用资源数量的多个待筛选派生模型；
目标派生模型确定子模块，用于确定所述待筛选派生模型中占用的资源数量最大值对应的模型为所述目标派生模型。
9.一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至5任一项所述深度学习的资源调度方法的步骤。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至5任一项所述深度学习的资源调度方法的步骤。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910881382.6A CN110704182A (zh) | 2019-09-18 | 2019-09-18 | 深度学习的资源调度方法、装置及终端设备 |
| PCT/CN2019/117179 WO2021051537A1 (zh) | 2019-09-18 | 2019-11-11 | 深度学习的资源调度方法、装置及终端设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910881382.6A CN110704182A (zh) | 2019-09-18 | 2019-09-18 | 深度学习的资源调度方法、装置及终端设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110704182A true CN110704182A (zh) | 2020-01-17 |
Family
ID=69195340
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910881382.6A Pending CN110704182A (zh) | 2019-09-18 | 2019-09-18 | 深度学习的资源调度方法、装置及终端设备 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN110704182A (zh) |
| WO (1) | WO2021051537A1 (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112199196A (zh) * | 2020-10-21 | 2021-01-08 | 上海交通大学 | 一种资源配置方法、介质及服务端 |
| US11687380B2 (en) | 2020-09-10 | 2023-06-27 | International Business Machines Corporation | Optimizing resource allocation for distributed stream processing systems |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018225891A1 (ko) * | 2017-06-09 | 2018-12-13 | 에이치피프린팅코리아 주식회사 | 화상 형성 장치의 애플리케이션 설치 방법 및 그 방법을 사용하는 화상 형성 장치 |
| CN109213600A (zh) * | 2018-09-11 | 2019-01-15 | 郑州云海信息技术有限公司 | 一种基于ai云的gpu资源调度方法和装置 |
| US20190213099A1 (en) * | 2018-01-05 | 2019-07-11 | NEC Laboratories Europe GmbH | Methods and systems for machine-learning-based resource prediction for resource allocation and anomaly detection |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11023441B2 (en) * | 2017-05-11 | 2021-06-01 | Oracle International Corporation | Distributed storage and processing of hierarchical data structures |
| CN109857550A (zh) * | 2019-01-07 | 2019-06-07 | 平安科技（深圳）有限公司 | 基于机器学习的资源配置方法、装置、设备及存储介质 |
| CN109784343B (zh) * | 2019-01-25 | 2023-05-12 | 上海深杳智能科技有限公司 | 一种基于深度学习模型的资源分配方法及终端 |
-
2019
- 2019-09-18 CN CN201910881382.6A patent/CN110704182A/zh active Pending
- 2019-11-11 WO PCT/CN2019/117179 patent/WO2021051537A1/zh active Application Filing
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018225891A1 (ko) * | 2017-06-09 | 2018-12-13 | 에이치피프린팅코리아 주식회사 | 화상 형성 장치의 애플리케이션 설치 방법 및 그 방법을 사용하는 화상 형성 장치 |
| US20190213099A1 (en) * | 2018-01-05 | 2019-07-11 | NEC Laboratories Europe GmbH | Methods and systems for machine-learning-based resource prediction for resource allocation and anomaly detection |
| CN109213600A (zh) * | 2018-09-11 | 2019-01-15 | 郑州云海信息技术有限公司 | 一种基于ai云的gpu资源调度方法和装置 |
Non-Patent Citations (2)
| Title |
|---|
| FANG BIYI 等: "NestDNN: Resource-Aware Multi-Tenant On-Device Deep Learning for Continuous Mobile Vision", 《MOBICOM ’18》, 2 November 2018 (2018-11-02), pages 1 - 13 * |
| 陈功富等著: "《智能手机APP软件开发：Android》", vol. 1, 华南理工大学出版社, pages: 128 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11687380B2 (en) | 2020-09-10 | 2023-06-27 | International Business Machines Corporation | Optimizing resource allocation for distributed stream processing systems |
| CN112199196A (zh) * | 2020-10-21 | 2021-01-08 | 上海交通大学 | 一种资源配置方法、介质及服务端 |
| CN112199196B (zh) * | 2020-10-21 | 2022-03-18 | 上海交通大学 | 一种资源配置方法、介质及服务端 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2021051537A1 (zh) | 2021-03-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110650347B (zh) | 多媒体数据的处理方法及装置 | |
| WO2017166643A1 (zh) | 一种任务资源的量化方法和装置 | |
| CN105183565A (zh) | 计算机、服务质量控制方法及装置 | |
| CN105808328A (zh) | 任务调度的方法、装置和系统 | |
| CN114416352A (zh) | 算力资源分配方法、装置、电子设备及储存介质 | |
| CN112463375A (zh) | 一种数据处理的方法和装置 | |
| CN109739627B (zh) | 任务的调度方法、电子设备及介质 | |
| CN112068957A (zh) | 资源分配方法、装置、计算机设备及存储介质 | |
| CN110704182A (zh) | 深度学习的资源调度方法、装置及终端设备 | |
| CN116305298B (zh) | 一种算力资源管理方法、装置、存储介质及电子设备 | |
| CN111736957A (zh) | 多类型业务的混合部署方法、装置、设备及存储介质 | |
| CN111126594A (zh) | 基于边缘计算的神经网络模型动态切分方法及装置 | |
| CN112202829A (zh) | 基于微服务的社交机器人调度系统和调度方法 | |
| CN111324424A (zh) | 一种虚拟机部署方法、装置、服务器及存储介质 | |
| CN111552945A (zh) | 一种资源处理方法、装置及设备 | |
| CN117130723A (zh) | 分配信息的确定方法、装置、计算机设备和存储介质 | |
| CN109039944B (zh) | 一种数据包的分流方法、装置及设备 | |
| CN111736988A (zh) | 一种异构加速方法、设备、装置及计算机可读存储介质 | |
| CN110879748A (zh) | 一种共享资源分配方法、装置和设备 | |
| CN114205359A (zh) | 视频渲染协同方法、装置及设备 | |
| CN113703945A (zh) | 微服务集群的调度方法、装置、设备及存储介质 | |
| CN111290850B (zh) | 一种数据存储方法、装置及设备 | |
| CN111626916A (zh) | 信息处理方法、装置及设备 | |
| CN110727400A (zh) | 用于分布式存储系统的流量控制方法、装置、设备和介质 | |
| CN110009237B (zh) | 一种资源分配方法、装置、设备及介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200117 |
|
| RJ01 | Rejection of invention patent application after publication |