CN112433733A - 经由预测模型控制边缘设备上部署的深度学习模型的性能 - Google Patents
经由预测模型控制边缘设备上部署的深度学习模型的性能 Download PDFInfo
- Publication number
- CN112433733A CN112433733A CN202010861510.3A CN202010861510A CN112433733A CN 112433733 A CN112433733 A CN 112433733A CN 202010861510 A CN202010861510 A CN 202010861510A CN 112433733 A CN112433733 A CN 112433733A
- Authority
- CN
- China
- Prior art keywords
- model
- performance
- processor
- input
- computer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000013136 deep learning model Methods 0.000 title abstract description 5
- 238000000034 method Methods 0.000 claims description 49
- 238000012549 training Methods 0.000 claims description 37
- 238000003860 storage Methods 0.000 claims description 29
- 230000004044 response Effects 0.000 claims description 19
- 230000008859 change Effects 0.000 claims description 14
- 238000004590 computer program Methods 0.000 claims description 13
- 239000000872 buffer Substances 0.000 claims description 7
- 238000012544 monitoring process Methods 0.000 claims description 7
- 238000013135 deep learning Methods 0.000 abstract description 63
- 238000010586 diagram Methods 0.000 description 31
- 230000006870 function Effects 0.000 description 26
- 238000012545 processing Methods 0.000 description 16
- 238000005457 optimization Methods 0.000 description 14
- 230000008569 process Effects 0.000 description 9
- 238000005516 engineering process Methods 0.000 description 7
- 238000001514 detection method Methods 0.000 description 5
- 238000007726 management method Methods 0.000 description 4
- IAXXETNIOYFMLW-UHFFFAOYSA-N (4,7,7-trimethyl-3-bicyclo[2.2.1]heptanyl) 2-methylprop-2-enoate Chemical compound C1CC2(C)C(OC(=O)C(=C)C)CC1C2(C)C IAXXETNIOYFMLW-UHFFFAOYSA-N 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 239000003595 mist Substances 0.000 description 3
- 230000008520 organization Effects 0.000 description 3
- 238000013439 planning Methods 0.000 description 3
- 238000013480 data collection Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000001902 propagating effect Effects 0.000 description 2
- 238000005096 rolling process Methods 0.000 description 2
- 238000012384 transportation and delivery Methods 0.000 description 2
- RYGMFSIKBFXOCR-UHFFFAOYSA-N Copper Chemical compound [Cu] RYGMFSIKBFXOCR-UHFFFAOYSA-N 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000009172 bursting Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 229910052802 copper Inorganic materials 0.000 description 1
- 239000010949 copper Substances 0.000 description 1
- 238000013434 data augmentation Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F8/00—Arrangements for software engineering
- G06F8/60—Software deployment
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/10—Interfaces, programming languages or software development kits, e.g. for simulating neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Informatics (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Debugging And Monitoring (AREA)
Abstract
示例系统包括处理器，处理器用于接收数据输入和来自预测模型的、部署在资源受限的边缘设备上的深度学习(DL)模型的预测性能。处理器将基于数据输入和预测性能来修改DL模型的控制输入。处理器将控制输入发送到部署的DL模型，以修改DL模型的性能。
Description
技术领域
本技术涉及部署的深度学习(Deep Learning，DL)模型。更具体地说，该技术与控制部署的DL模型有关。
背景技术
随着物联网(IoT)和智能边缘设备的引入，机器学习模型(machine learning，ML)的整个生命周期规划可能包括数据收集和训练，以及部署和监控。
发明内容
根据本文描述的实施例，系统可以包括处理器，用于接收数据输入和来自预测模型的、部署在资源受限的边缘设备上的DL模型的预测性能。处理器还可以基于数据输入或DL模型的预测性能来进一步修改DL模型的控制输入。处理器还可以将控制输入发送到部署的DL模型，以修改DL模型的性能。
根据本文描述的另一实施例，一种方法可以包括经由处理器监控输入数据和来自预测模型的DL模型的预测性能。该方法还可以包括基于输入数据和DL模型的预测性能，经由处理器修改控制输入。该方法还可以进一步包括经由处理器将修改后的控制输入发送到DL模型。
根据本文描述的另一实施例，用于控制部署的DL模型的计算机程序产品可以包括其中含有程序代码的计算机可读存储介质。计算机可读存储介质不是瞬时信号本身。程序代码可由处理器执行，以使处理器监控输入数据和来自预测模型的DL模型的预测性能。程序代码还可以使处理器基于输入数据和DL模型的预测性能来修改控制输入。程序代码还可以使处理器将修改后的控制输入发送到DL模型。
附图说明
图1是用于经由预测模型控制部署的DL模型的示例系统的框图；
图2是用于训练预测模型以使其用于控制部署的DL模型的示例系统的框图；
图3是可以训练预测模型来控制部署的DL模型的示例方法的框图；
图4是可以经由预测模型控制部署的DL模型的示例方法的框图；
图5A是可以经由预测模型控制DL学习模型的示例计算设备的框图；
图5B是可以经由预测模型使用DL学习模型来控制的示例计算设备的框图；
图6是根据本文描述的实施例的示例云计算环境的过程流程图；
图7是根据本文描述的实施例的示例抽象模型层的过程流程图；
图8A是可以经由预测模型控制部署的DL模型的示例的有形非暂时性计算机可读介质；以及
图8B是可以存储要经由预测模型控制的部署的DL模型的示例的有形非瞬时性计算机可读介质。
具体实施方式
随着物联网(IoT)和智能边缘设备的引入，机器学习模型(ML)的整个生命周期规划可能包括数据收集和训练，以及部署和监控。将云之外的ML模型直接部署到移动应用程序中可能会面临支持多个平台、数百个芯片组和数十亿个安装的额外挑战。此外，在深度学习模型(DL)的情况下，与其他ML 模型相比，以运行时更高的计算成本或存储器消耗为代价获得了更高的性能。
此外，当将DL模型部署到移动设备中时，可以检测将使用移动应用程序的条件，并且可以相应地扩充训练数据。例如，模型可以实现对来自训练数据集的明亮图像的高准确度检测，但是在智能手机用户遇到的一些实际的弱光设置中可能表现不佳。响应于新的情况应用不同的数据扩充技术，可以提高生产中DL模型的性能。
部署应用程序后，系统因此可以继续收集数据，捕捉设备上运行的模型的输入和输出，并监控准确度以随着时间的推移改进模型。然而，与以健壮 (robust)的日志基础设施为特征的云环境不同，在移动设备上部署模型可能会使开发人员无法监控模型的性能。例如，收集数据和监控准确度可能包括跨异构硬件测量运行时性能、内存使用、电池消耗、准确度以及所有这些，以确保DL模型高效运行，并且不会降低预期的模型性能。然而，移动设备可能会受到资源限制，因此无法在部署后执行所有这些对DL模型性能的资源密集型分析。此外，在某些情况下，移动设备可能处于离线状态，因此离线移动设备上部署的模型可能无法被云服务直接监控。
根据本公开的实施例，处理器可以接收数据输入和来自预测模型的、部署在资源受限的边缘设备上的DL模型的预测性能。处理器可以基于数据输入和预测性能来修改DL模型的控制输入。然后，处理器可以将控制输入发送到部署的DL模型，以修改DL模型的性能。因此，本文描述的技术能够通过使用基于滚动时域(receding horizon)技术的模型预测控制来有效地监控在资源受限的边缘设备上部署的DL模型。例如，预测模型可以预测指定的时间范围内部署的模型响应。因此，该技术提供了一种经训练的预测模型，该模型用作监控和改变所部署的模型的性能的控制器。
现在参考图1，框图示出了用于经由预测模型控制部署的DL模型的示例系统。示例系统100可以使用图5A的计算设备500A和图5B的计算设备 500B或者计算机可读介质800A和800B的处理器802、使用图4的方法400 来实施。图1包括通信耦合到边缘层104的雾层(fog layer)102。例如，雾层102可以是云层，其包括用于在边缘层104中协调多个计算设备的一个或多个服务器。例如，边缘层104可以包括多个边缘设备，诸如移动设备。图 5B的计算设备500B中示出了示例边缘设备。系统100包括在雾层102接收的输入106。例如，输入可以是任何合适的数据输入，诸如要处理的图像或其他形式的数据。雾层102包括耦合到数据缓冲器110和决策功能单元112的优化单元108。边缘层104包括间歇地耦合到部署模型116的预测模型114。
雾层102还包括可以耦合到节点120A、120B和120C的第一开关118。如箭头122所示，第一开关118可以切换节点120A、120B和120C之间的耦合。在图1的示例中，第一开关118被设置为耦合到节点120B。边缘层104 还包括第二开关124。第二开关124可以耦合到节点126A和126B。第二开关124可以切换节点126A和126B之间的耦合，如箭头128所示。例如，当第一开关118切换到节点120A时，第二开关124可以切换到节点126A。当第一开关118切换到节点120B时，第二开关124可以切换到节点126B。
在图1的示例中，性能控制系统100包括待控制的部署模型116、预测模型114、优化单元108、决策功能单元112，预测模型114对部署模型116的性能进行建模，优化单元108确定为部署模型116产生目标性能所需的输入，决策功能单元112决定或者在优化单元108已经求解出最佳输入的情况下切换到部署模型116，或者在样本之间切换到预测模型114。优化单元108使用预测模型114来根据预测模型114的预测计算下一个控制输入。一旦目标函数被最小化，输入就被传递到部署模型116。
仍然参考图1，系统100可以从输入信号106in(n)开始，输入信号106被提交给优化单元108。优化单元108产生输出信号d(n)，该信号被提交给决策功能单元112。决策功能单元112产生输出，该输出或者经由节点120A用作预测模型114的输入，或者经由节点120B用作部署模型116的输入，或者经由节点120C用作数据缓冲器110的输入。例如，当优化单元108已经求解出优化预定义的成本函数的最佳控制输入时，第一开关118可以被设置到部署模型116。在各种示例中，在样本之间，第一开关118可以被设置到预测模型 114。例如，优化单元108可以使用预测模型114的输出来根据部署模型116 的预测(pred(n))计算下一个控制输入。一旦优化单元108最小化了成本函数，控制输入就可以被传递到部署模型116。例如，控制输入可以是部署模型 116的多个参数设置。
作为一个示例用例场景，如果部署模型116要实时分析视频输入106，则系统100可用于确保部署模型116在边缘层104中的所有目标移动设备上每秒运行至少30帧。在一些示例中，系统100还可以设置警报，该警报在输入数据有重大变化、有可能指示故障的预测或者人们使用其应用程序的方式发生变化时通知开发者。在这种情况下，输入106是一组帧。每个帧的处理可能花费不同数量的时间和资源。例如，每个帧可能使用不同数量的内存或电池资源。作为一个示例，取决于正在处理的输入106的批处理大小以及其他图像参数，处理可能更有效，但是可能使用更多诸如内存的资源。优化单元 108然后可以确定要使用的最佳批处理大小，以便在指定的范围内最大化推理的总吞吐量。指定的范围可以是预定义的时间量。在各种示例中，系统100 可以执行优化，接着是预测，然后是决策。例如，系统100可以执行以下算法：
Initialize j
pred(n)＝M_p(In(n),s_i)
While J(N,pred(n))}>ζdo
Repeat
D←In(n)
j＝j+1
pred(n+j)＝M_p(In(n+j),s_i){i∈R:1≤i≤n}
u(n+j)←arg min{J(N,pred(n+j))}
End do
Return u
For s∈L
Y(u)＝{M_d(u)}
s_i(u)＝K(M_d(u),Y(u))
Train M_p(u,s_i(u))
end
其中，M_d是部署模型，M_p是预测模型，In是新输入的数据，s_i是一组与边缘相关的性能指标，D是数据缓冲器，J是成本函数，N是成本范围，u是控制信号，ζ是阈值，K是性能估计器。
应当理解，图1的框图并不旨在指示系统100将包括图1所示的所有组件。相反，系统100可以包括图1中未示出的更少或额外的组件(例如，额外的输入、层、模型或额外的数据缓冲器、单元等)。
图2是示出用于训练预测模型以使其用于控制部署的DL模型的示例系统的框图。示例系统200可以使用图5A的计算设备500A或者具有计算机可读介质800A的处理器802、使用图3的方法300来实施。图2包括耦合到性能估计器204的部署模型202。例如，部署模型202可以是图1的部署模型 116。性能估计器204进一步耦合到预测模型206，并且可以用于在给定训练输入208的情况下估计部署模型202的性能。例如，预测模型206可以是图 1的预测模型114。部署模型202可以基于训练输入208来生成输出210。例如，输出210可以是训练输入208的检测或分类。预测模型206耦合到预测误差计算器212。
在图2的示例中，在使用预测模型206作为如图1所述的控制器之前，预测模型206可以被训练以学习部署模型202的前向动态特性(forward dynamics)。例如，通过将一系列输入208应用于部署模型202，可以获得相应的输出210。系统200然后可以基于输出210来选择一组训练模式。一旦用收集的数据训练了预测模型206，预测模型206就可用于根据边缘性能相关度量来预测部署模型202的未来性能。例如，边缘性能相关度量可以包括运行时性能、或内存使用、或电池消耗、或准确度以及其他性能相关度量。在各种示例中，来自预测模型206的预测然后可以被优化算法用来确定控制输入，该控制输入在指定的时间范围内最小化预定义的性能标准，如图1中所述。
如图2所示，预测模型和部署模型202接收相同的输入208In(n)。在各种示例中，性能估计器204计算选择的边缘相关度量，诸如推理时间、内存使用、电池消耗等。预测模型206还可以具有来自性能估计器204的额外输入。在各种示例中，额外输入帮助预测模型捕捉部署模型202的动态特性。例如，如果部署模型202是深度神经网络(DNN)模型，则部署模型202的动态特性可以包括DNN模型对包括给定的一组输入图像的训练数据208执行推理所花费的时间。预测误差计算器212可以计算网络的响应pred(n)和性能估计器的输出perf(n)之间的预测误差。预测误差然后可以用于更新预测模型206的结构。例如，可以基于预测误差来修改预测模型206的多个参数。在一些示例中，重复该过程，直到预测误差降低到无关紧要的预定义水平。例如，可以重复该过程，直到预测误差没有超过预定误差阈值。作为一个示例，如果预测模型206是神经网络，则训练数据208可以覆盖部署模型的操作的整个范围，因为非线性神经网络可能不能准确地外推(extrapolate)。
应当理解，图2的框图并不旨在指示系统200将包括图2所示的所有组件。相反，系统200可以包括图2中未示出的更少或额外的组件(例如，额外的训练输入、部署模型、输出、模型或额外的性能估计器等)。
图3是可以训练预测模型来控制部署的DL模型的示例方法的过程流程图。方法300可以用任何合适的计算设备来实施，例如图5A的计算设备500A，并且参考图2的系统200来描述。例如，下面描述的方法可以由图5A的处理器502或图8A的处理器802实施。方法300可用于基于性能估计和预测模型的预测性能之间的预测误差来训练预测模型。
在框302，接收训练数据。例如，训练数据可以是一组图像或视频帧，以及其他类型的合适的训练数据。
在框304，基于训练数据来生成部署模型的输出。例如，输出可以是检测到的对象或图像的分类。在一些示例中，输出还可以包括运行时性能信息，诸如用于检测或分类的时间戳或处理持续时间、内存使用统计、电池使用统计和准确度信息。
在框306，基于训练数据和部署模型的输出来生成性能估计。例如，性能估计可以是估计的运行时性能、估计的内存使用、估计的电池使用或估计的准确度。在一些示例中，性能估计可以是在指定时间范围内提供性能估计的测量。
在框308，基于训练数据和性能估计来生成预测性能。例如，预测性能可以是给定在指定时间范围内的输入数据的情况下部署模型的预测性能。
在框310，基于预测和性能估计来计算预测误差。例如，预测误差可以是预测和性能估计之间的差值。
在框312，基于计算的预测误差来更新预测模型。例如，可以更新预测模型的任意数量的参数以降低预测误差。
图3的过程流程图并不旨在指示方法300的所有操作都被包括在每种情况下。另外，方法300可以包括任何合适数量的额外操作。例如，可以执行方法300的额外迭代，使得基于预测误差来修改预测模型，直到预测误差不超过阈值误差。
图4是可以经由预测模型控制部署的DL模型的示例方法的过程流程图。方法400可以用任何合适的计算设备来实施，诸如图5A和图5B的计算设备 500A和500B，并且参考图1的系统100来描述。例如，下面描述的方法可以由图5A和图5B的处理器502或图8A和图8B的处理器802实施。
在框402，监控输入数据和来自预测模型的DL模型的预测性能。例如，输入数据可以包括图像或视频帧。预测性能可以是运行时性能、内存使用、电池消耗或准确度的度量。
在框404，基于来自预测模型的DL模型的预测性能或输入数据来修改控制输入。例如，可以响应于检测到输入数据的变化超过阈值来修改控制输入。在一些示例中，可以响应于检测到DL模型的故障来修改控制输入。在各种示例中，控制输入被修改以在指定的时间范围内优化预定义的性能标准。
在框406，修改后的控制输入被发送到DL模型。例如，修改后的控制输入可以被发送到边缘设备上部署的DL模型。在各种示例中，修改后的控制输入也可以由边缘设备上的预测模型接收和处理。
图4的过程流程图并不旨在指示方法400的所有操作都被包括在每种情况下。另外，方法400可以包括任何合适数量的额外操作。例如，方法400可以包括响应于检测到DL模型的预测性能的变化或DL模型的故障而生成警报。
在各种场景中，本文描述的技术可以在云计算环境中实施。如下面至少参考图5-图8更详细讨论的，被配置为经由预测模型控制部署的DL模型的计算设备可以在云计算环境中实施。预先理解的是，尽管本公开可以包括关于云计算的描述，但是在此记载的教导的实施不限于云计算环境。相反，本发明的实施例能够结合现在已知或以后开发的任何其他类型的计算环境来实施。
云计算是一种服务交付模式，用于对共享的可配置计算资源池进行方便、按需的网络访问。可配置计算资源是能够以最小的管理成本或与服务提供者进行最少的交互就能快速部署和释放的资源，例如可以是网络、网络带宽、服务器、处理、内存、存储、应用、虚拟机和服务。这种云模式可以包括至少五个特征、至少三个服务模型和至少四个部署模型。
特征包括：
按需自助式服务：云的消费者在无需与服务提供者进行人为交互的情况下能够单方面自动地按需部署诸如服务器时间和网络存储等的计算能力。
广泛的网络接入：计算能力可以通过标准机制在网络上获取，这种标准机制促进了通过不同种类的瘦客户机平台或厚客户机平台(例如移动电话、膝上型电脑、个人数字助理PDA)对云的使用。
资源池：提供者的计算资源被归入资源池并通过多租户(multi-tenant)模式服务于多重消费者，其中按需将不同的实体资源和虚拟资源动态地分配和再分配。一般情况下，消费者不能控制或甚至并不知晓所提供的资源的确切位置，但可以在较高抽象程度上指定位置(例如国家、州或数据中心)，因此具有位置无关性。
迅速弹性：能够迅速、有弹性地(有时是自动地)部署计算能力，以实现快速扩展，并且能迅速释放来快速缩小。在消费者看来，用于部署的可用计算能力往往显得是无限的，并能在任意时候都能获取任意数量的计算能力。
可测量的服务：云系统通过利用适于服务类型(例如存储、处理、带宽和活跃用户帐号)的某种抽象程度的计量能力，自动地控制和优化资源效用。可以监测、控制和报告资源使用情况，为服务提供者和消费者双方提供透明度。
服务模型如下：
软件即服务(SaaS)：向消费者提供的能力是使用提供者在云基础架构上运行的应用。可以通过诸如网络浏览器的瘦客户机接口(例如基于网络的电子邮件)从各种客户机设备访问应用。除了有限的特定于用户的应用配置设置外，消费者既不管理也不控制包括网络、服务器、操作系统、存储、乃至单个应用能力等的底层云基础架构。
平台即服务(PaaS)：向消费者提供的能力是在云基础架构上部署消费者创建或获得的应用，这些应用利用提供者支持的程序设计语言和工具创建。消费者既不管理也不控制包括网络、服务器、操作系统或存储的底层云基础架构，但对其部署的应用具有控制权，对应用托管环境配置可能也具有控制权。
基础架构即服务(IaaS)：向消费者提供的能力是消费者能够在其中部署并运行包括操作系统和应用的任意软件的处理、存储、网络和其他基础计算资源。消费者既不管理也不控制底层的云基础架构，但是对操作系统、存储和其部署的应用具有控制权，对选择的网络组件(例如主机防火墙)可能具有有限的控制权。
部署模型如下：
私有云：云基础架构单独为某个组织运行。云基础架构可以由该组织或第三方管理并且可以存在于该组织内部或外部。
共同体云：云基础架构被若干组织共享并支持有共同利害关系(例如任务使命、安全要求、政策和合规考虑)的特定共同体。共同体云可以由共同体内的多个组织或第三方管理并且可以存在于该共同体内部或外部。
公共云：云基础架构向公众或大型产业群提供并由出售云服务的组织拥有。
混合云：云基础架构由两个或更多部署模型的云(私有云、共同体云或公共云)组成，这些云依然是独特的实体，但是通过使数据和应用能够移植的标准化技术或私有技术(例如用于云之间的负载平衡的云突发流量分担技术)绑定在一起。
云计算环境是面向服务的，特点集中在无状态性、低耦合性、模块性和语意的互操作性。云计算的核心是包含互连节点网络的基础架构。
图5A是可以经由预测模型控制部署的DL模型的示例计算设备的框图。计算设备500A可以是例如服务器、台式计算机、膝上型计算机或平板计算机。在一些示例中，计算设备500A可以是云计算节点。计算设备500A可以在由计算机系统执行的诸如程序模块的计算机系统可执行指令的一般上下文中描述。通常，程序模块可以包括例程、程序、对象、组件、逻辑、数据结构等等，它们执行特定的任务或实施特定的抽象数据类型。计算设备500A可以在分布式云计算环境中实践，在分布式云计算环境中，任务由通过通信网络链接的远程处理设备来执行。在分布式云计算环境中，程序模块可以位于本地和远程计算机系统存储介质中，包括内存存储设备。
计算设备500A可以包括用于执行存储的指令的处理器502，用于在操作期间为所述指令的操作提供临时内存空间的内存设备504。处理器可以是单核处理器、多核处理器、计算集群或任何数量的其他配置。内存设备504可以包括随机存取存储器(RAM)、只读存储器、闪存或任何其他合适的内存系统。
处理器502可以通过系统互连506(例如，
等)连接到输入/输出(I/O)设备接口508，I/O设备接口508被适配为将计算设备500A 连接到一个或多个I/O设备510。I/O设备510可以包括例如键盘和定点设备，其中定点设备可以包括触摸板或触摸屏等。I/O设备510可以是计算设备500A 的内置组件，或者可以是外部连接到计算设备500A的设备。
处理器502还可以通过系统互连506链接到被适配为将计算设备500A 连接到显示设备514的显示接口512。显示设备514可以包括显示屏，该显示屏是计算设备500A的内置组件。显示设备514还可以包括外部连接到计算设备500A的计算机监控器、电视或投影仪等。此外，网络接口控制器 (network interface controller，NIC)516可以被适配为将计算设备500A通过系统互连506连接到网络518。在一些实施例中，NIC 516可以使用任何合适的接口或协议传输数据，诸如互联网小型计算机系统接口等。网络518可以是蜂窝网络、无线电网络、广域网(WAN)、局域网(LAN)或互联网等。外部计算设备520可以通过网络518连接到计算设备500A。在一些示例中，外部计算设备520可以是外部网络服务器520。在一些示例中，外部计算设备 520可以是云计算节点。
处理器502还可以通过系统互连506链接到存储设备522，存储设备522 可以包括硬盘驱动器、光驱、USB闪存驱动器、驱动器阵列或其任意组合。在一些示例中，存储设备522可以包括接收器模块524、训练模块526和预测控制器模块528。接收器模块524可以接收数据输入和来自预测模型的、部署在边缘设备上的DL模型的预测性能。例如，数据输入可以是图像或视频帧。在各种示例中，预测性能可以包括运行时性能、内存使用、电池消耗、准确度或其任意组合。训练模块526可以基于性能估计和预测模型的输出之间的预测误差来训练预测模型。例如，预测模型的输出基于训练输入，性能估计基于训练输入和DL模型的输出。预测控制器模块528可以基于数据输入和预测性能来修改DL模型的控制输入。例如，预测控制器模块528可以是如图1所述的预测模型和优化单元。在一些示例中，预测控制器模块528可以响应于检测到输入数据的变化超过阈值，基于预测性能来修改控制输入。在各种示例中，预测控制器模块528可以响应于检测到DL模型的故障，基于预测性能来修改控制输入。预测控制器模块528可以修改控制输入，以在指定的时间范围内优化预定义的性能标准。预测控制器模块528然后可以将控制输入发送到部署的DL模型，以修改DL模型的性能。
应当理解，图5A的框图并不旨在指示计算设备500A将包括图5A所示的所有组件。相反，计算设备500A可以包括图5A中未示出的更少或额外的组件(例如，额外的内存组件、嵌入式控制器、模块、额外的网络接口等)。例如，处理器可以在数据缓冲器、部署模型和预测模型之间切换控制输入的接收。此外，接收器模块524、训练模块526和控制器模块528的任何功能可以部分或全部在硬件和/或处理器502中实施。例如，该功能可以用专用集成电路、在嵌入式控制器中实施的逻辑、或者在处理器502中实施的逻辑等来实施。在一些实施例中，接收器模块524、训练模块526和控制器模块528的功能可以用逻辑来实施，其中这里所指的逻辑可以包括任何合适的硬件(例如，处理器等)，软件(例如，应用程序等)，固件，或者硬件、软件和固件的任何合适的组合。
图5B是示例计算设备的框图，该示例计算设备可以经由预测模型使用 DL学习模型来控制。图5B的计算设备500B具有与图5A相似编号的元件。计算设备500B可以是例如边缘设备，诸如膝上型计算机、平板计算机或智能手机。
计算设备500B的存储设备522还包括接收器模块536。在各种示例中，接收器模块536从外部计算设备520接收输入。例如，该输入可以是来自图 5A的计算设备500A的修改后的输入。
计算设备500B的存储设备522还包括预测模型模块538。在一些示例中，预测模型模块538可以接收被训练来预测部署模型的输出的预测模型。例如，计算设备500A可以使用方法300来训练预测模型。预测模型模块538 可以接收输入，并为接收的输入预测部署模型的输出。例如，预测模型模块 538可以预测图像中检测到的对象或将图像分类预测为一个或多个分类。在各种示例中，预测模型模块538可以将预测输出发送到外部计算设备520，诸如计算设备500A。
计算设备500B的存储设备522包括部署模型模块540。部署模型模块 540可以接收经训练的部署模型。部署模型可能已经被训练成检测图像中的对象或者对图像进行分类。部署模型模块540可以接收诸如图像的输入，并且检测图像中的对象或者对图像进行分类。在各种示例中，部署模型模块540 可以向预测模型模块538发送检测或分类。
应当理解，图5B的框图并不旨在指示计算设备500B将包括图5B中所示的所有组件。相反，计算设备500B可以包括图5B中未示出的更少或额外的组件(例如，额外的内存组件、嵌入式控制器、模块、额外的网络接口等)。例如，处理器可以在数据缓冲器、部署模型和预测模型之间切换控制输入的接收。此外，接收器模块536、预测模型模块538和部署模型模块540的任何功能可以部分或全部在硬件和/或处理器502中实施。例如，该功能可以用专用集成电路、在嵌入式控制器中实施的逻辑、或者在处理器502中实施的逻辑等来实施。在一些实施例中，接收器模块536、预测模型模块538和部署模型模块540的功能可以用逻辑来实施，其中这里所指的逻辑可以包括任何合适的硬件(例如，处理器等)，软件(例如，应用程序等)，固件，或者硬件、软件和固件的任何合适的组合。
现在参考图6，其中显示了示例性的云计算环境600。如图所示，云计算环境600包括云计算消费者使用的本地计算设备可以与其相通信的一个或者多个云计算节点602，本地计算设备例如可以是个人数字助理(PDA)或移动电话604A，台式电脑604B、笔记本电脑604C和/或汽车计算机系统604N。云计算节点602之间可以相互通信。可以在包括但不限于如上所述的私有云、共同体云、公共云或混合云或者它们的组合的一个或者多个网络中将云计算节点602进行物理或虚拟分组(图中未显示)。这样，云的消费者无需在本地计算设备上维护资源就能请求云计算环境600提供的基础架构即服务(IaaS)、平台即服务(PaaS)和/或软件即服务(SaaS)。应当理解，图6显示的各类计算设备604A-N仅仅是示意性的，云计算节点602以及云计算环境600可以与任意类型网络上和/或网络可寻址连接的任意类型的计算设备(例如使用网络浏览器)通信。
现在参考图7，其中显示了云计算环境600(图6)提供的一组功能抽象层。首先应当理解，图7所示的组件、层以及功能都仅仅是示意性的，本发明的实施例不限于此。如图所示，提供下列层和对应功能：
硬件和软件层700包括硬件和软件组件。硬件组件的示例包括：大型机，在一个示例中是
系统；基于RISC(精简指令集计算机)体系结构的服务器，在一个示例中是IBM
系统；IBM
系统；IBM 
系统；存储设备；网络和网络组件。软件组件的示例包括：网络应用服务器软件，在一个示例中是IBM
应用服务器软件；和数据库软件，在一个示例中是IBM
数据库软件。(IBM、zSeries、pSeries、 xSeries、BladeCenter、WebSphere和DB2是国际商业机器公司的商标，在全球许多司法管辖区注册)。
虚拟层702提供一个抽象层，该层可以提供下列虚拟实体的例子：虚拟服务器、虚拟存储、虚拟网络(包括虚拟私有网络)、虚拟应用和操作系统，以及虚拟客户端。在一个示例中，管理层704可以提供下述功能：资源供应功能：提供用于在云计算环境中执行任务的计算资源和其它资源的动态获取；计量和定价功能：在云计算环境内对资源的使用进行成本跟踪，并为此提供帐单和发票。在一个例子中，该资源可以包括应用软件许可。安全功能：为云的消费者和任务提供身份认证，为数据和其它资源提供保护。用户门户功能：为消费者和系统管理员提供对云计算环境的访问。服务水平管理功能：提供云计算资源的分配和管理，以满足必需的服务水平。服务水平协议(SLA)计划和履行功能：为根据SLA预测的对云计算资源未来需求提供预先安排和供应。
工作负载层706提供云计算环境可能实现的功能的示例。在该层中，可提供的工作负载或功能的示例包括：地图绘制与导航；软件开发及生命周期管理；虚拟教室的教学提供；数据分析处理；交易处理；以及
本发明可以是系统、方法或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于使处理器实现本发明的各个方面的计算机可读程序指令。
计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是――但不限于――电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、通过波导或其他传
这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如互联网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。
用于执行本发明操作的计算机程序指令可以是汇编指令、指令集架构 (ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的代码或目标代码，所述编程语言包括面向对象的编程语言—诸如Smalltalk、C++等，以及常规的过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用互联网服务提供商来通过互联网连接)。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列 (PLA)，该电子电路可以执行计算机可读程序指令，从而实现本发明的各个方面。
这里参照根据本技术实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本技术的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。
这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器，从而生产出一种机器，使得这些指令在通过计算机或其它可编程数据处理装置的处理器执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。
也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实施的过程，从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。
现在参考图8A，描绘了可以经由预测模型控制部署的DL模型的示例的有形非瞬时性计算机可读介质800A的框图。有形非瞬时性计算机可读介质 800A可以由处理器802通过计算机互连804来访问。此外，有形非瞬时性计算机可读介质800A可以包括引导处理器802执行图3的方法300和图4的方法400的操作的代码。
这里讨论的各种软件组件可以存储在有形非暂时性计算机可读介质 800A上，如图8A所示。例如，接收器模块806包括用于监控输入数据和来自预测模型的DL模型的预测性能的代码。训练模块808包括用于基于性能估计和预测模型的输出之间的预测误差来训练预测模型的代码。例如，预测模型的输出可以基于训练输入，并且性能估计基于训练输入和DL模型的输出。预测控制器模块810包括用于基于输入数据和DL模型的预测性能来修改控制输入的代码。预测控制器模块810还包括用于将修改后的控制输入发送到DL模型的代码。例如，预测控制器模块810包括用于修改控制输入以在指定的时间范围内优化预定义的性能标准的代码。在一些示例中，预测控制器模块810包括用于响应于检测到输入数据的变化超过阈值而基于预测性能来修改控制输入的代码。在各种示例中，预测控制器模块810包括用于响应于检测到DL模型的故障而基于预测性能来修改控制输入的代码。应当理解，取决于特定应用，图8中未示出的任何数量的额外软件组件可以被包括在有形非暂时性计算机可读介质800中。例如，计算机可读介质800还可以包括用于响应于检测到DL模型的预测性能的变化或DL模型的故障而生成警报的代码。
图8B是示例有形非暂时性计算机可读介质，其可以存储要经由预测模型控制的部署的DL模型。图8B的计算机可读介质800B包括来自图8A的类似编号的元素。例如，有形非暂时性计算机可读介质800B也可以由处理器 802通过计算机互连804来访问。
这里讨论的各种软件组件可以存储在有形非暂时性计算机可读介质 800B上，如图8B所示。例如，接收器模块818包括从外部计算设备520接收输入的代码。例如，输入可以是来自执行计算机可读介质800A的计算设备的修改后的输入。预测模型模块820包括用于接收预测模型的代码，该预测模型被训练成预测部署模型的输出。例如，预测模型可以由计算设备500A使用计算机可读介质800A使用方法300来训练。预测模型模块820可以接收输入，并为接收的输入预测部署模型的输出。例如，预测模型模块820可以包括用于预测图像中检测到的对象或者预测对图像进行分类而得的一个或多个类别的代码。在各种示例中，预测模型模块820可以包括将预测输出发送到外部计算设备520(诸如计算设备500A)的代码。
部署模型模块822包括用于接收经训练的部署模型的代码。在各种示例中，部署模型可能已经被训练成检测图像中的对象或者对图像进行分类。部署模型模块822还可以包括用于接收输入(诸如图像)并检测图像中的对象或对图像进行分类的代码。在各种示例中，部署模型模块822可以包括用于向预测模型模块820发送检测或分类的代码。
附图中的流程图和框图显示了根据本发明的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。应理解，取决于特定应用，图8A和图8B 中未示出的任何数目的额外软件组件可包含在有形非暂时性计算机可读媒体 800A和800B内。
以上已经描述了本技术的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的技术改进，或者使本技术领域的其它普通技术人员能理解本明。
Claims (20)
1.一种系统，包括处理器，所述处理器用于：
接收数据输入和来自预测模型的、部署在资源受限的边缘设备上的DL模型的预测性能；
基于所述数据输入和所述预测性能来修改所述DL模型的控制输入；以及
将所述控制输入发送到部署的DL模型以修改所述DL模型的性能。
2.根据权利要求1所述的系统，其中，所述处理器基于性能估计和所述预测模型的输出之间的预测误差来训练所述预测模型，其中，所述预测模型的输出基于训练输入，并且所述性能估计基于所述训练输入和所述DL模型的输出。
3.根据权利要求1所述的系统，其中，所述预测性能包括运行时性能、内存使用、电池消耗、准确度或其任意组合。
4.根据权利要求1所述的系统，其中，所述处理器响应于检测到所述输入数据的变化超过阈值，基于所述预测性能来修改所述控制输入。
5.根据权利要求1所述的系统，其中，所述处理器响应于检测到所述DL模型的故障，基于所述预测性能来修改所述控制输入。
6.根据权利要求1所述的系统，其中，所述控制输入被修改以在指定的时间范围内优化预定义的性能标准。
7.根据权利要求1所述的系统，其中，所述处理器将在数据缓冲器、所部署的模型和所述预测模型之间切换所述控制输入的接收。
8.一种计算机实施的方法，包括：
经由处理器监控输入数据和来自预测模型的DL模型的预测性能；
基于所述输入数据和所述DL模型的预测性能，经由所述处理器修改控制输入；以及
经由所述处理器将修改后的控制输入发送到所述DL模型。
9.根据权利要求8所述的计算机实施的方法，其中，响应于检测到所述输入数据的变化超过阈值变化，修改所述控制输入。
10.根据权利要求8所述的计算机实施的方法，其中，响应于检测到所述DL模型的预测性能的变化，修改所述控制输入。
11.根据权利要求8所述的计算机实施的方法，其中，修改所述控制输入包括修改所述DL模型的参数，以在指定的时间范围内优化预定义的性能标准。
12.根据权利要求8所述的计算机实施的方法，包括响应于检测到所述DL模型的预测性能的变化或所述DL模型的故障而生成警报。
13.根据权利要求8所述的计算机实施的方法，包括基于性能估计和所述预测模型的预测性能之间的预测误差来训练所述预测模型，其中，所述性能估计基于所部署的模型的训练输入和输出性能特征，并且所述预测模型的预测性能基于所述训练输入和所述性能估计。
14.根据权利要求13所述的计算机实施的方法，其中，基于所述预测误差来修改所述预测模型，直到所述预测误差不超过阈值误差。
15.一种用于控制部署的DL模型的计算机程序产品，所述计算机程序产品包括其中含有程序代码的计算机可读存储介质，其中，所述计算机可读存储介质不是瞬时信号本身，所述程序代码可由处理器执行以使所述处理器：
监控输入数据和来自预测模型的DL模型的预测性能；
基于所述输入数据和所述DL模型的预测性能来修改控制输入；以及
将修改后的控制输入发送到所述DL模型。
16.根据权利要求15所述的计算机程序产品，还包括用于响应于检测到所述输入数据的变化超过阈值而基于所述预测性能来修改所述控制输入的可由处理器执行的程序代码。
17.根据权利要求15所述的计算机程序产品，还包括用于响应于检测到所述DL模型的故障而基于所述预测性能来修改所述控制输入的可由处理器执行的程序代码。
18.根据权利要求15所述的计算机程序产品，还包括用于修改所述控制输入以在指定的时间范围内优化预定义的性能标准的可由处理器执行的程序代码。
19.根据权利要求15所述的计算机程序产品，还包括用于响应于检测到所述DL模型的预测性能的变化或所述DL模型的故障而生成警报的可由处理器执行的程序代码。
20.根据权利要求15所述的计算机程序产品，还包括用于基于性能估计和所述预测模型的输出之间的预测误差来训练所述预测模型的可由处理器执行的程序代码，其中，所述预测模型的输出基于训练输入，并且所述性能估计基于所述训练输入和所述DL的输出。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US16/550,290 US20210064981A1 (en) | 2019-08-26 | 2019-08-26 | Controlling performance of deployed deep learning models on resource constrained edge device via predictive models |
| US16/550,290 | 2019-08-26 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112433733A true CN112433733A (zh) | 2021-03-02 |
Family
ID=74679871
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010861510.3A Pending CN112433733A (zh) | 2019-08-26 | 2020-08-25 | 经由预测模型控制边缘设备上部署的深度学习模型的性能 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US20210064981A1 (zh) |
| CN (1) | CN112433733A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113297415A (zh) * | 2021-04-27 | 2021-08-24 | 安徽继远软件有限公司 | 面向电力边缘侧的边缘视频分析智能服务方法及系统 |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11825319B2 (en) * | 2019-11-18 | 2023-11-21 | Verizon Patent And Licensing Inc. | Systems and methods for monitoring performance in distributed edge computing networks |
| US12106191B2 (en) * | 2021-02-25 | 2024-10-01 | International Business Machines Corporation | Continuous learning process using concept drift monitoring |
| US20240089722A1 (en) * | 2022-09-09 | 2024-03-14 | Dell Products L.P. | Automated subscription management for remote infrastructure |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20090113049A1 (en) * | 2006-04-12 | 2009-04-30 | Edsa Micro Corporation | Systems and methods for real-time forecasting and predicting of electrical peaks and managing the energy, health, reliability, and performance of electrical power systems based on an artificial adaptive neural network |
| US20150245160A1 (en) * | 2014-02-24 | 2015-08-27 | International Business Machines Corporation | Techniques for Mobility-Aware Dynamic Service Placement in Mobile Clouds |
| WO2018148293A1 (en) * | 2017-02-07 | 2018-08-16 | The Regents Of The University Of Michigan | Systems and methods for mixed-signal computing |
| WO2019022737A1 (en) * | 2017-07-26 | 2019-01-31 | Hitachi, Ltd. | MAINTENANCE RECOMMENDATION SYSTEM BASED ON FAILURE PREDICTION |
| CN110032449A (zh) * | 2019-04-16 | 2019-07-19 | 苏州浪潮智能科技有限公司 | 一种优化gpu服务器的性能的方法及装置 |
Family Cites Families (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2016010601A2 (en) * | 2014-04-23 | 2016-01-21 | The Florida State University Research Foundation, Inc. | Adaptive nonlinear model predictive control using a neural network and input sampling |
| US10007292B2 (en) * | 2016-01-11 | 2018-06-26 | Qualcomm Incorporated | Energy aware dynamic adjustment algorithm |
| US11009836B2 (en) * | 2016-03-11 | 2021-05-18 | University Of Chicago | Apparatus and method for optimizing quantifiable behavior in configurable devices and systems |
| US10691491B2 (en) * | 2016-10-19 | 2020-06-23 | Nutanix, Inc. | Adapting a pre-trained distributed resource predictive model to a target distributed computing environment |
| JP6438512B2 (ja) * | 2017-03-13 | 2018-12-12 | ファナック株式会社 | 機械学習により補正した計測データでワークの取り出しを行うロボットシステム、計測データ処理装置および計測データ処理方法 |
| US10972291B2 (en) * | 2017-03-31 | 2021-04-06 | Intel Corporation | Securing communications |
| US10970138B2 (en) * | 2017-05-09 | 2021-04-06 | Microsoft Technology Licensing, Llc | Modular applications using a common provisioning service |
| US10649417B2 (en) * | 2017-05-31 | 2020-05-12 | Microsoft Technology Licensing, Llc | Controlling tenant services based on tenant usage performance indicators |
| US11049250B2 (en) * | 2017-11-22 | 2021-06-29 | General Electric Company | Systems and methods to deliver point of care alerts for radiological findings |
| US10830476B2 (en) * | 2018-05-17 | 2020-11-10 | Johnson Controls Technology Company | Climate control adaptive temperature setpoint adjustment systems and methods |
| US11210591B2 (en) * | 2019-01-04 | 2021-12-28 | Johnson Controls Tyco IP Holdings LLP | Building control system with automated Kalman filter parameter initiation and system identification |
| US11829849B2 (en) * | 2019-01-09 | 2023-11-28 | Cisco Technology, Inc. | Dynamic orchestration of machine learning functions on a distributed network |
| US11176421B2 (en) * | 2019-06-03 | 2021-11-16 | Wipro Limited | System and method for implementing neural network models on edge devices in IoT networks |
| WO2021021664A1 (en) * | 2019-07-26 | 2021-02-04 | Typhon Technology Solutions, Llc | Artificial intelligence based hydraulic fracturing system monitoring and control |
-
2019
- 2019-08-26 US US16/550,290 patent/US20210064981A1/en active Pending
-
2020
- 2020-08-25 CN CN202010861510.3A patent/CN112433733A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20090113049A1 (en) * | 2006-04-12 | 2009-04-30 | Edsa Micro Corporation | Systems and methods for real-time forecasting and predicting of electrical peaks and managing the energy, health, reliability, and performance of electrical power systems based on an artificial adaptive neural network |
| US20150245160A1 (en) * | 2014-02-24 | 2015-08-27 | International Business Machines Corporation | Techniques for Mobility-Aware Dynamic Service Placement in Mobile Clouds |
| WO2018148293A1 (en) * | 2017-02-07 | 2018-08-16 | The Regents Of The University Of Michigan | Systems and methods for mixed-signal computing |
| WO2019022737A1 (en) * | 2017-07-26 | 2019-01-31 | Hitachi, Ltd. | MAINTENANCE RECOMMENDATION SYSTEM BASED ON FAILURE PREDICTION |
| CN110032449A (zh) * | 2019-04-16 | 2019-07-19 | 苏州浪潮智能科技有限公司 | 一种优化gpu服务器的性能的方法及装置 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113297415A (zh) * | 2021-04-27 | 2021-08-24 | 安徽继远软件有限公司 | 面向电力边缘侧的边缘视频分析智能服务方法及系统 |
| CN113297415B (zh) * | 2021-04-27 | 2023-09-15 | 安徽继远软件有限公司 | 面向电力边缘侧的边缘视频分析智能服务方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| US20210064981A1 (en) | 2021-03-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10216544B2 (en) | Outcome-based software-defined infrastructure | |
| US11704123B2 (en) | Automated orchestration of containers by assessing microservices | |
| CN112433733A (zh) | 经由预测模型控制边缘设备上部署的深度学习模型的性能 | |
| US11595269B1 (en) | Identifying upgrades to an edge network by artificial intelligence | |
| US20210012187A1 (en) | Adaptation of Deep Learning Models to Resource Constrained Edge Devices | |
| US20180039894A1 (en) | Expressive Temporal Predictions Over Semantically Driven Time Windows | |
| US11770305B2 (en) | Distributed machine learning in edge computing | |
| US11722371B2 (en) | Utilizing unstructured data in self-organized networks | |
| US20170255505A1 (en) | Application abnormality detection | |
| US11263552B2 (en) | Preparing computing devices in anticipation of predicted user arrival | |
| US11354338B2 (en) | Cognitive classification of workload behaviors in multi-tenant cloud computing environments | |
| US11310125B2 (en) | AI-enabled adaptive TCA thresholding for SLA assurance | |
| US11721099B2 (en) | Cloud based active commissioning system for video analytics | |
| WO2023072443A1 (en) | Workload migration | |
| US20200409451A1 (en) | Personalized content for augemented reality based on past user experience | |
| CN112416700B (zh) | 分析启动的预测性故障和smart日志 | |
| CN115605870A (zh) | 边缘拓扑中分析模型的优化部署 | |
| WO2023185675A1 (en) | Proactive auto-scaling | |
| US20230177355A1 (en) | Automated fairness-driven graph node label classification | |
| US12026542B2 (en) | Optimizing deployment of machine learning workloads | |
| US20220357930A1 (en) | Container file creation based on classified non-functional requirements | |
| US12001310B2 (en) | Approximating activity loads in databases using smoothed time series | |
| TWI822290B (zh) | 相關於用於訓練機器學習模型之聯合學習之電腦實施方法、電腦系統及電腦程式產品 | |
| US20220138614A1 (en) | Explaining machine learning based time series models | |
| US11132556B2 (en) | Detecting application switches in video frames using min and max pooling |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |