CN115756815A - 数据序列预测和资源分配 - Google Patents

数据序列预测和资源分配 Download PDF

Info

Publication number
CN115756815A
CN115756815A CN202211030128.3A CN202211030128A CN115756815A CN 115756815 A CN115756815 A CN 115756815A CN 202211030128 A CN202211030128 A CN 202211030128A CN 115756815 A CN115756815 A CN 115756815A
Authority
CN
China
Prior art keywords
memory
application
memory system
time interval
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211030128.3A
Other languages
English (en)
Inventor
R·巴苏
D·A·帕尔默
J·S·帕里
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Micron Technology Inc
Original Assignee
Micron Technology Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Micron Technology Inc filed Critical Micron Technology Inc
Publication of CN115756815A publication Critical patent/CN115756815A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5011—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resources being hardware resources other than CPUs, Servers and Terminals
    • G06F9/5016—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resources being hardware resources other than CPUs, Servers and Terminals the resource being the memory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0499—Feedforward networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G06F9/5033—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering data affinity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5083—Techniques for rebalancing the load in a distributed system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00—Indexing scheme relating to G06F9/00
    • G06F2209/50—Indexing scheme relating to G06F9/50
    • G06F2209/5019—Workload prediction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Debugging And Monitoring (AREA)

Abstract

一种用于数据序列预测和资源分配的方法包含：由存储器系统确定与所述存储器系统的操作相关联的多个资源参数，并确定与对应于所述存储器系统的使用模式相关联的相应时间间隔，所述相应时间间隔与所述多个资源参数的一或多个集合相关联。所述方法进一步包含：使用所述多个资源参数确定在与所述使用模式相关联的所述相应时间间隔中用于神经网络的隐藏层的一或多个权重，且基于所述确定的用于所述神经网络的隐藏层的一或多个权重而分配所述存储器系统内的计算资源用于执行工作负载。

Description

数据序列预测和资源分配
技术领域
本公开大体上涉及半导体存储器和方法，且更具体地说，涉及用于数据序列预测和资源分配的设备、系统和方法。
背景技术
存储器装置通常被提供为计算机或其它电子系统中的内部、半导体、集成电路。存在许多不同类型的存储器，包含易失性和非易失性存储器。易失性存储器可能需要电力以维持其数据(例如，主机数据、错误数据等)，且包含随机存取存储器(RAM)、动态随机存取存储器(DRAM)、静态随机存取存储器(SRAM)、同步动态随机存取存储器(SDRAM)和晶闸管随机存取存储器(TRAM)等。非易失性存储器可通过在未被供电时保存所存储数据来提供永久数据，且可包含NAND快闪存储器、NOR快闪存储器及电阻可变存储器，例如相变随机存取存储器(PCRAM)、电阻性随机存取存储器(RRAM)及磁阻随机存取存储器(MRAM)，例如自旋力矩转移随机存取存储器(STT RAM)等等。
存储器装置可耦合到主机(例如，主机计算装置)以存储数据、命令和/或指令以在操作计算机或电子系统时供主机使用。举例来说，数据、命令和/或指令可在计算或其它电子系统的操作期间在主机与存储器装置之间传送。
发明内容
在一个方面中，本申请案提供一种用于数据序列预测和资源分配的方法，其包括：由存储器系统确定与所述存储器系统的操作相关联的多个资源参数；确定与对应于所述存储器系统的使用模式相关联的相应时间间隔，所述相应时间间隔与所述多个资源参数的一或多个集合相关联；使用所述多个资源参数确定在与所述使用模式相关联的所述相应时间间隔中用于神经网络的隐藏层的一或多个权重；以及基于所述确定的用于所述神经网络的隐藏层的一或多个权重而分配所述存储器系统内的计算资源以用于执行工作负载。
在另一方面中，本申请案提供一种用于数据序列预测和资源分配的设备，其包括：存储器系统，其包括多个存储器装置；以及处理单元，其驻留于所述存储器系统上且以通信方式耦合到所述存储器装置中的每一个，其中所述处理单元经配置以：监视对应于涉及所述存储器系统的应用程序的执行的多个资源参数；基于所述多个监视的对应于所述应用程序的执行的资源参数而确定与所述存储器系统相关联的使用模式；确定与所述确定的使用模式相关联的相应时间间隔，所述相应时间间隔与所述多个监视的资源参数当中的特定资源参数相关联；使用所述多个监视的资源参数当中的至少一个监视的资源参数或所述确定的使用模式或这两者确定在与所述确定的使用模式相关联的所述相应时间间隔中用于神经网络的隐藏层的一或多个权重；以及基于所述确定的对应于所述神经网络的所述隐藏层的一或多个权重而分配所述存储器系统内的计算资源以用于执行后续应用程序。
在又一方面中，本申请案提供一种用于数据序列预测和资源分配的系统，其包括：电信网络，其包括基站和数据中心；以及移动计算装置，其以通信方式耦合到所述基站，所述移动计算装置包括驻留于其上的存储器系统和处理单元，其中所述处理单元经配置以：监视对应于在所述移动计算装置上运行的工作负载的执行的多个资源参数；基于所述多个监视的对应于所述应用程序的执行的资源参数而确定与所述移动计算装置相关联的使用模式；确定与所述确定的使用模式相关联的相应自相关时间间隔，所述相应自相关时间间隔由所述处理单元基于所述确定的使用模式当中的特定使用模式的特性而确定；确定对应于由所述移动计算装置的用户执行的应用程序的个别用户应用程序参数；从所述数据中心接收对应于由连接到所述移动计算装置连接到的所述电信网络的其它用户执行的应用程序的聚合工作负载参数；使用所述确定的使用模式当中的所述特定使用模式、所述确定的个别用户应用程序参数或所述接收的聚合工作负载参数确定在与所述特定使用模式的所述特性相关联的所述相应自相关时间间隔中用于神经网络的隐藏层的一或多个权重；以及基于所述确定的用于所述神经网络的隐藏层的一或多个权重而分配所述移动计算装置内的计算资源以用于执行后续应用程序。
附图说明
图1是根据本公开的若干实施例的呈包含含有主机和存储器装置的设备的计算装置形式的功能框图。
图2是根据本公开的若干实施例的呈包含前端部分和存储器控制器的存储器系统的形式的功能框图。
图3是根据本公开的若干实施例的用于数据序列预测和资源分配的实例神经网络。
图4是根据本公开的一些实施例的包含基站、数据中心和移动计算装置的电信网络的实例。
图5是根据本公开的若干实施例的表示对应于数据序列预测和资源分配的实例方法的流程图。
具体实施方式
本文中描述用于数据序列预测和资源分配的方法、系统和设备。一种用于数据序列预测和资源分配的方法包含：由存储器系统确定与存储器系统的操作相关联的多个资源参数，并确定与对应于存储器系统的使用模式相关联的相应时间间隔，所述相应时间间隔与所述多个资源参数的一或多个集合相关联。所述方法进一步包含：使用所述多个资源参数确定在与所述使用模式相关联的相应时间间隔中用于神经网络的隐藏层的一或多个权重，且基于确定的用于神经网络的隐藏层的一或多个权重而分配存储器系统内的计算资源用于执行工作负载。
随着电信网络(例如，宽带蜂窝式网络)技术演进，对连接到电信网络的装置可能带来较高的资源需求。这可由于与电信网络(本文中为简洁起见称为“网络”)相关联的可用带宽的增加，这又可带来较高的下载速度并且因此带来与连接到网络的装置相关联的增加的数据业务。此类增加的数据业务可进一步引起在连接到网络的装置内接收、存储和/或处理的数据量更大。
另外，涉及连接到网络的装置(例如移动计算装置)的数据业务增加的可能性可允许在装置上执行越来越复杂的应用程序(例如，设计用于使计算装置执行一或多个特定功能或任务的计算应用程序)。此类应用程序的执行继而可产生要求很高的工作负载，这可使计算资源紧张，且更具体地说，可使在一些常规方法中分配给此类装置的计算资源紧张。
如本文所使用，术语“应用程序”通常是指一或多个计算机程序，其可包含可执行以使计算系统执行某些任务、功能和/或活动的计算指令。在执行应用程序中消耗的计算资源(例如，处理资源和/或存储器资源)的量可在“工作负载”方面进行测量。如本文所使用，术语“工作负载”通常是指在执行某一任务、功能及/或活动的应用程序的执行时消耗的聚合计算资源。在执行应用程序的过程期间，可由计算系统执行多个子应用程序、子例程等。在执行应用程序(包含子应用程序、子例程等)时消耗的计算资源量可称为工作负载。
随着工作负载的要求越来越高，特别是考虑到电信网络技术的改进以及处理和/或可用于处理工作负载的存储器资源的改进，与工作负载处理优化相关联的问题在移动计算装置(例如，智能手机、平板电脑、平板手机和/或物联网(IoT)装置等)中可能会进一步加剧，其中物理空间限制可能决定装置可用的处理资源和/或存储器资源量。另外，在一些方法中，使用移动计算装置执行高要求工作负载可能会快速地消耗可用于移动计算装置的电池资源及/或产生移动计算装置的不合需要的热行为(例如，移动计算装置可变得过热而无法以稳定方式操作等)。如本文中所使用，术语“移动计算装置”通常是指具有平板或平板手机形状因数的手持式计算装置。一般来说，平板形状因数可包含约3英寸与5.2英寸(对角测量)之间的显示屏，而平板手机形状因数可包含约5.2英寸与7英寸(对角测量)之间的显示屏。然而，“移动计算装置”的实例不限于此，且在一些实施例中，“移动计算装置”可指IoT装置，以及其它类型的边缘计算装置。
至少出于前述原因，可用于移动计算装置执行在移动计算装置上运行的应用程序(例如，作为一或多个应用程序的部分可执行的指令等)的资源的优化可由于移动计算装置使用的动态性质而变得困难，所述动态性质可包含演进的应用程序和/或工作负载需求和/或新应用程序和/或工作负载的执行。因此本公开的目的是优化计算资源(例如，存储器资源和/或处理资源)此类指令以改善计算装置(例如，移动计算装置)的总体功能。
举例来说，如本文所描述，可基于以下方式优化移动计算装置的性能：基于在给定时间间隔期间由移动计算装置执行的工作负载而预测待由所述移动计算装置执行的工作负载，且前瞻性地分配计算资源未来工作负载的执行。如本文中所使用，术语“经优化”通常是指其中针对特定目的(例如，为执行特定类型的工作负载和/或特定类型的关于移动计算装置的所确定用户行为)而以最佳(或近似最佳)利用计算资源的方式分配移动计算装置的计算资源的情况。
如本文更详细地描述，这些时间间隔可对应于在未来的预期时间帧，在此期间各种类型的数据业务使计算装置负担较重。在一些实施例中，此类时间间隔可为自相关时间间隔，其可经划分为多个预测性时间帧。如本文所使用，“自相关时间间隔”大体上指代离散时间周期，在此期间可监视事件以确定随相似事件的发生之间的时间滞后而变的此类事件之间的相似性。本文中在替代方案中可称为“资源参数”的可受监视以确定其间随时间而变(例如，在自相关时间间隔期间)的相似性的此类事件的非限制性实例可包含存储器装置处理量、所观测脏高速缓存命中的百分比、执行的写入操作的总数量、执行的擦除操作的总数量、存储器装置的存储器块和/或存储器单元的健康特性、可用的自由存储器块和/或存储器单元的数量，和/或数据正循序地还是非循序地写入，等等。
如本文更详细描述，自相关时间间隔和/或预测性时间帧可至少包含“当期预测”时间间隔、“短期预测”时间间隔、“中期预测”时间间隔和/或“长期预测”时间间隔，在此期间发生上文描述的实例“相似事件”中的至少一些。举例来说，“当期预测”时间间隔可指作为在数据业务的接收与处理之间的最短时间间隔的时间间隔，且因此可对应于其中可能关注例如阈值电压电平、游标选择和/或由于动态处理量的时钟选择等等存储器装置参数的时间间隔。
如本文所使用，术语“游标”大体上指代用以限定数据将写入的存储器装置中的存储器位置的指针或其它指示符。举例来说，存储器装置可具有在每单元不同位模式中操作的块(例如，SLC模式中的块和TLC模式中的块等)。在任何给定时间，可能存在若干开放块(部分地但不完全经填充且基于工作负载而接收更多写入数据)且每一开放块可与一些使用情况相关联。举例来说，大顺序数据可写入到开放TLC块，而小随机数据可写入到开放SLC块。此外，例如与垃圾收集操作相关联的数据等媒体管理操作可写入到不同TLC块等。“游标”可用来跟踪每一开放块中已先前写入数据(或后续数据可写入到)的位置。另外，“游标”可涉及数据写入可如何基于它们相关联的使用情况而分离为进入不同数据流的各种媒体。举例来说，存储器装置可具有可基于若干不同因数(磨损状态、开放/关闭块计数、写入的类型等)将一种类型的主机写入发送到一个游标或另一游标的不同策略。因此，术语“游标选择”可大体上指代可与这些不同策略相关联和/或可基于这些不同因数的各种光标当中的选择。
“短期预测”时间间隔可指在数据业务的接收与处理之间约数分钟/小时到约一天的时间间隔，且因此可对应于其中可能关注例如预读高速缓存大小分配、缓冲器大小分配(例如，SRAM缓冲器和/或SLC/TLC NAND单元等之间)、逻辑到物理区管理、媒体管理操作、垃圾收集步调，和/或存储器清空操作等等存储器装置参数的时间间隔。“中期预测”时间间隔可指在数据业务的接收与处理之间约若干天的时间间隔，且因此可对应于其中可能关注例如日志状态(例如，是否过早地清空取消映射日志和/或改变日志)和/或存储器单元块的预擦除等等存储器装置参数的时间间隔。“长期预测”时间间隔可指其中可能关注例如后端带宽的利用率、命令队列冲突避免和/或用以最大化编程擦除循环和/或最小化写入放大的耗损均衡等存储器装置特性的约数月到数年的时间间隔。
在一些实施例中，可基于在这些自相关间隔期间观测到的数据序列而分配资源(例如，可用于计算装置的存储器资源和/或处理资源)。在这些间隔期间观测到的数据序列可用作对神经网络的输入，以通过预测存储器装置的未来资源要求且基于预测的未来资源要求前瞻性地分配计算资源而优化计算装置中的资源分配。
大体来说，神经网络可包含可执行以辨识数据的模式的指令集。一些神经网络可用以以模仿人类大脑运作的方式辨识数据集合中的下层关系。神经网络可适于变化或改变的输入，使得神经网络可在无需重新设计输出准则的情况下产生最佳可能的结果。
神经网络可由多个神经元组成，所述神经元可由一或多个等式表示。在神经网络的上下文中，神经元可接收大量数字或向量作为输入，且基于神经网络的性质而产生输出。举例来说，神经元可接收Xk个输入，其中k对应于输入的索引。对于每一输入，神经元可对输入指派权重向量Wk。在一些实施例中，权重向量可使神经网络中的神经元不同于网络中的一或多个不同神经元。在一些神经网络中，可将相应输入向量乘以相应权重向量以得到值，如由等式1所示，其示出输入向量和权重向量的线性组合的实例。
f(x1,x2)＝w1x1+w2x2
等式1
在一些神经网络中，可将非线性函数(例如，激活函数)施加到由等式1产生的值f(x1,x2)。可施加到由等式1产生的值的非线性函数的实例是修正线性单元函数(ReLU)。由等式2所示的ReLU函数的施加在值大于零的情况下产生对函数的值输入，或在对函数的值输入小于零的情况下产生零。ReLU函数此处仅用作激活函数的说明性实例且并不希望是限制性的。在神经网络的上下文中可施加的激活函数的其它非限制性实例可包含S形函数、二进制阶跃函数、线性激活函数、双曲线函数、泄漏ReLU函数、参数ReLU函数、softmax函数和/或swish函数等等。
ReLU(x)＝max(x,0)
等式2
在训练神经网络的过程期间，可更改输入向量和/或权重向量以“调谐”网络。在一个实例中，可用随机权重初始化神经网络。随时间过去，可调整权重以改善神经网络的准确性。这可随时间产生具有高准确性的神经网络，如本文结合图3所描述。
然而，根据本公开的一些方面，神经网络可接收各种存储器装置资源参数作为输入，例如存储器装置处理量、所观测脏高速缓存命中的百分比、执行的写入操作的总数量、执行的擦除操作的总数量、存储器装置的存储器块和/或存储器单元的健康特性、可用的自由存储器块和/或存储器单元的数量，和/或数据正循序地还是非循序地写入，等等。神经网络可随后执行数据序列和相关(例如，自相关)以确定用于神经网络的隐藏层(或“权重”)。这些隐藏层又可用以确定经加权资源分配参数，其用以预测其中部署存储器装置的计算系统的未来资源分配要求。通过执行本文所描述的这些和其它操作，可前瞻性地分配计算系统的资源以优化计算系统的性能、装置使用寿命和/或功率消耗等等。
在本公开的以下详细描述中，参考形成本公开的部分的附图，且图中通过图解方式展示可实践本公开的一或多个实施例的方式。足够详细地描述这些实施例以使得所属领域的一般技术人员能够实践本公开的实施例，且应理解，可利用其它实施例，且可在不脱离本公开的范围的情况下进行工艺、电气和结构改变。
如本文中所使用，例如“X”、“N”、“M”、“O”、“P”、“Q”等特定地相对于图式中的参考标号的指定符指示可包含数个如此指定的特定特征。还应理解，本文中所使用的术语仅出于描述特定实施例的目的，而不意图为限制性的。如本文所使用，除非上下文另外明确规定，否则单数形式“一(a/an)”和“所述(the)”可包含单个指示物和多个指示物两者。另外，“多个”、“至少一个”和“一或多个”(例如，多个存储器排组)可指一或多个存储器排组，而“多个”意在指代超过一个此类事物。
此外，贯穿本申请案以许可意义(即，有可能、能够)而非以强制性意义(即，必须)使用词语“可能”和“可”。术语“包含”和其派生词指“包含但不限于”。视上下文而定，术语“耦合(coupled/coupling)”意指物理上直接或间接连接或存取及移动(传输)命令及/或数据。
本文中的图式遵循编号定则，其中第一一或多个数字对应于图式编号，且剩余的数字标识图式中的元件或组件。可通过使用类似数字来识别不同图之间的类似元件或组件。举例来说，104可表示图1中的元件“04”，且相似元件可在图2中表示为204。通常在本文中可用单个元件符号指代一组或多个类似元件或组件。举例来说，多个参考元件110-1到110-N(或替代地110-1、...、110-N)可被统称为110。如将了解，可添加、交换和/或去除本文中的各个实施例中示出的元件，以便提供本公开的多个额外实施例。另外，图式中提供的元件的比例和/或相对尺度意图说明本公开的某些实施例，且不应被视作限制性意义。
图1为根据本公开的若干实施例的呈包含含有主机102和存储器系统104的设备的计算装置100的形式的功能框图。如本文所使用，“设备”可指但不限于多种结构或结构的组合中的任何一种，例如，电路或电路系统、一或多个裸片、一或多个模块、一或多个装置或一或多个系统。存储器系统104可包含一或多个存储器模块(例如，单列直插式存储器模块、双列直插式存储器模块等)。存储器系统104可包含易失性存储器及/或非易失性存储器。在一些实施例中，计算系统100可为移动计算装置，例如个人膝上型计算机、数码相机、智能电话、存储卡读卡器和/或具有物联网(IoT)功能的装置，如本文中所描述。
计算系统100可包含系统主板和/或底板，且可包含且可包含存储器存取装置，例如处理器(或处理单元)，如下文所描述。计算系统100可包含单独集成电路，或者主机102、存储器系统104、存储器控制器108和/或存储器装置110-1到110-N中的一或多个可在同一集成电路上。虽然图1中展示的实例说明具有冯诺依曼(Von Neumann)架构的计算装置100，但本公开的实施例可实施于非冯诺依曼架构中，所述非冯诺依曼架构可不包含通常与冯诺依曼架构相关联的一或多个组件(例如CPU、ALU等)。
如图1所示，主机102可经由一或多个通道(例如，通道103)耦合到存储器系统104。如本文所使用，“通道”大体上指代信令、命令、数据、指令及类似物借以在主机102、存储器系统104、存储器控制器108和/或存储器装置110-1到110-N之间传送的通信路径。虽然图1中未示出以免混淆附图，但存储器装置110-1到110-N可经由一或多个通道耦合到存储器控制器108和/或主机102，使得存储器装置110-1到110-N中的每一个可接收符合与存储器装置110-1到110-N中的每一个相关联的存储器的类型的消息、命令、请求、协议、数据或其它信令。
在一些实施例中，存储器系统104可为通用快闪存储(UFS)系统。如本文所使用，术语“通用快闪存储”大体上指代符合可在数码相机、移动计算装置(例如，移动电话等)和/或其它消费型电子装置中实施的通用快闪存储规范的存储器系统。大体来说，UFS系统与集成控制器(例如，存储器控制器108)结合利用一或多个NAND快闪存储器装置，例如多个堆叠式3D TLC NAND快闪存储器裸片。
存储器系统104可包含易失性存储器及/或非易失性存储器。在若干实施例中，存储器系统104可包含多芯片装置。多芯片装置可包含数个不同存储器装置110-1到110-N，其可包含数个不同存储器类型和/或存储器模块。举例来说，存储器系统104可包含任何类型的模块上的非易失性或易失性存储器。另外，如图1中所展示，存储器系统104可包含存储控制器108。组件(例如，存储器系统104、存储控制器108和/或存储器装置110-1到110-N)中的每一个可在本文中单独地称作“设备”。存储器控制器108在本文可称为“处理装置”或“处理单元”。
存储器系统104可提供用于计算系统100的主存储器或可在整个计算系统100中用作额外存储器和/或存储装置。存储器系统104可包含一或多个存储器装置110-1到110-N，其可包含易失性和/或非易失性存储器单元。举例来说，存储器装置110-1到110-N中的至少一个可为具有NAND架构的快闪阵列。实施例不限于特定类型的存储器装置。例如，存储器系统104可包含RAM、ROM、DRAM、SDRAM、PCRAM、RRAM和快闪存储器等。
在其中存储器系统104包含非易失性存储器的实施例中，存储器系统104可包含可包含任何数目的存储器装置110-1到110-N，所述存储器装置可包含快闪存储器装置，例如NAND或NOR快闪存储器装置。然而，实施例不限于此，且存储器系统104可包含其它非易失性存储器装置110-1到110-N，例如非易失性随机存取存储器装置(例如，NVRAM、ReRAM、FeRAM、MRAM、PCM)、例如电阻可变(例如，3D交叉点(3D XP))存储器装置等“新兴”存储器装置、包含自选存储器(SSM)单元阵列的存储器装置等，或其任何组合。
电阻可变存储器装置可结合可堆叠交叉网格化数据存取阵列基于体电阻的改变来执行位存储。另外，与许多基于快闪的存储器相比，电阻可变非易失性存储器可进行就地写入操作，其中可在不预先擦除非易失性存储器单元的情况下对非易失性存储器单元进行编程。与基于快闪的存储器和电阻可变存储器相比，自选存储器单元可包含具有充当存储器单元的开关和存储元件两者的单种硫族化物材料的存储器单元。
在一些实施例中，存储器装置110-1到110-N包含不同类型的存储器。例如，存储器装置110-1可以是非易失性存储器装置，例如NAND存储器装置，且存储器装置110-N可以是易失性存储器装置，例如DRAM装置，反之亦然。然而，实施例不限于此，且存储器装置110-1到110-N可包含任何类型的存储器装置和/或存储器装置的任何组合。
存储器系统104可进一步包含存储器控制器108。存储器控制器108可以集成电路的形式提供，例如专用集成电路(ASIC)、现场可编程门阵列(FPGA)、精简指令集计算装置(RISC)、高级RISC机器、芯片上系统，或经配置以执行本文更详细地描述的操作的硬件和/或电路系统的其它组合。在一些实施例中，存储器控制器108可包括一或多个处理器(例如，处理装置、处理单元等)。
在一些实施例中，存储器控制器108可控制对存储器装置110-1到110-N的存取。举例来说，存储器控制器108可处理对应于存储器存取请求(例如，涉及存储器装置110-1到110-N的读取和写入请求)的信令且使数据写入到存储器装置110-1到110-N和/或从中读取数据。然而，实施例不受如此限制，且在一些实施例中，存储器控制器108可监视与存储器系统104相关联的资源参数，利用神经网络(例如，本文图3所示的神经网络322)控制数据定序操作、数据相关操作和/或经加权资源分配操作的执行，和/或响应于上文所列举的操作的执行而控制操作的执行以在存储器装置110-1到110-N之间分配(重新分配、预分配等)资源。
另外，存储器控制器108可处理对应于与计算系统100相关联的工作负载和应用程序使用的信令。举例来说，存储器控制器108可监视由计算系统100执行的工作负载的特性以确定当前工作负载和/或应用程序使用是否针对计算系统100优化。如果存储器控制器108基于资源参数和用于计算系统100的神经网络(例如，本文图3所示的神经网络322)的经加权输出而确定工作负载和/或应用程序使用未经优化，那么存储器控制器108可在存储器装置110-1到110-N之间前瞻性地分配计算资源以优化后续工作负载和/或应用程序的执行和/或优化与计算系统100相关联的资源参数。另外或在替代方案中，存储器控制器108可基于由计算系统100执行的工作负载的特性和/或资源参数而致使从计算系统100外部的电路系统检索经更新的操作指令(例如，固件更新)且由计算系统100执行以优化计算系统100的性能(例如，前瞻性地分配计算资源)。
如本文结合图2和4更详细论述，存储器控制器108可与计算装置100外部的电路系统通信，作为执行本文所描述的操作的部分。举例来说，存储器控制器108可经由例如图4所示的电信网络450等电信网络传送和接收信令。在一些实施例中，由存储器控制器108传送和接收的信令可包含对应于资源参数和/或可由存储器控制器108执行以优化用于计算装置100的计算资源分配的其它指令的命令，如本文中所描述。
在一些实施例中，存储器控制器108可执行对应于数据模式辨识的指令。举例来说，存储器控制器108可执行可致使计算装置100监视与工作负载、执行的应用程序、执行的应用程序的类型等相关联的资源参数的指令，其由计算装置100处理以确定与资源参数相关联的模式。在一些实施例中，资源参数可由存储器控制器108使用以预测和/或确定计算装置100的可能未来数据处理趋势。存储器控制器108可随后使用预测的资源参数趋势以抢先和/或动态地优化在存储器装置110-1到110-N之间的计算资源的分配。
在非限制性实例中，设备(例如，计算系统100)可包含存储器系统104，其包含存储器装置110-1到110-N。处理单元(例如，存储器控制器108)可驻留于存储器系统104上。在一些实施例中，存储器系统、存储器装置和/或处理单元可驻留于移动计算装置上。如本文所使用，术语“驻留于...上”大体上指代物理上位于特定组件、裸片、芯片、电路板和/或衬底上的某物，以及其它可能性。举例来说，处理单元驻留于存储器系统104上大体上指代形成处理单元的物理硬件(例如，电路、逻辑或其它硬件组件)物理上包含于存储器系统104内(即，同一裸片或封装内)的条件。术语“驻留于……上”可在本文中与例如“部署于……上”或“位于……上”等其它术语互换使用。
处理单元可以通信方式耦合到存储器装置且处理单元可监视对应于涉及存储器系统的应用程序的执行的资源参数。在一些实施例中，存储器装置可包含至少一个易失性存储器装置和至少一个非易失性存储器装置。
处理单元可基于监视的对应于应用程序的执行的资源参数而确定与存储器系统相关联的使用模式。处理单元可确定与监视的资源参数相关联的相应时间间隔。在一些实施例中，相应时间间隔可与监视的资源参数当中的特定资源参数相关联。如上文所描述，时间间隔可为自相关时间间隔。
处理单元可使用监视的资源参数当中的至少一个监视的资源参数和/或确定的使用模式而确定在与确定的使用模式相关联的相应时间间隔中用于神经网络(例如，本文结合图3描述的神经网络322)的隐藏层的一或多个权重。因此，在一些实施例中，神经网络的隐藏层可对应于例如递归神经网络等前馈神经网络的隐藏层。如本文更详细描述，使用模式可对应于用户工作负载(例如，图3的用户工作负载321)和/或聚合用户工作负载(例如，图3的聚合云工作负载323)。
在一些实施例中，处理单元可基于确定的对应于神经网络的隐藏层的一或多个权重而分配存储器系统内的计算资源以用于执行后续应用程序。在此类实施例中，处理单元可在易失性存储器装置和/或非易失性存储器装置之间分配计算资源，作为计算资源的分配的部分以用于执行在应用程序之后执行的应用程序。
如下所述，处理单元可确定对应于由计算系统100的用户执行的应用程序的个别用户应用程序参数(例如，对应于图3的工作负载321的参数)，接收对应于由连接到计算系统100连接到的网络的其它用户执行的应用程序的聚合工作负载参数(例如，对应于图3的聚合云工作负载323的参数)，且使用确定的个别用户应用程序参数和所接收聚合工作负载参数确定资源参数的特性。
继续此非限制性实例，处理单元可确定与对应于应用程序执行的命令相关联的命令时延以确定与资源参数(例如，对应于由计算系统100的用户执行的应用程序的个别用户应用程序参数321和/或对应于由连接到计算系统100连接到的网络的其它用户执行的应用程序的聚合工作负载参数323)相关联的相应时间间隔。
在一些实施例中，处理单元可确定和/或指派至少三个相异的时间间隔，作为确定与存储器系统相关联的使用模式的部分。如本文所描述，这些时间间隔可为自相关时间间隔，且可基于对应于在计算系统100上运行的应用程序的执行的所监视资源参数。在此类实例中，处理单元可确定和/或指派对应于当期的第一相异的时间间隔、对应于短期的第二相异时期，和/或对应于中期或长期的第三相异时期。然而，实施例不受如此限制，且处理单元可确定和/或指派大于三个相异的时间间隔或少于三个相异的时间间隔。举例来说，在一些实施例中，处理单元可确定和/或指派四个相异的时间间隔：对应于当期的第一相异时间间隔、对应于短期的第二相异时期、对应于中期的第三相异时期，以及对应于长期的第四相异时间间隔。
图1的实施例可包含为避免模糊本公开的实施例而未说明的额外电路系统。举例来说，存储器装置104可包含地址电路系统以锁存通过I/O电路系统在I/O连接上提供的地址信号。地址信号可由行解码器和列解码器接收和解码以存取存储器装置104和/或存储器阵列130。本领域的技术人员应了解，地址输入连接的数目可取决于存储器装置104和/或存储器阵列130的密度和架构。
图2是根据本公开的若干实施例的呈包含前端部分212和存储器控制器208的存储器系统104的形式的功能框图。如图2所示，存储器系统104包含前端部分和存储器控制器208，所述存储器控制器可类似于本文在图1中所说明的存储器控制器108。图2所示的存储器控制器208可包含硬件加速电路系统(“HW加速器”215)和/或定时电路(“定时器”217)。另外，存储器控制器208可监视各种资源参数，例如读取处理量211和写入处理量213。将了解，这些列举的实例并不希望是限制性的，且存储器控制器208可监视其它资源参数，如本文更详细描述。
前端部分212可经配置以从例如图1中所说明的主机102的主机接收信令，所述信令可称为命令214(例如，CMD_1、CMD_2、CMD_3等)。前端部分212可控制处理此类信令的次序。即，在一些实施例中，前端部分212可包含队列电路系统以相对于存储器系统204组织和控制处置从主机接收的信令的次序。在一些实施例中，前端部分212可将标记216附加到所接收命令214中的每一个。虽然在图2中一般示出标记216，但实施例不受如此限制且标记216中的每一个可以相同或不同于其它标记216中的至少一个。
标记216可包含对应于应用程序发起时延、资源参数、自相关时间间隔、工作负载参数、数据序列参数和/或数据相关参数和/或经加权资源分配参数等等的信息。另外，标记216可包含对应于本文所描述的时间相关的时期(例如，当期、短期、中期和/或长期等)的信息。
在一些实施例中，当期、短期、中期和/或长期时间间隔可基于执行特定管理操作的计算系统所经历的时间量。举例来说，当期、短期、中期和/或长期时间间隔可基于管理操作的频率，所述管理操作例如阈值读取/写入电压电平、游标选择、对应于动态处理量的时钟定时选择、预读高速缓存大小分配、缓冲器大小分配、逻辑到物理区管理、媒体管理操作，所述媒体管理操作例如垃圾收集步调、存储器清空操作、日志清空操作、存储器单元块的预擦除、后端带宽的利用、命令队列冲突避免、耗损均衡操作等。
虽然在一些方法中大体上以设定间隔执行这些和其它管理操作，但本公开的实施例可允许以对其中大体上执行这些和其它此类操作的时间帧的了解来监视计算系统的资源参数，以促进本文所描述的数据序列预测和资源分配方法。因此，如本文所描述，本公开的方面可促进计算资源的抢先式分配以优化计算系统的性能。
在一些实施例中，当期、短期、中期和/或长期时间间隔可基于在计算系统(例如，图1中所说明的计算系统100和/或图4中所说明的移动计算装置401)的第一次启动之后的时间量。举例来说，当期、短期、中期和/或长期时间间隔可基于计算系统的第一次启动(或任何后续初始化)之后的时间量，其中可执行某些操作以优化计算系统的资源分配。在此类实施例中，当期、短期、中期和/或长期时间间隔可基于计算系统的组件(例如，本文图1和2中说明的存储器系统104、204的组件)由于在使用计算系统执行应用程序中经历的工作负载而经历的时间量、磨损、PEC、环境操作条件等。
图3是根据本公开的若干实施例的用于数据序列预测和资源分配的实例神经网络322。在一些实施例中，神经网络322可为前馈神经网络，例如递归神经网络(RNN)。然而，实施例不受如此限制，且神经网络322可为不同类型的前馈神经网络或向后传播神经网络。举例来说，神经网络322可为感知机神经网络、径向基础神经网络、深度前馈神经网络、递归神经网络、长期/短期存储器神经网络、选通递归单元神经网络、自动编码器(AE)神经网络、变化AE神经网络、去噪AE神经网络、稀疏AE神经网络、马尔科夫链神经网络、霍普菲尔德神经网络、波耳兹曼机器(BM)神经网络、受限BM神经网络、深度信念神经网络、深度卷积神经网络、解卷积神经网络、深度卷积逆图形神经网络、生成对抗神经网络、液态机器神经网络、极端学习机器神经网络、回声状态神经网络、深度残余神经网络、自组织特征映射神经网络、支持向量机神经网络，和/或神经图灵机神经网络等等。
图3所示的神经网络322可完全或部分地包含于例如图1中所说明的计算系统100等计算系统内。举例来说，神经网络322可写入到存储器装置，例如图1中所说明的存储器系统104的存储器装置100-1到110-N，且在对应于神经网络322的数据写入到存储器装置的同时可执行涉及神经网络322的操作。在一些实施例中，神经网络322的操作(例如，利用神经网络322执行的操作的控制)可由例如图1中所说明的存储器控制器108等存储器控制器安排。
如图3中所示，对应于用户工作负载321的工作负载和对应于聚合云工作负载323的工作负载以及资源参数325可用作用于神经网络322的输入(由方向性箭头所示)。在层341、343、345、347和349之间示出的箭头可表示归于神经网络322的节点331、333、335、337和/或339的权重。在一些实施例中，方向性箭头可对应于神经网络322的各种分支的权重。举例来说，在数据序列和相关阶段327期间，从节点331-1指向的箭头和从节点331-3指向节点333-1的箭头可表示神经网络322的权重。在一些实施例中，箭头可表示不同权重，其可例如基于用作对节点331、333等的输入的资源参数而不同，和/或可基于时期而不同(例如，神经网络322是否正处理当期、短期、中期和/或长期预测)。
用户工作负载321可对应于计算装置(例如，分别在图1和4中说明的计算装置100和/或移动计算装置401)正执行或已执行的工作负载。如本文所使用，术语“用户工作负载”大体上指代由于使用图1的计算系统100和/或图4的移动计算装置401的计算资源执行应用程序带来的工作负载。在一些实施例中，用户工作负载321可由计算装置(例如，由本文在图1中所说明的存储器控制器108)监视和/或可由可用于分布式计算系统的计算资源监视，所述分布式计算系统与计算通信以确定与工作负载的执行相关联的特性。在一些实施例中，与工作负载的执行相关联的特性可包含由计算装置执行的应用程序(例如，相机/视频应用程序、游戏应用程序、金融应用程序、社交媒体应用程序、健康应用程序等)的类型、与工作负载的执行相关联的功率消耗(例如，电池消耗)、和/或工作负载的执行频率等等。
可从图1的计算系统100以通信方式耦合到的一组不同计算装置收集聚合云工作负载323。举例来说，如由图4中示出的电信网络450所表示的分布式计算系统(例如，多用户网络、云计算系统等)可与包含计算系统100的多个计算装置通信，且可经配置以检索对应于与分布式计算系统和/或计算系统100通信的所述组计算装置相关联的应用程序执行和对应工作负载的信息。此类信息可经由例如无线因特网连接和/或蜂窝式网络连接等无线通信路径(例如，“空中协议”通信路径，例如本文图4所示的通信路径454-1到454-X)传送，且可经处理、分析和/或存储作为聚合云工作负载323的部分。
如图3中所示，神经网络322包含多个层341、343、345、347、349，其可各自包含大量节点331、333、335、337、339。在一些实施例中，层341、343、345、347、349中的至少一些且因此节点331、333、335、337、339中的至少一些可为输入层/节点、隐藏层/节点和输出层/节点。
举例来说，在图3所示的实施例中，层341可为包含输入节点331的输入层，所述输入节点接收关于用户工作负载321、聚合云工作负载323和/或资源参数325的信息。层345可为包含隐藏节点335的隐藏层，且层349可为包含节点339的输出层。层343(其包含节点333)和层347(其包含节点337)可表示神经网络332的各种中间层。在一些实施例中，层349可包含神经网络322的经加权输出W1 339-1、W2 339-2、WQ 339-Q等。如本文所描述，基于确定的用于神经网络的隐藏层(例如，层345)的权重和/或基于神经网络322的经加权输出W1 339-1、W2 339-2、WQ 339-Q等，存储器系统内的计算资源可经预分配以用于执行未来工作负载。
可在一个或若干阶段中训练和/或操作神经网络322。举例来说，涉及层341、343和345的操作可在数据序列和相关阶段327期间执行，且涉及层347和349的操作可在经加权资源分配阶段329期间执行。操作可包含：输入对应于例如与用户工作负载321和/或聚合云工作负载323相关联的那些资源参数的信息，将输入加权以确定神经网络322的隐藏层，执行特征提取和/或确定经加权输出W1 339-1、W2 339-2、WQ 339-Q等。
在一些实施例中，由输入对应于例如与用户工作负载321和/或聚合云工作负载323相关联的那些资源参数的信息、将输入加权以确定神经网络322的隐藏层和/或执行特征提取组成的操作可在数据序列和相关阶段327期间发生，而确定经加权输出W1 339-1、W2339-2、WQ 339-Q等可在经加权资源分配阶段329期间发生。
图4是根据本公开的一些实施例的包含基站452、数据中心456和移动计算装置401的电信网络450的实例。基站可经由“空中协议”通信路径454-1到454-X与移动计算装置401和数据中心456通信。基站452可为例如移动计算装置等若干装置提供网络覆盖。如本文所使用，特别在来自基站的网络覆盖的上下文中，术语“网络覆盖”通常指以存在由基站产生的电磁辐射(例如，具有与其相关联的特定频率范围的波)为特征的地理区域。如本文所使用，“基站”大体上指代产生和接收特定频率范围内的电磁辐射且促进基站与在基站的网络覆盖区域内的计算装置(例如，例如智能电话等移动计算装置)之间的数据或其它信息的传送的设备。基站可产生和接收的频率范围的若干非限制性实例可包含700MHz-2500 MHz(在4G基站的情况下)或28GHz-39 GHz(在5G基站的情况下)。
在非限制性实例中，系统可包含基站452和数据中心456。移动计算装置401可经由通信路径454-1以通信方式耦合到基站452。如图4中所示，可类似于本文在图1中所说明的计算系统100的移动计算装置401可具有驻留于其上的处理单元403和存储器系统404。在一些实施例中，处理单元403可类似于图1和2中说明的存储器控制器108/208，且存储器系统404可类似于本文图1和2中说明的存储器系统104/204。处理单元403可监视对应于在移动计算装置401上运行的工作负载的执行的资源参数。
在一些实施例中，处理单元403可基于监视的对应于应用程序执行的资源参数而确定与移动计算装置相关联的使用模式，且确定与所确定使用模式相关联的相应自相关时间间隔。如上文所描述，处理单元403可基于所确定使用模式当中的特定使用模式的特性确定相应自相关时间间隔。处理单元403可进一步确定对应于由移动计算装置401的用户执行的应用程序的个别用户应用程序参数。
继续此实例，处理单元403可从数据中心456接收聚合工作负载参数423，所述聚合工作负载参数对应于由连接到移动计算装置401连接到的电信网络450的其它用户执行的应用程序。处理单元403可使用所确定使用模式当中的特定使用模式、所确定个别用户应用程序参数和/或所接收聚合工作负载参数423确定在与特定使用模式的特性相关联的相应自相关时间间隔中用于神经网络(例如，本文图3所示的神经网络322)的隐藏层的一或多个权重。
处理单元403可随后基于确定的用于神经网络的隐藏层的一或多个权重而分配移动计算装置401内的计算资源以用于执行后续应用程序。在一些实施例中，处理单元403可基于确定的用于神经网络的隐藏层的一或多个权重而在后续应用程序的执行之前分配移动计算装置401内的计算资源。
在一些实施例中，处理单元403可确定与对应于由移动计算装置的用户执行的应用程序和/或由连接到移动装置连接到的电信网络450的其它用户执行的应用程序或这两者的发起命令相关联的时延，以确定与特定使用模式相关联的相应时间间隔。举例来说，处理单元403可确定在发起应用程序的命令的接收与应用程序执行的开始之间的时间量(例如，时延)。这可允许处理单元403确定与移动计算装置401相关联的计算资源的重新分配是否可改善应用程序性能，且在确定计算资源的重新分配可改善应用程序性能的情况下执行操作以重新分配此类资源。
如上文所论述，处理单元403可设定至少四个相异时间间隔以基于监视的对应于应用程序执行的资源参数而确定与移动计算装置相关联的使用模式。举例来说，处理单元403可设定对应于当期时间间隔的第一相异时间间隔，设定对应于短期时间间隔的第二相异时间间隔时期，设定对应于中期时间间隔的第三相异时间间隔，和/或设定对应于长期时间间隔的第四相异时间间隔。在一些实施例中，第一相异时间间隔对应于在从接收到应用程序发起指示符时起的第一时间周期内执行的应用程序，第二相异时间间隔对应于在从接收到应用程序发起指示符时起的第二时间周期内执行的应用程序，第三相异时间间隔对应于在从接收到应用程序发起指示符时起的第三时间周期内执行的应用程序，且第四相异时间间隔对应于在从接收到应用程序发起指示符时起的第四时间周期内执行的应用程序。
图5是根据本公开的若干实施例的表示对应于数据序列预测和资源分配的实例方法560的流程图。方法560可由处理逻辑执行，所述处理逻辑可包含硬件(例如，处理装置、电路系统、专用逻辑、可编程逻辑、微码、装置的硬件、集成电路，例如本文图1和2中说明的存储器控制器108/208等)、软件(例如，在例如本文图1和2中说明的存储器控制器108/208等处理装置上运行或执行的指令，或其组合。虽然以特定顺序或次序来展示，但是除非另有指定，否则可修改过程的次序。因此，应理解，所说明实施例仅为实例，且所说明过程可以不同次序进行，且一些过程可并行地进行。另外，在各个实施例中可以省略一或多个过程。因此，在每个实施例中并不需要所有过程。其它过程流程也是可能的。
在操作562处，可确定与存储器系统的操作相关联的资源参数。存储器系统可类似于本文图1和2中说明的存储器系统104/204。在一些实施例中，可基于对应于驻留于存储器系统上的例如图1中所说明的存储器装置110-1到110-N等存储器装置的工作负载执行的特性而确定与存储器系统的操作相关联的资源参数。
在操作564处，可确定与对应于存储器系统的使用模式相关联的相应时间间隔。在一些实施例中，相应时间间隔可与资源参数的一或多个集合相关联。举例来说，相应时间间隔可包含四个相异时间间隔，如上文所描述，方法450可包含确定用于由存储器系统处理的数据业务的相应自相关时间间隔(上文描述)，作为确定相应时间间隔的部分。
在操作566处，可使用资源参数确定在与使用模式相关联的相应时间间隔中用于神经网络的隐藏层的一或多个权重。神经网络可类似于本文图3所示的神经网络322。在一些实施例中，方法560可包含确定上文描述的在四个实例相异时间间隔中的每一个中用于神经网络的隐藏层的所述一或多个权重。
在操作568处，可基于确定的用于神经网络的隐藏层的一或多个权重而分配存储器系统内的计算资源以用于执行工作负载。在一些实施例中，方法560可包含在与存储器系统相关联的易失性存储器资源和/或非易失性存储器资源或这两者之间分配计算资源，如本文中所描述。如上文所描述，可基于确定的用于神经网络的隐藏层的权重和/或基于神经网络的经加权输出(W1 339-1、W2 339-2、WQ 339-Q等)而预分配存储器系统内的计算资源以用于执行未来工作负载，如本文结合图3所描述。因此，在一些实施例中，方法450可包含基于确定的用于神经网络的隐藏层的一或多个权重而前瞻性地分配存储器系统内的计算资源以用于执行未来工作负载。
在一些实施例中，方法560可包含使用所接收个别用户工作负载参数和对应于存储器系统以通信方式耦合到的云网络的其它用户的所接收聚合工作负载参数确定与存储器系统的操作相关联的资源参数。所接收个别用户工作负载参数可类似于结合图3描述的用户工作负载321，而对应于存储器系统以通信方式耦合到的云网络的其它用户的所接收聚合工作负载参数可对应于本文结合图3和4描述的聚合云工作负载323/423。
方法560可包含确定与接收到存储器系统的前端部分的命令相关联的命令时延，作为确定与对应于存储器系统的使用模式相关联的相应时间间隔的部分，如上所述。在一些实施例中，方法560可包含在存储器系统内和/或存储器装置内本地执行本文所描述的操作。举例来说，方法560可包含执行本文所描述的操作的至少一部分而不会妨碍主机计算系统(例如，本文在图1中所说明的主机102)和/或存储器系统外部的其它电路。在一些实施例中，方法560可包含在无由例如主机计算系统等外部电路系统产生的信令和/或额外信令(例如，在指示本文所描述的操作的发起的信令之后产生的信令)的存在下，至少部分地基于由硬件电路系统(例如，本文在图1和2中说明的存储器控制器108/208)产生的控制信令而执行本文所描述的操作。
虽然已在本文中示出并描述了具体实施例，但所属领域的一般技术人员将了解，经计算以实现相同结果的布置可取代所示出的具体实施例。本公开意图覆盖本公开的一或多个实施例的修改或变化。应理解，以说明方式而非限制方式进行了以上描述。在查阅以上描述后，以上实施例和本文未具体描述的其它实施例的组合对于所属领域的技术人员来说将显而易见。本公开的一或多个实施例的范围包含其中使用以上结构和过程的其它应用。因此，应参考所附权利要求书连同此类权利要求所赋予的等效物的全范围确定本公开的一或多个实施例的范围。
在前述具体实施方式中，出于简化本公开的目的而将一些特征一起分组在单个实施例中。本公开的此方法不应被理解为反映本公开的所公开实施例必须比在每项权利要求中明确叙述那样使用更多特征的意图。实际上，如所附权利要求书所反映，本发明主题在于单个所公开实施例的不到全部的特征。因此，所附权利要求书特此并入于具体实施方式中，其中每项权利要求就其自身而言作为单独实施例。

Claims (17)

1.一种用于数据序列预测和资源分配的方法，其包括：
由存储器系统(104、204、404)确定与所述存储器系统(104、204、404)的操作相关联的多个资源参数(321、323)；
确定与对应于所述存储器系统(104、204、404)的使用模式相关联的相应时间间隔，所述相应时间间隔与所述多个资源参数(321、323)的一或多个集合相关联；
使用所述多个资源参数(321、323)确定在与所述使用模式相关联的所述相应时间间隔中用于神经网络(322)的隐藏层(345)的一或多个权重；以及
基于所述确定的用于所述神经网络(322)的隐藏层(345)的一或多个权重而分配所述存储器系统(104、204、404)内的计算资源以用于执行工作负载。
2.根据权利要求1所述的方法，其进一步包括确定用于由所述存储器系统处理的数据业务的相应自相关时间间隔，作为确定所述相应时间间隔的部分。
3.根据权利要求1所述的方法，其进一步包括使用所接收个别用户工作负载参数(321、421)和对应于所述存储器系统以通信方式耦合到的云网络的其它用户的所接收聚合工作负载参数(323、423)确定与所述存储器系统的操作相关联的所述多个资源参数。
4.根据权利要求1至3中任一权利要求所述的方法，其进一步包括基于对应于驻留于所述存储器系统上的存储器装置(110)的工作负载执行的特性而确定与所述存储器系统的操作相关联的所述多个资源参数。
5.根据权利要求1至3中任一权利要求所述的方法，其进一步包括确定与接收到所述存储器系统的前端部分(212)的命令相关联的命令时延，作为确定与对应于所述存储器系统的所述使用模式相关联的所述相应时间间隔的部分。
6.根据权利要求1至3中任一权利要求所述的方法，其进一步包括基于所述确定的用于所述神经网络的隐藏层的一或多个权重而前瞻性地分配所述存储器系统内的所述计算资源以用于执行未来工作负载。
7.根据权利要求1至3中任一权利要求所述的方法，其中所述相应时间间隔包括四个相异时间间隔，且其中所述方法进一步包括确定在所述四个相异时间间隔中的每一个中用于所述神经网络的所述隐藏层的所述一或多个权重。
8.一种用于数据序列预测和资源分配的设备，其包括：
存储器系统(104、204、404)，其包括多个存储器装置(110-1到110-N)；以及
处理单元(108、208、403)，其驻留于所述存储器系统(104、204、404)上且以通信方式耦合到所述存储器装置(110-1到110-N)中的每一个，其中所述处理单元(108、208、403)经配置以：
监视对应于涉及所述存储器系统(104、204、404)的应用程序的执行的多个资源参数(321、323)；
基于所述多个监视的对应于所述应用程序的执行的资源参数(321、323)而确定与所述存储器系统相关联的使用模式；
确定与所述确定的使用模式相关联的相应时间间隔，所述相应时间间隔与所述多个监视的资源参数(321、421)当中的特定资源参数相关联；
使用所述多个监视的资源参数(321、421)当中的至少一个监视的资源参数或所述确定的使用模式或这两者确定在与所述确定的使用模式相关联的所述相应时间间隔中用于神经网络(322)的隐藏层(345)的一或多个权重；以及
基于所述确定的对应于所述神经网络(322)的所述隐藏层(345)的一或多个权重而分配所述存储器系统(104、204、404)内的计算资源以用于执行后续应用程序。
9.根据权利要求8所述的设备，其中所述多个存储器装置包含至少一个易失性存储器装置和至少一个非易失性存储器装置，且其中所述处理单元进一步经配置以在所述至少一个易失性存储器装置和所述至少一个非易失性存储器装置之间分配计算资源，作为用于执行所述后续应用程序的所述计算资源的分配的部分。
10.根据权利要求8所述的设备，其中所述存储器系统和所述处理单元驻留于移动计算装置上。
11.根据权利要求8所述的设备，其中所述处理单元进一步经配置以：
确定对应于由所述存储器系统的用户执行的应用程序的个别用户应用程序参数(321、421)；
接收对应于由连接到所述存储器系统连接到的网络的其它用户执行的应用程序的聚合工作负载参数(323、423)；以及
使用所述确定的个别用户应用程序参数(321、421)和所述接收的聚合工作负载参数(323、423)确定所述多个资源参数的特性。
12.根据权利要求8至11中任一权利要求所述的设备，其中所述处理单元经配置以确定与对应于执行所述应用程序的命令相关联的命令时延以确定与所述确定的使用模式相关联的所述相应时间间隔。
13.根据权利要求8至11中任一权利要求所述的设备，其中所述处理单元经配置以基于对应于执行所述应用程序的所述多个监视的资源参数而确定至少三个相异时间间隔以确定与所述存储器系统相关联的使用模式，且其中：
第一相异时间间隔对应于当期，
第二相异时期对应于短期，且
第三相异时期对应于中期或长期。
14.一种用于数据序列预测和资源分配的系统，其包括：
电信网络(450)，其包括基站(452)和数据中心(456)；以及
移动计算装置(401)，其以通信方式耦合到所述基站(452)，所述移动计算装置(401)包括驻留于其上的存储器系统(104、204、404)和处理单元(108、208、403)，其中所述处理单元(108、208、403)经配置以：
监视对应于在所述移动计算装置(401)上运行的工作负载(321、421、323、423)的执行的多个资源参数；
基于所述多个监视的对应于所述应用程序的执行的资源参数而确定与所述移动计算装置(401)相关联的使用模式；
确定与所述确定的使用模式相关联的相应自相关时间间隔(327)，所述相应自相关时间间隔(327)由所述处理单元(108、208、403)基于所述确定的使用模式当中的特定使用模式的特性而确定；
确定对应于由所述移动计算装置(401)的用户执行的应用程序的个别用户应用程序参数(321、421)；
从所述数据中心(456)接收对应于由连接到所述移动计算装置(401)连接到的所述电信网络(450)的其它用户执行的应用程序的聚合工作负载参数(323、423)；
使用所述确定的使用模式当中的所述特定使用模式、所述确定的个别用户应用程序参数(321、421)或所述接收的聚合工作负载参数(323、423)确定在与所述特定使用模式的所述特性相关联的所述相应自相关时间间隔(327)中用于神经网络(322)的隐藏层的一或多个权重；以及
基于所述确定的用于所述神经网络(322)的隐藏层(345)的一或多个权重而分配所述移动计算装置(401)内的计算资源以用于执行后续应用程序。
15.根据权利要求14所述的系统，其中所述处理单元经配置以确定与对应于由所述移动计算装置的用户执行的应用程序或由连接到所述移动装置连接到的所述电信网络的其它用户执行的应用程序或这两者的发起命令相关联的时延，以确定与所述特定使用模式相关联的所述相应时间间隔。
16.根据权利要求14所述的系统，其中所述处理单元经配置以基于所述多个监视的对应于所述应用程序的执行的资源参数而设定至少四个相异时间间隔以确定与所述移动计算装置相关联的使用模式，且其中：
第一相异时间间隔对应于在从接收到应用程序发起指示符时起的第一时间周期内执行的应用程序，
第二相异时间间隔对应于在从接收到应用程序发起指示符时起的第二时间周期内执行的应用程序，
第三相异时间间隔对应于在从接收到应用程序发起指示符时起的第三时间周期内执行的应用程序，以及
第四相异时间间隔对应于在从接收到应用程序发起指示符时起的第四时间周期内执行的应用程序。
17.根据权利要求14所述的系统，其中所述处理单元经配置以基于所述确定的用于所述神经网络的隐藏层的一或多个权重而在后续应用程序的执行之前分配所述移动计算装置内的所述计算资源。
CN202211030128.3A 2021-09-01 2022-08-26 数据序列预测和资源分配 Pending CN115756815A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US17/463,601 US20230066080A1 (en) 2021-09-01 2021-09-01 Data sequence prediction and resource allocation
US17/463,601 2021-09-01

Publications (1)

Publication Number Publication Date
CN115756815A true CN115756815A (zh) 2023-03-07

Family

ID=85285458

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211030128.3A Pending CN115756815A (zh) 2021-09-01 2022-08-26 数据序列预测和资源分配

Country Status (2)

Country Link
US (1) US20230066080A1 (zh)
CN (1) CN115756815A (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117806833B (zh) * 2024-02-28 2024-04-30 苏州元脑智能科技有限公司 一种数据处理系统、方法及介质

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11175958B2 (en) * 2019-05-01 2021-11-16 International Business Machines Corporation Determine a load balancing mechanism for allocation of shared resources in a storage system using a machine learning module based on number of I/O operations
US11429518B2 (en) * 2020-12-08 2022-08-30 Microsoft Technology Licensing, Llc Paging in thin-provisioned disaggregated memory
US11715052B2 (en) * 2021-04-27 2023-08-01 International Business Machines Corporation Monitoring and adapting a process performed across plural systems associated with a supply chain

Also Published As

Publication number Publication date
US20230066080A1 (en) 2023-03-02

Similar Documents

Publication Publication Date Title
US11010314B2 (en) Artificial intelligence-enabled management of storage media access
CN109416636B (zh) 共享的机器学习数据结构
US10846621B2 (en) Fast context switching for computational networks
US11562214B2 (en) Methods for improving AI engine MAC utilization
CN112652333A (zh) 采用存储器中处理的半导体存储器装置及其操作方法
US10748060B2 (en) Pre-synaptic learning using delayed causal updates
WO2020243922A1 (en) Automatic machine learning policy network for parametric binary neural networks
CN110162491A (zh) 存储器控制器及其操作方法、应用处理器和数据处理系统
CN115756815A (zh) 数据序列预测和资源分配
CN115461758A (zh) 训练神经网络的存储器装置
Luo et al. Self-learning hot data prediction: Where echo state network meets NAND flash memories
US11733763B2 (en) Intelligent low power modes for deep learning accelerator and random access memory
WO2022098498A1 (en) Compiler with an artificial neural network to optimize instructions generated for execution on a deep learning accelerator of artificial neural networks
US11704562B1 (en) Architecture for virtual instructions
WO2022031446A1 (en) Optimized sensor fusion in deep learning accelerator with integrated random access memory
US12007899B2 (en) Delta predictions for page scheduling
CN116820730A (zh) 多引擎计算系统的任务调度方法、装置及存储介质
US20200379814A1 (en) Computer resource scheduling using generative adversarial networks
US20220044101A1 (en) Collaborative sensor data processing by deep learning accelerators with integrated random access memory
CN115145476A (zh) 基于紧凑工作负载表示的存储器控制器及其方法
Tuli et al. AVAC: A machine learning based adaptive RRAM variability-aware controller for edge devices
US20230418467A1 (en) System and method for reduction of data transmission in dynamic systems using inference model
US20220358350A1 (en) Deep learning accelerator models and hardware
CN110858121B (zh) 后台操作的调度方法及装置
US20240177024A1 (en) System and method for managing inference models based on inference generation frequencies

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination