CN115238902A - 用于管理机器学习模型的方法、设备和计算机程序产品 - Google Patents

用于管理机器学习模型的方法、设备和计算机程序产品 Download PDF

Info

Publication number
CN115238902A
CN115238902A CN202110442312.8A CN202110442312A CN115238902A CN 115238902 A CN115238902 A CN 115238902A CN 202110442312 A CN202110442312 A CN 202110442312A CN 115238902 A CN115238902 A CN 115238902A
Authority
CN
China
Prior art keywords
instance
storage space
policy
allocation
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110442312.8A
Other languages
English (en)
Inventor
刘金鹏
倪嘉呈
陈强
沙丹青
贾真
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
EMC Corp
Original Assignee
EMC IP Holding Co LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by EMC IP Holding Co LLC filed Critical EMC IP Holding Co LLC
Priority to CN202110442312.8A priority Critical patent/CN115238902A/zh
Priority to US17/320,392 priority patent/US12093553B2/en
Publication of CN115238902A publication Critical patent/CN115238902A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0646—Horizontal data movement in storage systems, i.e. moving data in between storage devices or systems
    • G06F3/0647—Migration mechanisms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671—In-line storage system
    • G06F3/0673—Single storage device
    • G06F3/0679—Non-volatile semiconductor memory device, e.g. flash memory, one time programmable memory [OTP]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F8/00—Arrangements for software engineering
    • G06F8/60—Software deployment
    • G06F8/65—Updates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F8/00—Arrangements for software engineering
    • G06F8/60—Software deployment
    • G06F8/65—Updates
    • G06F8/656—Updates while running
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00—Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02—Addressing or allocation; Relocation
    • G06F12/0223—User address space allocation, e.g. contiguous or non contiguous base addressing
    • G06F12/023—Free address space management
    • G06F12/0253—Garbage collection, i.e. reclamation of unreferenced memory
    • G06F12/0261—Garbage collection, i.e. reclamation of unreferenced memory using reference counting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00—Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02—Addressing or allocation; Relocation
    • G06F12/08—Addressing or allocation; Relocation in hierarchically structured memory systems, e.g. virtual memory systems
    • G06F12/0802—Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches
    • G06F12/0862—Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches with prefetch
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/02—Knowledge representation; Symbolic representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0631—Resource planning, allocation, distributing or scheduling for enterprises or organisations
    • G06Q10/06316—Sequencing of tasks or work

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Artificial Intelligence (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本公开的实施例涉及用于管理机器学习模型的方法、设备和计算机程序产品。该方法包括确定针对机器学习模型的当前版本的第一实例和针对机器学习模型的升级版本的第二实例，第一实例正在执行用于处理数据的服务；如果确定服务要从第一实例迁移到第二实例，将针对第一实例的存储空间的第一分配策略和针对第二实例的存储空间的第二分配策略分别调整为第一目标策略和第二目标策略，第一目标策略用于逐步减小存储空间，第二目标策略用于逐步增加存储空间；基于第一目标策略回收针对第一实例的已分配存储空间；基于第二目标策略为第二实例分配所需的存储空间以实现服务的迁移。通过该方法，可以利用有限的存储空间实现升级操作，减少了升级成本。

Description

用于管理机器学习模型的方法、设备和计算机程序产品
技术领域
本公开的实施例涉及人工智能领域和物联网领域，并且更具体地，涉及用于管理机器学习模型的方法、设备和计算机程序产品。
背景技术
近年来，随着计算机技术的发展，物联网已经越来越多地应用到人们生活中的各个方面。物联网技术中的一个核心是对于物联网设备(IoT)(例如，各种温度传感器、位置传感器、图像传感器、计量仪等)所获得的数据的分析，这些传感器数据可以基于人工智能的相关技术实现相应的智能控制功能。为了实现智能控制功能，需要例如对机器学习模型的版本进行升级。然后利用升级后的机器学习模型来处理以后的数据。然而，在机器学习模型的升级过程中还存在许多需要解决的问题。
发明内容
本公开的实施例提供一种用于管理机器学习模型的方法、设备和计算机程序产品。
根据本公开的第一方面，提供了一种用于管理机器学习模型的方法。该方法包括确定针对机器学习模型的当前版本的第一实例和针对机器学习模型的升级版本的第二实例，第一实例正在执行用于处理数据的服务。该方法还包括如果确定服务要从第一实例迁移到第二实例，将针对第一实例的存储空间的第一分配策略和针对第二实例的存储空间的第二分配策略分别调整为第一目标策略和第二目标策略，第一目标策略用于逐步减小存储空间，第二目标策略用于逐步增加存储空间。该方法还包括基于第一目标策略回收针对第一实例的已分配存储空间。该方法还包括基于第二目标策略为第二实例分配所需的存储空间以实现服务的迁移
根据本公开的第二方面，提供了一种电子设备。该电子设备包括至少一个处理器；以及存储器，耦合至至少一个处理器并且具有存储于其上的指令，指令在由至少一个处理器执行时使设备执行动作，动作包括：确定针对机器学习模型的当前版本的第一实例和针对机器学习模型的升级版本的第二实例，第一实例正在执行用于处理数据的服务；如果确定服务要从第一实例迁移到第二实例，将针对第一实例的存储空间的第一分配策略和针对第二实例的存储空间的第二分配策略分别调整为第一目标策略和第二目标策略，第一目标策略用于逐步减小存储空间，第二目标策略用于逐步增加存储空间；基于第一目标策略回收针对第一实例的已分配存储空间；以及基于第二目标策略为所述第二实例分配所需的存储空间以实现服务的迁移。
根据本公开的第三方面，提供了一种计算机程序产品，该计算机程序产品被有形地存储在非易失性计算机可读介质上并且包括机器可执行指令，该机器可执行指令在被执行时使机器执行本公开的第一方面中的方法的步骤。
附图说明
通过结合附图对本公开示例性实施例进行更详细的描述，本公开的上述以及其它目的、特征和优势将变得更加明显，其中，在本公开示例性实施例中，相同的参考标号通常代表相同部件。
图1图示了根据本公开的实施例的设备和/或方法可以在其中被实施的示例环境100的示意图；
图2图示了根据本公开的实施例的机器学习模型升级时的分配的存储空间的示例200的示意图；
图3图示了根据本公开的实施例的用于管理机器学习模型的方法300的流程图；
图4图示了根据本公开的实施例的节点序列的示例400的示意图；
图5图示了根据本公开的实施例的机器学习模型版本升级的过程500的示意图；
图6图示了适于用来实施本公开内容的实施例的示例设备600的示意性框图。
在各个附图中，相同或对应的标号表示相同或对应的部分。
具体实施方式
下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。
在本公开的实施例的描述中，术语“包括”及其类似用语应当理解为开放性包含，即“包括但不限于”。术语“基于”应当理解为“至少部分地基于”。术语“一个实施例”或“该实施例”应当理解为“至少一个实施例”。术语“第一”、“第二”等等可以指代不同的或相同的对象。下文还可能包括其他明确的和隐含的定义。
下面将参考附图中示出的若干示例实施例来描述本公开的原理。虽然附图中显示了本公开的优选实施例，但应当理解，描述这些实施例仅是为了使本领域技术人员能够更好地理解进而实现本公开，而并非以任何方式限制本公开的范围。
如本文中所使用的，“机器学习”指的是涉及高性能计算、机器学习和人工智能算法的处理。在本文中，术语“机器学习模型”也可以称为“学习模型”、“学习网络”、“网络模型”、或“模型”。“神经网络”或“神经网络模型”是一种深度学习模型。概括来说，机器学习模型能够接收输入数据并且基于输入数据执行预测和输出预测结果。
在计算设备上运行机器学习模型时，通常为机器学习模型的运行设置了默认策略和两个动态存储空间分配策略。默认策略是将运行该机器学习模型的设备上的所有存储空间分配给机器学习模型。第一种动态分配策略ALLOW_GROWTH是按需分配的策略。此时依据机器学习模型的需要来分配存储空间，因此分配的存储空间是逐渐增多。第二种动态分配策略MEMORY_LIMIT是分配预定大小的存储空间的策略，从模型运行开始就一直分配该预定大小的存储空间供机器学习模型使用。如果存储空间不够则需要将已分配的部分存储空间释放出来满足后续的需求。
由于有些机器学习模型在运行过程中需要不中断的为用户提供服务，因此机器学习模型的版本升级不能停止为用户提供服务。此时需要运行机器学习模型的两个实例，其中一个实例的版本为N，另一个实例的版本为N+1，其中N为正整数。然后在两个实例之间无缝迁移服务。
在不中断升级期间，两个实例同时运行。由于两个实例都在以当前资源管理策略(默认策略或第一种动态分配策略ALLOW_GROWTH或第二种动态分配策略MEMORY_LIMIT)在运行。此时必须将资源加倍，以便可以容纳两个实例的两次资源复制。
在默认策略中，将运行机器学习模型的设备中的存储器中的所有存储空间对该机器学习模型可见，即均分配给机器学习模型使用。例如，机器学习模型在图形处理单元上运行时，将图形处理单元中的存储器的所有存储空分配给机器学习模型。在第一种动态分配策略ALLOW_GROWTH中，该策略并不指示回收已分配的资源，仅是依据机器学习模型的需要分配存储空间，因此分配的存储空间会不断增多。对于第二种动态分配策略MEMORY_LIMIT，该策略指示为机器学习模型分配预定大小的存储空间供模型使用。
然而，在应用默认策略时，会导致没有可用的存储空间可用于新传入的实例。在应用第一种动态分配策略ALLOW_GROWTH时，由于分配的存储空间不断增多，因此成本会比较高。有时由于已经为其分配了太多的存储空间资源，导致也没有足够的存储空间资源可用于新传入实例。使用第二种动态分配策略MEMORY_LIMIT时，由于总是将预定大小设置为满足机器学习模型的最大存储空间需求，此时会留有很小的存储空间余量。因此对于新的传入实例也没有足够的存储器空间。
至少为了解决上述和其他潜在问题，本公开的实施例提出了一种用于管理机器学习模型的方法。在该方法中，计算设备先确定针对机器学习模型的当前版本的第一实例和针对机器学习模型的升级版本的第二实例，此时第一实例正在用于处理数据的服务。在将服务从第一实例迁移到第二实例时，需要将针对第一实例的存储空间的第一分配策略和针对第二实例的存储空间的第二分配策略分别调整为第一目标策略和第二目标策略，第一目标策略用于逐步减小存储空间，第二目标策略用于逐步增加存储空间。然后利用第一目标策略回收第一实例的已分配存储空间，并且利用第二目标策略为第二实例分配所需的存储空间以实现服务的迁移。通过该方法，可以利用有限的存储空间实现机器学习模型的升级，减少了升级成本，提高了效率，改进了用户体验。
以下将进一步结合附图来详细描述本公开的实施例。图1示出了本公开的实施例能够在其中被实现的示例环境100的框图。
示例环境100包括计算设备102。计算设备102用于管理机器学习模型的运行以及机器学习模型的升级。
计算设备202包括但不限于个人计算机、服务器计算机、手持或膝上型设备、移动设备(诸如移动电话、个人数字助理(PDA)、媒体播放器等)、多处理器系统、消费电子产品、小型计算机、大型计算机、包括上述系统或设备中的任意一个的分布式计算环境等。
计算设备102中运行有机器学习模型的当前版本的第一实例104和机器学习模型的升级版本的第二实例106。计算设备102需要将处理数据的服务108从第一实例104迁移到第二实例106以用于在升级成功后利用第二实例106来运行处理数据的服务108。
该第一实例104和第二实例106均从存储器110获取分配的存储空间。图1中示出了存储器110位于计算设备102内，其仅是示例，而非对本公开的具体限定。在一些实施例中，存储器110可位于任意合适的设备上，例如位于图形处理器(Graphics Processing Unit)上。
计算设备102中的第一实例104和第二实例106各自具有对应的存储空间分配策略，例如默认策略、ALLOW_GROWTH策略、MEMORY_LIMIT策略中的一种。在升级过程开始时，计算设备102通知第一实例104和第二实例106升级开始。然后两个实例将其对应的存储空间分配策略保存起来。然后将第一实例的存储空间分配策略调整为第一目标策略，该第一目标策略用于逐步减小(phase-out)存储空间。将第二实例的存储空间分配策略调整第二目标策略，第二目标策策略为用于逐步增加(phase-in)存储空间。两个不同实例使用的存储空间的变化过程可以参见图2，其中图2图示了根据本公开的实施例的机器学习模型升级时的分配的存储空间的示例200的示意图。
如图2所示，第一阴影区域204是对应于第一实例104的存储空间大小，其随着升级的进行，使用的存储空间越来越少。第二阴影区域202对应的是第二实例106的存储空间大小，其随着升级的进行，获得的存储空间越来越多。可以看出，在预定量的存储空间下就可以实现机器学习模型的升级。
现在返回图1接着进行描述，在将服务从第一实例迁移到第二实例后，可以把第一实例和第二实例的存储空间分配策略恢复为以前的存储空间分配策略。
在一些实施例中，如果升级不成功，则可以再将对应于版本N+1的实例作为第一实例，将要版本N的实例再作为第二实例，重新将服务转移回未升级前的版本。上述示例仅是用于描述本公开，而非对本公开的具体限定。
通过该方法，可以利用有限的存储空间实现机器学习模型的升级，减少了升级成本，提高了效率，改进了用户体验。
上面结合图1和图2描述了本公开的实施例能够在其中被实现的示例环境100。下面结合图3描述根据本公开的实施例的用于管理机器学习模型的方法300的流程图。方法300可以在图1中的计算设备102及任意合适的计算设备处执行。
如图3所示，在框302处，计算设备102确定针对机器学习模型的当前版本的第一实例和针对机器学习模型的升级版本的第二实例，第一实例正在执行用于处理数据的服务。计算设备102中运行该机器学习模型的两个实例，通过下面的操作来实现服务在两个服务间的不中断转移。
在框304处，如果确定服务要从第一实例迁移到第二实例，将针对第一实例的存储空间的第一分配策略和针对第二实例的存储空间的第二分配策略分别调整为第一目标策略和第二目标策略，第一目标策略用于逐步减小存储空间，第二目标策略用于逐步增加存储空间。
在一些实施例中，计算设备102先确定出由用户对第一实例的设置的第一分配策略和对第二实例设置的第二分配策略。然后计算设备102将第一实例的第一分配策略调整为第一目标策略，并且将第二实例的第二分配策略调整为第二目标策略。通过该方法，可以快速的实现策略调整。
在框306处，计算设备102基于第一目标策略回收针对第一实例的已分配存储空间。计算设备102中运行的第一实例在确定其存储空间分配策略为第一目标策略后，开始应用第一目标策略来回收存储空间。
在一些实施例中，第一目标策略指示计算设备执行下面的操作。首先使计算设备102确定与关联于机器学习模型的操作相对应的节点的序列，其中节点按照相应操作的顺序被排序。然后计算设备102确定与第一实例中正被执行的操作相对应当前节点。计算设备102从序列中确定当前节点之前的先前节点。此时，计算设备102回收针对第一实例中与先前节点相对应的操作的存储空间。通过该方法，可以快速高效的回收存储空间。该节点序列的示例参见图4示出的节点序列，其中图4图示了根据本公开的实施例的节点序列的示例400的示意图
如图4所示，利用机器学习模型中的操作可以形成针对操作的节点图，每个节点对应于机器学习模型中的一个操作。例如示例400的该机器学习模型具有节点A 402、节点B404、节点C 406、节点D 408和节点E 410。根据节点对应的操作的之间的关联关系形成节点之间的边。例如节点A 402的输出为节点B 404和节点C 406的输入。因此，根据该执行顺序可以形成节点的序列：节点A 402、节点B 404、节点C 406、节点D 408、节点E 410。如果当前与节点C406对应的操作正在执行，则表明节点A和节点B上的操作已完成，可以回收与该两个节点相对应的操作的存储空间，例如分配给对应操作的程序以及数据的存储空间。
在一些实施例中，在完成当前节点的计算后，回收针对第一实例中与当前节点相对应的操作的存储空间。通过该方法，可以快速的回收当前使用完的存储空间。如图4所示，在与节点C对应的操作完成后，可以回收与节点C对应的操作的存储空间。
现在返回图3接着进行描述，在框308处，基于第二目标策略为第二实例分配所需的存储空间以实现服务的迁移。
在一些实施列中，计算设备102如果确定针对第二实例的第二分配策略是根据实例的需求分配存储空间的策略，则将第二分配策略作为第二目标策略来为第二实例分配所需的存储空间。在一些实施例中，如果第二分配策略是将存储器的所有存储空间都分配给第二实例的默认策略，将根据实例的需求分配存储空间的策略应用于第二实例。计算设备102如果确定针对第二实例的第二分配策略是用于为实例分配预定大小的存储空间的策略，则需要基于针对第二实例的已分配存储空间和所需的存储空间来确定所需的存储空间的分配。通过该方式，可以合理快速的为第二实例分配合适的存储空间。
在一些实施例中，在针对第二实例的第二分配策略是用于为实例分配预定大小的存储空间的策略时，计算设备102需要将已分配给机器学习模型的存储空间的大小和所需的存储空间的大小之和与预定大小进行比较。如果已分配给机器学习模型的存储空间的大小和所需的存储空间的大小之和小于或等于预定大小，则为第二实例分配所需的存储空间。如果已分配存储空间的大小和所需的存储空间的大小的和大于预定大小，则从已分配存储空间中释放至少部分空间用于所需的存储空间，以保证分配给机器学习模型的存储空间不超过预定大小。通过该方式，可以为第二实例分配合理的存储空间。
在一些实施例中，如果确定迁移完成，计算设备102利用第一分配策略替换第一目标策略以供第一实例使用，并且利用第二分配策略替换第二目标策略以供第二实例使用。通过该方式，可以快速的恢复到用户设置的策略。
通过该方法，可以利用有限的存储空间实现机器学习模型的升级，减少了升级成本，提高了效率，改进了用户体验。
上面结合图3和图4描述了根据本公开的实施例的用于管理机器学习模型的方法。下面结合图5描述根据本公开的实施例的用于管理机器学习模型的方法500的流程图。方法500可以在图1中的计算设备102及任意合适的计算设备处执行。
如图5所示，在确定要对机器学习模型升级时，升级管理器502会向机器学习模型的升级版本实例504和当前版本实例506分别发送508、510升级开始通知。然后升级版本实例504在框512处保存存储空间的当前分配策略，然后在框516处将存储空间的分配策略设置为第二目标策略。同样当前版本的实例506在接收到升级通知后，在框514处保存存储空间的当前分配策略，然后在框518处将存储空间的分配策略设置为第一目标策略。在升级完成后，升级管理器502向升级版本实例504和升级版本实例506分别发送520、522升级结束通知。
在接收到升级结束通知后，升级版本实例504在框524处恢复保存的分配策略，当前版本实例506在框526处恢复保存的分配策略。
通过该方法，可以利用有限的存储空间实现机器学习模型的升级，减少了升级成本，提高了效率，改进了用户体验。
图6示出了可以用来实施本公开的实施例的示例设备600的示意性框图。图1中的计算设备102可以利用设备600来实现。如图所示，设备600包括中央处理单元(CPU)601，其可以根据存储在只读存储器(ROM)602中的计算机程序指令或者从存储单元608加载到随机访问存储器(RAM)603中的计算机程序指令，来执行各种适当的动作和处理。在RAM 603中，还可存储设备600操作所需的各种程序和数据。CPU 601、ROM 602以及RAM 603通过总线604彼此相连。输入/输出(I/O)接口605也连接至总线604。
设备600中的多个部件连接至I/O接口605，包括：输入单元606，例如键盘、鼠标等；输出单元607，例如各种类型的显示器、扬声器等；存储单元608，例如磁盘、光盘等；以及通信单元609，例如网卡、调制解调器、无线通信收发机等。通信单元609允许设备600通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
上文所描述的各个过程和处理，例如方法300和500，可由处理单元601执行。例如，在一些实施例中，方法300和500可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元608。在一些实施例中，计算机程序的部分或者全部可以经由ROM 602和/或通信单元609而被载入和/或安装到设备600上。当计算机程序被加载到RAM 603并由CPU 601执行时，可以执行上文描述的方法300和500的一个或多个动作。
本公开可以是方法、装置、系统和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于执行本公开的各个方面的计算机可读程序指令。
计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是——但不限于——电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如，通过光纤电缆的光脉冲)、或者通过电线传输的电信号。
这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。
用于执行本公开操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言—诸如Smalltalk、C++等，以及常规的过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)，该电子电路可以执行计算机可读程序指令，从而实现本公开的各个方面。
这里参照根据本公开实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本公开的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。
这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理单元，从而生产出一种机器，使得这些指令在通过计算机或其它可编程数据处理装置的处理单元执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。
也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。
附图中的流程图和框图显示了根据本公开的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
以上已经描述了本公开的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的技术改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。

Claims (15)

1.一种用于管理机器学习模型的方法，包括：
确定针对机器学习模型的当前版本的第一实例和针对所述机器学习模型的升级版本的第二实例，所述第一实例正在执行用于处理数据的服务；
如果确定所述服务要从所述第一实例迁移到所述第二实例，将针对所述第一实例的存储空间的第一分配策略和针对所述第二实例的存储空间的第二分配策略分别调整为第一目标策略和第二目标策略，所述第一目标策略用于逐步减小存储空间，所述第二目标策略用于逐步增加存储空间；
基于所述第一目标策略回收针对所述第一实例的已分配存储空间；以及
基于所述第二目标策略为所述第二实例分配所需的存储空间以实现所述服务的迁移。
2.根据权利要求1所述的方法，其中将所述第一分配策略和所述第二分配策略分别调整为所述第一目标策略和所述第二目标策略包括：
确定针对所述第一实例的第一分配策略和针对所述第二实例的第二分配策略；
将所述第一实例的第一分配策略调整为所述第一目标策略；以及
将所述第二实例的第二分配策略调整为所述第二目标策略。
3.根据权利要求1所述的方法，还包括：
如果确定所述迁移完成，
利用所述第一分配策略替换所述第一目标策略以供所述第一实例使用；以及
利用所述第二分配策略替换所述第二目标策略以供所述第二实例使用。
4.根据权利要求1所述的方法，其中回收针对所述第一实例的已分配存储空间包括：
确定与关联于所述机器学习模型的操作相对应的节点的序列，所述节点按照相应操作的顺序被排序；
确定与所述第一实例中正被执行的操作相对应当前节点；
从所述序列中确定所述当前节点之前的先前节点；以及
回收针对所述第一实例中与所述先前节点相对应的操作的存储空间。
5.根据权利要求4所述的方法，其中回收针对所述第一实例的已分配存储空间还包括：
在完成所述当前节点的计算后，回收针对所述第一实例中与所述当前节点相对应的操作的存储空间。
6.根据权利要求1所述的方法，其中为所述第二实例分配所需的存储空间包括：
如果确定针对所述第二实例的所述第二分配策略是根据实例的需求分配存储空间的策略，则将所述第二分配策略作为所述第二目标策略来为所述第二实例分配所述所需的存储空间；以及
如果确定针对所述第二实例的所述第二分配策略是用于为实例分配预定大小的存储空间的策略，则基于针对所述第二实例的已分配存储空间和所述所需的存储空间来确定所述所需的存储空间的分配。
7.根据权利要求6所述的方法，其中确定所述所需的存储空间的分配包括：
如果确定所述已分配存储空间的大小和所述所需的存储空间的大小之和小于或等于所述预定大小，则为所述第二实例分配所述所需的存储空间；以及
如果确定所述已分配存储空间的大小和所述所需的存储空间的大小的和大于所述预定大小，则从所述已分配存储空间中释放至少部分空间用于所述所需的存储空间。
8.一种电子设备，包括：
至少一个处理单元；以及
至少一个存储器，其耦合至所述至少一个处理单元并且存储有机器可执行指令，当所述指令由所述至少一个处理单元执行时，使得所述设备执行动作，所述动作包括：
确定针对机器学习模型的当前版本的第一实例和针对所述机器学习模型的升级版本的第二实例，所述第一实例正在执行用于处理数据的服务；
如果确定所述服务要从所述第一实例迁移到所述第二实例，将针对所述第一实例的存储空间的第一分配策略和针对所述第二实例的存储空间的第二分配策略分别调整为第一目标策略和第二目标策略，所述第一目标策略用于逐步减小存储空间，所述第二目标策略用于逐步增加存储空间；
基于所述第一目标策略回收针对所述第一实例的已分配存储空间；以及
基于所述第二目标策略为所述第二实例分配所需的存储空间以实现所述服务的迁移。
9.根据权利要求8所述的电子设备，其中将所述第一分配策略和所述第二分配策略分别调整为所述第一目标策略和所述第二目标策略包括：
确定针对所述第一实例的第一分配策略和针对所述第二实例的第二分配策略；
将所述第一实例的第一分配策略调整为所述第一目标策略；以及
将所述第二实例的第二分配策略调整为所述第二目标策略。
10.根据权利要求8所述的电子设备，所述动作还包括：
如果确定所述迁移完成，
利用所述第一分配策略替换所述第一目标策略以供所述第一实例使用；以及
利用所述第二分配策略替换所述第二目标策略以供所述第二实例使用。
11.根据权利要求8所述的电子设备，其中回收针对所述第一实例的已分配存储空间包括：
确定与关联于所述机器学习模型的操作相对应的节点的序列，所述节点按照相应操作的顺序被排序；
确定与所述第一实例中正被执行的操作相对应当前节点；
从所述序列中确定所述当前节点之前的先前节点；以及
回收针对所述第一实例中与所述先前节点相对应的操作的存储空间。
12.根据权利要求11所述的电子设备，其中回收针对所述第一实例的已分配存储空间还包括：
在完成所述当前节点的计算后，回收针对所述第一实例中与所述当前节点相对应的操作的存储空间。
13.根据权利要求8所述的电子设备，其中为所述第二实例分配所需的存储空间包括：
如果确定针对所述第二实例的所述第二分配策略是根据实例的需求分配存储空间的策略，则将所述第二分配策略作为所述第二目标策略来为所述第二实例分配所述所需的存储空间；以及
如果确定针对所述第二实例的所述第二分配策略是用于为实例分配预定大小的存储空间的策略，则基于针对所述第二实例的已分配存储空间和所述所需的存储空间来确定所述所需的存储空间的分配。
14.根据权利要求13所述的电子设备，其中确定所述所需的存储空间的分配包括：
如果确定所述已分配存储空间的大小和所述所需的存储空间的大小之和小于或等于所述预定大小，则为所述第二实例分配所述所需的存储空间；以及
如果确定所述已分配存储空间的大小和所述所需的存储空间的大小的和大于所述预定大小，则从所述已分配存储空间中释放至少部分空间用于所述所需的存储空间。
15.一种计算机程序产品，所述计算机程序产品被有形地存储在非易失性计算机可读介质上并且包括机器可执行指令，所述机器可执行指令在被执行时使机器执行根据权利要求1至7中任一项所述的方法的步骤。
CN202110442312.8A 2021-04-23 2021-04-23 用于管理机器学习模型的方法、设备和计算机程序产品 Pending CN115238902A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202110442312.8A CN115238902A (zh) 2021-04-23 2021-04-23 用于管理机器学习模型的方法、设备和计算机程序产品
US17/320,392 US12093553B2 (en) 2021-04-23 2021-05-14 Method, device, and computer program product for managing machine learning model

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110442312.8A CN115238902A (zh) 2021-04-23 2021-04-23 用于管理机器学习模型的方法、设备和计算机程序产品

Publications (1)

Publication Number Publication Date
CN115238902A true CN115238902A (zh) 2022-10-25

Family

ID=83666216

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110442312.8A Pending CN115238902A (zh) 2021-04-23 2021-04-23 用于管理机器学习模型的方法、设备和计算机程序产品

Country Status (2)

Country Link
US (1) US12093553B2 (zh)
CN (1) CN115238902A (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117591193A (zh) * 2023-07-27 2024-02-23 北京智芯微电子科技有限公司 应用后下载方法、装置、片上系统、终端及存储介质

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3385957B2 (ja) * 1998-03-04 2003-03-10 日本電気株式会社 分散システム、メモリ管理装置及び方法、並びに記録媒体
JP4853717B2 (ja) * 2007-02-23 2012-01-11 日本電気株式会社 サーバ移行計画作成システム、サーバ移行計画作成方法
US10642505B1 (en) * 2013-01-28 2020-05-05 Radian Memory Systems, Inc. Techniques for data migration based on per-data metrics and memory degradation
US10810532B2 (en) * 2017-02-28 2020-10-20 Fuji Xerox Co., Ltd. Systems and methods for access control based on machine-learning
CN110389763B (zh) 2018-04-20 2023-06-16 伊姆西Ip控股有限责任公司 用于调度专用处理资源的方法、设备和计算机可读介质
CN111831287B (zh) 2019-04-22 2024-03-22 伊姆西Ip控股有限责任公司 用于确定执行代码段所需的资源的方法、设备和程序产品
US11494282B2 (en) 2019-04-25 2022-11-08 EMC IP Holding Company LLC Method, device and computer program product for sensor data analysis
US11327676B1 (en) * 2019-07-18 2022-05-10 Pure Storage, Inc. Predictive data streaming in a virtual storage system

Also Published As

Publication number Publication date
US12093553B2 (en) 2024-09-17
US20220343209A1 (en) 2022-10-27

Similar Documents

Publication Publication Date Title
US11146502B2 (en) Method and apparatus for allocating resource
CN110058966B (zh) 用于数据备份的方法、设备和计算机程序产品
CN110389905B (zh) 资源释放方法、资源分配方法、设备和计算机程序产品
US11442779B2 (en) Method, device and computer program product for determining resource amount for dedicated processing resources
US9753851B2 (en) Multi-section garbage collection system including real-time garbage collection scheduling
US10223219B2 (en) Managing network failure using back-up networks
US10795579B2 (en) Methods, apparatuses, system and computer program products for reclaiming storage units
CN111190719B (zh) 优化集群资源分配的方法、装置、介质及电子设备
JP2022515255A (ja) スケジューリング方法及び装置、電子デバイス並びに記録媒体
US12093553B2 (en) Method, device, and computer program product for managing machine learning model
US11341055B2 (en) Method, electronic device, and computer program product for storage management
JP7495474B2 (ja) 第１のネットワークおよび第２のネットワークを介する第１デバイスと第２デバイスとの間の通信を管理するための方法
CN113254191A (zh) 用于运行应用的方法、电子设备和计算机程序产品
CN114579185B (zh) 用于迁移应用的方法、电子设备和计算机程序产品
CN112148448B (zh) 资源分配方法、装置、设备和计算机可读介质
CN112181470B (zh) 一种部署补丁的方法和装置
CN111756833B (zh) 节点处理方法、装置、电子设备及计算机可读介质
CN110968257B (zh) 存储管理的方法、设备和计算机程序产品
CN113297003A (zh) 管理备份数据的方法、电子设备和计算机程序产品
CN117421123B (zh) 一种gpu资源调整方法及系统、电子设备和存储介质
US11435912B2 (en) Method, electronic device, and computer program product for data storage
US11809717B2 (en) Data managing method, an electric device, and a computer program product for efficient management of services
US11340825B1 (en) Method, device, and computer program product for managing storage system
CN109542588B (zh) 一种用于在云环境下管理虚拟设备的方法和装置
WO2023202427A1 (en) Dynamic update of a computer program in memory

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination