CN112685069B - 用于机器学习模型的实时更新的方法和系统 - Google Patents

用于机器学习模型的实时更新的方法和系统 Download PDF

Info

Publication number
CN112685069B
CN112685069B CN202011092946.7A CN202011092946A CN112685069B CN 112685069 B CN112685069 B CN 112685069B CN 202011092946 A CN202011092946 A CN 202011092946A CN 112685069 B CN112685069 B CN 112685069B
Authority
CN
China
Prior art keywords
application
version
machine learning
model
learning model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011092946.7A
Other languages
English (en)
Other versions
CN112685069A (zh
Inventor
P·J·罗格斯
B·皮苏帕蒂
T·希瓦萨拉
R·乔普拉
K·普兰达雷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nvidia Corp
Original Assignee
Nvidia Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nvidia Corp filed Critical Nvidia Corp
Publication of CN112685069A publication Critical patent/CN112685069A/zh
Application granted granted Critical
Publication of CN112685069B publication Critical patent/CN112685069B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/34—Network arrangements or protocols for supporting network services or applications involving the movement of software or configuration parameters 
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
    • G06F11/3034—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system component is a storage system, e.g. DASD based or network based
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F8/00—Arrangements for software engineering
    • G06F8/60—Software deployment
    • G06F8/65—Updates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F8/00—Arrangements for software engineering
    • G06F8/60—Software deployment
    • G06F8/65—Updates
    • G06F8/656—Updates while running
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F8/00—Arrangements for software engineering
    • G06F8/70—Software maintenance or management
    • G06F8/71—Version control; Configuration management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/08—Configuration management of networks or network elements
    • H04L41/0803—Configuration setting
    • H04L41/0813—Configuration setting characterised by the conditions triggering a change of settings
    • H04L41/082—Configuration setting characterised by the conditions triggering a change of settings the condition being updates or upgrades of network functionality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/08—Configuration management of networks or network elements
    • H04L41/0803—Configuration setting
    • H04L41/0823—Configuration setting characterised by the purposes of a change of settings, e.g. optimising configuration for enhancing reliability
    • H04L41/0836—Configuration setting characterised by the purposes of a change of settings, e.g. optimising configuration for enhancing reliability to enhance reliability, e.g. reduce downtime
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/08—Configuration management of networks or network elements
    • H04L41/085—Retrieval of network configuration; Tracking network configuration history
    • H04L41/0859—Retrieval of network configuration; Tracking network configuration history by keeping history of different configuration generations or by rolling back to previous configuration versions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/16—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks using machine learning or artificial intelligence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/20—Ensemble learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/01—Dynamic search techniques; Heuristics; Dynamic trees; Branch-and-bound
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/08—Configuration management of networks or network elements
    • H04L41/0876—Aspects of the degree of configuration automation
    • H04L41/0886—Fully automatic configuration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/50—Network service management, e.g. ensuring proper service fulfilment according to agreements
    • H04L41/5003—Managing SLA; Interaction between SLA and QoS
    • H04L41/5019—Ensuring fulfilment of SLA
    • H04L41/5022—Ensuring fulfilment of SLA by giving priorities, e.g. assigning classes of service
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/56—Provisioning of proxy services
    • H04L67/568—Storing data temporarily at an intermediate stage, e.g. caching

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Medical Informatics (AREA)
  • Quality & Reliability (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Neurology (AREA)
  • Databases & Information Systems (AREA)
  • Stored Programmes (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了机器学习模型的实时更新，可以针对应用程序更新诸如机器学习模型之类的资源，而不会对该应用程序造成任何重大停机。对于托管在网络边缘处的应用程序，可以将该应用程序部署在容器中，并将一个或更多个模型版本存储在本地存储器中的边缘处，可以根据需要将其安装到容器中。当使用不同的模型版本时，可以使用配置更改或新的上下文来触发该应用程序自动改变为不同的模型版本。可以无缝地执行此更新，而不会丢失任何数据。

Description

用于机器学习模型的实时更新的方法和系统
相关申请的交叉引用
本申请要求于2019年10月20日提交的名称为“一种在使用时执行机器学习模型的实时更新的方法(A Method of Performing Live Updates of Machine Learning ModelsWhile in Use)”的美国临时专利申请序列号62/923,591的优先权，出于所有目的，通过引用将其全部内容并入本文。
背景技术
诸如机器学习之类的技术正被用于各种行业中越来越多的各种任务。例如，对于利用深度学习模型的应用程序，这些模型通常与应用程序一起部署，例如部署在应用程序容器图像中。为了为基于机器学习的推理提供最高级别的准确性，期望经常更新这些模型。但是，为了使用常规技术部署这些新的或更新的模型，需要部署新的容器，这些容器要求先停止执行应用程序的较早版本，然后才能在其位置处执行新的版本，这可能会导致大量停机或这些应用程序不可用。
附图说明
将参考附图描述根据本公开的各种实施例，其中：
图1示出了根据至少一个实施例的用于支持边缘应用程序的示例架构；
图2示出了根据至少一个实施例的模型管理系统；
图3示出了根据至少一个实施例的用于更新应用程序的机器学习模型的示例过程；
图4示出了根据至少一个实施例的用于使用机器学习模型来启动边缘应用程序的示例过程；
图5示出了根据至少一个实施例的用于更新边缘应用程序的机器学习模型的示例过程；
图6示出了根据至少一个实施例的用于改变边缘应用程序所利用的模型的版本的示例过程；
图7A示出了根据至少一个实施例的推理和/或训练逻辑；
图7B示出了根据至少一个实施例的推理和/或训练逻辑；
图8示出了根据至少一个实施例的示例数据中心系统；
图9示出了根据至少一个实施例的计算机系统；
图10示出了根据至少一个实施例的计算机系统；
图11示出了根据一个或更多个实施例的图形处理器的至少部分；
图12示出了根据一个或更多个实施例的图形处理器的至少部分；
图13是根据至少一个实施例的用于高级计算管线的示例数据流程图；
图14是根据至少一个实施例的用于在高级计算管线中训练、调整、实例化和部署机器学习模型的示例系统的系统图；以及
图15A和图15B示出了根据至少一个实施例的用于训练机器学习模型的过程的数据流程图，以及用于利用预训练注释模型来增强注释工具的客户端-服务器架构。
具体实施方式
各种不同的任务越来越多地依赖于诸如机器学习之类的技术。对于许多应用程序，部分地由于执行机器学习所需的资源，可能希望将机器学习托管在远程服务器或其他此类系统而不是客户端设备上。例如，尽管各种系统可以在提供商网络或环境中托管机器学习和其他此类应用程序或功能，但可能期望在各种情况下在网络边缘处托管机器学习。在边缘位置处运行推理应用程序可以为客户带来各种优势(例如，减少延迟)，因为边缘位置可以更靠近连接的媒体源和传感器，对于可以从各种不同地理位置访问的延迟关键型应用程序或服务而言，这可能非常重要。
对于某些使用情况，这种基于机器学习或人工智能(AI)的功能可能需要连续运行，例如用于数据处理以从视频流生成推理输出。对于具有高需求的应用程序，这可包括该应用程序能够全天候执行并且没有任何间隔或停机时间。可以在执行图像或传感器数据处理的应用程序中找到此类部署的示例；对象检测、识别和/或分类；区域监测或监视；以及世界空间感知等。这些应用程序又被广泛用于许多行业，包括但不限于零售商店、仓库、机场、停车场和高速公路监控。可以使用特定类型的硬件(例如，可包括配备有一个或更多个图形处理单元(GPU)的服务器)以最佳方式执行诸如推理以及根据该推理的输出计算出的下游分析的任务，其中应用程序可以被容器化。通常，服务器和应用程序部署是由容器协调平台(例如，开源Kubernetes平台)管理的。在至少一些实施例中，应用程序容器可以包括应用程序的整个运行时环境或由其组成，包括用于该应用程序的各种库、二进制文件、依赖项和配置文件。
在各种系统中，可以通过机器学习模型或神经网络模型来运行视频帧，从而对视频或媒体流执行推理，这可以实现一定的准确性和吞吐量性能。但是，正在不断地开发更准确、更快的模型，以提高这些推理应用程序的性能。在常规方法中，通常将模型包括(即，预打包)在使用推理输出的基础应用程序的容器图像中。但是，这意味着要更新到更加新的、更好的模型，必须构建新的容器图像(然后其成为应用程序的新版本)，并将其分发到边缘位置处的计算节点。部署新版本的应用程序意味着必须停止当前在节点上运行的容器并启动新的容器，这将导致推理和分析的停机时间。在某些示例情况下，此停机时间可能约为60秒或更长时间，具体取决于诸如应用程序的复杂性和结构以及计算节点的能力之类的因素。因此，这些推理节点的运营商面临着遭受潜在频繁停工，以及推理或分析差距或使用过时或优化程度较低的神经网络模型的前景。
因此，根据各种实施例的方法提供了在没有数据丢失的情况下以零停机时间或接近零停机时间来更新模型的能力，而无需更新或重新启动应用程序。在各种实施例的范围内，各种对象、元素、算法、过程或代码也可以使用这种能力来更新。在至少一个实施例中，模型不是构建在容器中的。而是，这些模型可以从运行容器的系统上的存储器中安装到容器中。在各种实施例中，可以利用可以将更新的模型版本拉到系统或边缘节点上的本地存储器中的服务组件。在至少一个实施例中，然后可以使用边缘管理器机制来向正在运行的推理容器应用程序发信号以切换到不同的模型版本。对于正在运行的应用程序容器中的模型，这种方法可以使模型能够使用实时更新过程进行更新，而不必拆除容器或错过任何要处理的传入数据。这些模型也可以采用各种形式，并且在至少一些实施例中，可以应用可以由本文提出的方法管理的加密或安全机制。
图1示出了根据至少一个实施例可用于提供这种功能的示例体系架构。在一个实施方式中，在一个或更多个视频流的边缘处使用推理，这些流可以包括可以从媒体源160呈现的视频和其他媒体内容，其中媒体源160可以包括但不限于：数码相机、摄像机、医疗扫描仪、计算设备或其他此类内容源中的任何一种。可以使用客户端设备102来呈现从该媒体源160提供的媒体，该客户端设备102可以包括台式计算机、笔记本计算机、机顶盒、流设备、游戏控制台、智能电话、平板计算机、虚拟现实(VR)耳机、增强现实(AR)护目镜、可穿戴计算机或智能电视。在至少一个实施例中，由该媒体源160发送的该内容可以包括视频帧。在至少一个实施例中，由该媒体源发送的内容可以包括医学扫描数据，例如DICOM图像。在至少一个实施例中，该媒体源跨网络连接到边缘服务器120。在至少一个实施例中，在边缘服务器120上执行的推理应用程序124可以发起与客户端设备102相关联的会话，例如通过使用会话管理器和来自用户账户的用户数据，并且使用该会话的一个或更多个视频流可以使内容被传送到客户端设备102，例如可以使用适当的流管理器122对其进行管理。在至少一个实施例中，接收该内容的客户端设备102可以经由客户端设备102的一个或更多个组件或与客户端设备102通信来提供该内容以供呈现，该客户端设备可以包括用于显示图像或视频内容(如可以包括动画和游戏内容)的显示器106。在至少一个实施例中，除了流传输之外的传输机制还可以用于从边缘服务器120或另一这样的源传输该内容的至少一些。如本文所述，在客户端设备102上执行的分析应用程序104可以对客户端设备102所接收的内容执行各种分析。
在至少一个实施例中，要被流传输的内容可以存储在边缘服务器上的存储器132中，如可以使用一个或更多个摄像机或一个或更多个其他成像设备并使用一个或更多个成像模式从实时(live)视频流生成。在一个或更多个其他实施例中，将从一个或更多个媒体源160接收内容。在其他实施例中，该内容可代替地在云服务器140、边缘服务器120或另一适当的位置处诸如通过使用内容生成器应用程序136生成，以生成游戏、动画或其他此类内容。在至少一些实施例中，该内容也可以通过一个或更多个网络110接收。在至少一个实施例中，该内容可以由推理应用程序124接收，该推理应用程序124可以在将该内容(例如，视频流)传送到客户端设备102之前对该内容执行推理。对实时视频流的推理可以用于各种目的，例如用于安全性、医学成像、交通监控或库存管理等。边缘处的推理也可以在各种实施例的范围内对各种其他类型的数据和输入执行。如上所述，推理应用程序128可以使用一个或更多个深度学习(DL)模型128或神经网络模型，这些模型可以存储在边缘服务器120处，至少最初存储在应用程序容器126外部的存储器132中，其中可以使用推理应用程序的控制器130将那些模型安装到应用程序容器126。在至少一些实施例中，可以通过查阅清单134来确定要使用的模型，该清单指定了用于推理应用程序的当前条件或信息，其中清单134可以由用户或其他这样的源来更新。
在至少一个实施例中，可以从诸如防火墙后面的提供者的云服务器140之类的中央源向每个适当的边缘服务器120接收附加的或新的模型，或者至少部分地将其与边缘服务器120和客户端设备102隔离。例如，此云服务器140或其他此类系统或服务可以在模型存储库144中存储一个或更多个模型的不同版本，并且模型存储可以使边缘服务器120获得特定模型，例如，通过将那些模型推送到边缘服务器120或使边缘服务器能够请求特定的模型(如在当前清单134中所标识的)。然后，边缘服务器可以查阅清单134，以确保正确的模型和该模型的版本正用于推理要发送到客户端设备102的内容。
图2示出了根据各种实施例的可以在诸如图1的架构中使用以更新和管理模型的组件200。如所提及的，在这样的实施例中，深度学习模型可以与应用程序分离，并且可以替代地在运行时从主机系统存储器被安装到应用程序容器220中。主机系统将模型存储在本地存储器210中，其中每个模型具有目录212A至212C，每个目录可以包括用于该模型的不同版本的一个或更多个子目录。这些模型目录可以在运行时单独或作为整体模型目录的一部分被安装到应用程序容器220中，以便目录对于推理应用程序202是可见的，并且推理应用程序202可以从每个模型的初始版本开始执行，如清单文件216所指定的。在至少一个实施例中，模型获取器软件组件可以从模型存储206或其他此类位置获取这些模型中任何一个的新版本，如在至少一个网络上可用的，因为这些版本变得可用。可以通过读/写安装来安装模型目录的模型获取器随后可以使这些版本存储到相关模型目录212A至212C的新子目录中。应用程序管理系统(例如，边缘管理器208)然后可以将信号发送到推理应用程序202以切换到模型的新版本。与边缘管理器208通信的管理员用户界面222可以使管理员或其他授权实体能够指定或更新关于版本的信息以及其他此类信息。推理应用程序202可以创建加载有新模型版本的新上下文。在至少一些实施例中，上下文可以包括软件推理引擎。当该新上下文准备好操作时，推理应用程序202可以将推理操作从旧上下文切换到新上下文，并且然后可以删除旧上下文。此后，可以使用新模型版本进行推理而不会中断，并且在此模型更新期间的停机时间减少到零或接近零。
在根据各种实施例的示例实现中，部署的边缘计算应用程序可以包括用于加载其模型的深度学习推理平台，例如来自NVIDIA公司的TensorRT(TRT)或Triton推理服务器(Triton)平台。在这样的实施例中，模型可以被存储在本地或本地安装的存储器中，具有用于不同版本的目录层次结构。可以离线执行模型转换以与特定GPU和格式匹配(例如，T4引擎文件)，以便可以将GPU所需的确切格式写入已经安装到运行容器的目录中。边缘计算应用程序可以使用诸如inotify(在Linux中的inode通知)之类的方法监视已安装的配置地图并对更改做出反应。然后可以修改边缘计算应用程序以切换到新的模型版本，而无需重新启动应用程序。TensorRT(TRT)是针对GPU上的AI推理的优化运行时间。在一个或更多个实施例中，边缘计算应用程序可以使用TRT来加载神经网络模型。Triton提供了针对NVIDIAGPU优化的云推理解决方案，该解决方案也可以嵌入到应用程序中。在一个或更多个实施例中，边缘计算应用程序可以使用Triton来加载神经网络模型。EGX堆栈/EGX节点栈是一种软件栈，其可以在运行诸如AI推理之类的边缘用例的支持GPU的服务器(例如，NVIDIA公司的EGX系统)上运行。EGX管理服务(EMS)可以用作代表客户或操作员将EGX系统作为AI设备进行管理的服务。边缘管理器(EM)可以用作应用程序管理系统，该应用程序管理系统作为EMS的接口操作，并采用多种形式：API、Web UI和CLI。
根据各种实施例，这样的方法可以为不同的用例提供各种优点。例如，这种方法可以提供应用程序和模型的分离，因为应用程序开发人员能够提供不具有模型或具有默认模型的应用程序，并且可以将应用程序附加到目标系统上的模型或更新的模型上。这允许将应用程序和模型开发和发布解耦，并减小应用程序容器图像的大小及其发布或更新的频率。然后，开发人员、数据科学家或其他此类资源可以发布模型的新版本，并使该新版本可用于边缘应用程序，而无需更改或发布应用程序。在某些情况下，边缘应用程序管理员可以从诸如云存储之类的位置得到模型的新发布版本，以易于部署到多个边缘位置。边缘应用程序管理员还可以生成或提供模型的新发布版本，以将其自动提取到运行使用那些模型的应用程序所在的边缘位置。边缘应用程序管理员能够选择何时在每个边缘位置执行模型更新，以及在不停机的情况下在运行的应用程序中使用新版本更新模型。边缘应用程序管理员还可以将边缘应用程序回滚到模型的先前版本或其他版本，停机时间为零或接近零。
对于希望参与实时模型更新的应用程序，可以从容器图像中删除模型，并且可以在容器启动时记录到特定目录的体安装(volume mount)(例如，/models)。另一种方法是将每个模型的默认版本放在单独的(例如，默认)目录中，如果在启动时未将模型目录创建为已安装的体，则可以使用该目录。与应用程序分离的模型可以使用语义版本(“semver”)版本进行发布，因此边缘应用程序管理员能够区分发布顺序和兼容性中断。在一个或更多个实施例中，模型可以遵循在诸如NVIDIA公司的NVIDIA GPU云(NGC)模型注册表之类的模型注册表中定义的命名和版本控制方案。为了可以拉到边缘位置，可以将模型托管在软件中心中，例如NVIDIA GPU云(NGC)。在NGC中，模型可以是公共的和访客可访问的，也可以在需要客户账户和凭据(例如，APIKey)访问的私有区域中。
在至少一些实施例中，模型获取器204可用于从软件中心(例如，远程模型存储206或NGC)向边缘位置中的边缘计算系统(例如，EGX)获取模型，如图2所示。根据一个或更多个实施例，模型获取器204可以读取模型清单文件216，其可以列出要监视的模型库，例如在NGC上，并且当他们变得可用时可以列出要从模型存储206下载的特定版本，并且版本规范可以通配以插入“通配符(wildcards)”或其他字符(例如，“*”)，然后可以匹配一个或更多个版本的将来的字符或将来的字符序列。模型清单文件216还可以指定目的地目录212A、212B或212C，例如在EGX节点上，模型被存储并安装到应用程序容器中的该目的地目录处。在一些实施例中，模型获取器204周期性地扫描模型清单文件216，并且可以例如检查NGC注册表以查找匹配的模型版本。可以提取并存储目的地目录中缺少的任何模型版本。模型获取器204还可周期性地调用EMS API以提供可用模型和版本的当前列表。
在至少一个实施例中，边缘管理器208可以指定应用程序将使用的模型和模型版本作为部署配置的一部分。当边缘管理器208更新部署并且唯一的更新涉及一个或更多个模型版本差异时，应用程序可以识别该更新并切换到新的模型版本而无需退出。在至少一个实施例中，可以通过更新安装到相关应用程序容器的配置地图(例如，configmap)来执行部署更新。应用程序可以检测到configmap已更新，例如通过使用inotify。当应用程序检测到请求更改模型版本时，该应用程序可以停止使用当前模型版本并开始使用新的模型版本，在某些实施例中，新的模型版本可能始终引用最新版本。在至少一个实施例中，这可以通过在应用程序中创建要加载新模型的新软件上下文来完成。当新的软件上下文准备就绪时，推理流将切换到新的上下文，并删除旧的上下文。与部署更新一样，模型更新部署也可以回滚，例如通过使用Helm功能。在一个或更多个实施例中，应用程序可以再次认识到其配置中的唯一改变是模型版本，并重复上述用于切换模型版本的步骤以切换回先前的版本。在至少一个实施例中，除了模型之外的其他应用程序也可以使用这种可能与图形资源等有关的方法来动态地切换。
在至少一些实施例中，用于更新边缘推理应用程序的神经网络模型的过程可以涉及将边缘推理应用程序(例如，来自NVIDIA公司的DeepStream)图像与一个或更多个神经网络模型一起部署，以执行容器图像中包含的推理。根据这样的实施例，边缘推理应用程序可以使用用于模型管理的诸如TensorRT之类的深度学习推理平台。可以将包括一个或更多个模型的本地存储器210只读地安装在边缘应用程序容器220中。在一个或更多个实施例中，边缘推理应用程序202(例如，DeepStream)可以使用边缘管理器208(例如，TensorRT)进行模型管理。在一个或更多个实施例中，边缘节点(例如，EGX节点)上的本地存储器210可以被手动地配备模型。在至少一个实施例中，分析服务器214或客户端可以与容器220通信，以便运行如本文所讨论的各种分析。
可以在各种模型目录212A、212B和212C中用版本化的模型填充诸如本地存储器体之类的本地存储器210。在一个或更多个实施例中，推理应用程序202可以使用边缘管理器208进行模型管理以及运行存储在已安装的本地体中的模型。根据这样的实施例，边缘节点上的本地存储器可以包括每个模型单独的目录，以及每个模型版本单独的子目录。模型获取器204组件可以将模型从模型存储206(例如，云存储库或其他此类源)带到边缘节点。在至少一个实施例中，边缘节点栈组件可以从模型存储206中获取模型到边缘节点，并通过读/写安装将它们写到适当的模型目录212A、212B或212C中。这样的体系架构也适用于使用其他方法进行模型管理的应用程序，例如Triton。例如，另一个边缘推理应用程序(例如，NVIDIA公司的Clara)可以使用Triton进行模型管理。
在至少一个实施例中，模型获取器204可以执行诸如管理每个应用程序的模型体安装的任务。模型获取器可以根据清单和至少一个策略从模型存储206获取模型，该策略可以指示检查更新的频率(例如，每天或每小时)。如果需要，该模型获取器204可以使模型被转换为适当的格式(例如，Triton)，并且可以将每个模型写入该模型的适当的版本化目录或子目录。模型获取器204还可以维护存储在给定边缘节点上或给定存储体中的所有模型和版本的清单。在边缘位置处有多个服务器的实施例中，这些服务器可以各自拉出模型版本，例如通过使用提供的URL，或者可以将模型一次拉出或推送到可指向所有三个服务器的已安装的体，这样这些服务器可以在本地获得模型版本。
图3示出了根据各种实施例的用于更新模型版本以供可以被利用的应用程序使用的示例过程300。应当理解，对于本文讨论的该过程和其他过程，除非另有说明，否则在各种实施例的范围内可以有以相似或至少部分替代的顺序或并行执行的附加的、替代的或更少的步骤。在该示例中，使用机器学习模型的第一版本来执行302应用程序。该应用程序可以是在数据中心、网络边缘或其他适当位置运行的推理应用程序。在应用程序执行期间，可以从诸如模型提供者或模型库之类的源接收304或以其他方式获得机器学习模型的第二版本。可以接收306、生成或以其他方式获得新配置数据，该新配置数据指定该应用程序使用第二版本。作为响应，可以使308应用程序自动切换到使用第二版本，而对于推理应用程序几乎没有停机时间。在该示例中，然后可以至少从与推理应用程序相关联的容器或其他环境中删除模型的第一版本。
图4示出了根据至少一个实施例的用于为可以利用的推理应用程序部署模型的示例过程400。在该示例中，可以将应用程序容器图像部署402到边缘服务器，该边缘服务器可以是用于托管与该容器相关联的推理应用程序的许多边缘服务器之一。可以更新边缘服务器上的清单以指定404机器学习模型，该模型用于在边缘服务器上执行时用于推理应用程序。可以在清单中检测到406该模型的信息，并且可以从模型存储或其他此类源获得相应的模型(和版本等)，并将其存储在本地目录中，例如特定于模型的目录或本地存储体的子目录。在适当的时候，可以在边缘服务器上启动408应用程序容器。作为该示例中启动过程的一部分，可以将模型从本地目录安装410到应用程序容器中，以供推理应用程序使用。然后使412应用程序能够以适当地识别并切换到模型的使用，以使用指定的模型执行推理。在可以使用默认模型来部署容器的实施例中，可以启用推理应用程序以几乎没有停机时间切换到指定模型。
图5示出了用于更新要用于在诸如图4的过程400中所描述的推理应用程序中使用的模型的示例过程500。在该示例中，生成502模型的更新的(或其他不同的)版本，其将与一个或更多个边缘服务器或其他此类位置上的推理应用程序一起使用。可以在每个边缘服务器上更新504应用程序清单，以指定要用于推理应用程序的模型的新版本(或新模型，如果适用的话)。在各个边缘服务器上，可以分析506清单并且可以检测到新版本的信息。然后可以从远程模型存储或其他此类位置获得508模型的新版本，并且可以将该版本存储到边缘服务器或节点上的本地存储器中的模型目录或子目录中。在至少一些实施例中，可以通过边缘服务器上的模型获取器来获得模型。可以将模型的新版本连同新的配置信息一起安装510到应用程序容器。可以创建512或者以其他方式获得对应于或指向该模型的新版本的新的或更新的配置信息或应用程序上下文。当在边缘服务器上执行时，推理应用程序可以被启用514以检测新的配置信息并自动切换到该模型的新版本，而对推理应用程序的可用性几乎没有影响。这可以包括应用程序检测新的配置信息或上下文，确定使用适当的缓存正确加载并准备好新上下文，然后切换到新模型版本而不会丢失帧或其他输入实例。在至少一些实施例中，可以从应用程序容器中删除模型的先前版本。然后可以启用516推理应用程序以使用模型的该版本来运行。如果确定518存在新模型，则可以更新应用程序清单以指定新版本，并且可以重复用于更新模型的过程的步骤。
图6示出了根据各种实施例的用于切换到可以使用的模型的先前版本的示例过程600。该过程600可以在利用过程更新到模型的新版本之后使用，例如关于图5所讨论的。在该示例中，确定602使用模型的先前版本，例如当前版本未按预期运行，或者确定对于特定边缘服务器或其他部署应使用不同版本。也可能是在不同的时间、针对不同的工作负载或出于其他此类原因使用不同版本的情况。在该示例中，验证604在清单中存在模型的先前版本。清单可以被分析606以获得先前版本的信息。在一些实施例中，可以进行检查以验证先前版本仍位于本地存储器中，并且如果没有，则可以从模型存储或其他此类源获得先前版本。可以创建608对应于模型的先前版本的更新的配置信息(例如，应用程序上下文)。可以使610推理应用程序能够检测更新的配置信息并自动切换到模型的先前版本。在至少一个实施例中，然后可以从应用程序容器中删除不再使用的模型版本。然后可以使612推理应用程序能够使用模型的该版本来运行。
如所提及的，如果在新版本中检测到潜在的问题，则可以使用这种过程来还原到先前的版本，或者可以在各种时间(例如，当确定特定版本比用于推理的当前模型更好时)使用该过程在模型版本之间进行切换。在至少一些实施例中，可以将要用于边缘应用程序的一个或更多个模型的每个版本推送到托管该应用程序的每个边缘服务器，然后那些应用程序可以使用本地存储的版本来切换版本。切换版本的决定可以远程进行，但实际切换可以在边缘处本地执行，而无需任何停机时间、边带通信或附加步骤。如上所述，这还可能导致不同的应用程序在不同的时间或条件下使用不同版本的模型。在至少一些实施例中，可以存在就位的一个或更多个策略，这些策略指示何时或在什么条件下使用哪些模型，并且这些策略可以用于允许本地模型切换。一个示例，非限制性策略可以是始终使用最新的模型或版本。在一些实施例中，上下文或配置信息可以被存储在本地存储器中以用于多个模型版本，并且该存储的配置信息可以被用来动态地切换上下文，以便使应用程序切换到不同版本。
如上所述，不同的容器技术，例如Kubernetes或Docker，可用于不同的实施例。对于基于Kubernetes的方法，可以使用Kubernetes配置地图机制来更新在边缘处执行的应用程序可访问的配置文件。对此配置文件的更改可以充当发生某些更改的信令机制，由此应用程序可以确定要使用的模型版本并自动切换到该版本。在此示例中，对配置文件的更改可以通过对配置映射的更改来触发。Kubernetes将响应于此类配置映射的更改而自动更新应用程序配置文件。在至少一个实施例中，可以公开一个或更多个API，其使得该配置映射能够被更新，例如通过远程管理员控制台。这样的过程也可以用于模型以外的资源，例如用于更新到网络边缘处托管的游戏的纹理、地图、算法、模块或音频文件的不同版本，而无需更改应用程序代码或其执行中的停机时间。
推理和训练逻辑
图7A示出了用于执行与一个或更多个实施例相关联的推理和/或训练操作的推理和/或训练逻辑715。下面结合图7A和/或图7B提供关于推理和/或训练逻辑715的细节。
在至少一个实施例中，推理和/或训练逻辑715可以包括但不限于代码和/或数据存储701，以存储前向和/或输出权重和/或输入/输出数据，和/或用于配置在一个或更多个实施例的方面中被训练和/或被用于推理的神经网络的神经元或层的其他参数。在至少一个实施例中，在至少一个实施例中，训练逻辑715可以包括或耦合到代码和/或数据存储701，用于存储图形代码或其他软件以控制定时和/或顺序，其中权重和/或其他参数信息将被加载以配置包括整数和/或浮点单元(统称为算术逻辑单元(ALU))的逻辑。在至少一个实施例中，诸如图形代码之类的代码基于代码所对应的神经网络的架构将权重或其他参数信息加载到处理器ALU中。在至少一个实施例中，数据存储701存储在使用一个或更多个实施例的方面进行推理和/或训练期间输入/输出数据和/或权重参数的正向传播期间与一个或更多个实施例结合训练或使用的神经网络的每一层的权重参数和/或输入/输出数据。在至少一个实施例中，代码和/或数据存储701的任何部分可以与其他片上或片外数据存储(包括处理器的L1、L2或L3高速缓存或系统存储器)一起被包括。
在至少一个实施例中，代码和/或数据存储701的任何部分可以在一个或更多个处理器或其他硬件逻辑设备或电路的内部或外部。在至少一个实施例中，代码和/或代码和/或数据存储701可以是高速缓存存储器、动态随机可寻址存储器(“DRAM”)、静态随机可寻址存储器(“SRAM”)、非易失性存储器(例如闪存)或其他存储装置。在至少一个实施例中，代码和/或代码和/或数据存储701是处理器的内部还是外部的选择，例如，是由DRAM、SRAM、闪存还是由其他类型的存储器组成，取决于片上可用存储、进行训练和/或推理功能的延迟要求、在推理和/或训练神经网络中使用的数据的批量大小或这些因素的某种组合。
在至少一个实施例中，推理和/或训练逻辑715可以包括但不限于代码和/或数据存储705，以存储与在一个或更多个实施例的方面中被训练和/或用于推理的神经网络或神经网络的层相对应的向后和/或输出权重和/或输入/输出数据。在至少一个实施例中，代码和/或数据存储705存储在使用一个或更多个实施例的方面的训练和/或推理期间在向后传播输入/输出数据和/或权重参数期间，与一个或更多个实施例一起训练或结合使用的神经网络的每一层的权重参数和/或输入/输出数据。在至少一个实施例中，训练逻辑715可以包括或耦合至代码和/或数据存储705，用于存储图形代码或其他软件以控制定时和/或顺序，其中权重和/或其他参数信息将被加载以配置包括整数和/或浮点单元(统称为算术逻辑单元(ALU))的逻辑。在至少一个实施例中，诸如图形代码之类的代码基于代码所对应的神经网络的架构将权重或其他参数信息加载到处理器ALU中。在至少一个实施例中，代码和/或数据存储705的任何部分可以与其他片上或片外数据存储包括在一起，包括处理器的L1、L2或L3高速缓存或系统存储器。在至少一个实施例中，代码和/或数据存储705的任何部分可以在一个或更多个处理器或其他硬件逻辑设备或电路的内部或外部。在至少一个实施例中，数据存储805可以是高速缓存存储器、DRAM、SRAM、非易失性存储器(例如，闪存)或其他存储器。在至少一个实施例中，代码和/或数据存储705是处理器的内部还是外部的选择，例如，是由DRAM、SRAM、闪存还是其他存储类型组成的，取决于片上可用存储、进行训练和/或推理功能的延迟要求、在推理和/或训练神经网络中使用的数据的批量大小或这些因素的某种组合。
在至少一个实施例中，代码和/或数据存储701和代码和/或数据存储705可以是分开的存储结构。在至少一个实施例中，代码和/或数据存储701和代码和/或数据存储705可以是相同的存储结构。在至少一个实施例中，代码和/或数据存储701和代码和/或数据存储705可以是部分相同的存储结构和部分分离的存储结构。在至少一个实施例中，代码和/或数据存储701和代码和/或数据存储705的任何部分可以与其他片上或片外数据存储包括在一起，包括处理器的L1、L2或L3高速缓存或系统存储器。
在至少一个实施例中，推理和/或训练逻辑715可以包括但不限于一个或更多个算术逻辑单元(“ALU”)710，包括整数和/或浮点单元，以至少部分地基于训练和/或推理代码(例如，图形代码)或由其指示执行逻辑和/或算术操作，其结果可以产生存储在激活存储720中的作为储在代码和/或数据存储701和代码和/或数据存储705中输入/输出和/或权重参数数据功能的激活(例如，来自神经网络内的层或神经元的输出值)。在至少一个实施例中，存储在激活存储720中的激活是根据由ALU 710响应于执行指令或其他代码执行的线性代数和/或基于矩阵的数学生成的，其中将存储在代码和/或数据存储805的权重值和代码和/或数据存储801与其他值(例如偏差值、梯度信息、动量值或其他参数或超参数)一起用作操作数，这些值中的任意或者全部可以存储在代码和/或数据存储705或代码和或数据存储701或其他片上或片下存储器。
在至少一个实施例中，一个或更多个处理器或其他硬件逻辑设备或电路中包括一个或更多个ALU 710，而在另一实施例中，一个或更多个ALU 710可以在使用它们的处理器或其他硬件逻辑设备或电路(例如，协处理器)的外部。在至少一个实施例中，ALU 710可以被包括在处理器的执行单元之内，或者以其他方式被包括在处理器的执行单元可以访问的一套ALU中，该套ALU可以在同一处理器内或者分布在不同类型的不同处理器之间(例如，中央处理器、图形处理单元、固定功能单元等)。在至少一个实施例中，代码和/或数据存储701，代码和/或数据存储705和激活存储720可以在同一处理器或其他硬件逻辑装置或电路上，而在另一实施例中，它们可以在不同的处理器或其他硬件逻辑装置或电路中，或相同和不同处理器或其他硬件逻辑设备或电路的某种组合中。在至少一个实施例中，激活存储720中的任何部分可以与其他片上或片外数据存储包括在一起，包括处理器的L1、L2或L3高速缓存或系统存储器。此外，推理和/或训练代码可以与处理器或其他硬件逻辑或电路可访问的其他代码一起存储，并可以使用处理器的提取、解码、调度、执行、退出和/或其他逻辑电路来提取和/或处理。
在至少一个实施例中，激活存储720可以是高速缓存存储器、DRAM、SRAM、非易失性存储器(例如，闪存)或其他存储器。在至少一个实施例中，激活存储720可以完全或部分在一个或更多个处理器或其他逻辑电路之内或之外。在至少一个实施例中，激活存储720是处理器的内部还是外部的选择，例如，或者是由DRAM、SRAM、闪存或某种其他存储类型组成的，取决于片上可用存储、进行训练和/或推理功能的延迟要求、在推理和/或训练神经网络中使用的数据的批量大小或这些因素的某种组合。在至少一个实施例中，图7a中所示的推理和/或训练逻辑715可以与专用集成电路(“ASIC”)(例如来自谷歌的处理单元，来自GraphcoreTM的推理处理单元(IPU)或来自因特尔公司的/>(例如“LakeCrest”)处理器)结合使用。在至少一个实施例中，图7a所示的推理和/或训练逻辑715可以与中央处理单元(“CPU”)硬件，图形处理单元(“GPU”)硬件或其他硬件(例如，现场可编程门阵列(“FPGA”))结合使用。
图7b示出了根据至少一个实施例的各种推理和/或训练逻辑715。在至少一个实施例中，推理和/或训练逻辑715可以包括但不限于硬件逻辑，其中计算资源是专用的或以其他方式专用地与对应于神经网络内的一层或更多层神经元的权重值或其他信息结合使用。在至少一个实施例中，图7b中所示的推理和/或训练逻辑715可以与专用集成电路(ASIC)(例如Google的处理单元、GraphcoreTM的推理处理单元(IPU)或来自因特尔公司的/>(例如“Lake Crest”)处理器)结合使用。在至少一个实施例中，图7b所示的推理和/或训练逻辑715可以与中央处理单元(CPU)硬件、图形处理单元(GPU)硬件或其他硬件(例如现场可编程门阵列(FPGA))结合使用。在至少一个实施例中，推理和/或训练逻辑715包括但不限于代码和/或数据存储701和代码和/或数据存储705，其可以用于存储代码(例如，图形代码)、权重值和/或其他信息，包括偏差值、梯度信息、动量值、和/或其他参数或超参数信息。在图7b中所示的至少一个实施例中，代码和/或数据存储701和代码和/或数据存储705中的每一个都分别与专用的计算资源(例如，计算硬件702和计算硬件706)相关联。在至少一个实施例中，计算硬件702和计算硬件706中的每一个包括一个或更多个ALU，一个或更多个ALU仅对分别存储在代码和/或数据存储701和代码和/或数据存储705中的信息执行数学功能(例如线性代数函数)，其结果存储在激活存储720中。
在至少一个实施例中，代码和/或数据存储701和705以及相应的计算硬件702和706中的每一个分别对应于神经网络的不同层，从而提供产生来自代码和/或数据存储701和计算硬件702的一个“存储/计算对701/702”的激活作为对代码和/或数据存储705和计算硬件706的“存储/计算对705/706”的输入，以镜像神经网络的概念组织。在至少一个实施例中，每个存储/计算对701/702和705/706可以对应于一个以上的神经网络层。在至少一个实施例中，在推理和/或训练逻辑715中可以包括在存储计算对701/702和705/706之后或与之并行的附加存储/计算对(未示出)。
数据中心
图8示出了示例数据中心800，其中可以使用至少一个实施例。在至少一个实施例中，数据中心800包括数据中心基础设施层810、框架层820、软件层830和应用程序层840。
在至少一个实施例中，如图8所示，数据中心基础设施层810可以包括资源协调器812、分组的计算资源814和节点计算资源(“节点C.R.”)816(1)-816(N)，其中“N”代表任何完整的正整数。在至少一个实施例中，节点C.R.816(1)-816(N)可以包括但不限于任何数量的中央处理单元(“CPU”)或其他处理器(包括加速器、现场可编程门阵列(FPGA)、图形处理器等)、存储设备(例如，动态只读存储器)、存储器设备(例如，固态或磁盘驱动器)、网络输入/输出(“NW I/O”)设备、网络交换机、虚拟机(“VM”)，电源模块和冷却模块等。在至少一个实施例中，节点C.R.816(1)-816(N)中的一个或更多个节点C.R.可以是具有上述计算资源的一个或更多个的服务器。
在至少一个实施例中，分组的计算资源814可以包括容纳在一个或更多个机架(未示出)中的节点C.R.的单独分组，或者容纳在各个地理位置(也未示出)的数据中心中的许多机架的单独分组。分组的计算资源814内的节点C.R.的单独分组可以包括可以配置成或分配为支持一个或更多个工作负载的分组的计算、网络、存储器或存储资源。在至少一个实施例中，可以将包括CPU或处理器的几个节点C.R.分组在一个或更多个机架内，以提供计算资源来支持一个或更多个工作负载。在至少一个实施例中，一个或更多个机架还可以包括任何数量的电源模块、冷却模块和网络交换机的任意组合。
在至少一个实施例中，资源协调器812可以配置成或以其他防水工会控制一个或更多个节点C.R.816(1)-816(N)和/或分组的计算资源814。在至少一个实施例中，资源协调器812可以包括用于数据中心800的软件设计基础设施(“SDI”)管理实体。在至少一个实施例中，资源编排器可以包括硬件、软件或其某种组合。
在至少一个实施例中，如图8所示，框架层820包括作业调度器822、配置管理器824、资源管理器826和分布式文件系统828。在至少一个实施例中，框架层820可以包括用于支持软件层830的软件832和/或应用程序层840的一个或更多个应用程序842的框架。在至少一个实施例中，软件832或一个或更多个应用程序842可分别包括基于Web的服务软件或应用程序，例如由Amazon Web Services，Google Cloud和Microsoft Azure提供的服务或应用程序。在至少一个实施例中，框架层820可以是但不限于一种免费和开放源软件网络应用框架，例如可以利用分布式文件系统828用于大型扩展数据处理(例如“大数据”)的Apache Spark TM(以下称为“Spark”)。在至少一个实施例中，作业调度器822可以包括Spark驱动器，以促进对数据中心800的各个层所支持的工作负荷的调度。在至少一个实施例中，配置管理器824可以能够配置不同的层(例如，包括Spark的软件层830和框架层820)和用于支持大规模数据处理的分布式文件系统828。在至少一个实施例中，资源管理器826能够管理映射到或分配用于支持分布式文件系统828和作业调度器822的集群或分组计算资源。在至少一个实施例中，集群或分组计算资源可以包括在数据中心基础设施层810处的分组计算资源814。在至少一个实施例中，资源管理器826可以与资源协调器812协调以管理这些映射或分配的计算资源。
在至少一个实施例中，包括在软件层830中的软件832可以包括由节点C.R.816(1)-816(N)、分组计算资源814和/或框架层820的分布式文件系统828的至少一部分使用的软件。一种或更多种类型的软件可以包括但不限于Internet网页搜索软件、电子邮件病毒扫描软件、数据库软件和流视频内容软件。
在至少一个实施例中，应用程序层840中包括的一个或更多个应用程序842可以包括由节点C.R.816(1)-816(N)的至少一部分、分组的计算资源814和/或框架层820的分布式文件系统828使用的一种或更多种类型的应用程序。一种或更多种类型的应用程序可以包括但不限于任何数量的基因组学应用程序，认知计算和机器学习应用程序，包括训练或推理软件，机器学习框架软件(例如PyTorch、TensorFlow、Caffe等)或其他与一个或更多个实施例结合使用的机器学习应用程序。
在至少一个实施例中，配置管理器824、资源管理器826和资源协调器812中的任何一个可以基于以任何技术上可行的方式获取的任何数量和类型的数据来实现任何数量和类型的自我修改动作。在至少一个实施例中，自我修改动作可以减轻数据中心800的数据中心操作员做出可能不好的配置决定并且可以避免数据中心的未充分利用和/或执行差的部分。
在至少一个实施例中，数据中心800可以包括工具、服务、软件或其他资源，以根据本文所述的一个或更多个实施例来训练一个或更多个机器学习模型或者使用一个或更多个机器学习模型来预测或推理信息。例如，在至少一个实施例中，可以通过使用上文关于数据中心800描述的软件和计算资源，根据神经网络架构通过计算权重参数来训练机器学习模型。在至少一个实施例中，通过使用通过本文所述的一种或更多种训练技术计算出的权重参数，可以使用上面与关于数据中心800所描述的资源，使用对应于一个或更多个神经网络的经训练的机器学习模型来推理或预测信息。
在至少一个实施例中，数据中心可以使用CPU、专用集成电路(ASIC)、GPU、FPGA或其他硬件来使用上述资源来执行训练和/或推理。此外，上述的一个或更多个软件和/或硬件资源可以配置成一种服务，以允许用户训练或执行信息推理，例如图像识别、语音识别或其他人工智能服务。
推理和/或训练逻辑715用于执行与一个或更多个实施例相关联的推理和/或训练操作。下面结合图7A和/或图7B提供关于推理和/或训练逻辑715的细节。在至少一个实施例中，推理和/或训练逻辑715可以在系统图8中使用，至少部分地基于使用神经网络训练操作、神经网络功能和/或架构或本文所述的神经网络用例计算出的权重参数来推理或预测操作。
对于在诸如网络边缘之类的位置处运行的应用程序，这样的组件可以用于执行机器学习模型的实时更新。在切换到不同的模型版本时，可以执行此更新而不会导致应用程序的任何停机或任何重大停机。
计算机系统
图9是示出根据至少一个实施例示例性计算机系统的框图，该示例性计算机系统可以是具有互连的设备和组件的系统，片上系统(SOC)或它们的某种形成有处理器的组合900，该处理器可以包括执行单元以执行指令。在至少一个实施例中，根据本公开，例如本文所述的实施例，计算机系统900可以包括但不限于组件，例如处理器902，其执行单元包括逻辑以执行用于过程数据的算法。在至少一个实施例中，计算机系统900可以包括处理器，例如可从加利福尼亚圣塔克拉拉的英特尔公司(Intel Corporation of Santa Clara,California)获得的处理器家族、XeonTM、/>XScaleTM和/或StrongARMTM，/>CoreTM或/> NervanaTM微处理器，尽管也可以使用其他系统(包括具有其他微处理器的PC、工程工作站、机顶盒等)。在至少一个实施例中，计算机系统900可以执行可从华盛顿州雷蒙德市的微软公司(Microsoft Corporation of Redmond,Wash.)获得的WINDOWS操作系统版本，尽管其他操作系统(例如UNIX和Linux)、嵌入式软件和/或图形用户界面也可以使用。
实施例可以用在其他设备中，例如手持设备和嵌入式应用。手持设备的一些示例包括蜂窝电话、互联网协议(Internet Protocol)设备、数码相机、个人数字助理(“PDA”)和手持PC。在至少一个实施例中，嵌入式应用可以包括微控制器、数字信号处理器(“DSP”)、片上系统、网络计算机(“NetPC”)、机顶盒、网络集线器、广域网(“WAN”)交换机，或根据至少一个实施例可以执行一个或更多个指令的任何其他系统。
在至少一个实施例中，计算机系统900可包括但不限于处理器902，该处理器902可包括但不限于一个或更多个执行单元908，以根据本文描述的技术执行机器学习模型训练和/或推理。在至少一个实施例中，计算机系统900是单处理器台式机或服务器系统，但是在另一实施例中，计算机系统900可以是多处理器系统。在至少一个实施例中，处理器902可以包括但不限于复杂指令集计算机(“CISC”)微处理器、精简指令集计算(“RISC”)微处理器、超长指令字(“VLIW”)微处理器、实现指令集组合的处理器，或任何其他处理器设备，例如数字信号处理器。在至少一个实施例中，处理器902可以耦合到处理器总线910，该处理器总线910可以在处理器902与计算机系统900中的其他组件之间传输数据信号。
在至少一个实施例中，处理器902可以包括但不限于1级(“L1”)内部高速缓存存储器(“cache”)904。在至少一个实施例中，处理器902可以具有单个内部高速缓存或多级内部缓存。在至少一个实施例中，高速缓存存储器可以驻留在处理器902的外部。根据特定的实现和需求，其他实施例也可以包括内部和外部高速缓存的组合。在至少一个实施例中，寄存器文件906可以在各种寄存器中存储不同类型的数据，包括但不限于整数寄存器、浮点寄存器、状态寄存器和指令指针寄存器。
在至少一个实施例中，包括但不限于执行整数和浮点运算的逻辑的执行单元908，其也位于处理器902中。在至少一个实施例中，处理器902还可以包括微码(“ucode”)只读存储器(“ROM”)，用于存储某些宏指令的微代码。在至少一个实施例中，执行单元908可以包括用于处理封装指令集909的逻辑。在至少一个实施例中，通过将封装指令集909包括在通用处理器902的指令集中，以及要执行指令的相关电路，可以使用通用处理器902中的封装数据来执行许多多媒体应用程序使用的操作。在一个或更多个实施例中，可以通过使用处理器的数据总线的全宽度来在封装的数据上执行操作来加速和更有效地执行许多多媒体应用程序，这可能不需要在处理器的数据总线上传输较小的数据单元来一次执行一个数据元素的一个或更多个操作。
在至少一个实施例中，执行单元908也可以用在微控制器、嵌入式处理器、图形设备、DSP和其他类型的逻辑电路中。在至少一个实施例中，计算机系统900可以包括但不限于存储器920。在至少一个实施例中，存储器920可以被实现为动态随机存取存储器(“DRAM”)设备、静态随机存取存储器(“SRAM”)设备、闪存设备或其他存储设备。在至少一个实施例中，存储器920可以存储由处理器902可以执行的由数据信号表示的一个或更多个指令919和/或数据921。
在至少一个实施例中，系统逻辑芯片可以耦合到处理器总线910和存储器920。在至少一个实施例中，系统逻辑芯片可以包括但不限于存储器控制器集线器(“MCH”)916，并且处理器902可以经由处理器总线910与MCH 916通信。在至少一个实施例中，MCH 916可以提供到存储器920的高带宽存储器路径918以用于指令和数据存储以及用于图形命令、数据和纹理的存储。在至少一个实施例中，MCH 916可以在处理器902、存储器920和计算机系统900中的其他组件之间启动数据信号，并且在处理器总线910、存储器920和系统I/O 922之间桥接数据信号。在至少一个实施例中，系统逻辑芯片可以提供用于耦合到图形控制器的图形端口。在至少一个实施例中，MCH 916可以通过高带宽存储器路径918耦合到存储器920，并且图形/视频卡912可以通过加速图形端口(Accelerated Graphics Port)(“AGP”)互连914耦合到MCH 916。
在至少一个实施例中，计算机系统900可以使用系统I/O 922作为专有集线器接口总线来将MCH 916耦合到I/O控制器集线器(“ICH”)930。在至少一个实施例中，ICH 930可以通过本地I/O总线提供与某些I/O设备的直接连接。在至少一个实施例中，本地I/O总线可以包括但不限于用于将外围设备连接到存储器920、芯片组和处理器902的高速I/O总线。示例可以包括但不限于音频控制器929、固件集线器(“快闪BIOS”)928、无线收发器926、数据存储924、包含用户输入和键盘接口925的遗留(legacy)I/O控制器923、串行扩展端口927(例如，通用串行总线(USB))和网络控制器934。数据存储924可以包括硬盘驱动器、软盘驱动器、CD-ROM设备、闪存设备或其他大容量存储设备。
在至少一个实施例中，图9示出了包括互连的硬件设备或“芯片”的系统，而在其他实施例中，图9可以示出示例性片上系统(“SoC”)。在至少一个实施例中，图中示出的设备可以与专有互连、标准化互连(例如，PCIe)或其某种组合互连。在至少一个实施例中，计算机系统900的一个或更多个组件使用计算快速链路(CXL)互连来互连。
推理和/或训练逻辑715用于执行与一个或更多个实施例相关的推理和/或训练操作。下面结合图7A和/或图7B提供关于推理和/或训练逻辑715的细节。在至少一个实施例中，推理和/或训练逻辑715可以在系统图9中使用，用于至少部分地基于使用神经网络训练操作、神经网络功能和/或架构或本文所述的神经网络用例计算的权重参数来推理或预测操作。
对于在诸如网络边缘之类的位置处运行的应用程序，此类组件可用于执行机器学习模型的实时更新。在切换到不同的模型版本时，可以执行此更新而不会导致应用程序的任何停机或任何重大停机。
图10是示出根据至少一个实施例的用于利用处理器1010的电子设备1000的框图。在至少一个实施例中，电子设备1000可以是，例如但不限于，笔记本电脑、塔式服务器、机架服务器、刀片服务器、膝上型计算机、台式机、平板电脑、移动设备、电话、嵌入式计算机或任何其他合适的电子设备。
在至少一个实施例中，电子设备1000可以包括但不限于通信地耦合到任何合适数量或种类的组件、外围设备、模块或设备的处理器1010。在至少一个实施例中，处理器1010使用总线或接口耦合，诸如1℃总线、系统管理总线(“SMBus”)、低引脚数(LPC)总线、串行外围接口(“SPI”)、高清音频(“HDA”)总线、串行高级技术附件(“SATA”)总线、通用串行总线(“USB”)(1、2、3版)或通用异步接收器/发送器(“UART”)总线。在至少一个实施例中，图10示出了系统，该系统包括互连的硬件设备或“芯片”，而在其他实施例中，图10可以示出示例性片上系统(“SoC”)。在至少一个实施例中，图10中所示的设备可以与专有互连线、标准化互连(例如，PCIe)或其某种组合互连。在至少一个实施例中，图10的一个或更多个组件使用计算快速链路(CXL)互连线来互连。
在至少一个实施例中，图10可以包括显示器1024、触摸屏1025、触摸板1030、近场通信单元(“NFC”)1045、传感器集线器1040、热传感器1046、快速芯片组(“EC”)1035、可信平台模块(“TPM”)1038、BIOS/固件/闪存(“BIOS，FW Flash”)1022、DSP1060、驱动器1020(例如，固态磁盘(“SSD”)或硬盘驱动器(“HDD”))、无线局域网单元(“WLAN”)1050、蓝牙单元1052、无线广域网单元(“WWAN”)1056、全球定位系统(GPS)1055、相机(“USB 3.0相机”)1054(例如，USB 3.0相机)和/或实现在例如LPDDR3标准低功耗双倍数据速率(“LPDDR”)存储单元(“LPDDR3”)1015。这些组件可以各自以任何合适的方式实现。
在至少一个实施例中，其他组件可以通过以上讨论的组件通信地耦合到处理器1010。在至少一个实施例中，加速度计1041、环境光传感器(“ALS”)1042、罗盘1043和陀螺仪1044可以可通信地耦合到传感器集线器1040。在至少一个实施例中，热传感器1039、风扇1037、键盘1036和触摸板1030可以通信地耦合到EC1335。在至少一个实施例中，扬声器1063、耳机1064和麦克风(“mic”)1065可以通信地耦合到音频单元(“音频编解码器和D类放大器”)1062，其又可以通信地耦合到DSP1060。在至少一个实施例中，音频单元1062可以包括例如但不限于音频编码器/解码器(“编解码器”)和D类放大器。在至少一个实施例中，SIM卡(“SIM”)1057可以通信地耦合到WWAN单元1056。在至少一个实施例中，组件(诸如WLAN单元1050和蓝牙单元1052以及WWAN单元1056)可以被实现为下一代形式因素(NGFF)。
推理和/或训练逻辑715用于执行与一个或更多个实施例相关联的推理和/或训练操作。下面结合图7A和/或图7B提供关于推理和/或训练逻辑715的细节。在至少一个实施例中，推理和/或训练逻辑715可以在系统图10中使用，用于至少部分地基于使用神经网络训练操作、神经网络功能和/或体系架构或本文描述的神经网络用例计算的权重参数来推理或预测操作。
对于在诸如网络边缘之类的位置处运行的应用程序，此类组件可用于执行机器学习模型的实时更新。在切换到不同的模型版本时，可以执行此更新而不会导致应用程序的任何停机或任何重大停机。
图11是根据至少一个实施例的处理系统的框图。在至少一个实施例中，系统1100包括一个或更多个处理器1102和一个或更多个图形处理器1108，并且可以是单个处理器台式机系统、多处理器工作站系统或具有大量处理器1102或处理器核心1107的服务器系统。在至少一个实施例中，系统1100是结合在片上系统(SoC)集成电路中的处理平台，以用于移动、手持或嵌入式设备。
在至少一个实施例中，系统1100可以包括或结合在基于服务器的游戏平台、游戏控制台(包括游戏和媒体控制台)、移动游戏控制台、手持游戏控制台或在线游戏控制台。在至少一个实施例中，系统1100是移动电话、智能电话、平板计算设备或移动互联网设备。在至少一个实施例中，处理系统1100还可以包括可穿戴设备，与可穿戴设备耦合或集成在可穿戴设备中，例如智能手表可穿戴设备、智能眼镜设备、增强现实设备或虚拟现实设备。在至少一个实施例中，处理系统1100是电视或机顶盒设备，其具有一个或更多个处理器1102以及由一个或更多个图形处理器1108生成的图形界面。
在至少一个实施例中，一个或更多个处理器1102各自包括一个或更多个处理器核心1107，以处理指令，该指令在被执行时执行针对系统和用户软件的操作。在至少一个实施例中，一个或更多个处理器核心1107中的每一个被配置为处理特定指令集1109。在至少一个实施例中，指令集1109可以促进复杂指令集计算(CISC)、精简指令集计算(RISC)或通过超长指令字(VLIW)进行计算。在至少一个实施例中，处理器核心1107可各自处理不同的指令集1109，该指令集1109可包括有助于仿真其他指令集的指令。在至少一个实施例中，处理器核心1107还可以包括其他处理设备，例如数字信号处理器(DSP)。
在至少一个实施例中，处理器1102包括高速缓存存储器1104。在至少一个实施例中，处理器1102可以具有单个内部高速缓存或多个级别的内部高速缓存。在至少一个实施例中，高速缓存存储器在处理器1102的各个组件之间共享。在至少一个实施例中，处理器1102还使用外部高速缓存(例如，3级(L3)高速缓存或最后一级高速缓存(LLC))(未示出)，这可以使用已知的高速缓存一致性技术在处理器核心1107之间共享。在至少一个实施例中，处理器1102中附加包括寄存器文件1106，其可以包括用于存储不同类型的数据的不同类型的寄存器(例如，整数寄存器、浮点寄存器、状态寄存器和指令指针寄存器)。在至少一个实施例中，寄存器文件1106可以包括通用寄存器或其他寄存器。
在至少一个实施例中，一个或更多个处理器1102与一个或更多个接口总线1110耦合，以在处理器1102与系统1100中的其他组件之间传输通信信号，例如地址、数据或控制信号。在至少一个实施例中，接口总线1110在一个实施例中可以是处理器总线，例如直接媒体接口(DMI)总线的版本。在至少一个实施例中，接口总线1110不限于DMI总线，并且可以包括一个或更多个外围组件互连总线(例如，PCI、PCI Express)、存储器总线或其他类型的接口总线。在至少一个实施例中，一个或更多个处理器1102包括集成存储器控制器1116和平台控制器集线器1130。在至少一个实施例中，存储器控制器1116促进存储器设备与系统1100的其他组件之间的通信，而平台控制器集线器(PCH)1130通过本地I/O总线提供到I/O设备的连接。
在至少一个实施例中，存储器设备1120可以是动态随机存取存储器(DRAM)设备、静态随机存取存储器(SRAM)设备、闪存设备、相变存储器设备或具有适当的性能用作进程存储器的一些其他存储器设备。在至少一个实施例中，存储器设备1120可以操作为系统1100的系统存储器，以存储数据1122和指令1121，以在一个或更多个处理器1102执行应用程序或进程时使用。在至少一个实施例中，存储器控制器1116还与可选的外部图形处理器1112耦合，该外部图形处理器1112可以与处理器1102中的一个或更多个图形处理器1108通信以执行图形和媒体操作。在至少一个实施例中，显示设备1111可以连接至一个或更多个处理器1102。在至少一个实施例中，显示设备1111可以包括内部显示设备中的一个或更多个，例如在移动电子设备或膝上型设备或通过显示接口(例如，DisplayPort等)附接的外部显示设备中。在至少一个实施例中，显示设备1111可以包括头戴式显示器(HMD)，例如用于虚拟现实(VR)应用程序或增强现实(AR)应用程序中的立体显示设备。
在至少一个实施例中，平台控制器集线器1130使外围设备能够经由高速I/O总线连接到存储器设备1120和处理器1102。在至少一个实施例中，I/O外围设备包括但不限于音频控制器1146、网络控制器1134、固件接口1128、无线收发器1126、触摸传感器1125、数据存储设备1124(例如，硬盘驱动器、闪存等)。在至少一个实施例中，数据存储设备1124可以经由存储接口(例如，SATA)或经由外围总线，例如外围组件互连总线(例如，PCI、PCIExpress)来连接。在至少一个实施例中，触摸传感器1125可以包括触摸屏传感器、压力传感器或指纹传感器。在至少一个实施例中，无线收发器1126可以是Wi-Fi收发器，蓝牙收发器或诸如3G、4G或长期演进(LTE)收发器之类的移动网络收发器。在至少一个实施例中，固件接口1128使能与系统固件的通信，并且可以是例如统一的可扩展固件接口(UEFI)。在至少一个实施例中，网络控制器1134可以使能到有线网络的网络连接。在至少一个实施例中，高性能网络控制器(未示出)与接口总线1110耦合。在至少一个实施例中，音频控制器1146是多通道高清音频控制器。在至少一个实施例中，系统1100包括用于将遗留(例如，个人系统2(PS/2))设备耦合到系统的可选遗留I/O控制器1140。在至少一个实施例中，平台控制器集线器1130还可以连接到一个或更多个通用串行总线(USB)控制器1142，该控制器连接输入设备，诸如键盘和鼠标1143组合、摄像头1144或其他USB输入设备。
在至少一个实施例中，存储器控制器1116和平台控制器集线器1130的实例可以被集成到分立的外部图形处理器中，例如外部图形处理器1112。在至少一个实施例中，平台控制器集线器1130和/或存储器控制器1116可以在一个或更多个处理器1102的外部。例如，在至少一个实施例中，系统1100可以包括外部存储器控制器1116和平台控制器集线器1130，其可以被配置为存储器控制器集线器和与一个或更多个处理器1102通信的系统芯片组内的外围控制器集线器。
推理和/或训练逻辑715用于执行与一个或更多个实施例相关联的推理和/或训练操作。下面结合图7A或图7B提供关于推理和/或训练逻辑715的细节。在至少一个实施例中，推理和/或训练逻辑715的部分或全部可以被合并到图形处理器中。例如，在至少一个实施例中，本文描述的训练和/或推理技术可以使用体现在图形处理器中的一种或更多种ALU。此外，在至少一个实施例中，本文描述的推理和/或训练操作可以使用除图7A或图7B所示的逻辑以外的逻辑来完成。在至少一个实施例中，权重参数可以存储在片上或片外存储器和/或寄存器(示出或未示出)中，该权重参数配置图形处理器的ALU以执行一种或更多种机器学习算法、神经网络架构、用例或本文描述的训练技术。
对于在诸如网络边缘之类的位置处运行的应用程序，这样的组件可以用于执行机器学习模型的实时更新。在切换到不同的模型版本时，可以执行此更新而不会在切换中导致应用程序的任何停机或任何重大停机。
图12是根据至少一个实施例的具有一个或更多个处理器核心1202A-1202N、集成存储器控制器1214和集成图形处理器1208的处理器1200的框图。在至少一个实施例中，处理器1200可以包括直到并包括由虚线框表示的附加核心1202N的附加核心。在至少一个实施例中，每个处理器核心1202A-1202N包括一个或更多个内部高速缓存单元1204A-1204N。在至少一个实施例中，每个处理器核心还可以访问一个或更多个共享高速缓存单元1206。
在至少一个实施例中，内部高速缓存单元1204A-1204N和共享高速缓存单元1206代表处理器1200内的高速缓存存储器层次结构。在至少一个实施例中，内部高速缓存单元1204A-1204N可以在每个处理器核心中包括至少一级指令和数据高速缓存，并且包括一个或更多个级别的共享中级高速缓存，例如2级(L2)、3级(L3)、4级(L4)或其他级别的高速缓存，其中外部存储器之前的最高级别的高速缓存被归类为LLC。在至少一个实施例中，高速缓存一致性逻辑维持各种高速缓存单元1206和1204A-1204N之间的一致性。
在至少一个实施例中，处理器1200还可以包括一组一个或更多个总线控制器单元1216和系统代理核心1210。在至少一个实施例中，一个或更多个总线控制器单元1216管理一组外围总线，例如一个或更多个PCI或PCI Express总线。在至少一个实施例中，系统代理核心1210为各种处理器组件提供管理功能。在至少一个实施例中，系统代理核心1210包括一个或更多个集成存储器控制器1214，以管理对各种外部存储器设备(未示出)的访问。
在至少一个实施例中，一个或更多个处理器核心1202A-1202N包括对同时多线程的支持。在至少一个实施例中，系统代理核心1210包括用于在多线程处理期间协调和操作核心1202A-1202N的组件。在至少一个实施例中，系统代理核心1210可以附加包括功率控制单元(PCU)，该功率控制单元包括逻辑和组件，以调节处理器核心1202A-1202N和图形处理器1208的一个或更多个功率状态。
在至少一个实施例中，处理器1200附加地包括图形处理器1208，用于执行图形处理操作。在至少一个实施例中，图形处理器1208与共享高速缓存单元1206和系统代理核心1210耦合，系统代理核心1210包括一个或更多个集成存储器控制器1214。在至少一个实施例中，系统代理核心1210还包括显示控制器1211，用于驱动图形处理器输出到一个或更多个耦合的显示器。在至少一个实施例中，显示控制器1211也可以是经由至少一个互连与图形处理器1208耦合的独立模块，或者可以被集成在图形处理器1208内。
在至少一个实施例中，基于环(ring)的互连单元1212用于耦合处理器1200的内部组件。在至少一个实施例中，可以使用替代的互连单元，例如点对点互连、交换互连或其他技术。在至少一个实施例中，图形处理器1208经由I/O链接1213与环形互连单元1212耦合。
在至少一个实施例中，I/O链接1213代表多种I/O互连中的至少一种，包括便于各种处理器组件与高性能嵌入式存储器模块1218(例如eDRAM模块)之间的通信的封装I/O互连。在至少一个实施例中，处理器核心1202A-1202N和图形处理器1208中的每一个使用嵌入式存储器模块1218作为共享的最后一级高速缓存。
在至少一个实施例中，处理器核心1202A-1202N是执行通用指令集架构的同构核心。在至少一个实施例中，处理器核心1202A-1202N在指令集架构(ISA)方面是异构的，其中一个或更多个处理器核心1202A-1202N执行通用指令集，而处理器核心1202A-1202N中的一个或更多个其他核心执行通用指令集或不同指令集的子集。在至少一个实施例中，就微架构而言，处理器核心1202A-1202N是异构的，其中具有相对较高功耗的一个或更多个核心与具有较低功耗的一个或更多个功率核心耦合。在至少一个实施例中，处理器1200可以在一个或更多个芯片上实现或被实现为SoC集成电路。
推理和/或训练逻辑715用于执行与一个或更多个实施例相关联的推理和/或训练操作。下面结合图7A和/或图7B提供关于推理和/或训练逻辑715的细节。在至少一个实施例中，推理和/或训练逻辑715的部分或全部可以被合并到处理器1200中。例如，在至少一个实施例中，本文描述的训练和/或推理技术可以使用在图形处理器1208中体现的一个或更多个ALU、一个或更多个处理器核心1202A-1202N或图12中的其他组件。此外，在至少一个实施例中，可以使用除图7A或图7B中所示的逻辑以外的逻辑来完成本文所述的推理和/或训练操作。在至少一个实施例中，权重参数可以存储在片上或片外存储器和/或寄存器(示出或未示出)中，该权重参数配置处理器1200的ALU以执行一种或更多种机器学习算法、神经网络架构、用例或本文描述的训练技术。
对于在诸如网络边缘之类的位置处运行的应用程序，这样的组件可以用于执行机器学习模型的实时更新。在切换到不同的模型版本时，可以执行此更新而不会在切换中导致应用程序的任何停机或任何重大停机。
虚拟化的计算平台
图13是根据至少一个实施例的用于生成和部署图像处理和推理管线的过程1300的示例数据流程图。在至少一个实施例中，过程1300可以被部署为与一个或更多个设施1302处的成像设备、处理设备和/或其他设备类型一起使用。过程1300可以在训练系统1304和/或部署系统1306内执行。在至少一个实施例中，训练系统1304可以被用于执行在部署系统1306中使用的机器学习模型(例如，神经网络、对象检测算法、计算机视觉算法等)的训练、部署和实现。在至少一个实施例中，部署系统1306可被配置为在分布式计算环境中卸载处理和计算资源，以减少设施1302处的基础设施要求。在至少一个实施例中，在应用程序执行期间，管线中的一个或更多个应用程序可以使用或调用部署系统1306的服务(例如，推理、可视化、计算、AI等)。
在至少一个实施例中，在高级处理和推理管线中使用的一些应用程序可以使用机器学习模型或其他AI来执行一个或更多个处理步骤。在至少一个实施例中，可以使用在设施1302处生成的数据1308(例如，成像数据)在设施1302处训练机器学习模型(并且数据1308被存储在设施1302处的一个或更多个图片归档(archiving)和通信系统(PACS)服务器上)，可以使用来自另外一个或更多个设施的成像或测序数据1308或其组合来训练机器学习模型。在至少一个实施例中，训练系统1304可以用于提供应用程序、服务和/或其他资源，以生成用于部署系统1306的工作的、可部署的机器学习模型。
在至少一个实施例中，模型注册表1324可以由对象存储器支持，该对象存储器可以支持版本控制和对象元数据。在至少一个实施例中，可以从云平台内通过例如云存储(例如，图14的云1426)兼容的应用程序编程接口(API)来访问对象存储器。在至少一个实施例中，模型注册表1324内的机器学习模型可以由与API交互的系统的开发者或合作伙伴上传、列出、修改或删除。在至少一个实施例中，API可以提供对方法的访问，该方法允许具有适当凭证的用户将模型与应用程序相关联，使得可以将模型作为应用程序的容器化实例的执行的一部分来执行。
在至少一个实施例中，训练管线1404(图14)可以包括设施1302正在训练他们自己的机器学习模型或者具有需要被优化或更新的现有机器学习模型的场景。在至少一个实施例中，可以接收由一个或更多个成像设备、测序设备和/或其他设备类型生成的成像数据1308。在至少一个实施例中，一旦接收到成像数据1308，AI辅助注释1310就可以用于帮助生成与成像数据1308相对应的注释，以用作机器学习模型的地面真实数据。在至少一个实施例中，AI辅助注释1310可以包括一个或更多个机器学习模型(例如，卷积神经网络(CNN))，可以对其进行训练以生成对应于某些类型的成像数据1308的注释(例如，来自某些设备)。在至少一个实施例中，然后可以直接使用AI辅助注释1310，或者可以使用注释工具对其进行调整或微调以生成地面真实数据。在至少一个实施例中，AI辅助注释1310、标记的临床数据1312或其组合可以用作训练机器学习模型的地面真实数据。在至少一个实施例中，训练的机器学习模型可以被称为输出模型1316，并且可以由部署系统1306使用，如本文所述。
在至少一个实施例中，训练管线1404(图14)可以包括场景，其中设施1302需要机器学习模型以用于对部署系统1306中的一个或更多个应用程序执行一个或更多个处理任务，但是设施1302当前可能没有这样的机器学习模型(或可能没有出于此目的而被优化的、有效或高效的模型)。在至少一个实施例中，可以从模型注册表1324中选择现有的机器学习模型。在至少一个实施例中，模型注册表1324可以包括经训练以对成像数据执行各种不同推理任务的机器学习模型。在至少一个实施例中，可以已经在来自与设施1302不同的设施(例如，位于远程的设施)的成像数据上训练模型注册表1324中的机器学习模型。在至少一个实施例中，机器学习模型可能已经在来自一个位置、两个位置或任何数量的位置的成像数据上进行训练。在至少一个实施例中，当在来自特定位置的成像数据上进行训练时，训练可以在该位置进行，或者至少以保护成像数据的机密性或限制成像数据从外部(off-premises)传输的方式进行。在至少一个实施例中，一旦在一个位置上训练了模型或部分地训练了模型，就可以将机器学习模型添加到模型注册表1324。在至少一个实施例中，然后可以在任意数量的其他设施处对机器学习模型进行重新训练或更新，并且在模型注册表1324中使经重新训练或更新的模型可用。在至少一个实施例中，然后可以从模型注册表1324中选择机器学习模型，并被称为输出模型1316，并且其可以被用于部署系统1306中以为部署系统的一个或更多个应用程序执行一个或更多个处理任务。
在至少一个实施例中，训练管线1404(图14)，场景可以包括设施1302，其需要机器学习模型以用于为部署系统1306中的一个或更多个应用程序执行一个或更多个处理任务，但是设施1302当前可能没有这样的机器学习模型(或可能没有出于此目的而被优化的、有效或有效的模型)。在至少一个实施例中，由于总体上的差异、用于训练机器学习模型的训练数据的鲁棒性、训练数据的异常的多样性和/或训练数据的其他问题，从模型注册表1324中选择的机器学习模型可能无法针对在设施1302处生成的成像数据1308进行微调或优化。在至少一个实施例中，AI辅助注释1310可以用于帮助生成与成像数据1308相对应的注释，以用作用于训练或更新机器学习模型的地面真实数据。在至少一个实施例中，标记的数据1312可以用作用于训练机器学习模型的地面真实数据。在至少一个实施例中，重新训练或更新机器学习模型可以被称为模型训练1314。在至少一个实施例中，模型训练1314–例如，AI辅助注释1310、标记的临床数据1312或其组合–可以用作重新训练或更新机器学习模型的地面真实数据。在至少一个实施例中，训练的机器学习模型可以被称为输出模型1316，并且可以由部署系统1306使用，如本文所述。
在至少一个实施例中，部署系统1306可以包括软件1318、服务1320、硬件1322和/或其他组件、特征和功能。在至少一个实施例中，部署系统1306可以包括软件“栈”，使得软件1318可以构建在服务1320的顶部上并且可以使用服务1320来执行一些或全部处理任务，并且服务1320和软件1318可以在硬件1322的顶部构建并使用硬件1322执行部署系统1306的处理、存储和/或其他计算任务。在至少一个实施例中，软件1318可以包括任意数量的不同容器，其中每个容器都可以执行应用程序的实例化。在至少一个实施例中，每个应用程序可以在高级处理和推理管线中执行一个或更多个处理任务(例如，推理、对象检测、特征检测、分段、图像增强、校准等)。在至少一个实施例中，除了接收和配置成像数据以供每个容器使用和/或在通过管线进行处理之后(例如，将输出转换回可用数据类型)供设施1302使用的容器之外，还可以基于对处理成像数据1308期望或要求的不同容器的选择来定义高级处理和推理管线。在至少一个实施例中，软件1318内的容器的组合(例如，构成管线的容器)可以被称为虚拟仪器(如本文中更详细描述的)，并且虚拟仪器可以利用服务1320和硬件1322执行对在容器中实例化的应用程序的部分或全部处理任务。
在至少一个实施例中，数据处理管线可以响应于推理请求(例如，来自部署系统1306的用户的请求)以特定格式接收输入数据(例如，成像数据1308)。在至少一个实施例中，输入数据可以代表由一个或更多个成像设备生成的一个或更多个图像、视频和/或其他数据表示。在至少一个实施例中，数据可以作为数据处理管线的一部分进行预处理，以准备数据以供一个或更多个应用程序处理。在至少一个实施例中，可以在管线的一个或更多个推理任务或其他处理任务的输出上执行后处理，以为下一应用程序准备输出数据和/或为传输和/或用户使用准备输出数据(例如，作为对推理请求的响应)。在至少一个实施例中，推理任务可以由一个或更多个机器学习模型来执行，例如经训练或部署的神经网络，其可以包括训练系统1304的输出模型1316。
在至少一个实施例中，数据处理管线的任务可以封装在一个或更多个容器中，每个容器表示能够引用机器学习模型的应用程序和虚拟化计算环境的离散的、全功能的实例。在至少一个实施例中，容器或应用程序可以被发布到容器注册表的私有(例如，有限访问)区域中(本文更详细地描述)，并且经训练或部署的模型可以被存储在模型注册表1324中并且与一个或更多个应用程序相关联。在至少一个实施例中，应用程序的图像(例如，容器图像)可以在容器注册表中可用，并且一旦被用户从容器注册表中选择以部署在管线中，则可以使用图像来生成应用程序的实例化的容器，用于由用户的系统使用。
在至少一个实施例中，开发人员(例如，软件开发人员、临床医生、医生等)可以开发、发布和存储用于对所提供的数据执行图像处理和/或推理的应用程序(例如，作为容器)。在至少一个实施例中，可以使用与系统相关联的软件开发工具包(SDK)来执行开发、发布和/或存储(例如，以确保开发的应用程序和/或容器符合系统或与系统兼容)。在至少一个实施例中，可以使用可以支持至少一些服务1320作为系统(例如，图14的系统1400)的SDK在本地(例如，在第一设施处，在来自第一设施的数据上)测试开发的应用程序。在至少一个实施例中，由于DICOM对象可以包含一到数百个图像或其他数据类型中的任何一个，并且由于数据的变化，开发人员可负责管理(例如，设置构造用于、将预处理构建到应用程序中等)提取和准备传入数据。在至少一个实施例中，一旦由系统1400验证(例如，为了准确性)，则应用程序可以在容器注册表中可用，以供用户选择和/或实现以针对用户的设施(例如，第二设施)处的数据执行一个或更多个处理任务。
在至少一个实施例中，开发人员然后可以通过网络共享应用程序或容器，以供系统(例如，图14的系统1400)的用户访问和使用。在至少一个实施例中，可以将完成并经验证的应用程序或容器存储在容器注册表中，并且可以将相关联的机器学习模型存储在模型注册表1324中。在至少一个实施例中，请求实体-其提供推理或图像处理请求-可以浏览容器注册表和/或模型注册表1324，以获取应用程序、容器、数据集、机器学习模型等，选择期望的元素组合以包含在数据处理管线中，并提交成像处理请求。在至少一个实施例中，请求可以包括执行请求所必需的输入数据(和相关联的患者数据，在一些示例中)，和/或可以包括对要在处理请求时执行的一个或更多个应用程序和/或机器学习模型的选择。在至少一个实施例中，然后可以将请求传递到部署系统1306的一个或更多个组件(例如，云)以执行对数据处理管线的处理。在至少一个实施例中，由部署系统1306进行的处理可以包括从容器注册表和/或模型注册表1324中引用选择的元素(例如，应用程序、容器、模型等)。在至少一个实施例中，一旦管线生成结果，则结果可以被返回给用户以供参考(例如，用于在本地、内部(on-premises)工作站或终端上执行的查看应用程序套件中进行查看)。
在至少一个实施例中，为了帮助处理或执行管线中的应用程序或容器，可以利用服务1320。在至少一个实施例中，服务1320可以包括计算服务、人工智能(AI)服务、可视化服务和/或其他服务类型。在至少一个实施例中，服务1320可以提供软件1318中的一个或更多个应用程序所共有的功能，因此可以将功能抽象为可以被应用程序调用或利用的服务。在至少一个实施例中，由服务1320提供的功能可以动态且更有效地运行，同时还通过允许应用程序并行处理数据(例如，使用并行计算平台1430(图14))来很好地缩放。在至少一个实施例中，不是要求共享服务1320所提供的相同功能的每个应用程序都具有服务1320的相应实例，而是可以在各种应用程序之间和之中共享服务1320。在至少一个实施例中，作为非限制性示例，服务可以包括可以用于执行检测或分段任务的推理服务器或引擎。在至少一个实施例中，可以包括模型训练服务，其可以提供机器学习模型训练和/或重新训练能力。在至少一个实施例中，可以进一步包括数据增强服务，该数据增强服务可以提供GPU加速的数据(例如，DICOM、RIS、CIS、REST兼容、RPC、原始等)提取、调整大小、缩放和/或其他增强。在至少一个实施例中，可以使用可视化服务，该可视化服务可以添加图像渲染效果(例如，射线追踪、光栅化、去噪、锐化等)，以向二维(2D)和/或三维(3D)模型中添加真实感。在至少一个实施例中，可以包括虚拟仪器服务，其为虚拟仪器的管线内的其他应用程序提供波束形成、分段、推理、成像和/或支持。
在至少一个实施例中，在服务1320包括AI服务(例如，推理服务)的情况下，可以通过调用(例如，作为API调用)推理服务(例如，推理服务器)以作为应用程序执行的一部分执行一个或更多个机器学习模型，或其处理，来执行一个或更多个机器学习模型。在至少一个实施例中，在另一应用程序包括用于分段任务的一个或更多个机器学习模型的情况下，应用程序可以调用推理服务来执行机器学习模型，该机器学习模型用于执行与分段任务相关联的一个或更多个处理操作。在至少一个实施例中，可以简化实现包括分段应用程序和异常检测应用程序的高级处理和推理管线的软件1318，因为每个应用程序可以调用相同的推理服务来执行一个或更多个推理任务。
在至少一个实施例中，硬件1322可以包括GPU、CPU、图形卡、AI/深度学习系统(例如，AI超级计算机，例如NVIDIA的DGX)、云平台或其组合。在至少一个实施例中，可以使用不同类型的硬件1322为部署系统1306中的软件1318和服务1320提供有效的、特定目的的支持。在至少一个实施例中，可以实现对GPU处理的使用以进行本地(例如，在设施1302处)、在AI/深度学习系统内、在云系统中和/或在部署系统1306的其他处理组件中的处理，以提高图像处理和生成的效率、准确性和功效。在至少一个实施例中，作为非限制性示例，可以针对关于深度学习、机器学习和/或高性能计算的GPU处理来优化软件1318和/或服务1320。在至少一个实施例中，部署系统1306和/或训练系统1304的至少一些计算环境可以利用GPU优化的软件(例如，NVIDIA的DGX系统的硬件和软件组合)在数据中心一个或更多个超级计算机或高性能计算系统中执行。在至少一个实施例中，硬件1322可包括可被调用以并行执行数据处理的任意数量的GPU，如本文所述。在至少一个实施例中，云平台还可包括针对深度学习任务、机器学习任务或其他计算任务的GPU优化执行的GPU处理。在至少一个实施例中，可以使用一个或更多个AI/深度学习超级计算机和/或GPU优化的软件(例如，如在NVIDIA的DGX系统上提供的)作为硬件抽象和缩放平台来执行云平台(例如，NVIDIA的NGC)。在至少一个实施例中，云平台可以在多个GPU上集成应用程序容器集群系统或协调系统(例如，KUBERNETES)，以实现无缝缩放和负载平衡。
图14是根据至少一个实施例的用于生成和部署成像部署管线的示例系统1400的系统图。在至少一个实施例中，系统1400可以用于实现图13的过程1300和/或其他过程，包括高级处理和推理管线。在至少一个实施例中，系统1400可以包括训练系统1304和部署系统1306。在至少一个实施例中，可以使用软件1318、服务1320和/或硬件1322来实现训练系统1304和部署系统1306，如本文所述。
在至少一个实施例中，系统1400(例如，训练系统1304和/或部署系统1306)可以在云计算环境中(例如，使用云1426)实现。在至少一个实施例中，系统1400可以关于医疗服务设施在本地实现，或者作为云和本地计算资源两者的组合来实现。在至少一个实施例中，可以通过制定的安全措施或协议将对云1426中的API的访问限制为授权用户。在至少一个实施例中，安全协议可以包括可以由认证(例如，AuthN，AuthZ，Gluecon等)服务签名的网络令牌，并且可以携带适当的授权。在至少一个实施例中，虚拟仪器的API(在此描述的)或系统1400的其他实例话可以被限制到已经被审核或被授权用于交互的一组公共IP。
在至少一个实施例中，系统1400的各个组件可以使用包括但不限于局域网(LAN)和/或广域网(WAN)在内的各种不同网络类型中的任何一种经由有线和/或无线通信协议在彼此之间和之中进行通信。在至少一个实施例中，可以在一个或更多个数据总线、无线数据协议(Wi-Fi)、有线数据协议(例如以太网)等上传送系统1400的设施和组件之间的通信(例如，用于发送推理请求，用于接收推理请求的结果等)。
在至少一个实施例中，训练系统1304可以执行训练管线1404，类似于本文相对于图13所描述的那些。在至少一个实施例中，在部署系统1306要在部署管线1410中使用一个或更多个机器学习模型的情况下，训练管线1404可以用于训练或重新训练一个或更多个(例如，预训练的)模型，和/或实现一个或更多个预训练模型1406(例如，无需重新训练或更新)。在至少一个实施例中，作为训练管线1404的结果，可以生成一个或更多个输出模型1316。在至少一个实施例中，训练管线1404可以包括任何数量的处理步骤，诸如但不限于成像数据(或其他输入数据)的转换或适应。在至少一个实施例中，对由部署系统1306使用的不同机器学习模型，可以使用不同的训练管线1404。在至少一个实施例中，类似于关于图13所描述的第一示例的训练管线1404可用于第一机器学习模型，类似于关于图13所描述的第二示例的训练管线1404可用于第二机器学习模型，并且类似于关于图13所描述的第三示例的训练管线1404可用于第三机器学习模型。在至少一个实施例中，可以根据每个相应的机器学习模型的要求来使用训练系统1304内的任务的任何组合。在至少一个实施例中，机器学习模型中的一个或更多个可以已经被训练并且准备好用于部署，因此机器学习模型可以不由训练系统1304进行任何处理，并且可以由部署系统1306来实现。
在至少一个实施例中，一个或更多个输出模型1316和/或一个或更多个预训练模型1406可以包括取决于实现方式或实施例的任何类型的机器学习模型。在至少一个实施例中，但不限于，系统1400使用的机器学习模型可以包括使用线性回归、逻辑回归、决策树、支持向量机(SVM)、朴素贝叶斯(Bayes)、k最近邻(Knn)、K均值聚类、随机森林、降维算法、梯度提升算法、神经网络(例如，自动编码器、卷积、递归、感知器、长期/短期记忆(LSTM)、Hopfield、Boltzmann、深度信念、反卷积、生成对抗、液体状态机等)的一个或更多个机器学习模型和/或其他类型的机器学习模型。
在至少一个实施例中，训练管线1404可以包括AI辅助注释，如本文至少关于图15B更详细地描述的。在至少一个实施例中，可以通过任意数量的技术来生成标记数据1312(例如，传统注释)。在至少一个实施例中，可以在绘图程序(例如，注释程序)、计算机辅助设计(CAD)程序、标记程序、适合于为地面真实生成注释或标签的另一种类型的程序内生成标签或其他注释，和/或在一些示例中可以手工绘制。在至少一个实施例中，地面真实数据可以是合成产生的(例如，从计算机模型或渲染产生的)，真实产生的(例如，从真实世界数据设计和产生的)，机器自动化的(例如，使用特征分析和学习以从数据中提取特征，然后生成标签)，人工注释的(例如，贴标机、或注释专家、定义标签的位置)和/或其组合。在至少一个实施例中，对于成像数据1308(或机器学习模型使用的其他数据类型)的每个实例，可以存在由训练系统1304生成的相应的地面真实数据。在至少一个实施例中，AI辅助注释可以作为部署管线1410的一部分执行；补充或代替训练管线1404中包括的AI辅助注释。在至少一个实施例中，系统1400可以包括多层平台，该多层平台可以包括诊断应用程序(或其他应用程序类型)的软件层(例如，软件1318)，其可以执行一项或更多项医学成像和诊断功能。在至少一个实施例中，系统1400可以通信地耦合到(例如，经由加密的链路)一个或更多个设施的PACS服务器网络。在至少一个实施例中，系统1400可以被配置为访问和引用来自PACS服务器的数据，以执行诸如训练机器学习模型、部署机器学习模型、图像处理、推理和/或其他操作之类的操作。
在至少一个实施例中，软件层可以被实现为安全、加密和/或认证的API，通过该API，可以从一个或更多个外部环境(例如，设施1302)援用(invoke)(例如，调用(calle))应用程序或容器。在至少一个实施例中，应用程序然后可以调用或执行一个或更多个服务1320，以执行与各个应用程序相关联的计算、AI或可视化任务，并且软件1318和/或服务1320可以利用硬件1322来以有效和高效的方式执行处理任务。
在至少一个实施例中，部署系统1306可以执行部署管线1410。在至少一个实施例中，部署管线1410可以包括可以顺序地、非顺序地或以其他方式应用于成像数据(和/或其他数据类型)的任何数量的应用程序，成像数据由成像设备、测序设备、基因组设备等生成-包括如上所述的AI辅助注释。在至少一个实施例中，如本文所述，用于个体设备的部署管线1410可以被称为用于设备的虚拟仪器(例如，虚拟超声仪、虚拟CT扫描仪、虚拟测序仪等)。在至少一个实施例中，对于单个设备，取决于从设备生成的数据中期望的信息，可以有一个以上的部署管线1410。在至少一个实施例中，在期望从MRI机器检测到异常的情况下，可以存在第一部署管线1410，并且在期望从MRI机器的输出进行图像增强的情况下，可以存在第二部署管线1410。
在至少一个实施例中，图像生成应用程序可以包括处理任务，该处理任务包括使用机器学习模型。在至少一个实施例中，用户可能期望使用他们自己的机器学习模型，或者从模型注册表1324中选择机器学习模型。在至少一个实施例中，用户可以实现他们自己的机器学习模型或选择用于包含在执行处理任务的应用程序中的机器学习模型。在至少一个实施例中，应用程序可以是可选的和可定制的，并且通过定义应用程序的构造，针对特定用户的应用程序的部署和实现被呈现为更加无缝的用户体验。在至少一个实施例中，通过利用系统1400的其他特征(例如，服务1320和硬件1322)，部署管线1410可以甚至更加用户友好，提供更容易的集成并且产生更准确、有效和及时的结果。
在至少一个实施例中，部署系统1306可以包括用户界面1414(例如，图形用户界面、网络界面等)，该用户界面1414可以用于选择要包括在一个或更多个部署管线1410中的应用程序，布置应用程序，修改或更改应用程序或参数或其构造，在设置和/或部署期间使用一个或更多个部署管线1410并与之交互，和/或以其他方式与部署系统1306进行交互。在至少一个实施例中，虽然并未关于训练系统1304示出，但用户界面1414(或不同的用户界面)可用于选择用于在部署系统1306中使用的模型，在训练系统1304中选择用于训练或重新训练的模型，和/或用于以其他方式与训练系统1304互动。
在至少一个实施例中，除了应用程序协调系统1428之外，还可以使用管线管理器1412来管理一个或更多个部署管线1410的应用程序或容器与服务1320和/或硬件1322之间的交互。在至少一个实施例中，管线管理器1412可以被配置为促进从应用程序到应用程序、从应用程序到服务1320和/或从应用程序或服务到硬件1322的交互。在至少一个实施例中，尽管被示为包括在软件1318中，但这并不旨在是限制，并且在一些示例中(例如，如图13所示)，管线管理器1412可以被包括在服务1320中。在至少一个实施例中，应用程序协调系统1428(例如，Kubernetes、DOCKER等)可包括容器协调系统，该容器协调系统可以将应用程序分组为作为逻辑单元进行协调、管理、缩放和部署的多个容器。在至少一个实施例中，通过将来自一个或更多个部署管线1410的应用程序(例如，重建应用程序、分段应用程序等)与各个容器相关联，每个应用程序可以在自包含的环境中(例如，在内核级别)执行以提高速度和效率。
在至少一个实施例中，每个应用程序和/或容器(或其图像)可以被单独开发、修改和部署(例如，第一用户或开发人员可以开发、修改和部署第一应用程序，第二用户或开发人员可以开发、修改和部署与第一用户或开发人员分开的第二应用程序)，这可允许聚焦于并专注于单个应用程序和/或一个或更多个容器的任务，而不会受到另一个或更多个应用程序或另一个或更多个容器的任务的阻碍。在至少一个实施例中，管线管理器1412和应用程序协调系统1428可以辅助不同容器或应用程序之间的通信和协作。在至少一个实施例中，只要每个容器或应用程序的预期输入和/或输出是系统已知的(例如，基于应用程序或容器的构造)，则应用程序协调系统1428和/或管线管理器1412可以促进每个应用程序或容器之中和之间的通信以及每个应用程序或容器之中和之间的资源共享。在至少一个实施例中，由于一个或更多个部署管线1410中的一个或更多个应用程序或容器可以共享相同的服务和资源，因此应用程序协调系统1428可以协调、负载平衡并确定各种应用程序或容器之间和之中的服务或资源的共享。在至少一个实施例中，调度器可以用于跟踪应用程序或容器的资源需求、这些资源的当前使用或计划使用以及资源可用性。因此，在至少一个实施例中，调度器可以鉴于系统的需求和可用性而将资源分配给不同的应用程序，并且在应用程序之间以及应用程序之中分配资源。在一些示例中，调度器(和/或应用程序协调系统1428的其他组件)可以基于施加在系统上的约束(例如，用户约束)，例如服务质量(QoS)，对数据输出需求的紧迫性(例如，以确定是执行实时处理还是延迟处理)等，来确定资源可用性和分配。
在至少一个实施例中，由部署系统1306中的应用程序或容器利用并由其共享的服务1320可以包括计算服务1416、AI服务1418、可视化服务1420和/或其他服务类型。在至少一个实施例中，应用程序可以调用(例如，执行)服务1320中的一个或更多个服务以执行针对应用程序的处理操作。在至少一个实施例中，应用程序可以利用计算服务1416来执行超级计算或其他高性能计算(HPC)任务。在至少一个实施例中，可利用一个或更多个计算服务1416来执行并行处理(例如，使用并行计算平台1430)，以基本同时地通过一个或更多个应用程序和/或单个应用程序的一个或更多个任务来处理数据。在至少一个实施例中，并行计算平台1430(例如，NVIDIA的CUDA)可以实现在GPU(GPGPU)(例如，GPU 1422)上的通用计算。在至少一个实施例中，并行计算平台1430的软件层可以提供对GPU的虚拟指令集和并行计算元件的访问，以执行计算内核。在至少一个实施例中，并行计算平台1430可以包括存储器，并且在一些实施例中，可以在多个容器之间和之中，和/或在单个容器内的不同处理任务之间和之中共享存储器。在至少一个实施例中，可以为多个容器和/或容器内的多个进程生成进程间通信(IPC)调用，以使用来自并行计算平台1430的共享存储器区段的相同数据(例如，其中应用程序的多个不同阶段或多个应用程序正在处理相同的信息)。在至少一个实施例中，不是复制数据并将数据移动到存储器中的不同位置(例如，读/写操作)，而是可以将存储器相同位置中的相同数据用于任何数量的处理任务(例如，在相同时间、在不同时间等)。在至少一个实施例中，由于作为处理的结果数据被用来生成新数据，因此可以在各种应用程序之间存储和共享数据的新位置的信息。在至少一个实施例中，数据的位置以及更新或修改的数据的位置可以是容器中如何理解有效载荷的定义的一部分。
在至少一个实施例中，可以利用AI服务1418来执行推理服务，以执行与应用程序相关联的一个或更多个机器学习模型(例如，任务为执行应用程序的一个或更多个处理任务)。在至少一个实施例中，AI服务1418可以利用AI系统1424来执行一个或更多个机器学习模型(例如，诸如CNN之类的神经网络)以用于分段、重构、对象检测、特征检测、分类和/或其他推理任务。在至少一个实施例中，一个或更多个部署管线1410的应用程序可以使用来自训练系统1304的输出模型1316中的一个或更多个和/或应用程序的其他模型来对成像数据执行推理。在至少一个实施例中，使用应用程序协调系统1428(例如，调度器)进行推理的两个或更多个示例可以是可用的。在至少一个实施例中，第一类别可以包括可以实现更高服务水平协议的高优先级/低延迟路径，例如用于在紧急情况下对紧急请求执行推理，或者在诊断期间用于放射线医生。在至少一个实施例中，第二类别可以包括标准优先级路径，该标准优先级路径可以用于可能不紧急的请求或者可以在稍后的时间执行分析的请求。在至少一个实施例中，应用程序协调系统1428可以基于用于AI服务1418的不同推理任务的优先级路径来分配资源(例如，服务1320和/或硬件1322)。
在至少一个实施例中，共享存储可以被安装到系统1400内的AI服务1418。在至少一个实施例中，共享存储可以操作为高速缓存(或其他存储设备类型)，并且可以被用于处理来自应用程序的推理请求。在至少一个实施例中，当提交推理请求时，部署系统1306的一组API实例可以接收到请求，并且可以选择一个或更多个实例(例如，用于最佳匹配、用于负载平衡等)以处理请求。在至少一个实施例中，为了处理请求，可以将请求输入数据库中，如果尚未在高速缓存中，则可以从模型注册表1324中定位机器学习模型，验证步骤可以确保将适当的机器学习模型加载到高速缓存(例如，共享存储)，和/或模型的副本可以保存到高速缓存中。在至少一个实施例中，如果应用程序尚未运行或如果没有足够的应用程序实例，则可使用调度器(例如，管线管理器1412的调度器)来启动在请求中引用的应用程序。在至少一个实施例中，如果尚未启动推理服务器以执行模型，则可以启动推理服务器。每个模型可以启动任意数量的推理服务器。在至少一个实施例中，在推理服务器被聚类到其中的拉出(pull)模型中，只要负载平衡是有利的，就可以高速缓存模型。在至少一个实施例中，推理服务器可以被静态地加载到对应的分布式服务器中。
在至少一个实施例中，可以使用在容器中运行的推理服务器来执行推理。在至少一个实施例中，推理服务器的实例可以与模型(以及可选地，与模型的多个版本)相关联。在至少一个实施例中，如果当接收到对模型执行推理的请求时不存在推理服务器的实例，则可以加载新实例。在至少一个实施例中，当启动推理服务器时，可以将模型传递给推理服务器，使得可以使用相同的容器来服务于不同的模型，只要推理服务器作为不同的实例运行即可。
在至少一个实施例中，在应用程序执行期间，可以接收针对给定应用程序的推理请求，并且可以加载(如果尚未加载的话)容器(例如，托管推理服务器的实例)，以及可以调用启动程序。在至少一个实施例中，容器中的预处理逻辑可以对传入的数据进行加载、解码和/或执行任何附加的预处理(例如，使用一个或更多个CPU和/或一个或更多个GPU)。在至少一个实施例中，一旦准备好数据进行推理，容器就可以根据需要对数据进行推理。在至少一个实施例中，这可以包括对一个图像(例如，手部X射线)的单个推理调用，或者可以要求对数百个图像(例如，胸部CT)进行推理。在至少一个实施例中，应用程序可以在完成之前总结结果，其可以包括但不限于单个置信度得分、像素水平分割、体素水平分割、生成可视化或生成文本以总结发现。在至少一个实施例中，可以为不同的模型或应用程序分配不同的优先级。例如，某些模型可能具有实时(TAT<1分钟)优先级，而其他模型可能具有较低的优先级(例如TAT<10分钟)。在至少一个实施例中，可以从请求机构或实体测量模型执行时间，并且该模型执行时间可以包括伙伴网络遍历时间以及在推理服务上的执行。
在至少一个实施例中，服务1320和推理应用程序之间的请求传送可以被隐藏在软件开发工具包(SDK)的后面，并且可以通过队列来提供鲁棒的传输。在至少一个实施例中，经由用于个体应用程序/租户ID组合的API将请求放置在队列中，并且SDK将从队列中拉出请求并将请求提供给应用程序。在至少一个实施例中，可以在SDK从中拾取队列的环境中提供队列的名称。在至少一个实施例中，通过队列的异步通信可能是有用的，因为它可以允许应用程序的任何实例在可用时拾取工作。结果可以通过队列传回，以确保没有数据丢失。在至少一个实施例中，队列还可以提供对工作进行分割的能力，因为最高优先级的工作可以进入与应用程序的大多数实例连接的队列，而最低优先级的工作可以进入与单个实例连接的队列，其按收到的顺序处理任务。在至少一个实施例中，应用程序可以在云1426中生成的GPU加速的实例上运行，并且推理服务可以在GPU上执行推理。
在至少一个实施例中，可以利用可视化服务1420来生成用于查看应用程序和/或一个或更多个部署管线1410的输出的可视化。在至少一个实施例中，可视化服务1420可以利用GPU 1422来生成可视化。在至少一个实施例中，可视化服务1420可以实现渲染效果，例如射线追踪，以生成更高质量的可视化。在至少一个实施例中，可视化可以包括但不限于2D图像渲染、3D体渲染、3D体重建、2D断层摄影切片、虚拟现实显示、增强现实显示等。在至少一个实施例中，可以使用虚拟化环境生成虚拟交互式显示或环境(例如，虚拟环境)用于系统用户(例如，医生，护士，放射线医生等)进行交互。在至少一个实施例中，可视化服务1420可以包括内部可视化器，电影艺术(cinematics)和/或其他渲染或图像处理能力或功能(例如，射线追踪，光栅化，内部光学器件等)。
在至少一个实施例中，硬件1322可以包括GPU 1422、AI系统1424，云1426和/或用于执行训练系统1304和/或部署系统1306的任何其他硬件。在至少一个实施例中，GPU 1422(例如，NVIDIA的TESLA和/或QUADRO GPU)可以包括任意数量的GPU，这些GPU可用于执行计算服务1416、AI服务1418、可视化服务1420、其他服务和/或软件1318的任何特征或功能的处理任务。例如，对于AI服务1418，GPU 1422可用于对成像数据(或机器学习模型使用的其他数据类型)执行预处理，对机器学习模型的输出进行后处理和/或执行推理(例如，以执行机器学习模型)。在至少一个实施例中，云1426、AI系统1424和/或系统1400的其他组件可以使用GPU1422。在至少一个实施例中，云1426可以包括用于深度学习任务的GPU优化平台。在至少一个实施例中，AI系统1424可以使用GPU，并且可以使用一个或更多个AI系统1424来执行云1426(或者至少负责深度学习或推理的一部分)。同样，尽管硬件1322被示为离散的组件，但这并不旨在是限制，并且硬件1322的任何组件可以与硬件1322的任何其他组件组合或被其利用。
在至少一个实施例中，AI系统1424可以包括被配置用于推理、深度学习、机器学习和/或其他人工智能任务的专用计算系统(例如，超级计算机或HPC)。在至少一个实施例中，除了CPU、RAM、存储器和/或其他组件、特征或功能之外，AI系统1424(例如，NVIDIA的DGX)可以包括还可以使用多个GPU 1422执行的GPU优化的软件(例如，软件栈)。在至少一个实施例中，可以在云1426中(例如，在数据中心中)实现一个或更多个AI系统1424，以执行系统1400的一些或全部基于AI的处理任务。
在至少一个实施例中，云1426可以包括GPU加速的基础设施(例如，NVIDIA的NGC)，其可以提供用于执行系统1400的处理任务的GPU优化的平台。在至少一个实施例中，云1426可以包括一个或更多个AI系统1424，用于执行系统1400的一个或更多个基于AI的任务(例如，作为硬件抽象和缩放平台)。在至少一个实施例中，云1426可以与利用多个GPU的应用程序协调系统1428集成，以实现应用程序和服务1320之间和之中的无缝缩放和负载平衡。在至少一个实施例中，云1426可以承担执行系统1400的至少一些服务1320的任务，包括计算服务1416、AI服务1418和/或可视化服务1420，如本文所述。在至少一个实施例中，云1426可以执行小批推理和大批推理(例如，执行NVIDIA的TENSOR RT)，提供加速的并行计算API和平台1430(例如，NVIDIA的CUDA)，执行应用程序协调系统1428(例如，KUBERNETES)，提供图形渲染API和平台(例如，用于射线追踪、2D图形、3D图形和/或其他渲染技术以产生更高质量的电影艺术)，和/或可以为系统1400提供其他功能。
图15A示出了根据至少一个实施例的用于训练、重新训练或更新机器学习模型的过程1500的数据流程图。在至少一个实施例中，过程1500可以使用作为非限制性示例的图14的系统1400来执行。在至少一个实施例中，过程1500可以利用系统1400的服务1320和/或硬件1322，如本文所述。在至少一个实施例中，由过程1500生成的改良的模型1512可以由部署系统1306针对部署管线1410中的一个或更多个容器化应用程序重新执行。
在至少一个实施例中，模型训练1314可以包括使用新的训练数据(例如，诸如客户数据集1506之类的新的输入数据，和/或与输入数据相关联的新的地面真实数据)来重新训练或更新初始模型1504(例如，预训练模型)。在至少一个实施例中，为了重新训练或更新初始模型1504，可以重置或删除初始模型1504的一个或更多个输出层或损失层，和/或使用经更新的或新的一个或更多个输出层或损失层替换。在至少一个实施例中，初始模型1504可以具有从先前训练中保留的先前微调的参数(例如，权重和/或偏差)，因此训练或重新训练可能不会花费如从头开始训练模型那么多的时间或处理量。在至少一个实施例中，在模型训练1314期间，通过重置或替换初始模型1504的一个或更多个输出层或损失层，可以在新的客户数据集1506(例如，图13的图像数据1308)上生成预测时，基于与一个或更多个输出层或损失层的准确性相关联的损失计算来为新的数据集更新和重新调整参数。
在至少一个实施例中，可以将预训练模型1406存储在数据存储或注册表中(例如，图13的模型注册表1324)。在至少一个实施例中，预训练模型1406可能已经至少部分地在除了设施执行过程1500之外的一个或更多个设施处被训练。在至少一个实施例中，为了保护患者、受试者的隐私和权利，或不同设施的客户，预训练模型1406可能已使用在内部生成的客户或患者数据在内部进行了训练。在至少一个实施例中，可以使用云1426和/或其他硬件1322来训练预训练模型1406，但是机密的、受隐私保护的患者数据可以不被传送到云1426的任何组件，不可由云1426的任何组件使用或不可被云1426的任何组件访问(或其他外部硬件)。在至少一个实施例中，在使用来自一个以上设施的患者数据来训练预训练模型1406的情况下，在来自另一设施的患者或客户数据上进行训练之前，可以针对每个设施分别对预训练模型1406进行训练。在至少一个实施例中，例如在客户或患者数据已发布隐私问题(例如，通过放弃、用于实验用途等)，或客户或患者数据包含在公共数据集中的情况下，来自任何数量的设施的客户或患者数据可用于在内部和/或外部，例如在数据中心或其他云计算基础设施中训练预训练模型1406。
在至少一个实施例中，当选择用于部署管线1410中的应用程序时，用户还可以选择要用于特定应用程序的机器学习模型。在至少一个实施例中，用户可能不具有模型以使用，因此用户可以选择要与应用程序一起使用的预训练模型1406。在至少一个实施例中，未优化预训练模型1406以在用户设施的客户数据集1506上生成准确结果(例如，基于患者多样性、人口统计学、所使用的医学成像设备的类型等)。在至少一个实施例中，在将预训练的模型1406部署到部署管线1410中以与一个或更多个应用程序一起使用之前，可以对预训练模型1406进行更新、重新训练和/或微调以用于相应的设施。
在至少一个实施例中，用户可以选择要被更新、重新训练和/或微调的预训练模型1406，并且预训练模型1406可以被称为用于过程1500中的训练系统1304的初始模型1504。在至少一个实施例中，客户数据集1506(例如，成像数据、基因组数据、测序数据或设施中的设备生成的其他数据类型)可用于在初始模型1504上执行模型训练1314(可包括但不限于，转移学习)以生成改良的模型1512。在至少一个实施例中，可以由训练系统1304生成与客户数据集1506相对应的地面真实数据。在至少一个实施例中，可以至少部分地由临床医生、科学家、医生、从业人员在设施中生成地面真实数据(例如，如图13中标记的临床数据1312)。
在至少一个实施例中，在一些示例中可以使用AI辅助注释1310来生成地面真实数据。在至少一个实施例中，AI辅助注释1310(例如，使用AI辅助注释SDK实现)可以利用机器学习模型(例如，神经网络)来生成针对客户数据集的建议或预测的地面真实数据。在至少一个实施例中，用户1510可以在计算设备1508上的用户界面(图形用户界面(GUI))内使用注释工具。
在至少一个实施例中，用户1510可以经由计算设备1508与GUI交互以编辑或微调(自动)注释。在至少一个实施例中，多边形编辑特征可以用于将多边形的顶点移动到更精确或微调的位置。
在至少一个实施例中，一旦客户数据集1506具有相关联的地面真实数据，则地面真实数据(例如，来自AI辅助注释、手动标记等)可以在模型训练1314期间用于生成改良的模型1512。在至少一个实施例中，客户数据集1506可以被应用到初始模型1504任意次数，并且地面真实数据可以被用于更新初始模型1504的参数，直到对于改良的模型1512达到可接受的精度水平为止。在至少一个实施例中，一旦生成了改良的模型1512，就可以在用于执行关于医学成像数据的一个或更多个处理任务的设施处的一个或更多个部署管线1410内部署改良的模型1512。
在至少一个实施例中，可以将改良的模型1512上传到模型注册表1324中的预训练模型1406，以由另一设施选择。在至少一个实施例中，他的过程可以在任意数量的设施处完成，使得可以在新数据集上任意次数地进一步改进改良的模型1512，以生成更通用的模型。
图15B是根据至少一个实施例的，利用预训练注释模型来增强注释工具的客户端服务器架构1532的示例说明。在至少一个实施例中，可以基于客户端-服务器架构1532来实例化AI辅助的注释工具1536。在至少一个实施例中，成像应用程序中的注释工具1536可以帮助放射线医生，例如，识别器官和异常。在至少一个实施例中，成像应用程序可以包括软件工具，作为非限制性示例，该软件工具帮助用户1510识别原始图像1534(例如，在3D MRI或CT扫描中)的特定感兴趣器官上的一些极限点，并接收特定器官的所有2D切片的自动注释结果。在至少一个实施例中，结果可以作为训练数据1538存储在数据存储中，并且可以用作(例如但不限于)用于训练的地面真实数据。在至少一个实施例中，当计算设备1508发送用于AI辅助注释1310的极限点时，深度学习模型例如可以接收该数据作为输入并返回分割器官或异常的推理结果。在至少一个实施例中，预实例化的注释工具，例如图15B中的AI辅助注释工具1536B，可以通过对诸如注释辅助服务器1540之类的服务器进行API调用(例如，API调用1544)来增强，该服务器可以包括例如存储在注释模型注册表中的一组预训练模型1542。在至少一个实施例中，注释模型注册表可以存储预训练模型1542(例如，机器学习模型，诸如深度学习模型)，其被预训练以对特定器官或异常执行AI辅助注释。这些模型可以通过使用训练管线1404来进一步更新。在至少一个实施例中，随着添加新的标记的临床数据1312，可以随着时间的推移改进预安装的注释工具。
对于在诸如网络边缘之类的位置处运行的应用程序，此类组件可用于执行机器学习模型的实时更新。在切换到不同的模型版本时，可以执行此更新而不会导致应用程序的任何停机或任何重大停机。
其他变型在本公开的精神内。因此，尽管所公开的技术易于进行各种变构和替代构造，但是某些示出的实施例由此在附图中示出并且已经在上面进行了详细描述。然而，应当理解，无意将本发明限制为所公开的特定形式或形式，相反，其意图是涵盖落入本发明的精神和范围内的所有修改、替代构造和等同形式，如所附权利要求所定义的。
在描述所公开的实施例的上下文中(特别是在所附权利要求的上下文中)术语“一”、“一个”和“所述”以及类似指代的使用应被解释为涵盖单数和复数，除非本文另有说明或与上下文明显矛盾，而不是术语的定义。除非另外指出，否则术语“包括”、“具有”、“包含”和“含有”应解释为开放式术语(即，意思是“包括但不限于”)。术语“连接”(未经修改且指的是物理连接)，应理解为完全或部分地包含在，附加到或连接在一起，即使有某物介入。本文中数值范围的引用仅旨在用作一种简写方法，除非本文另有说明，否则分别指代落入该范围内的每个单独值，并且每个单独值都被并入说明书中，就如同在此单独引用一样。术语“集合”(例如，“项目的集合)”或“子集”的使用，除非上下文另有说明或与之矛盾，否则应解释为包含一个或更多个成员的非空集合。此外，除非上下文另有说明或与之矛盾，否则相应集合的术语“子集”不是必需表示相应集合的适当子集，但是该子集和相应集合可以相等。
连接的语言，例如“A、B和C中的至少一个”或“A、B和C至少一个”形式的短语，除非另有明确说明或与上下文明显矛盾否则，否则可以作为通常使用与上下文一起理解以呈现项目、条款等，可以是是A或B或C，也可以是A和B以及C的集合的任何非空子集。例如，在具有三个成员的集合的示例性示例中，连接短语“A、B和C中的至少一个”和“A，B和C中的至少一个”是指以下任意集合：{A}、{B}、{C}、{A，B}、{A，C}、{B，C}、{A，B，C}。因此，这种连接语言通常并不旨在暗示某些实施例需要至少一个A、至少一个B和至少一个C，他们每一个用于呈现。另外，除非另有说明或与上下文矛盾，否则术语“多个”表示复数的状态(例如，“多个项目”表示复数个项目)。多个至少是两个项目，但是当明确地或通过上下文指示时可以是更多。此外，除非另有说明或从上下文中另外可知，否则短语“基于”是指“至少部分基于”而不是“仅基于”。
可以以任何合适的顺序来执行本文描述的过程的操作，除非本文另有指示或与上下文明显矛盾。在一个实施例中，诸如本文描述的那些过程(或其变型和/或组合)的过程在一个或更多个计算机系统中的一个控制下通过硬件或其组合执行，一个或更多个计算机系统配置有可执行指令并且被实现为在一个或更多个处理器上共同执行的代码(例如，可执行指令、一个或更多个计算机程序或一个或更多个应用程序)。在一个实施例中，代码以计算机程序的形式存储在计算机可读存储介质上，该计算机程序包括可由一个或更多个处理器执行的多个指令的计算机程序。在一个实施例中，计算机可读存储介质是非暂时性计算机刻度存储介质，其不包括暂时信号(例如，传播的瞬态电或电磁传输)但包括瞬时信号的收发器内的非暂时性数据存储电路(例如，缓冲器、高速缓存和队列)。在一个实施例中，代码(例如，可执行代码或源代码)被存储在其上存储有可执行指令(或其他存储器以存储可执行指令)的一组一个或更多个非暂时性计算机可读存储介质上，该可执行指令在被计算机系统的一个或更多个处理器执行时(即，作为被执行的结果)，使计算机系统执行本文所述的操作。在一个实施例中，该组非暂时性计算机可读存储介质包括多个非暂时性计算机可读存储介质，以及多个非暂时性计算机可读存储介质中的一个或更多个单独的非暂时性存储介质缺少全部代码，而多个非暂时性计算机可读存储介质共同存储所有代码。在一个实施例中，可执行指令被执行，使得不同的指令被不同的处理器执行-例如，非暂时性计算机可读存储介质存储指令，并且主CPU执行一些指令，而图形处理器单元执行其他指令。在一个实施例中，计算机系统的不同组件具有独立处理器，以及不同处理器执行指令的不同子集。
因此，在一个实施例中，计算机系统配置成实现单独或共同执行本文所述的过程的操作的一个或更能多个服务，并且这样的计算机系统配置有能够使操作的执行的适用的硬件和/或软件。此外，实现本公开的实施例的计算机系统是单个设备，并且在另一实施例中，是一种分布式计算机系统，其包括以不同方式操作的多个设备，使得该分布式计算机系统执行本文所述的操作，并且使得单个设备不执行所有操作。
除非另外要求，本文提供的任何和所有示例或示例性语言(例如，“诸如”)的使用仅旨在更好地阐明本发明的实施例，而不对本发明的范围构成限制。本说明书中的语言不应解释为表示任何未要求保护的要素对于实施本发明是必不可少的。
本文引用的所有参考文献，包括出版物、专利申请和专利，均以引用的方式并入本文，其程度如同每个参考文献被单独且具体地指示以引用方式并入本文一样，并在此全文进行阐述。
在说明书和权利要求书中，可以使用术语“耦合”和“连接”及其派生词。应当理解，这些术语可能不旨在作为彼此的同义词。相反，在特定示例中，“连接”或“耦合”可用于指示两个或更多个元件彼此直接或间接物理或电接触。“耦合”也可能意味着两个或多个元素彼此不直接接触，但仍彼此协作或交互。
除非另有说明，否则应理解，在整个说明书中，诸如“处理”、“计算处理”、“计算”、“确定”等术语均指计算机或计算系统或类似的电子计算设备的动作和/或过程，这些电子设备将在计算系统的寄存器和/或存储器中表示为物理量(例如电子)的数据(例如电子)操作和/或转换为类似地表示为计算系统的存储器、寄存器或其他此类信息存储器、传输或显示设备中的物理量的其他数据。
在类似的方式中，术语“处理器”可以指处理来自寄存器和/或存储器的电子数据并将该电子数据转换成可以存储在寄存器和/或存储器中的其他电子数据的任何设备或设备的一部分。作为非限制性示例，“处理器”可以是中央处理单元(CPU)或图形处理单元(GPU)。“计算平台”可以包括一个或更多个处理器。如本文所使用的，“软件”过程可以包括例如随时间执行工作的软件和/或硬件实体，诸如任务、线程和智能代理。同样，每个过程可以指代多个过程，以依次或并行，连续或间歇地执行指令。术语“系统”和“方法”在本文中可互换使用，以达到一种该系统可以体现一种或更多种方法并且该方法可以被认为是系统的程度。
在本文档中，可以参考获得、获取、接收或将模拟或数字数据输入子系统、计算机系统或计算机实现的机器。可以以多种方式来完成获得、获取、接收或输入模拟和数字数据的过程，例如通过接收作为函数调用或对应用程序接口的调用的参数的数据。在一些实施方式中，获得、获取，接收或输入模拟或数字数据可以通过经由串行或并行接口传输数据来完成。在另一个实施方式中，获得、获取、接收或输入模拟或数字数据的过程可以通过经由计算机网络将数据从提供实体转移到获取实体来完成。也可以参考提供、输出、传输、发送或呈现模拟或数字数据。在各种示例中，提供、输出、传输、发送或呈现模拟或数字数据的过程可以通过将数据作为函数调用的输入或输出参数、应用程序编程接口或进程间通信机制的参数进行传输来完成。
尽管以上讨论阐述了所描述的技术的示例实施方式，但是其他架构可以用于实现所描述的功能，并且意图在本公开的范围内。此外，尽管出于讨论目的在上面定义了具体的职责分配，但是根据情况，各种功能和职责可能以不同的方式分配和划分。此外，尽管已经以结构特征和/或方法动作专用的语言描述了主题，但应理解，所附权利要求书中定义的主题不必限于所描述的特定特征或动作。而是，将特定特征和动作公开为实现权利要求的示例性形式。

Claims (20)

1.一种计算机实现的方法，包括：
在边缘计算设备上的应用程序容器中执行具有机器学习模型的第一版本的应用程序；
将所述机器学习模型的第二版本接收到所述边缘计算设备；
将指定使用所述第二版本的所述应用程序的新的配置数据接收到所述边缘计算设备；以及
响应于检测到所述新的配置数据，使所述应用程序在执行时自动切换到所述机器学习模型的所述第二版本，其中所述机器学习模型与所述应用程序分离，并且其中使得所述机器学习模型的所述第二版本能够从所述边缘计算设备上的本地存储器安装到正在其中执行所述应用程序的所述应用程序容器中，而不部署新的应用程序容器。
2.根据权利要求1所述的计算机实现的方法，其中所述边缘计算设备是位于网络边缘处的服务器或片上系统(SoC)。
3.根据权利要求1所述的计算机实现的方法，其中所述第一版本和所述第二版本被存储在安装到所述边缘计算设备的存储体的模型目录中。
4.根据权利要求1所述的计算机实现的方法，还包括：
监视与所述机器学习模型相关联的模型存储；以及
响应于在所述模型存储中检测到所述第二版本，将所述机器学习模型的所述第二版本自动获取到所述边缘计算设备。
5.根据权利要求1所述的计算机实现的方法，还包括：
响应于检测到所述新的配置数据而生成新的上下文，其中进一步响应于所述应用程序检测到所述新的上下文可用，使所述应用程序自动切换到使用所述第二版本。
6.根据权利要求1所述的计算机实现的方法，其中使所述应用程序能够自动切换到使用所述第二版本，而无需重启所述应用程序。
7.根据权利要求1所述的计算机实现的方法，其中所述应用程序作为不包括所述机器学习模型的所述第一版本的应用程序容器镜像的一部分被部署到所述边缘计算设备。
8.根据权利要求7所述的计算机实现的方法，还包括：
将来自所述边缘计算设备上的本地存储器的所述机器学习模型的所述第二版本安装到正在其中执行所述应用程序的所述应用程序容器中，其中所述应用程序能够自动切换到所述机器学习模型的所述第二版本；以及
从所述应用程序容器中删除所述机器学习模型的所述第一版本，但将所述第一版本保留在所述边缘计算设备上的所述本地存储器中。
9.根据权利要求8所述的计算机实现的方法，还包括：
接收指定使用所述第一版本的所述应用程序的经更新的配置数据；以及
响应于检测到所述经更新的配置数据，使所述应用程序在执行时自动切换到所述机器学习模型的所述第一版本，所述第一版本被安装到来自所述边缘计算设备上的所述本地存储器的所述应用程序容器。
10.一种用于机器学习模型的实时更新的系统，包括：
至少一个处理器；以及
包括指令的存储器，当所述指令由所述至少一个处理器执行时，使所述系统：
使用所述机器学习模型的第一版本执行应用程序；
接收所述机器学习模型的第二版本；
接收指定使用所述第二版本的所述应用程序的新的配置数据；以及
响应于检测到所述新的配置数据，使所述应用程序在执行时自动切换到所述机器学习模型的所述第二版本，其中所述机器学习模型与所述应用程序分离，并且其中使得所述机器学习模型的所述第二版本能够从边缘计算设备上的本地存储器安装到正在其中执行所述应用程序的应用程序容器中，而不部署新的应用程序容器。
11.根据权利要求10所述的系统，其中所述指令在被执行时还使所述系统：
监视与所述机器学习模型相关联的模型存储；以及
响应于在所述模型存储中检测到所述第二版本，将所述机器学习模型的所述第二版本自动获取到所述边缘计算设备。
12.根据权利要求10所述的系统，其中所述系统位于网络边缘处，并且还包括：
用于将所述第一版本和所述第二版本存储在模型目录的子目录中的本地存储器，其中一旦所述应用程序安装到所述应用程序容器中，所述应用程序便能够自动切换到所述机器学习模型的所述第二版本。
13.根据权利要求12所述的系统，其中所述应用程序作为不包括所述机器学习模型的所述第一版本的应用程序容器镜像的一部分被部署到所述系统。
14.根据权利要求10所述的系统，其中所述指令在被执行时还使所述系统：
响应于检测到所述新的配置数据而生成新的上下文，其中进一步响应于所述应用程序检测到所述新的上下文可用，使所述应用程序自动切换到使用所述第二版本。
15.根据权利要求10所述的系统，其中使所述应用程序能够自动切换到使用所述第二版本，而无需重启所述应用程序。
16.一种计算机实现的方法，包括：
在网络边缘设备上的应用程序容器中执行利用机器学习模型的第一版本对数据流进行推理的应用程序；
检测能够从模型源获得的所述机器学习模型的新版本；
将所述机器学习模型的所述新版本获取到所述网络边缘设备上的本地存储器中；
更新上下文信息以指示所述机器学习模型的所述新版本；
将所述机器学习模型的所述新版本安装到正在其中执行所述应用程序的所述应用程序容器中，其中所述机器学习模型与所述应用程序分离；以及
使所述应用程序能够自动切换到利用所述机器学习模型的所述新版本，而不丢失来自所述数据流的数据且不部署新的应用程序容器。
17.根据权利要求16所述的计算机实现的方法，其中所述第一版本和所述新版本被存储在安装到所述网络边缘设备的存储体的模型目录的子目录中。
18.根据权利要求16所述的计算机实现的方法，其中使所述应用程序检测经更新的上下文信息，并且作为响应，自动切换到利用所述新版本，而无需重启或更新所述应用程序。
19.根据权利要求16所述的计算机实现的方法，其中所述应用程序作为不包括所述机器学习模型的所述第一版本的应用程序容器镜像的一部分被部署到所述网络边缘设备。
20.根据权利要求16所述的计算机实现的方法，还包括：
从所述应用程序容器中删除所述机器学习模型的所述第一版本，但将所述第一版本保留在所述网络边缘设备上的所述本地存储器中。
CN202011092946.7A 2019-10-20 2020-10-13 用于机器学习模型的实时更新的方法和系统 Active CN112685069B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201962923591P 2019-10-20 2019-10-20
US62/923,591 2019-10-20
US17/015,318 2020-09-09
US17/015,318 US20210117859A1 (en) 2019-10-20 2020-09-09 Live updating of machine learning models

Publications (2)

Publication Number Publication Date
CN112685069A CN112685069A (zh) 2021-04-20
CN112685069B true CN112685069B (zh) 2024-02-09

Family

ID=73014255

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011092946.7A Active CN112685069B (zh) 2019-10-20 2020-10-13 用于机器学习模型的实时更新的方法和系统

Country Status (4)

Country Link
US (1) US20210117859A1 (zh)
EP (2) EP3809673B1 (zh)
JP (1) JP2021068442A (zh)
CN (1) CN112685069B (zh)

Families Citing this family (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12119993B2 (en) * 2017-11-10 2024-10-15 Advanced Micro Devices, Inc. Dynamic network of supercomputing resources with unified management interface
CN111309486B (zh) * 2018-08-10 2024-01-12 中科寒武纪科技股份有限公司 转换方法、装置、计算机设备和存储介质
US10805374B1 (en) * 2019-08-19 2020-10-13 Palantir Technologies Inc. Systems and methods for providing real-time streaming data processing at edge servers
US11475374B2 (en) * 2019-09-14 2022-10-18 Oracle International Corporation Techniques for automated self-adjusting corporation-wide feature discovery and integration
US11816461B2 (en) * 2020-06-30 2023-11-14 Paypal, Inc. Computer model management system
US11582106B2 (en) * 2020-07-22 2023-02-14 Servicenow, Inc. Automatic discovery of cloud-based infrastructure and resources
CN116711288A (zh) * 2020-08-27 2023-09-05 西门子股份公司 用于分布式边缘节点部署的数据流图的集中式管理
CN114265601A (zh) * 2020-09-16 2022-04-01 伊姆西Ip控股有限责任公司 管理人工智能应用的方法、设备和程序产品
US11836268B2 (en) * 2020-10-02 2023-12-05 Servicenow, Inc. Machine learning platform with model storage
US11348035B2 (en) * 2020-10-27 2022-05-31 Paypal, Inc. Shared prediction engine for machine learning model deployment
US20220171971A1 (en) * 2020-11-30 2022-06-02 Getac Technology Corporation Artificial intelligence (ai) trained data model selection
US20220237570A1 (en) * 2021-01-22 2022-07-28 Dell Products L.P. Method and System for Determining Computer Fan Usage and Maintenance
US11853100B2 (en) * 2021-04-12 2023-12-26 EMC IP Holding Company LLC Automated delivery of cloud native application updates using one or more user-connection gateways
CN113222174B (zh) * 2021-04-23 2024-04-26 万翼科技有限公司 模型管理方法及装置
CN115237428A (zh) * 2021-04-24 2022-10-25 华为云计算技术有限公司 Ai应用部署方法及相关平台、集群、介质、程序产品
WO2022226703A1 (zh) * 2021-04-25 2022-11-03 西门子股份公司 软件模块部署方法、装置、计算设备以及存储介质
CN113297415B (zh) * 2021-04-27 2023-09-15 安徽继远软件有限公司 面向电力边缘侧的边缘视频分析智能服务方法及系统
CN113031992B (zh) * 2021-04-27 2023-04-07 中国平安人寿保险股份有限公司 Annoy热更新方法、装置、设备及介质
US11379217B1 (en) * 2021-05-06 2022-07-05 Sap Se Feature lifecycle management cockpit for hybrid cloud and edge systems
US20220385488A1 (en) 2021-05-31 2022-12-01 Nutanix, Inc. System and method for reconciling consumption data
CN113805957B (zh) * 2021-08-13 2024-02-13 广东省安心加科技有限公司 边缘端程序动态加载方法及装置
CN116170871A (zh) * 2021-11-22 2023-05-26 维沃移动通信有限公司 定位方法、装置、终端及网络侧设备
CN116208494A (zh) * 2021-11-30 2023-06-02 维沃软件技术有限公司 Ai模型切换的处理方法、装置及通信设备
CN114418128B (zh) * 2022-03-25 2022-07-29 新华三人工智能科技有限公司 一种模型部署的方法及装置
CN114866790B (zh) * 2022-03-25 2024-02-27 上海哔哩哔哩科技有限公司 直播流调度方法及装置
US11757743B1 (en) * 2022-03-31 2023-09-12 Microsoft Technology Licensing, Llc Low-code/no-code machine learning data stream analysis system
EP4276624A1 (en) 2022-05-13 2023-11-15 Siemens Aktiengesellschaft A method and a server for installation and execution of an ai model in an industrial execution environment
EP4283467A1 (en) * 2022-05-24 2023-11-29 Palantir Technologies Inc. Systems and methods for artificial intelligence inference platform and model controller
US11989172B2 (en) * 2022-07-12 2024-05-21 Dell Products L.P. System and method for managing transition between inference models across multiple data processing systems
WO2024101582A1 (en) * 2022-11-09 2024-05-16 Samsung Electronics Co., Ltd. A method and electronic device for secure on-device storage for machine learning models
WO2024158856A1 (en) * 2023-01-27 2024-08-02 Adeia Guides Inc. Systems and methods for levaraging machine learning to enable user-specific real-time information services for identifiable objects within a video stream
CN116149759B (zh) * 2023-04-20 2023-07-14 深圳市吉方工控有限公司 Uefi驱动卸载方法、装置、电子设备及可读存储介质
US12131242B1 (en) 2023-09-05 2024-10-29 Armada Systems Inc. Fleet and asset management for edge computing of machine learning and artificial intelligence workloads deployed from cloud to edge
US11907093B1 (en) 2023-09-05 2024-02-20 Armada Systems Inc. Cloud-based fleet and asset management for edge computing of machine learning and artificial intelligence workloads
CN118394349B (zh) * 2024-06-28 2024-09-06 浪潮电子信息产业股份有限公司 一种三方库接入方法、装置、设备、程序产品及介质

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107239313A (zh) * 2017-06-09 2017-10-10 中国建设银行股份有限公司 Spring应用服务的升级方法和存储介质
CN107515776A (zh) * 2017-07-18 2017-12-26 深信服科技股份有限公司 业务不间断升级方法、待升级节点和可读存储介质
US9851980B1 (en) * 2012-10-22 2017-12-26 Amazon Technologies, Inc. Distributed update service enabling update requests
CN108027724A (zh) * 2015-09-26 2018-05-11 思科技术公司 内核可加载模块的服务中升级
CN108304201A (zh) * 2017-09-14 2018-07-20 腾讯科技（深圳）有限公司 对象更新方法、装置及设备
CN108632375A (zh) * 2018-05-09 2018-10-09 四川华创世纪科技有限公司 一种针对分布式部署服务软件程序的在线升级方法
CN109146084A (zh) * 2018-09-06 2019-01-04 郑州云海信息技术有限公司 一种基于云计算的机器学习的方法及装置
WO2019103999A1 (en) * 2017-11-21 2019-05-31 Amazon Technologies, Inc. Generating and deploying machine learning models packages
JP2019139734A (ja) * 2018-02-14 2019-08-22 株式会社日立システムズ エッジサーバおよびエッジサーバにおけるａｉ学習モデル生成・運用方法
CN110297640A (zh) * 2019-06-12 2019-10-01 北京三快在线科技有限公司 模型部署的方法、装置、存储介质及电子设备

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7228132B2 (en) * 2005-06-20 2007-06-05 Cisco Technology, Inc. Method and apparatus for providing service profile upgrades with minimal downtime
US10007513B2 (en) * 2015-08-27 2018-06-26 FogHorn Systems, Inc. Edge intelligence platform, and internet of things sensor streams system
WO2018217635A1 (en) * 2017-05-20 2018-11-29 Google Llc Application development platform and software development kits that provide comprehensive machine learning services
US11108575B2 (en) * 2017-07-26 2021-08-31 Amazon Technologies, Inc. Training models for IOT devices
US10831519B2 (en) * 2017-11-22 2020-11-10 Amazon Technologies, Inc. Packaging and deploying algorithms for flexible machine learning
US10255085B1 (en) * 2018-03-13 2019-04-09 Sas Institute Inc. Interactive graphical user interface with override guidance
US20190303752A1 (en) * 2018-03-27 2019-10-03 Hewlett Packard Enterprise Development Lp Rf interference categorization using machine learning
US20200125394A1 (en) * 2018-10-17 2020-04-23 The Boston Consulting Group, Inc. Data analytics platform
US20200160207A1 (en) * 2018-11-15 2020-05-21 General Electric Company Automated model update based on model deterioration
US11616839B2 (en) * 2019-04-09 2023-03-28 Johnson Controls Tyco IP Holdings LLP Intelligent edge computing platform with machine learning capability

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9851980B1 (en) * 2012-10-22 2017-12-26 Amazon Technologies, Inc. Distributed update service enabling update requests
CN108027724A (zh) * 2015-09-26 2018-05-11 思科技术公司 内核可加载模块的服务中升级
CN107239313A (zh) * 2017-06-09 2017-10-10 中国建设银行股份有限公司 Spring应用服务的升级方法和存储介质
CN107515776A (zh) * 2017-07-18 2017-12-26 深信服科技股份有限公司 业务不间断升级方法、待升级节点和可读存储介质
CN108304201A (zh) * 2017-09-14 2018-07-20 腾讯科技（深圳）有限公司 对象更新方法、装置及设备
WO2019103999A1 (en) * 2017-11-21 2019-05-31 Amazon Technologies, Inc. Generating and deploying machine learning models packages
JP2019139734A (ja) * 2018-02-14 2019-08-22 株式会社日立システムズ エッジサーバおよびエッジサーバにおけるａｉ学習モデル生成・運用方法
CN108632375A (zh) * 2018-05-09 2018-10-09 四川华创世纪科技有限公司 一种针对分布式部署服务软件程序的在线升级方法
CN109146084A (zh) * 2018-09-06 2019-01-04 郑州云海信息技术有限公司 一种基于云计算的机器学习的方法及装置
CN110297640A (zh) * 2019-06-12 2019-10-01 北京三快在线科技有限公司 模型部署的方法、装置、存储介质及电子设备

Also Published As

Publication number Publication date
EP4329255A3 (en) 2024-05-01
CN112685069A (zh) 2021-04-20
US20210117859A1 (en) 2021-04-22
EP3809673B1 (en) 2024-02-21
EP3809673A1 (en) 2021-04-21
JP2021068442A (ja) 2021-04-30
EP4329255A2 (en) 2024-02-28

Similar Documents

Publication Publication Date Title
CN112685069B (zh) 用于机器学习模型的实时更新的方法和系统
CN113361705B (zh) 用于合成数据生成的场景结构的无监督学习
US20210089921A1 (en) Transfer learning for neural networks
US11995883B2 (en) Scene graph generation for unlabeled data
US20220147743A1 (en) Scalable semantic image retrieval with deep template matching
JP2023515736A (ja) 逆グラフィックス生成のためのニューラル・レンダリング
CN114266347A (zh) 神经网络的无监督域适应
WO2020236596A1 (en) Motion prediction using one or more neural networks
US11726755B2 (en) Caching of compiled shader programs in a cloud computing environment
US20240192946A1 (en) Application management platform for hyper-converged cloud infrastructures
US20230385983A1 (en) Identifying application buffers for post-processing and re-use in secondary applications
US20240312125A1 (en) Adaptive temporal image filtering for rendering realistic illumination
CN116206042A (zh) 空间哈希一致采样
US20230281907A1 (en) Offloading shader program compilation
US20230077865A1 (en) Compiled shader program caches in a cloud computing environment
US20230367620A1 (en) Pre-loading software applications in a cloud computing environment
US11972281B2 (en) Just in time compilation using link time optimization
US11983928B1 (en) Dynamically composable object tracker configuration for intelligent video analytics systems
US12125277B1 (en) Real-time persistent object tracking for intelligent video analytics systems
US20240272924A1 (en) Accelerated emulation device backend software update with short downtime
US20240305685A1 (en) Dynamic transport protocol switching for collaborative content creation and distributed content experience systems and applications
US20240370233A1 (en) Configuration and deployment of digital avatar assets
US20240371088A1 (en) Digital avatar customization interface

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant