CN113555092A - 使用一个或更多个神经网络的图像注释 - Google Patents

使用一个或更多个神经网络的图像注释 Download PDF

Info

Publication number
CN113555092A
CN113555092A CN202110443337.XA CN202110443337A CN113555092A CN 113555092 A CN113555092 A CN 113555092A CN 202110443337 A CN202110443337 A CN 202110443337A CN 113555092 A CN113555092 A CN 113555092A
Authority
CN
China
Prior art keywords
images
memory
processor
data
graphics
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110443337.XA
Other languages
English (en)
Inventor
H·罗斯
杨栋
徐大光
V·纳特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nvidia Corp
Original Assignee
Nvidia Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nvidia Corp filed Critical Nvidia Corp
Publication of CN113555092A publication Critical patent/CN113555092A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G06F18/2178—Validation; Performance evaluation; Active pattern learning techniques based on feedback of a supervisor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/166—Editing, e.g. inserting or deleting
    • G06F40/169—Annotation, e.g. comment data or footnotes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20104—Interactive definition of region of interest [ROI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30056—Liver; Hepatic
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Molecular Biology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Medical Informatics (AREA)
  • Quality & Reliability (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Public Health (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了使用一个或更多个神经网络的图像注释，具体提出了用于预测图像中的对象的注释的装置、系统和技术。在至少一个实施例中，至少部分地基于使用一个或更多个图像迭代地训练的一个或更多个神经网络来生成与一个或更多个图像内的一个或更多个对象相对应的一个或更多个注释。

Description

使用一个或更多个神经网络的图像注释
技术领域
至少一个实施例涉及用于执行和促进人工智能的处理资源。例如，至少一个实施例涉及用于根据本文描述的各种新颖技术来训练神经网络的处理器或计算系统。
背景技术
计算机技术的进步已经在对象识别和分析方面产生了改进的功能。出于这种分析的目的，机器学习已被用作用于检测图像数据中的对象的工具。不幸的是，这些对象的准确检测可能需要大量的标记数据集，这些标记数据集难以收集，尤其是对于诸如医学成像之类的应用。例如，有技能的放射科医生通常需要超过45分钟来分割器官和肿瘤。
附图说明
将参照附图描述根据本公开的各个实施例，在附图中：
图1A、图1B和图1C示出了根据至少一个实施例的可以使用一个或更多个神经网络来处理的图像；
图2A和图2B示出了根据至少一个实施例的网络配置；
图3A和图3B示出了根据至少一个实施例的处理结果；
图4A和图4B示出了根据至少一个实施例的用于训练和推理的过程；
图5示出了根据至少一个实施例的用于注释图像的过程；
图6A示出了根据至少一个实施例的推理和/或训练逻辑；
图6B示出了根据至少一个实施例的推理和/或训练逻辑；
图7示出了根据至少一个实施例的示例数据中心系统；
图8示出了根据至少一个实施例的计算机系统；
图9示出了根据至少一个实施例的计算机系统；
图10示出了根据至少一个实施例的计算机系统；
图11示出了根据至少一个实施例的计算机系统；
图12A示出了根据至少一个实施例的计算机系统；
图12B示出了根据至少一个实施例的计算机系统；
图12C示出了根据至少一个实施例的计算机系统；
图12D示出了根据至少一个实施例的计算机系统；
图12E和图12F示出了根据至少一个实施例的共享编程模型；
图13示出了根据至少一个实施例的示例性集成电路和相关联的图形处理器；
图14A-14B示出了根据至少一个实施例的示例性集成电路和相关联的图形处理器；
图15A-15B示出了根据至少一个实施例的附加的示范性图形处理器逻辑；
图16示出了根据至少一个实施例的计算机系统；
图17A示出了根据至少一个实施例的并行处理器；
图17B示出了根据至少一个实施例的分区单元；
图17C示出了根据至少一个实施例的处理集群；
图17D示出了根据至少一个实施例的图形多处理器；
图18示出了根据至少一个实施例的多图形处理单元(GPU)系统；
图19示出了根据至少一个实施例的图形处理器；
图20示出了根据至少一个实施例的处理器的微架构；
图21示出了根据至少一个实施例的深度学习应用处理器；
图22示出了根据至少一个实施例的示例神经元形态处理器；
图23和图24示出了根据至少一个实施例的至少部分的图形处理器；
图25示出了根据至少一个实施例的至少部分的图形处理器内核；
图26A-26B示出了根据至少一个实施例的至少部分的图形处理器内核；
图27示出了根据至少一个实施例的并行处理单元(“PPU”)；
图28示出了根据至少一个实施例的通用处理集群(“GPC”)；
图29示出了根据至少一个实施例的并行处理单元(“PPU”)的存储器分区单元；
图30示出了根据至少一个实施例的流式多处理器；
图31是根据至少一个实施例的用于高级计算管线的示例数据流程图；
图32是根据至少一个实施例的用于在高级计算管线中训练、适配、示例化和部署机器学习模型的示例系统的系统图；
图33包括根据至少一个实施例的用于处理成像数据的高级计算管线的示例图示；
图34A包括根据至少一个实施例的支持超声设备的虚拟仪器的示例数据流程图；
图34B包括根据至少一个实施例的支持CT扫描仪的虚拟仪器的示例数据流程图；
图35A示出了根据至少一个实施例的用于训练机器学习模型的过程的数据流程图；
图35B是根据至少一个实施例的用于利用预训练的注释模型来增强注释工具的客户端-服务器架构的示例图示；
具体实施方式
在至少一个实施例中，可以对图1A中所示出的图像100进行分析。在至少一个实施例中，图像100包括人类患者的躯干102的横截面视图中的内部器官的表示，如可包括在磁共振成像(MRI)或计算机断层摄影(CT)数据的图像中。在至少一个实施例中，尽管示出了二维表示，但是可以利用三维图像数据。在至少一个实施例中，图像100包括感兴趣对象104的表示，在这种情况下是待分析的人类肝脏。在至少一个实施例中，为了分析肝脏，例如测量尺寸、形状或其他这样的方面，确定与肝脏相对应的输入图像数据的一部分。在至少一个实施例中，可以执行图像分割，该图像分割将识别输入图像数据的对应于感兴趣对象(在这种情况下是人类肝脏)的部分142，如图1B的图像视图140所示。在至少一个实施例中，输入的体数据(volumetric data)的分割可以导致原始或目标分辨率的三维(3D)表示180，如图1C所示。在至少一个实施例中，这种对象表示可以用于各种类型的分析，例如测量该器官的大小、形状或该器官中的不规则性。
在至少一个实施例中，这样的分割可以在医学图像分析中起重要作用，这有益于临床研究、疾病诊断和手术计划。在至少一个实施例中，自动或半自动分割方法可以用于识别和解析器官、骨骼、肿瘤和其他感兴趣区域(ROI)。在至少一个实施例中，这可以包括识别和解析被识别的2D、3D或4D医学图像的解剖对象(例如，器官、骨骼或肿瘤)。在至少一个实施例中，尽管存在由成像过程而导致的潜在的模糊的外观对比度(这可能是由于在图像采集过程中不正确的扫描仪设置、呼吸或身体运动导致的)，分割过程仍可以准确地预测图像中的ROI的边界区域。在至少一个实施例中，当训练和优化机器学习模型时，利用边界增强损失来实施附加约束。在至少一个实施例中，这种损失函数是轻量级的，并且可以在没有任何需要的预处理或后处理的情况下实现。在至少一个实施例中，可以使用一种模型架构，该模型架构包括能够接受图像作为直接输入和输出分割掩码的编码器和解码器。在至少一个实施例中，可以使用处理元件(诸如图形处理单元(GPU))来有效地进行针对这种模型的验证和推理过程。在至少一个实施例中，可以使用基于梯度的优化来端到端地训练这些模型，以最小化损失函数为目标，损失函数可以包括多项，诸如多类加权交叉熵、软Dice损失，以及边界增强损失。在至少一个实施例中，可以在训练期间使用边界增强损失来明确地关注边界区域，而不需要任何特殊的网络架构来计算该损失函数。
在至少一个实施例中，如图2A所示，可利用分割架构200。在至少一个实施例中，输入图像数据202(诸如CT或MRI数据)被接收到分割网络204。在至少一个实施例中，该图像数据可以对应于2D、3D或4D数据，诸如可以作为CT或MRI扫描的结果而生成，以及其他这样的选项。在至少一个实施例中，该数据可以是混合数据，诸如可以包括2D图像数据和从单独的传感器获得的距离数据。在至少一个实施例中，分割模型204可以是能够提取深度图像特征的CNN或其他深度学习模型或网络。在至少一个实施例中，该分割模型可使用这些提取的特征推理预测的分割掩码206。在至少一个实施例中，该预测的掩码206可以与地面实况(GT)掩码208进行比较以确定相对损失值。在至少一个实施例中，该损失值可用于调整权重或其他网络参数。在至少一个实施例中，分割网络或这种网络的各个层的输出可包括形状梯度、分割梯度或其他这种信息。
在至少一个实施例中，这种分割可以用于医学图像。在至少一个实施例中，这可以包括计算机断层摄影(CT)和/或磁共振成像(MRI)图像，以及来自超声扫描或其他此类过程的数据。在至少一个实施例中，分割可以用于其他类型的图像，其中将从输入图像或视频数据中识别出特定类型的对象、特征、元素或图案。
在至少一个实施例中，主动学习可以用于训练机器学习模型，如图2B的流程250中所示出的。在至少一个实施例中，该流程图示了可以如何从未标记的池254中主动地选择数据，如何由oracle或其他这样的注释器258注释数据，并且然后如何将数据添加到训练池258。在至少一个实施例中，机器学习模型256或算法被允许查询要用于该训练的数据点集合。在至少一个实施例中，这样的过程允许主动学习框架选择数据点，这些数据点可以加速模型的学习过程，并且与在随机获取的数据集上训练的模型相比，可以减少实现完全准确性所需的数据量。在至少一个实施例中，委员会查询(query-by-committee)方法可用于主动学习，其中联合优化器用于该委员会。在至少一个实施例中，这样的方法可以允许增加不确定数据的频率以偏置训练数据集。在至少一个实施例中，交互信息可用作用于获取的正则化器以确保该数据集中的多样化(diversity)。在至少一个实施例中，诸如Dice对数似然的值可以适于利用斯坦因(Stein)变分梯度下降(SVGD)。在至少一个实施例中，这样的方法可以用比其他方法需要的更小的数据集来提供准确的结果。在至少一个实施例中，可以利用深度学习架构，如可以包括Inception、ResNet-50、U-Net或V-Net架构。在至少一个实施例中，使用具有这种架构的较小数据集的功能可以提供成本、复杂度、资源和管理的显著节省。在至少一个实施例中，与深度学习组合的主动学习可以提供框架，其中深度网络架构与用于数据点的智能选择的技术耦合。在至少一个实施例中，针对模型的数据的主动选择可以在训练期间导致更快的收敛，以及由于其对可表征为异常值或难以理解的示例的数据点的定向选择而导致具有较少数据的提高的性能和改进的稳健性。在至少一个实施例中，
在至少一个实施例中，为了从未标记数据集(其可以仅包括原始图像)估计新数据点的重要性，可以确定那些原始图像的不确定性估计。在至少一个实施例中，使模型具有较高不确定性的图像对于被包括在下一轮主动学习中可能是更相关或重要的。在至少一个实施例中，适配SVGD使得能够以一致的方式训练不同模型的集合。在至少一个实施例中，这些模型然后可全部应用于该新数据，并且这些不同模型的预测之间的差异可用于估计不确定性。在至少一个实施例中，可以用许多不同的方式来计算不确定性，如通过确定认知不确定性(epistemic uncertainty)、或概率熵、或使用基于蒙特卡罗丢弃的方法。在至少一个实施例中，如果来自这些模型的概率非常不同，这将导致更高的熵以及因此更高的不确定性。在至少一个实施例中，还可以以准无监督的方法来分析交互信息以测量相似性。在至少一个实施例中，当前包括在用于主动学习的训练池中的图像可以与未标记的图像进行比较以确定它们在其强度分布方面有多相似。在至少一个实施例中，具有较高不相似性的图像可能更有用于训练。
在至少一个实施例中，主动学习可与用于诸如医学图像分割的任务的深度学习的训练一起使用。在至少一个实施例中，可以利用用于由委员会查询框架估计的不确定性的获取方案。在至少一个实施例中，可以使用主动学习来增加数据的训练池中的不确定情况的频率，以便降低总体模型不确定性。在至少一个实施例中，可以执行增加不确定数据点的频率，同时还使用该训练池252和未标记数据池254之间的交互信息来正则化训练池252，以保证充分变化的训练集。在至少一个实施例中，可以利用适配Stein变分梯度下降(SVGD)的委员会查询方法。在至少一个实施例中，SVGD可以用作模型整体的联合优化技术，其中每个模型可以被称为颗粒(particle)。在至少一个实施例中，这些颗粒在每个步骤被联合更新并且由径向基函数(RBF)核进行加权。在至少一个实施例中，SVGD可以适于利用基于Dice损失的对数似然定义的分割任务，其中每个颗粒的预测可以用于不确定性估计。在至少一个实施例中，基于SVGD的方法可以用于对抗高度不确定的和硬的数据点，这些数据点不是被忽略，而是用于诸如改善性能和降低注释成本的目的。在至少一个实施例中，可以利用训练池与未标记池的数据对之间的交互信息来调节所利用的复制量。在至少一个实施例中，可以使用用于主动学习的委员会查询方法来验证该贡献。
在至少一个实施例中，可以利用用于训练集合(ensemble)的贝叶斯推理算法，其中模型相互协商，使得它们不妨碍它们的学习过程。在至少一个实施例中，该SVGD算法适应于连续的基于Dice的对数似然，以便将其适应于分割任务。在至少一个实施例中，SVGD可以适于主动学习以从在SVGD期间训练的不同模型实例推理不确定性。在至少一个实施例中，可以增加由该训练池252中的不确定性测量估计的高度不确定和硬数据点的频率，以减少该训练池252的不确定性和注释器258引起的注释成本。在至少一个实施例中，SVGD被适配为用于通过使用Dice对数似然进行诸如生物医学图像分割的任务的集合的优化器。在至少一个实施例中，在训练池252和未标记池254之间引入交互信息以正则化不确定性估计并限制硬情况的重复。
在至少一个实施例中，可以利用各种深度学习网络，如U-Net架构。在至少一个实施例中，可以针对U-Net的编码器和解码器结构的每个块来构造残差块，因为残差块可以有益于训练和防止过拟合。在至少一个实施例中，四个编码层和三个解码层可以用于这个U-Net架构。在至少一个实施例中，针对所有数据集，将初始滤波器设定为8。在至少一个实施例中，批归一化和“relu”激活可以用于除了最后一层之外的每个层，最后一层可以使用“softmax”层来激活。在至少一个实施例中，可以使用U-Net模型的集合来形成委员会。
在至少一个实施例中，SVGD被用于在主动学习方案中使用的委员会查询方法。在至少一个实施例中，尽管SVGD是变分推理算法，但是它具有确定性更新规则并且可以从目标分布中推理出M个样本。在至少一个实施例中，SVGD框架可以保持称为颗粒的模型参数的M个副本，如可以由下式给出：
Figure BDA0003035952220000071
在至少一个实施例中，这样的算法可以具有适用于主动学习的多个有用属性。在至少一个实施例中，SVGD可以是用于训练集合的稳健的优化器，并且可以通过利用内核来防止收敛到异常(outlier)模型。在至少一个实施例中，SVGD可以确保每个模型通过在其更新步骤中利用排斥力而找到唯一的局部最优值，如上面所给出的。在至少一个实施例中，在迭代k处，可以使用步骤：θk+1←θk+∈kφθk)来更新每个颗粒θk∈k，其中，
Figure BDA0003035952220000081
在至少一个实施例中，∈k是步长大小，并且r(θ，θ′)是正定内核。在至少一个实施例中，使用RBF形成该内核。在至少一个实施例中，重要的是每个颗粒咨询其他颗粒以确定其梯度下降过程，同时确保在两个颗粒之间存在排斥力。
在至少一个实施例中，用于医学成像的语义分割可利用在传统交叉熵损失上的基于Dice的连续损失。在至少一个实施例中，这可以至少部分地由于语义标签的稀疏性和标签中存在的类别不平衡问题。在至少一个实施例中，可以利用由log(LDice)给出的Dice对数似然，其中Dice损失LDice被定义为：
Figure BDA0003035952220000082
在至少一个实施例中，y和
Figure BDA0003035952220000083
分别表示地面实况和预测。在至少一个实施例中，由于需要对交叉熵损失进行加权以处理医学图像分割任务中的数据失衡，因此Dice损失可用于诸如医学成像之类的任务。
在至少一个实施例中，完全标记的数据集可被拆分成分别由m个样本和n个样本组成的训练池T和未标记的池U。在至少一个实施例中，在对未标记的池U进行推理之后使用获取函数A来获得不确定性估计。在至少一个实施例中，可以利用基于熵的认知不确定性或模型不确定性。在至少一个实施例中，yi是在给定属于未标记池U的输入样本xi的情况下针对类别c估计的概率。在至少一个实施例中，计算每颗粒q的此熵测量值。在至少一个实施例中，可以利用3D不确定图H中的所有3D体素的总和来获得分数。在至少一个实施例中，在本主动学习算法中进一步详述此算法的每个步骤：
Figure BDA0003035952220000084
Figure BDA0003035952220000091
在至少一个实施例中，可利用第二获取函数，其是认知不确定性和U与T之间的交互信息
Figure BDA0003035952220000092
的约束的组合，以确保训练池T的多样性，如由下式给出的：
Figure BDA0003035952220000093
Figure BDA0003035952220000094
在至少一个实施例中，
Figure BDA0003035952220000095
是来自未标记池的数据点，而
Figure BDA0003035952220000096
是来自此训练池的数据点。在至少一个实施例中，形成的交互信息矩阵将具有维度(m，n)。在至少一个实施例中，如果正在拾取(pick)重复样本，则此交互信息可充当此获取函数中的正则化项。在至少一个实施例中，在组合这两个测量之前，可以使用最小-最大归一化来归一化认知不确定性。在至少一个实施例中，通过逐行(跨m)取该平均值并且然后对交互信息矩阵进行最小-最大归一化，可以将该交互信息矩阵减少至向量。
在至少一个实施例中，可通过从熵得分H中减去交互信息MI来计算最终得分，因为较低的交互信息描述较高的多样性，这可由以下给出：
Figure BDA0003035952220000101
在至少一个实施例中，这些项由超参数α、β加权以用于进一步调节。在至少一个实施例中，基线获取函数可以是来自这个未标记池的数据点的随机获取。
在至少一个实施例中，输入数据可以保持在原始分辨率并且仅应用归一化作为预处理步骤。在至少一个实施例中，裁剪范围可被设置为0至2048。在至少一个实施例中，可用的标记样本的总数可被划分成初始训练池、未标记池、验证数据和测试数据。在至少一个实施例中，可以针对多个主动迭代(如大约40个主动迭代)执行每个数据集。在至少一个实施例中，对于每个主动迭代，从未标记池Y中选择的Q个查询可以由oracle注释，然后添加到训练池T。在至少一个实施例中，对于不同的数据集，Q可以分别被设置为例如5或1的值。在至少一个实施例中，代替使用一致数量的时期(epoch)，可使用一致数量的步长，因为训练池T随着Q的添加而在大小上增长。在至少一个实施例中，可以针对通过对该完整数据集进行训练而确定的固定数量的步数来训练每个主动迭代。在至少一个实施例中，针对这些数据集确定的步数可以是大约10000或1500。在至少一个实施例中，对于每个数据集，可以针对可以随机选择的5个不同的种子重复主动学习框架。在至少一个实施例中，在每个主动迭代期间，可以在固定种子处从头开始训练模型以确保该网络的一致初始化。在至少一个实施例中，用于所有实验的颗粒的数目可以是固定的，例如具有值5。在至少一个实施例中，可以使用每个数据集一致的学习速率，诸如在0.0001至0.001的范围内的值。在至少一个实施例中，可以使用诸如8的批大小。在至少一个实施例中，3D体可以被分离成用于训练的立方体小片(patch)，诸如具有48x48x48的一致的小片大小。在至少一个实施例中，为了推理，可在一致的步幅(stride)(诸如36个一致的步幅)处使用扫描窗口技术。在至少一个实施例中，可以使用1：1的正/负比率来选择这些小片用于动态训练，其中正小片可以确保小片中存在前景，并且负小片是从该整个3D体裁剪的随机ROI。在至少一个实施例中，可以在数据集的所有类别上评估此损失。在至少一个实施例中，没有应用数据增强技术。在至少一个实施例中，可以使用来自NVIDIA公司的TensorFlow来实现框架，其中多个GPU(如60特斯拉V10016GB GPU)并行地用于计算。在至少一个实施例中，个体数据集的每个主动迭代的训练时间可分别从大约45分钟运行到大约3小时。
在至少一个实施例中，图3A和图3B示出如图3A中的胰腺数据集的验证集中的所有体的平均Dice得分的比较。在至少一个实施例中，当相互比较不同的方法时，可以观察到一致的方差。在至少一个实施例中，在20个主动迭代之后，没有删除方法达到平台(plateau)。在至少一个实施例中，这些删除方法实现更高的得分，直到20个主动迭代，此后随机删除Dice得分达到相似的性能。在至少一个实施例中，针对收敛，这些删除方法匹配完全基线性能，然而没有来自相应的未标记池的删除的方法不匹配。在至少一个实施例中，可以观察到，与删除方法相比，没有删除方法相对利用更少的唯一数据点。
在至少一个实施例中，这样的主动学习框架可被用于通过增加高度不确定数据点在训练池中的频率来基于模型不确定性利用该高度不确定数据点。在至少一个实施例中，这样的方法可以减少数据的注释成本。在至少一个实施例中，如图4A所示，可以利用用于注释数据和训练这种模型的过程400。在至少一个实施例中，可以接收402可以用于训练分割网络的训练图像集，其中这些图像可以包括标记对象和未标记对象(或者具有和不具有注释的图像)。在至少一个实施例中，可以使用多个训练迭代来执行训练。在至少一个实施例中，可以从标记的图像训练池中选择404标记的图像集中的一个或更多个图像，并且将其作为输入提供给网络以用于当前训练迭代。在至少一个实施例中，可以使用这些选择的图像执行406此训练迭代，并且可以针对此当前迭代确定408一个或更多个不确定性值。在至少一个实施例中，该不确定性数据可被用于从未标记图像池中选择410要被注释以包括在已标记图像池中的一个或更多个未标记图像，并且该不确定性数据还可以用于确定是从该未标记池中移除这些图像还是将它们留在未标记池中，使得它们可以在将来的迭代中被再次选择。在至少一个实施例中，可以对该池中的未标记图像进行排名，然后选择多个排名靠前的或排名最高的图像。在至少一个实施例中，这些所选图像可由oracle或其他这样的源来注释412并被添加到该标记训练池。在至少一个实施例中，可以使用一个或更多个损失函数来确定一个或更多个损失值。在至少一个实施例中，可以调整414一个或更多个网络参数，以便尝试最小化此损失。可以做出416关于是否已经满足结束条件或标准的确定，诸如在已经达到最大训练传递数或满足收敛标准的情况下。在至少一个实施例中，如果已经满足结束条件，则可以提供418这些经训练的模型用于推理，否则训练可以继续到下一传递或迭代。
在至少一个实施例中，图4B中所示的过程450可在推理时间用于推理图像数据中表示的对象的分割。在至少一个实施例中，可接收452图像数据的一个或更多个实例，并将其作为输入提供454给经训练的分割模型。在至少一个实施例中，可从对应于在该输入图像中表示的感兴趣对象的该经训练的模型接收456推理的分割作为输出。
在至少一个实施例中，可以利用过程500，如图5所示。在至少一个实施例中，可以接收502图像集，如可以对应于体(volumetric)医学成像数据。在至少一个实施例中，可以使用一个或更多个神经网络在这些图像中识别一个或更多个对象。在至少一个实施例中，可生成506对应于这些识别出的对象的注释。
推理和训练逻辑
图6A示出了用于执行与一个或更多个实施例相关联的推理和/或训练操作的推理和/或训练逻辑615。下面结合图6A和/或图6B提供关于推理和/或训练逻辑615的细节。
在至少一个实施例中，推理和/或训练逻辑615可以包括但不限于，代码和/或数据存储器601，用于存储前向和/或输出权重和/或输入/输出数据，和/或在一个或更多个实施例的各方面中用于配置被训练和/或用于推理的神经网络的神经元或层的其他参数。在至少一个实施例中，训练逻辑615可以包括或被耦合到代码和/或数据存储器601以存储图形代码或用于控制时序和/或顺序的其他软件，其中将加载权重和/或其他参数信息来配置逻辑，包括整数和/或浮点单元(统称为算术逻辑单元(ALU))。在至少一个实施例中，代码(如图形代码)基于这个代码所对应的神经网络的架构将权重或其他参数信息加载到处理器ALU中。在至少一个实施例中，代码和/或数据存储器601存储神经网络的每个层的权重参数和/或输入/输出数据，该神经网络在使用一个或更多个实施例的各方面的训练和/或推理期间在输入/输出数据和/或权重参数的前向传播期间与一个或更多个实施例结合训练或使用。在至少一个实施例中，代码和/或数据存储器601的任何部分可与其他片上或片外数据存储(包括处理器的L1、L2或L3高速缓存或系统存储器)包括在一起。
在至少一个实施例中，代码和/或数据存储器601的任何部分可以在一个或更多个处理器或其他硬件逻辑设备或电路的内部或外部。在至少一个实施例中，代码和/或数据存储器601可以是高速缓存存储器、动态随机可寻址存储器(“DRAM”)、静态随机可寻址存储器(“SRAM”)、非易失性存储器(例如，闪存)或其他存储器。在至少一个实施例中，代码和/或数据存储器601是处理器内部还是外部的选择，例如，或包括DRAM、SRAM、闪存或一些其他存储类型可取决于片上相对于片外的可用存储，正在执行的训练和/或推理功能的等待时间要求、在神经网络的推理和/或训练中使用的数据的批量大小，或这些因素的一些组合。
在至少一个实施例中，推理和/或训练逻辑615可以包括但不限于：代码和/或数据存储器605，所述代码和/或数据存储器605用于存储与在一个或更多个实施例的方面中被训练和/或用于推理的神经网络的神经元或层相对应的后向和/或输出权重和/或输入/输出数据。在至少一个实施例中，代码和/或数据存储器605存储神经网络的每个层的权重参数和/或输入/输出数据，该神经网络在使用一个或更多个实施例的各方面的训练和/或推理期间的输入/输出数据和/或权重参数的向后传播期间与一个或更多个实施例结合训练或使用。在至少一个实施例中，训练逻辑615可包括或被耦合到代码和/或数据存储器605以存储图形代码或其他软件以控制时间和/或顺序，其中将加载权重和/或其他参数信息来配置逻辑，包括整数和/或浮点单元(统称为算术逻辑单元(ALU))。在至少一个实施例中，代码(如图形代码)基于这个代码所对应的神经网络的架构将权重或其他参数信息加载到处理器ALU中。在至少一个实施例中，代码和/或数据存储605的任何部分可与其他片上或片外数据存储(包括处理器的L1、L2或L3高速缓存或系统存储器)包括在一起。在至少一个实施例中，代码和/或数据存储器605的任何部分可以是在一个或更多个处理器或其他硬件逻辑设备或电路上的内部或外部的。在至少一个实施例中，代码和/或数据存储器605可以是高速缓存存储器、DRAM、SRAM、非易失性存储器(例如，闪存)或其他存储器。在至少一个实施例中，代码和/或数据存储器605是处理器内部还是外部的选择，例如，或包括DRAM、SRAM、闪存或一些其他存储类型可取决于片上相对于片外的可用存储器、正在执行的训练和/或推理功能的等待时间要求、在神经网络的推理和/或训练中使用的数据的批量大小或这些因素的一些组合。
在至少一个实施例中，代码和/或数据存储器601和代码和/或数据存储器605可以是单独的存储结构。在至少一个实施例中，代码和/或数据存储器601和代码和/或数据存储器605可以是相同的存储结构。在至少一个实施例中，代码和/或数据存储器601和代码和/或数据存储器605可以是部分相同的存储结构和部分分开的存储结构。在至少一个实施例中，代码和/或数据存储器601和代码和/或数据存储器605的任何部分可与其他片上或片外数据存储器(包括处理器的L1、L2或L3高速缓存或系统存储器)包括在一起。
在至少一个实施例中，推理和/或训练逻辑615可以包括但不限于，一个或更多个算术逻辑单元(“ALU”)610，包括整数和/或浮点单元，至少部分地基于或指示来执行逻辑和/或数学运算，训练和/或推理代码(例如，图形代码)，其结果可以产生存储在激活存储器620中的激活(例如，来自神经网络内的层或神经元的输出值)，所述激活是存储在代码和/或数据存储器601和/或代码和/或数据存储器605中的输入/输出和/或权重参数数据的函数。在至少一个实施例中，存储在激活存储器620中的激活是根据由一个或更多个ALU610响应于执行指令或其他代码而执行的线性代数和/或基于矩阵的数学运算来生成的，其中存储在代码和/或数据存储器605和/或代码和/或数据存储器601中的权重值与其他值一起被用作操作数，诸如偏置值、梯度信息、动量值或其他参数或超参数，这些参数或超参数中的任一者或全部可被存储在代码和/或数据存储器605或代码和/或数据存储器601或片上或片外的另一存储器中。
在至少一个实施例中，一个或更多个ALU610被包括在一个或更多个处理器或其他硬件逻辑设备或电路内，而在另一个实施例中，一个或更多个ALU610可以在处理器或使用它们的其他硬件逻辑设备或电路(例如，协处理器)的外部。在至少一个实施例中，ALU610可以包括在处理器的执行单元内或者以其他方式包括在可由处理器的执行单元访问的ALU组内，所述处理器的执行单元在同一处理器内或分布在不同类型的不同处理器(例如，中央处理单元、图形处理单元、固定功能单元等)之间。在至少一个实施例中，代码和/或数据存储器601、代码和/或数据存储器605，并且激活存储器620可以在同一处理器或其他硬件逻辑设备或电路上，而在另一个实施例中，它们可以在不同的处理器或其他硬件逻辑器件或电路中，或相同和不同处理器或其他硬件逻辑设备或电路的某种组合。在至少一个实施例中，激活存储器620的任何部分可以与其他片上或片外数据存储器包括在一起，所述其他片上或片外数据存储器包括处理器的L1、L2或L3高速缓存或系统存储器。此外，推理和/或训练代码可与处理器或其他硬件逻辑或电路可访问的其他代码一起存储，并使用处理器的获取、解码、调度、执行、引退和/或其他逻辑电路来获取和/或处理。
在至少一个实施例中，激活存储器620可以是高速缓存存储器、DRAM、SRAM、非易失性存储器(例如，闪存)或其他存储器。在至少一个实施例中，激活存储器620可以完全地或部分地在一个或更多个处理器或其他逻辑电路之内或之外。在至少一个实施例中，选择激活存储器620是处理器内部还是外部，例如，或包括DRAM、SRAM、闪存或一些其他存储类型可取决于片上相对于片外的可用存储，正在执行的训练和/或推理功能的等待时间要求、在神经网络的推理和/或训练中使用的数据的批量大小、或这些因素的一些组合。在至少一个实施例中，图6A中所示出的推理和/或训练逻辑615可以与专用集成电路(“ASIC”)结合使用，如来自谷歌的
Figure BDA0003035952220000151
处理单元、来自GraphcoreTM的推理处理单元(IPU)、或来自英特尔公司的
Figure BDA0003035952220000152
(例如，“湖牙”)处理器。在至少一个实施例中，图6A中所示出的推理和/或训练逻辑615可以与中央处理单元(“CPU”)硬件、图形处理单元(“GPU”)硬件或其他硬件(如现场可编程门阵列(“FPGA”))结合使用。
图6B示出了根据至少一个实施例的推理和/或训练逻辑615。在至少一个实施例中，推理和/或训练逻辑615可包括但不限于其中计算资源是专用的或以其他方式结合与神经网络内的一个或更多个神经元层相对应的权重值或其他信息来专门使用的硬件逻辑。在至少一个实施例中，图6B中所示出的推理和/或训练逻辑615可以与专用集成电路(ASIC)结合使用，如来自谷歌的
Figure BDA0003035952220000161
处理单元、来自GraphcoreTM的推理处理单元(IPU)、或来自英特尔公司的
Figure BDA0003035952220000162
(例如，“Lake Crest”)处理器。在至少一个实施例中，图6B中所示出的推理和/或训练逻辑615可以与中央处理单元(CPU)硬件、图形处理单元(GPU)硬件或其他硬件(如现场可编程门阵列(FPGA))结合使用。在至少一个实施例中，推理和/或训练逻辑615包括但不限于代码和/或数据存储器601和代码和/或数据存储器605，它们可以用于存储代码(例如，图形代码)、权重值和/或其他信息，包括偏置值、梯度信息、动量值和/或其他参数或超参数信息。在图6B中所示出的至少一个实施例中，代码和/或数据存储器601和代码和/或数据存储器605中的每一个分别与专用计算资源(如计算硬件602和计算硬件606)相关联。在至少一个实施例中，计算硬件602和计算硬件606中的每一个包括一个或更多个ALU，该一个或更多个ALU仅分别对存储在代码和/或数据存储器601和代码和/或数据存储器605中的信息执行数学函数(诸如线性代数函数)，其结果被存储在激活存储器620中。
在至少一个实施例中，代码和/或数据存储器601和605以及对应的计算硬件602和606中的每一个，对应地，对应于神经网络的不同层，从而使得来自代码和/或数据存储器601和计算硬件602的一个“存储/计算对601/602”的所得激活被提供作为到代码和/或数据存储器605和计算硬件606的“存储/计算对605/606”的输入，以便反映神经网络的概念组织。在至少一个实施例中，存储/计算对601/602和605/606中的每一个可对应于多于一个神经网络层。在至少一个实施例中，继存储计算对601/602和605/606之后或与存储计算对601/602和605/606并行的附加存储器/计算对(未示出)可被包括在推理和/或训练逻辑615中。
数据中心
图7示出了其中可使用至少一个实施例的示例数据中心700。在至少一个实施例中，数据中心700包括数据中心基础设施层710、框架层720、软件层730和应用层740。
在至少一个实施例中，如图7所示，数据中心基础设施层710可以包括资源编排器712、分组计算资源714和节点计算资源(“节点C.R.”)716(1)-716(N)，其中“N”表示任何完整的正整数。在至少一个实施例中，节点C.R.716(1)-716(N)可以包括，但不限于任何数量的中央处理单元(“CPU”)或其他处理器(包括加速器、现场可编程门阵列(FPGA)、图形处理器等)、存储器设备(例如，动态只读存储器)、存储器(例如，固态或磁盘驱动器)、网络输入/输出(“NW I/O”)装置、网络交换机、虚拟机(“VM”)、功率模块和冷却模块等等。在至少一个实施例中，来自节点C.R.716(1)-716(N)中的一个或更多个节点C.R.可以是具有上述计算资源中的一个或更多个的服务器。
在至少一个实施例中，已分组计算资源714可包括容纳在一个或更多个机架(未示出)内的节点C.R.的单独分组或容纳在不同地理位置(也未示出)处的数据中心内的许多机架。分组计算资源714内的节点C.R.的单独分组可包括可被配置或分配来支持一个或更多个工作负荷的分组计算、网络、存储器或存储资源。在至少一个实施例中，包括CPU或处理器的若干节点C.R.可以分组在一个或更多个机架内，以提供计算资源来支持一个或更多个工作负荷。在至少一个实施例中，一个或更多个机架还可包括任意组合的任意数量的功率模块、冷却模块和网络交换机。
在至少一个实施例中，资源协调器712可以配置或以其他方式控制一个或更多个节点C.R.716(1)-716(N)和/或分组的计算资源714。在至少一个实施例中，资源编排器712可以包括用于数据中心700的软件设计基础设施(“SDI”)管理实体。在至少一个实施例中，资源协调器可以包括硬件、软件或其某种组合。
在至少一个实施例中，如图7所示，框架层720包括工作调度器722、配置管理器724、资源管理器726和分布式文件系统728。在至少一个实施例中，框架层720可包括支持软件层730的软件732和/或应用层740的一个或更多个应用742的框架。在至少一个实施例中，软件732或应用742可分别包括基于web的服务软件或应用，诸如由Amazon Web Services、Google Cloud和Microsoft Azure提供的那些。在至少一个实施例中，框架层720可以是但不限于可以利用分布式文件系统728进行大规模数据处理(例如，“大数据”)的自由和开源软件Web应用框架的类型，如Apache SparkTM(下文称为“Spark”)。在至少一个实施例中，工作调度器722可以包括Spark驱动器，用于促进由数据中心700的各层支持的工作负荷的调度。在至少一个实施例中，配置管理器724可以能够配置不同层，诸如软件层730和框架层720，其包括用于支持大规模数据处理的火花和分布式文件系统728。在至少一个实施例中，资源管理器726可以能够管理被映射到分布式文件系统728和作业调度器722或被分配用于支持分布式文件系统728和作业调度器722的集群或分组的计算资源。在至少一个实施例中，群集的或分组的计算资源可包括数据中心基础设施层710处的分组的计算资源714。在至少一个实施例中，资源管理器726可与资源协调器712协调以管理这些映射或分配的计算资源。
在至少一个实施例中，包括在软件层730中的软件732可包括由框架层720的节点C.R.716(1)-716(N)、经分组的计算资源714和/或分布式文件系统728的至少部分使用的软件。一种或多种类型的软件可以包括但不限于互联网网页搜索软件、电子邮件病毒扫描软件、数据库软件和流式视频内容软件。
在至少一个实施例中，包括在应用层740中的一个或更多个应用742可包括由框架层720的节点C.R.716(1)-716(N)、经分组的计算资源714和/或分布式文件系统728的至少部分使用的一个或更多个类型的应用。一种或多种类型的应用可以包括但不限于任何数量的基因组学应用、认知计算和机器学习应用，包括训练或推理软件、机器学习框架软件(例如，PyTorch、TensorFlow、Caffe等)或结合一个或更多个实施例使用的其他机器学习应用。
在至少一个实施例中，配置管理器724、资源管理器726和资源编排器712中的任一个可以基于以任何技术上可行的方式获取的任何数量和类型的数据来实现任何数量和类型的自修改动作。在至少一个实施例中，自修改动作可使数据中心700的数据中心操作者免于做出可能较差的配置决策和可能避免数据中心的未充分利用和/或较差执行部分。
在至少一个实施例中，数据中心700可以包括工具、服务、软件或其他资源以训练一个或更多个机器学习模型或使用根据本文描述的一个或更多个实施例的一个或更多个机器学习模型来预测或推理信息。例如，在至少一个实施例中，可以通过使用上文相对于数据中心700所描述的软件和计算资源根据神经网络架构来计算权重参数来训练机器学习模型。在至少一个实施例中，对应于一个或更多个神经网络的经训练的机器学习模型可用于通过使用经由本文描述的一个或更多个训练技术计算的权重参数来使用上文相对于数据中心700描述的资源来推理或预测信息。
在至少一个实施例中，数据中心可使用CPU、专用集成电路(ASIC)、GPU、FPGA或其他硬件来使用上述资源执行训练和/或推理。此外，上文所描述的一个或更多个软件和/或硬件资源可经配置为允许用户训练或执行对信息的推理的服务，例如图像辨识、语音识别或其他人工智能服务。
推理和/或训练逻辑615用于执行与一个或更多个实施例相关联的推理和/或训练操作。下面结合图6A和/或图6B提供关于推理和/或训练逻辑615的细节。在至少一个实施例中，推理和/或训练逻辑615可以在系统图7中用于至少部分地基于使用在此描述的神经网络训练操作、神经网络功能和/或架构或神经网络使用情况计算的权重参数来推理或预测操作。
推理和/或训练逻辑615用于执行与一个或更多个实施例相关联的推理和/或训练操作。在至少一个实施例中，此逻辑可与这些图的组件一起使用，以训练分割网络和/或使用这些网络进行推理。
计算机系统
图8是示出根据至少一个实施例的示例性计算机系统的框图，该计算机系统可以是具有互连的设备和部件的系统、片上系统(SOC)或用可以包括执行指令的执行单元的处理器形成的其某种组合800。在至少一个实施例中，计算机系统800可包括但不限于诸如处理器802的组件，其采用包括根据本公开(诸如在本文中描述的实施例中)执行用于处理数据的算法的逻辑的执行单元。在至少一个实施例中，计算机系统800可以包括处理器，如可以从加利福尼亚州圣克拉拉市的英特尔公司获得的
Figure BDA0003035952220000191
处理器族、XeonTM、
Figure BDA0003035952220000201
XScaleTM和/或StrongARMTM、
Figure BDA0003035952220000202
CoreTM或
Figure BDA0003035952220000203
NervanaTM微处理器，但是也可以使用其他系统(包括具有其他微处理器的PC、工程工作站、机顶盒等)。在至少一个实施例中，计算机系统800可执行可从华盛顿州雷蒙德市的微软公司获得的WINDOWS的操作系统的版本，但也可使用其他操作系统(例如UNIX和Linux)、嵌入式软件和/或图形用户界面。
实施例可以用在其他设备中，诸如手持设备和嵌入式应用。手持式设备的一些示例包括蜂窝电话、互联网协议设备、数码相机、个人数字助理(“PDA”)以及手持式PC。在至少一个实施例中，嵌入式应用可以包括微控制器、数字信号处理器(“DSP”)、片上系统、网络计算机(“NetPC”)、机顶盒、网络中枢、广域网(“WAN”)交换机、或可以根据至少一个实施例执行一个或更多个指令的任何其他系统。
在至少一个实施例中，计算机系统800可以包括但不限于处理器802，所述处理器可以包括但不限于根据本文描述的技术执行机器学习模型训练和/或推理的一个或更多个执行单元808。在至少一个实施例中，计算机系统800是单处理器桌面或服务器系统，但是在另一个实施例中，计算机系统800可以是多处理器系统。在至少一个实施例中，处理器802可以包括但不限于复杂指令集计算机(“CISC”)微处理器、精简指令集计算(“RISC”)微处理器、超长指令字(“VLIW”)微处理器、实现指令集的组合的处理器或任何其他处理器设备，例如像数字信号处理器。在至少一个实施例中，处理器802可以耦合到处理器总线810，处理器总线810可以在处理器802和计算机系统800中的其他组件之间传输数据信号。
在至少一个实施例中，处理器802可以包括但不限于1级(“L1”)内部高速缓存存储器(“高速缓存”)804。在至少一个实施例中，处理器802可具有单个内部高速缓存或多级内部高速缓存。在至少一个实施例中，高速缓冲存储器可驻留在处理器802外部。其他实施例还可包括内部和外部高速缓存两者的组合，这取决于特定实现和需要。在至少一个实施例中，寄存器文件806可以将不同类型的数据存储在各种寄存器中，包括但不限于整数寄存器、浮点寄存器、状态寄存器和指令指针寄存器。
在至少一个实施例中，执行单元808(包括但不限于用于执行整数和浮点操作的逻辑)也驻留在处理器802中。在至少一个实施例中，处理器802还可以包括存储用于某些宏指令的微代码的微代码(“ucode”)只读存储器(“ROM”)。在至少一个实施例中，执行单元808可以包括用于处理打包指令集809的逻辑。在至少一个实施例中，通过在通用处理器802的指令集中包括打包指令集809以及用于执行指令的相关联的电路，许多多媒体应用所使用的操作可以使用通用处理器802中的打包数据来执行。在一个或更多个实施例中，可通过使用处理器的数据总线的全宽度对紧缩数据执行操作来更加有效地加速和执行许多多媒体应用，这可消除跨处理器的数据总线传送较小的数据单元以一次一个数据元素执行一个或更多个操作的需要。
在至少一个实施例中，执行单元808还可以用于微控制器、嵌入式处理器、图形设备、DSP和其他类型的逻辑电路中。在至少一个实施例中，计算机系统800可包括但不限于存储器820。在至少一个实施例中，存储器820可以被实现为动态随机存取存储器(“DRAM”)设备、静态随机存取存储器(“SRAM”)设备、闪存设备或其他存储器设备。在至少一个实施例中，存储器820可存储可由处理器802执行的数据信号表示的指令819和/或数据821。
在至少一个实施例中，系统逻辑芯片可耦接至处理器总线810和存储器820。在至少一个实施例中，系统逻辑芯片可以包括但不限于存储器控制器集线器(“MCH”)816，并且处理器802可以经由处理器总线810与MCH816通信。在至少一个实施例中，MCH816可以向存储器820提供高带宽存储器路径818以用于指令和数据存储以及用于图形命令、数据和纹理的存储。在至少一个实施例中，MCH816可以在处理器802、存储器820和计算机系统800中的其他部件之间引导数据信号，并且在处理器总线810、存储器820和系统I/O822之间桥接数据信号。在至少一个实施例中，系统逻辑芯片可以提供用于耦合到图形控制器的图形端口。在至少一个实施例中，MCH816可以通过高带宽存储器路径818耦合到存储器820，并且图形/视频卡812可以通过加速图形端口(“AGP”)互连814耦合到MCH816。
在至少一个实施例中，计算机系统800可以使用作为专用集线器接口总线的系统I/O 822将MCH 816耦合至I/O控制器集线器(“ICH”)830。在至少一个实施例中，ICH 830可以经由本地I/O总线提供到一些I/O设备的直接连接。在至少一个实施例中，本地I/O总线可以包括但不限于用于将外围设备连接到存储器820、芯片组和处理器802的高速I/O总线。示例可以包括但不限于音频控制器829、固件中枢(“闪存BIOS”)828、无线收发器826、数据存储器824、包含用户输入和键盘接口825的传统I/O控制器823、串行扩展端口827(如通用串行总线(“USB”)、和网络控制器834)。数据存储824可包括硬盘驱动器、软盘驱动器、CD-ROM设备、闪存设备或其他大容量存储器。
在至少一个实施例中，图8示出了一种系统，该系统包括互连的硬件设备或“芯片”，而在其他实施例中，图8可以示出示范性片上系统(“SoC”)。在至少一个实施例中，图8中所示的设备可以与专用互连、标准化互连(例如，PCIe)或其某种组合互连。在至少一个实施例中，计算机系统800的一个或更多个组件使用快速计算链路(CXL)互连来互连。
推理和/或训练逻辑615用于执行与一个或更多个实施例相关联的推理和/或训练操作。下面结合图6A和/或图6B提供关于推理和/或训练逻辑615的细节。在至少一个实施例中，推理和/或训练逻辑615可以在系统图8中用于至少部分地基于使用在此描述的神经网络训练操作、神经网络功能和/或架构或神经网络使用情况计算的权重参数来推理或预测操作。
推理和/或训练逻辑615用于执行与一个或更多个实施例相关联的推理和/或训练操作。在至少一个实施例中，此逻辑可与这些图的组件一起使用，以训练分割网络和/或使用这些网络进行推理。
图9是示出根据至少一个实施例的用于利用处理器910的电子设备900的框图。在至少一个实施例中，电子设备900可以是例如但不限于笔记本、塔式服务器、机架式服务器、刀片式服务器、膝上型计算机、台式计算机、平板计算机、移动设备、电话、嵌入式计算机、或任何其他合适的电子设备。
在至少一个实施例中，系统900可以包括但不限于通信地耦合到任何合适数量或种类的部件、外围设备、模块或设备上的处理器910。在至少一个实施例中，处理器910使用总线或接口(诸如1℃总线)耦合，系统管理总线(“SMBus”)、低引脚计数(LPC)总线、串行外围接口(“SPI”)，高清晰度音频(“HDA”)总线、串行高级技术附件(“SATA”)总线、通用串行总线(“USB”)(版本1、2、3)，或通用异步接收器/发送器(“UART”)总线。在至少一个实施例中，图9示出了一种系统，该系统包括互连的硬件设备或“芯片”，而在其他实施例中，图9可以示出示范性片上系统(“SoC”)。在至少一个实施例中，图9中所示出的设备可以与专用互连、标准化互连(例如，PCIe)或其某种组合互连。在至少一个实施例中，图9的一个或更多个部件使用计算快速链路(CXL)互连来互连。
在至少一个实施例中，图9可以包括显示器924、触摸屏925、触摸板930、近场通信单元(“NFC”)945、传感器集线器940、热传感器946、快速芯片组(“EC”)935、可信平台模块(“TPM”)938、BIOS/固件/闪存(“BIOS，FW闪存”)922、DSP 960、驱动器920(如固态磁盘(“SSD”)或硬盘驱动器(“HDD”))、无线局域网单元(“WLAN”)950、蓝牙单元952、无线广域网单元(“WWAN”)956、全球定位系统(GPS)955、相机(“USB 3.0相机”)954(如USB 3.0相机)和/或在其中实施的低功率双倍数据速率(“LPDDR”)存储器单元(“LPDDR3”)915，例如，LPDDR3标准。这些组件可以各自以任何合适的方式实现。
在至少一个实施例中，其他组件可通过上文所论述的组件通信地耦合到处理器910。在至少一个实施例中，加速度计941、环境光传感器(“ALS”)942、罗盘943和陀螺仪944可以通信地耦合至传感器集线器940。在至少一个实施例中，热传感器939、风扇937、键盘936和触摸板930可通信地耦合到EC935。在至少一个实施例中，扬声器963、耳机964和麦克风(“mic”)965可以通信地耦合至音频单元(“音频编解码器和d类放大器”)962，该音频单元进而可以通信地耦合至DSP960。在至少一个实施例中，音频单元964可以包括(例如但不限于)音频编码器/解码器(“编解码器”)和D类放大器。在至少一个实施例中，SIM卡(“SIM”)957可以通信地耦合到WWAN单元956。在至少一个实施例中，可以在下一代形状因子(“NGFF”)中实现诸如WLAN单元950和蓝牙单元952以及WWAN单元956之类的组件。
推理和/或训练逻辑615用于执行与一个或更多个实施例相关联的推理和/或训练操作。下面结合图6A和/或图6B提供关于推理和/或训练逻辑615的细节。在至少一个实施例中，推理和/或训练逻辑615可以在系统图9中用于至少部分地基于使用在此描述的神经网络训练操作、神经网络功能和/或架构或神经网络使用情况计算的权重参数来推理或预测操作。
推理和/或训练逻辑615用于执行与一个或更多个实施例相关联的推理和/或训练操作。在至少一个实施例中，此逻辑可与这些图的组件一起使用，以训练分割网络和/或使用这些网络进行推理。
图10示出了根据至少一个实施例的计算机系统1000。在至少一个实施例中，计算机系统1000被配置为实现贯穿本公开所描述的不同过程和方法。
在至少一个实施例中，计算机系统1000包括但不限于至少一个中央处理单元(“CPU”)1002，该中央处理单元连接至使用任何合适的协议实现的通信总线1010，如PCI(“外围部件互连”)、快速外围部件互连(“PCI-Express”)、AGP(“加速图形端口”)，超传输或任何其他总线或点对点通信协议。在至少一个实施例中，计算机系统1000包括但不限于主存储器1004和控制逻辑(例如，被实现为硬件、软件或其组合)，并且数据存储在主存储器1004中，该主存储器可以采取随机存取存储器(“RAM”)的形式。在至少一个实施例中，网络接口子系统(“网络接口”)1022提供到其他计算装置和网络的接口，用于从计算机系统1000接收数据和向其他系统传输数据。
在至少一个实施例中，计算机系统1000在至少一个实施例中包括但不限于输入设备1008、并行处理系统1012、以及可以使用常规阴极射线管(“CRT”)、液晶显示器(“LCD”)、发光二极管(“LED”)、等离子体显示器、或其他适合的显示技术来实施的显示设备1006。在至少一个实施例中，从诸如键盘、鼠标、触摸板、麦克风等输入设备1008接收用户输入。在至少一个实施例中，前述模块中的每一个可以位于单个半导体平台上以形成处理系统。
推理和/或训练逻辑615用于执行与一个或更多个实施例相关联的推理和/或训练操作。下面结合图6A和/或图6B提供关于推理和/或训练逻辑615的细节。在至少一个实施例中，推理和/或训练逻辑615可以在图10的系统中用于至少部分地基于使用在此描述的神经网络训练操作、神经网络功能和/或架构或神经网络使用情况计算的权重参数来推理或预测操作。
推理和/或训练逻辑615用于执行与一个或更多个实施例相关联的推理和/或训练操作。在至少一个实施例中，此逻辑可与这些图的组件一起使用，以训练分割网络和/或使用这些网络进行推理。
图11示出根据至少一个实施例的计算机系统1100。在至少一个实施例中，计算机系统1100包括但不限于计算机1110和USB杆1120。在至少一个实施例中，计算机1110可包括但不限于任何数量和类型的处理器(未示出)和存储器(未示出)。在至少一个实施例中，计算机1110包括但不限于服务器、云示例、膝上型计算机和台式计算机。
在至少一个实施例中，USB杆1120包括但不限于处理单元1130、USB接口1140和USB接口逻辑1150。在至少一个实施例中，处理单元1130可以是能够执行指令的任何指令执行系统、装置或设备。在至少一个实施例中，处理单元1130可以包括但不限于任何数量和类型的处理单元(未示出)。在至少一个实施例中，处理单元1130包括被优化用于执行与机器学习相关联的任何量和类型的操作的专用集成电路(“ASIC”)。例如，在至少一个实施例中，处理单元1130是被优化为执行机器学习推理操作的张量处理单元(“TPC”)。在至少一个实施例中，处理单元1130是视觉处理单元(“VPU”)，其被优化用于执行机器视觉和机器学习推理操作。
在至少一个实施例中，USB接口1140可以是任何类型的USB连接器或USB插座。例如，在至少一个实施例中，USB接口1140是用于数据和电力的USB3.0类型C插座。在至少一个实施例中，USB接口1140是USB3.0类型A连接器。在至少一个实施例中，USB接口逻辑1150可以包括使得处理单元1130能够经由USB连接器1140与设备(例如，计算机1110)接口连接的任何量和类型的逻辑。
推理和/或训练逻辑615用于执行与一个或更多个实施例相关联的推理和/或训练操作。下面结合图6A和/或图6B提供关于推理和/或训练逻辑615的细节。在至少一个实施例中，推理和/或训练逻辑615可以在图11的系统中用于至少部分地基于使用在此描述的神经网络训练操作、神经网络功能和/或架构或神经网络使用情况计算的权重参数来推理或预测操作。
推理和/或训练逻辑615用于执行与一个或更多个实施例相关联的推理和/或训练操作。在至少一个实施例中，此逻辑可与这些图的组件一起使用，以训练分割网络和/或使用这些网络进行推理。
图12A示出了示范性架构，其中多个GPU1210-1213通过高速链路1240-1243(例如，总线、点对点互连等)通信地耦合至多个多核处理器1205-1206。在一个实施例中，高速链路1240-1243支持4GB/s、30GB/s、80GB/s或更高的通信吞吐量。可以使用不同互连协议，包括但不限于PCIe4.0或5.0和NVLink2.0。
此外，并且在一个实施例中，GPU1210-1213中的两个或更多个GPU在高速链路1229-1230上互连，所述高速链路1229-1230可以使用与用于高速链路1240-1243的那些协议/链路相同或不同的协议/链路来实现。类似地，多核处理器1205-1206中的两者或两者以上可经由高速链路1228连接，所述高速链路1228可为以20GB/s、30GB/s、120GB/s或更高的速度操作的对称多处理器(SMP)总线。可替代地，图12A中所示的不同系统部件之间的所有通信可以使用相同的协议/链路(例如，通过公共互连结构)来实现。
在一个实施例中，每个多核处理器1205-1206分别经由存储器互连1226-1227通信地耦合到处理器存储器1201-1202，并且每个GPU1210-1213分别通过GPU存储器互连1250-1253通信地耦合到GPU存储器1220-1223。存储器互连1226-1227和1250-1253可以利用相同或不同的存储器访问技术。作为示例而非限制，处理器存储器1201-1202和GPU存储器1220-1223可以是易失性存储器，诸如动态随机存取存储器(DRAM)(包括堆叠式DRAM)、图形DDRSDRAM(GDDR)(例如，GDDR5、GDDR6)或高带宽存储器(HBM)，和/或可以是非易失性存储器，诸如3D XPoint或Nano-Ram。在一个实施例中，处理器存储器1201-1202的一些部分可以是易失性存储器，并且另一部分可以是非易失性存储器(例如，使用两级存储器(2LM)层级)。
如下所述，尽管各个处理器1205-1206和GPU1210-1213可以分别物理地耦合至特定存储器1201-1202、1220-1223，但是可以实现统一存储器架构，其中相同的虚拟系统地址空间(也被称为“有效地址”空间)分布在各个物理存储器中。例如，处理器存储器1201-1202可各自包括64GB的系统存储器地址空间，且GPU存储器1220-1223可各自包括32GB的系统存储器地址空间(在此示例中导致总共256GB可寻址存储器)。
图12B示出了根据一个示范性实施例的多核处理器1207与图形加速模块1246之间的互连的附加细节。图形加速模块1246可包含集成在线卡上的一个或更多个GPU芯片，所述线卡经由高速链路1240耦合到处理器1207。或者，图形加速模块1246可与处理器1207集成在同一封装或芯片上。
在至少一个实施例中，所示出的处理器1207包括多个核1260A-1260D，每个核具有转换后备缓冲器1261A-1261D和一个或更多个高速缓存1262A-1262D。在至少一个实施例中，核1260A-1260D可以包括用于执行指令和处理数据的不同其他组件(未示出)。高速缓存1262A-1262D可包括1级(L1)和2级(L2)高速缓存。另外，一个或更多个共享高速缓存1256可被包括在高速缓存1262A-1262D中并且由核集合1260A-1260D共享。例如，处理器1207的一个实施例包括24个核，每个核具有其自己的L1高速缓存、十二个共享L2高速缓存和十二个共享L3高速缓存。在该实施例中，一个或更多个L2和L3高速缓存由两个相邻核共享。处理器1207和图形加速模块1246与系统存储器1214连接，系统存储器1214可以包括图12A的处理器存储器1201-1202。
经由一致性总线1264上的核间通信，为存储在不同高速缓存1262A-1262D、1256和系统存储器1214中的数据和指令维持一致性。例如，每个高速缓存可具有与其相关联的高速缓存一致性逻辑/电路，以响应于检测到对特定高速缓存行的读取或写入，通过一致性总线1264进行通信。在一个实现中，在一致性总线1264上实现高速缓存监听协议以监听高速缓存访问。
在一个实施例中，代理电路1225将图形加速模块1246通信地耦合至一致性总线1264，从而允许图形加速模块1246作为核1260A-1260D的对等体参与高速缓存一致性协议。具体地，接口1235通过高速链路1240(例如，PCIe总线、NV链路等)提供到代理电路1225的连接，并且接口1237将图形加速模块1246连接到链路1240。
在一个实现方式中，加速器集成电路1236代表图形加速模块1246的多个图形处理引擎1231、1232、N提供高速缓存管理、存储器访问、上下文管理和中断管理服务。图形处理引擎1231、1232、N可以各自包括单独的图形处理单元(GPU)。可替代地，图形处理引擎1231、1232、N可以包括GPU内的不同类型的图形处理引擎，诸如图形执行单元、媒体处理引擎(例如，视频编码器/解码器)、采样器和位块传送引擎。在至少一个实施例中，图形加速模块1246可以是具有多个图形处理引擎1231-1232、N的GPU或图形处理引擎1231-1232、N可以是集成在公共封装、线卡或芯片上的单独的GPU。
在一个实施例中，加速器集成电路1236包括存储器管理单元(MMU)1239，用于执行不同存储器管理功能，诸如虚拟到物理存储器转换(也称为有效到真实存储器转换)和用于访问系统存储器1214的存储器访问协议。MMU1239还可包含用于高速缓存虚拟/有效到物理/真实地址转换的转换后援缓冲器(TLB)(未示出)。在一个实现中，高速缓存1238存储供图形处理引擎1231-1232、N高效访问的命令和数据。在一个实施例中，存储在高速缓存1238和图形存储器1233-1234、M中的数据与核高速缓存1262A-1262D、1256和系统存储器1214保持一致。如上所述，这可经由代理电路1225代表高速缓存1238和存储器1233-1234、M(例如，将与处理器高速缓存1262A-1262D、1256上的高速缓存行的修改/存取有关的更新发送到高速缓存1238，以及从高速缓存1238接收更新)来完成。
寄存器组1245存储由图形处理引擎1231-1232、N执行的线程的上下文数据，并且上下文管理电路1248管理线程上下文。例如，上下文管理电路1248可以执行保存和恢复操作以在上下文切换期间保存和恢复不同线程的上下文(例如，在保存第一线程并且存储第二线程以使得图形处理引擎可以执行第二线程的情况下)。例如，在上下文切换时，上下文管理电路1248可将当前寄存器值存储到存储器中的指定区域(例如，由上下文指针识别)。其然后可以在返回到上下文时恢复寄存器值。在一个实施例中，中断管理电路1247接收并处理从系统设备接收的中断。
在一个实施例中，来自图形处理引擎1231的虚拟/有效地址由MMU1239转化为系统存储器1214中的真实/物理地址。加速器集成电路1236的一个实施例支持多个(例如，4、8、16)图形加速器模块1246和/或其他加速器设备。图形加速器模块1246可以专用于在处理器1207上执行的单个应用，或者可以在多个应用之间共享。在一个实施例中，呈现了虚拟化图形执行环境，其中图形处理引擎1231-1232、N的资源与多个应用或虚拟机(VM)共享。在至少一个实施例中，资源可以被细分为“片”，这些片基于与VM和/或应用相关联的处理要求和优先级被分配给不同的VM和/或应用。
在至少一个实施例中，加速器集成电路1236作为用于图形加速模块1246的系统的桥执行，并且提供地址转换和系统存储器高速缓存服务。此外，加速器集成电路1236可以为主机处理器提供虚拟化设施以管理图形处理引擎1231-1232、N的虚拟化中断和存储器管理。
因为图形处理引擎1231-1232、N的硬件资源被显式地映射到由主处理器1207看到的真实地址空间，所以任何主处理器可以直接使用有效地址值来寻址这些资源。在一个实施例中，加速器集成电路1236的一个功能是图形处理引擎1231-1232、N的物理分离，使得它们对于系统而言表现为独立的单元。
在至少一个实施例中，一个或更多个图形存储器1233-1234、M分别耦合到图形处理引擎1231-1232、N中的每一个。图形存储器1233-1234、M存储由图形处理引擎1231-1232、N中的每一个处理的指令和数据。图形存储器1233-1234、M可以是易失性存储器，诸如DRAM(包括堆叠式DRAM)、GDDR存储器(例如，GDDR5、GDDR6)或HBM，和/或可以是非易失性存储器，诸如3D XPoint或Nano-Ram。
在一个实施例中，为了减少链路1240上的数据流量，使用偏置技术来确保存储在图形存储器1233-1234、M中的数据是将由图形处理引擎1231-1232、N最频繁使用并且优选地不被核1260A-1260D(至少不频繁)使用的数据。类似地，偏置机制尝试保持核的高速缓存1262A-1262D、1256内的核(并且优选地不是图形处理引擎1231-1232、N)和系统存储器1214所需的数据。
图12C示出了加速器集成电路1236被集成在处理器1207内的另一示范性实施例。在至少这个实施例中，图形处理引擎1231-1232、N经由接口1237和接口1235(其同样可以利用任何形式的总线或接口协议)在高速链路1240上直接与加速器集成电路1236通信。加速器集成电路1236可执行与关于图12B所描述的那些操作相同的操作，但是考虑到其非常接近一致性总线1264和高速缓存1262A-1262D、1256，可能以更高的吞吐量执行操作。至少一个实施例支持不同的编程模型，包括专用进程编程模型(无图形加速模块虚拟化)和共享编程模型(具有虚拟化)，其可以包括由加速器集成电路1236控制的编程模型和由图形加速模块1246控制的编程模型。
在至少一个实施例中，图形处理引擎1231-1232、N专用于单个操作系统下的单个应用或进程。在至少一个实施例中，单个应用可以将其他应用请求汇集到图形处理引擎1231-1232、N，从而提供VM/分区内的虚拟化。
在至少一个实施例中，图形处理引擎1231-1232、N可以由多个VM/应用分区共享。在至少一个实施例中，共享模型可以使用系统管理程序来虚拟化图形处理引擎1231-1232、N，以允许每个操作系统访问。对于没有管理程序的单分区系统，图形处理引擎1231-1232、N由操作系统拥有。在至少一个实施例中，操作系统可以虚拟化图形处理引擎1231-1232、N以提供对每个进程或应用的访问。
在至少一个实施例中，图形加速模块1246或单独的图形处理引擎1231-1232、N使用进程句柄来选择处理元件。在至少一个实施例中，处理元件被存储在系统存储器1214中，并且可使用本文所述的有效地址到真实地址转换技术来寻址。在至少一个实施例中，进程句柄可以是在将其上下文注册到图形处理引擎1231-1232、N(即，调用系统软件以将进程元件添加到进程元件链表)时提供给主机进程的实现方式特定的值。在至少一个实施例中，进程句柄的较低16位可以是处理元件链表内的处理元件的偏移。
图12D示出了示例性加速器集成片1290。如本文中所使用的，“切片”包括加速器集成电路1236的处理资源的指定部分。系统存储器1214内的应用有效地址空间1282存储处理元件1283。在一个实施例中，响应于来自在处理器1207上执行的应用1280的GPU调用1281而存储处理元件1283。处理元件1283包含对应应用1280的处理状态。包含在处理元件1283中的工作描述符(WD)1284可以是由应用请求的单个作业，或者可以包含指向作业队列的指针。在至少一个实施例中，WD1284是指向应用的地址空间1282中的作业请求队列的指针。
图形加速模块1246和/或单独的图形处理引擎1231-1232、N可以被系统中的进程的全部或子集共享。在至少一个实施例中，可以包括用于设置进程状态并将WD1284发送到图形加速模块1246以开始虚拟化环境中的作业的基础结构。
在至少一个实施例中，专用进程编程模型是实现特定的。在该模型中，单个进程拥有图形加速模块1246或单独的图形处理引擎1231。因为图形加速模块1246由单个进程拥有，所以当图形加速模块1246被分配时，管理程序初始化用于拥有分区的加速器积分电路1236，并且操作系统初始化用于拥有进程的加速器积分电路1236。
在操作中，加速器集成片1290中的WD取回单元1291取回下一WD1284，下一WD1284包括要由图形加速模块1246的一个或更多个图形处理引擎完成的工作的指示。来自WD1284的数据可存储在寄存器1245中且由MMU1239、中断管理电路1247和/或上下文管理电路1248使用，如所说明。例如，MMU1239的一个实施例包括用于访问OS虚拟地址空间1285内的区段/页表1286的区段/页行走电路。中断管理电路1247可以处理从图形加速模块1246接收的中断事件1292。当执行图形操作时，由图形处理引擎1231-1232、N生成的有效地址1293，由MMU1239转换成真实地址。
在一个实施例中，相同的寄存器组1245针对每个图形处理引擎1231-1232、N和/或图形加速模块1246被复制并且可以由管理程序或操作系统初始化。这些复制寄存器的每一个可以包括在加速器集成片1290中。可由管理程序初始化的示范性寄存器在表1中示出。
表1–管理程序初始化寄存器
Figure BDA0003035952220000311
Figure BDA0003035952220000321
可由操作系统初始化的示范性寄存器在表2中示出。
表2–操作系统初始化寄存器
1 过程和线程识别
2 有效地址(EA)上下文保存/恢复指针
3 虚拟地址(VA)加速器利用记录指针
4 虚拟地址(VA)存储段表指针
5 权限掩码
6 工作描述符
在一个实施例中，每个WD1284专用于特定图形加速模块1246和/或图形处理引擎1231-1232、N。它包含图形处理引擎1231-1232、N进行工作所需的所有信息，或者它可以是指向应用已经建立要完成的工作的命令队列的存储器位置的指针。
图12E示出了共享模型的一个示范性实施例的额外细节。该实施例包括管理程序真实地址空间1298，处理元件列表1299存储在管理程序真实地址空间1298中。管理程序真实地址空间1298可经由管理程序1296来访问，管理程序1296虚拟化操作系统1295的图形加速模块引擎。
在至少一个实施例中，共享的编程模型允许来自系统中的分区的全部或子集的进程的全部或子集使用图形加速模块1246。存在图形加速模块1246由多个进程和分区共享的两个编程模型：时间分片共享和图形导向共享。
在该模型中，系统管理程序1296拥有图形加速模块1246，并使其功能对所有操作系统1295可用。为了使图形加速模块1246支持系统管理程序1296的虚拟化，图形加速模块1246可以遵守以下各项：1)应用的作业请求必须是自主的(也就是说，在作业之间不需要维持状态，或图形加速模块1246必须提供上下文保存和恢复机制。应用的作业请求由图形加速模块1246保证在指定的时间量(包括任何转换故障)内完成，或图形加速模块1246提供抢先于作业的处理的能力。当在定向共享编程模型中操作时，图形加速模块1246必须保证进程之间的公平性。
在至少一个实施例中，应用1280被要求利用图形加速模块1246类型、工作描述符(WD)、权限掩码寄存器(AMR)值和上下文保存/恢复区域指针(CSRP)来进行操作系统1295系统调用。在至少一个实施例中，图形加速模块1246类型描述了用于系统调用的目标加速函数。在至少一个实施例中，图形加速模块1246类型可以是系统特定的值。在至少一个实施例中，WD被专门格式化以用于图形加速模块1246，并且可以是图形加速模块1246命令的形式，指向用户定义结构的有效地址指针、指向命令队列的有效地址指针，或者用于描述要由图形加速模块1246完成的工作的任何其他数据结构。在一个实施例中，AMR值是用于当前过程的AMR状态。在至少一个实施例中，传递给操作系统的值类似于设置AMR的应用。如果加速器集成电路1236和图形加速模块1246实现不支持用户授权掩码覆盖寄存器(UAMOR)，则操作系统可在传递管理程序调用中的AMR之前将当前UAMOR值应用于AMR值。管理程序1296可在将AMR放置到过程元件1283中之前任选地应用当前权限掩码覆盖寄存器(AMOR)值。在至少一个实施例中，CSRP是寄存器1245中的一个，其包含用于图形加速模块1246保存和恢复上下文状态的应用的有效地址空间1282中的区域的有效地址。如果在作业之间不需要保存状态或者当作业被抢占时，该指针是可选的。在至少一个实施例中，上下文保存/恢复区域可以是固定的系统存储器。
在接收到系统调用时，操作系统1295可验证应用1280已注册和已被给予使用图形加速模块1246的权限。操作系统1295随后用表3中所示的信息调用管理程序1296。
表3–OS到管理程序的调用参数
1 工作描述符(WD)
2 权限掩码寄存器(AMR)值(潜在地被掩码)
3 有效地址(EA)上下文保存/恢复区域指针(CSRP)
4 进程ID(PID)和可选的线程ID(TID)
5 虚拟地址(VA)加速器使用记录指针(AURP)
6 存储段表指针的虚拟地址(SSTP)
7 逻辑中断服务号码(LISN)
在接收到管理程序调用时，管理程序1296验证操作系统1295已经注册并且已经给予使用图形加速模块1246的权限。管理程序1296然后将处理元件1283放入相应图形加速模块1246类型的处理元件链表中。处理元素可以包括表4中所示的信息。
表4–处理元件信息
1 工作描述符(WD)
2 权限掩码寄存器(AMR)值(潜在地被掩码)。
3 有效地址(EA)上下文保存/恢复区域指针(CSRP)
4 进程ID(PID)和可选的线程ID(TID)
5 虚拟地址(VA)加速器使用记录指针(AURP)
6 存储段表指针的虚拟地址(SSTP)
7 7逻辑中断服务号码(LISN)
8 中断向量表，从管理程序调用参数导出
9 状态寄存器(SR)值
10 逻辑分区ID(LPID)
11 真实地址(RA)管理程序加速器使用记录指针
12 存储描述符寄存器(SDR)
在至少一个实施例中，管理程序初始化多个加速器集成片1290寄存器1245。
如图12F中所示，在至少一个实施例中，使用统一存储器，该统一存储器可经由用于访问物理处理器存储器1201-1202和GPU存储器1220-1223的公共虚拟存储器地址空间来寻址。在这种实现方式中，在GPU 1210-1213上执行的操作利用相同的虚拟/有效存储器地址空间来访问处理器存储器1201-1202并且反之亦然，由此简化可编程性。在一个实施例中，虚拟/有效地址空间的第一部分被分配给处理器存储器1201，第二部分被分配给第二处理器存储器1202，第三部分被分配给GPU存储器1220，等等。在至少一个实施例中，整个虚拟/有效存储器空间(有时被称为有效地址空间)由此跨处理器存储器1201-1202和GPU存储器1220-1223中的每个分布，从而允许任何处理器或GPU访问具有映射到该存储器的虚拟地址的任何物理存储器。
在一个实施例中，MMU 1239A-1239E中的一个或更多个MMU内的偏置/一致性管理电路1294A-1294E确保一个或更多个主机处理器(例如，1205)的高速缓存和GPU1210-1213之间的高速缓存一致性，并且实现指示应在其中存储某些类型的数据的物理存储器的偏置技术。虽然在图12F中示出了偏置/一致性管理电路1294A-1294E的多个示例，但是偏置/一致性电路可以在一个或更多个主机处理器1205的MMU内和/或在加速器集成电路1236内实现。
一个实施例允许附接GPU的存储器1220-1223被映射为系统存储器的一部分，并且使用共享虚拟存储器(SVM)技术来访问，但不遭受与全系统高速缓存一致性相关联的性能缺陷。在至少一个实施例中，在没有繁重的高速缓存一致性开销的情况下将GPU附接的存储器1220-1223作为系统存储器访问的能力为GPU卸载提供了有益的操作环境。这种布置允许主机处理器1205软件设置操作数并访问计算结果，而没有传统I/ODMA数据副本的开销。此类传统副本涉及相对于简单存储器存取全部低效的驱动器调用、中断和存储器映射I/O(MMIO)存取。在至少一个实施例中，在没有高速缓存一致性开销的情况下访问GPU附接的存储器1220-1223的能力对于已卸载计算的执行时间可以是关键的。在具有大量流式传输写入存储器流量的情况下，例如，高速缓存相干性开销可显著减小GPU1210-1213所见的有效写入带宽。在至少一个实施例中，操作数设置的效率、结果访问的效率和GPU计算的效率可在确定GPU卸载的有效性中起作用。
在至少一个实施例中，GPU偏置和主机处理器偏置的选择由偏置追踪器数据结构驱动。例如，可以使用偏置表，其可以是每附接GPU的存储器页包含1或2位的页粒度结构(即，在存储器页的粒度下控制)。在至少一个实施例中，可以在GPU附接的存储器1220-1223的便宜的存储器范围中实现偏置表，在GPU1210-1213中具有或不具有偏置高速缓存(例如，用于高速缓存偏置表的频繁/最近使用的条目)。或者，可在GPU内维持整个偏置表。
在至少一个实施例中，在实际访问GPU存储器之前访问与对GPU附接的存储器1220-1223的每次访问相关联的偏置表项，引起以下操作。首先，来自GPU1210-1213的在GPU偏置中找到其页的本地请求被直接转发到对应的GPU存储器1220-1223。来自GPU的在主机偏置中找到其页的本地请求被转发到处理器1205(例如，通过如上文所论述的高速链路)。在一个实施例中，来自处理器1205的在主处理器中找到所请求的页的请求偏置完成像正常存储器读取的请求。或者，可将指向GPU偏置页的请求转发到GPU1210-1213。在至少一个实施例中，如果GPU当前不使用页，那么GPU可接着将页转变到主机处理器偏置。在至少一个实施例中，页面的偏置状态可以通过基于软件的机制、基于硬件辅助的软件的机制或者对于有限的情况集合纯粹的基于硬件的机制来改变。
一种用于改变偏置状态的机制采用API调用(例如，OpenCL)，该API调用进而调用GPU的设备驱动器，该GPU的设备驱动器进而向GPU发送消息(或使命令描述符入队)以引导其改变偏置状态并且对于一些转换在主机中执行高速缓存刷新操作。在至少一个实施例中，高速缓存清空操作用于从主机处理器1205偏置到GPU偏置的转变，但不用于相反的转变。
在一个实施例中，通过暂时使GPU偏置的页不可由主机处理器1205高速缓存来维持高速缓存相干性。为了访问这些页，处理器1205可以从GPU1210请求访问，GPU1210可以或可以不立刻授权访问。由此，为了减少处理器1205与GPU1210之间的通信，确保GPU偏置的页是GPU而非主机处理器1205所需的页且反之亦然是有益的。
推理和/或训练逻辑615用于执行一个或更多个实施例。下面结合图6A和/或图6B提供关于推理和/或训练逻辑615的细节。
推理和/或训练逻辑615用于执行与一个或更多个实施例相关联的推理和/或训练操作。在至少一个实施例中，此逻辑可与这些图的组件一起使用，以训练分割网络和/或使用这些网络进行推理。
图13示出了根据本文描述的不同实施例的可以使用一个或更多个IP核制造的示范性集成电路和相关联的图形处理器。除了所示出的内容之外，在至少一个实施例中可以包括其他逻辑和电路，包括附加的图形处理器/核、外围接口控制器或通用处理器核。
图13是根据至少一个实施例示出了可以使用一个或更多个IP核制造的示例性片上系统集成电路1300的框图。在至少一个实施例中，集成电路1300包括一个或更多个应用处理器1305(例如，CPU)、至少一个图形处理器1310，并且可以另外包括图像处理器1315和/或视频处理器1320，它们中的任何一个可以是模块化IP核。在至少一个实施例中，集成电路1300包括外围或总线逻辑，该外围或总线逻辑包括USB控制器1325、UART控制器1330、SPI/SDIO控制器1335和I2S/I2C控制器1340。在至少一个实施例中，集成电路1300可包括耦合到高清晰度多媒体接口(HDMI)控制器1350和移动行业处理器接口(MIPI)显示接口1355中的一个或更多个的显示设备1345。在至少一个实施例中，存储可以由包括闪存和闪存控制器的闪存子系统1360提供。在至少一个实施例中，存储器接口可以经由存储器控制器1365提供，用于访问SDRAM或SRAM存储器设备。在至少一个实施例中，一些集成电路另外包括嵌入式安全引擎1370。
推理和/或训练逻辑615用于执行与一个或更多个实施例相关联的推理和/或训练操作。下面结合图6A和/或图6B提供关于推理和/或训练逻辑615的细节。在至少一个实施例中，可以在集成电路1300中使用推理和/或训练逻辑615，用于至少部分地基于使用在此描述的神经网络训练操作、神经网络功能和/或架构或神经网络使用情况计算的权重参数来推理或预测操作。
推理和/或训练逻辑615用于执行与一个或更多个实施例相关联的推理和/或训练操作。在至少一个实施例中，此逻辑可与这些图的组件一起使用，以训练分割网络和/或使用这些网络进行推理。
图14A-14B示出了根据本文描述的各种实施例的可使用一个或更多个IP核制造的示例性集成电路和相关联的图形处理器。除了所示出的内容之外，在至少一个实施例中可以包括其他逻辑和电路，包括附加的图形处理器/核、外围接口控制器或通用处理器核。
图14A-14B是示出了根据本文描述的实施例的在SoC内使用的示范性图形处理器的框图。图14A示出了根据至少一个实施例的可使用一个或更多个IP核制造的片上系统集成电路的示例性图形处理器1410。图14B示出了根据至少一个实施例的可以使用一个或更多个IP核制造的片上系统集成电路的附加示范性图形处理器1440。在至少一个实施例中，图14A的图形处理器1410是低功率图形处理器核。在至少一个实施例中，图14B的图形处理器1440是更高性能的图形处理器核。在至少一个实施例中，图形处理器1410、1440中的每个图形处理器可以是图13的图形处理器1310的变体。
在至少一个实施例中，图形处理器1410包括顶点处理器1405和一个或更多个片段处理器1415A-1415N(例如，1415A、1415B、1415C、1415D至1415N-1和1415N)。在至少一个实施例中，图形处理器1410可经由单独逻辑执行不同着色器程序，使得顶点处理器1405经优化以执行用于顶点着色器程序的操作，而一个或更多个片段处理器1415A到1415N执行用于片段或像素着色器程序的片段(例如，像素)着色操作。在至少一个实施例中，顶点处理器1405执行3D图形管线的顶点处理级且产生图元和顶点数据。在至少一个实施例中，一个或更多个片段处理器1415A-1415N使用由顶点处理器1405生成的图元和顶点数据来产生显示在显示设备上的帧缓冲器。在至少一个实施例中，片段处理器1415A-1415N经优化以执行如OpenGL API中提供的片段着色器程序，其可用以执行与如直接3D API中提供的像素着色器程序类似的操作
在至少一个实施例中，图形处理器1410另外包括一个或更多个存储器管理单元(MMU)1420A-1420B、一个或更多个高速缓存1425A-1425B和一个或更多个电路互连1430A-1430B。在至少一个实施例中，一个或更多个MMU 1420A-1420B为图形处理器1410提供虚拟到物理地址映射，包含顶点处理器1405和/或片段处理器1415A到1415N，其可参考存储在存储器中的顶点或图像/纹理数据，除了存储在一个或更多个高速缓存1425A-1425B中的顶点或图像/纹理数据之外。在至少一个实施例中，一个或更多个MMU 1420A-1420B可与系统内的其他MMU同步，包含与一个或更多个应用程序处理器1305、图像处理器1315相关联的一个或更多个MMU，和/或图13的视频处理器1320，从而使得每个处理器1305-1320可以参与共享或统一的虚拟存储器系统。在至少一个实施例中，一个或更多个电路互连1430A-1430B使得图形处理器1410能够经由SoC的内部总线或经由直接连接与SoC内的其他IP核对接。
在至少一个实施例中，图形处理器1440包括图14A的图形处理器1410的一个或更多个MMU 1420A-1420B、一个或更多个高速缓存1425A-1425B和一个或更多个电路互连1430A-1430B。在至少一个实施例中，图形处理器1440包含一个或更多个着色器核1455A到1455N(例如，1455A、1455B、1455C、1455D、1455E、1455F到1455N-1和1455N)，其提供统一着色器核架构，其中单个核或类型或核可执行所有类型的可编程着色器代码，包含用以实施顶点着色器、片段着色器和/或计算着色器的着色器程序代码。在至少一个实施例中，着色器核的数量可以变化。在至少一个实施例中，图形处理器1440包括核间任务管理器1445，其用作线程分派器以将执行线程分派到一个或更多个着色器核1455A-1455N和平铺单元1458以加速用于基于平铺块的再现的平铺操作，其中在图像空间中细分场景的渲染操作，例如，以利用场景内的局部空间相干性或优化内部高速缓存的使用。
推理和/或训练逻辑615用于执行与一个或更多个实施例相关联的推理和/或训练操作。下面结合图6A和/或图6B提供关于推理和/或训练逻辑615的细节。在至少一个实施例中，可以在集成电路14A和/或14B中使用推理和/或训练逻辑615，用于至少部分地基于使用在此描述的神经网络训练操作、神经网络功能和/或架构或神经网络使用情况计算的权重参数来推理或预测操作。推理和/或训练逻辑615用于执行与一个或更多个实施例相关联的推理和/或训练操作。在至少一个实施例中，此逻辑可与这些图的组件一起使用，以训练分割网络和/或使用这些网络进行推理。
图15A-15B示出了根据本文所描述的实施例的附加的示范性图形处理器逻辑。图15A示出了在至少一个实施例中可以包括在图13的图形处理器1310内并且在至少一个实施例中可以是如图14B中的统一着色器核1455A-1455N的图形核1500。图15B示出了在至少一个实施例中适合于部署在多芯片模块上的高度并行的通用图形处理单元1530。
在至少一个实施例中，图形核1500包括对于图形核1500内的执行资源共用的共享指令高速缓存1502、纹理单元1518、和高速缓存/共享存储器1520。在至少一个实施例中，图形核1500可以包括多个切片1501A-1501N或用于每个核的分区，并且图形处理器可以包括图形核1500的多个示例。切片1501A-1501N可包括支持逻辑，该支持逻辑包括本地指令高速缓存1504A-1504N、线程调度器1506A-1506N、线程分派器1508A-1508N和寄存器组1510A-1510N。在至少一个实施例中，片1501A-1501N可包括一组附加功能单元(AFU1512A-1512N)、浮点单元(FPU1514A-1514N)、整数算术逻辑单元(ALU1516-1516N)、地址计算单元(ACU1513A-1513N)、双精度浮点单元(DPFPU1515A-1515N)和矩阵处理单元(MPU1517A-1517N)。
在至少一个实施例中，FPU 1514A-1514N可执行单精度(32位)和半精度(16位)浮点运算，而DPFPU 1515A-1515N执行双精度(64位)浮点运算。在至少一个实施例中，ALU1516A-1516N能够以8位、16位和32位精度执行可变精度整数操作，并且能够被配置用于混合精度操作。在至少一个实施例中，MPU 1517A-1517N还可被配置用于混合精度矩阵运算，包括半精度浮点和8位整数运算。在至少一个实施例中，MPU 1517A-1517N可以执行各种矩阵操作以加速机器学习应用框架，包括使得能够支持加速的通用矩阵到矩阵乘法(GEMM)。在至少一个实施例中，AFU 1512A-1512N可执行浮点或整数单元不支持的附加逻辑运算，包括三角运算(例如，正弦、余弦等)。
推理和/或训练逻辑615用于执行与一个或更多个实施例相关联的推理和/或训练操作。下面结合图6A和/或图6B提供关于推理和/或训练逻辑615的细节。在至少一个实施例中，推理和/或训练逻辑615可以在图形核1500中用于至少部分地基于使用在此描述的神经网络训练操作、神经网络功能和/或架构或神经网络使用情况计算的权重参数来推理或预测操作。
推理和/或训练逻辑615用于执行与一个或更多个实施例相关联的推理和/或训练操作。在至少一个实施例中，此逻辑可与这些图的组件一起使用，以训练分割网络和/或使用这些网络进行推理。
图15B示出了在至少一个实施例中的通用处理单元(GPGPU)1530，所述GPGPU可以被配置成用于使得能够由图形处理单元阵列执行高度并行的计算操作。在至少一个实施例中，GPGPU1530可直接链接到GPGPU1530的其他示例以创建多GPU群集以改进深度神经网络的训练速度。在至少一个实施例中，GPGPU1530包含主机接口1532以实现与主机处理器的连接。在至少一个实施例中，主机接口1532是PCI高速接口。在至少一个实施例中，主机接口1532可以是供应商特定的通信接口或通信结构。在至少一个实施例中，GPGPU1530从主机处理器接收命令且使用全局调度器1534来将与那些命令相关联的执行线程分配到计算群集1536A-1536H的集合。在至少一个实施例中，计算集群1536A-1536H共享高速缓存存储器1538。在至少一个实施例中，高速缓存存储器1538可以充当计算集群1536A-1536H内的高速缓存存储器的高级高速缓存。
在至少一个实施例中，GPGPU1530包含经由存储器控制器1542A到1542B的集合与计算群集1536A到1536H耦合的存储器1544A到1544B。在至少一个实施例中，存储器1544A-1544B可以包括不同类型的存储器设备，包括动态随机存取存储器(DRAM)或图形随机存取存储器，诸如同步图形随机存取存储器(SGRAM)，包括图形双倍数据速率(GDDR)存储器。
在至少一个实施例中，计算集群1536A-1536H各自包括图形核的集合，如图15A的图形核1500，所述图形核可以包括多种类型的整数和浮点逻辑单元，所述整数和浮点逻辑单元可以在包括适合于机器学习计算的精度范围内执行计算操作。例如，在至少一个实施例中，计算集群1536A-1536H中的每一个中的至少一个浮点单元子集可被配置成执行16位或32位浮点运算，而不同的浮点单元子集可被配置成执行64位浮点运算。
在至少一个实施例中，GPGPU1530的多个示例可经配置以作为计算群集操作。在至少一个实施例中，由计算集群1536A-1536H用于同步和数据交换的通信跨实施例而变化。在至少一个实施例中，GPGPU1530的多个示例通过主机接口1532通信。在至少一个实施例中，GPGPU1530包含I/O集线器1539，其将GPGPU1530与GPU链路1540耦合，GPU链路1540使得能够直接连接到GPGPU1530的其他示例。在至少一个实施例中，GPU链路1540耦合到使得能够在GPGPU1530的多个示例之间进行通信和同步的专用GPU到GPU桥。在至少一个实施例中，GPU链路1540与高速互连耦合以向其他GPGPU或并行处理器传输和接收数据。在至少一个实施例中，GPGPU1530的多个示例位于单独的数据处理系统中并且经由可经由主机接口1532访问的网络装置进行通信。在至少一个实施例GPU中，除了主机接口1532之外或作为主机接口1532的替代，链路1540可经配置以实现到主机处理器的连接。
在至少一个实施例中，GPGPU1530可经配置以训练神经网络。在至少一个实施例中，可以在推理平台内使用GPGPU1530。在其中GPGPU1530用于推理的至少一个实施例中，相对于在GPGPU用于训练神经网络时，GPGPU可包含较少的计算群集1536A-1536H。在至少一个实施例中，与存储器1544A-1544B相关联的存储器技术可以在推理配置和训练配置之间不同，其中更高带宽的存储器技术专用于训练配置。在至少一个实施例中，GPGPU1530的推理配置可支持推理特定指令。例如，在至少一个实施例中，推理配置可提供对一个或更多个8位整数点积指令的支持，其可在针对所部署的神经网络的推理操作期间使用。
推理和/或训练逻辑615用于执行与一个或更多个实施例相关联的推理和/或训练操作。下面结合图6A和/或图6B提供关于推理和/或训练逻辑615的细节。在至少一个实施例中，推理和/或训练逻辑615可以在GPGPU1530中用于至少部分地基于使用在此描述的神经网络训练操作、神经网络功能和/或架构或神经网络使用情况计算的权重参数来推理或预测操作。
推理和/或训练逻辑615用于执行与一个或更多个实施例相关联的推理和/或训练操作。在至少一个实施例中，此逻辑可与这些图的组件一起使用，以训练分割网络和/或使用这些网络进行推理。
图16是示出根据至少一个实施例的计算系统1600的框图。在至少一个实施例中，计算系统1600包括处理子系统1601，该处理子系统具有经由互连路径进行通信的一个或更多个处理器1602和系统存储器1604，该互连路径可以包括存储器集线器1605。在至少一个实施例中，存储器集线器1605可以是芯片组部件内的单独部件，或者可以集成在一个或更多个处理器1602内。在至少一个实施例中，存储器集线器1605经由通信链路1606与I/O子系统1611耦合。在至少一个实施例中，I/O子系统1611包括能够使计算系统1600能够从一个或更多个输入设备1608接收输入的I/O中枢1607。在至少一个实施例中，I/O集线器1607可以使可以包括在一个或更多个处理器1602中的显示控制器能够向一个或更多个显示设备1610A提供输出。在至少一个实施例中，与I/O中枢1607耦合的一个或更多个显示设备1610A可以包括本地、内部或嵌入式显示设备。
在至少一个实施例中，处理子系统1601包括经由总线或其他通信链路1613耦接到存储器集线器1605的一个或更多个并行处理器1612。在至少一个实施例中，通信链路1613可以是任何数量的基于标准的通信链路技术或协议之一，诸如但不限于PCI高速，或者可以是供应商特定的通信接口或通信结构。在至少一个实施例中，一个或更多个并行处理器1612形成计算聚焦的并行或向量处理系统，该系统可以包括大量处理单元和/或处理集群，诸如许多集成核(MIC)处理器。在至少一个实施例中，一个或更多个并行处理器1612形成图形处理子系统，该图形处理子系统可以将像素输出到经由I/O中枢1607耦合的一个或更多个显示设备1610A中的一个。在至少一个实施例中，一个或更多个并行处理器1612还可以包括显示控制器和显示接口(未示出)以实现到一个或更多个显示设备1610B的直接连接。
在至少一个实施例中，系统存储单元1614可连接到I/O集线器1607以提供用于计算系统1600的存储机制。在至少一个实施例中，I/O交换机1616可以用于提供接口机制以启用I/O集线器1607与其他部件之间的连接，诸如可以集成到一个或更多个平台中的网络适配器1618和/或无线网络适配器1619，以及可经由一个或更多个附加设备1620添加的各种其他设备。在至少一个实施例中，网络适配器1618可以是以太网适配器或另一个有线网络适配器。在至少一个实施例中，无线网络适配器1619可以包括Wi-Fi、蓝牙、近场通信(NFC)或包括一个或更多个无线电的其他网络设备中的一个或更多个。
在至少一个实施例中，计算系统1600可以包括未明确示出的其他部件，包括USB或其他端口连接、光学存储驱动器、视频采集设备等，还可以连接至I/O集线器1607。在至少一个实施例中，可以使用任何合适的协议(如基于PCI(外围部件互连)的协议(例如，PCI快速))或其他总线或点对点通信接口和/或一个或更多个协议(如NV链路高速互连)或互连协议来实现将图16中的各个部件互连的通信路径。
在至少一个实施例中，一个或更多个并行处理器1612合并对于图形和视频处理优化的电路，包括例如视频输出电路，并且构成图形处理单元(GPU)。在至少一个实施例中，一个或更多个并行处理器1612合并为通用处理优化的电路。在至少一个实施例中，计算系统1600的组件可以与一个或更多个其他系统元件集成在单个集成电路上。例如，在至少一个实施例中，一个或更多个并行处理器1612、存储器集线器1605、一个或更多个处理器1602和I/O集线器1607可以集成到片上系统(SoC)集成电路中。在至少一个实施例中，计算系统1600的组件可以集成到单个包中以形成系统级包(SIP)配置。在至少一个实施例中，计算系统1600的组件的至少一部分可以集成到多芯片模块(MCM)中，所述多芯片模块可以与其他多芯片模块互连到模块化计算系统中。
推理和/或训练逻辑615用于执行与一个或更多个实施例相关联的推理和/或训练操作。下面结合图6A和/或图6B提供关于推理和/或训练逻辑615的细节。在至少一个实施例中，推理和/或训练逻辑615可以在系统1600中用于至少部分地基于使用在此描述的神经网络训练操作、神经网络功能和/或架构或神经网络使用情况计算的权重参数来推理或预测操作。
推理和/或训练逻辑615用于执行与一个或更多个实施例相关联的推理和/或训练操作。在至少一个实施例中，此逻辑可与这些图的组件一起使用，以训练分割网络和/或使用这些网络进行推理。
处理器
图17A示出了根据至少一个实施例的并行处理器1700。在至少一个实施例中，并行处理器1700的不同部件可使用一个或更多个集成电路设备(诸如可编程处理器、专用集成电路(ASIC)或现场可编程门阵列(FPGA))来实现。在至少一个实施例中，所示出的并行处理器1700是根据示范性实施例的图16中所示的一个或更多个并行处理器1612的变体。
在至少一个实施例中，并行处理器1700包括并行处理单元1702。在至少一个实施例中，并行处理单元1702包括允许与其他设备(包括并行处理单元1702的其他示例)通信的I/O单元1704。在至少一个实施例中，I/O单元1704可以直接连接到其他设备。在至少一个实施例中，I/O单元1704经由使用集线器或交换机接口(诸如存储器集线器1605)与其他设备连接。在至少一个实施例中，存储器集线器1605与I/O单元1704之间的连接形成通信链路1613。在至少一个实施例中，I/O单元1704与主机接口1706和纵横存储器1716连接，其中主机接口1706接收指向执行处理操作的命令，并且纵横存储器1716接收指向执行存储器操作的命令。
在至少一个实施例中，当主机接口1706经由I/O单元1704接收命令缓冲器时，主机接口1706可以将执行那些命令的工作操作引导到前端1708。在至少一个实施例中，前端1708与调度器1710耦合，该调度器被配置用于向处理集群阵列1712分发命令或其他工作项。在至少一个实施例中，调度器1710确保在任务被分发到处理集群阵列1712之前处理集群阵列1712被适当地配置并且处于有效状态。在至少一个实施例中，通过在微控制器上执行的固件逻辑来实现调度器1710。在至少一个实施例中，微控制器实现的调度器1710可配置成以粗和细粒度执行复杂的调度和工作分配操作，使得能够快速抢占和在处理阵列1712上执行的线程的上下文切换。在至少一个实施例中，主机软件可以经由多个图形处理门铃之一证明用于在处理阵列1712上调度的工作负荷。在至少一个实施例中，然后可以由包括调度器1710的微控制器内的调度器1710逻辑跨处理阵列1712自动地分配工作负荷。
在至少一个实施例中，处理集群阵列1712可以包括多达“N”个处理集群(例如，集群1714A、集群1714B至集群1714N)。在至少一个实施例中，处理集群阵列1712的每个集群1714A-1714N可以执行大量并发线程。在至少一个实施例中，调度器1710可以使用不同调度和/或工作分配算法来将工作分配给处理集群阵列1712的集群1714A-1714N，这些调度和/或工作分配算法可以取决于针对每种类型的程序或计算而产生的工作负荷而变化。在至少一个实施例中，调度可以由调度器1710动态地处理，或者可以在配置用于由处理集群阵列1712执行的程序逻辑的编译期间部分地由编译器逻辑辅助。在至少一个实施例中，处理集群阵列1712的不同集群1714A-1714N可以被分配用于处理不同类型的程序或用于执行不同类型的计算。
在至少一个实施例中，处理集群阵列1712可以被配置成用于执行不同类型的并行处理操作。在至少一个实施例中，处理集群阵列1712被配置为执行通用并行计算操作。例如，在至少一个实施例中，处理集群阵列1712可以包括用于执行处理任务的逻辑，所述处理任务包括视频和/或音频数据的过滤、执行建模操作(包括物理操作)以及执行数据转换。
在至少一个实施例中，处理集群阵列1712被配置为执行并行图形处理操作。在至少一个实施例中，处理集群阵列1712可以包括用于支持这样的图形处理操作的执行的附加逻辑，包括但不限于用于执行纹理操作的纹理采样逻辑以及镶嵌逻辑和其他顶点处理逻辑。在至少一个实施例中，处理集群阵列1712可以被配置成用于执行图形处理相关的着色器程序，如但不限于顶点着色器、曲面细分着色器、几何形状着色器和像素着色器。在至少一个实施例中，并行处理单元1702可以经由I/O单元1704从系统存储器传送数据以用于处理。在至少一个实施例中，在处理期间，可以在处理期间将所传输的数据存储到片上存储器(例如，并行处理器存储器1722)，然后写回到系统存储器。
在至少一个实施例中，当并行处理单元1702用于执行图形处理时，调度器1710可以被配置为将处理工作负荷划分为大致相等大小的任务，以更好地实现将图形处理操作分配到处理集群阵列1712的多个集群1714A-1714N。在至少一个实施例中，处理集群阵列1712的部分可以被配置成用于执行不同类型的处理。例如，在至少一个实施例中，第一部分可经配置以执行顶点着色和拓扑产生，第二部分可经配置以执行曲面细分和几何形状着色，且第三部分可经配置以执行像素着色或其他屏幕空间操作以产生经再现图像以供显示。在至少一个实施例中，由集群1714A-1714N中的一个或更多个集群产生的中间数据可以存储在缓冲器中，以允许在集群1714A-1714N之间传输中间数据以供进一步处理。
在至少一个实施例中，处理集群阵列1712可以经由调度器1710接收要执行的处理任务，调度器1710从前端1708接收定义处理任务的命令。在至少一个实施例中，处理任务可以包括有待处理的数据的索引，例如，表面(补丁)数据、图元数据、顶点数据、和/或像素数据、以及定义如何处理数据的状态参数和命令(例如，执行什么程序)。在至少一个实施例中，调度器1710可以被配置为提取对应于任务的索引或可以从前端1708接收索引。在至少一个实施例中，前端1708可以被配置为确保处理集群阵列1712被配置为在由进入的命令缓冲器(例如，批量缓冲器、推送缓冲器等)指定的工作负荷被启动之前处于有效状态。
在至少一个实施例中，并行处理单元1702的一个或更多个示例中的每一个可与并行处理器存储器1722耦合。在至少一个实施例中，可以经由存储器交叉1716访问并行处理器存储器1722，存储器交叉1716可以从处理集群阵列1712以及I/O单元1704接收存储器请求。在至少一个实施例中，存储器交叉1716可以经由存储器接口1718来访问并行处理器存储器1722。在至少一个实施例中，存储器接口1718可包括多个分区单元(例如，分区单元1720A、分区单元1720B至分区单元1720N)，每个分区单元可耦接至并行处理器存储器1722的一部分(例如，存储器单元)。在至少一个实施例中，分区单元1720A-1720N的数量被配置为等于存储器单元的数量，使得第一分区单元1720A具有对应的第一存储器单元1724A，第二分区单元1720B具有对应的存储器单元1724B，第N分区单元1720N具有对应的第N存储单元1724N。在至少一个实施例中，分区单元1720A-1720N的数量可不等于存储装置的数量。
在至少一个实施例中，存储器单元1724A-1724N可以包括不同类型的存储器设备，包括动态随机存取存储器(DRAM)或图形随机存取存储器，诸如同步图形随机存取存储器(SGRAM)，包括图形双倍数据速率(GDDR)存储器。在至少一个实施例中，存储器单元1724A-1724N还可以包括3D堆叠存储器，包括但不限于高带宽存储器(HBM)。在至少一个实施例中，可以跨存储器单元1724A-1724N存储渲染目标(诸如帧缓冲器或纹理图)，从而允许分区单元1720A-1720N并行地写入每个渲染目标的部分以有效地使用并行处理器存储器1722的可用带宽。在至少一个实施例中，并行处理器存储器1722的本地示例可被排除，以有利于结合本地高速缓存存储器利用系统存储器的统一存储器设计。
在至少一个实施例中，处理群集阵列1712的群集1714A-1714N中的任一者可处理将被写入到并行处理器存储器1722内的存储器单元1724A-1724N中的任一者的数据。在至少一个实施例中，内存交叉1716可以被配置成用于将每个集群1714A-1714N的输出转移至任何分区单元1720A-1720N或转移至另一个集群1714A-1714N，该集群可以对输出执行额外的处理操作。在至少一个实施例中，每个集群1714A-1714N可以通过存储器交叉1716与存储器接口1718通信以从不同外部存储器设备读取或向其写入。在至少一个实施例中，存储器交叉1716具有到存储器接口1718的连接，以与I/O单元1704通信，以及到并行处理器存储器1722的本地示例的连接，使得不同处理集群1714A-1714N内的处理单元能够与系统存储器或对并行处理单元1702而言不是本地的其他存储器通信。在至少一个实施例中，内存纵横1716可以使用虚拟信道来分离集群1714A-1714N与分区单元1720A-1720N之间的业务流。
在至少一个实施例中，并行处理单元1702的多个示例可设置在单个附加卡上，或多个附加卡可互连。在至少一个实施例中，并行处理单元1702的不同示例可被配置成相互操作，即使不同示例具有不同数量的处理单元、不同量的本地并行处理器存储器和/或其他配置差异。例如，在至少一个实施例中，并行处理单元1702的一些示例可包括相对于其他示例更高精度的浮点单元。在至少一个实施例中，合并并行处理单元1702或并行处理器1700的一个或更多个示例的系统可以用各种配置和形状因子来实现，包括但不限于台式、膝上型或手持式个人计算机、服务器、工作站、游戏控制台和/或嵌入式系统。
图17B是根据至少一个实施例的分区单元1720的框图。在至少一个实施例中，分区单元1720是图17A的分区单元1720A-1720N中的一个的示例。在至少一个实施例中，分区单元1720包含L2高速缓冲存储器1721、帧缓冲器接口1725和光栅操作单元(“ROP”)1726。L2高速缓冲存储器1721为经配置以执行从存储器交叉1716和ROP1726接收的加载和存储操作的读取/写入高速缓冲存储器。在至少一个实施例中，读取未命中和紧急回写请求由L2高速缓存1721输出到帧缓冲器接口1725用于处理。在至少一个实施例中，更新还可经由帧缓冲器接口1725发送到帧缓冲器以供处理。在至少一个实施例中，帧缓冲器接口1725与并行处理器存储器中的存储器单元之一(诸如图17的存储器单元1724A-1724N(例如，在并行处理器存储器1722内))对接。
在至少一个实施例中，ROP1726为执行光栅操作(例如，模板、z测试、混合等等)的处理单元。在至少一个实施例中，ROP1726接着输出存储于图形存储器中的经处理图形数据。在至少一个实施例中，ROP1726包含用以压缩写入到存储器的深度或色彩数据以及解压缩从存储器读取的深度或色彩数据的压缩逻辑。在至少一个实施例中，压缩逻辑可以是利用多个压缩算法中的一个或更多个的无损压缩逻辑。由ROP1726执行的压缩逻辑可基于待压缩数据的统计特性而变化。例如，在至少一个实施例中，基于每图块对深度和颜色数据执行增量颜色压缩。
在至少一个实施例中，ROP1726包括在每个处理集群(例如，图17A的集群1714A-1714N)内，而不是分区单元1720内。在至少一个实施例中，通过存储器交叉1716而不是像素片段数据传输对像素数据的读取和写入请求。在至少一个实施例中，经处理的图形数据可以被显示在显示设备(如图16的一个或更多个显示设备1610之一)上，被路由以供处理器1602进一步处理，或被路由以供图17A的并行处理器1700内的处理实体之一进一步处理。
图17C是根据至少一个实施例的并行处理单元内的处理集群1714的框图。在至少一个实施例中，处理集群是图17A的处理集群1714A-1714N之一的示例。在至少一个实施例中，一个或更多个处理集群1714中的一个或更多个可以被配置成用于并行执行许多线程，其中“线程”指对特定数据集执行的特定程序的示例。在至少一个实施例中，使用单指令多数据(SIMD)指令发布技术来支持大量线程的并行执行，而不提供多个独立的指令单元。在至少一个实施例中，单指令多线程(SIMT)技术用于使用公共指令单元来支持大量一般同步的线程的并行执行，该公共指令单元被配置成用于向处理集群中的每个处理集群内的处理引擎集合发布指令。
在至少一个实施例中，处理集群1714的操作可以经由将处理任务分配给SIMT并行处理器的管线管理器1732来控制。在至少一个实施例中，管线管理器1732从图17A的调度器1710接收指令并且经由图形多处理器1734和/或纹理单元1736管理那些指令的执行。在至少一个实施例中，图形多处理器1734是SIMT并行处理器的示范性示例。然而，在至少一个实施例中，在处理集群1714内可以包括不同类型的不同架构的SIMT并行处理器。在至少一个实施例中，图形多处理器1734的一个或更多个示例可以包括在处理集群1714内。在至少一个实施例中，图形多处理器1734可以处理数据，并且数据交叉1740可以用于将经处理的数据分配到多个可能的目的地(包括其他着色器单元)中的一个。在至少一个实施例中，管线管理器1732可通过指定要被分发的已处理数据的目的地与数据交叉1740面对面来促进已处理数据的分发。
在至少一个实施例中，处理集群1714内的每个图形多处理器1734可以包括一组相同的功能执行逻辑(例如，算术逻辑单元、加载-存储单元等)。在至少一个实施例中，功能执行逻辑可以以管线方式配置，其中可以在先前的指令完成之前发布新指令。在至少一个实施例中，功能执行逻辑支持不同运算，包括整数和浮点算术、比较运算、布尔运算、位移位和不同代数函数的计算。在至少一个实施例中，可以利用相同的功能单元硬件来执行不同的操作，并且可以存在功能单元的任何组合。
在至少一个实施例中，传输到处理集群1714的指令构成一个线程。在至少一个实施例中，跨一组并行处理引擎执行的一组线程是线程组。在至少一个实施例中，线程组对不同的输入数据执行程序。在至少一个实施例中，可以将线程组内的每个线程分配给图形多处理器1734内的不同处理引擎。在至少一个实施例中，线程组可以包括比图形处理器1734内的多个处理引擎更少的线程。在至少一个实施例中，当线程组包括比多个处理引擎更少的线程时，一个或更多个处理引擎可以在该线程组被处理的周期期间是空闲的。在至少一个实施例中，线程组还可以包括比图形处理器1734内的多个处理引擎更多的线程。在至少一个实施例中，当线程组包括比图形处理器1734内的处理引擎更多的线程时，可以在连续的时钟周期上执行处理。在至少一个实施例中，可以在图形多处理器1734上同时执行多个线程组。
在至少一个实施例中，图形多处理器1734包括用于执行加载和存储操作的内部高速缓存存储器。在至少一个实施例中，图形多处理器1734可以放弃内部高速缓存并使用处理集群1714内的高速缓存存储器(例如，L1高速缓存1748)。在至少一个实施例中，每个图形多处理器1734还可访问在所有处理集群1714之间共享的并且可用于在线程之间传输数据的分区单元(例如，图17A的分区单元1720A-1720N)内的L2缓存。在至少一个实施例中，图形多处理器1734还可以访问片外全局存储器，片外全局存储器可以包括本地并行处理器存储器和/或系统存储器中的一个或更多个。在至少一个实施例中，并行处理单元1702外部的任何存储器可以用作全局存储器。在至少一个实施例中，处理集群1714包括图形多处理器1734的多个示例可以共享公共指令和数据，它们可以存储在L1高速缓存1748中。
在至少一个实施例中，每个处理集群1714可以包括被配置成用于将虚拟地址映射到物理地址的存储器管理单元(“MMU”)1745。在至少一个实施例中，MMU1745的一个或更多个示例可驻留在图17A的存储器接口1718内。在至少一个实施例中，MMU1745包含用于将虚拟地址映射到瓦片的物理地址的页表条目(PTE)集合和任选地高速缓存行索引。在至少一个实施例中，MMU1745可以包括可以驻留在图形多处理器1734或L1高速缓存或处理集群1714内的地址转换后备缓冲器(TLB)或高速缓存。在至少一个实施例中，处理物理地址以分布表面数据访问局部性，从而允许分区单元之间的有效请求交错。在至少一个实施例中，高速缓存行索引可用于确定对高速缓存行的请求是命中还是未中。
在至少一个实施例中，处理集群1714可以被配置为使得每个图形多处理器1734耦合到纹理单元1736用于执行纹理映射操作，例如，确定纹理样本位置、读取纹理数据和过滤纹理数据。在至少一个实施例中，从内部纹理L1高速缓存(未示出)或从图形多处理器1734内的L1高速缓存读取纹理数据，并且根据需要从L2高速缓存、本地并行处理器存储器或系统存储器获取纹理数据。在至少一个实施例中，每个图形多处理器1734向数据交叉1740输出经处理的任务，以向另一处理集群1714提供经处理的任务一个或更多个以供进一步处理，或者经由存储器交叉1716将经处理的任务一个或更多个存储在L2高速缓存、本地并行处理器存储器或系统存储器中。在至少一个实施例中，预ROP1742(预光栅操作单元)经配置以从图形多处理器1734接收数据，将数据引导到ROP单元，ROP单元可位于如本文描述的分区单元(例如，图17A的分区单元1720A-1720N)中。在至少一个实施例中，预ROP1742单元可执行用于颜色混合的优化、组织像素颜色数据和执行地址转换。
推理和/或训练逻辑615用于执行与一个或更多个实施例相关联的推理和/或训练操作。下面结合图6A和/或图6B提供关于推理和/或训练逻辑615的细节。在至少一个实施例中，推理和/或训练逻辑615可以在图形处理集群1714中用于至少部分地基于使用在此描述的神经网络训练操作、神经网络功能和/或架构或神经网络使用情况计算的权重参数来推理或预测操作。
推理和/或训练逻辑615用于执行与一个或更多个实施例相关联的推理和/或训练操作。在至少一个实施例中，此逻辑可与这些图的组件一起使用，以训练分割网络和/或使用这些网络进行推理。
图17D示出了根据至少一个实施例的图形多处理器1734。在至少一个实施例中，图形多处理器1734与处理集群1714的管线管理器1732耦合。在至少一个实施例中，图形多处理器1734具有执行管线，包括但不限于指令高速缓存1752、指令单元1754、地址映射单元1756、寄存器文件1758、一个或更多个通用图形处理单元(GPGPU)核1762以及一个或更多个加载/存储单元1766。GPGPU核1762和加载/存储单元1766经由存储器和高速缓存互连1768与高速缓存存储器1772和共享存储器1770耦合。
在至少一个实施例中，指令高速缓存1752从管线管理器1732接收要执行的指令流。在至少一个实施例中，指令被高速缓存在指令高速缓存1752中并且被分派以供指令单元1754执行。在至少一个实施例中，指令单元1754可以将指令分派为线程组(例如，经线)，其中每个线程组被指派到一个或更多个GPGPU核1762内的不同执行单元。在至少一个实施例中，指令可通过指定统一地址空间内的地址来访问本地、共享或全局地址空间中的任一个。在至少一个实施例中，地址映射单元1756可用于将统一地址空间中的地址转换成可由加载/存储单元1766访问的不同存储器地址在至少一个实施例中，寄存器文件1758为图形多处理器1734的功能单元提供一组寄存器。在至少一个实施例中，寄存器文件1758为连接到图形处理器1734的功能单元(例如，GPGPU核1762、加载/存储单元1766)的数据路径的操作数提供临时存储。在至少一个实施例中，寄存器文件1758在每个功能单元之间划分，使得每个功能单元被分配寄存器文件1758的专用部分。在至少一个实施例中，寄存器文件1758在由图形多处理器1734执行的不同经线之间划分。
在至少一个实施例中，GPGPU核1762可以各自包括用于执行图形多处理器1734的指令的浮点单元(FPU)和/或整数算术逻辑单元(ALU)。GPGPU核1762可在架构上类似或可在架构上不同。在至少一个实施例中，GPGPU核的第一部分1762包括单精度FPU和整数ALU，而GPGPU核的第二部分包括双精度FPU。在至少一个实施例中，FPU可实现用于浮点运算的IEEE754-2008标准或实现可变精度浮点运算。在至少一个实施例中，图形多处理器1734还可以包括一个或更多个固定功能或特殊功能单元，以执行诸如复制矩形或像素混合操作的特定功能。在至少一个实施例中，GPGPU核中的一个或更多个还可以包括固定或特殊功能逻辑。
在至少一个实施例中，GPGPU核1762包括能够对多个数据集执行单个指令的SIMD逻辑。在至少一个实施例中，GPGPU核1762可以物理地执行SIMD4、SIMD8和SIMD16指令，并且逻辑地执行SIMD1、SIMD2和SIMD32指令。在至少一个实施例中，用于GPGPU核的SIMD指令可在编译时间由着色器编译器生成，或者在执行针对单程序多数据(SPMD)或SIMT架构编写和编译的程序时自动生成。在至少一个实施例中，被配置用于SIMT执行模型的程序的多个线程可以经由单个SIMD指令来执行。例如，在至少一个实施例中，可以经由单个SIMD8逻辑单元并行地执行其执行相同或相似操作的八个SIMT线程。
在至少一个实施例中，存储器和高速缓存互连1768是将图形多处理器1734的每个功能单元连接到寄存器文件1758和共享存储器1770的互连网络。在至少一个实施例中，存储器和高速缓存互连1768是允许加载/存储单元1766实现共享存储器1770与寄存器文件1758之间的加载和存储操作的纵横互连。在至少一个实施例中，寄存器文件1758可以以与GPGPU核1762相同的频率操作，因此在GPGPU核1762和寄存器文件1758之间的数据传送是非常低的等待时间。在至少一个实施例中，可以使用共享存储器1770来实现在图形多处理器1734内的功能单元上执行的线程之间的通信。在至少一个实施例中，高速缓冲存储器1772可用作例如数据高速缓冲存储器，以对在功能单元与纹理单元1736之间传送的纹理数据进行高速缓存。在至少一个实施例中，共享存储器1770还可以用作程序管理的高速缓存。在至少一个实施例中，在GPGPU核心1762上执行的线程除了存储在高速缓冲存储器1772内的自动高速缓存的数据之外还可编程地将数据存储在共享存储器内。
在至少一个实施例中，如本文中所描述的并行处理器或GPGPU通信地耦合到主机/处理器核心以加速图形操作、机器学习操作、模式分析操作和不同通用GPU(GPGPU)功能。在至少一个实施例中，GPU可以通过总线或其他互连(例如，高速互连，如PCIe或NVLink)通信地耦合至主机处理器/核。在至少一个实施例中，GPU可以集成在与核相同的封装或芯片上，并且通过内部处理器总线/互连(即，封装或芯片内部)通信地耦合到核。在至少一个实施例中，不管GPU连接的方式如何，处理器核心都可以工作描述符中包含的命令/指令序列的形式向GPU分配工作。在至少一个实施例中，GPU然后使用专用电路/逻辑来有效地处理这些命令/指令。
推理和/或训练逻辑615用于执行与一个或更多个实施例相关联的推理和/或训练操作。下面结合图6A和/或图6B提供关于推理和/或训练逻辑615的细节。在至少一个实施例中，推理和/或训练逻辑615可在图形多处理器1734中用于至少部分地基于使用本文描述的神经网络训练操作、神经网络功能和/或架构或神经网络使用情况计算的权重参数来推理或预测操作。
推理和/或训练逻辑615用于执行与一个或更多个实施例相关联的推理和/或训练操作。在至少一个实施例中，此逻辑可与这些图的组件一起使用，以训练分割网络和/或使用这些网络进行推理。
图18示出了根据至少一个实施例的多GPU计算系统1800。在至少一个实施例中，多GPU计算系统1800可包含处理器1802，其经由主机接口交换机1804耦合到多个通用图形处理单元(GPGPU)1806A-D。在至少一个实施例中，主机接口交换机1804是将处理器1802耦合到PCI快速总线的PCI快速交换机设备，处理器1802可通过PCI快速总线与GPGPU 1806A-D通信。GPGPU 1806A-D可经由高速点对点GPU到GPU链路1816的集合互连。在至少一个实施例中，GPU到GPU链路1816经由专用GPU链路连接到GPGPU 1806A-D中的每一者。在至少一个实施例中，P2PGPU链路1816实现GPGPU 1806A-D中的每一个之间的直接通信，而不需要处理器1802连接到的主机接口总线1804上的通信。在至少一个实施例中，通过指向P2PGPU链路1816的GPU到GPU流量，主机接口总线1804保持可用于系统存储器访问或例如经由一个或更多个网络装置与多GPU计算系统1800的其他示例通信。虽然在至少一个实施例中，GPGPU1806A-D经由主机接口交换机1804连接到处理器1802，但是在至少一个实施例中，处理器1802包括对P2PGPU链路1816的直接支持，并且可以直接连接到GPGPU 1806A-D。
推理和/或训练逻辑615用于执行与一个或更多个实施例相关联的推理和/或训练操作。下面结合图6A和/或图6B提供关于推理和/或训练逻辑615的细节。在至少一个实施例中，推理和/或训练逻辑615可以在多GPU计算系统1800中用于至少部分地基于使用在此描述的神经网络训练操作、神经网络功能和/或架构或神经网络使用情况计算的权重参数来推理或预测操作。
推理和/或训练逻辑615用于执行与一个或更多个实施例相关联的推理和/或训练操作。在至少一个实施例中，此逻辑可与这些图的组件一起使用，以训练分割网络和/或使用这些网络进行推理。
图19是根据至少一个实施例的图形处理器1900的框图。在至少一个实施例中，图形处理器1900包括环形互连1902、管线前端1904、媒体引擎1937和图形核1980A-1980N。在至少一个实施例中，环形互连1902将图形处理器1900耦合到其他处理单元，包括其他图形处理器或一个或更多个通用处理器核。在至少一个实施例中，图形处理器1900是集成在多核处理系统内的许多处理器之一。
在至少一个实施例中，图形处理器1900经由环形互连1902接收批量命令。在至少一个实施例中，传入命令由管线前端1904中的命令流转化器1903解释。在至少一个实施例中，图形处理器1900包括用于经由一个或更多个图形核1980A-1980N执行3D几何处理和媒体处理的可扩展执行逻辑。在至少一个实施例中，对于3D几何处理命令，命令流转化器1903向几何管线1936供应命令。在至少一个实施例中，对于至少一些媒体处理命令，命令流转化器1903向与媒体引擎1937耦合的视频前端1934提供命令。在至少一个实施例中，媒体引擎1937包括用于视频和图像后处理的视频质量引擎(VQE)1930和用于提供硬件加速的媒体数据编码和解码的多格式编码/解码(MFX)1933引擎。在至少一个实施例中，几何管线1936和媒体引擎1937各自为由至少一个图形核1980A提供的线程执行资源生成执行线程。
在至少一个实施例中，图形处理器1900包括以模块化核1980A-1980N(有时称为核切片)为特征的可缩放线程执行资源，每个模块化核具有多个子核1950A-1950N、1960A-1960N(有时称为核子切片)。在至少一个实施例中，图形处理器1900可以具有任何数量的图形核1980A至1980N。在至少一个实施例中，图形处理器1900包括具有至少第一子核1950A和第二子核1960A的图形核1980A。在至少一个实施例中，图形处理器1900是具有单个子核的低功率处理器(例如，1950A)。在至少一个实施例中，图形处理器1900包括多个图形核1980A-1980N，每个图形核包括第一子核1950A-1950N的集合和第二子核1960A-1960N的集合。在至少一个实施例中，第一子核1950A-1950N中的每个子核至少包括第一组执行单元1952A-1952N和媒体/纹理采样器1954A-1954N。在至少一个实施例中，第二子核1960A-1960N中的每个子核至少包括第二组执行单元1962A-1962N和采样器1964A-1964N。在至少一个实施例中，每个子核1950A-1950N、1960A-1960N共享一组共享资源1970A-1970N。在至少一个实施例中，共享资源包括共享高速缓存存储器和像素操作逻辑。
推理和/或训练逻辑615用于执行与一个或更多个实施例相关联的推理和/或训练操作。下面结合图6A和/或图6B提供关于推理和/或训练逻辑615的细节。在至少一个实施例中，推理和/或训练逻辑615可以在图形处理器1900中用于至少部分地基于使用在此描述的神经网络训练操作、神经网络功能和/或架构或神经网络使用情况计算的权重参数来推理或预测操作。
推理和/或训练逻辑615用于执行与一个或更多个实施例相关联的推理和/或训练操作。在至少一个实施例中，此逻辑可与这些图的组件一起使用，以训练分割网络和/或使用这些网络进行推理。
图20是示出根据至少一个实施例的可以包括执行指令的逻辑电路的处理器2000的微架构的框图。在至少一个实施例中，处理器2000可以执行指令，包括x86指令、ARM指令、专用集成电路(ASIC)的专用指令等。在至少一个实施例中，处理器2000可以包括用于存储紧缩数据的寄存器，诸如在利用来自加利福尼亚州圣克拉拉市的英特尔公司的MMX技术实现的微处理器中的64位宽的MMXTM寄存器。在至少一个实施例中，以整数和浮点形式两者可用的MMX寄存器可以用伴随单指令、多数据(“SIMD”)和流SIMD扩展(“SSE”)指令的紧缩数据元素进行操作。在至少一个实施例中，涉及SSE2、SSE3、SSE4、AVX或超过(统称为“SSEx”)技术的128位宽的XMM寄存器可以保持这种紧缩数据操作数。在至少一个实施例中，处理器2000可以执行指令以加速机器学习或深度学习算法、训练或推理。
在至少一个实施例中，处理器2000包括有序前端(“前端”)2001，该有序前端用于获取有待执行的指令并且准备有待稍后在处理器管线中使用的指令。在至少一个实施例中，前端2001可以包括若干单元。在至少一个实施例中，指令预取器2026从存储器获取指令并且将指令馈送到指令解码器2028，指令解码器2028进而解码或解释指令。例如，在至少一个实施例中，指令解码器2028将接收到的指令解码成机器可以执行的被称为“微指令”或“微操作”(也被称为“微操作”或“uop”)的一个或更多个操作。在至少一个实施例中，指令解码器2028将指令解析为操作码以及相应的数据和控制字段，微架构可以使用这些字段来执行根据至少一个实施例的操作。在至少一个实施例中，追踪高速缓存2030可将解码的微操作汇编成微操作队列2034中的程序有序序列或追踪以供执行。在至少一个实施例中，当追踪高速缓存2030遇到复杂指令时，微代码ROM2032提供完成操作所需的uop。
在至少一个实施例中，一些指令可被转换成单个微操作，而其他指令需要若干微操作来完成完整操作。在至少一个实施例中，如果需要多于四个uop来完成指令，则指令解码器2028可以访问微代码ROM 2032以执行指令。在至少一个实施例中，指令可被解码成小数量的uop用于在指令解码器2028处进行处理。在至少一个实施例中，如果需要多个uop来完成操作，指令可以被存储在微代码ROM2032内。在至少一个实施例中，根据至少一个实施例，追踪高速缓存2030引用入口点可编程逻辑阵列(“PLA”)以确定用于读取微代码序列以完成来自微代码ROM 2032的一个或更多个指令的正确微指令指针。在至少一个实施例中，在微代码ROM2032完成对指令的uop排序之后，机器的前端2001可以恢复从追踪高速缓存2030获取uop。
在至少一个实施例中，乱序执行引擎(“乱序引擎”)2003可以准备用于执行的指令。在至少一个实施例中，乱序执行逻辑具有若干缓冲器以平滑和重新排序指令流，以便在指令流沿着管线下行并且被调度用于执行时优化性能。在至少一个实施例中，乱序执行引擎2003包括但不限于分配器/寄存器重命名器2040、存储器微操作队列2042、整数/浮点微操作队列2044、存储器调度器2046、快速调度器2002、慢速/通用浮点调度器(“慢速/通用FP调度器”)2004，以及简单浮点调度器(“简单FP调度器”)2006。在至少一个实施例中，快速调度器2002、慢速/通用浮点调度器2004和简单浮点调度器2006在此还被统称为“uop调度器2002，2004，2006。”在至少一个实施例中，分配器/寄存器重命名器2040分配每个uop需要以便执行的机器缓冲器和资源。在至少一个实施例中，分配器/寄存器重命名器2040将逻辑寄存器重命名到寄存器文件中的条目上。在至少一个实施例中，在存储器调度器2046和uop调度器2002，2004，2006之前，分配器/寄存器重命名器2040还为两个uop队列之一中的每个uop分配条目，存储器uop队列2042用于存储器操作，整数/浮点uop队列2044用于非存储器操作。在至少一个实施例中，uop调度器2002、2004、2006基于uop的相关输入寄存器操作数源的准备就绪和执行资源的可用性来确定uop何时准备好执行，uop需要完成其操作。在至少一个实施例中，至少一个实施例的快速调度器2002可以在主时钟周期的每一半上进行调度，而慢速/通用浮点调度器2004和简单浮点调度器2006可以每个主处理器时钟周期调度一次。在至少一个实施例中，uop调度器2002、2004、2006仲裁分派端口以调度uop用于执行。
在至少一个实施例中，执行块2011包括但不限于整数寄存器文件/旁路网络2008，浮点寄存器文件/旁路网络(“FP寄存器文件/旁路网络”)2010、地址生成单元(“AGU”)2012和2014，快速算术逻辑单元(ALU)(“快速ALU”)2016和2018、慢速算术逻辑单元(“慢速ALU”)2020，浮点ALU(“FP”)2022和浮点移动单元(“FP移动”)2024。在至少一个实施例中，整数寄存器文件/旁路网络2008和浮点寄存器文件/旁路网络2010在此也被称为“寄存器文件2008、2010。”在至少一个实施例中，AGU 2012和2014、快速ALU 2016和2018、慢速ALU 2020、浮点ALU 2022和浮点移动单元2024在此也被称为“执行单元2012、2014、2016、2018、2020、2022和2024。”在至少一个实施例中，执行块b11可以包括但不限于任意数量(包括零)和类型的寄存器文件、旁路网络、地址生成单元和执行单元以任意组合。
在至少一个实施例中，寄存器文件2008、2010可被布置在uop调度器2002、2004、2006与执行单元2012、2014、2016、2018、2020、2022和2024之间。在至少一个实施例中，整数寄存器文件/旁路网络2008执行整数操作。在至少一个实施例中，浮点寄存器文件/旁路网络2010执行浮点运算。在至少一个实施例中，寄存器文件2008、2010中的每一个可包括但不限于旁路网络，该旁路网络可将尚未写入到寄存器文件中的刚完成的结果旁路或转发到新的依赖uop。在至少一个实施例中，寄存器文件2008、2010可以彼此通信数据。在至少一个实施例中，整数寄存器文件/旁路网络2008可以包括但不限于两个单独的寄存器文件，一个寄存器文件用于低阶三十二位数据，并且第二寄存器文件用于高阶三十二位数据。在至少一个实施例中，浮点寄存器文件/旁路网络2010可以包括但不限于128位宽的条目，因为浮点指令通常具有宽度从64至128位的操作数。
在至少一个实施例中，执行单元2012、2014、2016、2018、2020、2022、2024可以执行指令。在至少一个实施例中，寄存器文件2008、2010存储微指令需要执行的整数和浮点数据操作数值。在至少一个实施例中，处理器2000可以包括但不限于任何数量和组合的执行单元2012、2014、2016、2018、2020、2022、2024。在至少一个实施例中，浮点ALU2022和浮点移动单元2024可执行浮点、MMX、SIMD、AVX和SSE或其他操作，包括专用机器学习指令。在至少一个实施例中，浮点ALU2022可包括但不限于用于执行除法、平方根和余数microop的64位乘64位浮点除法器。在至少一个实施例中，涉及浮点值的指令可用浮点硬件来处理。在至少一个实施例中，ALU操作可以被传递到快速ALU2016、2018。在至少一个实施例中，快速ALUS2016、2018可以执行具有半个时钟周期的有效等待时间的快速操作。在至少一个实施例中，大多数复杂的整数运算去往慢速ALU2020，因为慢速ALU2020可以包括但不限于用于长等待时间类型的运算的整数执行硬件，诸如乘法器、移位、标记逻辑和分支处理。在至少一个实施例中，存储器加载/存储操作可以由AGUS 2012、2014执行。在至少一个实施例中，快速ALU2016、快速ALU2018和慢速ALU2020可以对64位数据操作数执行整数运算。在至少一个实施例中，可以实施快速ALU2016、快速ALU2018和慢速ALU2020来支持各种数据位大小，包括16、32、128、256等。在至少一个实施例中，浮点ALU2022和浮点移动单元2024可以被实现为支持具有不同宽度的位的操作数范围。在至少一个实施例中，浮点ALU2022和浮点移动单元2024可以结合SIMD和多媒体指令对128位宽的紧缩数据操作数进行操作。
在至少一个实施例中，uop调度器2002、2004、2006在父加载完成执行之前分派依赖的操作。在至少一个实施例中，由于uop可被推测性地调度并在处理器2000中执行，处理器2000还可包括用于处理存储器未命中的逻辑。在至少一个实施例中，如果数据加载在数据高速缓存中未命中，则在管线中的飞行中可能存在使调度器具有临时不正确的数据的依赖操作。在至少一个实施例中，重放机制追踪并重新执行使用不正确数据的指令。在至少一个实施例中，依赖操作可能需要被重放，并且独立的操作可被允许完成。在至少一个实施例中，处理器的至少一个实施例的调度器和重放机制还可以被设计为捕获用于文本串比较操作的指令序列。
在至少一个实施例中，术语“寄存器”可以指可以用作用于标识操作数的指令的一部分的板上处理器存储位置。在至少一个实施例中，寄存器可以是可从处理器外部(从编程器的角度)使用的那些寄存器。在至少一个实施例中，寄存器可以不限于特定类型的电路。而是，在至少一个实施例中，寄存器可以存储数据、提供数据、和执行在此描述的功能。在至少一个实施例中，本文描述的寄存器可由处理器内的电路使用任何数量的不同技术来实现，诸如专用物理寄存器、使用寄存器重命名的动态分配的物理寄存器、专用和动态分配的物理寄存器的组合等。在至少一个实施例中，整数寄存器存储32位整数数据。至少一个实施例的寄存器文件还包含用于打包数据的八个多媒体SIMD寄存器。
推理和/或训练逻辑615用于执行与一个或更多个实施例相关联的推理和/或训练操作。下面结合图6A和/或图6B提供关于推理和/或训练逻辑615的细节。在至少一个实施例中，推理和/或训练逻辑615的部分或全部可以结合到执行块2011和所示或未示出的其他存储器或寄存器中。例如，在至少一个实施例中，在此描述的训练和/或推理技术可以使用在执行框2011中示出的ALU中的一个或更多个。此外，可以将权重参数存储在片上或片外存储器和/或寄存器(示出或未示出)中，这些存储器和/或寄存器将执行块2011的ALU配置成用于执行在此描述的一个或更多个机器学习算法、神经网络架构、用例、或训练技术。
推理和/或训练逻辑615用于执行与一个或更多个实施例相关联的推理和/或训练操作。在至少一个实施例中，此逻辑可与这些图的组件一起使用，以训练分割网络和/或使用这些网络进行推理。
图21示出了根据至少一个实施例的深度学习应用处理器2100。在至少一个实施例中，深度学习应用处理器2100使用指令，所述指令如果由深度学习应用处理器2100执行，则使得深度学习应用处理器2100执行贯穿本公开所描述的过程和技术中的一些或全部。在至少一个实施例中，深度学习应用处理器2100是专用集成电路(ASIC)。在至少一个实施例中，由于执行一个或更多个指令或两者，应用处理器2100执行矩阵乘法运算“硬连线”到硬件中。在至少一个实施例中，深度学习应用处理器2100包括但不限于处理集群2110(1)-2110(12)，芯片间链路(“ICL”)2120(1)-2120(12)、芯片间控制器(“ICC”)2130(1)-2130(2)，存储器控制器(“Mem Ctrlrs”)2142(1)-2142(4)、高带宽存储器物理层(“HBM PHY”)2144(1)-2144(4)，管理控制器中央处理单元(“管理控制器CPU”)2150、快速外围组件互连控制器和直接存储器访问块(“PCIe控制器和DMA”)2170，以及十六通道外围组件互连快速端口(“PCI高速x 16”)2180。
在至少一个实施例中，处理集群2110可以执行深度学习操作，包括基于权重参数的推理或预测操作，所述权重参数计算一个或更多个训练技术，包括本文中描述的那些。在至少一个实施例中，每个处理集群2110可以包括但不限于任何数量和类型的处理器。在至少一个实施例中，深度学习应用处理器2100可以包括任何数量和类型的处理集群2100。在至少一个实施例中，芯片间链路2120是双向的。在至少一个实施例中，芯片间链路2120和芯片间控制器2130使得多个深度学习应用处理器2100能够交换信息，包括由执行在一个或更多个神经网络中体现的一个或更多个机器学习算法产生的激活信息。在至少一个实施例中，深度学习应用处理器2100可以包括任何数量(包括零)和类型的ICL2120和ICC2130。
在至少一个实施例中，HBM2 2140提供总共32千兆字节(GB)的存储器。HBM2 2140(i)与存储器控制器2142(i)和HBM PHY2144(i)两者相关联。在至少一个实施例中，任何数量的HBM2 2140可以提供任何类型和总量的高带宽存储器，并且可以与任何数量(包括零)和类型的存储器控制器2142和HBM PHY 2144相关联。在至少一个实施例中，SPI、I2C、GPIO2160、PCIe控制器和DMA2170和/或PCIe2180可被以任何技术上可行的方式启用任何数量和类型的通信标准的任何数量和类型的块替换。
推理和/或训练逻辑615用于执行与一个或更多个实施例相关联的推理和/或训练操作。下面结合图6A和/或图6B提供关于推理和/或训练逻辑615的细节。在至少一个实施例中，深度学习应用处理器2100用于训练机器学习模型(诸如神经网络)以预测或推理提供给深度学习应用处理器2100的信息。在至少一个实施例中，深度学习应用处理器2100用于基于已经由另一处理器或系统或由深度学习应用处理器2100训练的经训练的机器学习模型(例如，神经网络)来推理或预测信息。在至少一个实施例中，处理器2100可以用于执行本文所描述的一个或更多个神经网络使用情况。
推理和/或训练逻辑615用于执行与一个或更多个实施例相关联的推理和/或训练操作。在至少一个实施例中，此逻辑可与这些图的组件一起使用，以训练分割网络和/或使用这些网络进行推理。
图22是根据至少一个实施例的神经元形态处理器2200的框图。在至少一个实施例中，神经元形态处理器2200可从神经元形态处理器2200外部的源接收一个或更多个输入。在至少一个实施例中，这些输入可被传送给神经元形态处理器2200内的一个或更多个神经元2202。在至少一个实施例中，神经元2202及其组件可使用包括一个或更多个算术逻辑单元(ALU)的电路或逻辑来实现。在至少一个实施例中，神经元形态处理器2200可包括但不限于数千或数百万个神经元示例2202，但可使用任何合适数量的神经元2202。在至少一个实施例中，神经元2202的每个示例可包括神经元输入2204和神经元输出2206。在至少一个实施例中，神经元2202可生成可被传送给神经元2202的其他示例的输入的输出。例如，在至少一个实施例中，神经元输入2204和神经元输出2206可以经由突触2208互连。
在至少一个实施例中，神经元2202和突触2208可互连，使得神经元形态处理器2200操作以处理或分析由神经元形态处理器2200接收的信息。在至少一个实施例中，当通过神经元输入2204接收的输入超过阈值时，神经元2202可传送输出脉冲(或“激发”或“尖峰”)。在至少一个实施例中，神经元2202可对在神经元输入2204处接收的信号求和或积分。例如，在至少一个实施例中，神经元2202可以被实现为漏泄积分激发神经元，其中如果和(被称为“膜电位”)超过阈值，则神经元2202可以使用传递函数(诸如S形或阈值函数)来生成输出(或“激发”)。在至少一个实施例中，泄漏积分激发神经元可以将在神经元输入2204处接收到的信号求和到膜电位中，并且还可以应用衰减因子(或泄漏)以减小膜电位。在至少一个实施例中，如果在神经元输入2204处接收到足够快速地超过阈值的多个输入信号(即，在膜电位衰减太低而不能激发之前)，则泄漏积分激发神经元可激发。在至少一个实施例中，可以使用接收输入、将输入集成到膜电势中和衰减膜电势的电路或逻辑来实现神经元2202。在至少一个实施例中，可以对输入求平均，或者可以使用任何其他合适的传递函数。此外，在至少一个实施例中，神经元2202可包括但不限于：在将转移函数应用于神经元输入2204的结果超过阈值时在神经元输出2206处生成输出尖峰的比较器电路或逻辑。在至少一个实施例中，一旦神经元2202激发，它可通过例如将膜电位重置为0或另一合适的默认值来忽略先前接收到的输入信息。在至少一个实施例中，一旦膜电位被重置为0，神经元2202就可以在合适的时间段(或不应期)之后恢复正常操作。
在至少一个实施例中，神经元2202可以通过突触2208互连。在至少一个实施例中，突触2208可操作用于将信号从第一神经元2202的输出传送到第二神经元2202的输入。在至少一个实施例中，神经元2202可在突触2208的多于一个示例上传送信息。在至少一个实施例中，神经元输出2206的一个或更多个示例可以经由突触2208的示例连接到同一神经元2202中的神经元输入2204的示例。在至少一个实施例中，生成要在突触2208的示例上传送的输出的神经元2202的示例可相对于突触2208的该示例被称为“突触前神经元”。在至少一个实施例中，接收经由突触2208的示例传送的输入的神经元2202的示例可以相对于突触2208的该示例被称为“突触后神经元”。因为神经元2202的示例可以从突触2208的一个或更多个示例接收输入，并且还可以在突触2208的一个或更多个示例上传送输出，神经元2202的单个示例因此可以是“突触前神经元”和“突触后神经元”两者，在至少一个实施例中，相对于突触的各个示例2208。
在至少一个实施例中，神经元2202可被组织成一个或更多个层。神经元2202的每个示例可具有一个神经元输出2206，该神经元输出2206可通过一个或更多个突触2208扇出到一个或更多个神经元输入2204。在至少一个实施例中，第一层2210中的神经元2202的神经元输出2206可连接到第二层2212中的神经元2202的神经元输入2204。在至少一个实施例中，层2210可以被称为“前馈层”。在至少一个实施例中，第一层2210的示例中的神经元2202的每个示例可以扇出至第二层2212中的神经元2202的每个示例。在至少一个实施例中，第一层2210可以被称为“全连接前馈层”。在至少一个实施例中，第二层2212的示例中的神经元2202的每一个示例可以扇出至第三层2214中的神经元2202的少于所有示例。在至少一个实施例中，第二层2212可以被称为“稀疏连接的前馈层”。在至少一个实施例中，第二层2212中的神经元2202可以扇出至多个其他层中的神经元2202，包括扇出至(相同的)第二层2212中的神经元2202。在至少一个实施例中，第二层2212可以被称为“回归层”。在至少一个实施例中，神经元形态处理器2200可包括但不限于递归层和前馈层的任何合适的组合，包括但不限于稀疏连接的前馈层和完全连接的前馈层两者。
在至少一个实施例中，神经元形态处理器2200可包括但不限于用于将突触2208连接到神经元2202的可重配置互连架构或专用硬连线互连。在至少一个实施例中，神经元形态处理器2200可包括但不限于允许突触基于神经网络拓扑和神经元扇入/出按需要分配给不同神经元2202的电路或逻辑。例如，在至少一个实施例中，突触2208可使用互连结构(诸如片上网络)或具有专用连接来连接到神经元2202。在至少一个实施例中，可使用电路或逻辑来实现突触互连及其组件。
推理和/或训练逻辑615用于执行与一个或更多个实施例相关联的推理和/或训练操作。在至少一个实施例中，此逻辑可与这些图的组件一起使用，以训练分割网络和/或使用这些网络进行推理。
图23是根据至少一个实施例的处理系统的框图。在至少一个实施例中，系统2300包括一个或更多个处理器2302和一个或更多个图形处理器2308，并且可以是单处理器桌面系统、多处理器工作站系统、或具有大量处理器2302或处理器核2307的服务器系统。在至少一个实施例中，系统2300是结合在片上系统(SoC)集成电路内以便在移动、手持或嵌入式设备中使用的处理平台。
在至少一个实施例中，系统2300可以包括或结合在基于服务器的游戏平台中的游戏控制台(包括游戏和媒体控制台)、移动游戏控制台、手持游戏控制台或在线游戏控制台。在至少一个实施例中，系统2300是移动电话、智能电话、平板计算设备或移动互联网设备。在至少一个实施例中，处理系统2300还可以包括可穿戴设备(如智能手表可穿戴设备、智能眼镜设备、增强现实设备、或虚拟现实设备)、与可穿戴设备耦合或集成在可穿戴设备内。在至少一个实施例中，处理系统2300是电视或机顶盒设备，其具有一个或更多个处理器2302和由一个或更多个图形处理器2308生成的图形界面。
在至少一个实施例中，一个或更多个处理器2302各自包括用于处理指令的一个或更多个处理器核2307，这些指令在被执行时执行用于系统和用户软件的操作。在至少一个实施例中，一个或更多个处理器核2307中的每一个被配置为处理特定的指令集2309。在至少一个实施例中，指令集2309可以促进复杂指令集计算(CISC)、精简指令集计算(RISC)或经由超长指令字(VLIW)的计算。在至少一个实施例中，处理器核2307可以各自处理不同的指令集2309，其可以包括促进对其他指令集的仿真的指令。在至少一个实施例中，处理器核2307还可以包括其他处理设备，例如数字信号处理器(DSP)。
在至少一个实施例中，处理器2302包括高速缓冲存储器2304。在至少一个实施例中，处理器2302可以具有单个内部高速缓存或多级内部高速缓存。在至少一个实施例中，高速缓存存储器在处理器2302的不同组件之间共享。在至少一个实施例中，处理器2302还使用外部高速缓存(例如，3级(L3)高速缓存或最后一级高速缓存(LLC))(未示出)，可以使用已知的高速缓存一致性技术在处理器核2307之间共享该外部高速缓存。在至少一个实施例中，寄存器文件2306附加地包括在处理器2302中，处理器2302可以包括用于存储不同类型的数据的不同类型的寄存器(例如，整数寄存器、浮点寄存器、状态寄存器和指令指针寄存器)。在至少一个实施例中，寄存器文件2306可包括通用寄存器或其他寄存器。
在至少一个实施例中，一个或更多个处理器2302与一个或更多个接口总线2310耦接，以在处理器2302和系统2300中的其他部件之间传输通信信号，诸如地址、数据或控制信号。在至少一个实施例中，接口总线2310在一个实施例中可以是处理器总线，诸如直接媒体接口(DMI)总线的版本。在至少一个实施例中，接口2310不限于DMI总线，并且可以包括一个或更多个外围部件互连总线(例如，PCI、PCI高速)、存储器总线或其他类型的接口总线。在至少一个实施例中，处理器2302包括集成存储器控制器2316和平台控制器集线器2330。在至少一个实施例中，存储器控制器2316促进存储器设备与系统2300的其他组件之间的通信，而平台控制器集线器(PCH)2330经由本地I/O总线提供到I/O设备的连接。
在至少一个实施例中，存储器设备2320可以是动态随机存取存储器(DRAM)设备、静态随机存取存储器(SRAM)设备、闪存存储器设备、相变存储器设备、或具有适合用作过程存储器的性能的某种其他存储器设备。在至少一个实施例中，存储器设备2320可以作为系统2300的系统存储器来操作，以存储数据2322和指令2321，以供在一个或更多个处理器2302执行应用或进程时使用。在至少一个实施例中，存储器控制器2316还与可选的外部图形处理器2312耦合，该外部图形处理器可以与处理器2302中的一个或更多个图形处理器2308通信以执行图形和媒体操作。在至少一个实施例中，显示设备2311可以连接到处理器2302。在至少一个实施例中，显示设备2311可以包括内部显示设备中的一个或更多个，如在经由显示接口(例如，显示端口等)附接的移动电子设备或膝上型设备或外部显示设备中。在至少一个实施例中，显示设备2311可以包括头戴式显示设备(HMD)，诸如用于虚拟现实(VR)应用或增强现实(AR)应用中的立体显示设备。
在至少一个实施例中，平台控制器集线器2330使得外围设备能够经由高速I/O总线连接到存储器设备2320和处理器2302。在至少一个实施例中，I/O外围设备包括但不限于音频控制器2346、网络控制器2334、固件接口2328、无线收发器2326、触摸传感器2325、数据存储设备2324(例如，硬盘驱动器、闪存等)。在至少一个实施例中，数据存储设备2324可以经由存储接口(例如，SATA)或经由外围总线(诸如外围组件互连总线(例如，PCI、PCI高速))连接。在至少一个实施例中，触摸传感器2325可包括触摸屏传感器、压力传感器或指纹传感器。在至少一个实施例中，无线收发器2326可以是Wi-Fi收发器、蓝牙收发器或移动网络收发器，诸如3G、4G或长期演进(LTE)收发器。在至少一个实施例中，固件接口2328实现与系统固件的通信，并且可以是例如统一可扩展固件接口(UEFI)。在至少一个实施例中，网络控制器2334可以使能到有线网络的网络连接。在至少一个实施例中，高性能网络控制器(未示出)与接口总线2310耦合。在至少一个实施例中，音频控制器2346是多通道高清晰度音频控制器。在至少一个实施例中，系统2300包括用于将传统(例如，个人系统2(PS/2))设备耦合到系统的可选的传统I/O控制器2340。在至少一个实施例中，平台控制器集线器2330还可连接到一个或更多个通用串行总线(USB)控制器2342连接输入设备，诸如键盘和鼠标2343组合、相机2344或其他USB输入设备。
在至少一个实施例中，存储器控制器2316和平台控制器集线器2330的示例可以集成到分立的外部图形处理器(如外部图形处理器2312)中。在至少一个实施例中，平台控制器集线器2330和/或存储器控制器2316可以在一个或更多个处理器2302外部。例如，在至少一个实施例中，系统2300可以包括外部存储器控制器2316和平台控制器集线器2330，其可以被配置为与处理器2302通信的系统芯片组内的存储器控制器集线器和外围控制器集线器。
推理和/或训练逻辑615用于执行与一个或更多个实施例相关联的推理和/或训练操作。下面结合图6A和/或图6B提供关于推理和/或训练逻辑615的细节。在至少一个实施例中，推理和/或训练逻辑615的部分或全部可以结合到图形处理器2300中。例如，在至少一个实施例中，在此描述的训练和/或推理技术可以使用在图形处理器2312中实施的ALU中的一个或更多个。此外，在至少一个实施例中，在此描述的推理和/或训练操作可以使用除了图6A或6B中所示出的逻辑之外的逻辑来完成。在至少一个实施例中，权重参数可以存储在片上或片外存储器和/或寄存器(示出或未示出)中，这些存储器和/或寄存器将图形处理器2300的ALU配置成用于执行在此描述的一个或更多个机器学习算法、神经网络架构、用例、或训练技术。
推理和/或训练逻辑615用于执行与一个或更多个实施例相关联的推理和/或训练操作。在至少一个实施例中，此逻辑可与这些图的组件一起使用，以训练分割网络和/或使用这些网络进行推理。
图24是根据至少一个实施例的具有一个或更多个处理器核2402A-2402N、集成存储器控制器2414和集成图形处理器2408的处理器2400的框图。在至少一个实施例中，处理器2400可以包括由虚线框表示的多达并包括附加核2402N的附加核。在至少一个实施例中，处理器核2402A-2402N中的每一个包括一个或更多个内部高速缓存单元2404A-2404N。在至少一个实施例中，每个处理器核还可以访问一个或更多个共享高速缓存单元2406。
在至少一个实施例中，内部高速缓存单元2404A-2404N和共享高速缓存单元2406表示处理器2400内的高速缓存存储器层次结构。在至少一个实施例中，高速缓存存储器单元2404A-2404N可以包括每个处理器核内的至少一级指令和数据高速缓存以及一级或多级共享的中级高速缓存，诸如2级(L2)、3级(L3)、4级(L4)或其他级别的高速缓存，其中外部存储器之前的最高级别的缓存被分类为LLC。在至少一个实施例中，高速缓存一致性逻辑维持不同高速缓存单元2406与2404A-2404N之间的一致性。
在至少一个实施例中，处理器2400还可以包括一个或更多个总线控制器单元2416和系统代理核2410的集合。在至少一个实施例中，一个或更多个总线控制器单元2416管理一组外围总线，诸如一个或更多个PCI或PCI快速总线。在至少一个实施例中，系统代理核2410为不同处理器组件提供管理功能。在至少一个实施例中，系统代理核2410包括用于管理对不同外部存储器设备(未示出)的访问的一个或更多个集成存储器控制器2414。
在至少一个实施例中，处理器核2402A-2402N中的一个或更多个包括支持同时多线程。在至少一个实施例中，系统代理核2410包括用于在多线程处理期间协调和操作核2402A-2402N的组件。在至少一个实施例中，系统代理核2410还可以包括功率控制单元(PCU)，其包括用于调节处理器核2402A-2402N和图形处理器2408的一个或更多个功率状态的逻辑和组件。
在至少一个实施例中，处理器2400另外包括用于执行图形处理操作的图形处理器2408。在至少一个实施例中，图形处理器2408与共享高速缓存单元2406和系统代理核2410(包括一个或更多个集成存储器控制器2414)耦合。在至少一个实施例中，系统代理核2410还包括用于将图形处理器输出驱动到一个或更多个耦合的显示器的显示控制器2411。在至少一个实施例中，显示控制器2411还可以是经由至少一个互连与图形处理器2408耦合的单独模块，或者可以集成在图形处理器2408内。
在至少一个实施例中，基于环形的互连单元2412用于耦合处理器2400的内部组件。在至少一个实施例中，可以使用替代的互连单元，诸如点对点互连、交换互连或其他技术。在至少一个实施例中，图形处理器2408经由I/O链路2413与环形互连2412耦合。
在至少一个实施例中，I/O链路2413表示多种I/O互连中的至少一种，包括促进不同处理器组件和高性能嵌入式存储器模块2418(诸如eDRAM模块)之间的通信的封装上I/O互连。在至少一个实施例中，处理器核2402A-2402N和图形处理器2408中的每一个使用嵌入式存储器模块2418作为共享的末级高速缓存。
在至少一个实施例中，处理器核2402A-2402N是执行共同指令集架构的同构核。在至少一个实施例中，处理器核2402A-2402N在指令集架构(ISA)方面是异构的，其中处理器核2402A-2402N中的一个或更多个执行共同指令集，而处理器核2402A-2402N中的一个或更多个其他核执行共同指令集的子集或不同的指令集。在至少一个实施例中，处理器核2402A-2402N在微架构方面是异构的，其中具有相对较高功耗的一个或更多个核与具有较低功耗的一个或更多个功率核耦合。在至少一个实施例中，处理器2400可以实现在一个或更多个芯片上或者实现为SoC集成电路。
推理和/或训练逻辑615用于执行与一个或更多个实施例相关联的推理和/或训练操作。下面结合图6A和/或图6B提供关于推理和/或训练逻辑615的细节。在至少一个实施例中，推理和/或训练逻辑615的部分或全部可以结合到处理器2400中。例如，在至少一个实施例中，在此描述的训练和/或推理技术可以使用在图形处理器2312、一个或更多个图形核2402A-2402N或图24中的其他部件中具体化的ALU中的一个或更多个。此外，在至少一个实施例中，在此描述的推理和/或训练操作可以使用除了图6A或6B中所示出的逻辑之外的逻辑来完成。在至少一个实施例中，可以将权重参数存储在片上或片外存储器和/或寄存器(示出或未示出)中，这些存储器和/或寄存器将图形处理器2400的ALU配置成用于执行在此描述的一个或更多个机器学习算法、神经网络架构、用例或训练技术。
推理和/或训练逻辑615用于执行与一个或更多个实施例相关联的推理和/或训练操作。在至少一个实施例中，此逻辑可与这些图的组件一起使用，以训练分割网络和/或使用这些网络进行推理。
图25是根据在此描述的至少一个实施例的图形处理器核2500的硬件逻辑的框图。在至少一个实施例中，图形处理器核2500包括在图形核阵列内。在至少一个实施例中，图形处理器核2500(有时被称为核切片)可以是模块化图形处理器内的一个或更多个图形核。在至少一个实施例中，图形处理器核2500是一个图形核切片的示例，并且如在此所描述的图形处理器可以包括基于目标功率和性能包络的多个图形核切片。在至少一个实施例中，每个图形核2500可以包括与多个子核2501A-2501F(也被称为子切片)耦合的固定功能块2530，所述多个子核包括具有通用和固定功能逻辑的模块化块。
在至少一个实施例中，固定功能块2530包括可以由图形处理器2500中的所有子核(例如，在较低性能和/或较低功率的图形处理器实现方式中)共享的几何结构/固定功能管线2536。在至少一个实施例中，几何结构/固定功能管线2536包括3D固定功能管线、视频前端单元、线程生成者和线程分派器、以及管理统一返回缓冲器的统一返回缓冲器管理器。
在至少一个实施例中，固定的功能块2530还包括图形SoC接口2537、图形微控制器2538和媒体管线2539。在至少一个实施例中固定，图形SoC接口2537提供图形核2500与片上系统集成电路内的其他处理器核之间的接口。在至少一个实施例中，图形微控制器2538是可配置成管理图形处理器2500的不同功能(包括线程分派、调度和抢占)的可编程子处理器。在至少一个实施例中，媒体管线2539包括用于促进多媒体数据(包括图像和视频数据)的解码、编码、预处理和/或后处理的逻辑。在至少一个实施例中，媒体管线2539通过请求在子核2501-2501F内计算或采样逻辑来实现媒体操作。
在至少一个实施例中，SoC接口2537使得图形核2500能够与通用应用处理器核(例如，CPU)和/或SoC内的其他部件(包括存储器分层结构元件，如共享的末级高速缓存存储器、系统RAM、和/或嵌入式片上或封装上DRAM)进行通信。在至少一个实施例中，SoC接口2537还可以实现与SoC内的固定功能设备(诸如相机成像管线)的通信，并且实现可以使用和/或实现可以在图形核2500与SoC内的CPU之间共享的全局存储器原子学。在至少一个实施例中，SoC接口2537还可以实现针对图形核2500的功率管理控制，并启用图形核2500的时钟域与SoC内的其他时钟域之间的接口。在至少一个实施例中，SoC接口2537使得能够从命令流转化器和全局线程分派器接收命令缓冲区，所述命令流转化器和全局线程分派器被配置成用于向图形处理器内的一个或更多个图形核中的每个图形核提供命令和指令。在至少一个实施例中，当要执行媒体操作时，可以将命令和指令分派到媒体管线2539，或者当要执行图形处理操作时，可以将命令和指令分派到几何结构和固定功能管线(例如，几何结构和固定功能管线2536、几何结构和固定功能管线2514)。
在至少一个实施例中，图形微控制器2538可以被配置为执行图形核2500的不同调度和管理任务。在至少一个实施例中，图形微控制器2538可以在子核2501A-2501F内的执行单元(EU)阵列2502A-2502F、2504A-2504F内的不同图形并行引擎上执行图形和/或计算工作负荷调度。在至少一个实施例中，在包括图形核2500的SoC的CPU核上执行的主机软件可以向多个图形处理器门铃中的一个提交工作负荷，其调用适当的图形引擎上的调度操作。在至少一个实施例中，调度操作包括：确定接下来运行哪个工作负荷；向命令流转化器提交工作负荷；先占运行在引擎上的现有工作负荷；监测工作负荷的进展；以及当工作负荷完成时通知主机软件。在至少一个实施例中，图形微控制器2538还可以促进图形核2500的低功率或空闲状态，从而为图形核2500提供跨低功率状态转换独立于操作系统和/或系统上的图形驱动器软件来保存和恢复图形核2500内的寄存器的能力。
在至少一个实施例中，图形核2500可以具有多于或少于所示出的子核2501A-2501F、多达N个模块化子核。在至少一个实施例中，对于N个子核的每个集合，图形核2500还可以包括共享功能逻辑2510、共享和/或高速缓存存储器2512、几何/固定功能管线2514以及用于加速不同图形和计算处理操作的附加固定功能逻辑2516。在至少一个实施例中，共享功能逻辑2510可以包括可以由图形核2500内的每N个子核共享的逻辑单元(例如，采样器、数学和/或线程间通信逻辑)。在至少一个实施例中，固定的、共享的和/或高速缓存存储器2512可以是图形核2500内的N个子核2501A-2501F的末级高速缓存，并且还可以用作可由多个子核访问的共享存储器。在至少一个实施例中，几何/固定功能管线2514可代替几何结构/固定功能管线2536被包括在固定功能块2530内并且可包括相同或相似的逻辑单元。
在至少一个实施例中，图形核2500包括附加固定功能逻辑2516，附加固定功能逻辑2516可以包括用于由图形核2500使用的不同固定功能加速逻辑。在至少一个实施例中，附加的固定功能逻辑2516包括用于仅在位置着色中使用的附加的几何管线。在仅位置着色中，存在至少两个几何管线，而在几何结构/固定功能管线2516、2536内的完整几何管线和剔除管线中，剔除管线为可包含在额外固定功能逻辑2516内的额外几何管线。在至少一个实施例中，剔除管线是完整几何形状管线的经修剪版本。在至少一个实施例中，完整管线和剔除管线可执行应用程序的不同示例，每一示例具有单独上下文。在至少一个实施例中，仅位置着色可以隐藏被丢弃的三角形的长剔除运行，使得在一些示例中着色能够更早地完成。例如，在至少一个实施例中，额外固定功能逻辑2516内的剔除管线逻辑可与主应用程序并行地执行位置着色器，且通常比完整管线更快地产生关键结果，因为剔除管线提取顶点的位置属性且使顶点的位置属性着色，而不执行光栅化和将像素再现到帧缓冲器。在至少一个实施例中，剔除管线可使用所产生的关键结果来计算所有三角形的可见性信息，而不考虑是否剔除那些三角形。在至少一个实施例中，全管线(其在该示例中可被称为重放管线)可消耗可见性信息以跳过被剔除的三角形，从而仅对最终被传递到光栅化阶段的可见三角形进行着色。
在至少一个实施例中，对于包括用于机器学习训练或推理的优化的实现，附加的固定功能逻辑2516还可包括机器学习加速逻辑，诸如固定功能矩阵乘法逻辑。
在至少一个实施例中，在每个图形子核2501A-2501F内包括可用于响应于图形管线、媒体管线或着色器程序的请求而执行图形、媒体和计算操作的一组执行资源。在至少一个实施例中，图形子核2501A-2501F包括多个EU阵列2502A-2502F、2504A-2504F、线程调度和线程间通信(TD/IC)逻辑2503A-2503F、3D(例如，纹理)采样器2505A-2505F、媒体采样器2506A-2506F、着色器处理器2507A-2507F和共享本地存储器(SLM)2508A-2508F。EU阵列2502A-2502F、2504A-2504F各自包含多个执行单元，所述多个执行单元是能够在图形、媒体或计算操作(包含图形、媒体或计算着色器程序)的服务中执行浮点和整数/定点逻辑操作的通用图形处理单元。在至少一个实施例中，TD/IC逻辑2503A-2503F为子核内的执行单元执行本地线程调度和线程控制操作，并且促进在子核的执行单元上执行的线程之间的通信。在至少一个实施例中，3D采样器2505A-2505F可以将纹理或其他3D图形相关数据读取到存储器中。在至少一个实施例中，3D采样器可以基于配置的样本状态和与给定纹理相关联的纹理格式来不同地读取纹理数据。在至少一个实施例中，媒体采样器2506A-2506F可以基于与媒体数据相关联的类型和格式来执行类似的读取操作。在至少一个实施例中，每个图形子核2501A-2501F可以交替地包括统一的3D和媒体采样器。在至少一个实施例中，在子核2501A-2501F中的每个子核内的执行单元上执行的线程可以利用每个子核内的共享本地存储器2508A-2508F，以使得在线程组内执行的线程能够使用片上存储器的公共池来执行。
推理和/或训练逻辑615用于执行与一个或更多个实施例相关联的推理和/或训练操作。下面结合图6A和/或图6B提供关于推理和/或训练逻辑615的细节。在至少一个实施例中，推理和/或训练逻辑615的部分或全部可以结合到图形处理器2510中。例如，在至少一个实施例中，在此描述的训练和/或推理技术可以使用在图形处理器2312、图形微控制器2538、几何结构和固定功能管线2514和2536、或图24中的其他逻辑中实施的ALU中的一个或更多个。此外，在至少一个实施例中，在此描述的推理和/或训练操作可以使用除了图6A或6B中所示出的逻辑之外的逻辑来完成。在至少一个实施例中，可以将权重参数存储在片上或片外存储器和/或寄存器(示出或未示出)中，这些存储器和/或寄存器将图形处理器2500的ALU配置成用于执行在此描述的一个或更多个机器学习算法、神经网络架构、用例或训练技术。
推理和/或训练逻辑615用于执行与一个或更多个实施例相关联的推理和/或训练操作。在至少一个实施例中，此逻辑可与这些图的组件一起使用，以训练分割网络和/或使用这些网络进行推理。
图26A-26B示出了根据至少一个实施例的包括图形处理器核的处理元件的阵列的线程执行逻辑2600。图26A示出了至少一个实施例，其中使用线程执行逻辑2600。图26B示出了根据至少一个实施例的执行单元的示例性内部细节。
如图26A所示，在至少一个实施例中，线程执行逻辑2600包括着色器处理器2602、线程分派器2604、指令高速缓存2606、包括多个执行单元2608A-2608N的可扩展执行单元阵列、一个或更多个采样器2610、数据高速缓存2612以及数据端口2614。在至少一个实施例中，可扩展执行单元阵列可以通过基于例如工作负荷的计算要求启用或禁用一个或更多个执行单元(例如，执行单元2608A、2608B、2608C、2608D至2608N-1和2608N中的任何一个)来动态地扩展。在至少一个实施例中，可扩展执行单元经由链接到执行单元中的每个执行单元的互连结构互连。在至少一个实施例中，线程执行逻辑2600包括通过指令高速缓存2606、数据端口2614、采样器2610和执行单元2608A-2608N中的一个或更多个到存储器(如系统存储器或高速缓存存储器)的一个或更多个连接。在至少一个实施例中，每个执行单元(例如，2608A)是能够执行多个同时的硬件线程同时针对每个线程并行地处理多个数据元素的独立可编程通用计算单元。在至少一个实施例中，执行单元2608A-2608N的阵列是可扩展的以包括任何数量的单独执行单元。
在至少一个实施例中，执行单元2608A-2608N主要用于执行着色器程序。在至少一个实施例中，着色器处理器2602可以处理不同着色器程序并且经由线程分派器2604分派与着色器程序相关联的执行线程。在至少一个实施例中，线程分派器2604包括用于仲裁来自图形和媒体管线的线程发起请求并且在执行单元2608A-2608N中的一个或更多个执行单元上示例化所请求的线程的逻辑。例如，在至少一个实施例中，几何管线可以将顶点、曲面细分或几何着色器分派到线程执行逻辑以供处理。在至少一个实施例中，线程分派器2604还可以处理来自执行着色器程序的运行时线程生成请求。
在至少一个实施例中，执行单元2608A-2608N支持指令集，所述指令集包括对许多标准3D图形着色器指令的本地支持，使得以最小的转换来执行来自图形库(例如，Direct3D和OpenGL)的着色器程序。在至少一个实施例中，执行单元支持顶点和几何处理(例如，顶点程序、几何程序、顶点着色器)、像素处理(例如，像素着色器、片段着色器)和通用处理(例如，计算和媒体着色器)。在至少一个实施例中，包括一个或更多个算术逻辑单元(ALU)的执行单元2608A-2608N中的每一个能够进行多发布单指令多数据(SIMD)执行，并且多线程操作使能高效的执行环境，尽管存在较高等待时间的存储器访问。在至少一个实施例中，每个执行单元内的每个硬件线程具有专用高带宽寄存器文件和相关联的独立线程状态。在至少一个实施例中，对能够进行整数、单精度和双精度浮点运算、SIMD分支能力、逻辑运算、先验运算和其他杂项运算的管线而言，执行是每时钟多发的。在至少一个实施例中，在等待来自存储器或共享函数之一的数据时，执行单元2608A-2608N内的依赖性逻辑使等待线程休眠，直到所请求的数据已经被返回。在至少一个实施例中，当等待的线程休眠时，硬件资源可以专用于处理其他线程。例如，在至少一个实施例中，在与顶点着色器操作相关联的延迟期间，执行单元可执行用于像素着色器、片段着色器或另一类型的着色器程序(包含不同顶点着色器)的操作。
在至少一个实施例中，执行单元2608A-2608N中的每个执行单元对数据元素阵列进行操作。在至少一个实施例中，数据元素的数量是“执行大小”或用于指令的通道的数量。在至少一个实施例中，执行通道是用于指令内的数据元素访问、屏蔽和流控制的执行的逻辑单元。在至少一个实施例中，多个信道可以独立于用于特定图形处理器的多个物理算术逻辑单元(ALU)或浮点单元(FPU)。在至少一个实施例中，执行单元2608A-2608N支持整数和浮点数据类型。
在至少一个实施例中，执行单元指令集包括SIMD指令。在至少一个实施例中，可以将不同数据元素存储为寄存器中的紧缩数据类型，并且执行单元将基于元素的数据大小来处理不同元素。例如，在至少一个实施例中，当对256位宽的向量进行操作时，矢量的256位被存储在寄存器中，并且执行单元作为四个单独的64位紧缩数据元素(四字(QW)大小的数据元素)对矢量进行操作，八个单独的32位紧缩数据元素(双字(DW)大小的数据元素)、十六个单独的16位紧缩数据元素(字(W)大小的数据元素)，或32个单独的8位数据元素(字节(B)大小数据元素)。然而，在至少一个实施例中，不同的向量宽度和寄存器大小是可能的。
在至少一个实施例中，一个或更多个执行单元可被组合成具有对融合EU共同的线程控制逻辑(2607A-2607N)的融合执行单元2609A-2609N。在至少一个实施例中，多个EU可以融合到一个EU组中。在至少一个实施例中，融合EU组中的每个EU可以被配置成执行单独的SIMD硬件线程。融合EU组中的EU数目可以根据不同实施例而变化。在至少一个实施例中，可以每EU执行不同SIMD宽度，包括但不限于SIMD8、SIMD16和SIMD32。在至少一个实施例中，每个融合图形执行单元2609A-2609N包括至少两个执行单元。例如，在至少一个实施例中，融合执行单元2609A包括第一EU2608A、第二EU2608B和对于第一EU2608A和第二EU2608B共用的线程控制逻辑2607A。在至少一个实施例中，线程控制逻辑2607A控制在融合图形执行单元2609A上执行的线程，从而允许融合执行单元2609A-2609N内的每个EU使用共同指令指针寄存器来执行。
在至少一个实施例中，一个或更多个内部指令高速缓存(例如，2606)包括在线程执行逻辑2600中以高速缓存执行单元的线程指令。在至少一个实施例中，包括一个或更多个数据高速缓存(例如，2612)以在线程执行期间高速缓存线程数据。在至少一个实施例中，包括采样器2610以提供用于3D操作的纹理采样和用于媒体操作的媒体采样。在至少一个实施例中，采样器2610包括用于在将经采样的数据提供给执行单元之前的采样过程期间处理纹理或媒体数据的专用纹理或媒体采样功能。
在至少一个实施例中，在执行期间，图形和媒体管线经由线程生成和调度逻辑向线程执行逻辑2600发送线程发起请求。在至少一个实施例中，一旦一组几何对象已经被处理和光栅化成像素数据，调用着色器处理器2602内的像素处理器逻辑(例如，像素着色器逻辑、片段着色器逻辑等)以进一步计算输出信息，且致使将结果写入到输出表面(例如，色彩缓冲器、深度缓冲器、模板缓冲器等)。在至少一个实施例中，像素着色器或片段着色器计算将跨光栅化对象内插的不同顶点属性的值。在至少一个实施例中，着色器处理器2602内的像素处理器逻辑接着执行应用程序编程接口(API)供应的像素或片段着色器程序。在至少一个实施例中，为了执行着色器程序，着色器处理器2602经由线程分派器2604将线程分派到执行单元(例如，2608A)。在至少一个实施例中，着色器处理器2602使用采样器2610中的纹理采样逻辑来访问存储在存储器中的纹理图中的纹理数据。在至少一个实施例中，对纹理数据和输入几何数据的算术运算计算每个几何片段的像素颜色数据，或从进一步处理中丢弃一个或更多个像素。
在至少一个实施例中，数据端口2614为线程执行逻辑2600提供存储器访问机制以将经处理数据输出到存储器以供在图形处理器输出管线上进一步处理。在至少一个实施例中，数据端口2614包括或耦合至一个或更多个高速缓存存储器(例如，数据高速缓存2612)以便经由数据端口高速缓存用于存储器访问的数据。
如图26B所示，在至少一个实施例中，图形执行单元2608可以包括指令获取单元2637，通用寄存器文件阵列(GRF)2624、架构寄存器文件阵列(ARF)2626、线程仲裁器2622，发送单元2630、分支单元2632、一组SIMD浮点单元(FPU)2634，以及，在至少一个实施例中，专用整数SIMD ALU 2635的集合。在至少一个实施例中，GRF2624和ARF2626包括与在图形执行单元2608中可以是活动的每个同时的硬件线程相关联的通用寄存器文件和架构寄存器文件的集合。在至少一个实施例中，在ARF2626中维护每线程架构状态，而在线程执行期间使用的数据存储在GRF2624中。在至少一个实施例中，包括每个线程的指令指针的每个线程的执行状态可以保存在ARF2626中的线程特定寄存器中。
在至少一个实施例中，图形执行单元2608具有同时多线程化(SMT)和细粒度交错多线程化(IMT)的组合的架构。在至少一个实施例中，架构具有模块化配置，该模块化配置可以在设计时基于目标数量的同时线程和每个执行单元的寄存器数量来微调，其中执行单元资源跨用于执行多个同时线程的逻辑来划分。
在至少一个实施例中，图形执行单元2608可以共同发布多条指令，每条指令可以是不同的指令。在至少一个实施例中，图形执行单元线程2608的线程仲裁器2622可以将指令分派到发送单元2630、分支单元2642或SIMD FPU 2634中的一个用于执行。在至少一个实施例中，每个执行线程可以访问GRF2624内的128个通用寄存器，其中每个寄存器可以存储32字节，作为32位数据元素的SIMD8元素向量是可访问的。在至少一个实施例中，每个执行单元线程访问GRF2624内的4K字节，尽管实施例不限于此，并且在其他实施例中可以提供更多或更少的寄存器资源。在至少一个实施例中，多达七个线程可以同时执行，但是每个执行单元的线程数量也可以根据各实施例而变化。在至少一个实施例中，其中七个线程可以访问4K字节，GRF2624可以存储总共28K字节。在至少一个实施例中，灵活寻址模式可允许寄存器被一起寻址以有效地构建更宽的寄存器或表示条纹矩形块数据结构。
在至少一个实施例中，经由消息传递发送单元2630执行的“发送”指令来分派存储器操作、采样器操作和其他较长等待时间系统通信。在至少一个实施例中，将分支指令分派到专用分支单元2632以促进SIMD发散和最终收敛。
在至少一个实施例中，图形执行单元2608包括用于执行浮点操作的一个或更多个SIMD浮点单元(FPU)2634。在至少一个实施例中，FPU 2634还支持整数计算。在至少一个实施例中，一个或更多个FPU2634可以SIMD执行多达M个32位浮点(或整数)操作，或者SIMD执行多达2M个16位整数或16位浮点操作。在至少一个实施例中，一个或更多个FPU中的至少一个FPU提供扩展的数学能力以支持高吞吐量先验数学函数和双精度64位浮点。在至少一个实施例中，还存在一组8位整数SIMD ALU 2635，并且可以对其进行特定优化以执行与机器学习计算相关联的操作。
在至少一个实施例中，图形执行单元2608的多个示例的阵列可以在图形子核分组(例如，子切片)中示例化。在至少一个实施例中，执行单元2608可以跨多个执行通道执行指令。在至少一个实施例中，在图形执行单元2608上执行的每个线程在不同的信道上执行。
推理和/或训练逻辑615用于执行与一个或更多个实施例相关联的推理和/或训练操作。下面结合图6A和/或图6B提供关于推理和/或训练逻辑615的细节。在至少一个实施例中，推理和/或训练逻辑615的部分或全部可以结合到执行逻辑2600中。此外，在至少一个实施例中，在此描述的推理和/或训练操作可以使用除了图6A或6B中所示出的逻辑之外的逻辑来完成。在至少一个实施例中，权重参数可以存储在片上或片外存储器和/或寄存器(示出或未示出)中，这些存储器和/或寄存器将执行逻辑2600的ALU配置成用于执行在此描述的一个或更多个机器学习算法、神经网络架构、用例、或训练技术。
推理和/或训练逻辑615用于执行与一个或更多个实施例相关联的推理和/或训练操作。在至少一个实施例中，此逻辑可与这些图的组件一起使用，以训练分割网络和/或使用这些网络进行推理。
图27示出了根据至少一个实施例的并行处理单元(“PPU”)2700。在至少一个实施例中，PPU 2700配置有机器可读代码，该机器可读代码如果由PPU 2700执行，则使PPU 2700执行贯穿本公开所描述的过程和技术中的一些或全部。在至少一个实施例中，PPU 2700是在一个或更多个集成电路设备上实现的多线程处理器，并且利用多线程作为被设计成并行地处理多个线程上的计算机可读指令(也被称为机器可读指令或简称为指令)的等待时间隐藏技术。在至少一个实施例中，线程是指执行的线程并且是被配置为由PPU 2700执行的指令集的示例。在至少一个实施例中，PPU 2700是图形处理单元(“GPU”)，该图形处理单元被配置成用于实现用于处理三维(“3D”)图形数据以便生成二维(“2D”)图像数据以便在显示装置(如液晶显示器(“LCD”)装置)上显示的图形渲染管线。在至少一个实施例中，PPU2700用于执行诸如线性代数运算和机器学习运算的计算。图27示出了仅用于说明性目的的示例并行处理器，并且应当被解释为在本公开的范围内考虑的处理器架构的非限制性示例，并且可以采用任何合适的处理器来补充和/或替代它们。
在至少一个实施例中，一个或更多个PPU 2700被配置成用于加速高性能计算(“HPC”)、数据中心、和机器学习应用。在至少一个实施例中，PPU 2700被配置为加速深度学习系统和应用，包括以下非限制性示例：自主车辆平台、深度学习、高精度语音、图像、文本识别系统、智能视频分析、分子模拟、药物发现、疾病诊断、天气预报、大数据分析、天文学、分子动力学模拟、财务建模、机器人学、工厂自动化、实时语言翻译、在线搜索优化和个性化用户推荐等。
在至少一个实施例中，PPU 2700包括但不限于：输入/输出(“I/O”)单元2706、前端单元2710、调度器单元2712、工作分配单元2714、集线器2716、交叉开关(“Xbar”)2720、一个或更多个通用处理集群(“GPC”)2718、以及一个或更多个分区单元(“内存分区单元”)2722。在至少一个实施例中，PPU 2700经由一个或更多个高速GPU互连(“GPU互连”)2708连接到主机处理器或其他PPU 2700。在至少一个实施例中，PPU 2700经由互连2702连接到主处理器或其他外围设备。在至少一个实施例中，PPU 2700连接至包括一个或更多个存储器装置(“存储器”)2704的本地存储器。在至少一个实施例中，存储器装置2704包括但不限于一个或更多个动态随机存取存储器(“DRAM”)装置。在至少一个实施例中，一个或更多个DRAM器件被配置和/或可配置为高带宽存储器(“HBM”)子系统，其中每个器件内堆叠有多个DRAM管芯。
在至少一个实施例中，高速GPU互连2708可以指一个基于导线的多通道通信链路，该基于导线的多通道通信链路被系统用来缩放并且包括与一个或更多个中央处理单元(“CPU”)组合的一个或更多个PPU 2700、支持PPU 2700与CPU之间的高速缓存一致性以及CPU掌控。在至少一个实施例中，数据和/或命令由高速GPU互连2708通过集线器2716传输到PPU 2700的其他单元(如一个或更多个复制引擎、视频编码器、视频解码器、功率管理单元和图27中未明确示出的其他组件)或从PPU 2700的其他单元(如一个或更多个复制引擎、视频编码器、视频解码器、功率管理单元和图27中未明确示出的其他组件)传输。
在至少一个实施例中，I/O单元2706被配置为通过系统总线2702发送和接收来自主机处理器(图27中未示出)的通信(例如，命令、数据)。在至少一个实施例中，I/O单元2706直接经由系统总线2702或通过一个或更多个中间设备(诸如存储器桥)与主处理器通信。在至少一个实施例中，I/O单元2706可以通过系统总线2702与一个或更多个其他处理器(如一个或更多个PPU 2700)进行通信。在至少一个实施例中，I/O单元2706实现用于PCIe总线上的通信的外围组件互连高速(“PCIe”)接口。在至少一个实施例中，I/O单元2706实现用于与外部设备通信的接口。
在至少一个实施例中，I/O单元2706对经由系统总线2702接收的数据包进行解码。在至少一个实施例中，至少一些数据包表示被配置为使PPU 2700执行不同操作的命令。在至少一个实施例中，I/O单元2706将解码的命令传输到PPU 2700的不同其他单元，如由命令指定的。在至少一个实施例中，命令被传送到前端单元2710和/或被传送到集线器2716或PPU 2700的其他单元，诸如一个或更多个复制引擎、视频编码器、视频解码器、功率管理单元等。(图27中未明确示出)。在至少一个实施例中，I/O单元2706被配置为在PPU 2700的不同逻辑单元之间或之中路由通信。
在至少一个实施例中，由主机处理器执行的程序将命令流编码在向PPU 2700提供工作负载用于处理的缓冲器中。在至少一个实施例中，工作负荷包括指令和由这些指令处理的数据。在至少一个实施例中，缓冲器是存储器中可由主机处理器和PPU 2700访问(例如，读/写)的区域--主机接口单元可被配置为经由I/O单元2706通过系统总线2702发送的存储器请求来访问连接到系统总线2702的系统存储器中的缓冲器。在至少一个实施例中，主机处理器将命令流写入到缓冲器，且接着将命令流开始的指针发射到PPU 2700，使得前端单元2710接收指向一个或更多个命令流的指针且管理一个或更多个命令流，从命令流中读取命令并将命令转发到PPU 2700的各个单元。
在至少一个实施例中，前端单元2710耦合到调度器单元2712，调度器单元2712配置不同GPC 2718以处理由一个或更多个命令流定义的任务。在至少一个实施例中，调度器单元2712被配置为追踪与调度器单元2712管理的不同任务有关的状态信息，其中状态信息可以指示任务被分配给GPC 2718中的哪一个、任务是活动的还是不活动的、与任务相关联的优先级等等。在至少一个实施例中，调度器单元2712管理在GPC 2718中的一个或更多个上的多个任务的执行。
在至少一个实施例中，调度器单元2712耦合到工作分配单元2714，工作分配单元2714被配置为分派用于在GPC 2718上执行的任务。在至少一个实施例中，工作分配单元2714追踪从调度器单元2712接收的多个被调度的任务，并且工作分配单元2714管理每个GPC 2718的待决任务池和活动任务池。在至少一个实施例中，待决任务池包括多个时隙(例如，32个时隙)，这些时隙包含被指派由特定GPC 2718处理的任务；活动任务池可包括用于由GPC 2718活动地处理的任务的多个槽(例如，4个槽)，使得当GPC 2718中的一个完成任务的执行时，该任务从用于GPC 2718的活动任务池驱逐，并且来自待决任务池的其他任务之一被选择和调度以在GPC 2718上执行。在至少一个实施例中，如果活跃任务在GPC 2718上是空闲的，诸如在等待数据相关性被解决时，则活跃任务从GPC 2718被逐出并返回到待决任务池，同时待决任务池中的另一任务被选择并调度用于在GPC 2718上执行。
在至少一个实施例中，工作分配单元2714经由XBar 2720与一个或更多个GPC2718通信。在至少一个实施例中，XBar 2720是互连网络，其将PPU 2700的许多单元耦合到PPU 2700的其他单元，并且可以被配置为将工作分配单元2714耦合到特定的GPC 2718。在至少一个实施例中，PPU 2700的一个或更多个其他单元也可以经由集线器2716连接到XBar2720。
在至少一个实施例中，任务由调度器单元2712管理并且由工作分配单元2714分派给GPC 2718中的一个。GPC 2718被配置为处理任务并且产生结果。在至少一个实施例中，结果可由GPC 2718内的其他任务消耗，经由XBar 2720路由至不同的GPC 2718，或者存储在存储器2704中。在至少一个实施例中，可以经由分区单元2722将结果写入到存储器2704，分区单元2722实现用于向存储器2704读取数据和向存储器2704写入数据的存储器接口。在至少一个实施例中，结果可以经由高速GPU互连2708传输到另一个PPU 2700或CPU。在至少一个实施例中，PPU 2700包括但不限于数量U的分区单元2722，其等于耦接至PPU 2700的单独且不同的存储装置2704的数量。在至少一个实施例中，下面将结合图29更详细地描述分区单元2722。
在至少一个实施例中，主机处理器执行实现应用编程接口(“API”)的驱动器内核，该应用编程接口使得在主机处理器上执行的一个或更多个应用能够调度用于在PPU 2700上执行的操作。在至少一个实施例中，PPU 2700同时执行多个计算应用，并且PPU 2700为多个计算应用提供隔离、服务质量(“QoS”)、和独立的地址空间。在至少一个实施例中，应用生成使驱动器内核生成用于由PPU 2700执行的一个或更多个任务和驱动器内核向由PPU2700处理的一个或更多个流输出任务的指令(例如，以API调用的形式)。在至少一个实施例中，每个任务包括一组或多组相关纱线，其可被称为经线。在至少一个实施例中，经线包括可并行执行的多个相关线(例如，32个线)。在至少一个实施例中，协作线程可以指代包括用于执行任务并且通过共享存储器交换数据的指令的多个线程。在至少一个实施例中，结合图29，根据至少一个实施例更详细地描述螺纹和协作螺纹。
推理和/或训练逻辑615用于执行与一个或更多个实施例相关联的推理和/或训练操作。下面结合图6A和/或图6B提供关于推理和/或训练逻辑615的细节。在至少一个实施例中，使用深度学习应用处理器来训练机器学习模型(诸如神经网络)以预测或推理提供给PPU 2700的信息。在至少一个实施例中，PPU 2700用于基于已经由另一个处理器或系统或由PPU 2700训练的经训练的机器学习模型(例如，神经网络)来推理或预测信息。在至少一个实施例中，PPU 2700可用于执行本文所述的一个或更多个神经网络使用情况。
推理和/或训练逻辑615用于执行与一个或更多个实施例相关联的推理和/或训练操作。在至少一个实施例中，此逻辑可与这些图的组件一起使用，以训练分割网络和/或使用这些网络进行推理。
图28示出了根据至少一个实施例的通用处理集群(“GPC”)2800。在至少一个实施例中，GPC 2800是图27的GPC 2718。在至少一个实施例中，每个GPC 2800包括但不限于用于处理任务的多个硬件单元，并且每个GPC 2800包括，但不限于，管线管理器2802、预光栅操作单元(“PROP”)2804、光栅引擎2808，工作分配交叉开关(“WDX”)2816、存储器管理单元(“MMU”)2818、一个或更多个数据处理集群(“DPC”)2806，以及部件的任何合适组合。
在至少一个实施例中，GPC 2800的操作由管线管理器2802控制。在至少一个实施例中，管线管理器2802管理一个或更多个DPC 2806的配置，用于处理分配给GPC 2800的任务。在至少一个实施例中，管线管理器2802配置一个或更多个DPC 2806中的至少一个以实现图形渲染管线的至少一部分。在至少一个实施例中，DPC 2806被配置成用于在可编程流式多处理器(“SM”)2814上执行顶点着色器程序。在至少一个实施例中，管线管理器2802被配置为将从工作分配单元接收的数据包路由至GPC 2800内的适当的逻辑单元，在至少一个实施例中，一些分组可被路由到PROP2804和/或光栅引擎2808中的固定功能硬件单元，而其他分组可被路由到DPC 2806以供图元引擎2812或SM 2814处理。在至少一个实施例中，管线管理器2802配置DPC 2806中的至少一个DPC以实现神经网络模型和/或计算管线。
在至少一个实施例中，PROP单元2804在至少一个实施例中经配置以将由光栅引擎2808和DPC 2806产生的数据路由到分区单元2722中的光栅操作(“ROP”)单元，上文结合图27更详细地描述。在至少一个实施例中，PROP单元2804被配置为执行用于颜色混合、组织像素数据、执行地址转换等的优化。在至少一个实施例中，光栅引擎2808包括但不限于被配置为执行不同光栅操作的多个固定功能硬件单元，在至少一个实施例中，光栅引擎2808包括但不限于设置引擎，粗栅格引擎、剔除引擎、裁剪引擎、细栅格引擎、分块合并引擎，及其任何合适的组合。在至少一个实施例中，设置引擎接收经变换的顶点并且生成与由顶点定义的几何图元相关联的平面方程；将平面方程传输到粗栅格引擎以生成图元的覆盖信息(例如，图块的x，y覆盖掩码)；粗栅格引擎的输出被传输到剔除引擎，在剔除引擎中，剔除与未通过z测试的图元相关联的片段，并且被传输到裁剪引擎，在裁剪引擎中，裁剪位于视见平截头体外的片段。在至少一个实施例中，将存在于裁剪和剔除之后的片段传递到精细光栅引擎，以基于由设置引擎产生的平面方程来产生像素片段的属性。在至少一个实施例中，光栅引擎2808的输出包括将由任何合适的实体(诸如由DPC 2806内实现的片段着色器)处理的片段。
在至少一个实施例中，包括在GPC 2800中的每个DPC 2806包括但不限于一个M管道控制器(“MPC”)2810；图元引擎2812；一个或更多个SM 2814；及其任何合适的组合。在至少一个实施例中，MPC 2810控制DPC 2806的操作，将从管线管理器2802接收的分组路由至DPC 2806中的适当单元。在至少一个实施例中，将与顶点相关联的分组路由到图元引擎2812，图元引擎2812被配置为从存储器中提取与顶点相关联的顶点属性；相反，可将与着色器程序相关联的包发射到SM 2814。
在至少一个实施例中，SM 2814包括但不限于被配置为处理由多个线程表示的任务的可编程流处理器。在至少一个实施例中，SM 2814是多线程的并且被配置成用于并发地执行来自特定线程组的多个线程(例如，32个线程)并实现单指令，多数据(“SIMD”)架构，其中一组线程(例如，经线)中的每个线程被配置成用于基于相同的指令集来处理不同的数据集。在至少一个实施例中，线程组中的所有线程执行相同的指令。在至少一个实施例中，SM2814实现单指令多线程(“SIMT”)架构，其中一组线程中的每个线程被配置成用于基于相同的指令集来处理不同的数据集合，但是其中允许一组线程中的单独线程在执行期间分叉。在至少一个实施例中，为每一经线维持程序计数器、调用栈和执行状态，从而在经线内的线程发散时实现经线与经线内的串行执行之间的并发性。在另一实施例中，为每个单独的线程维护程序计数器、调用栈和执行状态，从而实现所有线程之间、经线内和经线之间的相等并发性。在至少一个实施例中，为每个单独的线程保持执行状态，并且为了更好的效率，可以会聚并且并行执行执行相同指令的线程。SM 2814的至少一个实施例在下文更详细地描述。
在至少一个实施例中，MMU 2818在GPC 2800和存储器分区单元(例如，图27的分区单元2722)之间提供接口，并且MMU 2818提供虚拟地址到物理地址的转换、存储器保护和存储器请求的仲裁。在至少一个实施例中，MMU 2818提供用于执行虚拟地址到存储器中的物理地址的转换的一个或更多个转换后备缓冲器(“TLB”)。
推理和/或训练逻辑615用于执行与一个或更多个实施例相关联的推理和/或训练操作。下面结合图6A和/或图6B提供关于推理和/或训练逻辑615的细节。在至少一个实施例中，使用深度学习应用处理器来训练机器学习模型(诸如神经网络)以预测或推理提供给GPC 2800的信息。在至少一个实施例中，GPC 2800用于基于已经由另一个处理器或系统或由GPC 2800训练的经训练的机器学习模型(例如，神经网络)来推理或预测信息。在至少一个实施例中，GPC 2800可以用来执行在此描述的一个或更多个神经网络使用情况。
推理和/或训练逻辑615用于执行与一个或更多个实施例相关联的推理和/或训练操作。在至少一个实施例中，此逻辑可与这些图的组件一起使用，以训练分割网络和/或使用这些网络进行推理。
图29示出根据至少一个实施例的并行处理单元(“PPU”)的存储器分区单元2900。在至少一个实施例中，存储器分区单元2900包括但不限于光栅操作(“ROP”)单元2902；二级(“L2”)高速缓存2904；存储器接口2906；以及其任何合适的组合。在至少一个实施例中，存储器接口2906耦合到存储器。在至少一个实施例中，存储器接口2906可以实现32、64、128、1024位数据总线或类似实现方式，用于高速数据传输。在至少一个实施例中，PPU结合了U个存储器接口2906，每对分区单元2900一个存储器接口2906，其中每对分区单元2900连接至相应的存储器设备。例如，在至少一个实施例中，PPU可以连接至多达Y个存储器设备，如高带宽存储器堆栈或图形双倍数据速率、版本5、同步动态无随机存储器(“GDDR5 SDRAM”)。
在至少一个实施例中，存储器接口2906实现高带宽存储器第二代(“HBM2”)存储器接口，并且Y等于半U。在至少一个实施例中，HBM2存储器栈与PPU位于相同的物理封装上，与传统的GDDR5 SDRAM系统相比提供了显著的功率和面积节省。在至少一个实施例中，每个HBM2堆叠包括但不限于四个存储器管芯，并且Y等于4，其中每个HBM2堆叠包括每管芯两个128位沟道，总共8个沟道和1024位的数据总线宽度。在至少一个实施例中，存储器支持单错误校正双错误检测(“SECDED”)错误校正码(“ECC”)以保护数据。在至少一个实施例中，ECC为对数据损坏敏感的计算应用提供了更高的可靠性。
在至少一个实施例中，PPU实现多级存储器分层结构。在至少一个实施例中，存储器分区单元2900支持统一存储器来为中央处理单元(“CPU”)和PPU存储器提供单个统一虚拟地址空间，从而实现虚拟存储器系统之间的数据共享。在至少一个实施例中，追踪PPU对位于其他处理器上的存储器的访问的频率以确保存储器页面被移动到更频繁地访问页面的PPU的物理存储器。在至少一个实施例中，高速GPU互连2708支持允许PPU直接访问CPU的页表并且通过PPU提供对CPU存储器的完全访问的地址转换服务。
在至少一个实施例中，复制引擎在多个PPU之间或者在PPU与CPU之间传输数据。在至少一个实施例中，复制引擎可产生未映射到页表中的地址的页错误，且存储器分区单元2900接着服务页错误，将地址映射到页表中，之后复制引擎执行传送。在至少一个实施例中，对于多个处理器之间的多个复制引擎操作，存储器被钉住(即，不可分页)，从而显著减少可用存储器。在至少一个实施例中，在硬件页面故障的情况下，可将地址传递到复制引擎，而不考虑存储器页面是否驻留，并且复制过程是透明的。
根据至少一个实施例，来自图27的存储器2704或其他系统存储器的数据由存储器分区单元2900提取并且存储在L2高速缓存2904中，所述L2高速缓存位于芯片上并且在不同GPC之间共享。在至少一个实施例中，每个存储器分区单元2900包括但不限于与对应存储器设备相关联的L2高速缓存的至少一部分。在至少一个实施例中，较低级高速缓存在GPC内的不同单元中实现。在至少一个实施例中，每个SM 2814可以实现一级(“L1”)高速缓存，其中L1高速缓存是专用于特定SM 2814的私有存储器，并且取来自L2高速缓存2904的数据并将其存储在每个L1高速缓存中以便在SM 2814的功能单元中进行处理。在至少一个实施例中，L2高速缓存2904耦合到存储器接口2906和XBar 2720。
在至少一个实施例中，ROP单元2902执行与像素色彩相关的图形光栅操作，例如色彩压缩、像素混合和更多。在至少一个实施例中，ROP单元2902结合光栅引擎2808实施深度测试，从光栅引擎2808的剔除引擎接收与像素片段相关联的样本位置的深度。在至少一个实施例中，针对与片段相关联的样本位置，针对深度缓冲器中的相应深度来测试深度。在至少一个实施例中，如果片段通过样本位置的深度测试，那么ROP单元2902更新深度缓冲器且将深度测试的结果发射到光栅引擎2808。将了解，分区单元2900的数目可不同于GPC的数目，且因此，在至少一个实施例中，每一ROP单元2902可耦合到GPC中的每一者。在至少一个实施例中，ROP单元2902追踪从不同GPC接收的包且确定ROP单元2902产生的结果经由XBar2720路由到哪一者。
图30示出了根据至少一个实施例的流式多处理器(“SM”)3000。在至少一个实施例中，SM 3000是图28的SM 2814。在至少一个实施例中，SM 3000包括但不限于指令高速缓存3002；一个或更多个调度器单元3004；寄存器文件3008；一个或更多个处理单元(“核”)3010；一个或更多个特殊功能单元(“SFU”)3012；一个或更多个加载/存储单元(“LSU”)3014；互连网络3016；共享存储器/一级(“L1”)高速缓存3018；及其任何合适的组合。在至少一个实施例中，工作分配单元分派任务用于在并行处理单元(“PPU”)的通用处理集群(“GPC”)上执行，并且每个任务被分配给GPC内的特定数据处理集群(“DPC”)，并且如果任务与着色器程序相关联，则任务被分配给SM 3000之一。在至少一个实施例中，调度器单元3004从工作分配单元接收任务并管理指派给SM 3000的一个或更多个线程块的指令调度。在至少一个实施例中，调度器单元3004调度线程块以供作为并行线程的经线来执行，其中每个线程块被分配至少一个经线。在至少一个实施例中，每个经线执行线。在至少一个实施例中，调度器单元3004管理多个不同的线程块，向不同的线程块分配经线，然后在每个时钟周期期间将来自多个不同的协作组的指令分派到各个功能单元(例如，处理单元3010、SFU3012和LSU 3014)。
在至少一个实施例中，协作组可以指用于组织通信的线程的组的编程模型，其允许开发者表达线程正在通信的粒度，使得能够表达更丰富、更有效的并行分解。在至少一个实施例中，协作启动API支持线程块之间的同步以用于并行算法的执行。在至少一个实施例中，常规编程模型的应用提供用于同步协作线程的单个简单构造：跨线程块的所有线程的屏障(例如，syncthreads()函数)。然而，在至少一个实施例中，程序员可以以小于线程块粒度来定义线程的组，并在所定义的组内同步，以实现更大的性能、设计灵活性以及以集体全组功能接口的形式的软件重用。在至少一个实施例中，协作组使程序员能够在子块(即，小到单个线程)处显式地定义线程组和多块粒度，并且对协作组中的线程执行诸如同步的集体操作。在至少一个实施例中，编程模型支持跨软件边界的清晰合成，使得库和实用函数可以在它们的本地上下文内安全地同步，而不必做出关于收敛的假设。在至少一个实施例中，协作组原语实现协作并行性的新模式，包括但不限于生产者-消费者并行性、机会并行性和跨线程块的整个网格的全局同步。
在至少一个实施例中，分派单元3006被配置为向一个或更多个功能单元发送指令，并且调度器单元3004包括但不限于两个分派单元3006，其使得能够在每个时钟周期期间分派来自相同经线的两个不同指令。在至少一个实施例中，每个调度器单元3004包括单个分派单元3006或附加分派单元3006。
在至少一个实施例中，在至少一个实施例中，每个SM 3000包括但不限于为SM3000的功能单元提供一组寄存器的寄存器文件3008。在至少一个实施例中，寄存器文件3008在每个功能单元之间划分，使得每个功能单元被分配寄存器文件3008的专用部分。在至少一个实施例中，寄存器文件3008在由SM 3000执行的不同经线之间划分，并且寄存器文件3008为连接到功能单元的数据路径的操作数提供临时存储。在至少一个实施例中，每个SM 3000包括但不限于多个L个处理单元3010。在至少一个实施例中，SM 3000包括但不限于大量(例如，128个或更多)不同的处理单元3010。在至少一个实施例中，在至少一个实施例中，每个处理单元3010包括但不限于全管线、单精度、双精度和/或混合精度处理单元，其包括但不限于浮点算术逻辑单元和整数算术逻辑单元。在至少一个实施例中，浮点算术逻辑单元实施用于浮点算术的IEEE754-2008标准。在至少一个实施例中，处理单元3010包括但不限于64个单精度(32位)浮点核、64个整数核、32个双精度(64位)浮点核和8个张量核。
根据至少一个实施例，张量芯被配置成执行矩阵运算。在至少一个实施例中，一个或更多个张量核被包括在处理单元3010中。在至少一个实施例中，张量核被配置为执行深度学习矩阵运算，诸如用于神经网络训练和推理的卷积运算。在至少一个实施例中，每个张量芯在4x4矩阵上操作，并且执行矩阵乘法和累加操作D＝A X B+C，其中A、B、C和D是4x4矩阵。
在至少一个实施例中，矩阵乘法输入A和B是16位浮点矩阵，并且累加矩阵C和D是16位浮点或32位浮点矩阵。在至少一个实施例中，张量核在具有32位浮点累加的16位浮点输入数据上操作。在至少一个实施例中，16位浮点乘法使用64个运算并且导致全精度乘积，然后使用32位浮点加法将其与其他中间乘积累加以用于4x4x4矩阵乘法。在至少一个实施例中，张量核用于执行由这些较小元素构建的大得多的二维或更高维的矩阵运算。在至少一个实施例中，诸如CUDA 9C++API的API暴露专门的矩阵加载、矩阵相乘和累加以及矩阵存储操作以高效地使用来自CUDA-C++程序的张量核。在至少一个实施例中，在CUDA级，经线级接口假设跨越所有32个经线线程的16x16大小矩阵。
在至少一个实施例中，每个SM 3000包括但不限于执行特殊功能(例如，属性评估、倒数平方根等)的M个SFU 3012。在至少一个实施例中，SFU 3012包括但不限于树遍历单元，该树遍历单元被配置成用于遍历分层树数据结构。在至少一个实施例中，SFU 3012包括但不限于被配置为执行纹理图滤波操作的纹理单元。在至少一个实施例中，纹理单元被配置成从存储器加载纹理图(例如，纹理元素的2D阵列)并对纹理图进行采样以产生经采样的纹理值以供SM 3000执行的着色器程序中使用。在至少一个实施例中，纹理图被存储在共享存储器/L1高速缓存3018中。在至少一个实施例中，根据至少一个实施例，纹理单元实施纹理操作，例如使用mip图(例如，不同细节等级的纹理图)的过滤操作。在至少一个实施例中，每个SM 3000包括但不限于两个纹理单元。
在至少一个实施例中，每个SM 3000包括但不限于实现共享存储器/L1高速缓存3018和寄存器文件3008之间的加载和存储操作的N个LSU 3014。在至少一个实施例中，每个SM 3000包括但不限于互连网络3016，互连网络3016将功能单元中的每一个连接到寄存器文件3008，并且将LSU 3014连接到寄存器文件3008和共享存储器/L1高速缓存3018。在至少一个实施例中，互连网络3016是交叉开关，该交叉开关可被配置成将任何功能单元连接到寄存器文件3008中的任何寄存器并将LSU 3014连接到寄存器文件3008和共享存储器/L1高速缓存3018中的存储器位置。
在至少一个实施例中，共享存储器/L1高速缓存3018是片上存储器的阵列，在至少一个实施例中，其允许SM 3000与图元引擎之间以及SM 3000中的线程之间的数据存储和通信。在至少一个实施例中，共享存储器/L1高速缓存3018包括但不限于128KB的存储容量，并且在从SM 3000到分区单元的路径中。在至少一个实施例中，共享存储器/L1高速缓存3018在至少一个实施例中用于高速缓存读取和写入。在至少一个实施例中，共享存储器/L1高速缓存3018、L2高速缓存和存储器中的一个或更多个是后备存储。
在至少一个实施例中，将数据高速缓存和共享存储器功能组合到单个存储器块中为两种类型的存储器访问提供改进的性能。在至少一个实施例中，例如如果共享存储器被配置为使用容量的一半，则容量被不使用共享存储器的程序使用或可用作高速缓存，纹理和加载/存储操作可使用剩余容量。根据至少一个实施例，共享存储器/L1高速缓存3018内的集成使得共享存储器/L1高速缓存3018能够充当用于流式传输数据的高吞吐量管道，同时提供对频繁重用数据的高带宽和低等待时间访问。在至少一个实施例中，当被配置用于通用并行计算时，与图形处理相比，可以使用更简单的配置。在至少一个实施例中，绕过固定功能图形处理单元，从而创建简单得多的编程模型。在至少一个实施例中，在通用并行计算配置中，工作分配单元将线程的块直接分配和分配给DPC。在至少一个实施例中，块中的线程执行相同的程序，在计算中使用唯一的线程ID以确保每个线程生成唯一的结果，使用SM 3000执行程序和执行计算，共享存储器/L1高速缓存3018在线程之间通信，以及LSU3014，用于通过共享存储器/L1高速缓存3018和存储器分区单元读取和写入全局存储器。在至少一个实施例中，当被配置用于通用并行计算时，SM 3000写入调度器单元3004可用于在DPC上发起新工作的命令。
在至少一个实施例中，PPU被包括在台式计算机、膝上型计算机、平板计算机、服务器、超级计算机、智能电话(例如，无线、手持式设备)、个人数字助理(“PDA”)、数码相机、车辆、头戴式显示器、手持式电子设备等中或耦合到其上。在至少一个实施例中，PPU被实施在单个半导体衬底上。在至少一个实施例中，PPU连同一个或更多个其他设备(如附加PPU、存储器、精简指令集计算机(“RISC”)CPU、存储器管理单元(“MMU”)、数模转换器(“DAC”)等)一起被包括在片上系统(“SoC”)中。
在至少一个实施例中，PPU可以包括在包括一个或更多个存储器设备的图形卡上。图形卡可被配置成与台式计算机的主板上的PCIe插槽对接。在至少一个实施例中，PPU可以是包括在母板芯片组中的集成图形处理单元(“iGPU”)。
推理和/或训练逻辑615用于执行与一个或更多个实施例相关联的推理和/或训练操作。下面结合图6A和/或图6B提供关于推理和/或训练逻辑615的细节。在至少一个实施例中，深度学习应用处理器被用于训练机器学习模型(诸如神经网络)以预测或推理提供给SM3000的信息。在至少一个实施例中，SM 3000用于基于已由另一处理器或系统或由SM 3000训练的经训练的机器学习模型(例如，神经网络)来推理或预测信息。在至少一个实施例中，SM 3000可被用于执行本文描述的一个或更多个神经网络使用情况。
推理和/或训练逻辑615用于执行与一个或更多个实施例相关联的推理和/或训练操作。在至少一个实施例中，此逻辑可与这些图的组件一起使用，以训练分割网络和/或使用这些网络进行推理。
在至少一个实施例中，单个半导体平台可以指唯一的基于单一半导体的集成电路或芯片。在至少一个实施例中，多芯片模块可以与增强的连接性一起使用，该增强的连接性模拟片上操作并且相对于利用常规中央处理单元(“CPU”)和总线实现方式做出实质性改进。在至少一个实施例中，不同模块也可以根据用户的愿望单独地或在半导体平台的不同组合中定位。
在至少一个实施例中，采用机器可读可执行代码或计算机控制逻辑算法形式的计算机程序被存储在主存储器1004和/或辅助存储器中。如果计算机程序由一个或更多个处理器执行，则使系统1000能够执行根据至少一个实施例的不同功能。在至少一个实施例中，存储器1004、存储装置和/或任何其他存储装置是计算机可读介质的可能示例。在至少一个实施例中，辅助存储装置可以指任何合适的存储装置或系统，如硬盘驱动器和/或可移动存储驱动器，代表软盘驱动器、磁带驱动器、致密盘驱动器、数字通用盘(“DVD”)驱动器、记录装置、通用串行总线(“USB”)闪存等。在至少一个实施例中，在CPU 1002的上下文中实现不同先前附图的架构和/或功能；并行处理系统1012；集成电路，其能够实现两个CPU 1002的能力的至少一部分；并行处理系统1012；芯片组(例如，被设计为作为执行相关功能的单元工作和销售的一组集成电路等)；以及一个或更多个集成电路的任何合适的组合。
在至少一个实施例中，在通用计算机系统、电路板系统、专用于娱乐目的的游戏控制台系统、专用系统和更多系统的上下文中实现不同先前附图的架构和/或功能。在至少一个实施例中，计算机系统1000可以采取台式计算机的形式，膝上型计算机、平板计算机、服务器、超级计算机、智能电话(例如，无线手持式装置)，个人数字助理(“PDA”)、数码相机、车辆、头戴式显示器、手持式电子装置，移动电话设备、电视、工作站、游戏控制台、嵌入式系统和/或任何其他类型的逻辑。
在至少一个实施例中，并行处理系统1012包括但不限于多个并行处理单元(“PPU”)1014和相关联的存储器1016。在至少一个实施例中，PPU 1014经由一个互连1018和一个开关1020或多路复用器连接到一个主机处理器或其他外围设备上。在至少一个实施例中，并行处理系统1012跨PPU 1014分配计算任务，这些计算任务可以是可并行化的——例如，作为跨多个图形处理单元(“GPU”)线程块分配计算任务的一部分。在至少一个实施例中，存储器跨一些或所有PPU 1014被共享和可访问(例如，用于读取和/或写入访问)，尽管这样的共享存储器可能引起相对于驻留在PPU 1014的本地存储器和寄存器的使用的性能损失。在至少一个实施例中，通过使用诸如__syncthreads()的命令来同步PPU 1014的操作，其中(例如，跨多个PPU 1014执行的)块中的所有线程在继续之前到达代码的某个执行点。
虚拟化计算平台
公开了涉及用于高级计算的虚拟化计算平台的实施例，高级计算诸如医疗应用中的图像推理和图像处理。非限制性地，实施例可以包括射线照相术、磁共振成像(MRI)、核医学、超声、超声检查、弹性成像、光声成像、断层摄影术、超声心动图、功能性近红外光谱法、以及磁性颗粒成像、或其组合。在至少一个实施例中，可以另外地或替代地使用在此描述的虚拟化计算平台和相关联的过程，无限制地，在法医科学分析、表面下检测和成像(例如，石油勘探、古细菌学、眼科学等)中，地形、海洋学、地质学、骨科学、气象学、智能区域或对象追踪和监测、传感器数据处理(例如，RADAR、SONAR、LIDAR等)和/或基因组学和基因测序。
参照图31，其是根据至少一个实施例的生成和部署图像处理和推理管线的过程3100的示例数据流程图。在至少一个实施例中，过程3100可以被部署用于与成像设备、处理设备、基因组学设备、基因测序设备、放射学设备和/或一个或更多个设施3102处的其他设备类型一起使用，诸如医疗设施、医院、医疗机构、诊所、研究或诊断实验室等。在至少一个实施例中，可以部署过程3100以对测序数据执行基因组学分析和推理。可以使用在此描述的系统和方法进行的基因组分析的示例包括但不限于变体调用、突变检测和基因表达定量。过程3100可以在训练系统3104和/或部署系统3106内执行。在至少一个实施例中，训练系统3104可用于执行机器学习模型(例如，神经网络、对象检测算法、计算机视觉算法等)的训练、部署和实现，以供在部署系统3106中使用。在至少一个实施例中，部署系统3106可以被配置成用于在分布式计算环境之间卸载处理和计算资源以便降低设施3102处的基础设施要求。在至少一个实施例中，部署系统3106可以提供用于在设施3102处选择、定制和实现与成像装置(例如，MRI、CT扫描、X射线、超声等)或测序装置一起使用的虚拟仪器的流线型平台。在至少一个实施例中，虚拟仪器可以包括软件定义的应用，用于关于由成像装置、测序装置、放射学装置和/或其他装置类型生成的成像数据执行一个或更多个处理操作。在至少一个实施例中，管线中的一个或更多个应用程序可在应用程序的执行期间使用或调用部署系统3106的服务(例如，推理、可视化、计算、AI等)。
在至少一个实施例中，用于高级处理和推理管线的应用中的一些应用可使用机器学习模型或其他AI来执行一个或更多个处理步骤。在至少一个实施例中，机器学习模型可以在设施3102处使用在设施3102处生成(并且存储在设施3102处的一个或更多个图片归档和通信系统(PACS)服务器上)的数据3108(诸如成像数据)来训练，可以使用来自另一个或更多个设施(例如，不同的医院、实验室、诊所等)的成像或测序数据3108来训练，或它们的组合。在至少一个实施例中，训练系统3104可以用于提供用于为部署系统3106生成工作、可部署机器学习模型的应用、服务和/或其他资源。
在至少一个实施例中，模型注册表3124可以由可以支持版本化和对象元数据的对象存储来支持。在至少一个实施例中，对象存储可以通过例如云存储(例如，图32的云3226)兼容的应用编程接口(API)从云平台内访问。在至少一个实施例中，模型注册表3124内的机器学习模型可由与API交互的系统的开发者或合作伙伴上传、列出、修改或删除。在至少一个实施例中，API可以提供对如下方法的访问，该方法允许用户具有适当的凭证来将模型与应用相关联，使得可以执行模型作为应用的容器化示例化的执行的一部分。
在至少一个实施例中，训练管线3204(图32)可以包括其中设施3102正在训练其自己的机器学习模型、或具有需要被优化或更新的现有机器学习模型的场景。在至少一个实施例中，可以接收由一个或更多个成像装置、测序装置和/或其他装置类型生成的成像数据3108。在至少一个实施例中，一旦接收到成像数据3108，AI辅助注释3110可以用于帮助生成与成像数据3108相对应的注释以用作机器学习模型的地面实况数据。在至少一个实施例中，AI辅助注释3110可以包括一个或更多个机器学习模型(例如，卷积神经网络(CNN))，所述一个或更多个机器学习模型可以被训练成用于生成与某些类型的成像数据3108(例如，来自某些设备)和/或成像数据3108中的某些类型的异常相对应的注释。在至少一个实施例中，AI辅助注释3110然后可以被直接使用，或者可以使用注释工具(例如，由研究人员、临床医生、医生、科学家等)被调整或微调以生成地面实况数据。在至少一个实施例中，在一些示例中，标记的诊所数据3112(例如，由临床医生、医生、科学家、技师等提供的注释)可以用作用于训练机器学习模型的地面实况数据。在至少一个实施例中，AI辅助注释3110、标记的诊所数据3112或其组合可以用作用于训练机器学习模型的地面实况数据。在至少一个实施例中，经训练的机器学习模型可以被称为输出模型3116，并且可以由部署系统3106使用，如在此所描述的。
在至少一个实施例中，训练管线3204(图32)可以包括其中设施3102需要机器学习模型以用于执行部署系统3106中的一个或更多个应用的一个或更多个处理任务的场景，但是设施3102当前可能不具有这样的机器学习模型(或者可能不具有用于这样的目的的优化的、高效的或有效的模型)。在至少一个实施例中，可以从模型注册表3124中选择现有的机器学习模型。在至少一个实施例中，模型注册表3124可包括经训练以对成像数据执行各种不同推理任务的机器学习模型。在至少一个实施例中，模型注册表3124中的机器学习模型可能已经在来自不同于设施3102的设施(例如，位于远程的设施)的成像数据上被训练。在至少一个实施例中，机器学习模型可能已经在来自一个位置、两个位置或任意数量的位置的成像数据上训练。在至少一个实施例中，当对来自特定位置的成像数据进行训练时，训练可以发生在该位置处，或者至少以保护成像数据的保密性或者限制成像数据不在场外传输(例如，以符合HIPAA规定、隐私规定等)的方式进行。在至少一个实施例中，一旦在一个位置处对模型进行训练或部分训练，就可以将机器学习模型添加到模型注册表3124中。在至少一个实施例中，然后可以在任何数量的其他设施处重新训练或更新机器学习模型，并且可以使重新训练或更新的模型在模型注册表3124中可用。在至少一个实施例中，机器学习模型然后可以从模型注册表3124中选择——并且被称为输出模型3116——并且可以用于部署系统3106中以执行针对部署系统的一个或更多个应用的一个或更多个处理任务。
在至少一个实施例中，训练管线3204(图32)，一种场景可以包括设施3102，该设施要求机器学习模型用于执行针对部署系统3106中的一个或更多个应用的一个或更多个处理任务，但是设施3102当前可能不具有这样的机器学习模型(或者可能不具有用于这样的目的的优化的、高效的或有效的模型)。在至少一个实施例中，由于种群差异，从模型注册表3124中选择的机器学习模型可以不针对在设施3102处生成的成像数据3108被微调或优化，遗传变异、用于训练机器学习模型的训练数据的稳健性、训练数据的异常的多样性，和/或训练数据的其他问题。在至少一个实施例中，AI辅助注释3110可以用于帮助生成对应于成像数据3108的注释，该成像数据3108被用作用于重新训练或更新机器学习模型的地面实况数据。在至少一个实施例中，标记的诊所数据3112(例如，由临床医生、医生、科学家等提供的注释)可以用作用于训练机器学习模型的地面实况数据。在至少一个实施例中，重新训练或更新机器学习模型可以被称为模型训练3114。在至少一个实施例中，模型训练3114(例如，AI辅助注释3110、标记的诊所数据3112或其组合)可以用作用于重新训练或更新机器学习模型的地面实况数据。在至少一个实施例中，经训练的机器学习模型可以被称为输出模型3116，并且可以由部署系统3106使用，如在此所描述的。
在至少一个实施例中，部署系统3106可以包括软件3118、服务3120、硬件3122和/或其他组件、特征和功能。在至少一个实施例中，部署系统3106可以包括软件“堆栈”，这样使得软件3118可以构建在服务3120之上并且可以使用服务3120来执行一些或所有处理任务，并且服务3120和软件3118可以构建在硬件3122之上并且使用硬件3122来执行处理，部署系统3106的存储和/或其他计算任务。在至少一个实施例中，软件3118可以包括任何数量的不同容器，其中每个容器可以执行应用的示例化。在至少一个实施例中，每个应用可以在高级处理和推理管线中执行一个或更多个处理任务(例如，推理、对象检测、特征检测、分割、图像增强、校准等)。在至少一个实施例中，对于每种类型的成像装置(例如，CT、MRI、X射线、超声、超声检查、超声心动图等)，测序装置、放射学装置、基因组学装置等，可以存在任何数量的容器，这些容器可以相对于由装置生成的成像数据3108(或其他数据类型，如在此描述的那些)执行数据处理任务。在至少一个实施例中，可基于对处理成像数据3108所要或所需的不同容器的选择来定义高级处理和推理管线，除了接收和配置成像数据以供每个容器使用和/或在通过管线处理之后供设施3102使用的容器之外(例如，将输出转换回可用数据类型，如医学数字成像和通信(DICOM)数据、放射学信息系统(RIS)数据、临床信息系统(CIS)数据、远程过程调用(RPC)数据、基本上符合表示状态转移(REST)接口的数据、基本上符合基于文件的接口的数据和/或原始数据，用于在设施3102处存储和显示)。在至少一个实施例中，软件3118内的容器的组合(例如，组成管线的容器的组合)可被称为虚拟工具(如本文更详细地描述的)，并且虚拟工具可利用服务3120和硬件3122来执行在容器中示例化的应用的一些或所有处理任务。
在至少一个实施例中，数据处理管线可以响应于推理请求(例如，来自部署系统3106的用户(诸如临床医生、医生、放射科医生等)的请求)以DICOM、RIS、CIS、REST兼容、RPC、原始和/或其他格式接收输入数据(例如，成像数据3108)。在至少一个实施例中，输入数据可以表示由一个或更多个成像装置、测序装置、放射学装置、基因组学装置、和/或其他装置类型生成的一个或更多个图像、视频、和/或其他数据表示。在至少一个实施例中，数据可经历作为数据处理管线的一部分的预处理以准备数据以供一个或更多个应用处理。在至少一个实施例中，可以对管线的一个或更多个推理任务或其他处理任务的输出执行后处理，以便为下一应用准备输出数据和/或准备输出数据以供用户传输和/或使用(例如，作为对推理请求的响应)。在至少一个实施例中，推理任务可由一个或更多个机器学习模型来执行，诸如训练的或部署的神经网络，其可包括训练系统3104的输出模型3116。
在至少一个实施例中，数据处理管线的任务可以被封装在一个或更多个容器中，所述容器各自表示能够引用机器学习模型的应用和虚拟化计算环境的离散的、全功能的示例化。在至少一个实施例中，容器或应用可被发布到容器注册表(本文更详细地描述)的私有(例如，受限访问)区域中，并且训练的或部署的模型可被存储在模型注册表3124中并与一个或更多个应用相关联。在至少一个实施例中，应用的图像(例如，容器图像)可在容器注册表中可用，并且一旦由用户从容器注册表中选择以部署在管线中，图像就可被用于生成容器以供应用的示例化以供用户的系统使用。
在至少一个实施例中，开发者(例如，软件开发者、临床医生、医生等)可开发、发布和存储用于对所提供的数据执行图像处理和/或推理的应用(例如，作为容器)。在至少一个实施例中，开发、发布和/或存储可使用与系统相关联的软件开发包(SDK)来执行(例如，以确保所开发的应用和/或容器与系统兼容或兼容)。在至少一个实施例中，可以利用可以支持服务3120中的至少一些作为系统(例如，图32的系统3200)的SDK来本地(例如，在第一设施处，对来自第一设施的数据)测试所开发的应用。在至少一个实施例中，因为DICOM对象可以包含从一到几百个图像或其他数据类型的任何地方，并且由于数据的变化，开发者可以负责管理(例如，设置构造、将预处理构建到应用中等)输入的DICOM数据的提取和准备。在至少一个实施例中，一旦被系统3200验证(例如，为了准确性、安全、患者隐私等)，应用可以在容器注册表中是可用的，以供用户(例如，医院、诊所、实验室、医疗保健提供者等)选择和/或实现，以便关于用户的设施(例如，第二设施)处的数据执行一个或更多个处理任务。
在至少一个实施例中，开发者然后可以通过网络共享应用或容器以供系统(例如，图32的系统3200)的用户访问和使用。在至少一个实施例中，完成的和经验证的应用或容器可以被存储在容器注册表中，并且相关联的机器学习模型可以被存储在模型注册表3124中。在至少一个实施例中，提供推理或图像处理请求的请求实体(例如，医疗设施处的用户)可以浏览应用的容器注册表和/或模型注册表3124，容器、数据集、机器学习模型等选择期望的元素组合以包括在数据处理管线中，以及提交成像处理请求。在至少一个实施例中，请求可以包括执行请求所必需的输入数据(以及在一些示例中相关联的患者数据)，和/或可以包括在处理请求中要执行的一个或更多个应用和/或机器学习模型的选择。在至少一个实施例中，请求然后可被传递到部署系统3106的一个或更多个组件(例如，云)以执行数据处理管线的处理。在至少一个实施例中，由部署系统3106进行的处理可以包括从容器注册表和/或模型注册表3124引用所选择的元素(例如，应用、容器、模型等)。在至少一个实施例中，一旦由管线生成结果，结果可被返回到用户以供参考(例如，以供在本地、现场工作站或终端上执行的查看应用套件中查看)。在至少一个实施例中，放射科医生可从包括任何数量的应用和/或容器的数据处理管线接收结果，其中结果可包括X射线、CT扫描、MRI等中的异常检测。
在至少一个实施例中，为了帮助处理或执行管线中的应用或容器，可以利用服务3120。在至少一个实施例中，服务3120可包括计算服务、人工智能(AI)服务、可视化服务、和/或其他服务类型。在至少一个实施例中，服务3120可以提供对软件3118中的一个或更多个应用共同的功能，因此可以将功能抽象到可以被应用调用或利用的服务。在至少一个实施例中，由服务3120提供的功能可以动态地和更高效地运行，同时还通过允许应用并行地处理数据(例如，使用并行计算平台3230(图32))来很好地缩放。在至少一个实施例中，服务3120可在不同应用之间和之中共享，而不是要求共享由服务3120提供的相同功能的每个应用具有服务3120的相应示例。在至少一个实施例中，作为非限制性示例，服务可以包括可以用于执行检测或分段任务的推理服务器或引擎。在至少一个实施例中，可以包括模型训练服务，其可以提供机器学习模型训练和/或重新训练能力。在至少一个实施例中，可进一步包括数据增强服务，该数据增强服务可提供GPU加速数据(例如，DICOM、RIS、CIS、REST兼容、RPC、原始等)提取、调整大小、缩放和/或其他增强。在至少一个实施例中，可以使用可视化服务，该可视化服务可以添加图像渲染效果——如光线追踪、光栅化、去噪、锐化等——以向二维(2D)和/或三维(3D)模型添加真实性。在至少一个实施例中，可以包括为虚拟仪器的管线内的其他应用提供波束成形、分割、推理、成像和/或支持的虚拟仪器服务。
在至少一个实施例中，其中服务3120包括AI服务(例如，推理服务)，可以通过调用(例如，作为API调用)推理服务(例如，推理服务器)以执行一个或更多个机器学习模型来执行与用于异常检测的应用(例如，肿瘤、生长异常、瘢痕形成等)相关联的一个或更多个机器学习模型，或其处理，作为应用执行的一部分。在至少一个实施例中，其中另一个应用包括用于分割任务的一个或更多个机器学习模型，应用可以根据推理服务调用以执行用于执行与分割任务相关联的处理操作中的一个或更多个的机器学习模型。在至少一个实施例中，实现包括分割应用和异常检测应用的高级处理和推理管线的软件3118可被流线化，因为每个应用可调用相同的推理服务来执行一个或更多个推理任务。
在至少一个实施例中，硬件3122可包括GPU、CPU、图形卡、AI/深度学习系统(例如，AI超级计算机，诸如NVIDIA的DGX)、云平台或其组合。在至少一个实施例中，不同类型的硬件3122可以用于为部署系统3106中的软件3118和服务3120提供有效的、专门构建的支持。在至少一个实施例中，GPU处理的使用可以实现用于本地处理(例如，在设施3102处)，在AI/深度学习系统内、在云系统中和/或在部署系统3106的其他处理部件中以改善效率，图像处理、图像重构、分割、MRI检查、中风或心脏病发作检测的准确度和功效(例如，实时)，渲染中的图像质量等。在至少一个实施例中，设施可以包括成像装置、基因组学装置、测序装置、和/或现场的其他装置类型，这些装置可以利用GPU来生成表示受试者的解剖结构的成像数据。在至少一个实施例中，作为非限制性示例，软件3118和/或服务3120可针对GPU处理相对于深度学习、机器学习和/或高性能计算进行优化。在至少一个实施例中，部署系统3106和/或训练系统3104的计算环境中的至少一些可以在数据中心中执行一个或更多个超级计算机或高性能计算系统，其中GPU优化软件(例如，NVIDIA的DGX系统的硬件和软件组合)。在至少一个实施例中，数据中心可以符合HIPAA的规定，使得成像数据和/或其他患者数据的接收、处理和传输相对于患者数据的隐私被安全地处理。在至少一个实施例中，硬件3122可以包括可以被调用以并行执行对数据的处理的任何数量的GPU，如在此所描述的。在至少一个实施例中，云平台还可包括用于深度学习任务、机器学习任务或其他计算任务的GPU优化执行的GPU处理。在至少一个实施例中，可以使用AI/深度学习超级计算机和/或GPU优化的软件(例如，在NVIDIA的DGX系统上提供的)作为硬件抽象和缩放平台来执行云平台(例如，NVIDIA的NGC)。在至少一个实施例中，云平台可以将应用容器集群系统或编排系统(例如，KUBERNETES)集成在多个GPU上以实现无缝缩放和负载平衡。
图32是根据至少一个实施例的用于生成和部署成像部署管道的示例系统3200的系统图。在至少一个实施例中，系统3200可以用于实现图31的过程3100和/或包括高级处理和推理管线的其他过程。在至少一个实施例中，系统3200可以包括训练系统3104和部署系统3106。在至少一个实施例中，训练系统3104和部署系统3106可以使用软件3118、服务3120和/或硬件3122来实施，如在此所描述的。
在至少一个实施例中，系统3200(例如，训练系统3104和/或部署系统3106)可以在云计算环境中实现(例如，使用云3226)。在至少一个实施例中，系统3200可以相对于医疗保健服务设施在本地实现，或者实现为云计算资源和本地计算资源两者的组合。在至少一个实施例中，在实现云计算的实施例中，患者数据可以与系统3200的将使处理不符合HIPAA和/或其他数据处理和隐私规定或法律的一个或更多个组件分离或被其处理。在至少一个实施例中，通过制定的安全措施或协议，对云3226中的API的访问可被限制到经授权的用户。在至少一个实施例中，安全协议可包括可由认证(例如，AuthN、AuthZ、Gluecon等)服务签名并且可携带适当授权的web令牌。在至少一个实施例中，(本文描述的)虚拟工具的API或系统3200的其他示例化可被限制到已被审查或授权进行交互的一组公共IP。
在至少一个实施例中，系统3200的各种组件可以使用各种不同网络类型中的任何网络类型在彼此之间和之间进行通信，包括但不限于局域网(LAN)和/或广域网(WAN)，经由有线和/或无线通信协议。在至少一个实施例中，系统3200的设施和组件之间的通信(例如，用于传输推理请求、用于接收推理请求的结果等)可通过数据总线、无线数据协议(Wi-Fi)、有线数据协议(例如，以太网)等传送。
在至少一个实施例中，训练系统3104可以执行训练管线3204，类似于在此关于图31描述的那些。在至少一个实施例中，其中将由部署系统3106在部署管线3210中使用一个或更多个机器学习模型，训练管线3204可用于训练或重新训练一个或更多个(例如，预训练的)模型，和/或实现一个或更多个预训练模型3206(例如，不需要重新训练或更新)。在至少一个实施例中，作为训练管线3204的结果，可生成一个或更多个输出模型3116。在至少一个实施例中，训练管线3204可包括任何数量的处理步骤，诸如但不限于成像数据(或其他输入数据)转换或适配(例如，使用DICOM适配器3202A将DICOM图像转换成适于由相应机器学习模型处理的另一格式，诸如神经成像信息技术启发(NIfTI)格式)，AI辅助注释3110，标记或注释成像数据3108以生成标记的诊所数据3112，从模型注册表中的模型选择、模型训练3114、训练、重新训练或更新模型、和/或其他处理步骤。在至少一个实施例中，对于由部署系统3106使用的不同的机器学习模型，可以使用不同的训练管线3204。在至少一个实施例中，类似于参见图31描述的第一示例的训练管线3204可以用于第一机器学习模型，类似于参见图31描述的第二示例的训练管线3204可以用于第二机器学习模型，并且类似于关于图31所描述的第三示例的训练管线3204可以用于第三机器学习模型。在至少一个实施例中，可以根据每个相应的机器学习模型需要什么来使用训练系统3104内的任务的任何组合。在至少一个实施例中，机器学习模型中的一个或更多个可能已经被训练并且准备好部署，因此机器学习模型可以不经历由训练系统3104进行的任何处理，并且可以由部署系统3106来实现。
在至少一个实施例中，取决于实现方式或实施例，一个或更多个输出模型3116和/或一个或更多个预训练模型3206可以包括任何类型的机器学习模型。在至少一个实施例中，但不限于，系统3200所使用的机器学习模型可以包括使用线性回归的一个或更多个机器学习模型，逻辑回归、决策树、支持向量机(SVM)、原始贝叶斯、k最近邻(Knn)、K均值聚类、随机森林、维度减少算法、梯度提升算法、神经网络(例如，自动编码器、卷积、递归、感知器、长/短期记忆(LSTM)、霍普菲尔德、玻尔兹曼、深度置信、解卷积、生成对手、液态机器等)和/或其他类型的机器学习模型。
在至少一个实施例中，训练管线3204可以包括AI辅助注释，如在此相对于至少图35B更详细地描述的。在至少一个实施例中，可通过任何数量的技术生成经标记的诊所数据3112(例如，传统注释)。在至少一个实施例中，标签或其他注释可在绘图程序(例如，注释程序)、计算机辅助设计(CAD)程序、标签程序、适于生成用于地面实况的注释或标签的另一类型的程序内生成，和/或在一些示例中可被手绘。在至少一个实施例中，地面实况数据可以是合成产生的(例如，从计算机模型或渲染中生成)，真实产生(例如，从真实世界数据设计和产生)、机器自动化(例如，使用特征分析和学习从数据提取特征且接着产生标记)，人工注释的(例如，标签者或注释专家定义标签的位置)和/或其组合。在至少一个实施例中，对于成像数据3108(或由机器学习模型使用的其他数据类型)的每个示例，可存在由训练系统3104生成的对应的地面实况数据。在至少一个实施例中，AI辅助注释可以作为部署管线3210的一部分来执行；作为包括在训练管线3204中的AI辅助注释的补充或替代。在至少一个实施例中，系统3200可以包括多层平台，该多层平台可以包括可以执行一个或更多个医学成像和诊断功能的诊断应用(或其他应用类型)的软件层(例如，软件3118)。在至少一个实施例中，系统3200可通信地耦接至(例如，经由加密链路)一个或更多个设施的PACS服务器网络。在至少一个实施例中，系统3200可以被配置为从PACS服务器(例如，经由DICOM适配器3202或者诸如RIS、CIS、REST兼容、RPC、原始数据等的另一数据类型适配器)访问和引用数据(例如，DICOM数据、RIS数据、原始数据、CIS数据、REST兼容数据、RPC数据、原始数据等)以执行操作，诸如训练机器学习模型、部署机器学习模型、图像处理、推理和/或其他操作。
在至少一个实施例中，软件层可以被实现为安全的、加密的和/或经认证的API，通过该API，可以从一个或更多个外部环境(例如，设施3102)调用(例如，调用)应用或容器。在至少一个实施例中，应用然后可以调用或执行一个或更多个服务3120以用于执行与相应应用相关联的计算、AI或可视化任务，并且软件3118和/或服务3120可以利用硬件3122以有效和高效的方式执行处理任务。
在至少一个实施例中，部署系统3106可以执行部署管线3210。在至少一个实施例中，部署管线3210可以包括可以顺序地、非顺序地或以其他方式应用于由成像装置、测序装置、基因组学装置等生成的成像数据(和/或其他数据类型)的任何数量的应用——包括如上所述的AI辅助注释。在至少一个实施例中，如本文所述，用于个别装置的部署管线3210可以被称为用于装置的虚拟仪器(例如，虚拟超声仪器、虚拟CT扫描仪器、虚拟测序仪器等)。在至少一个实施例中，对于单个装置，根据装置产生的数据所需的信息，可以有多于一个部署管线3210。在至少一个实施例中，在期望从MRI机器检测异常的情况下，可存在第一部署管线3210，并且在期望从MRI机器的输出进行图像增强的情况下，可存在第二部署管线3210。
在至少一个实施例中，可用于部署管线3210的应用程序可包括可用于对成像数据或来自装置的其他数据执行处理任务的任何应用程序。在至少一个实施例中，不同的应用可负责图像增强、分割、重构、异常检测、物体检测、特征检测、治疗计划、剂量测定、射束计划(或其他放射治疗程序)和/或其他分析、图像处理或推理任务。在至少一个实施例中，部署系统3106可以定义用于每个应用的构造，使得部署系统3106的用户(例如，医疗设施、实验室、诊所等)可以理解构造和适配应用以便在它们各自的设施内实现。在至少一个实施例中，可选择用于图像重构的应用以包含在部署管线3210中，但是由成像装置生成的数据类型可不同于在应用内使用的数据类型。在至少一个实施例中，DICOM适配器3202B(和/或DICOM读取器)或另一数据类型适配器或读取器(例如，RIS、CIS、REST兼容、RPC、原始等)可在部署管线3210内使用以将数据转换成可由部署系统3106内的应用使用的形式。在至少一个实施例中，可以累积和预处理对DICOM、RIS、CIS、REST兼容、RPC、原始和/或其他数据类型库的访问，包括解码、提取和/或执行任何卷积、颜色校正、锐度、伽马和/或对数据的其他增强。在至少一个实施例中，DICOM、RIS、CIS、REST兼容、RPC和/或原始数据可以是无序的，并且可以执行预遍以组织或排序所收集的数据。在至少一个实施例中，因为不同应用可以共享共同的图像操作，所以在一些实施例中，数据增强库(例如，作为服务3120之一)可以用于加速这些操作。在至少一个实施例中，为了避免依赖于CPU处理的常规处理方法的瓶颈，并行计算平台3230可用于这些处理任务的GPU加速。
在至少一个实施例中，图像重构应用可以包括处理任务，该处理任务包括使用机器学习模型。在至少一个实施例中，用户可能期望使用他们自己的机器学习模型，或者从模型注册表3124中选择机器学习模型。在至少一个实施例中，用户可以实现他们自己的机器学习模型或选择机器学习模型以包括在用于执行处理任务的应用中。在至少一个实施例中，应用可以是可选择的和可定制的，并且通过定义应用的构造，用于特定用户的应用的部署和实现被呈现为更无缝的用户体验。在至少一个实施例中，通过利用系统3200的其他特征——如服务3120和硬件3122——部署管线3210可以甚至更加用户友好，提供更容易的集成，并且产生更准确、高效和及时的结果。
在至少一个实施例中，部署系统3106可以包括用户界面3214(例如，图形用户界面、网络界面等)，该用户界面3214可以用于选择用于包括在部署管线3210中的应用，在建立和/或部署期间安排应用、修改或改变应用或其参数或构造、使用部署管线3210和与部署管线3210交互，和/或以其他方式与部署系统3106交互。在至少一个实施例中，尽管未相对于训练系统3104示出，用户界面3214(或不同的用户界面)可以用于选择在部署系统3106中使用的模型、用于选择在训练系统3104中用于训练或重新训练的模型和/或用于以其他方式与训练系统3104交互。
在至少一个实施例中，除了应用编排系统3228之外，可以使用管线管理器3212来管理部署管道3210的应用或容器与服务3120和/或硬件3122之间的交互。在至少一个实施例中，管线管理器3212可以被配置为促进从应用到应用、从应用到服务3120和/或从应用或服务到硬件3122的交互。在至少一个实施例中，尽管被示为包括在软件3118中，但这不旨在是限制性的，并且在一些示例中(例如，如图33所示)，管线管理器3212可被包括在服务3120中。在至少一个实施例中，应用编排系统3228(例如，Kubernetes、DOCKER等)可以包括容器编排系统，该容器编排系统可以将应用分组到容器中作为用于协调、管理、扩展和部署的逻辑单元。在至少一个实施例中，通过将来自部署管线3210的应用(例如，重构应用、分段应用等)与单独的容器相关联，每个应用可以在自包含环境中(例如，在内核级)执行以提高速度和效率。
在至少一个实施例中，每个应用和/或容器(或其图像)可以被单独地开发，经修改和部署(例如，第一用户或开发者可开发、修改和部署第一应用，而第二用户或开发者可开发、修改和部署与第一用户或开发者分开的第二应用)，这可以允许关注和注意单个应用和/或容器的任务，而不受另一应用或容器的任务的阻碍。在至少一个实施例中，不同容器或应用之间的通信和协作可以由管线管理器3212和应用编排系统3228辅助。在至少一个实施例中，只要系统(例如，基于应用或容器的构造)知道每个容器或应用的预期输入和/或输出，应用编排系统3228和/或管线管理器3212可以促进它们之间和之间的通信，以及在每个应用或容器之间和之间共享资源。在至少一个实施例中，因为部署管线3210中的一个或更多个应用或容器可共享相同的服务和资源，所以应用编排系统3228可编排、负载平衡和确定在不同应用或容器之间和之中服务或资源的共享。在至少一个实施例中，调度器可以用于追踪应用或容器的资源需求、这些资源的当前使用或计划使用和资源可用性。在至少一个实施例中，调度器可以因此向不同的应用分配资源并且鉴于系统的需求和可用性在应用之间和之中分配资源。在一些示例中，调度器(和/或应用程序编排系统3228的其他部件)可以基于强加于系统上的约束(例如，用户约束)确定资源可用性和分布，如服务质量(QoS)、需要数据输出的紧急性(例如，确定是否执行实时处理或延迟处理)等。
在至少一个实施例中，由部署系统3106中的应用或容器利用和共享的服务3120可以包括计算服务3216、AI服务3218、可视化服务3220和/或其他服务类型。在至少一个实施例中，应用程序可调用(例如，执行)服务3120中的一个或更多个来执行应用程序的处理操作。在至少一个实施例中，计算服务3216可由应用利用来执行超级计算或其他高性能计算(HPC)任务。在至少一个实施例中，一个或更多个计算服务3216可被利用来执行并行处理(例如，使用并行计算平台3230)以用于通过应用中的一个或更多个和/或单个应用的一个或更多个任务来基本上同时地处理数据。在至少一个实施例中，并行计算平台3230(例如，NVIDIA的CUDA)可以使能GPU(GPGPU)(例如，GPU 3222)上的通用计算。在至少一个实施例中，并行计算平台3230的软件层可以提供对GPU的虚拟指令集和并行计算元件的访问，以便执行计算内核。在至少一个实施例中，并行计算平台3230可以包括存储器，并且在一些实施例中，可以在多个容器之间和之中和/或在单个容器内的不同处理任务之间和之中共享存储器。在至少一个实施例中，可以针对多个容器和/或针对容器内的多个进程生成进程间通信(IPC)调用以便使用来自并行计算平台3230的存储器的共享片段的相同数据(例如，在应用程序的多个不同阶段或多个应用程序正在处理相同信息的情况下)。在至少一个实施例中，不是复制数据并将数据移动到存储器中的不同位置(例如，读/写操作)，而是将存储器的相同位置中的相同数据用于任何数量的处理任务(例如，同时、不同时间等)。在至少一个实施例中，由于使用数据作为处理的结果来生成新数据，因此可以在不同应用之间存储和共享数据的新位置的该信息。在至少一个实施例中，数据的位置和更新的或修改的数据的位置可以是如何在容器内理解有效负载的定义的一部分。
在至少一个实施例中，可以利用AI服务3218来执行用于执行与应用相关联的机器学习模型(例如，被指派执行应用的一个或更多个处理任务的任务)的推理服务。在至少一个实施例中，AI服务3218可以利用AI系统3224来执行机器学习模型(例如，神经网络，诸如CNN)以用于分段、重构、对象检测、特征检测、分类和/或其他推理任务。在至少一个实施例中，一个或更多个部署管线3210的应用可以使用来自训练系统3104的输出模型3116中的一个或更多个输出模型和/或应用的其他模型来对成像数据(例如，DICOM数据、RIS数据、CIS数据、REST兼容数据、RPC数据、原始数据等)执行推理。在至少一个实施例中，使用应用编排系统3228(例如，调度器)进行推理的两个或更多个示例可以是可用的。在至少一个实施例中，第一类别可包括高优先级/低等待时间路径，其可实现较高服务水平协议，诸如用于在紧急情况期间对紧急请求执行推理，或在诊断期间对放射科医生执行推理。在至少一个实施例中，第二类别可以包括标准优先级路径，该标准优先级路径可以用于可能非紧急的请求或其中可以稍后执行分析的请求。在至少一个实施例中，应用编排系统3228可以基于用于AI服务3218的不同推理任务的优先级路径来分配资源(例如，服务3120和/或硬件3122)。
在至少一个实施例中，共享存储可以安装到系统3200内的AI服务3218。在至少一个实施例中，共享存储可以作为高速缓存(或其他存储器类型)操作，并且可以用于处理来自应用的推理请求。在至少一个实施例中，当提交推理请求时，可由部署系统3106的一组API示例接收请求，并且可选择一个或更多个示例(例如，为了最佳拟合、为了负载平衡等)来处理请求。在至少一个实施例中，为了处理请求，可以将请求输入到数据库中，如果尚未在高速缓存中，则可以从模型注册表3124定位机器学习模型，验证步骤可以确保适当的机器学习模型被加载到高速缓存(例如，共享存储)中，和/或模型的副本可以被保存到高速缓存。在至少一个实施例中，(例如，管线管理器3212的)调度器可用于在应用尚未运行或应用不存在足够的应用示例的情况下启动在请求中引用的应用。在至少一个实施例中，如果尚未启动推理服务器来执行模型，则可以启动推理服务器。每个模型可以启动任何数量的推理服务器。在至少一个实施例中，在其中推理服务器被聚类的拉模型中，每当负载平衡有利时，模型可被高速缓存。在至少一个实施例中，推理服务器可以被静态地加载到对应的分布式服务器中。
在至少一个实施例中，可使用在容器中运行的推理服务器来执行推理。在至少一个实施例中，推理服务器的示例可与模型(以及可选地模型的多个版本)相关联。在至少一个实施例中，如果在接收到对模型执行推理的请求时推理服务器的示例不存在，则可加载新示例。在至少一个实施例中，当启动推理服务器时，可将模型传递给推理服务器，使得只要推理服务器作为不同示例运行，就可使用同一容器来服务不同模型。
在至少一个实施例中，在应用程序执行期间，可以接收针对给定应用程序的推理请求，并且可以加载容器(例如，托管推理服务器的示例)(如果尚未加载)，并且可以调用开始过程。在至少一个实施例中，容器中的预处理逻辑可加载、解码传入数据和/或对传入数据执行任何附加预处理(例如，使用CPU和/或GPU)。在至少一个实施例中，一旦数据准备好进行推理，容器可根据需要对数据执行推理。在至少一个实施例中，这可包括对一个图像(例如，手X射线)的单个推理调用，或可要求对数百个图像(例如，胸部CT)的推理。在至少一个实施例中，应用可以在完成之前总结结果，这可以包括但不限于单个置信度得分、像素级分割、体素级分割、生成可视化、或生成文本以总结发现。在至少一个实施例中，不同的模型或应用可被指派不同的优先级。例如，一些模型可具有实时(TAT＜1分钟)优先级，而其他模型可具有较低优先级(例如，TAT＜10分钟)。在至少一个实施例中，可以从请求机构或实体测量模型执行时间，并且模型执行时间可以包括伙伴网络遍历时间，以及在推理服务上的执行。
在至少一个实施例中，服务3120与推理应用之间的请求的传送可被隐藏在软件开发包(SDK)之后，并且可通过队列提供稳健的传输。在至少一个实施例中，请求将经由单独的应用/租户ID组合的API被放置在队列中，并且SDK将从队列中拉取请求并将请求给予应用。在至少一个实施例中，可以在SDK将从其中拾取队列的环境中提供队列的名称。在至少一个实施例中，通过队列的异步通信可以是有用的，因为它可以允许应用的任何示例在其变得可用时拾取工作。结果可通过队列传送回来，以确保没有数据损失。在至少一个实施例中，队列还可以提供分割工作的能力，因为最高优先级工作可以转到具有与其连接的应用的大多数示例的队列，而最低优先级工作可以转到具有与其连接的单个示例的队列，其以接收的顺序处理任务。在至少一个实施例中，应用可以在云3226中生成的GPU加速的示例上运行，并且推理服务可以对GPU执行推理。
在至少一个实施例中，可利用可视化服务3220来生成用于查看应用和/或一个或更多个部署管线3210的输出的可视化。在至少一个实施例中，GPU 3222可被可视化服务3220利用来生成可视化。在至少一个实施例中，呈现效果(诸如光线追踪)可由可视化服务3220实现以生成更高质量的可视化。在至少一个实施例中，可视化可以包括但不限于2D图像渲染、3D体渲染、3D体重建、2D断层摄影切片、虚拟现实显示器、增强现实显示器等。在至少一个实施例中，虚拟化环境可以用于生成用于由系统的用户(例如，医生、护士、放射科医生等)交互的虚拟交互式显示器或环境(例如，虚拟环境)。在至少一个实施例中，可视化服务3220可以包括内部可视化器、动态图像和/或其他渲染或图像处理能力或功能(例如，光线追踪、光栅化、内部光学器件等)。
在至少一个实施例中，硬件3122可包括GPU 3222、AI系统3224、云3226和/或用于执行训练系统3104和/或部署系统3106的任何其他硬件。在至少一个实施例中，GPU 3222(例如，NVIDIA的TESLA和/或QUADRO GPU)可包括可用于执行计算服务3216、AI服务3218、可视化服务3220、其他服务和/或软件3118的特征或功能中的任何一个的处理任务的任何数量的GPU。例如，关于AI服务3218，GPU 3222可以用于对成像数据(或由机器学习模型使用的其他数据类型)执行预处理，对机器学习模型的输出执行后处理，和/或用于执行推理(例如，用于执行机器学习模型)。在至少一个实施例中，云3226、AI系统3224和/或系统3200的其他部件可以使用GPU 3222。在至少一个实施例中，云3226可包括用于深度学习任务的GPU优化的平台。在至少一个实施例中，AI系统3224可以使用GPU，并且可以使用一个或更多个AI系统3224来执行云3226或任务为深度学习或推理的至少一部分。照此，尽管硬件3122被示为分立组件，但这不旨在是限制性的，并且硬件3122的任何组件可以与硬件3122的任何其他组件组合或被其利用。
在至少一个实施例中，AI系统3224可以包括被配置成用于推理、深度学习、机器学习和/或其他人工智能任务的专用计算系统(例如，超级计算机或HPC)。在至少一个实施例中，AI系统3224(例如，NVIDIA的DGX)可以包括除了CPU、RAM、存储装置和/或其他组件、特征或功能性之外还可以使用多个GPU 3222执行的GPU优化的软件(例如，软件栈)。在至少一个实施例中，一个或更多个AI系统3224可以在云3226中(例如，在数据中心中)实现以用于执行系统3200的基于AI的处理任务中的一些或全部。
在至少一个实施例中，云3226可包括可提供用于执行系统3200的处理任务的GPU优化的平台的GPU加速的基础结构(例如，NVIDIA的NGC)。在至少一个实施例中，云3226可以包括用于执行系统3200的基于AI的任务中的一个或更多个(例如，作为硬件抽象和缩放平台)的AI系统3224。在至少一个实施例中，云3226可以与利用多个GPU的应用编排系统3228集成，以使得能够在应用和服务3120之间和之中进行无缝缩放和负载平衡。在至少一个实施例中，云3226的任务可以是执行系统3200的服务3120中的至少一些，包括计算服务3216、AI服务3218和/或可视化服务3220，如本文所描述的。在至少一个实施例中，云3226可执行小批量推理和大批量推理(例如，执行NVIDIA的TENSORRT)，提供加速的并行计算API和平台3230(例如，NVIDIA的CUDA)，执行应用编排系统3228(例如，KUBERNETES)，提供图形渲染API和平台(例如，用于光线追踪、2D图形、3D图形、和/或其他渲染技术以产生更高质量的影片学)，和/或可以为系统3200提供其他功能。
在至少一个实施例中，为了保护患者机密性(例如，在患者数据或记录有待不在现场使用的情况下)，云3226可以包括注册表——如深度学习容器注册表。在至少一个实施例中，注册表可以存储用于对患者数据执行预处理、后处理或其他处理任务的应用的示例的容器。在至少一个实施例中，云3226可接收包括容器中的患者数据以及传感器数据的数据，仅对那些容器中的传感器数据执行所请求的处理，然后将所得的输出和/或可视化内容转发到适当的各方和/或设备(例如，用于可视化或诊断的现场医疗设备)，全部不必提取、存储或以其他方式访问患者数据。在至少一个实施例中，遵照HIPAA和/或其他数据规定来保持患者数据的机密性。
图33包括根据至少一个实施例的用于处理成像数据的部署管线3210A的示例图示。在至少一个实施例中，系统3200——并且具体地部署系统3106——可以用于定制、更新、和/或将一个或更多个部署管线3210A集成到一个或更多个生产环境中。在至少一个实施例中，图33的部署管线3210A包括可由设施处(例如，医院、诊所、实验室、研究环境等处)的特定用户(或用户组)自定义的部署管线3210A的非限制性示例。在至少一个实施例中，为了定义用于CT扫描仪3302的部署管线3210A，用户可以从容器注册表中选择例如关于由CT扫描仪3302生成的成像数据执行特定功能或任务的一个或更多个应用。在至少一个实施例中，应用可以应用于部署管线3210A，作为可以利用系统3200的服务3120和/或硬件3122的容器。此外，部署管线3210A可以包括可以被实施来准备数据以供应用使用的附加处理任务或应用(例如，DICOM适配器3202B和DICOM读取器3306可以在部署管线3210A中被用来准备数据以供CT重构3308、器官分割3310等使用)。在至少一个实施例中，部署管线3210A可以被定制或选择用于一致的部署、一次使用、或另一频率或间隔。在至少一个实施例中，用户可能希望在特定间隔上针对若干受试者进行CT重构3308和器官分割3310，并且因此可以在该时间段中部署管线3210A。在至少一个实施例中，用户可以为来自系统3200的每个请求选择用户想要对该请求的该数据执行处理的应用。在至少一个实施例中，可以以任何间隔调整部署管线3210A，并且由于系统3200内的容器结构的适应性和可扩展性，这可以是无缝过程。
在至少一个实施例中，图33的部署管线3210A可包括生成患者或受试者的成像数据的CT扫描仪3302。在至少一个实施例中，来自CT扫描仪3302的成像数据可被存储在与容纳CT扫描仪3302的设施相关联的PACS服务器3304上。PACS服务器3304可包括可直接与设施处的成像模态(例如，CT扫描仪3302)对接的软件和/或硬件组件。在至少一个实施例中，DICOM适配器3202B可使用DICOM协议发送和接收DICOM对象。在至少一个实施例中，DICOM适配器3202B可帮助准备或配置来自PACS服务器3304的DICOM数据以由部署管路3210A使用。在至少一个实施例中，一旦通过DICOM适配器3202B处理DICOM数据，管线管理器3212可以将数据路由到部署管道3210A。在至少一个实施例中，DICOM读取器3306可以从DICOM数据(例如，原始正弦图像数据，如可视化3316A所示)中提取图像文件和任何相关联的元数据。在至少一个实施例中，可以将所提取的工作文件存储在高速缓存中以便由部署管线3210A中的其他应用进行更快的处理。在至少一个实施例中，一旦DICOM读取器3306完成提取和/或存储数据，完成的信号就可以被传送到管线管理器3212。在至少一个实施例中，管线管理器3212然后可以发起或调用部署管线3210A中的一个或更多个其他应用或容器。
在至少一个实施例中，一旦数据(例如，原始正弦图数据)可用于由CT重构3308应用处理，就可执行CT重构3308应用和/或容器。在至少一个实施例中，CT重构3308可从高速缓存中读取原始正弦图像数据，从原始正弦图像数据中重构图像文件(例如，如可视化3316B中所解说的)，并将所得图像文件存储在高速缓存中。在至少一个实施例中，在重构完成时，可用信号通知管线管理器3212重构任务完成。在至少一个实施例中，一旦重建完成，并且重建的图像文件可以存储在高速缓存(或其他存储装置)中，器官分割3310应用和/或容器可以由管线管理器3212触发。在至少一个实施例中，器官分割3310应用和/或容器可以从高速缓存中读取图像文件，将图像文件归一化或转换成适合于推理的格式(例如，将图像文件转换成机器学习模型的输入分辨率)，并且针对归一化图像运行推理。在至少一个实施例中，为了对归一化图像运行推理，器官分割3310应用和/或容器可以依赖于服务3120，并且管线管理器3212和/或应用编排系统3228可以促进器官分割3310应用和/或容器对服务3120的使用。例如，器官分割3310应用和/或容器可以利用AI服务3218来对归一化图像执行推理，并且AI服务3218可以利用硬件3122(例如，AI系统3224)来执行AI服务3218。在至少一个实施例中，推理的结果可以是可以存储在高速缓存(或其他存储器)中的掩码文件(例如，如可视化3316C所示)。
在至少一个实施例中，一旦处理DICOM数据和/或从DICOM数据提取的数据的应用已经完成处理，可以为管线管理器3212生成信号。在至少一个实施例中，管线管理器3212然后可执行DICOM写入器3312以从高速缓存(或其他存储器)读取结果，将结果封装成DICOM格式(例如，作为DICOM输出3314)以供生成请求的设施处的用户使用。在至少一个实施例中，然后可将DICOM输出3314传输至DICOM适配器3202B以准备DICOM输出3314用于存储在PACS服务器3304上(例如，用于由设施处的DICOM查看器查看)。在至少一个实施例中，响应于重构和分割的请求，可生成可视化3316B和3316C，并且可可视化3316B和3316C对于用户可用于诊断、研究和/或其他目的。
虽然在至少一个实施例中被示出为在部署管线3210A中的连续应用，但是可以并行地处理CT重构3308和器官分割3310应用。在至少一个实施例中，在应用程序彼此不具有依赖性并且数据可用于每个应用程序(例如，在DICOM读取器3306提取数据之后)的情况下，应用程序可同时、基本上同时或以一些重叠执行。在至少一个实施例中，在两个或更多个应用需要类似的服务3120的情况下，系统3200的调度器可用于在不同应用之间和之中负载平衡和分配计算或处理资源。在至少一个实施例中，在一些实施例中，并行计算平台3230可以用于为应用执行并行处理以减少部署管线3210A的运行时间从而提供实时结果。
在至少一个实施例中，并且参见图34A-34B，部署系统3106可以被实施为用于执行不同功能(如图像处理)的一个或更多个虚拟仪器——例如图像处理、分割、增强、AI、可视化、和推理——使用成像设备(例如，CT扫描仪、X射线机、MRI机等)，测序设备、基因组学设备和/或其他设备类型。在至少一个实施例中，系统3200可以允许创建和提供虚拟工具，所述虚拟工具可以包括软件定义的部署管线3210，所述部署管线可以接收由一个或更多个设备生成的原始/未经处理的输入数据和输出经处理/重构的数据。在至少一个实施例中，表示虚拟仪器的部署管线3210(例如，3210A和3210B)可以诸如通过利用机器学习模型将智能实施到管线中，以向系统提供容器化的推理支持。在至少一个实施例中，虚拟工具可执行任何数量的容器，每个容器包括应用的示例，诸如在期望实时处理的情况下，表示虚拟工具的部署管线3210可以是静态的(例如，可以设置容器和/或应用)，而在其他示例中，可以(例如，在每个请求的基础上)从应用或资源池(例如，在容器注册表内)选择用于虚拟工具的容器和/或应用。
在至少一个实施例中，系统3200可以被示例化或执行为例如部署在设施处的放射科机器、成像装置和/或另一装置类型旁边或以其他方式与其通信的计算系统中的设施处的设施处的一个或更多个现场虚拟仪器。然而，在至少一个实施例中，场所内安装可在设备自身的计算系统(例如，集成到成像设备的计算系统)内、在本地数据中心(例如，场所内数据中心)中和/或在云环境(例如，云3226)中示例化或执行。在至少一个实施例中，在一些示例中，作为虚拟仪器操作的部署系统3106可以由超级计算机或其他HPC系统来示例化。在至少一个实施例中，场所内安装可允许用于实时处理的高带宽使用(例如，经由较高吞吐量的本地通信接口，诸如以太网上的RF)。在至少一个实施例中，在虚拟仪器支持超声设备或其他成像模态的情况下，实时或近实时处理可能是特别有用的，在所述其他成像模态中，对于精确的诊断和分析预期或需要即时可视化。在至少一个实施例中，当本地需求超过场所内容量或能力时，云计算架构可能能够向云计算服务提供商或其他计算集群动态突发。在至少一个实施例中，云架构在被实现时可被调谐用于训练神经网络或其他机器学习模型，如本文中相对于训练系统3104所描述的。在至少一个实施例中，在训练管线就位的情况下，机器学习模型可以在它们处理来自它们支持的设备的附加数据时被连续地学习和改进。在至少一个实施例中，可以使用附加数据、新数据、现有机器学习模型和/或新的或更新的机器学习模型来连续地改进虚拟工具。
在至少一个实施例中，计算系统可以包括在此描述的硬件3122中的一些或全部，并且硬件3122可以以多种方式中的任何方式分布，包括在设备内，作为耦合到设备并位于设备附近的计算设备的一部分，在设施处的本地数据中心中和/或在云3226中。在至少一个实施例中，因为部署系统3106和相关联的应用或容器是在软件中创建的(例如，作为应用的离散的容器化示例)，虚拟仪器的行为、操作和配置以及由虚拟仪器生成的输出，可以根据需要修改或定制，而不必改变或改变虚拟仪器支持的设备的原始输出。
图34A包括根据至少一个实施例的支持超声设备的虚拟仪器的示例数据流程图。在至少一个实施例中，部署管线3210B可利用系统3200的服务3120中的一个或更多个。在至少一个实施例中，部署管线3210B和服务3120可以在本地或在云3226中利用系统的硬件3122。在至少一个实施例中，虽然未示出，但是过程3400可以由管线管理器3212、应用编排系统3228和/或并行计算平台3230来促进。
在至少一个实施例中，过程3400可包括从超声设备3402接收成像数据。在至少一个实施例中，成像数据可以DICOM格式(或其他格式，诸如，RIS、CIS、REST兼容、RPC、原始等)存储在PACS服务器上，并且可由系统3200接收用于通过部署管线3210进行处理，该部署管线被选择或定制为用于超声设备3402的虚拟仪器(例如，虚拟超声)。在至少一个实施例中，成像数据可直接从成像装置(例如，超声设备3402)接收并由虚拟仪器处理。在至少一个实施例中，通信地耦合在成像设备与虚拟仪器之间的换能器或其他信号转换器可以将由成像设备生成的信号数据转换成可以由虚拟仪器处理的图像数据。在至少一个实施例中，原始数据和/或图像数据可以应用于DICOM读取器3306以提取数据以供部署管线3210B的应用程序或容器使用。在至少一个实施例中，DICOM读取器3306可利用数据扩充库3414(例如，NVIDIA的DALI)作为服务3120(例如，作为计算服务3216中的一个)来提取、调整大小、重新缩放和/或以其他方式准备数据以供应用或容器使用。
在至少一个实施例中，一旦准备好数据，就可执行重构3406应用程序和/或容器以将来自超声设备3402的数据重构为图像文件。在至少一个实施例中，在重构3406之后或与重构3406同时，可执行检测3408应用程序和/或容器以用于异常检测、对象检测、特征检测和/或与数据相关的其他检测任务。在至少一个实施例中，重构3406期间生成的图像文件可在检测3408期间用于标识异常、对象、特征等。在至少一个实施例中，检测3408应用可以利用推理引擎3416(例如，作为AI服务3218中的一个)来对数据执行推理以生成检测。在至少一个实施例中，检测3408应用可以执行或调用一个或更多个机器学习模型(例如，来自训练系统3104)。
在至少一个实施例中，一旦重构3406和/或检测3408完成，就可以使用来自这些应用和/或容器的数据输出来生成可视化3410，诸如显示在工作站或显示终端上的可视化3412(例如，灰度输出)。在至少一个实施例中，可视化可允许技术人员或其他用户相对于超声设备3402可视化部署管线3210B的结果。在至少一个实施例中，可以通过利用系统3200的渲染组件3418(例如，一个或更多个可视化服务3220中的一个)来执行可视化3410。在至少一个实施例中，渲染组件3418可执行2D、OpenGL或光线追踪服务以生成可视化3412。
图34B包括根据至少一个实施例的支持CT扫描仪的虚拟仪器的示例数据流程图。在至少一个实施例中，部署管线3210C可利用系统3200的服务3120中的一个或更多个。在至少一个实施例中，部署管线3210C和服务3120可以在本地或在云3226中利用系统的硬件3122。在至少一个实施例中，虽然未示出，但是可以通过管线管理器3212、应用编排系统3228和/或并行计算平台3230来促进过程3420。
在至少一个实施例中，过程3420可包括CT扫描仪3422生成可由DICOM读取器3306(例如，直接，经由PACS服务器3304，在处理之后等)接收的原始数据。在至少一个实施例中，虚拟CT(由部署管线3210C示例化)可包括用于监测患者(例如，患者移动检测AI3426)和/或用于调整或优化CT扫描仪3422的曝光(例如，使用曝光控制AI3424)的第一实时管线。在至少一个实施例中，一个或更多个应用(例如，3424和3426)可以利用服务3120，诸如AI服务3218。在至少一个实施例中，暴光控制AI3424应用(或容器)和/或患者移动检测AI3426应用(或容器)的输出可用作对CT扫描仪3422和/或技师的反馈，以调整暴露(或CT扫描仪3422的其他设置)和/或通知患者移动较少。
在至少一个实施例中，部署管线3210C可包括用于分析由CT扫描仪3422生成的数据的非实时管线。在至少一个实施例中，第二管线可包括CT重构3308应用和/或容器，粗略检测AI 3428应用和/或容器、精细检测AI 3432应用和/或容器(例如，其中某些结果由粗略检测AI 3428检测)，可视化3430应用和/或容器，以及DICOM写入器3312(和/或其他数据类型写入器，例如RIS、CIS、REST兼容、RPC、原始等)应用和/或容器。在至少一个实施例中，由CT扫描仪3422生成的原始数据可通过部署管线3210C的管线(被示例化为虚拟CT仪器)被传递以生成结果。在至少一个实施例中，来自DICOM写入器3312的结果可被传输用于显示和/或可存储在PACS服务器3304上以用于由技术人员、从业者或其他用户以后检索、分析或显示。
图35A示出了根据至少一个实施例的用于训练、重新训练或更新机器学习模型的过程3500的数据流程图。在至少一个实施例中，可以使用图32的系统3200作为非限制性示例来执行过程3500。在至少一个实施例中，过程3500可以利用系统3200的服务3120和/或硬件3122，如在此所描述的。在至少一个实施例中，由过程3500生成的精炼模型3512可以由部署系统3106针对部署管线3210中的一个或更多个容器化应用来执行。
在至少一个实施例中，模型训练3114可以包括使用新的训练数据(例如，新的输入数据，诸如顾客数据集3506和/或与输入数据相关联的新的地面实况数据)来重新训练或更新初始模型3504(例如，预训练模型)。在至少一个实施例中，为了重新训练或更新初始模型3504，初始模型3504的输出或损失层可被重置、或删除、和/或用更新的或新的输出或损失层替换。在至少一个实施例中，初始模型3504可以具有先前微调的参数(例如，权重和/或偏置)，这些参数保持来自先前训练，因此训练或重新训练3114可以不花费与从头训练模型一样长的时间或需要尽可能多的处理。在至少一个实施例中，在模型训练3114期间，通过重置或替换初始模型3504的输出或损失层，在生成关于新的预测时，可基于与输出或一个或更多个损失层的准确度相关联的损失计算来为新的数据集更新和重新调谐参数，顾客数据集3506(例如，图31的成像数据3108)。
在至少一个实施例中，预训练模型3206可被存储在数据存储或注册表(例如，图31的模型注册表3124)中。在至少一个实施例中，预训练模型3206可以已经在除了执行过程3500的设施之外的一个或更多个设施处至少部分地被训练。在至少一个实施例中，为了保护不同设施的患者、受试者或客户端的隐私和权限，可能已经使用场所内生成的客户或患者数据在场所内训练了预训练模型3206。在至少一个实施例中，可以使用云3226和/或其他硬件3122来训练预训练模型3206，但是机密的、隐私保护的患者数据可以不被传输到云3226的任何组件(或其他房屋外硬件)、不被云3226的任何组件使用或不被云3226的任何组件访问。在至少一个实施例中，在使用来自一个以上设施的患者数据来训练预训练模型3206时，可以在对来自另一个设施的患者或客户数据进行训练之前针对每个设施单独地训练预训练模型3206。在至少一个实施例中，诸如其中顾客或患者数据已被发布隐私问题(例如，通过等待、供实验使用等)，或者在客户或患者数据包括在公共数据集中的情况下，来自任何数量的设施的客户或患者数据可被用来训练场所内和/或场所外的预训练模型3206，诸如在数据中心或其他云计算基础设施中。
在至少一个实施例中，当选择在部署管线3210中使用的应用时，用户还可以选择将用于特定应用的机器学习模型。在至少一个实施例中，用户可以不具有供使用的模型，因此用户可以选择预先训练的模型3206来与应用一起使用。在至少一个实施例中，预先训练的模型3206可以不被优化用于在用户的设施的顾客数据集3506上生成准确的结果(例如，基于患者多样性、人口统计、所使用的医学成像设备的类型等)。在至少一个实施例中，在将预训练模型3206部署到部署管线3210中以供与应用一起使用之前，预训练模型3206可以被更新、重新训练和/或微调以供在相应设施处使用。
在至少一个实施例中，用户可以选择要被更新、重新训练和/或精细调谐的预训练模型3206，并且预训练模型3206可以被称为用于过程3500内的训练系统3104的初始模型3504。在至少一个实施例中，顾客数据集3506(例如，成像数据、基因组学数据、测序数据或由设施处的设备生成的其他数据类型)可以用于对初始模型3504执行模型训练3114(其可以包括但不限于转移学习)以生成经细化的模型3512。在至少一个实施例中，对应于顾客数据集3506的地面实况数据可由训练系统3104生成。在至少一个实施例中，地面真实数据可以至少部分地由设施处的临床医生、科学家、医生、执业医生生成(例如，如图31的标记的临床数据3112)。
在至少一个实施例中，AI辅助注释3110可以在一些示例中用于生成地面实况数据。在至少一个实施例中，AI辅助注释3110(例如，使用AI辅助注释SDK来实现)可以利用机器学习模型(例如，神经网络)来生成针对顾客数据集的建议的或预测的地面实况数据。在至少一个实施例中，用户3510可使用计算设备3508上的用户界面(图形用户界面(GUI))内的注释工具。
在至少一个实施例中，用户3510可经由计算设备3508与GUI交互以编辑或微调(自动)注释。在至少一个实施例中，多边形编辑特征可用于将多边形的顶点移动到更准确或精细调整的位置。
在至少一个实施例中，一旦顾客数据集3506具有相关联的地面实况数据，地面实况数据(例如，来自AI辅助注释、手动标记等)就可在模型训练3114期间被用于生成经细化的模型3512。在至少一个实施例中，顾客数据集3506可以被应用到初始模型3504任意次数，并且地面实况数据可以用于更新初始模型3504的参数，直到针对精化模型3512获得可接受的准确度水平。在至少一个实施例中，一旦生成精化模型3512，精化模型3512可以部署在用于执行关于医学成像数据的一个或更多个处理任务的设施处的一个或更多个部署管线3210内。
在至少一个实施例中，精炼模型3512可以被上传到模型注册表3124中的预训练模型3206以由另一设施选择。在至少一个实施例中，他的过程可以在任何数量的设施处完成，使得经细化的模型3512可以在新的数据集上被进一步细化任何次数以生成更通用的模型。
图35B是根据至少一个实施例的用于利用预先训练的注释模型来增强注释工具的客户端-服务器架构3532的示例图示。在至少一个实施例中，AI辅助注释工具3536可以基于客户端-服务器架构3532被示例化。在至少一个实施例中，成像应用中的注释工具3536可以帮助放射科医生例如识别器官和异常。在至少一个实施例中，成像应用可以包括软件工具，作为非限制性示例，该软件工具帮助用户3510识别原始图像3534中(例如，在3D MRI或CT扫描中)感兴趣的特定器官上的几个极端点并且接收特定器官的所有2D切片的自动注释的结果。在至少一个实施例中，结果可以作为训练数据3538存储在数据存储中并且用作(例如但不限于)用于训练的地面实况数据。在至少一个实施例中，当计算设备3508发送AI辅助注释3110的极端点时，深度学习模型例如可以接收该数据作为输入并且返回分段器官或异常的推理结果。在至少一个实施例中，预示例化的注释工具(诸如图35B中的AI辅助注释工具3536B)可通过向服务器(诸如可包括例如存储在注释模型注册表中的预训练模型3542的集合的注释助理服务器3540)进行API调用(例如，API调用3544)来增强。在至少一个实施例中，注释模型注册表可以存储预训练模型3542(例如，机器学习模型，诸如深度学习模型)，其被预先训练以对特定器官或异常执行AI辅助注释。这些模型可通过使用训练管线3204进一步更新。在至少一个实施例中，当添加新的经标记的诊所数据3112时，可随时间改进预安装的注释工具。
推理和/或训练逻辑615用于执行与一个或更多个实施例相关联的推理和/或训练操作。在至少一个实施例中，此逻辑可与这些图的组件一起使用，以训练分割网络和/或使用这些网络进行推理。
其他变化在本公开的精神内。由此，虽然所公开的技术易受不同修改和替代构造的影响，但其某些所解说的实施例在附图中示出并且已在上文详细地描述。然而，应当理解，并非旨在将本公开限制为所公开的一种或多种特定形式，而是相反，旨在覆盖落在如所附权利要求所限定的本公开的精神和范围内的所有修改、替代构造和等同物。
在描述所披露的实施例的背景下(尤其在以下权利要求的背景下)，术语“一个/一种(a/an)”和“该(the)”以及类似指称词的使用应被解释为覆盖单数和复数两者，除非在此另外指明或与上下文明显矛盾，并且不作为术语的定义。除非另外指出，术语“包含”、“具有”、“包括”和“含有”应被解释为开放式术语(意指“包括但不限于”)。术语“连接”在未修改和提及物理连接时应被解释为部分地或完全地包含在一起、附接至其上、或连接在一起，即使存在介入的东西。除非本文另有说明，本文列举的数值范围仅旨在用作单独提及落入范围内的每个单独数值的简略方法，并且每个单独数值并入说明书中，就好像其在本文单独列举一样。除非上下文另外指出或矛盾，否则术语“集合”(例如，“项目集合”)或“子集”的使用应被解释为包括一个或更多个成员的非空集合。进一步，除非上下文另外指出或矛盾，否则对应集合的术语“子集”不一定表示对应集合的适当子集，但是子集和对应集合可以是相等的。
连接语言，如“A、B和C中的至少一项”形式的短语，“或“A、B和C中的至少一个”，除非另有明确说明或者与上下文明显矛盾，用上下文另外理解，所述上下文通常用于呈现项目、术语，等可以是A或B或C，或者A和B和C的集合的任何非空子集。例如，在具有三个成员的集合的说明性示例中，连接性短语“A、B和C中的至少一个”和“A、B和C中的至少一个”是指以下集合中的任何集合：{A}、{B}、{C}、{A、B}、{A、C}、{B、C}、{A、B、C}。因此，此类连接性语言一般不旨在暗示某些实施例要求各自存在A中的至少一个、B中的至少一个、以及C中的至少一个。此外，除非上下文另外指出或矛盾，否则术语“多个”指示为复数的状态(例如，“多个项目”指示多个项目)。多个是至少两个项目，但当明确地或通过上下文如此指示时可能更多。进一步地，除非另外指明或另外从上下文清楚，短语“基于”是指“至少部分地基于”而不是“仅基于。”
在此描述的过程的操作可以按任何适合的顺序进行，除非在此另外指明或另外与上下文明显矛盾。在至少一个实施例中，诸如本文中描述的那些过程(或其变型和/或组合)的过程在配置有可执行指令的一个或更多个计算机系统的控制下执行，并被实现为在一个或更多个处理器上共同执行的代码(例如，可执行指令、一个或更多个计算机程序或一个或更多个应用)，通过硬件或其组合。在至少一个实施例中，代码例如以包括可由一个或更多个处理器执行的多个指令的计算机程序的形式存储在计算机可读存储介质上。在至少一个实施例中，计算机可读存储介质是非瞬态计算机可读存储介质，该非瞬态计算机可读存储介质排除瞬态信号(例如，传播的瞬态电或电磁传输)但包括瞬态信号的收发机内的非瞬态数据存储电路(例如，缓冲器、高速缓存和队列)。在至少一个实施例中，代码(例如，可执行代码或源代码)被存储在其上存储有可执行指令(或用于存储可执行指令的其他存储器)的一个或更多个非瞬态计算机可读存储介质的集合上，当由计算机系统的一个或更多个处理器执行时(即，由于被执行)，使计算机系统执行本文描述的操作。在至少一个实施例中，一组非暂态计算机可读存储介质包括多个非暂态计算机可读存储介质和多个非暂态计算机可读存储介质中的各个非暂态计算机可读存储介质中的一个或更多个缺少全部代码，而多个非暂态计算机可读存储介质共同地存储全部代码。在至少一个实施例中，可执行指令被执行以使得不同的指令由不同的处理器执行。例如，非瞬态计算机可读存储介质存储指令，并且主中央处理单元(“CPU”)执行指令中的一些指令，而图形处理单元(“GPU”)执行其他指令。在至少一个实施例中，计算机系统的不同组件具有单独的处理器，并且不同的处理器执行指令的不同子集。
因此，在至少一个实施例中，计算机系统被配置为实现单独地或共同地执行本文中描述的过程的操作的一个或更多个服务，并且此类计算机系统配置有能够实现操作的执行的可应用的硬件和/或软件。进一步，实现本公开的至少一个实施例的计算机系统是单个设备，并且在另一实施例中，是包括不同地操作的多个设备的分布式计算机系统，使得分布式计算机系统执行本文描述的操作并且使得单个设备不执行所有操作。
在此提供的任何和所有示例或示例性语言(例如，“如”)的使用仅旨在更好地阐明本披露的实施例并且不对本披露的范围构成限制，除非另外要求。说明书中的语言不应被解释为指示任何未要求保护的元素对于实践本公开是必不可少的。
在此引用的所有参考文献(包括出版物、专利申请、以及专利)均通过引用结合在此，其程度如同每个参考文献被单独地并且具体地指示为通过引用结合并且在此以其全文列出一样。
在说明书和权利要求书中，可以使用术语“耦合”和“连接”及其派生词。应当理解，这些术语可能不旨在作为彼此的同义词。而是，在具体示例中，“连接”或“耦合”可以用于指示两个或更多个元件彼此直接或间接物理或电接触。“耦合”还可以指两个或更多个元件彼此不直接接触，但仍彼此合作或交互。
除非另有明确说明，可以理解的是贯穿说明书术语，如“处理，“计算”、“计算”、“确定”等指计算机或计算系统的动作和/或过程，或类似的电子计算设备，其操纵和/或变换被表示为物理的(诸如电子的)数据，计算系统的寄存器和/或存储器内的量到类似地表示为计算系统的存储器内的物理量的其他数据中，寄存器或其他此类信息存储、传输或显示装置。
以类似的方式，术语“处理器”可以指处理来自寄存器和/或存储器的电子数据并且将该电子数据转换成可以存储在寄存器和/或存储器中的其他电子数据的任何设备或设备的部分。作为非限制性示例，“处理器”可以是CPU或GPU。“计算平台”可以包括一个或更多个处理器。如在此使用的，“软件”过程可以包括例如随着时间执行工作的软件和/或硬件实体，如任务、线程和智能代理。而且，每一过程可指代用于循序或并行地、连续地或间歇地执行指令的多个过程。术语“系统”和“方法”在此可互换地使用，只要系统可以体现一种或多种方法并且方法可以被认为是系统。
在本文件中，可以参考获得、获取、接收、或输入模拟或数字数据到子系统、计算机系统、或计算机实现的机器中。获得、获取、接收或输入模拟和数字数据可以以各种方式完成，如通过接收作为函数调用或对应用程序编程接口的调用的参数的数据。在一些实现中，获得、获取、接收或输入模拟或数字数据的过程可通过经由串行或并行接口传送数据来完成。在另一实现中，获得、获取、接收或输入模拟或数字数据的过程可通过经由计算机网络从提供实体向获取实体传送数据来完成。还可以参考提供、输出、传输、发送或呈现模拟或数字数据。在不同示例中，提供、输出、传送、发送或呈现模拟或数字数据的过程可通过作为函数调用的输入或输出参数、应用编程接口的参数或进程间通信机制来传送数据来完成。
虽然以上论述陈述所描述的技术的举例实施例，但其他架构可用以实施所描述的功能性，且既定处于本发明的范围内。此外，尽管以上出于讨论的目的定义了职责的特定分布，但是取决于情况，可以以不同的方式分布和划分各种功能和职责。
此外，尽管已经用结构特征和/或方法动作专用的语言描述了本主题，但应当理解的是，所附权利要求书中所要求保护的主题不必限于所描述的具体特征或动作。相反，特定特征和动作被公开为实现权利要求的示范性形式。

Claims (30)

1.一种处理器，包括：
一个或更多个电路，用于至少部分地基于使用一个或更多个图像迭代地训练的一个或更多个神经网络来生成与所述一个或更多个图像内的一个或更多个对象相对应的一个或更多个注释。
2.根据权利要求1所述的处理器，其中所述一个或更多个神经网络部分地通过确定所述一个或更多个神经网络的预测之间的不确定性，并且至少部分地基于所述不确定性选择要被注释的所述一个或更多个图像中的图像来训练。
3.根据权利要求2所述的处理器，其中所述一个或更多个神经网络部分地通过至少部分地基于所述不确定性将所述一个或更多个图像中的图像重新用于一个或更多个训练迭代来进一步训练。
4.根据权利要求2所述的处理器，其中所述一个或更多个神经网络使用具有Dice对数似然的Stein变分梯度下降来进一步训练。
5.根据权利要求2所述的处理器，其中所述一个或更多个神经网络使用所述一个或更多个图像中的经注释的图像池与原始图像池之间的交互信息来进一步训练，以选择用于注释的原始图像，所选择的原始图像具有与用于训练的经注释的图像不同的配置文件。
6.根据权利要求1所述的处理器，其中所述一个或更多个图像包括体医学成像数据，并且所述一个或更多个对象是人类器官。
7.一种系统，包括：
一个或更多个处理器，用于至少部分地基于使用一个或更多个图像迭代地训练的一个或更多个神经网络来生成与所述一个或更多个图像内的一个或更多个对象相对应的一个或更多个注释。
8.根据权利要求7所述的系统，其中所述一个或更多个神经网络部分地通过确定所述一个或更多个神经网络的预测之间的不确定性，并且至少部分地基于所述不确定性选择要被注释的所述一个或更多个图像中的图像来训练。
9.根据权利要求8所述的系统，其中所述一个或更多个神经网络部分地通过至少部分地基于所述不确定性将所述一个或更多个图像中的图像重新用于一个或更多个训练迭代来进一步训练。
10.根据权利要求8所述的系统，其中所述一个或更多个神经网络使用具有Dice对数似然的Stein变分梯度下降来进一步训练。
11.根据权利要求8所述的系统，其中所述一个或更多个神经网络使用经注释的图像池与原始图像池之间的交互信息来进一步训练，以选择用于注释的原始图像，所选择的原始图像具有与用于训练的经注释的图像不同的配置文件。
12.根据权利要求7所述的系统，其中所述一个或更多个图像包括体医学成像数据，并且所述一个或更多个对象是人类器官。
13.一种方法，包括：
至少部分地基于使用一个或更多个图像迭代地训练的一个或更多个神经网络来生成与所述一个或更多个图像内的一个或更多个对象相对应的一个或更多个注释。
14.根据权利要求13所述的方法，其中所述一个或更多个神经网络部分地通过确定所述一个或更多个神经网络的预测之间的不确定性，并且至少部分地基于所述不确定性选择要被注释的所述一个或更多个图像中的图像来训练。
15.根据权利要求14所述的方法，其中所述一个或更多个神经网络部分地通过至少部分地基于所述不确定性将所述一个或更多个图像中的图像重新用于一个或更多个训练迭代来进一步训练。
16.根据权利要求14所述的方法，其中所述一个或更多个神经网络使用具有Dice对数似然的Stein变分梯度下降来进一步训练。
17.根据权利要求14所述的方法，其中所述一个或更多个神经网络使用所述一个或更多个图像中的经注释的图像池与原始图像池之间的交互信息来进一步训练，以选择用于注释的原始图像，所选择的原始图像具有与用于训练的经注释的图像不同的配置文件。
18.根据权利要求13所述的方法，其中所述一个或更多个图像包括体医学成像数据，并且所述一个或更多个对象是人类器官。
19.一种机器可读介质，具有存储在其上的指令集，所述指令集如果由一个或更多个处理器执行，则使所述一个或更多个处理器至少：
至少部分地基于使用一个或更多个图像迭代地训练的一个或更多个神经网络来生成与所述一个或更多个图像内的一个或更多个对象相对应的一个或更多个注释。
20.根据权利要求19所述的机器可读介质，其中所述一个或更多个神经网络部分地通过确定所述一个或更多个神经网络的预测之间的不确定性，并且至少部分地基于所述不确定性选择要被注释的所述一个或更多个图像中的图像来训练。
21.根据权利要求20所述的机器可读介质，其中所述一个或更多个神经网络部分地通过至少部分地基于所述不确定性将所述一个或更多个图像中的图像重新用于一个或更多个训练迭代来进一步训练。
22.根据权利要求20所述的机器可读介质，其中所述一个或更多个神经网络使用具有Dice对数似然的Stein变分梯度下降来进一步训练。
23.根据权利要求20所述的机器可读介质，其中所述一个或更多个神经网络使用经注释的图像池与原始图像池之间的交互信息来进一步训练，以选择用于注释的原始图像，所选择的原始图像具有与用于训练的经注释的图像不同的配置文件。
24.根据权利要求19所述的机器可读介质，其中所述一个或更多个图像包括体医学成像数据，并且所述一个或更多个对象是人类器官。
25.一种图像注释系统，包括：
一个或更多个处理器，用于至少部分地基于使用一个或更多个图像迭代地训练的一个或更多个神经网络来生成与所述一个或更多个图像内的一个或更多个对象相对应的一个或更多个注释；以及
存储器，用于存储所述一个或更多个神经网络的网络参数。
26.根据权利要求25所述的图像注释系统，其中所述一个或更多个神经网络部分地通过确定所述一个或更多个神经网络的预测之间的不确定性，并且至少部分地基于所述不确定性选择要被注释的所述一个或更多个图像中的图像来训练。
27.根据权利要求26所述的图像注释系统，其中所述一个或更多个神经网络部分地通过至少部分地基于所述不确定性将所述一个或更多个图像中的图像重新用于一个或更多个训练迭代来进一步训练。
28.根据权利要求27所述的图像注释系统，其中所述一个或更多个神经网络使用具有Dice对数似然的Stein变分梯度下降来进一步训练。
29.根据权利要求27所述的图像注释系统，其中所述一个或更多个神经网络使用经注释的图像池与原始图像池之间的交互信息来进一步训练，以选择用于注释的原始图像，所选择的原始图像具有与用于训练的经注释的图像不同的配置文件。
30.根据权利要求26所述的图像注释系统，其中所述一个或更多个图像包括体医学成像数据，并且所述一个或更多个对象是人类器官。
CN202110443337.XA 2020-04-24 2021-04-23 使用一个或更多个神经网络的图像注释 Pending CN113555092A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/858,219 US20210334955A1 (en) 2020-04-24 2020-04-24 Image annotation using one or more neural networks
US16/858,219 2020-04-24

Publications (1)

Publication Number Publication Date
CN113555092A true CN113555092A (zh) 2021-10-26

Family

ID=76193584

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110443337.XA Pending CN113555092A (zh) 2020-04-24 2021-04-23 使用一个或更多个神经网络的图像注释

Country Status (4)

Country Link
US (1) US20210334955A1 (zh)
CN (1) CN113555092A (zh)
DE (1) DE102021110051A1 (zh)
GB (1) GB2596201A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114240947A (zh) * 2022-02-28 2022-03-25 中国电子产品可靠性与环境试验研究所（（工业和信息化部电子第五研究所）（中国赛宝实验室）） 声扫图像数据库的构建方法、装置、计算机设备
WO2023075480A1 (ko) * 2021-10-28 2023-05-04 주식회사 온택트헬스 의료 영상의 예측된 목적 부위에 대한 임상 파라미터를 제공하기 위한 방법, 장치, 레이블링을 위한 의료 영상을 선별하기 위한 방법 및 장치

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210334975A1 (en) * 2020-04-23 2021-10-28 Nvidia Corporation Image segmentation using one or more neural networks
US11809454B2 (en) * 2020-11-21 2023-11-07 International Business Machines Corporation Label-based document classification using artificial intelligence
CN113986956B (zh) * 2021-12-29 2022-03-25 深圳红途科技有限公司 数据异常查询分析方法、装置、计算机设备及存储介质
CN115543639B (zh) * 2022-12-01 2023-04-28 阿里云计算有限公司 分布式执行深度学习任务的优化方法和分布式系统

Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2425075A1 (en) * 2000-10-05 2002-04-11 Siemens Corporate Research, Inc. Intra-operative image-guided neurosurgery with augmented reality visualization
CN107403446A (zh) * 2016-05-18 2017-11-28 西门子保健有限责任公司 用于使用智能人工代理的图像配准的方法和系统
CN107492099A (zh) * 2017-08-28 2017-12-19 京东方科技集团股份有限公司 医学图像分析方法、医学图像分析系统以及存储介质
US20180276815A1 (en) * 2017-03-27 2018-09-27 Siemens Healthcare Gmbh Highly Integrated Annotation and Segmentation System for Medical Imaging
US10140544B1 (en) * 2018-04-02 2018-11-27 12 Sigma Technologies Enhanced convolutional neural network for image segmentation
CN109074665A (zh) * 2016-12-02 2018-12-21 阿文特公司 用于在基于医学成像的程序中导航到目标解剖对象的系统和方法
CN109313717A (zh) * 2016-05-02 2019-02-05 丹麦Scopito公司 一种在神经网络中用于对象检测的模型构建
WO2019026081A2 (en) * 2017-08-03 2019-02-07 Nuclai Ltd SYSTEMS AND METHODS FOR ANALYSIS OF TISSUE IMAGES
US20190056497A1 (en) * 2017-03-01 2019-02-21 Ouster, Inc. Accurate photo detector measurements for lidar
CN109478423A (zh) * 2016-07-21 2019-03-15 皇家飞利浦有限公司 注释医学图像
CN110050281A (zh) * 2016-12-08 2019-07-23 皇家飞利浦有限公司 学习图像中的对象的注释
CN110176054A (zh) * 2018-02-14 2019-08-27 辉达公司 用于训练神经网络模型的合成图像的生成
US20200012904A1 (en) * 2018-07-03 2020-01-09 General Electric Company Classification based on annotation information
CN110689089A (zh) * 2019-10-12 2020-01-14 电子科技大学 用于深度学习多类别医疗图像分类的主动增量训练方法
CN110689037A (zh) * 2018-07-06 2020-01-14 塔塔咨询服务有限公司 用于使用深度网络的自动对象注释的方法和系统
US20200027561A1 (en) * 2018-07-18 2020-01-23 SCA Robotics Methods of implementing an artificial intelligence based neuroradiology platform for neurological tumor identification and for t-cell therapy initiation and tracking and related precision medical treatment predictive modeling platforms

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9700219B2 (en) * 2013-10-17 2017-07-11 Siemens Healthcare Gmbh Method and system for machine learning based assessment of fractional flow reserve
JP6629762B2 (ja) * 2014-05-23 2020-01-15 ベンタナ メディカル システムズ， インコーポレイテッド 画像内の生物学的構造及び／又はパターンの検出のためのシステム及び方法
WO2018009405A1 (en) * 2016-07-08 2018-01-11 Avent, Inc. System and method for automatic detection, localization, and semantic segmentation of anatomical objects
US10262236B2 (en) * 2017-05-02 2019-04-16 General Electric Company Neural network training image generation system
US11093793B2 (en) * 2017-08-29 2021-08-17 Vintra, Inc. Systems and methods for a tailored neural network detector
US10937438B2 (en) * 2018-03-29 2021-03-02 Ford Global Technologies, Llc Neural network generative modeling to transform speech utterances and augment training data
CN109544534B (zh) * 2018-11-26 2020-10-16 上海联影智能医疗科技有限公司 一种病灶图像检测装置、方法和计算机可读存储介质
US11100643B2 (en) * 2019-09-11 2021-08-24 Nvidia Corporation Training strategy search using reinforcement learning
US11157772B2 (en) * 2019-10-28 2021-10-26 Element Ai Inc. System and method for generating adversarial examples

Patent Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2425075A1 (en) * 2000-10-05 2002-04-11 Siemens Corporate Research, Inc. Intra-operative image-guided neurosurgery with augmented reality visualization
CN109313717A (zh) * 2016-05-02 2019-02-05 丹麦Scopito公司 一种在神经网络中用于对象检测的模型构建
CN107403446A (zh) * 2016-05-18 2017-11-28 西门子保健有限责任公司 用于使用智能人工代理的图像配准的方法和系统
CN109478423A (zh) * 2016-07-21 2019-03-15 皇家飞利浦有限公司 注释医学图像
CN109074665A (zh) * 2016-12-02 2018-12-21 阿文特公司 用于在基于医学成像的程序中导航到目标解剖对象的系统和方法
CN110050281A (zh) * 2016-12-08 2019-07-23 皇家飞利浦有限公司 学习图像中的对象的注释
US20190056497A1 (en) * 2017-03-01 2019-02-21 Ouster, Inc. Accurate photo detector measurements for lidar
US20180276815A1 (en) * 2017-03-27 2018-09-27 Siemens Healthcare Gmbh Highly Integrated Annotation and Segmentation System for Medical Imaging
CN108665462A (zh) * 2017-03-27 2018-10-16 西门子保健有限责任公司 用于医学成像的高度集成的注释和分割系统
WO2019026081A2 (en) * 2017-08-03 2019-02-07 Nuclai Ltd SYSTEMS AND METHODS FOR ANALYSIS OF TISSUE IMAGES
CN107492099A (zh) * 2017-08-28 2017-12-19 京东方科技集团股份有限公司 医学图像分析方法、医学图像分析系统以及存储介质
CN110176054A (zh) * 2018-02-14 2019-08-27 辉达公司 用于训练神经网络模型的合成图像的生成
US10140544B1 (en) * 2018-04-02 2018-11-27 12 Sigma Technologies Enhanced convolutional neural network for image segmentation
US20200012904A1 (en) * 2018-07-03 2020-01-09 General Electric Company Classification based on annotation information
CN110689037A (zh) * 2018-07-06 2020-01-14 塔塔咨询服务有限公司 用于使用深度网络的自动对象注释的方法和系统
US20200027561A1 (en) * 2018-07-18 2020-01-23 SCA Robotics Methods of implementing an artificial intelligence based neuroradiology platform for neurological tumor identification and for t-cell therapy initiation and tracking and related precision medical treatment predictive modeling platforms
CN110689089A (zh) * 2019-10-12 2020-01-14 电子科技大学 用于深度学习多类别医疗图像分类的主动增量训练方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023075480A1 (ko) * 2021-10-28 2023-05-04 주식회사 온택트헬스 의료 영상의 예측된 목적 부위에 대한 임상 파라미터를 제공하기 위한 방법, 장치, 레이블링을 위한 의료 영상을 선별하기 위한 방법 및 장치
CN114240947A (zh) * 2022-02-28 2022-03-25 中国电子产品可靠性与环境试验研究所（（工业和信息化部电子第五研究所）（中国赛宝实验室）） 声扫图像数据库的构建方法、装置、计算机设备

Also Published As

Publication number Publication date
GB202105856D0 (en) 2021-06-09
US20210334955A1 (en) 2021-10-28
GB2596201A (en) 2021-12-22
DE102021110051A1 (de) 2021-10-28

Similar Documents

Publication Publication Date Title
US11934959B2 (en) Video synthesis using one or more neural networks
CN113614744A (zh) 使用一个或多个神经网络的诊断
US20210334955A1 (en) Image annotation using one or more neural networks
US20210407051A1 (en) Image generation using one or more neural networks
US20210232873A1 (en) Instruction generation using one or more neural networks
US20230153949A1 (en) Image generation using one or more neural networks
US20210406642A1 (en) Anomaly characterization using one or more neural networks
US20230061998A1 (en) Determining one or more neural networks for object classification
EP3843029A1 (en) Panorama generation using one or more neural networks
GB2596414A (en) Content animation using one or more neural networks
WO2023018555A9 (en) Object classification using one or more neural networks
WO2023009558A1 (en) Conditional image generation using one or more neural networks
GB2596396A (en) Image segmentation using one or more neural networks
US20240096074A1 (en) Identifying objects using neural network-generated descriptors
US20230033075A1 (en) Image annotation using one or more neural networks
US20230077258A1 (en) Performance-aware size reduction for neural networks
US20230036451A1 (en) Volumetric image annotation using one or more neural networks
US20220351392A1 (en) Object tracking using optical flow
US12026845B2 (en) Image generation using one or more neural networks
US20220319019A1 (en) Techniques to determine optical flow
US20230074950A1 (en) Object characterization using one or more neural networks
WO2023159559A1 (en) Motion generation using one or more neural networks
US20220068037A1 (en) Image generation using one or more neural networks

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination