CN110176054B - 用于训练神经网络模型的合成图像的生成 - Google Patents

Abstract

本发明公开了用于训练神经网络模型的合成图像的生成。训练深度神经网络需要大量经标记的训练数据。常规地，通过收集手动标记的真实图像来生成经标记的训练数据，这非常耗时。使用域随机化技术生成自动标记的训练数据，而不是手动标记训练数据集。所生成的训练数据可用于训练神经网络以用于对象检测和分割(标记)任务。在一实施例中，所生成的训练数据包括通过渲染3D场景中的三维(3D)感兴趣对象而生成的合成输入图像。在一实施例中，所生成的训练数据包括通过在2D背景图像上渲染3D的感兴趣对象而生成的合成输入图像。3D的感兴趣对象是训练神经网络以检测和/或标记的对象。

Description

用于训练神经网络模型的合成图像的生成

优先权要求

本申请要求2018年2月14日提交的序列号为62/630,722(案卷号为NVIDP1212+/17BL0293US01)、标题为“使用非现实合成数据训练计算机视觉系统的系统和方法(ASystem and Method for Training a Computer Vision System Using Non-RealisticSynthetic Data)”的美国临时申请的优先权，其全部内容通过引用并入本文。

技术领域

本公开涉及合成图像，并且更具体地涉及生成用于训练神经网络模型的合成图像。

背景技术

训练深度神经网络需要大量经标记的训练数据。常规地，通过收集手动标记的真实图像来生成经标记的训练数据，手动标记非常耗时。需要解决与现有技术相关联的这些问题和/或其他问题。

发明内容

描述了用于生成自动经标记的训练数据的域随机化技术。生成的训练数据可用于训练神经网络以用于对象检测和分割任务。在一实施例中，所生成的训练数据包括通过渲染3D场景中的三维(3D)感兴趣对象而生成的合成输入图像。在一实施例中，所生成的训练数据包括通过在2D背景图像上渲染3D感兴趣对象而生成的合成输入图像。3D感兴趣对象是训练神经网络以检测和/或分割的对象。

公开了一种用于生成用于训练神经网络模型的合成图像的方法、计算机可读介质和系统。渲染三维(3D)感兴趣对象以产生感兴趣对象的渲染图像，其中输入图像包括感兴趣对象的渲染图像和背景图像。计算与感兴趣对象相对应的任务专用训练数据，并且与感兴趣对象相对应的任务专用训练数据和输入图像作为测试对被包括在用于训练神经网络的训练数据集中。

附图说明

图1A示出了根据实施例的经标记的训练数据生成系统的框图。

图1B示出了根据实施例的背景图像、感兴趣对象的渲染图像以及具有任务专用训练数据的输入图像。

图1C示出了根据实施例的用于生成经标记的训练数据的方法的流程图。

图2A示出了根据实施例的另一经标记的训练数据生成系统的框图。

图2B示出了根据实施例的背景图像、经渲染的3D几何形状以及具有任务专用的训练数据的另一输入图像。

图2C示出了根据实施例的用于生成经标记的训练数据的另一方法的流程图。

图2D示出了根据实施例的神经网络模型训练系统的框图。

图3示出了根据实施例的并行处理单元。

图4A示出了根据实施例的图3的并行处理单元内的通用处理集群。

图4B示出了根据实施例的图3的并行处理单元的存储器分区单元。

图5A示出了根据实施例的图4A的流式多处理器。

图5B是根据实施例的使用图3的PPU实现的处理系统的概念图。

图5C示出了可以在其中实现各种先前实施例的各种架构和/或功能的示例性系统。

图6是根据实施例的由图3的PPU实现的图形处理管线的概念图。

具体实施方式

训练深度神经网络需要大量经标记的训练数据。描述了用于生成自动标记的训练数据的域随机化技术。生成的训练数据可用于训练神经网络以用于对象检测和分割(segment)任务。域随机化通过以非照片般真实的方式随机扰动环境(例如，通过添加随机纹理)来迫使神经网络模型学习为专注于图像的基本特征而有意地放弃照片般真实感。更具体地，神经网络模型被训练为检测感兴趣对象并忽略图像中的其他对象。在一实施例中，所生成的训练数据用于训练用于对象检测任务的神经网络模型。在一实施例中，所生成的训练数据用于训练用于实例分割任务的神经网络模型。在一实施例中，所生成的训练数据用于训练用于语义分割任务的神经网络模型。

图1A示出了根据实施例的经标记的训练数据生成系统100的框图。经标记的训练数据生成系统100包括图形处理单元(GPU)110、任务专用训练数据计算单元115和输入图像生成器120。尽管在处理单元的上下文中描述了经标记的训练数据生成系统100，但是GPU110、任务专用训练数据计算单元115和输入图像生成器120中的一个或更多个可以由程序、定制电路或由定制电路和程序的组合执行。例如，任务专用训练数据计算单元115可以由GPU 110或附加GPU 110、CPU(中央处理单元)或能够计算任务专用训练数据的任何处理器实现。在一实施例中，图3的并行处理单元(PPU)300被配置为实现经标记的训练数据生成系统100。此外，本领域普通技术人员将理解，执行经标记的训练数据生成系统100的操作的任何系统都在本公开的实施例的范围和精神内。

GPU 110接收3D合成对象(感兴趣对象)和渲染参数。GPU 110根据渲染参数处理3D对象以生成3D对象的渲染图像，具体地说，是感兴趣对象的渲染图像。重要的是，渲染图像是合成的感兴趣对象的图像，而不是照片般真实的图像或从照片般真实的图像中提取的对象。渲染参数可指定3D场景中感兴趣对象的位置和/或取向(orientation)，虚拟相机的位置和/或取向，一个或更多个纹理映射，包括颜色、类型、强度、位置和/或取向等的一个或更多个光线。在一实施例中，可以根据不同的渲染参数渲染感兴趣对象，以产生感兴趣对象的附加渲染图像。在一实施例中，可以根据相同或不同的渲染参数渲染一个或更多个不同的感兴趣对象，以产生感兴趣对象的附加渲染图像。

任务专用训练数据计算单元115接收一个或更多个感兴趣对象的一个或更多个渲染图像，并计算任务专用训练数据。在一实施例中，任务是对象检测，并且训练数据计算单元115计算一个或更多个感兴趣对象的一个或更多个渲染图像的边界框。训练数据计算单元115可以从输入图像生成器120接收位置坐标，其定义感兴趣对象的每个渲染图像的输入图像中的位置。在一实施例中，任务专用训练数据包括包围感兴趣对象的每个渲染图像的边界框的位置和维度。

在一实施例中，任务是分割，并且训练数据计算单元115确定感兴趣对象的每个渲染图像的对象标识符，并将任务专用训练数据计算为与输入图像对应的分割映射。对于语义分割，可以确定用于每个感兴趣对象的不同的对象标识符，并且分割映射包括输入图像，其中，由渲染图像覆盖的每个像素根据所确定的用于感兴趣对象的对象标识符进行着色。例如分割，可以确定用于输入图像中的渲染图像的每个实例的不同的对象标识符，并且分割映射包括输入图像，其中由渲染图像覆盖的每个像素根据所确定的用于该实例的对象标识符进行着色。

输入图像生成器120接收背景图像和感兴趣对象的渲染图像。输入图像生成器120构造输入图像，该输入图像组合背景图像和一个或更多个感兴趣对象的一个或更多个渲染图像。输入图像与任务专用训练数据配对以产生用于所生成的经标记的训练数据的测试对，经标记的训练数据用于训练神经网络模型。经渲染的感兴趣对象是可以训练神经网络模型以检测和/或分割的3D合成对象。

在一实施例中，输入图像生成器120将一个或更多个感兴趣对象的一个或更多个渲染图像与二维(2D)背景图像相组合或合成以产生输入图像。在一实施例中，背景图像是合成图像。在一实施例中，背景图像是照片般真实的图像。在一实施例中，3D场景由GPU 110或另一处理器渲染以产生背景图像。在一实施例中，省略输入图像生成器120，并且GPU 110在与背景图像对应的3D场景内渲染一个或更多个感兴趣对象，生成包括背景图像和一个或更多个感兴趣对象的一个或更多个渲染图像两者的输入图像。

现在将根据用户的期望，阐述关于可以采用其实现前述框架的各种可选架构和特征的更多说明性信息。应该特别注意的是，出于说明性目的阐述了以下信息，并且不应该被解释为以任何方式进行限制。任何以下特征可以任选地并入，而排除或不排除所描述的其他特征。

训练和测试深度神经网络是耗时且昂贵的任务，其通常涉及收集和手动注释大量数据以用于监督学习。当任务需要专家知识、难以手动指定的标签或难以大量捕获且具有足够多样性的图像时，此要求是有问题的。例如，3D姿势或像素分割可能花费大量时间用于人手动标记单个图像。

图1B示出了根据实施例的背景图像、3D的感兴趣对象的渲染图像，以及具有任务专用训练数据的输入图像。在一实施例中，背景图像是2D图像。可以通过渲染3D场景来产生背景图像。在一实施例中，从一组背景图像中选择背景图像。在一实施例中，背景图像由经标记的训练数据生成系统100随机选择。

如图1B所示，渲染3D合成的感兴趣对象(汽车)以产生感兴趣对象的三个不同渲染图像。注意，至少一部分渲染参数针对每个渲染图像而变化。例如，纹理映射应用于3D合成对象的第一渲染，第一颜色用于渲染3D合成对象的主体以进行第二渲染，并且第二颜色用于渲染3D合成对象的主体以进行第三渲染。除了改变颜色或将纹理应用于3D合成对象之外或代替改变颜色或将纹理应用于3D合成对象，3D合成对象的取向可以变化。在一实施例中，3D合成对象是从一组3D合成对象中选择的。在一实施例中，由标记的训练数据生成系统100选择3D合成对象中的一个或更多个。

渲染参数指定3D场景的各方面，包括要渲染的3D合成的感兴趣对象，因此，可以影响经渲染的一个或更多个3D合成的感兴趣对象的外观。在一实施例中，虚拟相机相对于3D场景的位置(例如，方位角、仰角等)由渲染参数定义。在一实施例中，虚拟相机相对于3D场景的取向(例如，平移、倾斜和滚动)由渲染参数定义。在一实施例中，虚拟相机相对于3D场景的位置和/或取向(例如，平移、倾斜和滚动)由经标记的训练数据生成系统100随机确定。在一实施例中，一个或更多个点光源的数量和位置由渲染参数定义。在一实施例中，一个或更多个点光源的数量和位置由标记的训练数据生成系统100随机确定。在一实施例中，用于环境光的平面光由渲染参数定义。在一实施例中，3D场景中的地平面的可见性由渲染参数定义。

输入图像生成器120通过组合经渲染的一个或更多个感兴趣对象和背景图像并将经渲染的一个或更多个感兴趣对象定位在输入图像内的各个位置处来构造输入图像。每个经渲染的感兴趣对象可以按比例缩放和/或旋转。在一实施例中，经渲染的感兴趣对象的数量以及每个经渲染的感兴趣对象的位置、缩放和/或旋转由渲染参数定义。在一实施例中，经渲染的感兴趣对象的数量以及每个经渲染的感兴趣对象的位置、缩放和/或旋转由输入图像生成器120随机确定。如图1B所示，由任务专用训练数据计算单元115计算的用于每个经渲染的感兴趣对象的任务专用训练数据是边界框。任务专用训练数据不作为输入图像数据的一部分被包括，而是与输入图像数据配对。在神经网络模型的监督训练期间，任务专用训练数据是与经渲染的一个或更多个感兴趣对象相对应的地面实况标签(ground truthlabel)，其与由神经网络模型处理输入图像时由神经网络模型生成的输出进行比较。

图1C示出了根据实施例的用于生成标记的训练数据的方法130的流程图。尽管在处理单元的上下文中描述了方法130，但是方法130也可以由程序、定制电路或者通过定制电路和程序的组合执行。例如，方法130可以由GPU(图形处理单元)，CPU(中央处理单元)或能够渲染3D对象、构建图像和计算标签的任何处理器来执行。此外，本领域普通技术人员将理解，执行方法130的任何系统都在本公开的实施例的范围和精神内。

在步骤135，GPU 110渲染3D感兴趣对象以产生感兴趣对象的渲染图像，其中输入图像包括感兴趣对象的渲染图像和背景图像。3D感兴趣对象根据渲染参数进行渲染。在一实施例中，GPU 110使用不同的渲染参数渲染3D感兴趣对象以产生感兴趣对象的附加渲染图像。在一实施例中，GPU 110使用与用于渲染3D感兴趣对象相同的渲染参数或使用不同的渲染参数来渲染不同的3D感兴趣对象，以产生感兴趣对象的附加渲染图像。

在步骤140，由任务专用训练数据计算单元115计算对应于感兴趣对象的任务专用训练数据。在一实施例中，任务专用训练数据是指示经渲染的感兴趣对象的位置的注释。例如，位置可以是包围每个经渲染的感兴趣对象的2D边界框的(x，y，宽度，高度)坐标。在一实施例中，对于分割，任务专用训练数据是经渲染的感兴趣对象，其中经渲染的感兴趣对象内的每个像素被替换为与经渲染的感兴趣对象相关联的对象标识符。对象标识符可以与同一类中的其他对象共享，或者对于每个经渲染的感兴趣对象可以是唯一的。

在步骤145，对应于感兴趣对象和输入图像的任务专用训练数据作为测试对被包括在用于训练神经网络的训练数据集中。在一实施例中，训练数据集存储在存储器中。在一实施例中，由经标记的训练数据生成系统100生成的训练数据集同时用于训练神经网络模型。换句话说，训练神经网络模型与生成标记的训练数据同时执行。

为了更好地使神经网络模型学习忽略输入图像中不感兴趣的对象，可以将随机数量的经渲染的3D几何形状插入到输入图像中。经渲染的几何形状可以称为飞行干扰物(flying distractor)。在一实施例中，根据渲染参数渲染几何形状。在一实施例中，所生成的训练数据包括合成输入图像，合成输入图像包括经渲染的3D感兴趣对象和经渲染的3D飞行干扰物。在一实施例中，从一组3D模型(锥体、金字塔、球体、圆柱体、部分环形、箭头、行人、树木等)中选择几何形状的数量、类型、颜色和缩放。

图2A示出了根据实施例的另一标记的训练数据生成系统200的框图。经标记的训练数据生成系统200包括图形处理单元(GPU)110、任务专用训练数据计算单元115和输入图像生成器220。尽管在处理单元的上下文中描述了标记的训练数据生成系统200，但是GPU110、任务专用训练数据计算单元115和输入图像生成器220中的一个或更多个可以由程序、定制电路或由定制电路和程序的组合执行。例如，任务专用训练数据计算单元115可以由GPU 110或附加GPU 110、CPU(中央处理单元)或能够计算任务专用训练数据的任何处理器实现。在一实施例中，图3的并行处理单元(PPU)300被配置为实现经标记的训练数据生成系统200。此外，本领域普通技术人员将理解，执行标记的训练数据生成系统200的操作的任何系统都在本公开的实施例的范围和精神内。

如先前所描述的，GPU 110渲染3D感兴趣对象以产生感兴趣对象的渲染图像。GPU110还根据渲染参数渲染几何形状以产生几何形状的渲染图像。重要的是，几何形状的渲染图像是合成几何形状的图像，而不是照片般真实的图像或从照片般真实的图像中提取的对象。渲染参数可以指定3D场景中的几何形状的位置和/或取向，虚拟相机的位置和/或取向，一个或更多个纹理映射，包括颜色、类型、强度、位置和/或取向等的一个或更多个光线。在一实施例中，可以根据不同的渲染参数来渲染几何形状，以产生感兴趣对象的附加渲染图像。在一实施例中，可以根据相同或不同的渲染参数渲染一个或更多个不同的几何形状，以产生几何形状的附加渲染图像。

任务专用训练数据计算单元115不接收几何形状的一个或更多个渲染图像，因为仅基于一个或更多个经渲染的感兴趣对象来计算任务专用训练数据。在一实施例中，任务是对象检测，并且被训练的神经网络模型应该忽略一个或更多个几何形状的一个或更多个渲染图像并检测一个或更多个感兴趣对象的一个或更多个渲染图像。在一实施例中，任务是分割，并且被训练的神经网络模型应该忽略一个或更多个几何形状的一个或更多个渲染图像，并且仅分割一个或更多个感兴趣对象的一个或更多个渲染图像。

输入图像生成器220接收一个或更多个几何形状的一个或更多个渲染图像、一个或更多个感兴趣对象的一个或更多个渲染图像和背景图像。输入图像生成器220构造输入图像，该输入图像组合背景图像、一个或更多个感兴趣对象的一个或更多个渲染图像和一个或更多个几何形状的一个或更多个渲染图像。输入图像与任务专用训练数据配对，以产生用于所生成的经标记的训练数据的测试对，以用于训练神经网络模型。经渲染的感兴趣对象是3D合成对象，可以训练神经网络模型来对其进行检测和/或分割。经渲染的几何形状是3D合成几何形状，可以训练神经网络模型以忽略该3D合成几何形状。

图2B示出了根据实施例的背景图像、渲染的3D几何形状和具有任务专用训练数据的输入图像。在一实施例中，背景图像是2D图像。如图2B所示，渲染3D几何形状以产生感兴趣对象的三个不同渲染图像。注意，至少一部分渲染参数针对每个渲染图像而变化。例如，不同的纹理映射应用于每个3D几何形状。每个3D几何形状的颜色和/或取向可以变化。在一实施例中，从一组3D合成几何形状中选择每个3D几何形状。在一实施例中，由标记的训练数据生成系统100选择3D几何形状中的一个或更多个。渲染参数指定包括要渲染的一个或更多个3D几何形状的3D场景的各方面，因此可影响一个或更多个经渲染的3D几何形状的外观。

输入图像生成器220通过组合一个或更多个经渲染的感兴趣对象、经渲染的几何形状和背景图像，将一个或更多个经渲染的感兴趣对象和经渲染的几何形状定位在输入图像内的各个位置处来构造输入图像。每个经渲染的几何形状可以按比例缩放和/或旋转。在一实施例中，经渲染的几何形状的数量以及每个经渲染的感兴趣对象的位置、缩放和/或旋转由渲染参数定义。在一实施例中，经渲染的几何形状的数量以及每个经渲染的几何形状的位置、缩放和/或旋转由输入图像生成器220随机确定。如图2B所示，由任务专用训练数据计算单元115计算的用于每个经渲染的感兴趣对象的任务专用训练数据是边界框。注意，没有计算用于经渲染的几何形状的任务专用训练数据。

特定的经渲染的感兴趣对象可能被一个或更多个其他经渲染的感兴趣对象和/或经渲染的几何形状遮挡。当被遮挡的经渲染的感兴趣对象的部分大于预定阈值时，可以修改对应于经渲染的感兴趣对象的任务专用训练数据。在一实施例中，当98％的经渲染的感兴趣对象被遮挡时，对应于经渲染的感兴趣对象的任务专用训练数据从任务专用训练数据中省略。

标记的训练数据生成系统200生成用于训练深度神经网络的测试对，以用于使用合成3D对象进行对象检测。为了合成真实世界数据中的可变性，经标记的训练数据生成系统200依赖于域随机化技术，其中渲染参数(例如照明、姿势、对象文本等)被随机化或者指定以产生非真实的输入图像，以迫使神经网络模型学习感兴趣对象的基本特征。

图2C示出了根据实施例的用于生成经标记的训练数据的另一方法230的流程图。尽管在处理单元的上下文中描述了方法230，但是方法230也可以由程序、定制电路或由定制电路和程序的组合执行。例如，方法230可以由GPU(图形处理单元)，CPU(中央处理单元)或能够渲染3D对象、构建图像和计算标签的任何处理器来执行。此外，本领域普通技术人员将理解，执行方法230的任何系统都在本公开的实施例的范围和精神内。

在步骤235，GPU 110渲染一个或更多个3D几何形状以产生一个或更多个经渲染的几何形状。根据渲染参数渲染3D几何形状。在一实施例中，GPU 110使用不同的渲染参数渲染3D几何形状中的至少一个，以产生几何形状的附加渲染图像。在一实施例中，GPU 110使用相同的渲染参数或使用不同的渲染参数渲染不同的3D几何形状以产生几何形状的不同渲染图像。

在步骤240，GPU 110根据一个或更多个渲染参数渲染3D的感兴趣对象以产生感兴趣对象的渲染图像。在步骤245，输入图像生成器220构造包括感兴趣对象的渲染图像、一个或更多个经渲染的几何形状和背景图像的输入图像。

如先前结合图1B所述完成步骤140和145。在一实施例中，由标记的训练数据生成系统200生成的训练数据集同时用于训练神经网络模型。换句话说，训练神经网络模型与生成训练数据集同时执行。

将经渲染的几何形状结合到输入图像中改善了使用由经标记的训练数据生成系统200生成的训练数据集训练的神经网络模型的对象检测和/或估计精度。各种渲染参数可以对使用训练数据集训练的神经网络模型的性能具有不同的影响。在一实施例中，仅使用训练数据集来训练神经网络模型，所述训练数据集使用合成的感兴趣对象生成。在一实施例中，使用任务专用训练数据集来训练神经网络模型，该任务专用训练数据集是使用合成的感兴趣对象和较少量的标记的真实数据生成的。在一实施例中，在训练期间，将以下数据增强中的一个或更多个应用于训练数据集：随机亮度、随机对比度、随机高斯噪声、随机翻转、随机大小调整、盒子抖动(box jitter)和随机裁剪。

图2D示出了根据实施例的神经网络模型训练系统250的框图。神经网络模型训练系统250包括神经网络模型260和损失函数单元270。尽管在处理单元的上下文中描述了神经网络模型训练系统250，但是神经网络模型260和损失函数单元270中的一个或更多个可以由程序、定制电路或者定制电路和程序的组合来执行。例如，神经网络模型260可以由GPU110、CPU(中央处理单元)或能够实现神经网络模型的任何处理器实现。在一实施例中，图3的并行处理单元(PPU)300被配置为实现神经网络模型训练系统250。此外，本领域普通技术人员将理解，执行神经网络模型训练系统250的操作的任何系统都在本公开的实施例的范围和精神内。

在训练期间，包括在训练数据集中的测试对的输入图像根据权重由神经网络模型260处理以生成输出数据。损失函数单元270处理测试对的输出数据和任务专用训练数据。损失函数单元270生成更新的权重以减少任务专用训练数据和输出数据之间的差异。当差异减小到预定值时，训练完成。在一实施例中，神经网络模型260是卷积神经网络(CNN)、递归CNN、前馈CNN、基于区域的完全卷积神经网络等。

尽管输入图像可能看起来粗糙(并且几乎是卡通的)而不是美学上令人愉悦的，但是这种明显的限制可以说是一种优点：与手动标记照片般真实的图像相比，不仅输入图像的数量级更快创建(所需的专业知识更少)，而且输入图像包含变化，该变化迫使深度神经网络专注于手头问题的重要结构，而不是在测试时可能存在或不存在于真实图像中的细节。此外，与现有的传统训练数据集生成技术相比，可以轻松实现基于域随机化的方法生成具有大量变化的训练数据集。可以使用廉价的合成数据来生成用于训练神经网络的标记的训练数据集，同时避免需要收集大量手工注释的现实世界数据或生成高保真的合成世界-这两者都是许多应用程序的瓶颈。

由经标记的训练数据生成系统100或200生成的训练数据集可以用于训练神经网络模型以完成复杂的任务，例如具有与更劳动密集(并且因此更昂贵)的数据集相当的性能的对象检测。通过在训练期间随机扰动合成图像，域随机化有意放弃照片般真实感，迫使神经网络学习专注于相关特征。通过对真实图像进行微调，域随机化可以优于更加照片般真实的数据集，并且可以改善仅使用真实数据获得的训练结果。

并行处理架构

图3示出了根据实施例的并行处理单元(PPU)300。在一个实施例中，PPU 300是在一个或更多个集成电路器件上实现的多线程处理器。PPU 300是设计用于并行处理许多线程的延迟隐藏体系架构。线程(即，执行线程)是被配置为由PPU 300执行的指令集的实例。在一个实施例中，PPU 300是图形处理单元(GPU)，其被配置为实现用于处理三维(3D)图形数据的图形渲染管线，以便生成用于在显示装置(诸如液晶显示(LCD)设备)上显示的二维(2D)图像数据。在其他实施例中，PPU 300可以用于执行通用计算。尽管为了说明的目的本文提供了一个示例性并行处理器，但应特别指出的是，该处理器仅出于说明目的进行阐述，并且可使用任何处理器来补充和/或替代该处理器。

一个或更多个PPU 300可以被配置为加速数千个高性能计算(HPC)、数据中心和机器学习应用。PPU 300可被配置为加速众多深度学习系统和应用，包括自动驾驶汽车平台、深度学习、高精度语音、图像和文本识别系统、智能视频分析、分子模拟、药物发现、疾病诊断、天气预报、大数据分析、天文学、分子动力学模拟、金融建模、机器人技术、工厂自动化、实时语言翻译、在线搜索优化和个性化用户推荐等。

如图3所示，PPU 300包括输入/输出(I/O)单元305、前端单元315、调度器单元320、工作分配单元325、集线器330、交叉开关(Xbar)370、一个或更多个通用处理集群(GPC)350以及一个或更多个存储器分区单元380。PPU 300可以经由一个或更多个高速NVLink 310互连连接到主机处理器或其他PPU 300。PPU 300可以经由互连302连接到主机处理器或其他外围设备。PPU 300还可以连接到包括多个存储器设备304的本地存储器。在一个实施例中，本地存储器可以包括多个动态随机存取存储器(DRAM)设备。DRAM设备可以被配置为高带宽存储器(HBM)子系统，其中多个DRAM裸晶(die)堆叠在每个设备内。

NVLink 310互连使得系统能够扩展并且包括与一个或更多个CPU结合的一个或更多个PPU 300，支持PPU 300和CPU之间的高速缓存一致性，以及CPU主控。数据和/或命令可以由NVLink 310通过集线器330发送到PPU 300的其他单元或从其发送，例如一个或更多个复制引擎、视频编码器、视频解码器、电源管理单元等(未明确示出)。结合图5B更详细地描述NVLink 310。

I/O单元305被配置为通过互连302从主机处理器(未示出)发送和接收通信(即，命令、数据等)。I/O单元305可以经由互连302直接与主机处理器通信，或通过一个或更多个中间设备(诸如内存桥)与主机处理器通信。在一个实施例中，I/O单元305可以经由互连302与一个或更多个其他处理器(例如，一个或更多个PPU 300)通信。在一个实施例中，I/O单元305实现外围组件互连高速(PCIe)接口，用于通过PCIe总线进行通信，并且互连302是PCIe总线。在替代的实施例中，I/O单元305可以实现其他类型的已知接口，用于与外部设备进行通信。

I/O单元305对经由互连302接收的分组进行解码。在一个实施例中，分组表示被配置为使PPU 300执行各种操作的命令。I/O单元305按照命令指定将解码的命令发送到PPU300的各种其他单元。例如，一些命令可以被发送到前端单元315。其他命令可以被发送到集线器330或PPU 300的其他单元，诸如一个或更多个复制引擎、视频编码器、视频解码器、电源管理单元等(未明确示出)。换句话说，I/O单元305被配置为在PPU 300的各种逻辑单元之间和之中路由通信。

在一个实施例中，由主机处理器执行的程序在缓冲区中对命令流进行编码，该缓冲区向PPU 300提供工作量用于处理。工作量可以包括要由那些指令处理的许多指令和数据。缓冲区是存储器中可由主机处理器和PPU 300两者访问(即，读/写)的区域。例如，I/O单元305可以被配置为经由通过互连302传输的存储器请求访问连接到互连302的系统存储器中的缓冲区。在一个实施例中，主机处理器将命令流写入缓冲区，然后向PPU 300发送指向命令流开始的指针。前端单元315接收指向一个或更多个命令流的指针。前端单元315管理一个或更多个流，从流读取命令并将命令转发到PPU 300的各个单元。

前端单元315耦合到调度器单元320，其配置各种GPC 350以处理由一个或更多个流定义的任务。调度器单元320被配置为跟踪与由调度器单元320管理的各种任务相关的状态信息。状态可以指示任务被指派给哪个GPC 350，该任务是活动的还是不活动的，与该任务相关联的优先级等等。调度器单元320管理一个或更多个GPC 350上的多个任务的执行。

调度器单元320耦合到工作分配单元325，其被配置为分派任务以在GPC 350上执行。工作分配单元325可以跟踪从调度器单元320接收到的多个调度任务。在一个实施例中，工作分配单元325为每个GPC 350管理待处理(pending)任务池和活动任务池。待处理任务池可以包括多个时隙(例如，32个时隙)，其包含被指派为由特定GPC 350处理的任务。活动任务池可以包括多个时隙(例如，4个时隙)，用于正在由GPC 350主动处理的任务。当GPC350完成任务的执行时，该任务从GPC 350的活动任务池中逐出，并且来自待处理任务池的其他任务之一被选择和调度以在GPC 350上执行。如果GPC 350上的活动任务已经空闲，例如在等待数据依赖性被解决时，那么活动任务可以从GPC 350中逐出并返回到待处理任务池，而待处理任务池中的另一个任务被选择并调度以在GPC 350上执行。

工作分配单元325经由XBar(交叉开关)370与一个或更多个GPC 350通信。XBar370是将PPU 300的许多单元耦合到PPU 300的其他单元的互连网络。例如，XBar 370可以被配置为将工作分配单元325耦合到特定的GPC 350。虽然没有明确示出，但PPU 300的一个或更多个其他单元也可以经由集线器330连接到XBar 370。

任务由调度器单元320管理并由工作分配单元325分派给GPC 350。GPC 350被配置为处理任务并生成结果。结果可以由GPC 350内的其他任务消耗，经由XBar 370路由到不同的GPC 350，或者存储在存储器304中。结果可以经由存储器分区单元380写入存储器304，分区单元380实现用于从存储器304读取数据和向存储器304写入数据的存储器接口。结果可以通过NVLink310发送到另一个PPU 304或CPU。在一个实施例中，PPU 300包括数目为U的存储器分区单元380，其等于耦合到PPU 300的独立且不同的存储器设备304的数目。下面将结合图4B更详细地描述存储器分区单元380。

在一个实施例中，主机处理器执行实现应用程序编程接口(API)的驱动程序内核，其使得能够在主机处理器上执行一个或更多个应用程序以调度操作用于在PPU 300上执行。在一个实施例中，多个计算机应用程序由PPU 300同时执行，并且PPU 300为多个计算机应用程序提供隔离、服务质量(QoS)和独立地址空间。应用程序可以生成指令(即API调用)，其使得驱动程序内核生成一个或更多个任务以由PPU 300执行。驱动程序内核将任务输出到正在由PPU 300处理的一个或更多个流。每个任务可以包括一个或更多个相关线程组，本文称为线程束(warp)。在一个实施例中，线程束包括可以并行执行的32个相关线程。协作线程可以指代包括执行任务的指令并且可以通过共享存储器交换数据的多个线程。结合图5A更详细地描述线程和协作线程。

图4A示出了根据实施例的图3的PPU 300的GPC 350。如图4A所示，每个GPC 350包括用于处理任务的多个硬件单元。在一个实施例中，每个GPC 350包括管线管理器410、预光栅操作单元(PROP)415、光栅引擎425、工作分配交叉开关(WDX)480、存储器管理单元(MMU)490以及一个或更多个数据处理集群(DPC)420。应当理解，图4A的GPC 350可以包括代替图4A中所示单元的其他硬件单元或除图4A中所示单元之外的其他硬件单元。

在一个实施例中，GPC 350的操作由管线管理器410控制。管线管理器410管理用于处理分配给GPC 350的任务的一个或更多个DPC420的配置。在一个实施例中，管线管理器410可以配置一个或更多个DPC420中的至少一个来实现图形渲染管线的至少一部分。例如，DPC420可以被配置为在可编程流式多处理器(SM)440上执行顶点着色程序。管线管理器410还可以被配置为将从工作分配单元325接收的分组路由到GPC 350中适当的逻辑单元。例如，一些分组可以被路由到PROP 415和/或光栅引擎425中的固定功能硬件单元，而其他分组可以被路由到DPC420以供图元引擎435或SM 440处理。在一个实施例中，管线管理器410可以配置一个或更多个DPC420中的至少一个以实现神经网络模型和/或计算管线。

PROP单元415被配置为将由光栅引擎425和DPC420生成的数据路由到光栅操作(ROP)单元，结合图4B更详细地描述。PROP单元415还可以被配置为执行颜色混合的优化，组织像素数据，执行地址转换等。

光栅引擎425包括被配置为执行各种光栅操作的多个固定功能硬件单元。在一个实施例中，光栅引擎425包括设置引擎、粗光栅引擎、剔除引擎、裁剪引擎、精细光栅引擎和瓦片聚合引擎。设置引擎接收变换后的顶点并生成与由顶点定义的几何图元关联的平面方程。平面方程被发送到粗光栅引擎以生成图元的覆盖信息(例如，瓦片的x、y覆盖掩码)。粗光栅引擎的输出被发送到剔除引擎，其中与未通过z-测试的图元相关联的片段被剔除，并被发送到裁剪引擎，其中位于视锥体之外的片段被裁剪掉。那些经过裁剪和剔除后留下来的片段可以被传递到精细光栅引擎，以基于由设置引擎生成的平面方程生成像素片段的属性。光栅引擎425的输出包括例如要由在DPC420内实现的片段着色器处理的片段。

包括在GPC 350中的每个DPC420包括M管线控制器(MPC)430、图元引擎435和一个或更多个SM 440。MPC430控制DPC420的操作，将从管线管理器410接收到的分组路由到DPC420中的适当单元。例如，与顶点相关联的分组可以被路由到图元引擎435，图元引擎435被配置为从存储器304提取与顶点相关联的顶点属性。相反，与着色程序相关联的分组可以被发送到SM 440。

SM 440包括被配置为处理由多个线程表示的任务的可编程流式处理器。每个SM440是多线程的并且被配置为同时执行来自特定线程组的多个线程(例如，32个线程)。在一个实施例中，SM 440实现SIMD(单指令、多数据)体系架构，其中线程组(即，warp)中的每个线程被配置为基于相同的指令集来处理不同的数据集。线程组中的所有线程都执行相同的指令。在另一个实施例中，SM 440实现SIMT(单指令、多线程)体系架构，其中线程组中的每个线程被配置为基于相同的指令集处理不同的数据集，但是其中线程组中的各个线程在执行期间被允许发散。在一个实施例中，为每个线程束维护程序计数器、调用栈和执行状态，当线程束内的线程发散时，使线程束和线程束中的串行执行之间的并发成为可能。在另一个实施例中，为每个单独的线程维护程序计数器、调用栈和执行状态，从而在线程束内和线程束之间的所有线程之间实现相等的并发。当为每个单独的线程维护执行状态时，执行相同指令的线程可以被收敛并且并行执行以获得最大效率。下面结合图5A更详细地描述SM440。

MMU 490提供GPC 350和存储器分区单元380之间的接口。MMU 490可以提供虚拟地址到物理地址的转换、存储器保护以及存储器请求的仲裁。在一个实施例中，MMU 490提供用于执行从虚拟地址到存储器304中的物理地址的转换的一个或更多个转换后备缓冲器(TLB)。

图4B示出了根据实施例的图3的PPU 300的存储器分区单元380。如图4B所示，存储器分区单元380包括光栅操作(ROP)单元450、二级(L2)高速缓存460和存储器接口470。存储器接口470耦合到存储器304。存储器接口470可以实现用于高速数据传输的32、64、128、1024位数据总线等。在一个实施例中，PPU 300合并了U个存储器接口470，每对存储器分区单元380有一个存储器接口470，其中每对存储器分区单元380连接到对应的存储器设备304。例如，PPU 300可以连接到多达Y个存储器设备304，诸如高带宽存储器堆叠或图形双数据速率版本5的同步动态随机存取存储器或其他类型的持久存储器。

在一个实施例中，存储器接口470实现HBM2存储器接口，并且Y等于U的一半。在一个实施例中，HBM2存储器堆叠位于与PPU 300相同的物理封装上，提供与常规GDDR5SDRAM系统相比显著的功率高和面积节约。在一个实施例中，每个HBM2堆叠包括四个存储器裸晶并且Y等于4，其中HBM2堆叠包括每个裸晶两个128位通道，总共8个通道和1024位的数据总线宽度。

在一个实施例中，存储器304支持单错校正双错检测(SECDED)纠错码(ECC)以保护数据。对于对数据损毁敏感的计算机应用程序，ECC提供了更高的可靠性。在大型集群计算环境中，可靠性尤其重要，其中PPU300处理非常大的数据集和/或长时间运行应用程序。

在一个实施例中，PPU 300实现多级存储器分层结构。在一个实施例中，存储器分区单元380支持统一存储器以为CPU和PPU 300存储器提供单个统一的虚拟地址空间，使能虚拟存储器系统之间的数据共享。在一个实施例中，由PPU 300对位于其他处理器上的存储器的访问频率被跟踪，以确保存储器页面被移动到更频繁地访问页面的PPU 300的物理存储器。在一个实施例中，NVLink 310支持地址转换服务，其允许PPU 300直接访问CPU的页表并且提供由PPU 300对CPU存储器的完全访问。

在一个实施例中，复制引擎在多个PPU 300之间或在PPU 300与CPU之间传输数据。复制引擎可以为未映射到页表的地址生成页面错误。然后，存储器分区单元380可以服务页面错误，将地址映射到页表中，之后复制引擎可以执行传输。在常规系统中，针对多个处理器之间的多个复制引擎操作固定存储器(即，不可分页)，其显著减少了可用存储器。由于硬件分页错误，地址可以传递到复制引擎而不用担心存储器页面是否驻留，并且复制过程是否透明。

来自存储器304或其他系统存储器的数据可以由存储器分区单元380取回并存储在L2高速缓存460中，L2高速缓存460位于芯片上并且在各个GPC 350之间共享。如图所示，每个存储器分区单元380包括与对应的存储器设备304相关联的L2高速缓存460的一部分。然后可以在GPC 350内的多个单元中实现较低级高速缓存。例如，每个SM 440可以实现一级(L1)高速缓存。L1高速缓存是专用于特定SM 440的专用存储器。来自L2高速缓存460的数据可以被获取并存储在每个L1高速缓存中，以在SM440的功能单元中进行处理。L2高速缓存460被耦合到存储器接口470和XBar 370。

ROP单元450执行与像素颜色相关的图形光栅操作，诸如颜色压缩、像素混合等。ROP单元450还与光栅引擎425一起实现深度测试，从光栅引擎425的剔除引擎接收与像素片段相关联的样本位置的深度。测试与片段关联的样本位置相对于深度缓冲区中的对应深度的深度。如果片段通过样本位置的深度测试，则ROP单元450更新深度缓冲区并将深度测试的结果发送给光栅引擎425。将理解的是，存储器分区单元380的数量可以不同于GPC 350的数量，并且因此每个ROP单元450可以耦合到每个GPC 350。ROP单元450跟踪从不同GPC 350接收到的分组并且确定由ROP单元450生成的结果通过Xbar 370被路由到哪个GPC 350。尽管ROP单元450包括在图4B中的存储器分区单元380内，但是在其他实施例中，ROP单元450可以在存储器分区单元380之外。例如，ROP单元450可以驻留在GPC 350或另一个单元中。

图5A示出了根据实施例的图4A的流式多处理器440。如图5A所示，SM 440包括指令高速缓存505、一个或更多个调度器单元510、寄存器文件520、一个或更多个处理核心550、一个或更多个特殊功能单元(SFU)552、一个或更多个加载/存储单元(LSU)554、互连网络580、共享存储器/L1高速缓存570。

如上所述，工作分配单元325调度任务以在PPU 300的GPC 350上执行。任务被分配给GPC 350内的特定DPC420，并且如果任务与着色器程序相关联，则该任务可以被分配给SM440。调度器单元510接收来自工作分配单元325的任务并且管理指派给SM 440的一个或更多个线程块的指令调度。调度器单元510调度线程块以作为并行线程的线程束执行，其中每个线程块被分配至少一个线程束。在一个实施例中，每个线程束执行32个线程。调度器单元510可以管理多个不同的线程块，将线程束分配给不同的线程块，然后在每个时钟周期期间将来自多个不同的协作组的指令分派到各个功能单元(即，核心550、SFU 552和LSU 554)。

协作组是用于组织通信线程组的编程模型，其允许开发者表达线程正在进行通信所采用的粒度，使得能够表达更丰富、更高效的并行分解。协作启动API支持线程块之间的同步性，以执行并行算法。常规的编程模型为同步协作线程提供了单一的简单结构：跨线程块的所有线程的栅栏(barrier)(即，syncthreads()函数)。然而，程序员通常希望以小于线程块粒度的粒度定义线程组，并在所定义的组内同步，以集体的全组功能接口(collective group-wide function interface)的形式使能更高的性能、设计灵活性和软件重用。

协作组使得程序员能够在子块(即，像单个线程一样小)和多块粒度处明确定义线程组并且执行集体操作，诸如协作组中的线程上的同步性。编程模型支持跨软件边界的干净组合，以便库和效用函数可以在本地环境中安全地同步，而无需对收敛进行假设。协作组图元启用合作伙伴并行的新模式，包括生产者-消费者并行、机会主义并行以及跨整个线程块网格的全局同步。

分派单元515被配置为向一个或更多个功能单元传送指令。在该实施例中，调度器单元510包括两个分派单元515，其使得能够在每个时钟周期期间调度来自相同线程束的两个不同指令。在替代实施例中，每个调度器单元510可以包括单个分派单元515或附加分派单元515。

每个SM 440包括寄存器文件520，其提供用于SM 440的功能单元的一组寄存器。在一个实施例中，寄存器文件520在每个功能单元之间被划分，使得每个功能单元被分配寄存器文件520的专用部分。在另一个实施例中，寄存器文件520在由SM 440执行的不同线程束之间被划分。寄存器文件520为连接到功能单元的数据路径的操作数提供临时存储。

每个SM 440包括L个处理核心550。在一个实施例中，SM 440包括大量(例如128个等)不同的处理核心550。每个核心550可以包括完全管线化的、单精度、双精度和/或混合精度处理单元，其包括浮点运算逻辑单元和整数运算逻辑单元。在一个实施例中，浮点运算逻辑单元实现用于浮点运算的IEEE 754-2008标准。在一个实施例中，核心550包括64个单精度(32位)浮点核心、64个整数核心、32个双精度(64位)浮点核心和8个张量核心(tensorcore)。

张量核心被配置为执行矩阵运算，并且在一个实施例中，一个或更多个张量核心被包括在核心550中。具体地，张量核心被配置为执行深度学习矩阵运算，诸如用于神经网络训练和推理的卷积运算。在一个实施例中，每个张量核心在4×4矩阵上运算并且执行矩阵乘法和累加运算D＝A×B+C，其中A、B、C和D是4×4矩阵。

在一个实施例中，矩阵乘法输入A和B是16位浮点矩阵，而累加矩阵C和D可以是16位浮点或32位浮点矩阵。张量核心在16位浮点输入数据以及32位浮点累加上运算。16位浮点乘法需要64次运算，产生全精度的积，然后使用32位浮点与4×4×4矩阵乘法的其他中间积相加来累加。在实践中，张量核心用于执行由这些较小的元素建立的更大的二维或更高维的矩阵运算。API(诸如CUDA 9C++API)公开了专门的矩阵加载、矩阵乘法和累加以及矩阵存储运算，以便有效地使用来自CUDA-C++程序的张量核心。在CUDA层面，线程束级接口假定16×16尺寸矩阵跨越线程束的全部32个线程。

每个SM 440还包括执行特殊函数(例如，属性评估、倒数平方根等)的M个SFU 552。在一个实施例中，SFU 552可以包括树遍历单元，其被配置为遍历分层树数据结构。在一个实施例中，SFU 552可以包括被配置为执行纹理映射过滤操作的纹理单元。在一个实施例中，纹理单元被配置为从存储器304加载纹理映射(例如，纹理像素的2D阵列)并且对纹理映射进行采样以产生经采样的纹理值，用于在由SM 440执行的着色器程序中使用。在一个实施例中，纹理映射被存储在共享存储器/L1高速缓存470中。纹理单元实现纹理操作，诸如使用mip贴图(即，不同细节层次的纹理映射)的过滤操作。在一个实施例中，每个SM 440包括两个纹理单元。

每个SM 440还包括N个LSU 554，其实现共享存储器/L1高速缓存570和寄存器文件520之间的加载和存储操作。每个SM 440包括将每个功能单元连接到寄存器文件520以及将LSU 554连接到寄存器文件520、共享存储器/L1高速缓存570的互连网络580。在一个实施例中，互连网络580是交叉开关，其可以被配置为将任何功能单元连接到寄存器文件520中的任何寄存器，以及将LSU 554连接到寄存器文件和共享存储器/L1高速缓存570中的存储器位置。

共享存储器/L1高速缓存570是片上存储器阵列，其允许数据存储和SM 440与图元引擎435之间以及SM 440中的线程之间的通信。在一个实施例中，共享存储器/L1高速缓存570包括128KB的存储容量并且在从SM 440到分区单元380的路径中。共享存储器/L1高速缓存570可以用于高速缓存读取和写入。共享存储器/L1高速缓存570、L2高速缓存460和存储器304中的一个或更多个是后备存储。

将数据高速缓存和共享存储器功能组合成单个存储器块为两种类型的存储器访问提供最佳的总体性能。该容量可由程序用作不使用共享存储器的高速缓存。例如，如果将共享存储器配置为使用一半容量，则纹理和加载/存储操作可以使用剩余容量。在共享存储器/L1高速缓存570内的集成使共享存储器/L1高速缓存570起到用于流式传输数据的高吞吐量管道的作用，并且同时提供对频繁重用数据的高带宽和低延迟的访问。

当被配置用于通用并行计算时，与图形处理相比，可以使用更简单的配置。具体地，图3所示的固定功能图形处理单元被绕过，创建了更简单的编程模型。在通用并行计算配置中，工作分配单元325将线程块直接指派并分配给DPC420。块中的线程执行相同的程序，使用计算中的唯一线程ID来确保每个线程生成唯一结果，使用SM 440执行程序并执行计算，使用共享存储器/L1高速缓存570以在线程之间通信，以及使用LSU 554通过共享存储器/L1高速缓存570和存储器分区单元380读取和写入全局存储器。当被配置用于通用并行计算时，SM 440还可以写入调度器单元320可用来在DPC420上启动新工作的命令。

PPU 300可以被包括在台式计算机、膝上型计算机、平板电脑、服务器、超级计算机、智能电话(例如，无线、手持设备)、个人数字助理(PDA)、数码相机、运载工具、头戴式显示器、手持式电子设备等中。在一个实施例中，PPU 300包含在单个半导体衬底上。在另一个实施例中，PPU 300与一个或更多个其他器件(诸如附加PPU 300、存储器204、精简指令集计算机(RISC)CPU、存储器管理单元(MMU)、数字-模拟转换器(DAC)等)一起被包括在片上系统(SoC)上。

在一个实施例中，PPU 300可以被包括在图形卡上，图形卡包括一个或更多个存储器设备304。图形卡可以被配置为与台式计算机的主板上的PCIe插槽接口。在又一个实施例中，PPU 300可以是包含在主板的芯片集中的集成图形处理单元(iGPU)或并行处理器。

示例性计算系统

具有多个GPU和CPU的系统被用于各种行业，因为开发者在应用(诸如人工智能计算)中暴露和利用更多的并行性。在数据中心、研究机构和超级计算机中部署具有数十至数千个计算节点的高性能GPU加速系统，以解决更大的问题。随着高性能系统内处理设备数量的增加，通信和数据传输机制需要扩展以支持该增加带宽。

图5B是根据实施例的使用图3的PPU 300实现的处理系统500的概念图。示例性系统565可以被配置为分别实现图1B和2B中所示的方法130和230。处理系统500包括CPU 530、交换机510和多个PPU 300中的每一个以及相应的存储器304。NVLink 310提供每个PPU 300之间的高速通信链路。尽管图5B中示出了特定数量的NVLink 310和互连302连接，但是连接到每个PPU 300和CPU 530的连接的数量可以改变。交换机510在互连302和CPU 530之间接口。PPU 300、存储器304和NVLink 310可以位于单个半导体平台上以形成并行处理模块525。在一个实施例中，交换机510支持两个或更多个在各种不同连接和/或链路之间接口的协议。

在另一个实施例(未示出)中，NVLink 310在每个PPU 300和CPU 530之间提供一个或更多个高速通信链路，并且交换机510在互连302和每个PPU 300之间进行接口。PPU 300、存储器304和互连302可以位于单个半导体平台上以形成并行处理模块525。在又一个实施例(未示出)中，互连302在每个PPU 300和CPU 530之间提供一个或更多个通信链路，并且交换机510使用NVLink 310在每个PPU 300之间进行接口，以在PPU 300之间提供一个或更多个高速通信链路。在另一个实施例(未示出)中，NVLink 310在PPU300和CPU 530之间通过交换机510提供一个或更多个高速通信链路。在另一个实施例(未示出)中，互连302在每个PPU300之间直接地提供一个或更多个通信链路。可以使用与NVLink 310相同的协议将一个或更多个NVLink 310高速通信链路实现为物理NVLink互连或者片上或裸晶上互连。

在本说明书的上下文中，单个半导体平台可以指在裸晶或芯片上制造的唯一的单一的基于半导体的集成电路。应该注意的是，术语单个半导体平台也可以指具有增加的连接的多芯片模块，其模拟片上操作并通过利用常规总线实现方式进行实质性改进。当然，根据用户的需要，各种电路或器件还可以分开放置或以半导体平台的各种组合来放置。可选地，并行处理模块525可以被实现为电路板衬底，并且PPU 300和/或存储器304中的每一个可以是封装器件。在一个实施例中，CPU 530、交换机510和并行处理模块525位于单个半导体平台上。

在一个实施例中，每个NVLink 310的信令速率是20到25千兆位/秒，并且每个PPU300包括六个NVLink 310接口(如图5B所示，每个PPU 300包括五个NVLink 310接口)。每个NVLink 310在每个方向上提供25千兆位/秒的数据传输速率，其中六条链路提供300千兆位/秒。当CPU 530还包括一个或更多个NVLink 310接口时，NVLink 310可专门用于如图5B所示的PPU到PPU通信，或者PPU到PPU以及PPU到CPU的某种组合。

在一个实施例中，NVLink 310允许从CPU 530到每个PPU 300的存储器304的直接加载/存储/原子访问。在一个实施例中，NVLink 310支持一致性操作，允许从存储器304读取的数据被存储在CPU 530的高速缓存分层结构中，减少了CPU 530的高速缓存访问延迟。在一个实施例中，NVLink 310包括对地址转换服务(ATS)的支持，允许PPU 300直接访问CPU530内的页表。一个或更多个NVLink 310还可以被配置为以低功率模式操作。

图5C示出了示例性系统565，其中可以实现各种先前实施例的各种体系架构和/或功能。示例性系统565可以被配置为分别实现图1B和2B中所示的方法130和230。

如图所示，提供系统565，其包括连接到通信总线575的至少一个中央处理单元530。通信总线575可以使用任何合适的协议来实现，诸如PCI(外围组件互连)、PCI-Express、AGP(加速图形端口)、超传输或任何其他总线或一个或更多个点对点通信协议。系统565还包括主存储器540。控制逻辑(软件)和数据被存储在主存储器540中，主存储器540可以采取随机存取存储器(RAM)的形式。

系统565还包括输入设备560、并行处理系统525和显示设备545，即常规CRT(阴极射线管)、LCD(液晶显示器)、LED(发光二极管)、等离子显示器等。可以从输入设备560(例如键盘、鼠标、触摸板、麦克风等)接收用户输入。前述模块和/或设备中的每一个甚至可以位于单个半导体平台上以形成系统565。可选地，根据用户的需要，各个模块还可以分开放置或以半导体平台的各种组合来放置。

此外，系统565可以出于通信目的通过网络接口535耦合到网络(例如，电信网络、局域网(LAN)、无线网络、广域网(WAN)(诸如因特网)、对等网络、电缆网络等)。

系统565还可以包括辅助存储(未示出)。辅助存储610包括例如硬盘驱动器和/或可移除存储驱动器、代表软盘驱动器、磁带驱动器、光盘驱动器、数字多功能盘(DVD)驱动器、记录设备、通用串行总线(USB)闪存。可移除存储驱动器以众所周知的方式从可移除存储单元读取和/或写入可移除存储单元。

计算机程序或计算机控制逻辑算法可以存储在主存储器540和/或辅助存储中。这些计算机程序在被执行时使得系统565能够执行各种功能。存储器540、存储和/或任何其他存储是计算机可读介质的可能示例。

各种在先附图的体系架构和/或功能可以在通用计算机系统、电路板系统、专用于娱乐目的的游戏控制台系统、专用系统和/或任何其他所需的系统的上下文中实现。例如，系统565可以采取台式计算机、膝上型计算机、平板电脑、服务器、超级计算机、智能电话(例如，无线、手持设备)、个人数字助理(PDA)、数字相机、运载工具、头戴式显示器、手持式电子设备、移动电话设备、电视机、工作站、游戏控制台、嵌入式系统和/或任何其他类型的逻辑的形式。

虽然上文已经描述了各种实施例，但应该理解的是，它们仅作为示例呈现，而不是限制。因此，本申请的广度和范围不应被任何上述示例性实施例限制，而应仅根据以下和随后提交的权利要求及其等同物来限定。

图形处理管线

在一个实施例中，PPU 300包括图形处理单元(GPU)。PPU 300被配置为接收指定用于处理图形数据的着色程序的命令。图形数据可以被定义为一组图元，例如点、线、三角形、四边形、三角形带等。典型地，图元包括指定图元的多个顶点(例如，在模型空间坐标系中)的数据以及与图元的每个顶点相关联的属性。PPU 300可以被配置为处理图元以生成帧缓冲区(即，用于显示器的像素中的每一个的像素数据)。

应用程序将场景的模型数据(即，顶点和属性的集合)写入存储器(诸如系统存储器或存储器304)。模型数据定义可能在显示器上可见的对象中的每一个。然后应用程序对驱动程序内核进行API调用，其请求要被渲染和显示的模型数据。驱动程序内核读取模型数据并将命令写入一个或更多个流以执行操作来处理模型数据。这些命令可以参考要在PPU300的SM440上实现的不同着色程序，包括顶点着色、外壳着色、域着色、几何着色和像素着色中的一个或更多个。例如，SM 440中的一个或更多个可以被配置为执行顶点着色程序，其处理由模型数据定义的多个顶点。在一个实施例中，不同的SM 440可以被配置为同时执行不同的着色程序。例如，SM 440的第一子集可以被配置为执行顶点着色程序，而SM 440的第二子集可以被配置为执行像素着色程序。SM 440的第一子集处理顶点数据以产生经处理的顶点数据，并将经处理的顶点数据写入L2高速缓存460和/或存储器304。在经处理的顶点数据被光栅化(即，从三维数据转换成屏幕空间中的二维数据)以产生片段数据之后，SM 440的第二子集执行像素着色以产生经处理的片段数据，然后将其与其他经处理的片段数据混合并被写入存储器304中的帧缓冲区。顶点着色程序和像素着色程序可以同时执行，以管线方式处理来自同一场景的不同数据，直到该场景的所有模型数据已经被渲染到帧缓冲区。然后，帧缓冲区的内容被传送到显示控制器以在显示设备上显示。

图6是根据实施例的由图3的PPU 300实现的图形处理管线600的概念图。图形处理管线600是被实现以从3D几何数据生成2D计算机生成图像的处理步骤的抽象流程图。众所周知，管线架构可以通过将操作分成多个阶段来更高效地执行长延迟操作，其中每个阶段的输出耦合到下一个连续阶段的输入。因此，图形处理管线600接收从图形处理管线600的一个阶段传送到下一阶段的输入数据601，以生成输出数据602。在一个实施例中，图形处理管线600可表示由API定义的图形处理管线。作为选择，图形处理管线600可以在先前附图和/或一个或更多个任何后续附图的功能和架构的上下文中实现。

如图6所示，图形处理管线600包括包含多个阶段的管线架构。这些阶段包括但不限于数据组装阶段610、顶点着色阶段620、图元组装阶段630、几何着色阶段640、视口缩放、剔除和裁剪(viewport scale,cull,and clip，VSCC)阶段650、光栅化阶段660、片段着色阶段670和光栅操作阶段680。在一个实施例中，输入数据601包括命令，其配置处理单元以实现图形处理管线600的阶段，并配置几何图元(例如，点、线、三角形、四边形、三角形带或扇形等)以由这些阶段处理。输出数据602可以包括像素数据(即，颜色数据)，其被复制到存储器中的帧缓冲区或其他类型的表面数据结构中。

数据组装阶段610接收输入数据601，其指定用于高阶表面、图元等的顶点数据。数据组装阶段610收集临时存储或队列中的顶点数据，诸如通过从主机处理器接收包括指向存储器中的缓冲区的指针的命令并从该缓冲区读取顶点数据。顶点数据然后被传送到顶点着色阶段620以进行处理。

顶点着色阶段620通过对顶点中的每一个执行一次一组操作(即，顶点着色器或程序)来处理顶点数据。顶点可以例如被指定为与一个或更多个顶点属性(例如，颜色、纹理坐标、表面法线等)相关联的4坐标向量(即，<x，y，z，w>)。顶点着色阶段620可以操纵各个顶点属性，诸如位置、颜色、纹理坐标等。换句话说，顶点着色阶段620对与顶点相关联的顶点坐标或其他顶点属性执行操作。这些操作通常包括光照操作(即，修改顶点的颜色属性)和变换操作(即，修改顶点的坐标空间)。例如，可以使用对象坐标空间中的坐标来指定顶点，其通过将坐标乘以矩阵进行变换，该矩阵将坐标从对象坐标空间转换到世界空间或归一化设备坐标(normalized-device-coordinate，NCD)空间。顶点着色阶段620生成被传送到图元组装阶段630的经变换的顶点数据。

图元组装阶段630收集由顶点着色阶段620输出的顶点并且将顶点分组成几何图元以由几何着色阶段640处理。例如，图元组装阶段630可以被配置为将每三个连续顶点分组为用于传送到几何着色阶段640的几何图元(即，三角形)。在一些实施例中，特定顶点可以被重新用于连续几何图元(例如，三角形带中的两个连续三角形可以共享两个顶点)。图元组装阶段630将几何图元(即，相关联的顶点的集合)传送到几何着色阶段640。

几何着色阶段640通过对几何图元执行一组操作(即，几何着色器或程序)来处理几何图元。曲面细分(tessellation)操作可以从每个几何图元生成一个或更多个几何图元。换言之，几何着色阶段640可以将每个几何图元细分为两个或更多个几何图元的更精细的网格，以由图形处理管线600的其余部分进行处理。几何着色阶段640将几何图元传送到视口SCC阶段650。

在一个实施例中，图形处理管线600可以在流式多处理器和顶点着色阶段620、图元组装阶段630、几何着色阶段640、片段着色阶段670和/或与其相关联的硬件/软件内操作，可顺序地执行处理操作。一旦顺序处理操作完成，在一个实施例中，视口SCC阶段650可以利用数据。在一个实施例中，由图形处理管线600中的阶段的一个或更多个处理的图元数据可以被写入高速缓存(例如，L1高速缓存、顶点高速缓存等)中。在这种情况下，在一个实施例中，视口SCC阶段650可以访问高速缓存中的数据。在一个实施例中，视口SCC阶段650和光栅化阶段660被实现为固定功能电路。

视口SCC阶段650执行几何图元的视口缩放、剔除和裁剪。正被渲染的每个表面都与抽象相机位置相关联。相机位置表示正观看该场景的观看者的位置并定义了包围该场景的对象的视锥体。视锥体可以包括观看平面、后平面和四个裁剪平面。完全位于视锥体之外的任何几何图元都可被剔除(即丢弃)，因为这些几何图元将不会对最终渲染的场景做出贡献。部分位于视锥体内并且部分位于视锥体外的任何几何图元可以被裁剪(即，转换为被包围在视锥体内的新的几何图元)。此外，可以基于视锥体的深度来对每个几何图元进行缩放。然后将所有可能可见的几何图元传送到光栅化阶段660。

光栅化阶段660将3D几何图元转换成2D片段(例如，能够用于显示等)。光栅化阶段660可以被配置为利用几何图元的顶点来设置一组平面方程，从中可以内插各种属性。光栅化阶段660还可以计算多个像素的覆盖掩码，其指示像素的一个或更多个样本位置是否拦截几何图元。在一个实施例中，还可以执行z测试以确定几何图元是否被已经被光栅化的其他几何图元遮挡。光栅化阶段660生成片段数据(即，与每个被覆盖像素的特定样本位置相关联的内插顶点属性)，其被传送到片段着色阶段670。

片段着色阶段670通过对片段中的每一个执行一组操作(即，片段着色器或程序)来处理片段数据。片段着色阶段670可以生成片段的像素数据(即，颜色值)，诸如通过使用片段的内插纹理坐标执行光照操作或采样纹理映射。片段着色阶段670生成像素数据，其被发送到光栅操作阶段680。

光栅操作阶段680可对像素数据执行各种操作，诸如执行阿尔法测试、模板测试(stencil test)以及将像素数据与对应于与像素相关联的其他片段的其他像素数据混合。当光栅操作阶段680已经完成对像素数据(即，输出数据602)的处理时，可以将像素数据写入渲染目标，诸如帧缓冲区、颜色缓冲区等。

应当领会，除上述阶段中的一个或更多个以外或代替上述阶段中的一个或更多个，一个或更多个额外的阶段可以被包括在图形处理管线600中。抽象图形处理管线的各种实现方式可以实现不同的阶段。此外，在一些实施例中，上述阶段中的一个或更多个可以从图形处理管线中排除(诸如几何着色阶段640)。其他类型的图形处理管线被认为是在本公开的范围内所构想的。此外，图形处理管线600的任何阶段可以由图形处理器(诸如PPU300)内的一个或更多个专用硬件单元来实现。图形处理管线600的其他阶段可以由可编程硬件单元(诸如PPU 300的SM 440)来实现。

图形处理管线600可以经由由主机处理器(诸如CPU)执行的应用程序来实现。在一个实施例中，设备驱动程序可以实现应用程序编程接口(API)，其定义可以被应用程序利用以生成用于显示的图形数据的各种功能。设备驱动程序是软件程序，其包括控制PPU 300的操作的多个指令。API为程序员提供抽象，其允许程序员利用专用图形硬件(诸如PPU 300)来生成图形数据而不要求程序员利用PPU 300的特定指令集。应用程序可以包括被路由到PPU 300的设备驱动程序的API调用。设备驱动程序解释API调用并执行各种操作以响应API调用。在一些情况下，设备驱动程序可以通过在CPU上执行指令来执行操作。在其他情况下，设备驱动程序可以至少部分地通过利用CPU和PPU 300之间的输入/输出接口在PPU 300上启动操作来执行操作。在一个实施例中，设备驱动程序被配置为利用PPU 300的硬件来实现图形处理管线600。

可以在PPU 300内执行各种程序以便实现图形处理管线600的各个阶段。例如，设备驱动程序可以启动PPU 300上的内核以在一个SM 440(或多个SM 440)上执行顶点着色阶段620。设备驱动程序(或由PPU 400执行的初始内核)还可启动PPU 400上的其他内核以执行图形处理管线600的其他阶段，诸如几何着色阶段640和片段着色阶段670。另外，图形处理管线600的阶段中的一些可以在固定单元硬件(诸如在PPU 400内实现的光栅器或数据组装器)上实现。应当领会，在被SM 440上的后续内核处理之前，来自一个内核的结果可以由一个或更多个中间固定功能硬件单元处理。

机器学习

在处理器(诸如PPU 300)上开发的深度神经网络(DNN)已经用于各种使用情况：从自驾车到更快药物开发，从在线图像数据库中的自动图像字幕到视频聊天应用中的智能实时语言翻译。深度学习是一种技术，它建模人类大脑的神经学习过程，不断学习，不断变得更聪明，并且随着时间的推移更快地传送更准确的结果。一个孩子最初是由成人教导，以正确识别和分类各种形状，最终能够在没有任何辅导的情况下识别形状。同样，深度学习或神经学习系统需要在物体识别和分类方面进行训练，以便在识别基本物体、遮挡物体等同时还有为物体分配情景时变得更加智能和高效。

在最简单的层面上，人类大脑中的神经元查看接收到的各种输入，将重要性级别分配给这些输入中的每一个，并且将输出传递给其他神经元以进行处理。人造神经元或感知器是神经网络的最基本模型。在一个示例中，感知器可以接收一个或更多个输入，其表示感知器正被训练为识别和分类的对象的各种特征，并且在定义对象形状时，这些特征中的每一个基于该特征的重要性赋予一定的权重。

深度神经网络(DNN)模型包括许多连接的节点(例如感知器、玻尔兹曼机器、径向基函数、卷积层等)的多个层，其可以用大量输入数据来训练以快速高精度地解决复杂问题。在一个示例中，DLL模型的第一层将汽车的输入图像分解为各个部分，并查找基本图案(诸如线条和角)。第二层组装线条以寻找更高级别的图案，诸如轮子、挡风玻璃和镜子。下一层识别运载工具类型，最后几层为输入图像生成标签，识别特定汽车品牌的型号。

一旦DNN被训练，DNN就可以被部署并用于在被称为推理(inference)的过程中识别和分类对象或图案。推理的示例(DNN从给定输入中提取有用信息的过程)包括识别沉积在ATM机中的支票存款上的手写数字、识别照片中朋友的图像、向超过五千万用户提供电影推荐、识别和分类不同类型的汽车、行人和无人驾驶汽车中的道路危险、或实时翻译人类言语。

在训练期间，数据在前向传播阶段流过DNN，直到产生预测为止，其指示对应于输入的标签。如果神经网络没有正确标记输入，则分析正确标签和预测标签之间的误差，并且在后向传播阶段期间针对每个特征调整权重，直到DNN正确标记该输入和训练数据集中的其他输入为止。训练复杂的神经网络需要大量的并行计算性能，包括由PPU 300支持的浮点乘法和加法。与训练相比，推理的计算密集程度比训练更低，是一个延迟敏感过程，其中经训练的神经网络应用于它以前没有见过的新的输入，以进行图像分类、翻译语音以及通常推理新的信息。

神经网络严重依赖于矩阵数学运算，并且复杂的多层网络需要大量的浮点性能和带宽来提高效率和速度。采用数千个处理核心，针对矩阵数学运算进行了优化，并传送数十到数百TFLOPS的性能，PPU 300是能够传送基于深度神经网络的人工智能和机器学习应用所需性能的计算平台。

Claims (20)

1.一种计算机实现的方法，包括：

渲染三维(3D)感兴趣对象以产生所述感兴趣对象的渲染图像，其中输入图像包括所述感兴趣对象的所述渲染图像和背景图像；

计算与所述感兴趣对象相对应的任务专用训练数据；以及

将与所述感兴趣对象相对应的所述任务专用训练数据和所述输入图像作为测试对包括在用于训练神经网络的训练数据集中。

2.根据权利要求1所述的计算机实现的方法，还包括接收用于渲染所述3D感兴趣对象的光的位置和取向。

3.根据权利要求2所述的计算机实现的方法，还包括接收用于渲染所述3D感兴趣对象的光的颜色。

4.根据权利要求2所述的计算机实现的方法，还包括接收用于渲染所述3D感兴趣对象的光的强度。

5.根据权利要求1所述的计算机实现的方法，还包括渲染一个或更多个3D几何形状以产生一个或更多个经渲染的几何形状，其中所述一个或更多个经渲染的几何形状包括在所述输入图像中。

6.根据权利要求5所述的计算机实现的方法，其中，从所述任务专用训练数据中省略所述一个或更多个经渲染的几何形状。

7.根据权利要求5所述的计算机实现的方法，其中，渲染所述一个或更多个3D几何形状包括将纹理映射应用于所述一个或更多个3D几何形状中的至少一个3D几何形状。

8.根据权利要求1所述的计算机实现的方法，还包括：

渲染附加的3D感兴趣对象以产生附加的经渲染的感兴趣对象，其中所述附加的经渲染的感兴趣对象包括在所述输入图像中；以及

计算对应于所述附加的感兴趣对象的附加任务专用训练数据，其中所述附加任务专用训练数据包括在所述测试对中。

9.根据权利要求8所述的计算机实现的方法，其中，所述附加的经渲染的感兴趣对象遮挡所述经渲染的感兴趣对象的一部分，并且当所述部分大于预定阈值时，修改对应于所述感兴趣对象的所述任务特定训练数据。

10.根据权利要求1所述的计算机实现的方法，其中渲染所述3D感兴趣对象包括在对应于所述背景图像的3D场景内渲染所述3D感兴趣对象。

11.根据权利要求1所述的计算机实现的方法，还包括：

渲染3D场景以产生所述背景图像；以及

组合所述感兴趣对象的所述渲染图像和所述背景图像以产生所述输入图像。

12.根据权利要求1所述的计算机实现的方法，其中，所述任务特定训练数据定义包围所述感兴趣对象的所述渲染图像的边界框的位置和尺寸。

13.根据权利要求1所述的计算机实现的方法，其中，所述任务特定训练数据包括由所述感兴趣对象的所述渲染图像覆盖的每个像素的对象标识符。

14.根据权利要求1所述的计算机实现的方法，还包括接收3D空间中的位置和取向，用于渲染所述三维感兴趣对象。

15.根据权利要求1所述的计算机实现的方法，其中，渲染所述3D感兴趣对象包括将纹理映射应用于所述3D感兴趣对象。

16.根据权利要求1所述的计算机实现的方法，还包括接收相机的位置和取向用于渲染所述3D感兴趣对象。

17.根据权利要求1所述的计算机实现的方法，其中，所述背景图像是合成图像。

18.根据权利要求1所述的计算机实现的方法，其中，所述背景图像是照片般真实的图像。

19.一种系统，包括：

图形处理单元(GPU)，被配置为渲染三维(3D)感兴趣对象以产生所述感兴趣对象的渲染图像，其中输入图像包括所述感兴趣对象的所述渲染图像和背景图像；

任务专用训练数据计算单元，耦合到所述GPU并且被配置为计算与所述感兴趣对象相对应的任务专用训练数据；以及

存储器，被配置为存储用于训练神经网络的训练数据集，所述训练数据集包括作为测试对的与所述感兴趣对象相对应的所述任务专用训练数据和所述输入图像。

20.一种非暂时性计算机可读存储介质，存储指令，所述指令在由处理单元执行时使所述处理单元：

渲染三维(3D)感兴趣对象以产生所述感兴趣对象的渲染图像，其中输入图像包括所述感兴趣对象的所述渲染图像和背景图像；

计算与所述感兴趣对象相对应的任务专用训练数据；以及

将与所述感兴趣对象相对应的所述任务专用训练数据和所述输入图像作为测试对包括在用于训练神经网络的训练数据集中。