CN114556424A - 使用一个或更多个神经网络的姿态确定 - Google Patents
使用一个或更多个神经网络的姿态确定 Download PDFInfo
- Publication number
- CN114556424A CN114556424A CN202080071824.1A CN202080071824A CN114556424A CN 114556424 A CN114556424 A CN 114556424A CN 202080071824 A CN202080071824 A CN 202080071824A CN 114556424 A CN114556424 A CN 114556424A
- Authority
- CN
- China
- Prior art keywords
- data
- processor
- training
- memory
- graphics
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000013528 artificial neural network Methods 0.000 title claims description 162
- 238000000034 method Methods 0.000 claims abstract description 154
- 230000015654 memory Effects 0.000 claims description 393
- 238000004422 calculation algorithm Methods 0.000 claims description 36
- 238000012549 training Methods 0.000 description 337
- 238000012545 processing Methods 0.000 description 269
- 230000008569 process Effects 0.000 description 105
- 230000006870 function Effects 0.000 description 99
- 210000002569 neuron Anatomy 0.000 description 71
- 238000010801 machine learning Methods 0.000 description 66
- 238000007667 floating Methods 0.000 description 57
- 238000003860 storage Methods 0.000 description 52
- 238000005192 partition Methods 0.000 description 51
- 230000001133 acceleration Effects 0.000 description 47
- 238000004891 communication Methods 0.000 description 42
- 238000005227 gel permeation chromatography Methods 0.000 description 42
- 239000000872 buffer Substances 0.000 description 32
- 238000007726 management method Methods 0.000 description 28
- 238000013135 deep learning Methods 0.000 description 27
- 230000011218 segmentation Effects 0.000 description 24
- 239000012634 fragment Substances 0.000 description 22
- 238000013500 data storage Methods 0.000 description 21
- 230000002093 peripheral effect Effects 0.000 description 21
- 239000011159 matrix material Substances 0.000 description 20
- 238000012546 transfer Methods 0.000 description 19
- 230000004913 activation Effects 0.000 description 18
- 238000001994 activation Methods 0.000 description 18
- 210000000225 synapse Anatomy 0.000 description 17
- 238000013519 translation Methods 0.000 description 17
- 230000014616 translation Effects 0.000 description 17
- 238000010586 diagram Methods 0.000 description 14
- 238000010200 validation analysis Methods 0.000 description 14
- 230000007246 mechanism Effects 0.000 description 12
- 238000011156 evaluation Methods 0.000 description 11
- 239000002131 composite material Substances 0.000 description 10
- 238000005457 optimization Methods 0.000 description 10
- 238000013527 convolutional neural network Methods 0.000 description 9
- 238000009877 rendering Methods 0.000 description 9
- 238000005516 engineering process Methods 0.000 description 8
- 239000012528 membrane Substances 0.000 description 8
- 238000012360 testing method Methods 0.000 description 8
- 239000013598 vector Substances 0.000 description 8
- 230000006835 compression Effects 0.000 description 7
- 238000007906 compression Methods 0.000 description 7
- 238000001514 detection method Methods 0.000 description 6
- 238000009826 distribution Methods 0.000 description 6
- 238000013507 mapping Methods 0.000 description 6
- 238000007781 pre-processing Methods 0.000 description 6
- 230000010076 replication Effects 0.000 description 6
- 230000001360 synchronised effect Effects 0.000 description 6
- 238000003491 array Methods 0.000 description 5
- 230000001419 dependent effect Effects 0.000 description 5
- 238000013461 design Methods 0.000 description 5
- 238000002156 mixing Methods 0.000 description 5
- 230000004044 response Effects 0.000 description 5
- 238000005070 sampling Methods 0.000 description 5
- 239000004065 semiconductor Substances 0.000 description 5
- 230000009471 action Effects 0.000 description 4
- 238000013459 approach Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 4
- 239000003795 chemical substances by application Substances 0.000 description 4
- 238000004590 computer program Methods 0.000 description 4
- 238000013501 data transformation Methods 0.000 description 4
- 230000010354 integration Effects 0.000 description 4
- 238000013508 migration Methods 0.000 description 4
- 230000005012 migration Effects 0.000 description 4
- 238000013179 statistical model Methods 0.000 description 4
- 230000009466 transformation Effects 0.000 description 4
- 238000007792 addition Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 3
- 238000010276 construction Methods 0.000 description 3
- 239000004744 fabric Substances 0.000 description 3
- 238000001914 filtration Methods 0.000 description 3
- 230000000670 limiting effect Effects 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 239000000203 mixture Substances 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 229920001690 polydopamine Polymers 0.000 description 3
- 238000011176 pooling Methods 0.000 description 3
- 239000000047 product Substances 0.000 description 3
- 230000002829 reductive effect Effects 0.000 description 3
- 230000000717 retained effect Effects 0.000 description 3
- 230000003068 static effect Effects 0.000 description 3
- 238000000844 transformation Methods 0.000 description 3
- 230000007704 transition Effects 0.000 description 3
- HPTJABJPZMULFH-UHFFFAOYSA-N 12-[(Cyclohexylcarbamoyl)amino]dodecanoic acid Chemical compound OC(=O)CCCCCCCCCCCNC(=O)NC1CCCCC1 HPTJABJPZMULFH-UHFFFAOYSA-N 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 2
- 238000012884 algebraic function Methods 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 210000004556 brain Anatomy 0.000 description 2
- 210000004027 cell Anatomy 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 2
- 230000001149 cognitive effect Effects 0.000 description 2
- 238000001816 cooling Methods 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 238000002790 cross-validation Methods 0.000 description 2
- 230000000977 initiatory effect Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000007477 logistic regression Methods 0.000 description 2
- 230000000873 masking effect Effects 0.000 description 2
- 238000007620 mathematical function Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000012805 post-processing Methods 0.000 description 2
- 230000001242 postsynaptic effect Effects 0.000 description 2
- 210000005215 presynaptic neuron Anatomy 0.000 description 2
- 238000012552 review Methods 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 230000008093 supporting effect Effects 0.000 description 2
- 238000012800 visualization Methods 0.000 description 2
- 102100037651 AP-2 complex subunit sigma Human genes 0.000 description 1
- 102100036848 C-C motif chemokine 20 Human genes 0.000 description 1
- 101000806914 Homo sapiens AP-2 complex subunit sigma Proteins 0.000 description 1
- 101000713099 Homo sapiens C-C motif chemokine 20 Proteins 0.000 description 1
- 241000492493 Oxymeris Species 0.000 description 1
- 241000228740 Procrustes Species 0.000 description 1
- 101100285899 Saccharomyces cerevisiae (strain ATCC 204508 / S288c) SSE2 gene Proteins 0.000 description 1
- 102100036378 T-cell immunomodulatory protein Human genes 0.000 description 1
- 101710194900 T-cell immunomodulatory protein Proteins 0.000 description 1
- 241000700605 Viruses Species 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 230000001427 coherent effect Effects 0.000 description 1
- 235000019642 color hue Nutrition 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 229920005994 diacetyl cellulose Polymers 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 235000019800 disodium phosphate Nutrition 0.000 description 1
- 238000009509 drug development Methods 0.000 description 1
- 238000007876 drug discovery Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 230000035876 healing Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000001976 improved effect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000013067 intermediate product Substances 0.000 description 1
- 238000002955 isolation Methods 0.000 description 1
- 238000012804 iterative process Methods 0.000 description 1
- 238000012417 linear regression Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000006386 memory function Effects 0.000 description 1
- 238000000329 molecular dynamics simulation Methods 0.000 description 1
- 238000012900 molecular simulation Methods 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 230000036961 partial effect Effects 0.000 description 1
- 229920000747 poly(lactic acid) Polymers 0.000 description 1
- 238000011028 process validation Methods 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 230000001902 propagating effect Effects 0.000 description 1
- 238000013138 pruning Methods 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 238000013468 resource allocation Methods 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 230000000946 synaptic effect Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- 238000009827 uniform distribution Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/64—Three-dimensional objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
- B25J9/1697—Vision controlled systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Molecular Biology (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
提出了用于确定对象的姿态的装置、系统和技术。在至少一个实施例中，训练网络以至少部分地基于自主对象的仅一个图像来预测该自主对象的姿态。
Description
相关申请的交叉引用
这是PCT申请，并且要求于2019年10月18日提交的名称为“使用一个或更多个神经网络的姿态确定(POSE DETERMINATION USING ONE OR MORE NEURAL NETWORKS)”的美国申请No.16/657,220的优先权，出于所有的目的，该申请的全部公开内容通过引用并入本文。
技术领域
至少一个实施例涉及用于执行和促进人工智能的处理资源。例如，至少一个实施例涉及用于根据本文描述的各种新颖技术训练神经网络的处理器或计算系统。
背景技术
机器人被用于不断增长的各种任务。在许多实例中，外部相机将用于识别机器人附近的对象，以使用户能够导航这些对象或与这些对象交互。为了向机器人提供准确的指令，相机需要被校准，使得其相对于机器人的位置和取向是已知的，使得从所捕获的图像数据确定的测量结果相对于机器人是准确的。确定相机对机器人的位置和取向通常涉及长且复杂的校准过程。
附图说明
将参照附图描述根据本公开的各个实施例，其中：
图1A、图1B和图1C示出了根据至少一个实施例的可以在图像数据中表示的机器人的姿态；
图2示出了根据至少一个实施例的姿态检测系统；
图3示出了根据至少一个实施例的网络训练系统；
图4示出了根据至少一个实施例的用于训练神经网络的过程；
图5A和图5B示出了根据至少一个实施例的训练和推理过程；
图6示出了根据至少一个实施例的环境；
图7示出了根据至少一个实施例的用于训练可以使用的图像合成网络的系统；
图8示出了根据至少一个实施例的可以使用的统计模型的层；
图9示出了根据至少一个实施例的推理和/或训练逻辑；
图10示出了根据至少一个实施例的推理和/或训练逻辑；
图11示出了根据至少一个实施例的示例数据中心系统；
图12示出了根据至少一个实施例的计算机系统；
图13示出了根据至少一个实施例的计算机系统；
图14示出了根据至少一个实施例的计算机系统；
图15示出了根据至少一个实施例的计算机系统；
图16示出了根据至少一个实施例的计算机系统；
图17示出了根据至少一个实施例的计算机系统；
图18示出了根据至少一个实施例的计算机系统；
图19示出了根据至少一个实施例的计算机系统；
图20和图21示出了根据至少一个实施例的共享编程模型；
图22示出了根据至少一个实施例的示例性集成电路和相关联的图形处理器；
图23-24示出了根据至少一个实施例的示例性集成电路和相关联的图形处理器；
图25-26示出了根据至少一个实施例的附加示例性图形处理器逻辑；
图27示出了根据至少一个实施例的计算机系统；
图28示出了根据至少一个实施例的并行处理器；
图29示出了根据至少一个实施例的分区单元；
图30示出了根据至少一个实施例的处理集群；
图31示出了根据至少一个实施例的图形多处理器；
图32示出了根据至少一个实施例的多图形处理单元(GPU)系统；
图33示出了根据至少一个实施例的图形处理器；
图34示出了根据至少一个实施例的处理器的微架构；
图35示出了根据至少一个实施例的深度学习应用处理器；
图36示出了根据至少一个实施例的示例神经形态处理器；
图37和图38示出了根据至少一个实施例的图形处理器的至少部分；
图39示出了根据至少一个实施例的图形处理器核心的至少部分；
图40-41示出了根据至少一个实施例的图形处理器核心的至少部分；
图42示出了根据至少一个实施例的并行处理单元(“PPU”)；
图43示出了根据至少一个实施例的通用处理集群(“GPC”)；
图44示出了根据至少一个实施例的并行处理单元(“PPU”)的存储器分区单元；
图45示出了根据至少一个实施例的流式多处理器。
具体实施方式
在至少一个实施例中，相机102可以用于捕获图像、或视频、或自主对象，诸如机器人104。在至少一个实施例中，相机102可以被定位或外部安装，使得机器人104在相机102的视场110内，并且相机102可以捕获图像数据，该图像数据包括机器人104的至少部分表示(如果不是全视图表示)。在至少一个实施例中，捕获的图像或视频数据可以用于帮助向机器人104提供指令以执行特定任务。在至少一个实施例中，捕获的图像数据可以被分析以确定对象相对于机器人104的位置，机器人104要以某种方式与该位置交互，诸如以拾取或修改该对象。在至少一个实施例中，为了给机器人104或机器人104的控制系统提供准确的指令，分析捕获的图像数据以确定这些对象的尺寸或位置。在至少一个实施例中，捕获的图像数据也可以用于其他目的，诸如帮助导航机器人104或提供关于机器人104的状态的当前信息。在至少一个实施例中，准确的位置和取向数据使机器人能够在非结构化的动态环境中鲁棒地操作，执行诸如对象抓握和操纵、人机交互以及碰撞检测和避免之类的任务。
在至少一个实施例中，确定相机102与机器人104之间的位置或取向中的至少一个可能是重要的。在至少一个实施例中，相对位置和取向信息可以用于确保从相机102的视角看相机坐标空间与机器人104的机器人坐标空间在尺寸和对准两者上对准。在至少一个实施例中，相机102相对于机器人104的不准确的取向或位置可导致为机器人104给出不正确的坐标来执行动作，因为这些坐标从相机坐标系看可能是正确的，但在机器人坐标系中可能是不正确的。
在至少一个实施例中，可以相对于机器人104确定相机102的相对位置和取向。在至少一个实施例中，相机102的相对位置可以是足够的，而取向信息可以是有用的，这取决于诸如相机内参之类的因素，其中，如果不正确地考虑，非对称图像属性可能影响准确性。在至少一个实施例中，图像可以由示出机器人104的当前取向的相机102捕获。在至少一个实施例中，机器人104可具有各种铰接肢108或组件，使得机器人104可处于各种配置或“姿态”。在至少一个实施例中，机器人104的不同姿态可导致由相机102捕获的图像中的不同表示，如图1B的图像130和图1C的图像160中所示。在至少一个实施例中，计算机视觉可以用于确定图像中机器人104的取向，但是这样的方法将需要机器人104的图像库处于几乎每种可能的姿态，这可能涉及创建将是耗时的大型库。在至少一个实施例中，可分析由相机102捕获的单个图像以确定机器人104的可用于确定机器人104的姿态的特征。在至少一个实施例中，特征可对应于机器人可在位置或取向上移动或进行调整的关节或位置。在至少一个实施例中，因为机器人104的尺寸和运动学是已知的，所以从相机102的视角确定机器人104的姿态使得能够准确地确定相机到机器人的距离和取向。在至少一个实施例中，机器人104可固定在适当位置，使得机器人104的基部106将不会移动，并且除了机器人104的姿态能够随时间改变之外，相对的相机到机器人的距离和取向一旦确定将不会改变。
在至少一个实施例中，机器学习可以用于推理机器人的特定特征在所捕获的图像中的位置。在至少一个实施例中，可以利用如图2所示的系统200。在至少一个实施例中，机器人的所捕获的图像202可以作为输入被提供给经训练的神经网络204。在至少一个实施例中，可执行此图像的一些预处理或增强，例如以在处理之前调整分辨率、颜色深度或对比度。在至少一个实施例中，网络204可以专门针对一种类型的机器人204进行训练，因为不同的机器人可以具有不同的形状、大小、配置、运动学和特征。在至少一个实施例中，神经网络204可以分析输入图像202并且作为一组推理输出一组信念图(brief map)206。在至少一个实施例中，可以生成其他维度确定推理用于定位特征点。在至少一个实施例中，神经网络204可以针对待识别的每个机器人特征推理一个信念图206。在至少一个实施例中，用于训练的机器人的模型可以识别要被跟踪的特定特征。在至少一个实施例中，可以通过训练过程来学习这些特征。在至少一个实施例中，特征可以位于机器人的不同可移动部分或组件上，使得可以从那些特征确定该机器人的姿态。在至少一个实施例中，应选择特征，使得机器人的每个姿态对应于特征的一个且仅一个配置，并且特征的每个配置对应于一个且仅一个机器人姿态。在至少一个实施例中，此唯一性使得相机到机器人姿态能够基于如在所捕获的图像数据中表示的特征的唯一取向被确定。
在至少一个实施例中，自动编码器网络可以检测关键点。在至少一个实施例中，神经网络将大小为w x h x 3的RGB图像作为输入，并输出具有形状为w x h x n的n个信念图206。在至少一个实施例中，RGBD或立体图像也可以被当作输入。在至少一个实施例中，w＝640并且h＝480。在至少一个实施例中，每个关键点的输出是2D信念图，其中像素值表示关键点被投影到该像素上的可能性。在至少一个实施例中，编码器由在ImageNet上预训练的VGG-19的卷积层组成。在至少一个实施例中，可以使用基于ResNet的编码器。在至少一个实施例中，解码器或上采样组件由四个2D转置卷积层组成，每个层之后是正常的3×3卷积层和ReLU激活层。在至少一个实施例中，输出头由分别具有64、32和n个通道的ReLU激活的三个卷积层(3×3，步幅＝1，填充＝1)组成。在至少一个实施例中，在最后的卷积层之后不存在激活层。在至少一个实施例中，使用将输出信念图与地面实况信念图进行比较的L2损失函数来训练编码器网络，其中，使用σ＝2像素来生成地面实况信念图以生成峰值。在至少一个实施例中，立体图像对的使用允许融合由这些图像估计的姿态，或者可使用例如Procrustes分析或ICP之类的过程来计算点云和确定姿态。
在至少一个实施例中，信念图206可以作为输入被提供给峰值提取组件208或服务，该峰值提取组件或服务能够确定表示相关机器人特征的位置的一组二维坐标。在至少一个实施例中，在首先对这些信念图应用高斯平滑以减小噪声效应之后，关键点坐标被计算为相应信念图中阈值峰值附近的值的加权平均。在至少一个实施例中，该加权平均允许子像素精度。在至少一个实施例中，这些二维坐标(或像素位置)可作为输入被提供给姿态确定模块，诸如透视n点(PnP)模块214。在至少一个实施例中，此姿态确定模块还可以接受相机内参数据210作为输入，诸如相机的校准信息，所述校准信息可以用于考虑由于透镜不对称性、焦距、主点、或其他此类因素引起的图像伪影。在至少一个实施例中，此姿态确定模块还可以接收关于这种类型的机器人的正向运动学212的信息作为输入，以便确定可能的姿态。在至少一个实施例中，运动学用于缩小搜索空间，其中由于这种类型的机器人的物理配置或限制，仅有某些特征位置是可能的。在至少一个实施例中，使用PnP算法来分析此信息以输出所确定的相机到机器人的姿态。在至少一个实施例中，假设该机器人操纵器的关节配置是已知的，则使用透视n点来恢复相机外参。在至少一个实施例中，此姿态信息可用于确定相机与机器人之间的相对距离和取向，因为此机器人的基本坐标或其他特征可在相机空间或相机坐标系中被准确地识别。
在至少一个实施例中，神经网络被训练成能够诸如通过推理一组信念图来推理这些特征的位置。在至少一个实施例中，该神经网络可以使用诸如图3中所示系统之类的系统300来训练。在至少一个实施例中，客户端设备304(诸如计算机或服务器)可用于生成可用于训练神经网络的一种类型的机器人的一组合成图像。在至少一个实施例中，渲染器(例如，游戏引擎，诸如来自Epic Games公司的
引擎)可以用于以各种姿态渲染机器人的视图。在至少一个实施例中，控制接口308(诸如可利用Python编程语言)可使得用户能够指示渲染器以特定姿态渲染机器人的视图。在至少一个实施例中，该接口可以是应用编程接口(API)，命令可以通过该API传递。在至少一个实施例中，机器人模型302的数据库可以包括网格、模型或特定于不同类型的机器人的其他数据，使得渲染器306能够以特定姿态渲染指定类型的机器人的准确表示。在至少一个实施例中，当要针对特定类型的机器人或自主对象训练神经网络时，可以提供相应的模型和运动学数据作为输入，并且控制接口308可以为该机器人指定不同的姿态。在至少一个实施例中，渲染器可以以指定姿态渲染该类型的机器人的表示，且可以捕获或生成包括这些表示的图像。在至少一个实施例中，然后这些合成图像可充当神经网络的训练数据，因为图像包括处于特定姿态的一种类型的机器人的表示，并且对应的姿态数据可充当用于训练的地面实况数据。在至少一个实施例中，这些合成图像和姿态数据可被存储到数据库310以供随后在训练神经网络时使用。
在至少一个实施例中，这些合成图像和姿态数据可以作为输入被提供给训练模块312。在至少一个实施例中，可以使用这个和任何其他训练数据316来选择和训练基础模型318，以便生成可以用于推理对象的姿态的一个或更多个经训练的机器学习模型314。在至少一个实施例中，针对其训练模型的每个机器人将具有可以存储在模型存储库314中的对应的权重集合。在至少一个实施例中，训练数据316可包括将用于姿态确定的特征的说明，而在至少一个实施例中，这些特征可被指定为机器人模型的一部分。
在至少一个实施例中，合成机器人被放置在渲染器中的简单虚拟3D场景中，由虚拟相机观看。在至少一个实施例中，可以应用各种随机化，诸如以使得机器人的关节角度大致根据关节限制来定义。在至少一个实施例中，相机可自由地定位在机器人周围的稍微截短的半球形壳体中，例如具有从-135°至+135°范围的方位角(不包括机器人的背面)、从-10°至75°的高度、以及从75cm至120cm的距离。在至少一个实施例中，光轴可以在小圆锥内随机化。在至少一个实施例中，可自由定位和定向多个场景光，同时随机化强度和颜色两者。在至少一个实施例中，可以从适当的数据集中选择场景背景来使用。在至少一个实施例中，3D对象也被随机地放置在该场景中，其中随机的颜色色调被应用于机器人网格以用于变体学习。
在至少一个实施例中，用于训练模型的过程400可以如图4所示使用。在至少一个实施例中，针对有待针对其训练模型的一种类型的机器人获得402模型和运动学数据。在至少一个实施例中，可以利用404渲染器来使用所提供的模型和运动学数据来渲染机器人的虚拟版本。在至少一个实施例中，此渲染器可以提供控制接口，所述控制接口使得能够406以各种姿态使此虚拟机器人摆姿态，其中，可以针对此虚拟机器人的特定姿态捕获或生成图像。在至少一个实施例中，可利用姿态数据生成合成图像集，其中每个图像表示处于指定姿态的机器人。在至少一个实施例中，然后可以提供410这些合成图像和数据作为训练数据以用于训练神经网络，以推理指定类型的机器人的特征位置数据。
在至少一个实施例中，如图5A所示，可执行用于训练模型以推理姿态的特征位置的过程500。在至少一个实施例中，可获得502示出处于各种姿态的机器人的合成图像，诸如关于图4所讨论的。在至少一个实施例中，至少一些训练图像可包括指定类型的机器人的实际相机捕获。在至少一个实施例中，可将这些合成图像和对应的姿态数据作为输入提供504给神经网络以进行训练。在至少一个实施例中，可以由该神经网络推理506一组信念图，其中这些信念图指示正在针对其训练该网络的一种类型的机器人的相应特征的位置。在至少一个实施例中，可以将这些信念图与地面实况姿态数据进行比较508，以便确定一个或更多个损失值。在至少一个实施例中，调整510一个或更多个网络参数，以便尝试使该损失最小化。可以做出512关于是否已经满足结束条件或标准的确定，诸如在已经达到最大数量的训练传递或满足收敛标准的情况下。在至少一个实施例中，如果已经满足结束条件，则可以提供514这个经训练的模型用于推理。
在至少一个实施例中，图5B中所示出的过程550可以在推理时间用于确定自主对象的姿态。在至少一个实施例中，接收552机器人的图像并将其作为输入提供554给经训练的模型。在至少一个实施例中，该模型可以推理554输入图像数据中的特征位置的一组信念图或其他表示。在至少一个实施例中，可以从这些信念图确定558特征点或坐标，诸如通过确定峰值位置，并且可以分析560这些坐标以确定姿态数据，诸如相机到机器人姿态数据。在至少一个实施例中，此类过程可用于确定任何自主或半自主对象(诸如机器人或车辆)的相对姿态和方向。
在至少一个实施例中，机器人特定的深度神经网络用于估计RGB图像中的指定关键点。在至少一个实施例中，可以使用透视n点(PnP)，至少部分地基于相机内参和已知的机器人关节配置来估计相机外参。在至少一个实施例中，可完全在合成图像上来训练网络，这依赖于域随机化以桥接现实间隙。在至少一个实施例中，可以使用工具来生成这些图像，其允许机器人关节控制的脚本化，以及导出关于3D网格上的特定三维(3D)位置的元数据。在至少一个实施例中，可以使用进一步提高准确度(诸如，至毫米级)的基于深度图像的精细化。在至少一个实施例中，这样的工具可以使得相机到机器人校准能够从单个图像执行，使得研究人员或其他用户能够设置相机，并且然后立即使用来自图像空间的对象检测或测量以用于以独立于任务的方式来进行真实世界机器人控制，而无需单独的离线校准步骤。在至少一个实施例中，如果相机随后由于某种原因(诸如意外撞击的结果)而移动，则将不需要重做校准，因为在线校准进程将自动处理此类扰动。
在至少一个实施例中，姿态信息用于将在相机空间中进行的测量变换到自主设备的任务空间。在至少一个实施例中，此变换使此自主设备能够在非结构化的动态环境中鲁棒地操作，从而执行诸如对象抓握和操纵、人机交互以及碰撞检测和避免之类的任务。在至少一个实施例中，这样的方法不需要使用ARTag、AprilTag或其他这样的基准点，而是利用设备本身的外观。在至少一个实施例中，系统可从单个图像执行相机姿态估计。在至少一个实施例中，这样的系统可利用用于铰接操纵器的深度机器人-到-相机外参。在至少一个实施例中，训练机器人特定的深度神经网络以估计单个图像(诸如RGB图像)或机器人中的预先指定的关键点。在至少一个实施例中，这些关键点可以与相机内参和机器人关节配置相组合，以例如通过使用PnP来估计相机外参。在至少一个实施例中，利用域随机化在合成图像上完全训练该网络。
在至少一个实施例中，考虑三个坐标框架，包括机器人、相机和捕获的图像的框架。在至少一个实施例中，外部安装的相机可以观察各个机器人链接上的n个关键点
在至少一个实施例中，这些关键点可以投影到图像作为
在至少一个实施例中，这些投影可以在相机视锥体内部，而其他投影可以在外部。在至少一个实施例中，无论遮挡如何，该视锥体内部的投影可被认为是可见的。在至少一个实施例中，可以假定已知与相机和图像帧有关的内参。
神经网络训练和开发
越来越多的行业和应用程序正在利用机器学习。在至少一个实施例中，在处理器上开发的深度神经网络(DNN)已被用于各种用例，从自动驾驶汽车到更快的药物开发，从用于安全系统的自动图像分析到视频聊天应用程序中的智能实时语言翻译。在至少一个实施例中，深度学习是一种对人类大脑的神经学习过程、不断学习、不断变得更智能并随着时间的推移更快地提供更准确的结果进行建模的技术。孩子最初由成年人教他们正确识别和分类各种形状，最终能够在没有任何指导的情况下识别形状。类似地，在至少一个实施例中，需要对设计用于完成类似任务的深度学习或神经学习系统进行训练，使其在识别基本对象、被遮挡对象等方面，同时也在为这些对象分配上下文方面变得更智能、更有效。
在至少一个实施例中，人类大脑中的神经元查看接收的各种输入，将重要性级别分配给这些输入中的每一个，并将输出传递给其他神经元以进行操作。人工神经元或感知器是神经网络的最基本模型。在至少一个实施例中，感知器可以接收一个或更多个输入，所述一个或更多个输入表示感知器正被训练用于识别和分类的对象的各种特征，并且这些特征的每一个都基于该特征在定义对象形状中的重要性被分配某权重。
深度神经网络(DNN)模型包括多层的许多连接的感知器(例如，节点)，所述感知器可以用大量的输入数据进行训练，以快速、高精度地解决复杂的问题。在一个示例中，DNN模型的第一层将汽车的输入图像分解为不同的部分，并寻找基本的图案，诸如线和角。第二层组装各线以寻找更高级别的图案，诸如车轮、挡风玻璃和镜子。下一层识别车辆的类型，并且最后几层为输入图像生成标签，识别特定汽车品牌的型号。一旦DNN被训练，该DNN就可以被部署并用于在被称为推理的过程中识别和分类对象或图案。推理的例子(一个过程，通过该过程DNN从给定的输入提取有用信息)包括识别存入ATM机中的支票上的手写数字，识别照片中朋友的图像，提供电影推荐，识别和分类不同类型的汽车、行人和无人驾驶汽车的道路危险，或接近实时地翻译人类语言。
在训练期间，数据在前向传播阶段流过DNN，直到产生指示与输入对应的标签的预测。如果神经网络没有正确地标记输入，则分析正确的标签和预测的标签之间的误差，并在反向传播阶段期间调整每个特征的权重，直到DNN正确地标记输入和训练数据集中的其他输入。训练复杂的神经网络需要大量的并行计算性能，包括所支持的浮点乘法和加法。推理比训练的计算强度要小，是一个延迟敏感的过程，其中经训练的神经网络被应用于以前从未见过的新输入，以对图像进行分类、翻译语音和推理新信息。
神经网络严重依赖于矩阵数学运算，而复杂的多层网络需要大量的浮点性能和带宽来提高效率和速度。采用数千个的处理核心，针对矩阵数学运算进行优化，并提供数十到数百个TFLOPS的性能，计算平台可以提供基于深度神经网络的人工智能和机器学习应用程序所需的性能。
图6示出了在至少一个实施例中可用于训练和利用机器学习的系统600的组件。正如将讨论的，各种组件可以由计算设备和资源的各种组合或者单个计算系统提供，这可以由单个实体或多个实体控制。此外，各方面可以由不同的实体触发、发起或请求。在至少一个实施例中，训练神经网络可以由与提供商环境606相关联的提供商进行指示，而在至少一个实施例中，训练可以通过客户或其他用户通过客户端设备602或其他这样的资源访问提供商环境来请求。在至少一个实施例中，训练数据(或要由经训练的神经网络分析的数据)可以由提供商、用户或第三方内容提供商624提供。在至少一个实施例中，客户端设备602可以是代表用户要导航的车辆或对象，例如，其可以提交请求和/或接收辅助设备导航的指令。
在至少一个实施例中，能够通过至少一个网络604将所接收的请求提交给提供商环境606。在至少一个实施例中，客户端设备可以是使用户能够生成和发送此类请求的任何适当的电子和/或计算设备，如可包括台式计算机、笔记本电脑、计算机服务器、智能手机、平板电脑、游戏控制台(便携式或其他)、计算机处理器、计算逻辑和机顶盒。一个或更多个网络604可以包括用于发送请求或其他此类数据的任何适当网络，如可包括因特网、内联网、以太网、蜂窝网络、局域网(LAN)、对等体之间的直接无线连接网络等等。
在至少一个实施例中，可以将请求接收到接口层608，该示例中，该接口层608可以将数据转发到训练和推理管理器610。该管理器可以是一个系统或服务，所述系统或服务包括用于管理请求和服务相应的数据或内容的硬件和软件。在至少一个实施例中，该管理器可以接收训练神经网络的请求，并且可以向训练管理器612提供用于请求的数据。在至少一个实施例中，如果没有由请求指定，则训练管理器612可以选择要使用的适当模型或网络，并且可以使用相关的训练数据来训练模型。在至少一个实施例中，训练数据可以是存储到训练数据存储库614的从客户端设备602接收的或从第三方提供商624获得的一批数据。在至少一个实施例中，训练管理器612可以负责训练数据，例如通过使用本文所讨论的基于LARC的方法。网络可以是任何合适的网络，诸如循环神经网络(RNN)或卷积神经网络(CNN)。一旦网络被训练并成功评估，经训练的网络可以存储到模型存储库616中，例如，其可以为用户、应用程序或服务等存储不同的模型或网络。在至少一个实施例中，针对单个应用程序或实体可以有多个模型，如可以基于许多不同的因素来使用的。
在至少一个实施例中，在随后的时间点，可以从客户端设备602(或另一个这样的设备)接收对内容(例如，路径确定)或至少部分地由经训练的神经网络确定或影响的数据的请求。该请求可以包括，例如，要使用神经网络处理以获得一个或更多个推理或其他输出值、分类或预测的输入数据。在至少一个实施例中，可以将输入数据接收到接口层608并定向到推理模块618，尽管也可以使用不同的系统或服务。在至少一个实施例中，推理模块618可以从模型存储库616获得适当的经训练的网络，例如本文讨论的经训练的深度神经网络(DNN)，如果其还没有本地存储到推理模块618的话。推理模块618可以将数据作为输入提供给经训练的网络，该经训练的网络然后可以生成一个或更多个推理作为输出。这可以包括例如输入数据的实例的分类。在至少一个实施例中，然后可以将推理发送到客户端设备602以进行显示或其他通信给用户。在至少一个实施例中，用户的上下文数据也可以存储到用户上下文数据存储库622，其可以包括关于用户的数据，其在生成推理或在获得实例后确定返回给用户的数据中可以用作对网络的输入。在至少一个实施例中，可以包括至少一些输入或推理数据的相关数据也可以存储到本地数据库620中，以处理未来的请求。在至少一个实施例中，用户可以使用账户或其他信息来访问提供商环境的资源或功能。在至少一个实施例中，如果允许并可用，还可以收集用户数据并用于进一步训练模型，以便为未来的请求提供更准确的推理。在至少一个实施例中，可以通过用户接口将请求接收到在客户端设备602上执行的机器学习应用程序626，并且通过相同的接口显示结果。客户端设备可以包括用于生成请求和处理结果或响应的诸如处理器628和存储器630之类的资源，以及用于存储用于机器学习应用程序626的数据的至少一个数据存储元件632。
在至少一个实施例中，处理器628(或训练管理器612或推理模块618的处理器)将是中央处理单元(CPU)。然而，如前所述，这种环境中的资源可以利用GPU来处理至少某些类型的请求的数据。采用数千个核心的GPU被设计用于处理大量的并行工作负载，并且因此，在用于训练神经网络和生成预测的深度学习中已经变得越来越流行。虽然在离线构建中使用GPU已经使得能够更快地训练更大、更复杂的模型，但离线生成预测意味着不能使用请求时间输入特征，或者必须为特征的所有排列生成预测，并存储在查找表中以服务实时请求。如果深度学习框架支持CPU模式，并且模型足够小和简单，从而能够以合理的延迟在CPU上执行前馈，那么CPU实例上的服务可以托管模型。在这种情况下，训练可以在GPU上离线进行，并在CPU上实时进行推理。如果CPU方法不可行，那么服务就可以在GPU实例上运行。然而，由于GPU与CPU具有不同的性能和成本特性，运行将运行时算法卸载到GPU的服务可要求其设计不同于基于CPU的服务。
图7示出了在至少一个实施例中可以用于分类数据或生成推理的示例系统700。在至少一个实施例中，监督训练和无监督训练都可以在本文讨论的至少一个实施例中使用。在至少一个实施例中，将一组训练数据702(例如，分类或标记的数据)作为输入提供给函数作为训练数据。在至少一个实施例中，训练数据可以包括要针对其训练神经网络的至少一种类型的对象的实例，以及识别该类型的对象的信息。在至少一个实施例中，训练数据可以包括一组图像，每个图像包括一种类型对象的表示，其中每个图像还包括标签、元数据、分类或识别在各自图像中表示的一种类型对象的其他条信息或与其相关联。各种其他类型的数据也可以用作训练数据，如可以包括文本数据、音频数据、视频数据等等。在至少一个实施例中，将训练数据702作为训练输入提供给训练管理器704。在至少一个实施例中，训练管理器704可以是包括硬件和软件的系统或服务，例如用于训练神经网络(或其他模型或算法等)的执行训练应用程序的一个或更多个计算设备。在至少一个实施例中，训练管理器704接收指示要用于训练的模型类型的指令或请求。在至少一个实施例中，模型可以是可用于这些目的的任何适当的统计模型、网络或算法，如可以包括人工神经网络、深度学习算法、学习分类器、贝叶斯网络等等。在至少一个实施例中，训练管理器704可以从适当的存储库706中选择初始模型或其他未训练的模型，并利用训练数据702来训练模型，生成经训练的模型708(例如，经训练的深度神经网络)，该经训练的模型708可以用来分类类似类型的数据，或生成其他这样的推理。在不使用训练数据的至少一个实施例中，仍然可以选择适当的初始模型来由每训练管理器704在输入数据上进行训练。
在至少一个实施例中，可以以多种不同的方式训练模型，如这可以部分取决于所选的模型的类型。在至少一个实施例中，机器学习算法可以具有一组训练数据，其中模型是由训练过程创建的模型制品。在至少一个实施例中，训练数据的每个实例都包含正确的答案(例如，分类)，其可以被称为目标或目标属性。在至少一个实施例中，学习算法在训练数据中找到将输入数据属性映射到目标的模式、要预测的答案，并且输出捕获这些模式的机器学习模型。在至少一个实施例中，然后可以使用机器学习模型来获得对未针对其指定目标的新数据的预测。
在至少一个实施例中，训练管理器704可以从包括二元分类、多类分类和回归模型的一组机器学习模型中进行选择。在至少一个实施例中，要使用的模型类型可以至少部分地取决于要预测的目标的类型。在至少一个实施例中，用于二元分类问题的机器学习模型预测二元结果，例如两个可能类中的一个。在至少一个实施例中，可以使用诸如逻辑回归之类的学习算法来训练二元分类模型。在至少一个实施例中，用于多类分类问题的机器学习模型允许针对多个类生成预测，例如以预测两个以上结果中的一个。多项式逻辑回归可以用于训练多类模型。用于回归问题的机器学习模型预测一数值。线性回归可以用于训练回归模型。
在至少一个实施例中，为了根据一个实施例训练机器学习模型，训练管理器必须确定输入训练数据源以及其他信息，例如包含要预测的目标的数据属性的名称、所需的数据变换指令和用来控制学习算法的训练参数。在至少一个实施例中，在训练过程中，训练管理器704可以基于在训练数据源中指定的目标的类型自动选择适当的学习算法。在至少一个实施例中，机器学习算法可以接受用于控制训练过程和由此产生的机器学习模型的某些属性的参数。这些在本文中被称为训练参数。在至少一个实施例中，如果没有指定训练参数，则训练管理器可以利用已知的适用于大范围机器学习任务的默认值。可以为其指定值的训练参数的示例包括最大模型大小、在训练数据上的最大传递次数、混洗类型、正则化类型、学习率和正则化量。可以指定默认设置，以及用于调整值以微调性能的选项。
在至少一个实施例中，最大模型大小是在模型训练期间创建的模式的以字节为单位的总大小。在至少一个实施例中，可以默认创建指定大小的模型，例如100MB的模型。如果训练管理器无法确定足够的模式来填充模型大小，则可以创建较小的模型。如果训练管理器发现比将适合指定大小的更多的模式，那么可以通过修剪对所学习的模型的质量影响最小的模式来强制实施最大切断。选择模型大小提供了对模型的预测质量和使用成本之间的权衡的控制。在至少一个实施例中，较小的模型可以使训练管理器移除许多模式以适应最大大小限制，从而影响预测的质量。在至少一个实施例中，较大的模型对于查询实时预测可能成本更高。在至少一个实施例中，较大的输入数据集不一定会导致较大的模型，因为模型存储的是模式，而不是输入数据。在至少一个实施例中，如果模式很少且简单，则产生的模型将很小。具有大量原始属性(输入列)或导出特征(数据变换的输出)的输入数据将可能在训练过程期间发现和存储更多的模式。
在至少一个实施例中，训练管理器704可以在训练数据上进行多次传递或迭代，以尝试发现模式。在至少一个实施例中，可以有默认数目的传递，例如10次传递，而在至少一个实施例中，可以设置多达最大数目的传递，例如多达100次传递。在至少一个实施例中，可能没有最大设置，或者可能存在将触发训练过程的结束的收敛标准或其他因素设置。在至少一个实施例中，训练管理器704可以在训练期间监视模式的质量(例如用于模型收敛)，并且当没有发现更多的数据点或模式时可以自动停止训练。在至少一个实施例中，仅具有少量观察的数据集可能需要更多的在数据上的传递以获得足够高的模型质量。更大的数据集可包含许多类似的数据点，这可以减少对大量传递的需要。选择在数据上的更多数据传递的潜在影响在于，模型训练在资源和系统利用率方面可能花费更长的时间，成本也更高。
在至少一个实施例中，训练数据在训练之前或在训练的传递之间被混洗。在至少一个实施例中，混洗是随机或伪随机混洗，以生成真正的随机排序，尽管可能存在一些就位的约束以确保某些类型的数据没有分组，或者如果存在这种分组，被混洗的数据可以重新混洗，等等。在至少一个实施例中，混洗改变了将数据用于训练的顺序或安排，从而使训练算法不会遇到类似类型的数据的分组，或针对连续进行过多观察的单一类型的数据。在至少一个实施例中，可以训练模型以预测对象。在至少一个实施例中，数据可以在上传之前按对象类型进行分类。在至少一个实施例中，算法然后可以按对象类型按字母顺序处理数据，首先只遇到针对某个对象类型的数据。在至少一个实施例中，模型将开始学习针对该类型的对象的模式。
在至少一个实施例中，模型随后将只遇到针对第二对象类型的数据，并且将尝试调整模型以适合该对象类型，这可以降低适合该第一对象类型的模式。这种从对象类型之间的突然切换可以产生不学习如何准确预测对象类型的模型。在至少一个实施例中，在训练数据集被分离为训练和评估子集之前，可以在至少一个实施例中执行混洗，这样对两个阶段使用相对均匀分布的数据类型。在至少一个实施例中，训练管理器704可以使用例如伪随机混洗技术自动地混洗数据。
在至少一个实施例中，当在至少一个实施例中创建机器学习模型时，训练管理器704可以使用户能够指定设置或应用自定义选项。在至少一个实施例中，用户可以指定一个或更多个评估设置，其指示待保留用于评估机器学习模型的预测质量的输入数据的一部分。在至少一个实施例中，用户可以指定指示哪些属性和属性变换可用于模型训练的策略。在至少一个实施例中，用户还可以指定控制训练过程和所得到的模型的某些属性的各种训练参数。
在至少一个实施例中，一旦训练管理器已经确定模型的训练完成，例如通过使用本文讨论的至少一个结束标准，则经训练的模型708可以被提供以供分类器714在分类(或以其他方式生成推理)验证数据712中使用。在至少一个实施例中，这涉及模型的训练模式和模型的推理模式之间的逻辑转换。然而，在至少一个实施例中，经训练的模型708将首先被传递给评估器710，评估器710可以包括在至少一个计算资源(例如，至少一个服务器的CPU或GPU)上执行的应用程序、过程或服务，用于评估经训练的模型的质量(或另一个这样的方面)。在至少一个实施例中，对模型进行评估，以确定该模型是否将在预测新数据和未来数据上的目标时提供至少最小的可接受的或阈值水平的性能。如果没有，训练管理器704可以继续训练该模型。在至少一个实施例中，由于未来的数据实例通常将具有未知的目标值，因此可以期望在已知目标答案的数据上检查机器学习的准确性度量，并将此评估用作对未来数据的预测准确性的代理。
在至少一个实施例中，使用被提供以用于训练的训练数据702的子集来评估模型。这个子集可以使用上面讨论的混洗和分离方法来确定。在至少一个实施例中，该评估数据子集将用目标进行标记，并且因此可以用作评估的地面实况的来源。采用用于训练的相同数据来评估机器学习模型的预测准确性是没有用的，因为可能会针对记住训练数据的模型生成积极的评估，而不是从中进行概括。在至少一个实施例中，一旦训练完成，则使用经训练的模型708处理评估数据子集，并且评估器710可以通过将地面实况数据与该模型的相应输出(或预测/观察)进行比较来确定该模型的准确性。在至少一个实施例中，至少一个实施例中的评估器710可以提供指示预测值和真实值匹配程度的总结或性能度量。在至少一个实施例中，如果经训练的模型不满足至少最小性能标准或其他这样的准确性阈值，则可以指示训练管理器704执行进一步的训练，或者在某些情况下尝试训练新的或不同的模型。在至少一个实施例中，如果经训练的模型708满足相关标准，则可以提供经训练的模型以供分类器714使用。
在至少一个实施例中，当创建和训练机器学习模型时，在至少一个实施例中可以期望指定模型设置或训练参数，其将导致能够做出准确预测的模型。在至少一个实施例中，参数包括要执行的若干传递(前向和/或反向)、正则化或细化、模型大小和混洗类型。在至少一个实施例中，选择对评估数据产生最佳预测性能的模型参数设置可能导致模型的过拟合。在至少一个实施例中，当模型记住了在训练和评估数据源中发生的模式，但未能概括数据中的模式时，就会发生过拟合。当训练数据包括在评估中使用的所有数据时，经常会发生过拟合。在至少一个实施例中，已经过拟合的模型可能在评估期间表现良好，但可能无法对新数据或其他验证数据做出准确的预测。在至少一个实施例中，为了避免选择过拟合的模型作为最佳模型，训练管理器可以保留额外的数据来验证模型的性能。例如，训练数据集可以划分为60％用于训练，40％用于评估或验证，这可以分为两个或更多个阶段。在至少一个实施例中，在选择对评估数据工作良好的模型参数，导致验证数据的子集收敛，例如该验证数据的一半之后，可以使用该验证数据的其余数据执行第二验证，以确保该模型的性能。如果该模型满足对验证数据的期望，那么该模型就不是过拟合数据。在至少一个实施例中，测试组或保留组可用于测试参数。在至少一个实施例中，使用第二验证或测试步骤有助于选择适当的模型参数，以防止过拟合。然而，从训练过程中保留更多的数据进行验证，使可用于训练的数据更少。这对于较小的数据集可能会有问题，因为可能没有足够的数据可用于训练。在至少一个实施例中，在这种情况下的方法用于执行在本文其他地方讨论的交叉验证。
在至少一个实施例中，有许多度量或见解，其可用于审查和评估给定模型的预测准确性。在至少一个实施例中，评估结果包含用于报告模型的总体成功的预测准确性度量，以及帮助探索预测准确性度量之外的模型准确性的可视化。结果还可以提供审查设置评分阈值的影响的能力，例如进行二元分类，并可以生成关于标准的警报，以检查评估的有效性。度量和可视化的选择可以至少部分取决于正在评估的模型的类型。
在至少一个实施例中，一旦令人满意地训练和评估，经训练的机器学习模型可以用于构建或支持机器学习应用程序。在一个实施例中，构建机器学习应用程序是涉及一系列步骤的迭代过程。在至少一个实施例中，一个或更多个核心机器学习问题可以根据观察什么和模型预测的答案是什么方面来加框架。在至少一个实施例中，数据随后可以通过机器学习模型训练算法进行收集、清理和准备，以使数据适合于消费。可以可视化和分析这些数据，以运行完整性检查，以验证数据的质量和理解数据。它可能是原始数据(例如，输入变量)和答案数据(例如，目标)没有以可以用于训练高度预测模型的方式来表示。因此，可能期望从原始变量中构建更多的预测性输入表示或特征。所得到的特征可以被馈入到学习算法以建立模型，并在从模型构建中保留的数据上评估模型的质量。然后，模型可以用于为新的数据实例生成目标答案的预测。
在至少一个实施例中，在图7的系统700中，评估后的经训练的模型710被提供给分类器714或使得分类器714可用，分类器714能够使用经训练的模型来处理验证数据。在至少一个实施例中，这可以包括，例如从未分类的用户或第三方接收数据，例如正在寻找关于这些图像中所表示的内容的信息的查询图像。在至少一个实施例中，验证数据可以使用经训练的模型由分类器处理，并且产生的结果716(例如分类或预测)可以被发送回各自的源或以其他方式进行处理或存储。在至少一个实施例中，在允许这种使用的情况下，这些现在分类的数据实例可以存储到训练数据存储库中，该存储库可以用于由训练管理器对经训练的模型708的进一步训练。在至少一个实施例中，模型将随着新数据可用而持续训练，但在至少一个实施例中，这些模型将定期地重新训练，例如一天或一周一次，这取决于例如数据集的大小或模型的复杂性之类的因素。
在至少一个实施例中，分类器714可以包括用于使用经训练的模型来处理验证数据712的适当的硬件和软件。在至少一个实施例中，分类器将包括一个或更多个计算机服务器，每个计算机服务器具有能够处理数据的一个或更多个图形处理单元(GPU)。在至少一个实施例中，GPU的配置和设计可以使它们比CPU或其他这些组件更期望用于处理机器学习数据。在至少一个实施例中，可以将至少一个实施例中的经训练的模型加载到GPU存储器中，并将接收的数据实例提供给GPU进行处理。GPU可以比CPU有更多的核心，而GPU核心也可以不那么复杂。在至少一个实施例中，给定的GPU可能够通过不同的硬件线程同时处理数千个数据实例。在至少一个实施例中，GPU还可以被配置为最大化浮点吞吐量，这可以为大数据集提供显著的附加处理优势。
在至少一个实施例中，即使当使用GPU、加速器和其他此类硬件来加速诸如训练模型或使用该模型分类数据之类的任务时，此类任务仍然可能需要大量的时间、资源分配和成本。在至少一个实施例中，如果使用700次传递来训练机器学习模型，并且数据集包括要用于训练的1,000,000个数据实例，则每一次传递都需要处理所有百万个实例。不同类型的设备也可以支持架构的不同部分。在至少一个实施例中，训练可以使用可以作为服务提供的逻辑中心位置处的一组服务器来执行，而原始数据的分类可以通过该服务或在客户端设备上，在其他这些选项中执行。这些设备也可以由同一实体或多个实体拥有、操作或控制。
在至少一个实施例中，图8中所示的示例性神经网络800可以在至少一个实施例中被训练或以其他方式使用。在至少一个实施例中，统计模型是人工神经网络(ANN)，所述人工神经网络包括节点的多个层，包括输入层802、输出层806和中间节点的多个层804，通常称为“隐藏”层，因为内部层和节点在神经网络中通常是不可见或不可访问的。在至少一个实施例中，尽管为了解释的目的仅示出了少数中间层，但应该理解，对可以利用的中间层的数量没有限制，对层的任何限制通常是使用模型处理所需的资源或时间的因素。在至少一个实施例中，还可以使用附加类型的模型、网络、算法或过程，如可包括节点和层的其他数目或选择以及其他这些选项。在至少一个实施例中，验证数据可以由网络层处理以生成一组推理或推理分数，然后将其馈入给损失函数808。
在至少一个实施例中，给定层的所有节点相互连接到相邻层的所有节点。在至少一个实施例中，然后中间层的节点的每一个将连接到两个相邻层的节点。在至少一个实施例中，节点在某些模型中也被称为神经元或连接的单元，并且节点之间的连接被称为边。每个节点都可以对接收的输入执行函数，例如通过使用指定的函数。在至少一个实施例中，节点和边可以在训练期间获得不同的权重，并且节点的各个层可以对接收的输入执行特定类型的变换，其中这些变换也可以在训练期间被学习或调整。在至少一个实施例中，学习可以是监督学习或无监督学习，这可以至少部分取决于包含在训练数据集中的信息类型。在至少一个实施例中，可以利用各种类型的神经网络，如可以包括卷积神经网络(CNN)，所述卷积神经网络包括多个卷积层和一组池化层，并且已被证明有益于诸如图像识别之类的应用程序。CNN也可以比其他网络更容易训练，因为要确定的参数数量相对较少。
在至少一个实施例中，可以使用各种调节参数来训练这种复杂的机器学习模型。选择参数、拟合模型和评估模型是模型调节过程的各部分，通常被称为超参数优化。这种调节可以涉及在至少一个实施例中反思(introspect)底层模型或数据。在训练或生产设置中，鲁棒的工作流程对于避免超参数的过拟合非常重要，如本文在别处所讨论的。交叉验证和向训练数据集添加高斯噪声是避免对任何一个数据集过拟合可以有用的技术。对于超参数优化，可能期望保持训练集和验证集是固定的。在至少一个实施例中，在某些类别中超参数可以进行调节，如可包括数据预处理(例如将单词转换为向量)、CNN架构定义(例如，过滤器大小、过滤器数量)、随机梯度下降(SGD)参数(例如，学习率)和正则化或细化(例如，丢弃概率)，以及其他这些选项。
在至少一个实施例中，数据集的实例可以在预处理期间被嵌入到某大小的较低维空间中。在至少一个实施例中，该空间的大小是要调节的参数。在至少一个实施例中，CNN的架构包含许多可调节参数。过滤器大小的参数可以表示对与将被分析的实例的大小相对应的信息的解释。在计算语言学中，这被称为n元(n-gram)大小。示例CNN使用了三种不同的过滤器大小，它们潜在地代表不同的n-gram大小。每过滤器大小的过滤器数量可以对应于过滤器的深度。每个过滤器都尝试从实例的结构中学习一些不同的东西，例如文本数据的句子结构。在卷积层中，激活函数可以是校正线性单元，并且池化类型设置为最大池化。然后，结果可以串接成单维向量，而最后一层完全连接到二维输出。这对应于可以对其应用优化函数的二元分类。一个这种函数是梯度下降的均方根(RMS)传播方法的实现，其中示例超参数可以包括学习率、批大小、最大法向梯度和时期(epoch)。采用神经网络，正则化可以是一个非常重要的考虑因素。在至少一个实施例中，输入数据可以是相对稀疏的。在这种情况下，主要的超参数可以是倒数第二层的丢弃，其代表在每个训练周期中不会“触发”的节点的比例。示例训练过程可以基于以前配置的性能的反馈来建议不同的超参数配置。该模型可以用建议的配置进行训练，在指定的验证集上进行评估，以及性能报告。该过程可以重复进行，例如，以权衡探索(学习更多关于不同的配置)和利用(利用以前的知识来获得更好的结果)。
由于训练CNN可以并行化并且可以利用启用GPU的计算资源，因此可以针对不同的场景尝试多个优化策略。复杂的场景允许调节模型架构以及预处理和随机梯度下降参数。这扩展了模型配置空间。在基本场景中，只有预处理和随机梯度下降参数被调节。在复杂场景中可以比在基本场景中有更大数目的配置参数。在联合空间中调节可以使用线性数目或指数数目的步骤执行，通过模型的优化循环进行迭代。这种调节过程的成本可以大大低于诸如随机搜索和网格搜索之类的调节过程，而不会造成任何显著的性能损失。
在至少一个实施例中，可以利用反向传播来计算用于确定神经网络的权重的梯度。反向传播是一种形式的微分，并且如上所述可以由梯度下降优化算法使用以调整应用于各个节点或神经元的权重。权重可以使用相关损失函数的梯度来确定。反向传播可以利用关于由统计模型生成的输出的损失函数的导数。如前所述，各种节点可以具有相关联的激活函数，所述激活函数定义各自节点的输出。可以适当使用各种激活函数，如可以包括径向基函数(RBF)和sigmoid，其可以由各种支持向量机(SVM)使用以进行数据变换。中间节点层的激活函数在本文中称为内积内核。这些函数可以包括，例如，恒等函数、步进函数、s型函数、斜坡函数等等。激活函数也可以是线性的或非线性的，以及其他这样的选项。
在至少一个实施例中，使用训练数据集来训练未经训练的神经网络。在至少一个实施例中，训练框架是PyTorch框架，TensorFlow，Boost，Caffe，Microsoft CognitiveToolkit/CNTK，MXNet，Chainer，Keras，Deeplearning4j或其他训练框架。在至少一个实施例中，训练框架训练未经训练的神经网络，并使它能够使用本文所述的处理资源来训练，以生成经训练的神经网络。在至少一个实施例中，权重可以被随机选择或通过使用深度信念网络预训练进行选择。在至少一个实施例中，可以以有监督、部分有监督或无监督的方式执行训练。
在至少一个实施例中，使用有监督学习来训练未经训练的神经网络，其中训练数据集包括与用于输入的期望输出配对的输入，或者其中训练数据集包括具有已知输出的输入，神经网络的输出是手动分级的。在至少一个实施例中，以有监督的方式来训练未经训练的神经网络，并且处理来自训练数据集的输入，并将结果输出与一组期望或想要的输出进行比较。在至少一个实施例中，然后通过未经训练的神经网络将误差传播回去。在至少一个实施例中，训练框架调整控制未经训练的神经网络的权重。在至少一个实施例中，训练框架包括用于监视未经训练的神经网络向模型(例如，经训练的神经网络)收敛的程度的工具，该模型适于基于已知输入数据(例如新数据)生成正确答案(例如结果)。在至少一个实施例中，训练框架反复训练未经训练的神经网络，同时调整权重以使用损失函数和调整算法(例如随机梯度下降)来改善未经训练的神经网络的输出。在至少一个实施例中，训练框架训练未经训练的神经网络，直到未经训练的神经网络达到期望的准确度为止。在至少一个实施例中，然后可以部署经训练的神经网络以实现任何数量的机器学习操作。
在至少一个实施例中，使用无监督学习来训练未经训练的神经网络，其中未经训练的神经网络尝试使用未标记的数据来训练自己。在至少一个实施例中，无监督学习训练数据集将包括输入数据，而没有任何关联的输出数据或“地面实况”数据。在至少一个实施例中，未经训练的神经网络可以学习训练数据集内的分组，并且可以确定各个输入如何与未经训练的数据集相关。在至少一个实施例中，可以使用无监督训练来生成自组织图，这是一种类型的经训练的神经网络，其能够执行对减少新数据的维度有用的操作。在至少一个实施例中，无监督训练也可以用于执行异常检测，这允许识别新数据集中偏离新数据集的正常模式的数据点。
在至少一个实施例中，可以使用半监督学习，这是一种技术，其中在训练数据集中包括标记数据和未标记数据的混合。在至少一个实施例中，训练框架可以用于例如通过迁移学习技术来执行递增学习。在至少一个实施例中，递增学习使得经训练的神经网络能够适应新数据，而不会忘记在初始训练期间注入到网络内的知识。
推理和训练逻辑
图9示出了用于执行与一个或更多个实施例相关联的推理和/或训练操作的推理和/或训练逻辑915。关于推理和/或训练逻辑915的细节在下文结合图9和/或图10一起提供。
在至少一个实施例中，推理和/或训练逻辑915可包括但不限于代码和/或数据存储901，用于存储前向和/或输出权重和/或输入/输出数据，和/或用于配置在一个或更多个实施例的各方面中被训练和/或使用以进行推理的神经网络的神经元或层的其他参数。在至少一个实施例中，训练逻辑915可以包括或耦合到代码和/或数据存储901，其用于存储图代码或其他软件以控制要加载权重和/或其他参数信息以配置逻辑的定时和/或顺序，所述逻辑包括整数和/或浮点单元(统称为算术逻辑单元(ALU)。在至少一个实施例中，代码(例如图代码)基于该代码对应的神经网络架构将权重或其他参数信息加载到处理器ALU中。在至少一个实施例中，在使用一个或更多个实施例的方面训练和/推理期间在输入/输出数据和/或权重参数的前向传播期间，代码和/或数据存储901存储与一个或更多个实施例结合使用的或训练的神经网络的每层的权重参数和/或输入/输出数据。在至少一个实施例中，代码和/或数据存储901的任何部分可以包括在其他片上或片外数据存储中，所述数据存储包括处理器的L1、L2或L3高速缓存或系统存储器。
在至少一个实施例中，代码和/或数据存储901的任何部分可以在一个或更多个处理器或其他硬件逻辑设备或电路的内部或外部。在至少一个实施例中，代码和/或代码和/或数据存储901可以是高速缓存存储器、动态随机可寻址存储器(“DRAM”)、静态随机可寻址存储器(“SRAM”)、非易失性存储器(例如，闪存存储器)或其他存储器。在至少一个实施例中，选择代码和/或代码和/或数据存储901是在处理器的内部还是外部，例如，或由DRAM、SRAM、闪存或某些其他存储类型组成，可取决于可用的片上与片外存储、正在执行的训练和/或推理函数的延迟要求、用于推理和/或训练神经网络的数据的批大小，或这些因素的某种组合。
在至少一个实施例中，推理和/或训练逻辑915可包括但不限于代码和/或数据存储905，用于存储反向和/或输出权重和/或对应于一个或更多个实施例的方面中被训练和/或使用以进行推理的神经网络的神经元或层的输入/输出数据。在至少一个实施例中，在使用一个或更多个实施例的方面训练和/推理期间在输入/输出数据和/或权重参数的反向传播期间，代码和/或数据存储905存储与一个或更多个实施例结合使用的或训练的神经网络的每层的权重参数和/或输入/输出数据。在至少一个实施例中，训练逻辑915可以包括或耦合到代码和/或数据存储905，其用于存储图代码或其他软件以控制要加载权重和/或其他参数信息以配置逻辑的时间和/或顺序，所述逻辑包括整数和/或浮点单元(统称为算术逻辑单元(ALU)。在至少一个实施例中，代码(例如图代码)基于该代码对应的神经网络的架构将权重或其他参数信息加载到处理器ALU中。在至少一个实施例中，代码和/或数据存储905的任何部分可以包括在其他片上或片外数据存储中，所述数据存储包括处理器的L1、L2或L3高速缓存或系统存储器。在至少一个实施例中，代码和/或数据存储905的任何部分可以是在一个或更多个处理器或其他硬件逻辑设备或电路的内部或外部。在至少一个实施例中，代码和/或数据存储905可以是高速缓存存储器、DRAM、SRAM、非易失性存储器(例如，闪存存储器)或其他存储器。在至少一个实施例中，选择代码和/或数据存储905是在处理器的内部还是外部，例如，或由DRAM、SRAM、Flash或某些其他存储类型组成，可取决于片上与片外的可用存储、正在执行的训练和/或推理函数的延迟要求、用于推理和/或训练神经网络的数据的批大小，或这些因素的某种组合。
在至少一个实施例中，代码和/或数据存储901和代码和/或数据存储905可以是单独的存储结构。在至少一个实施例中，代码和/或数据存储901和代码和/或数据存储905可以是相同的存储结构。在至少一个实施例中，代码和/或数据存储901和代码和/或数据存储905可以是部分相同的存储结构和部分分离的存储结构。在至少一个实施例中，代码和/或数据存储901和代码和/或数据存储905的任何部分可以包括在其他片上或片外数据存储中，所述数据存储包括处理器的L1、L2或L3高速缓存或系统存储。
在至少一个实施例中，推理和/或训练逻辑1015可以包括但不限于一个或更多个算术逻辑单元(“ALU”)1010，包括整数和/或浮点单元，用于至少部分地基于训练和/或推理代码(例如图代码)或由其指示的执行逻辑和/或数学运算，其结果可产生存储在激活存储1020中的激活(例如来自神经网络内的层或神经元的输出值)，所述激活存储1020是存储在代码和/或数据存储1001和/或代码和/或数据存储1005中的输入/输出和/或权重参数数据的函数。在至少一个实施例中，根据响应于执行指令或其他代码的由一个或更多个ALU1010执行的线性代数和或基于矩阵数学生成存储在激活存储1020中的激活，其中存储在代码和/或数据存储1005和/或代码和/或数据存储1001中的权重值与其他值一起用作操作数，例如偏差值、梯度信息、动量值或其他参数或超参数，其中任何或全部可以存储在代码和/或数据存储1005或代码和/或数据存储1001或片上或片外的另一个存储器中。
在至少一个实施例中，一个或更多个ALU 1010包括在一个或更多个处理器或其他硬件逻辑设备或电路中，而在另一个实施例中，一个或更多个ALU 1010可以是在处理器或使用它们的其他硬件逻辑设备或电路(例如，协处理器)的外部。在至少一个实施例中，ALU1010可以包括在处理器的执行单元中或以其他方式包括在处理器的执行单元可访问的ALU库中，所述处理器的执行单元在同一处理器内或分布在不同类型的不同处理器之间(例如，中央处理单元、图形处理单元、固定功能单元等)。在至少一个实施例中，代码和/或数据存储1001、代码和/或数据存储1005和激活存储1020可以在同一处理器或其他硬件逻辑设备或电路上，而在另一个实施例中，它们可以在不同处理器或其他硬件逻辑设备或电路中，或相同和不同处理器或其他硬件逻辑设备或电路的某种组合中。在至少一个实施例中，激活存储1020的任何部分可以包括与其他片上或片外数据存储一起被包括，包括处理器的L1、L2或L3高速缓存或系统存储器。此外，推理和/或训练代码可以与处理器或其他硬件逻辑或电路可访问的其他代码一起存储，并使用处理器的获取、解码、调度、执行、退役和/或其他逻辑电路来获取和/或处理。
在至少一个实施例中，激活存储1020可以是高速缓存存储器、DRAM、SRAM、非易失性存储器(例如，闪存存储器)或其他存储器。在至少一个实施例中，激活存储1020可以完全或部分地位于一个或更多个处理器或其他逻辑电路的内部或外部。在至少一个实施例中，选择激活存储1020是在处理器的内部还是外部，或由DRAM、SRAM、闪存或其他存储类型组成，可取决于片上与片外的可用存储、正在执行的训练和/或推理函数的延迟要求、用于推理和/或训练神经网络的数据的批大小，或这些因素的某种组合。在至少一个实施例中，图9中所示的推理和/或训练逻辑1015可以与特定于应用的集成电路(“ASIC”)一起使用，例如来自谷歌的
处理单元，来自GraphcoreTM的推理处理单元(IPU)，或来自英特尔公司的
(例如，“Lake Crest”)处理器。在至少一个实施例中，图9中所示的推理和/或训练逻辑1015可与中央处理单元(“CPU”)硬件、图形处理单元(“GPU”)硬件或其他硬件(诸如现场可编程门阵列(“FPGA”))一起使用。
图10示出了根据至少一个或更多个实施例的推理和/或训练逻辑1015。在至少一个实施例中，推理和/或训练逻辑1015可以包括但不限于硬件逻辑，其中计算资源专用或以其他方式排他地与神经网络中一层或更多层神经元对应的权重值或其他信息一起使用。在至少一个实施例中，图10中所示的推理和/或训练逻辑1015可以与特定于应用的集成电路(ASIC)一起使用，例如来自谷歌的
处理单元，来自GraphcoreTM的推理处理单元(IPU)，或来自英特尔公司的
(例如，“Lake Crest”)处理器。在至少一个实施例中，图10中所示的推理和/或训练逻辑1015可与中央处理单元(CPU)硬件、图形处理单元(GPU)硬件或其他硬件(诸如现场可编程门阵列(FPGA))一起使用。在至少一个实施例中，推理和/或训练逻辑1015包括但不限于代码和/或数据存储1001和代码和/或数据存储1005，它们可用于存储代码(例如，图代码)、权重值和/或其他信息，包括偏差值、梯度信息、动量值和/或其他参数或超参数信息。在图10所示的至少一个实施例中，代码和/或数据存储1001和代码和/或数据存储1005中的每一个分别与专用的计算资源(诸如计算硬件1002和计算硬件1006)相关联。在至少一个实施例中，计算硬件1002和计算硬件1006中的每一个包括一个或更多个ALU，所述ALU仅在分别存储在代码和/或数据存储1001和代码和/或数据存储1005中的信息上执行数学函数，例如线性代数函数，其结果存储在激活存储1020中。
在至少一个实施例中，代码和/或数据存储1001和1005中的每一个以及对应的计算硬件1002和1006分别对应于神经网络的不同层，使得从代码和/或数据存储1001和计算硬件1002的一个“存储/计算对1001/1002”产生的激活作为输入提供给代码和/或数据存储1005和计算硬件1006的“存储/计算对1005/1006”，以反映神经网络的概念组织。在至少一个实施例中，存储/计算对1001/1002和1005/1006中的每一个可以对应于一个以上的神经网络层。在至少一个实施例中，在存储计算对1001/1002和1005/1006之后或与其并行的附加存储/计算对(未示出)可以包括在推理和/或训练逻辑1015中。
数据中心
图11示出了可以使用至少一个实施例的示例数据中心1100。在至少一个实施例中，数据中心1100包括数据中心基础设施层1110、框架层1120、软件层1130和应用程序层1140。
在至少一个实施例中，如图11所示，数据中心基础设施层1110可以包括资源协调器1112、分组计算资源1114和节点计算资源(“节点C.R.”)1116(1)-1116(N)，其中“N”表示正整数。在至少一个实施例中，节点C.R.1116(1)-1116(N)可以包括但不限于任何数量的中央处理单元(“CPU”)或其他处理器(包括加速器、现场可编程门阵列(FPGA)、图形处理器等)，存储器设备(例如动态只读存储器)存储设备(例如固态硬盘或磁盘驱动器)，网络输入/输出(“NW I/O”)设备，网络交换机，虚拟机(“VM”)，电源模块和冷却模块等。在至少一个实施例中，节点C.R.1116(1)-1116(N)中的一个或更多个节点C.R.可以是具有一个或更多个上述计算资源的服务器。
在至少一个实施例中，分组计算资源1114可以包括容纳在一个或更多个机架内的节点C.R.的单独分组(未示出)，或者容纳在各个地理位置的数据中心内的许多机架(也未示出)。分组的计算资源1114内的节点C.R.的单独分组可以包括可以被配置或分配为支持一个或更多个工作负载的分组的计算、网络、存储器或存储资源。在至少一个实施例中，可以将包括CPU或处理器的几个节点C.R.分组在一个或更多个机架内，以提供计算资源来支持一个或更多个工作负载。在至少一个实施例中，一个或更多个机架还可以包括任何数量的电源模块、冷却模块和网络交换机，以任意组合。
在至少一个实施例中，资源协调器1112可以配置或以其他方式控制一个或更多个节点C.R.1116(1)-1116(N)和/或分组的计算资源1114。在至少一个实施例中，资源协调器1112可以包括用于数据中心1100的软件设计基础结构(“SDI”)管理实体。在至少一个实施例中，资源协调器可以包括硬件、软件或其某种组合。
在至少一个实施例中，如图11所示，框架层1120包括作业调度器1122、配置管理器1124、资源管理器1126和分布式文件系统1128。在至少一个实施例中，框架层1120可以包括支持软件层1130的软件1132和/或应用程序层1140的一个或更多个应用程序1142的框架。在至少一个实施例中，软件1132或应用程序1142可以分别包括基于Web的服务软件或应用程序，例如由Amazon Web Services，Google Cloud和Microsoft Azure提供的服务或应用程序。在至少一个实施例中，框架层1120可以是但不限于一种免费和开放源软件网络应用程序框架，例如可以利用分布式文件系统1128来进行大范围数据处理(例如“大数据”)的Apache SparkTM(以下称为“Spark”)。在至少一个实施例中，作业调度器1132可以包括Spark驱动器，以促进对数据中心1100的各个层所支持的工作负载进行调度。在至少一个实施例中，配置管理器1124可以能够配置不同的层，例如软件层1130和包括Spark和用于支持大规模数据处理的分布式文件系统1128的框架层1120。在至少一个实施例中，资源管理器1126能够管理映射到或分配用于支持分布式文件系统1128和作业调度器1122的集群或分组计算资源。在至少一个实施例中，集群或分组计算资源可以包括数据中心基础设施层1110上的分组计算资源1114。在至少一个实施例中，资源管理器1126可以与资源协调器1112协调以管理这些映射的或分配的计算资源。
在至少一个实施例中，包括在软件层1130中的软件1132可以包括由节点C.R.1116(1)-1116(N)的至少一部分，分组的计算资源1114和/或框架层1120的分布式文件系统1128使用的软件。一个或更多个类型的软件可以包括但不限于Internet网页搜索软件、电子邮件病毒扫描软件、数据库软件和流视频内容软件。
在至少一个实施例中，应用程序层1140中包括的一个或更多个应用程序1142可以包括由节点C.R.1116(1)-1116(N)的至少一部分、分组计算资源1114和/或框架层1120的分布式文件系统1128使用的一个或更多个类型的应用程序。一个或更多个类型的应用程序可以包括但不限于任何数量的基因组学应用程序、认知计算和机器学习应用程序，包括训练或推理软件，机器学习框架软件(例如PyTorch、TensorFlow、Caffe等)或其他与一个或更多个实施例结合使用的机器学习应用程序。
在至少一个实施例中，配置管理器1124、资源管理器1126和资源协调器1112中的任何一个可以基于以任何技术上可行的方式获取的任何数量和类型的数据来实现任何数量和类型的自我修改动作。在至少一个实施例中，自我修改动作可以减轻数据中心1100的数据中心操作员做出可能不好的配置决定并且可以避免数据中心的未充分利用和/或执行差的部分。
在至少一个实施例中，数据中心1100可以包括工具、服务、软件或其他资源，以根据本文所述的一个或更多个实施例来训练一个或更多个机器学习模型或者使用一个或更多个机器学习模型来预测或推理信息。例如，在至少一个实施例中，可以通过使用上文关于数据中心1100描述的软件和计算资源，根据神经网络架构通过计算权重参数来训练机器学习模型。在至少一个实施例中，通过使用通过本文所述的一个或更多个训练技术计算出的权重参数，可以使用上面与关于数据中心1100所描述的资源，使用对应于一个或更多个神经网络的经训练的机器学习模型来推理或预测信息。
在至少一个实施例中，数据中心可以使用CPU、专用集成电路(ASIC)、GPU、FPGA或其他硬件来使用上述资源来执行训练和/或推理。此外，上述的一个或更多个软件和/或硬件资源可以配置成一种服务，以允许用户训练或执行信息推理，例如图像识别、语音识别或其他人工智能服务。
推理和/或训练逻辑1015用于执行与一个或更多个实施例相关联的推理和/或训练操作。本文结合图9和/或图10提供关于推理和/或训练逻辑1015的细节。在至少一个实施例中，推理和/或训练逻辑1015可以在系统图11中使用，用于至少部分地基于使用神经网络训练操作、神经网络函数和/或体系架构，或者本文所述的神经网络用例计算的权重参数推理或预测操作。在至少一个实施例中，推理和/或训练逻辑1015可用于从极值点生成分割。
计算机系统
图12A是示出根据至少一个实施例示例性计算机系统的框图，该示例性计算机系统可以是具有互连的设备和组件的系统，片上系统(SOC)或它们的某种形成有处理器的组合，该处理器可以包括执行单元以执行指令。在至少一个实施例中，根据本公开，例如本文所述的实施例，计算机系统1200可以包括但不限于组件，例如处理器1202，其执行单元包括逻辑以执行用于过程数据的算法。在至少一个实施例中，计算机系统1200可以包括处理器，例如可从加利福尼亚圣塔克拉拉的英特尔公司(Intel Corporation of Santa Clara,California)获得的
处理器家族、XeonTM、
XScaleTM和/或StrongARMTM，
CoreTM或
NervanaTM微处理器，尽管也可以使用其他系统(包括具有其他微处理器的PC、工程工作站、机顶盒等)。在至少一个实施例中，计算机系统1200可以执行可从华盛顿州雷蒙德市的微软公司(Microsoft Corporation of Redmond,Wash.)获得的WINDOWS操作系统版本，尽管其他操作系统(例如UNIX和Linux)、嵌入式软件和/或图形用户界面也可以使用。
实施例可以用在其他设备中，例如手持设备和嵌入式应用程序。手持设备的一些示例包括蜂窝电话、互联网协议(Internet Protocol)设备、数码相机、个人数字助理(“PDA”)和手持PC。在至少一个实施例中，嵌入式应用程序可以包括微控制器、数字信号处理器(“DSP”)、片上系统、网络计算机(“NetPC”)、机顶盒、网络集线器、广域网(“WAN”)交换机，或根据至少一个实施例可以执行一个或更多个指令的任何其他系统。
在至少一个实施例中，计算机系统1200可包括但不限于处理器1202，该处理器1202可包括但不限于一个或更多个执行单元1208，以根据本文描述的技术执行机器学习模型训练和/或推理。在至少一个实施例中，计算机系统1200是单处理器台式机或服务器系统，但是在另一个实施例中，计算机系统1200可以是多处理器系统。在至少一个实施例中，处理器1202可以包括但不限于复杂指令集计算机(“CISC”)微处理器、精简指令集计算(“RISC”)微处理器、超长指令字(“VLIW”)微处理器、实现指令集组合的处理器，或任何其他处理器设备，例如数字信号处理器。在至少一个实施例中，处理器1202可以耦合到处理器总线1210，该处理器总线1210可以在处理器1202与计算机系统1200中的其他组件之间传输数据信号。
在至少一个实施例中，处理器1202可以包括但不限于1级(“L1”)内部高速缓存存储器(“cache”)1204。在至少一个实施例中，处理器1202可以具有单个内部高速缓存或多级内部缓存。在至少一个实施例中，高速缓存存储器可以驻留在处理器1202的外部。根据特定的实现和需求，其他实施例也可以包括内部和外部高速缓存的组合。在至少一个实施例中，寄存器文件1206可以在各种寄存器中存储不同类型的数据，包括但不限于整数寄存器、浮点寄存器、状态寄存器和指令指针寄存器。
在至少一个实施例中，包括但不限于执行整数和浮点运算的逻辑的执行单元1208，其也位于处理器1202中。在至少一个实施例中，处理器1202还可以包括微码(“ucode”)只读存储器(“ROM”)，用于存储某些宏指令的微代码。在至少一个实施例中，执行单元1208可以包括用于处理封装指令集1209的逻辑。在至少一个实施例中，通过将封装指令集1209包括在通用处理器的指令集中，以及要执行指令的相关电路，可以使用通用处理器1202中的封装数据来执行许多多媒体应用程序使用的操作。在一个或更多个实施例中，可以通过使用处理器的数据总线的全宽度来在封装的数据上执行操作来加速和更有效地执行许多多媒体应用程序，这可能不需要在该处理器的数据总线上传输较小的数据单元来一次执行一个数据元素的一个或更多个操作。
在至少一个实施例中，执行单元1208也可以用在微控制器、嵌入式处理器、图形设备、DSP和其他类型的逻辑电路中。在至少一个实施例中，计算机系统1200可以包括但不限于存储器1220。在至少一个实施例中，存储器1220可以实现为动态随机存取存储器(“DRAM”)设备、静态随机存取存储器(“SRAM”)设备、闪存设备或另一个存储设备。在至少一个实施例中，存储器1220可以存储由处理器1202可以执行的由数据信号表示的指令1219和/或数据1221。
在至少一个实施例中，系统逻辑芯片可以耦合到处理器总线1210和存储器1220。在至少一个实施例中，系统逻辑芯片可以包括但不限于存储器控制器集线器(“MCH”)1216，并且处理器1202可以经由处理器总线1210与MCH 1216通信。在至少一个实施例中，MCH1216可以提供到存储器1220的高带宽存储器路径1218以用于指令和数据存储以及用于图形命令、数据和纹理的存储。在至少一个实施例中，MCH 1216可以在处理器1202、存储器1220和计算机系统1200中的其他组件之间启动数据信号，并且在处理器总线1210、存储器1220和系统I/O 1222之间桥接数据信号。在至少一个实施例中，系统逻辑芯片可以提供用于耦合到图形控制器的图形端口。在至少一个实施例中，MCH 1216可以通过高带宽存储器路径1218耦合到存储器1220，并且图形/视频卡1212可以通过加速图形端口(AcceleratedGraphics Port)(“AGP”)互连1214耦合到MCH 1216。
在至少一个实施例中，计算机系统1200可以使用系统I/O 1222作为专有集线器接口总线来将MCH 1216耦合到I/O控制器集线器(“ICH”)1230。在至少一个实施例中，ICH1230可以通过本地I/O总线提供与某些I/O设备的直接连接。在至少一个实施例中，本地I/O总线可以包括但不限于用于将外围设备连接到存储器1220、芯片组和处理器1202的高速I/O总线。示例可以包括但不限于音频控制器1229、固件集线器(“Flash BIOS”)1228、无线收发器1226、数据存储1224、包含用户输入和键盘接口的传统I/O控制器1223、串行扩展端口1227，例如通用串行总线(USB)，和网络控制器1234。数据存储1224可以包括硬盘驱动器、软盘驱动器、CD-ROM设备、闪存设备或其他大容量存储设备。
在至少一个实施例中，图12A示出了包括互连的硬件设备或“芯片”的系统，而在其他实施例中，图12A可以说明示例性片上系统(“SoC”)。在至少一个实施例中，如图cc所示的设备可以与专有互连、标准化互连(例如，PCIe)或其某种组合互连。在至少一个实施例中，计算机系统1200的一个或更多个组件使用计算快速链路(CXL)互连来互连。
推理和/或训练逻辑1015用于执行与一个或更多个实施例相关的推理和/或训练操作。本文结合图9和/或图10提供关于推理和/或训练逻辑1015的细节。在至少一个实施例中，推理和/或训练逻辑1015可以在图12A的系统中使用，用于至少部分地基于使用神经网络训练操作、神经网络函数和/或架构或本文所述的神经网络用例计算的权重参数来推理或预测操作。在至少一个实施例中，推理和/或训练逻辑1015可用于从极值点生成分割。
图13是示出根据至少一个实施例的用于利用处理器1310的电子设备1300的框图。在至少一个实施例中，电子设备1300可以是例如但不限于，笔记本电脑、塔式服务器、机架服务器、刀片服务器、膝上型计算机、台式机、平板电脑、移动设备、电话、嵌入式计算机或任何其他合适的电子设备。
在至少一个实施例中，系统1300可以包括但不限于通信地耦合到任何合适数量或种类的组件、外围设备、模块或设备的处理器1310。在至少一个实施例中，处理器1310使用总线或接口耦合，诸如1℃总线、系统管理总线(“SMBus”)、低引脚计数(LPC)总线、串行外围接口(“SPI”)、高清音频(“HDA”)总线、串行高级技术附件(“SATA”)总线、通用串行总线(“USB”)(1、2、3版)或通用异步接收器/发送器(“UART”)总线。在至少一个实施例中，图13示出了系统，该系统包括互连的硬件设备或“芯片”，而在其他实施例中，图13可以示出示例性片上系统(“SoC”)。在至少一个实施例中，图13中所示的设备可以与专有互连线、标准化互连(例如，PCIe)或其某种组合互连。在至少一个实施例中，图13的一个或更多个组件使用计算快速链路(CXL)互连线来互连。
在至少一个实施例中，图13可以包括显示器1324、触摸屏1325、触摸板1330、近场通信单元(“NFC”)1345、传感器集线器1340、热传感器1346、快速芯片组(“EC”)1335、可信平台模块(“TPM”)1338、BIOS/固件/闪存(“BIOS，FW Flash”)1322、DSP1360、驱动器1320(例如固态磁盘(“SSD”)或硬盘驱动器(“HDD”))、无线局域网单元(“WLAN”)1350、蓝牙单元1352、无线广域网单元(“WWAN”)1356、全球定位系统(GPS)1355、相机(“USB 3.0相机”)1354(例如USB 3.0相机)和/或以例如LPDDR3标准实现的低功耗双倍数据速率(“LPDDR”)存储器单元(“LPDDR3”)1315。这些组件可以各自以任何合适的方式实现。
在至少一个实施例中，其他组件可以通过上文所述的组件通信地耦合到处理器1310。在至少一个实施例中，加速度计1341、环境光传感器(“ALS”)1342、罗盘1343和陀螺仪1344可以可通信地耦合到传感器集线器1340。在至少一个实施例中，热传感器1339、风扇1337、键盘1336和触摸板1330可以通信地耦合到EC 1335。在至少一个实施例中，扬声器1363、耳机1364和麦克风(“mic”)1365可以通信地耦合到音频单元(“音频编解码器和d类放大器”)1362，其又可以通信地耦合到DSP 1360。在至少一个实施例中，音频单元1362可以包括例如但不限于音频编码器/解码器(“编解码器”)和d类放大器。在至少一个实施例中，SIM卡(“SIM”)1357可以通信地耦合到WWAN单元1356。在至少一个实施例中，组件(诸如WLAN单元1350和蓝牙单元1352以及WWAN单元1356)可以被实现为下一代形式因素(“NGFF”)。
推理和/或训练逻辑1015用于执行与一个或更多个实施例相关联的推理和/或训练操作。下文结合图9和/或图10提供关于推理和/或训练逻辑1015的细节。在至少一个实施例中，推理和/或训练逻辑1015可以在系统图13中使用，用于至少部分地基于使用神经网络训练操作、神经网络函数和/或架构或本文所述的神经网络用例计算的权重参数来推理或预测操作。在至少一个实施例中，推理和/或训练逻辑1015可用于从极值点生成分割。
图14示出了根据至少一个实施例的计算机系统1400。在至少一个实施例中，计算机系统1400配置为实现贯穿本公开描述的各种过程和方法。
在至少一个实施例中，计算机系统1400包括但不限于至少一个中央处理单元(“CPU”)1402，该中央处理单元(“CPU”)1402连接到使用任何合适协议实现的通信总线1410，诸如PCI(“外围设备互联”)、外围组件互连Express(“PCI-Express”)、AGP(“加速图形端口”)、超传输或任何其他总线或点对点通信协议。在至少一个实施例中，计算机系统1400包括但不限于主存储器1404和控制逻辑(例如，实现为硬件、软件或其组合)，并且数据可以采取随机存取存储器(“RAM”)的形式存储在主存储器1404中。在至少一个实施例中，网络接口子系统(“网络接口”)1422提供到其他计算设备和网络的接口，用于使用计算机系统1400从其他系统接收数据并将数据传输到其他系统。
在至少一个实施例中，计算机系统1400在至少一个实施例中包括但不限于输入设备1408、并行处理系统1412和显示设备1406，它们可以使用常规的阴极射线管(“CRT”)、液晶显示器(“LCD”)、发光二极管(“LED”)显示器、等离子显示器或其他合适的显示技术实现。在至少一个实施例中，从输入设备1408，诸如键盘、鼠标、触摸板、麦克风等，接收用户输入。在至少一个实施例中，前述模块中的每一个可以位于单个半导体平台上以形成处理系统。
推理和/或训练逻辑1015用于执行与一个或更多个实施例相关联的推理和/或训练操作。下文结合图9和/或图10提供关于推理和/或训练逻辑1015的细节。在至少一个实施例中，推理和/或训练逻辑1015可以在系统图14中使用，以至少部分地基于使用神经网络训练操作、神经网络功能和/或架构或本文所述的神经网络用例计算出的权重参数来进行推理或预测操作。在至少一个实施例中，推理和/或训练逻辑1015可用于从极值点生成分割。
图15示出了根据至少一个实施例的计算机系统1500。在至少一个实施例中，计算机系统1500包括但不限于计算机1510和USB盘1520。在至少一个实施例中，计算机1510可以包括但不限于任何数量和类型的处理器(未示出)和存储器(未示出)。在至少一个实施例中，计算机1510包括但不限于服务器、云实例、膝上型计算机和台式计算机。
在至少一个实施例中，USB盘1520包括但不限于处理单元1530、USB接口1540和USB接口逻辑1550。在至少一个实施例中，处理单元1530可以是任何指令执行系统、装置或能够执行指令的设备。在至少一个实施例中，处理核心1530可以包括但不限于任何数量和类型的处理核心(未示出)。在至少一个实施例中，处理核心1530包括专用集成电路(“ASIC”)，该专用集成电路被优化为执行与机器学习相关联的任何数量和类型的操作。例如，在至少一个实施例中，处理核心1530是张量处理单元(“TPC”)，其被优化以执行机器学习推理操作。在至少一个实施例中，处理核心1530是视觉处理单元(“VPU”)，其被优化以执行机器视觉和机器学习推理操作。
在至少一个实施例中，USB接口1540可以是任何类型的USB连接器或USB插座。例如，在至少一个实施例中，USB接口1540是用于数据和电源的USB 3.0Type-C插座。在至少一个实施例中，USB接口1540是USB 3.0Type-A连接器。在至少一个实施例中，USB接口逻辑1550可以包括使处理单元1530能够经由USB连接器1540与设备(例如计算机1510)相连接的任何数量和类型的逻辑。
推理和/或训练逻辑1015用于执行与一个或更多个实施例相关联的推理和/或训练操作。下文结合图9和/或图10提供关于推理和/或训练逻辑1015的细节。在至少一个实施例中，推理和/或训练逻辑1015可以在系统图15中使用，至少部分地基于使用神经网络训练操作计算出的权重参数、神经网络函数和/或架构或本文所述的神经网络用例来推理或预测操作。在至少一个实施例中，推理和/或训练逻辑1015可用于从极值点生成分割。
图16A示出了示例性架构，其中多个GPU 1610-1613通过高速链路1640-1643(例如，总线、点对点互连等)通信地耦合到多个多核心处理器1605-1606。在一个实施例中，高速链路1640-1643支持4GB/s、30GB/s、80GB/s或更高的通信吞吐量。可以使用各种互连协议，包括但不限于PCIe 4.0或5.0以及NVLink 2.0。
此外，并且在一个实施例中，两个或更多个GPU 1610-1613通过高速链路1629-1630互连，该高速链路可以使用与用于高速链路1640-1643的协议/链路相同或不同的协议/链路来实现。类似地，两个或更多个多核心处理器1605-1606可以通过高速链路1628连接，该高速链路可以是以20GB/s、30GB/s、120GB/s或更高的速度运行的对称多处理器(SMP)总线。可替代地，可以使用相同的协议/链路(例如，通过公共互连结构)来完成图16A中所示的各种系统组件之间的所有通信。
在一个实施例中，每个多核心处理器1605-1606分别经由存储器互连1626-1627通信地耦合到处理器存储器1601-1602，并且每个GPU 1610-1613分别通过GPU存储器互连1650-1653通信地耦合到GPU存储器1620-1623。存储器互连1626-1627和1650-1653可以利用相同或不同的存储器访问技术。作为示例而非限制，处理器存储器1601-1602和GPU存储器1620-1623可以是易失性存储器，诸如动态随机存取存储器(DRAM)(包括堆叠的DRAM)、图形DDR SDRAM(GDDR)(例如GDDR5、GDDR6)，或高带宽存储器(HBM)，和/或可以是非易失性存储器，例如3D XPoint或Nano-Ram。在一个实施例中，处理器存储器1601-1602的某些部分可以是易失性存储器，而另一部分可以是非易失性存储器(例如，使用两级存储器(2LM)层次结构)。
如下文所述，尽管各种处理器1605-1606和GPU 1610-1613可以分别物理地耦合到特定存储器1601-1602、1620-1623，可以实现统一存储器架构，其中相同虚拟系统地址空间(也称为“有效地址”空间)分布在各个物理存储器之间。例如，处理器存储器1601-1602可以各自包含64GB的系统存储器地址空间，并且GPU存储器1620-1623可以各自包含32GB的系统存储器地址空间(在本示例中从而导致总计256GB的可寻址存储器)。
图17示出了根据一个示例性实施例的用于多核心处理器1607和图形加速模块1646之间互连的附加细节。图形加速模块1646可以包括集成在线路卡上的一个或更多个GPU芯片，该线路卡经由高速链路1640耦合到处理器1607。替代地，图形加速模块1646可以作为处理器1607集成在相同封装或芯片上。
在至少一个实施例中，示出的处理器1607包括多个核心1660A-1660D，每个核心都具有转换后备缓冲区1661A-1661D和一个或更多个高速缓存1662A-1662D。在至少一个实施例中，核心1660A-1660D可以包括未示出的各种其他组件，用于执行指令和处理数据。高速缓存1662A-1662D可以包括级别1(L1)和级别2(L2)高速缓存。此外，一个或更多个共享高速缓存1656可以被包括在高速缓存1662A-1662D中，并且由核心1660A-1660D的组共享。例如，处理器1607的一个实施例包括24个核心，每个核心具有其自己的L1高速缓存，十二个共享的L2高速缓存，和十二个共享的L3高速缓存。在该实施例中，两个相邻核心共享一个或更多个L2和L3高速缓存。处理器1607和图形加速模块1646与系统存储器1614连接，该系统存储器1614可以包括图16A中的处理器存储器1601-1602。
通过一致性总线1664经由核心间通信为存储在各个高速缓存1662A-1662D、1656和系统存储器1614中的数据和指令维护一致性。例如，每个高速缓存可以具有与其相关联的高速缓存一致性逻辑/电路，以响应于检测到对特定高速缓存行的读取或写入通过一致性总线1664进行通信。在一个实现中，通过一致性总线1664实现高速缓存监听协议，以监听(snoop)高速缓存访问。
在一个实施例中，代理电路1625将图形加速模块1646通信地耦合到一致性总线1664，从而允许图形加速模块1646作为核心1660A-1660D的对等方参与高速缓存一致性协议。特别地，接口1635通过高速链路1640(例如，PCIe总线、NVLink等)提供到代理电路1625的连接，并且接口1637将图形加速模块1646连接到链路1640。
在一个实现中，加速器集成电路1636代表图形加速模块1646的多个图形处理引擎1631、1632、N提供高速缓存管理、存储器访问、上下文管理和中断管理服务。图形处理引擎1631、1632、N可各自包括单独的图形处理单元(GPU)。替代地，图形处理引擎1631、1632、N可以包括GPU内的不同类型的图形处理引擎，诸如图形执行单元、媒体处理引擎(例如，视频编码器/解码器)、采样器和blit引擎。在至少一个实施例中，图形加速模块1646可以是具有多个图形处理引擎1631、1632、N的GPU，或者图形处理引擎1631、1632、N可以是集成在通用封装、线路卡或芯片上的各个GPU。
在一个实施例中，加速器集成电路1636包括存储器管理单元(MMU)1639，用于执行各种存储器管理功能，例如虚拟到物理存储器转换(也称为有效到真实存储器转换)，还包括用于访问系统存储器1614的存储器访问协议。MMU 1639还可包括转换后备缓冲区(TLB)(未示出)，用于高速缓存虚拟/有效到物理/真实地址转换。在一个实现中，高速缓存1638存储命令和数据，用于由图形处理引擎1631-1632、N有效地访问。在一个实施例中，存储在高速缓存1638和图形存储器1633-1634，M中的数据与核心高速缓存1662A-1662D、1656和系统存储器1614保持一致。如前所述，这可以经由代表高速缓存1638和存储器1633-1634、M的代理电路1625来实现(例如，将与处理器高速缓存1662A-1662D、1656上的高速缓存行的修改/访问有关的更新发送到高速缓存1638，并从高速缓存1638接收更新)。
一组寄存器1645存储由图形处理引擎1631-1632、N执行的线程的上下文数据，并且上下文管理电路1648管理线程上下文。例如，上下文管理电路1648可以执行保存和恢复操作，以在上下文切换期间保存和恢复各个线程的上下文(例如，其中保存第一线程并且存储第二线程，以便可以由图形处理引擎执行第二线程)。例如，上下文管理电路1648在上下文切换时，可以将当前寄存器值存储到存储器中的(例如，由上下文指针标识的)指定区域。然后，当返回上下文时可以恢复寄存器值。在一个实施例中，中断管理电路1647接收并处理从系统设备接收的中断。
在一个实现方式中，MMU 1639将来自图形处理引擎1631的虚拟/有效地址转换为系统存储器1614中的真实/物理地址。加速器集成电路1636的一个实施例支持多个(例如，4、8、16)图形加速器模块1646和/或其他加速器设备。图形加速器模块1646可以专用于在处理器1607上执行的单个应用程序，或者可以在多个应用程序之间共享。在一个实施例中，呈现了虚拟化的图形执行环境，其中图形处理引擎1631-1632、N的资源与多个应用程序或虚拟机(VM)共享。在至少一个实施例中，可以基于处理要求和与VM和/或应用程序相关联的优先级，将资源细分为“切片”，其被分配给不同的VM和/或应用程序。
在至少一个实施例中，加速器集成电路1636作为图形加速模块1646的系统的桥来执行，并提供地址转换和系统存储器高速缓存服务。另外，加速器集成电路1636可以为主机处理器提供虚拟化设施，以管理图形处理引擎1631-1632、N的虚拟化、中断和存储器管理。
由于图形处理引擎1631-1632、N的硬件资源被明确地映射到由主机处理器1607看到的实地址空间，因此任何主机处理器都可以使用有效地址值直接寻址这些资源。在一个实施例中，加速器集成电路1636的一个功能是物理分离图形处理引擎1631-1632、N，使得它们在系统看来为独立的单元。
在至少一个实施例中，一个或更多个图形存储器1633-1634、M分别耦合到每个图形处理引擎1631-1632、N。图形存储器1633-1634、M存储指令和数据，所述指令和数据由每个图形处理引擎1631-1632、N处理。图形存储器1633-1634、M可以是易失性存储器，例如DRAM(包括堆叠的DRAM)、GDDR存储器(例如，GDDR5，GDDR6)或HBM，和/或可以是非易失性存储器，例如3D XPoint或Nano-Ram。
在一个实施例中，为了减少链路1640上的数据流量，使用偏置技术以确保存储在图形存储器1633-1634、M中的数据是图形处理引擎1631-1632、N最常使用的，并且最好核心1660A-1660D不使用(至少不经常使用)的数据。类似地，偏置机制试图将核心(并且优选地不是图形处理引擎1631-1632、N)需要的数据保持在核心的高速缓存1662A-1662D、1656和系统存储器1614中。
图18示出了另一个示例性实施例，其中加速器集成电路1636被集成在处理器1607内。在至少该实施例中，图形处理引擎1631-1632、N经由接口1637和接口1635(同样可以是利用任何形式的总线或接口协议)通过高速链路1640直接与加速器集成电路1636通信。加速器集成电路1636可以执行与关于图17描述的操作相同的操作，但是由于它紧密靠近一致性总线1664和高速缓存1662A-1662D、1656，可能具有更高的吞吐量。至少一个实施例支持不同的编程模型，包括专用进程编程模型(无图形加速模块虚拟化)和共享编程模型(具有虚拟化)，所述编程模型可以包括由加速器集成电路1636控制的编程模型和由图形加速模块1646控制的编程模型。
在至少一个实施例中，图形处理引擎1631-1632、N专用于单个操作系统下的单个应用程序或进程。在至少一个实施例中，单个应用程序可以将其他应用程序请求汇聚(funnel)到图形处理引擎1631-1632、N，在VM/分区内提供虚拟化。
在至少一个实施例中，图形处理引擎1631-1632、N可以被多个VM/应用程序分区共享。在至少一个实施例中，共享模型可以使用系统管理程序来虚拟化图形处理引擎1631-1632、N，以允许每个操作系统进行访问。对于没有管理程序的单分区系统，操作系统拥有图形处理引擎1631-1632、N。在至少一个实施例中，操作系统可以虚拟化图形处理引擎1631-1632、N，以提供对每个进程或应用程序的访问。
在至少一个实施例中，图形加速模块1646或个体图形处理引擎1631-1632、N使用进程句柄来选择进程元素。在至少一个实施例中，进程元素被存储在系统存储器1614中，并且可使用本文所述的有效地址到真实地址转换技术来寻址。在至少一个实施例中，进程句柄可以是特定于实现方式的值，其在向图形处理引擎1631-1632、N注册其上下文时提供给主机进程(即，调用系统软件以将进程元素添加到进程元素链接列表)。在至少一个实施例中，进程句柄的较低16位可以是进程元素在进程元素链接列表中的偏移量。
图19示出了示例性加速器集成切片1690。如本文使用的，“切片”包括加速器集成电路1636的处理资源的指定部分。系统存储器1614中的应用程序有效地址空间1682存储进程元素1683。在一个实施例中，响应于来自在处理器1607上执行的应用程序1680的GPU调用1681，存储进程元素1683。进程元素1683包含相应的应用程序1680的进程状态。包含在进程元素1683中的工作描述符(WD)1684可以是由应用程序请求的单个作业，或者可以包含指向作业队列的指针。在至少一个实施例中，WD 1684是指向应用程序的地址空间1682中的作业请求队列的指针。
图形加速模块1646和/或各个图形处理引擎1631-1632、N可以由系统中所有进程或进程子集共享。在至少一个实施例中，可以包括用于设置进程状态并将WD 1684发送到图形加速模块1646以在虚拟化环境中开始作业的基础设施。
在至少一个实施例中，专用进程编程模型是特定于实现方式的。在该模型中，单个进程拥有图形加速模块1646或个体图形处理引擎1631。因为图形加速模块1646由单个进程拥有，管理程序初始化用于所拥有的分区的加速器集成电路1636，并且当图形加速模块1646被指定时，操作系统初始化用于所拥有的进程的加速器集成电路1636。
在操作中，加速器集成切片1690中的WD获取单元1691获取下一个WD 1684，其包括要由图形加速模块1646的一个或更多个图形处理引擎待完成的工作的指示。来自WD 1684的数据可以存储在寄存器1645中，并由MMU 1639、中断管理电路1647和/或上下文管理电路1648使用，如图所示。例如，MMU 1639的一个实施例包括用于访问OS虚拟地址空间1685内的段/页表1686的段/页漫游电路。中断管理电路1647可以处理从图形加速模块1646接收的中断事件1692。当执行图形操作时，由图形处理引擎1631-1632、N生成的有效地址1693被MMU1639转换为实地址。
在一个实施例中，为每个图形处理引擎1631-1632、N和/或图形加速模块1646复制相同组的寄存器1645并且所述寄存器1645可以由管理程序或操作系统初始化。这些复制的寄存器中的每一个可以被包括在加速器集成切片1690中。可以由管理程序初始化的示例性寄存器在表1中示出。
表1–管理程序初始化的寄存器
表2中示出了可由操作系统初始化的示例性寄存器。
表2–操作系统初始化的寄存器
| 1 | 进程和线程标识 |
| 2 | 有效地址(EA)上下文保存/恢复指针 |
| 3 | 虚拟地址(VA)加速器利用率记录指针 |
| 4 | 虚拟地址(VA)存储段表指针 |
| 5 | 权限屏蔽 |
| 6 | 工作描述符 |
在一个实施例中，每个WD 1684特定于特定的图形加速模块1646和/或图形处理引擎1631-1632、N。它包含图形处理引擎1631-1632、N待完成工作所需的所有信息，或者它可以是指向存储器位置的指针，当应用程序已经设置了要完成的工作的命令队列。
图20示出了共享模型的一个示例性实施例的附加细节。该实施例包括管理程序真实地址空间1698，其中存储了进程元素列表1699。可经由管理程序1696来访问管理程序实地址空间1698，所述管理程序1696虚拟化用于操作系统1695的图形加速模块引擎。
在至少一个实施例中，共享编程模型允许来自系统中全部分区或分区子集的全部进程或进程子集使用图形加速模块1646。存在两种编程模型，其中图形加速模块1646由多个进程和分区共享：时间切片共享和图形取向共享。
在该模型中，系统管理程序1696拥有图形加速模块1646，并使其功能可用于所有操作系统1695。对于图形加速模块1646通过系统管理程序1696支持虚拟化，图形加速模块1646可以遵守以下：1)应用程序的作业请求必须是自主的(即，不需要在作业之间保持状态)，或者图形加速模块1646必须提供上下文保存和恢复机制，2)图形加速模块1646保证应用程序的作业请求在指定的时间量内完成，包括任何转换错误，或者图形加速模块1646提供了抢占作业处理的能力，并且3)当有向共享编程模型中进行操作时，必须确保图形加速模块1646进程之间的公平性。
在至少一个实施例中，需要应用程序1680使用图形加速模块1646类型、工作描述符(WD)、权限屏蔽寄存器(AMR)值和上下文保存/恢复区域指针(CSRP)进行操作系统1695系统调用。在至少一个实施例中，图形加速模块1646类型描述了用于系统调用的目标加速函数。在至少一个实施例中，图形加速模块1646类型可以是系统特定的值。在至少一个实施例中，WD是专门为图形加速模块1646格式化的，并且可以采用图形加速模块1646命令、指向用户定义的结构的有效地址指针、指向命令队列的有效地址指针的形式，或描述要由图形加速模块1646完成的工作的任何其他数据结构。在一个实施例中，AMR值是用于当前进程的AMR状态。在至少一个实施例中，传递给操作系统的值与设置AMR的应用程序类似。如果加速器集成电路1636和图形加速模块1646的实现不支持用户权限屏蔽覆写寄存器(UAMOR)，则在管理程序调用中传递AMR之前，操作系统可以将当前UAMOR值应用于AMR值。管理程序1696可以在将AMR放入进程元素1683中之前选择性地应用当前权限屏蔽覆写寄存器(AMOR)值。在至少一个实施例中，CSRP是寄存器1645中的一个，所述寄存器包含应用程序的有效地址空间1682中的区域的有效地址，供图形加速模块1646保存和恢复上下文状态。如果不需要在作业之间保存状态或者当作业被抢占时，则该指针是可选的。在至少一个实施例中，上下文保存/恢复区域可以是固定的系统存储器。
在接收到系统调用时，操作系统1695可以验证应用程序1680已经注册并且被授予使用图形加速模块1646的权限。然后，操作系统1695使用表3中所示的信息来调用管理程序1696。
表3–操作系统到管理程序的调用参数
| 1 | 工作描述符(WD) |
| 2 | 权限屏蔽寄存器(AMR)值(可能被屏蔽) |
| 3 | 有效地址(EA)上下文保存/恢复区域指针(CSRP) |
| 4 | 进程ID(PID)和可选线程ID(TID) |
| 5 | 虚拟地址(VA)加速器利用率记录指针(AURP) |
| 6 | 存储段表指针的虚拟地址(SSTP) |
| 7 | 逻辑中断服务号(LISN) |
在接收到管理程序调用时，管理程序1696验证操作系统1695已注册并被授予使用图形加速模块1646的权限。然后，管理程序1696将进程元素1683放入相应的图形加速模块1646类型的进程元素链接列表中。进程元素可以包括表4中所示的信息。
表4–进程元素信息
在至少一个实施例中，管理程序初始化多个加速器集成切片1690寄存器1645。
如图21所示，在至少一个实施例中，使用统一存储器，所述统一存储器可经由用于访问物理处理器存储器1601-1602和GPU存储器1620-1623的公共虚拟存储器地址空间来寻址。在该实现方式中，在GPU 1610-1613上执行的操作利用相同的虚拟/有效存储器地址空间来访问处理器存储器1601-1602，反之亦然，从而简化了可编程性。在至少一个实施例中，虚拟/有效地址空间的第一部分被分配给处理器存储器1601，第二部分被分配给第二处理器存储器1602，第三部分被分配给GPU存储器1620，以此类推。在至少一个实施例中，整个虚拟/有效存储器空间(有时称为有效地址空间)由此分布在处理器存储器1601-1602和GPU存储器1620-1623的每一个中，从而允许任何处理器或GPU采用映射到任何物理存储器的虚拟地址访问该存储器。
在一个实施例中，一个或更多个MMU 1639A-1639E内的偏置/一致性管理电路1694A-1694E确保一个或更多个主机处理器(例如，1605)与GPU 1610-1613的高速缓存之间的高速缓存一致性，并实现指示应在其中存储某些类型的数据的物理存储器的偏置技术。虽然在图21中示出了偏置/一致性管理电路1694A-1694E的多个实例，但可以在一个或更多个主机处理器1605的MMU内和/或在加速器集成电路1636内实现偏置/一致性电路。
一个实施例允许将GPU附加存储器1620-1623映射为系统存储器的一部分，并使用共享虚拟存储器(SVM)技术进行访问，但不会遭受与完整系统高速缓存一致性相关的性能缺陷。在至少一个实施例中，将GPU附加存储器1620-1623作为系统存储器来访问而无需繁重的高速缓存一致性开销的能力为GPU卸载提供了有利的操作环境。该布置允许主机处理器1605的软件设置操作数并访问计算结果，而没有传统的I/O DMA数据拷贝的开销。这样的传统拷贝包括驱动程序调用、中断和存储器映射I/O(MMIO)访问，相对于简单的存储器访问而言，这些访问效率均较低。在至少一个实施例中，在没有高速缓存一致性开销的情况下访问GPU附加存储器1620-1623的能力对于卸载的计算的执行时间可能是关键的。例如，在具有大量流式写入存储器流量的情况下，高速缓存一致性开销可以显著降低GPU 1610-1613所看到的有效写入带宽。在至少一个实施例中，操作数设置的效率、结果访问的效率和GPU计算的效率可能会在确定GPU卸载的有效性方面发挥作用。
在至少一个实施例中，GPU偏置和主机处理器偏置的选择由偏置跟踪器数据结构驱动。例如，可以使用偏置表，所述偏置表可以是页面粒度结构(即，以存储器页面的粒度来控制)，该页面粒度结构包括每个GPU附加存储器页面1或2位。在至少一个实施例中，在GPU1610-1613中具有或不具有偏置高速缓存(例如，用于高速缓存偏置表的频繁/最近使用的条目)的情况下，可以在一个或更多个GPU附加存储器1620-1623的被盗存储器范围中实现偏置表。替代地，可以在GPU内维护整个偏置表。
在至少一个实施例中，在实际访问GPU存储器之前，访问与对GPU附加存储器1620-1623的每次访问相关联的偏置表条目，从而引起以下操作。首先，来自GPU 1610-1613的在GPU偏置中找到其页面的本地请求被直接转发到对应的GPU存储器1620-1623。来自GPU的在主机偏置中找到其页面的本地请求被转发至处理器1605(例如，通过上述的高速链路)。在一个实施例中，来自处理器1605的在主机处理器偏置中找到所请求页面的请求完成了与正常存储器读取类似的请求。替代地，可以将指向GPU偏置页面的请求转发到GPU 1610-1613。在至少一个实施例中，如果GPU当前不使用页面，则GPU可随后将页面迁移到主机处理器偏置。在至少一个实施例中，页面的偏置状态可以通过基于软件的机制、基于硬件辅助的软件的机制、或者在有限的情况下通过纯粹基于硬件的机制来改变。
一种用于改变偏置状态的机制采用API调用(例如OpenCL)，所述API调用随后调用GPU的设备驱动程序，所述设备驱动程序随后发送消息(或使命令描述符入队)到GPU，引导GPU改变偏置状态，并在某些迁移中在主机中执行高速缓存刷新操作。在至少一个实施例中，高速缓存刷新操作用于从主机处理器1605偏置到GPU偏置的迁移，但是不用于相反的迁移。
在一个实施例中，高速缓存一致性是通过暂时渲染主机处理器1605无法高速缓存的GPU偏置页面来维护的。为了访问这些页面，处理器1605可以请求来自GPU 1610的访问，GPU 1610可以或可以不立即授予访问权限。因此，为了减少处理器1605和GPU 1610之间的通信，确保GPU偏置页面是GPU所需的页面而不是主机处理器1605所需的页面是有益的，反之亦然。
推理和/或训练逻辑1015用于执行一个或更多个实施例。下文结合图9和/或图10提供关于推理和/或训练逻辑1015的细节。在至少一个实施例中，推理和/或训练逻辑1015可用于基于一组极值点的分割。
图22示出了根据本文所述的各个实施例的示例性集成电路和相关联的图形处理器，其可以使用一个或更多个IP核心来制造。除了图示之外，在至少一个实施例中可以包括其他逻辑和电路，包括附加的图形处理器/核心、外围接口控制器或通用处理器核心。
图22是示出根据至少一个实施例的可使用一个或更多个IP核心制造的芯片集成电路2200上的示例性系统的框图。在至少一个实施例中，集成电路2200包括一个或更多个应用程序处理器2205(例如，CPU)、至少一个图形处理器2210，并且可以另外包括图像处理器2215和/或视频处理器2220，其中任意一个可能是模块化IP核心。在至少一个实施例中，集成电路2200包括外围或总线逻辑，其包括USB控制器2225、UART控制器2230、SPI/SDIO控制器2235和I2S/I2C控制器2240。在至少一个实施例中，集成电路2200可以包括显示设备2245耦合到高清多媒体接口(HDMI)控制器2250和移动工业处理器接口(MIPI)显示接口2255中的一个或更多个。在至少一个实施例中，存储可以由闪存子系统2260提供，包括闪存和闪存控制器。在至少一个实施例中，可以经由存储器控制器2265提供存储器接口以用于访问SDRAM或SRAM存储器设备。在至少一个实施例中，一些集成电路还包括嵌入式安全引擎2270。
推理和/或训练逻辑1015用于执行与一个或更多个实施例相关联的推理和/或训练操作。下文结合图9和/或图10提供关于推理和/或训练逻辑1015的细节。在至少一个实施例中，推理和/或训练逻辑1015可以在集成电路2200中用于至少部分地基于使用神经网络训练操作、神经网络函数和/或架构或本文描述的神经网络用例计算的权重参数来推理或预测操作。在至少一个实施例中，推理和/或训练逻辑1015可用于基于一组极值点的分割。
图23-24示出了根据本文所述的各个实施例的示例性集成电路和相关联的图形处理器，其可以使用一个或更多个IP核心来制造。除了图示之外，在至少一个实施例中可以包括其他逻辑和电路，包括附加的图形处理器/核心、外围接口控制器或通用处理器核心。
图23-24是示出根据本文描述的实施例的在SoC内使用的示例性图形处理器的框图。图23示出了根据至少一个实施例的片上系统集成电路的示例性图形处理器2310，其可以使用一个或更多个IP核心来制造。图24示出了根据至少一个实施例的片上系统集成电路的另外示例性图形处理器2340，其可以使用一个或更多个IP核心来制造。在至少一个实施例中，图23的图形处理器2310是低功耗图形处理器核心。在至少一个实施例中，图24的图形处理器2340是更高性能的图形处理器核心。在至少一个实施例中，每个图形处理器2310、2340可以是图22的图形处理器2210的变体。
在至少一个实施例中，图形处理器2310包括顶点处理器2305和一个或更多个片段处理器2315A-2315N(例如2315A、2315B、2315C、2315D至2315N-1和2315N)。在至少一个实施例中，图形处理器2310可以经由单独的逻辑来执行不同的着色器程序，使得顶点处理器2305被优化以执行针对顶点着色器程序的操作，而一个或更多个片段处理器2315A-2315N执行片段(例如，像素)着色操作用于片段或像素或着色器程序。在至少一个实施例中，顶点处理器2305执行3D图形管线的顶点处理阶段并生成图元和顶点数据。在至少一个实施例中，一个或更多个片段处理器2315A-2315N使用由顶点处理器2305生成的图元和顶点数据来生成在显示设备上显示的帧缓冲区。在至少一个实施例中，一个或更多个片段处理器2315A-2315N被优化以执行如在OpenGL API中所提供的片段着色器程序，其可以用于执行与在Direct 3D API中所提供的像素着色器程序类似的操作。
在至少一个实施例中，图形处理器2310附加地包括一个或更多个存储器管理单元(MMU)2320A-2320B、一个或更多个高速缓存2325A-2325B和一个或更多个电路互连2330A-2330B。在至少一个实施例中，一个或更多个MMU 2320A-2320B提供用于图形处理器2310的虚拟到物理地址的映射，包括用于顶点处理器2305和/或片段处理器2315A-2315N，其可以引用存储在存储器中的顶点或图像/纹理数据，除了存储在一个或更多个高速缓存2325A-2325B中的顶点或图像/纹理数据之外。在至少一个实施例中，一个或更多个MMU 2320A-2320B可以与系统内的其他MMU同步，包括与图22的一个或更多个应用程序处理器2205、图像处理器2215和/或视频处理器2220相关联的一个或更多个MMU，使得每个处理器2205-2220可以参与共享或统一的虚拟存储器系统。在至少一个实施例中，一个或更多个电路互连2330A-2330B使图形处理器2310能够经由SoC的内部总线或经由直接连接与SoC内的其他IP核心相连接。
在至少一个实施例中，图形处理器2340包括图23的图形处理器2310的一个或更多个MMU 2320A-2320B、一个或更多个高速缓存2325A-2325B、以及一个或更多个电路互连2330A-2330B。在至少一个实施例中，图形处理器2340包括一个或更多个着色器核心2355A-2355N(例如，2355A、2355B、2355C、2355D、2355E、2355F到2355N-1和2355N)，其提供了统一的着色器核心架构，其中单个核心或类型或核心可以执行所有类型的可编程着色器代码，包括用于实现顶点着色器、片段着色器和/或计算着色器的着色器程序代码。在至少一个实施例中，多个着色器核心可以变化。在至少一个实施例中，图形处理器2340包括核心间任务管理器2345，其充当线程分派器以将执行线程分派给一个或更多个着色器核心2355A-2355N和分块单元2358，以加速基于图块渲染的分块操作，其中在图像空间中细分了场景的渲染操作，例如，以利用场景内的局部空间一致性或优化内部高速缓存的使用。
推理和/或训练逻辑1015用于执行与一个或更多个实施例相关联的推理和/或训练操作。下文结合图9和/或图10提供关于推理和/或训练逻辑1015的细节。在至少一个实施例中，推理和/或训练逻辑1015可以在集成电路图23和/或图24中用于至少部分地基于使用神经网络训练操作、神经网络函数或架构，或本文所述的神经网络用例计算的权重参数来进行推理或预测操作。在至少一个实施例中，推理和/或训练逻辑1015可用于基于一组极值点的分割。
图25-26示出了根据本文描述的实施例的附加示例性图形处理器逻辑。在至少一个实施例中，图25示出了可以包括在图22的图形处理器2210内的图形核心2500，在至少一个实施例中，并且其可以是如图24所示的统一着色器核心2355A-2355N。图26示出了在至少一个实施例中的适用于在多芯片模块上部署的高度并行的通用图形处理单元2530。
在至少一个实施例中，图形核心2500包括共享指令高速缓存2502、纹理单元2518和高速缓存/共享存储器2520，它们对于图形核心2500内的执行资源是通用的。在至少一个实施例中，图形核心2500可包括多个切片2501A-2501N或每个核心的分区，并且图形处理器可包括图形核心2500的多个实例。切片2501A-2501N可包括支持逻辑，所述逻辑包括本地指令高速缓存2504A-2504N、线程调度器2506A-2506N、线程分派器2508A-2508N和一组寄存器2510A-2510N。在至少一个实施例中，切片2501A-2501N可以包括一组附加功能单元(AFU2512A-2512N)、浮点单元(FPU 2514A-2514N)、整数算术逻辑单元(ALU 2516-2516N)、地址计算单元(ACU 2513A-2513N)、双精度浮点单元(DPFPU 2515A-2515N)和矩阵处理单元(MPU2517A-2517N)。
在至少一个实施例中，FPU 2514A-2514N可以执行单精度(32位)和半精度(16位)浮点运算，而DPFPU 2515A-2515N则执行双精度(64位)浮点运算点操作。在至少一个实施例中，ALU 2516A-2516N可以以8位、16位和32位精度执行可变精度整数运算，并且可以配置为混合精度运算。在至少一个实施例中，MPU 2517A-2517N还可被配置用于混合精度矩阵运算，包括半精度浮点运算和8位整数运算。在至少一个实施例中，MPU 2517A-2517N可以执行各种矩阵运算以加速机器学习应用程序框架，包括使得能够支持加速的通用矩阵到矩阵乘法(GEMM)。在至少一个实施例中，AFU 2512A-2512N可以执行浮点数或整数单元不支持的附加逻辑运算，包括三角运算(例如，正弦，余弦等)。
推理和/或训练逻辑1015用于执行与一个或更多个实施例相关联的推理和/或训练操作。下文结合图9和/或图10提供关于推理和/或训练逻辑1015的细节。在至少一个实施例中，推理和/或训练逻辑1015可以在图形核心2500中使用，用于至少部分地基于使用神经网络训练操作、神经网络函数和/或架构或本文所述的神经网络用例计算的权重参数来推理或预测操作。在至少一个实施例中，推理和/或训练逻辑1015可用于基于一组极值点的分割。
图26示出了在至少一个实施例中的通用处理单元(GPGPU)2530，其可以被配置为使得高度并行的计算操作能够由一组图形处理单元来执行。在至少一个实施例中，GPGPU2530可以直接链接到GPGPU 2530的其他实例，以创建多GPU集群以提高用于深度神经网络的训练速度。在至少一个实施例中，GPGPU 2530包括主机接口2532，以实现与主机处理器的连接。在至少一个实施例中，主机接口2532是PCI Express接口。在至少一个实施例中，主机接口2532可以是厂商专用的通信接口或通信结构。在至少一个实施例中，GPGPU 2530接收主机处理器的命令，并使用全局调度器2534，以将与那些命令相关联的执行线程分配给一组计算集群2536A-2536H。在至少一个实施例中，计算群集2536A-2536H共享高速缓存存储器2538。在至少一个实施例中，高速缓存存储器2538可以用作计算群集2536A-2536H内的高速缓存存储器的更高级别的高速缓存。
在至少一个实施例中，GPGPU 2530包括存储器2544A-2544B，所述存储器2544A-2544B经由一组存储器控制器2542A-2542B与计算集群2536A-2536H耦合。在至少一个实施例中，存储器2544A-2544B可以包括各种类型的存储器设备，包括动态随机存取存储器(DRAM)或图形随机存取存储器，例如同步图形随机存取存储器(SGRAM)，其包括图形双倍数据速率(GDDR)存储器。
在至少一个实施例中，计算集群2536A-2536H每个都包括一组图形核心，例如图25的图形核心2500，所述图形核心可以包括多种类型的整数和浮点逻辑单元，所述逻辑单元可以在计算机各种精度范围上执行计算操作，包括适用于机器学习计算的精度。例如，在至少一个实施例中，每个计算集群2536A-2536H中的浮点单元的至少一个子集可以被配置为执行16位或32位浮点运算，而浮点单元的不同子集可以配置为执行64位浮点运算。
在至少一个实施例中，GPGPU 2530的多个实例可以被配置为用作计算集群操作。在至少一个实施例中，计算集群2536A-2536H用于同步和数据交换的通信在实施例之间变化。在至少一个实施例中，GPGPU 2530的多个实例通过主机接口2532进行通信。在至少一个实施例中，GPGPU 2530包括I/O集线器2539，所述集线器将GPGPU 2530与GPU链路2540耦合，使得能够直接连接到GPGPU 2530的其他实例。在至少一个实施例中，GPU链路2540耦合到专用GPU到GPU桥，所述桥使得GPGP 2530的多个实例之间能够通信和同步。在至少一个实施例中，GPU链路2540与高速互连耦合，以向其他GPGPU或并行处理器发送和接收数据。在至少一个实施例中，GPGPU 2530的多个实例位于单独的数据处理系统中，并通过可通过主机接口2532访问的网络设备进行通信。在至少一个实施例中，GPU 2540可被配置为使得能够连接到除主机接口2532之外或作为其替代的主机处理器。
在至少一个实施例中，GPGPU 2530可以被配置为训练神经网络。在至少一个实施例中，可以在推理平台内使用GPGPU 2530。在至少一个实施例中，在其中使用GPGPU 2530进行推理的情况下，相对于使用GPGPU训练神经网络时，GPGPU 2530可以包括更少的计算集群2536A-2536H。在至少一个实施例中，与存储器2544A-2544B相关联的存储器技术可以在推理和训练配置之间有所不同，其中更高带宽的存储器技术专用于训练配置。在至少一个实施例中，GPGPU 2530的推理配置可以支持推理特定指令。例如，在至少一个实施例中，推理配置可以提供对一个或更多个8位整数点积指令的支持，该指令可以在部署的神经网络的推理操作期间使用。
推理和/或训练逻辑1015用于执行与一个或更多个实施例相关联的推理和/或训练操作。下文结合图9和/或图10提供关于推理和/或训练逻辑1015的细节。在至少一个实施例中，推理和/或训练逻辑1015可以在GPGPU2530中使用，用于至少部分地基于使用神经网络训练操作、神经网络函数和/或架构或本文所述的神经网络用例计算的权重参数来推理或预测操作。在至少一个实施例中，推理和/或训练逻辑1015可用于基于极值点执行分割。
图27示出了根据至少一个实施例的计算机系统2700的框图。在至少一个实施例中，计算机系统2700包括具有一个或更多个处理器2702的处理子系统2701和系统存储器2704，所述系统存储器2704经由可包括存储器集线器2705的互连路径通信。在至少一个实施例中，存储器集线器2705可以是芯片组部件内的单独部件，或者可以集成在一个或更多个处理器2702内。在至少一个实施例中，存储器集线器2705通过通信链路2706与I/O子系统2711耦合。在一个实施例中，I/O子系统2711包括I/O集线器2707，所述I/O集线器可以使计算机系统2700能够接收来自一个或更多个输入设备2708的输入。在至少一个实施例中，I/O集线器2707可以使显示控制器向一个或更多个显示设备2710A提供输出，所述显示控制器可以包括在一个或更多个处理器2702中。在至少一个实施例中，与I/O集线器2707耦合的一个或更多个显示设备2710A可以包括本地，内部或嵌入式显示设备。
在至少一个实施例中，处理子系统2701包括经由总线或其他通信链路2713耦合到存储器集线器2705的一个或更多个并行处理器2712中。在至少一个实施例中，通信链路2713可以是一个任何数量的基于标准的通信链路技术或协议，例如但不限于PCI Express，或者可以是特定于供应商的通信接口或通信结构。在至少一个实施例中，一个或更多个并行处理器2712形成计算集中的并行或矢量处理系统，所述系统可以包括大量处理核心和/或处理集群，例如多集成核心(MIC)处理器。在至少一个实施例中，一个或更多个并行处理器2712形成图形处理子系统，所述图形处理子系统可以将像素输出到经由I/O集线器2707耦合的一个或更多个显示设备2710A之一。在至少一个实施例中，一个或更多个并行处理器2712还可以包括显示控制器和显示接口(未示出)，以使得能够直接连接到一个或更多个显示设备2710B。
在至少一个实施例中，系统存储单元2714可以连接到I/O集线器2707，以提供用于计算机系统2700的存储机制。在至少一个实施例中，I/O交换机2716可以用于提供一个接口机制，以实现I/O集线器2707与其他组件之间的连接，例如可以集成到平台中的网络适配器2718和/或无线网络适配器2719，以及可以通过一个或更多个附加设备2720添加的各种其他设备。在至少一个实施例中，网络适配器2718可以是以太网适配器或另一有线网络适配器。在至少一个实施例中，无线网络适配器2719可以包括Wi-Fi、蓝牙、近场通信(NFC)中的一个或更多个，或包括一个或更多个无线电设备的其他网络设备。
在至少一个实施例中，计算机系统2700可以包括未明确示出的其他组件，所述其他组件包括USB或其他端口连接、光学存储驱动器、视频捕获设备等，所述其他组件也可以连接到I/O集线器2707。在至少一个实施例中，可以使用任何合适的协议，例如基于PCI(外围组件互连)的协议(例如PCI-Express)或其他总线或点对点通信接口和/或协议(例如NV-Link高速互连或互连协议)，来实现互连图27中各个组件的通信路径。
在至少一个实施例中，一个或更多个并行处理器2712包括为图形和视频处理而优化的电路，所述电路包括例如视频输出电路，并构成图形处理单元(GPU)。在至少一个实施例中，一个或更多个并行处理器2712包括为通用处理而优化的电路。在至少一个实施例中，计算机系统2700的组件可以与单个集成电路上的一个或更多个其他系统元件集成。例如，在至少一个实施例中，一个或更多个并行处理器2712、存储器集线器2705、处理器2702和I/O集线器2707，可以被集成到片上系统(SoC)集成电路中。在至少一个实施例中，计算机系统2700的组件可以被集成到单个封装中，以形成系统级封装(SIP)配置。在至少一个实施例中，计算机系统2700的组件的至少一部分可以被集成到多芯片模块(MCM)中，所述多芯片模块可以与其他多芯片模块互连到模块化计算机系统中。
推理和/或训练逻辑1015用于执行与一个或更多个实施例相关联的推理和/或训练操作。下文结合图9和/或图10提供关于推理和/或训练逻辑1015的细节。在至少一个实施例中，推理和/或训练逻辑1015可以在系统2700中使用，用于至少部分地基于使用神经网络训练操作、神经网络函数和/或架构或本文所述的神经网络用例计算的权重参数来推理或预测操作。推理和/或训练逻辑1015可用于执行与一个或更多个实施例相关联的推理和/或训练操作。
处理器
图28示出了根据至少一个实施例的并行处理器2800。在至少一个实施例中，并行处理器2800的各种组件可以使用一个或更多个集成电路设备来实现，例如可编程处理器、专用集成电路(ASIC)或现场可编程门阵列(FPGA)。在至少一个实施例中，所示的并行处理器2800是根据示例性实施例的图27所示的一个或更多个并行处理器2712的变体。
在至少一个实施例中，并行处理器2800包括并行处理单元2802。在至少一个实施例中，并行处理单元2802包括I/O单元2804，其使得能够与其他设备进行通信，包括并行处理单元2802的其他实例。在至少一个实施例中，I/O单元2804可直接连接到其他设备。在至少一个实施例中，I/O单元2804通过使用集线器或交换机接口(例如，存储器集线器2705)与其他设备连接。在至少一个实施例中，存储器集线器2705与I/O单元2804之间的连接形成通信链路2713。在至少一个实施例中，I/O单元2804与主机接口2806和存储器交叉开关2816连接，其中主机接口2806接收用于执行处理操作的命令，而存储器交叉开关2816接收用于执行存储器操作的命令。
在至少一个实施例中，当主机接口2806经由I/O单元2804接收命令缓冲区时，主机接口2806可以引导工作操作以执行那些命令到前端2808。在至少一个实施例中，前端2808与调度器2810耦合，调度器2810配置成将命令或其他工作项分配给处理集群阵列2812。在至少一个实施例中，调度器2810确保在将任务分配给处理集群阵列2812之前，处理集群阵列2812被正确地配置并且处于有效状态。在至少一个实施例中，调度器2810通过在微控制器上执行的固件逻辑来实现。在至少一个实施例中，微控制器实现的调度器2810可配置成以粗粒度和细粒度执行复杂的调度和工作分配操作，从而实现对在处理阵列2812上执行的线程的快速抢占和上下文切换。在至少一个实施例中，主机软件可以证明用于通过多个图形处理门铃之一在处理阵列2812上进行调度的工作负载。在至少一个实施例中，工作负载然后可以由包括调度器2810的微控制器内的调度器2810逻辑在处理阵列2812上自动分配。
在至少一个实施例中，处理集群阵列2812可以包括多达“N”个处理集群(例如，集群2814A、集群2814B到集群2814N)。在至少一个实施例中，处理集群阵列2812的每个集群2814A-2814N可以执行大量并发线程。在至少一个实施例中，调度器2810可以使用各种调度和/或工作分配算法将工作分配给处理集群阵列2812的集群2814A-2814N，其可以根据每种程序或计算类型产生的工作负载而变化。在至少一个实施例中，调度可以由调度器2810动态地处理，或者可以在配置为由处理集群阵列2812执行的程序逻辑的编译期间部分地由编译器逻辑来辅助。在至少一个实施例中，可将处理集群阵列2812的不同的集群2814A-2814N分配用于处理不同类型的程序或用于执行不同类型的计算。
在至少一个实施例中，处理集群阵列2812可以配置成执行各种类型的并行处理操作。在至少一个实施例中，处理集群阵列2812配置成执行通用并行计算操作。例如，在至少一个实施例中，处理集群阵列2812可以包括执行处理任务的逻辑，该处理任务包括对视频和/或音频数据的过滤，执行建模操作，包括物理操作以及执行数据转换。
在至少一个实施例中，处理集群阵列2812配置成执行并行图形处理操作。在至少一个实施例中，处理集群阵列2812可以包括附加逻辑以支持这种图形处理操作的执行，包括但不限于执行纹理操作的纹理采样逻辑，以及镶嵌逻辑和其他顶点处理逻辑。在至少一个实施例中，处理集群阵列2812可以配置成执行与图形处理有关的着色器程序，例如但不限于顶点着色器、曲面细分着色器、几何着色器和像素着色器。在至少一个实施例中，并行处理单元2802可以经由I/O单元2804从系统存储器传送数据以进行处理。在至少一个实施例中，在处理期间，可以在处理期间将传送的数据存储到片上存储器(例如，并行处理器存储器2822)，然后将其写回到系统存储器。
在至少一个实施例中，当并行处理单元2802用于执行图形处理时，调度器2810可以配置成将处理工作负载划分为近似相等大小的任务，以更好地将图形处理操作分配给处理集群阵列2812的多个集群2814A-2814N。在至少一个实施例中，处理集群阵列2812的部分可以配置成执行不同类型的处理。例如，在至少一个实施例中，第一部分可以配置成执行顶点着色和拓扑生成，第二部分可以配置成执行曲面细分和几何着色，并且第三部分可以配置成执行像素着色或其他屏幕空间操作，以生成用于显示的渲染图像。在至少一个实施例中，可以将由集群2814A-2814N中的一个或更多个产生的中间数据存储在缓冲区中，以允许在集群2814A-2814N之间传输中间数据以进行进一步处理。
在至少一个实施例中，处理集群阵列2812可以经由调度器2810接收要执行的处理任务，该调度器2810从前端2808接收定义处理任务的命令。在至少一个实施例中，处理任务可以包括要被处理的数据的指数，例如，表面(补丁)数据、原始数据、顶点数据和/或像素数据，以及状态参数和定义如何处理数据的命令(例如，要执行什么程序)。在至少一个实施例中，调度器2810可以配置成获取与任务相对应的指数，或者可以从前端2808接收指数。在至少一个实施例中，前端2808可以配置成确保在启动由传入命令缓冲区(例如，批缓冲区(batch-buffer)、推送缓冲区等)指定的工作负载之前，处理集群阵列2812配置成有效状态。
在至少一个实施例中，并行处理单元2802的一个或更多个实例中的每一个可以与并行处理器存储器2822耦合。在至少一个实施例中，可以经由存储器交叉开关2816访问并行处理器存储器2822，所述存储器交叉开关2816可以接收来自处理集群阵列2812以及I/O单元2804的存储器请求。在至少一个实施例中，存储器交叉开关2816可以经由存储器接口2818访问并行处理器存储器2822。在至少一个实施例中，存储器接口2818可以包括多个分区单元(例如，分区单元2820A、分区单元2820B到分区单元2820N)，其可各自耦合至并行处理器存储器2822的一部分(例如，存储器单元)。在至少一个实施例中，多个分区单元2820A-2820N为配置为等于存储器单元的数量，使得第一分区单元2820A具有对应的第一存储器单元2824A，第二分区单元2820B具有对应的存储器单元2824B，第N分区单元2820N具有对应的第N存储器单元2824N。在至少一个实施例中，分区单元2820A-2820N的数量可以不等于存储器设备的数量。
在至少一个实施例中，存储器单元2824A-2824N可以包括各种类型的存储器设备，包括动态随机存取存储器(DRAM)或图形随机存取存储器，例如同步图形随机存取存储器(SGRAM)，包括图形双倍数据速率(GDDR)存储器。在至少一个实施例中，存储器单元2824A-2824N还可包括3D堆叠存储器，包括但不限于高带宽存储器(HBM)。在至少一个实施例中，可以跨存储器单元2824A-2824N来存储诸如帧缓冲区或纹理映射的渲染目标，从而允许分区单元2820A-2820N并行地写入每个渲染目标的部分，以有效地使用并行处理器存储器2822的可用带宽。在至少一个实施例中，可以排除并行处理器存储器2822的本地实例，以有利于利用系统存储器与本地高速缓存存储器结合的统一存储器设计。
在至少一个实施例中，处理集群阵列2812的集群2814A-2814N中的任何一个都可以处理将被写入并行处理器存储器2822内的任何存储器单元2824A-2824N中的数据。在至少一个实施例中，存储器交叉开关2816可以配置为将每个集群2814A-2814N的输出传输到任何分区单元2820A-2820N或另一个集群2814A-2814N，集群2814A-2814N可以对输出执行其他处理操作。在至少一个实施例中，每个集群2814A-2814N可以通过存储器交叉开关2816与存储器接口2818通信，以从各种外部存储设备读取或写入各种外部存储设备。在至少一个实施例中，存储器交叉开关2816具有到存储器接口2818的连接以与I/O单元2804通信，以及到并行处理器存储器2822的本地实例的连接，从而使不同处理集群2814A-2814N内的处理单元与系统存储器或不是并行处理单元2802本地的其他存储器进行通信。在至少一个实施例中，存储器交叉开关2816可以使用虚拟通道来分离集群2814A-2814N和分区单元2820A-2820N之间的业务流。
在至少一个实施例中，可以在单个插入卡上提供并行处理单元2802的多个实例，或者可以将多个插入卡互连。在至少一个实施例中，并行处理单元2802的不同实例可以配置成相互操作，即使不同实例具有不同数量的处理核心，不同数量的本地并行处理器存储器和/或其他配置差异。例如，在至少一个实施例中，并行处理单元2802的一些实例可以包括相对于其他实例而言更高精度的浮点单元。在至少一个实施例中，结合并行处理单元2802或并行处理器2800的一个或更多个实例的系统可以以各种配置和形式因素来实现，包括但不限于台式机、膝上型计算机或手持式个人计算机、服务器、工作站、游戏机和/或嵌入式系统。
图29是根据至少一个实施例的分区单元2820的框图。在至少一个实施例中，分区单元2820是图28的分区单元2820A-2820N之一的实例。在至少一个实施例中，分区单元2820包括L2高速缓存2821、帧缓冲区接口2825和光栅操作单元(“ROP”)2826。L2高速缓存2821是读/写高速缓存，其配置成执行从存储器交叉开关2816和ROP 2826接收的加载和存储操作。在至少一个实施例中，L2高速缓存2821将读取未命中和紧急回写请求输出到帧缓冲区接口2825以进行处理。在至少一个实施例中，还可以经由帧缓冲区接口2825将更新发送到帧缓冲区以进行处理。在至少一个实施例中，帧缓冲区接口2825与并行处理器存储器中的存储器单元(诸如图28的存储器单元2824A-2824N(例如，在并行处理器存储器2822内))之一相互作用。
在至少一个实施例中，ROP 2826是一种处理单元，其执行光栅操作，诸如模版、z测试、混合等。在至少一个实施例中，ROP 2826然后输出存储在图形存储器中的处理后的图形数据。在至少一个实施例中，ROP 2826包括压缩逻辑以压缩被写入存储器的深度或颜色数据并解压缩从存储器读取的深度或颜色数据。在至少一个实施例中，压缩逻辑可以是利用多种压缩算法中的一种或更多种的无损压缩逻辑。ROP 2826执行的压缩逻辑可以基于要压缩的数据的统计特性而变化。例如，在至少一个实施例中，基于每图块基础上的深度和颜色数据执行增量颜色压缩。
在至少一个实施例中，ROP 2826包括在每个处理集群内(例如，图28的集群2814A-2814N)，而不是在分区单元2820内。在至少一个实施例中，通过存储器交叉开关2816而不是像素片段数据传输对像素数据的读取和写入请求。在至少一个实施例中，经处理的图形数据可以在显示设备上(诸如图27的一个或更多个显示设备2710之一)显示，由一个或更多个处理器2702路由以供进一步处理，或者由图28的并行处理器2800内的处理实体之一路由以供进一步处理。
图30是根据至少一个实施例的并行处理单元内的处理集群2814的框图。在至少一个实施例中，处理集群是图28的处理集群2814A-2814N之一的实例。在至少一个实施例中，处理集群2814中的一个或更多个可以配置成并行执行许多线程，其中“线程”是指在特定的一组输入数据上执行的特定程序的实例。在至少一个实施例中，单指令多数据(SIMD)指令发布技术用于支持大量线程的并行执行而无需提供多个独立的指令单元。在至少一个实施例中，使用单指令多线程(SIMT)技术来支持并行执行大量一般同步的线程，这使用了公共指令单元，该公共指令单元配置成向每个处理集群内的一组处理引擎发出指令。
在至少一个实施例中，可以通过将处理任务分配给SIMT并行处理器的管线管理器2832来控制处理集群2814的操作。在至少一个实施例中，管线管理器2832从图28的调度器2810接收指令，并通过图形多处理器2834和/或纹理单元2836管理这些指令的执行。在至少一个实施例中，图形多处理器2834是SIMT并行处理器的示例性实例。然而，在至少一个实施例中，处理集群2814内可以包括不同架构的各种类型的SIMT并行处理器。在至少一个实施例中，在处理集群2814内可以包括图形多处理器2834的一个或更多个实例。在至少一个实施例中，图形多处理器2834可以处理数据，并且数据交叉开关2840可以用于将处理后的数据分发到多个可能的目的(包括其他着色器单元)地之一。在至少一个实施例中，管线管理器2832可以通过指定要经由数据交叉开关2840分配的处理后的数据的目的地来促进处理后的数据的分配。
在至少一个实施例中，处理集群2814内的每个图形多处理器2834可以包括相同的一组功能执行逻辑(例如，算术逻辑单元、加载存储单元等)。在至少一个实施例中，可以以管线方式配置功能执行逻辑，其中可以在先前的指令完成之前发出新的指令。在至少一个实施例中，功能执行逻辑支持多种操作，包括整数和浮点算术、比较操作、布尔运算、移位和各种代数函数的计算。在至少一个实施例中，可以利用相同的功能单元硬件来执行不同的操作，并且可以存在功能单元的任何组合。
在至少一个实施例中，传送到处理集群2814的指令构成线程。在至少一个实施例中，跨一组并行处理引擎执行的一组线程是线程组。在至少一个实施例中，线程组在不同的输入数据上执行程序。在至少一个实施例中，线程组内的每个线程可被分配给图形多处理器2834内的不同处理引擎。在至少一个实施例中，线程组可包括比图形多处理器2834内的多个处理引擎更少的线程。在至少一个实施例中，当线程组包括的线程数少于处理引擎的数量时，一个或更多个处理引擎在正在处理该线程组的循环期间可能是空闲的。在至少一个实施例中，线程组还可以包括比图形多处理器2834内的多个处理引擎更多的线程。在至少一个实施例中，当线程组包括比图形多处理器2834内的处理引擎更多的线程时，可以在连续的时钟周期内执行处理。在至少一个实施例中，可以在图形多处理器2834上同时执行多个线程组。
在至少一个实施例中，图形多处理器2834包括内部高速缓存存储器，以执行加载和存储操作。在至少一个实施例中，图形多处理器2834可以放弃内部高速缓存并使用处理集群2814内的高速缓存存储器(例如，L1高速缓存2848)。在至少一个实施例中，每个图形多处理器2834还可以访问分区单元(例如，图28的分区单元2820A-2820N)内的L2高速缓存，这些分区单元在所有处理集群2814之间共享并且可用于在线程之间传输数据。在至少一个实施例中，图形多处理器2834还可访问片外全局存储器，其可以包括本地并行处理器存储器和/或系统存储器中的一个或更多个。在至少一个实施例中，并行处理单元2802外部的任何存储器都可以用作全局存储器。在至少一个实施例中，处理集群2814包括图形多处理器2834的多个实例，它们可以共享可以存储在L1高速缓存2848中的公共指令和数据。
在至少一个实施例中，每个处理集群2814可以包括配置成将虚拟地址映射为物理地址的存储器管理单元(“MMU”)2845。在至少一个实施例中，MMU 2845的一个或更多个实例可以驻留在图28的存储器接口2818内。在至少一个实施例中，MMU 2845包括一组页表条目(PTE)，其用于将虚拟地址映射到图块的物理地址以及替代地映射到高速缓存行指数。在至少一个实施例中，MMU 2845可以包括地址转换后备缓冲区(TLB)或可以驻留在图形多处理器2834或L1高速缓存或处理集群2814内的高速缓存。在至少一个实施例中，处理物理地址以分配表面数据访问局部性，以便在分区单元之间进行有效的请求交替。在至少一个实施例中，高速缓存行指数可以用于确定对高速缓存行的请求是命中还是未命中。
在至少一个实施例中，可以配置处理集群2814，使得每个图形多处理器2834耦合到纹理单元2836，以执行纹理映射操作，所述操作确定纹理样本位置、读取纹理数据以及过滤纹理数据。在至少一个实施例中，根据需要从内部纹理L1高速缓存(未示出)或从图形多处理器2834内的L1高速缓存中读取纹理数据，并从L2高速缓存、本地并行处理器存储器或系统存储器中获取纹理数据。在至少一个实施例中，每个图形多处理器2834将处理后的任务输出到数据交叉开关2840，以将处理后的一个或更多个任务提供给另一处理集群2814以进行进一步处理或将处理后的一个或更多个任务存储在L2高速缓存、本地并行处理器存储器、或经由存储器交叉开关2816的系统存储器中。在至少一个实施例中，preROP 2842(光栅前操作单元)配置成从图形多处理器2834接收数据，将数据引导至ROP单元，该ROP单元可以与本文所述的分区单元(例如，图28的分区单元2820A-2820N)一起定位。在至少一个实施例中，PreROP 2842单元可以执行用于颜色混合的优化、组织像素颜色数据以及执行地址转换。
推理和/或训练逻辑1015用于执行与一个或更多个实施例相关联的推理和/或训练操作。下文结合图9和/或图10提供关于推理和/或训练逻辑1015的细节。在至少一个实施例中，推理和/或训练逻辑1015可以在图形处理集群2814中用于至少部分地基于使用本文描述的神经网络训练操作、神经网络函数和/或架构或神经网络用例计算的权重参数来进行推理或预测操作。推理和/或训练逻辑1015用于执行与一个或更多个实施例相关联的推理和/或训练操作。
图31示出了根据至少一个实施例的图形多处理器2834。在至少一个实施例中，图形多处理器2834与处理集群2814的管线管理器2832耦合。在至少一个实施例中，图形多处理器2834具有执行管线，该执行管线包括但不限于指令高速缓存2852、指令单元2854、地址映射单元2856、寄存器文件2858、一个或更多个通用图形处理单元(GPGPU)核心2862和一个或更多个加载/存储单元2866。一个或更多个GPGPU核心2862和一个或更多个加载/存储单元2866与高速缓存存储器2872和共享存储器2870通过存储器和高速缓存互连2868耦合。
在至少一个实施例中，指令高速缓存2852从管线管理器2832接收要执行的指令流。在至少一个实施例中，将指令高速缓存在指令高速缓存2852中并将其分派以供指令单元2854执行。在一个实施例中，指令单元2854可以分派指令作为线程组(例如，线程束)，将每个线程组分配给一个或更多个GPGPU核心2862内的不同执行单元。在至少一个实施例中，指令可以通过在统一地址空间内指定地址来访问任何本地、共享或全局地址空间。在至少一个实施例中，地址映射单元2856可以用于将统一地址空间中的地址转换成可以由一个或更多个加载/存储单元2866访问的不同的存储器地址。
在至少一个实施例中，寄存器文件2858为图形多处理器2834的功能单元提供了一组寄存器。在至少一个实施例中，寄存器文件2858为连接到图形多处理器2834的功能单元(例如，GPGPU核心2862、加载/存储单元2866)的数据路径的操作数提供了临时存储。在至少一个实施例中，在每个功能单元之间划分寄存器文件2858，使得为每个功能单元分配寄存器文件2858的专用部分。在至少一个实施例中，寄存器文件2858在图形多处理器2834正在执行的不同线程束之间划分。
在至少一个实施例中，GPGPU核心2862可以各自包括用于执行图形多处理器2834的指令的浮点单元(FPU)和/或整数算术逻辑单元(ALU)。GPGPU核心2862在架构上可以相似或架构可能有所不同。在至少一个实施例中，GPGPU核心2862的第一部分包括单精度FPU和整数ALU，而GPGPU核心的第二部分包括双精度FPU。在至少一个实施例中，FPU可以实现用于浮点算法的IEEE 754-2008标准或启用可变精度浮点算法。在至少一个实施例中，图形多处理器2834可另外包括一个或更多个固定功能或特殊功能单元，以执行特定功能，诸如复制矩形或像素混合操作。在至少一个实施例中，一个或更多个GPGPU核心也可以包括固定或特殊功能逻辑。
在至少一个实施例中，GPGPU核心2862包括能够对多组数据执行单个指令的SIMD逻辑。在至少一个实施例中，GPGPU核心2862可以物理地执行SIMD4、SIMD8和SIMD16指令，并且在逻辑上执行SIMD1、SIMD2和SIMD32指令。在至少一个实施例中，用于GPGPU核心的SIMD指令可以在编译时由着色器编译器生成，或者在执行针对单程序多数据(SPMD)或SIMT架构编写和编译的程序时自动生成。在至少一个实施例中，可以通过单个SIMD指令来执行为SIMT执行模型配置的程序的多个线程。例如，在至少一个实施例中，可以通过单个SIMD8逻辑单元并行执行执行相同或相似操作的八个SIMT线程。
在至少一个实施例中，存储器和高速缓存互连2868是将图形多处理器2834的每个功能单元连接到寄存器文件2858和共享存储器2870的互连网络。在至少一个实施例中，存储器和高速缓存互连2868是交叉开关互连，其允许加载/存储单元2866在共享存储器2870和寄存器文件2858之间实现加载和存储操作。在至少一个实施例中，寄存器文件2858可以以与GPGPU核心2862相同的频率操作，从而在GPGPU核心2862和寄存器文件2858之间进行数据传输是非常低的延迟。在至少一个实施例中，共享存储器2870可以用于启用在图形多处理器2834内的功能单元上执行的线程之间的通信。在至少一个实施例中，高速缓存存储器2872可以用作例如数据高速缓存，以高速缓存在功能单元和纹理单元2836之间通信的纹理数据。在至少一个实施例中，共享存储器2870也可以用作程序管理的高速缓存。在至少一个实施例中，除了存储在高速缓存存储器2872中的自动高速缓存的数据之外，在GPGPU核心2862上执行的线程还可以以编程方式将数据存储在共享存储器中。
在至少一个实施例中，如本文所述的并行处理器或GPGPU通信地耦合到主机/处理器核心，以加速图形操作、机器学习操作、图案分析操作以及各种通用GPU(GPGPU)功能。在至少一个实施例中，GPU可以通过总线或其他互连(例如，诸如PCIe或NVLink的高速互连)通信地耦合到主机处理器/核心。在至少一个实施例中，GPU可以与核心集成在相同的封装或芯片上，并通过内部处理器总线/互连(即，封装或芯片的内部)通信地耦合到核心。在至少一个实施例中，不管GPU连接的方式如何，处理器核心可以以工作描述符中包含的命令/指令序列的形式向GPU分配工作。在至少一个实施例中，GPU然后使用专用电路/逻辑来有效地处理这些命令/指令。
推理和/或训练逻辑1015用于执行与一个或更多个实施例相关联的推理和/或训练操作。下面结合图9和/或图10提供关于推理和/或训练逻辑1015的细节。在至少一个实施例中，推理和/或训练逻辑1015可以在图形多处理器2834中用于至少部分地基于使用本文描述的神经网络训练操作、神经网络函数和/或架构或神经网络用例计算的权重参数来进行推理或预测操作。在至少一个实施例中，推理和/或训练逻辑1015用于基于极值点执行分割。
图32示出了根据至少一个实施例的多GPU计算机系统3200。在至少一个实施例中，多GPU计算机系统3200可以包括经由主机接口交换机3204耦合到多个通用目的图形处理单元(GPGPU)3206A-D的处理器3202。在至少一个实施例中，主机接口交换机3204是PCI快速交换机设备，其将处理器3202耦合到PCI快速总线，处理器3202通过PCI快速总线可以与GPGPU3206A-D进行通信。GPGPU 3206A-D可以通过一组高速点对点GPU到GPU链路3216进行互连。在至少一个实施例中，GPU到GPU链路3216通过专用GPU链路连接到每个GPGPU 3206A-D。在至少一个实施例中，P2P GPU链路3216使得能够在每个GPGPU 3206A-D之间直接进行通信而无需通过处理器3202连接至的主机接口总线3204进行通信。在至少一个实施例中，采用指向P2P GPU链接3216的GPU-至-GPU流量，主机接口总线3204保持可用于系统存储器访问或与多GPU计算机系统3200的其他实例进行通信，例如，通过一个或更多个网络设备。当在至少一个实施例中GPGPU 3206A-D通过主机接口交换机3204连接到处理器3202时，在至少一个实施例中，处理器3202包括对P2P GPU链接3216的直接支持并且可以直接连接到GPGPU3206A-D。
推理和/或训练逻辑1015用于执行与一个或更多个实施例相关联的推理和/或训练操作。下面结合图9和/或图10提供关于推理和/或训练逻辑1015的细节。在至少一个实施例中，推理和/或训练逻辑1015可以在多GPU计算机系统3200中使用用于至少部分地基于使用本文描述的神经网络训练操作、神经网络函数和/或架构或神经网络用例计算的权重参数来进行推理或预测操作。在至少一个实施例中，推理和/或训练逻辑1015用于基于极值点执行分割。
图33是根据至少一个实施例的图形处理器3300的框图。在至少一个实施例中，图形处理器3300包括环形互连3302、管线前端3304、媒体引擎3337和图形核心3380A-3380N。在至少一个实施例中，环形互连3302将图形处理器3300耦合到其他处理单元，所述处理单元包括其他图形处理器或一个或更多个通用处理器核心。在至少一个实施例中，图形处理器3300是集成在多核心处理系统内的许多处理器之一。
在至少一个实施例中，图形处理器3300经由环形互连3302接收多批命令。在至少一个实施例中，输入的命令由管线前端3304中的命令流转化器(streamer)3303解释。在至少一个实施例中，图形处理器3300包括可扩展执行逻辑，用于经由图形核心3380A-3380N执行3D几何处理和媒体处理。在至少一个实施例中，对于3D几何处理命令，命令流转化器3303将命令提供给几何管线3336。在至少一个实施例中，对于至少一些媒体处理命令，命令流转化器3303将命令提供给视频前端3334，该视频前端与媒体引擎3337耦合。在至少一个实施例中，媒体引擎3337包括用于视频和图像后处理的视频质量引擎(VQE)3330，以及用于提供硬件加速的媒体数据编码和解码的多格式编码/解码(MFX)3333引擎。在至少一个实施例中，几何管线3336和媒体引擎3337各自生成用于由至少一个图形核心3380A提供的线程执行资源的执行线程。
在至少一个实施例中，图形处理器3300包括具有(featuring)模块核心3380A-3380N(有时被称为核心切片)的可扩展线程执行资源，每个模块核心具有多个子核心3350A-3350N，3360A-3360N(有时称为核心子切片)。在至少一个实施例中，图形处理器3300可以具有任意数量的图形核心3380A至3380N。在至少一个实施例中，图形处理器3300包括具有至少第一子核心3350A和第二子核心3360A的图形核心3380A。在至少一个实施例中，图形处理器3300是具有单个子核心(例如3350A)的低功率处理器。在至少一个实施例中，图形处理器3300包括多个图形核心3380A-3380N，每个图形核心包括一组第一子核心3350A-3350N和一组第二子核心3360A-3360N。在至少一个实施例中，第一子核心3350A-3350N中的每个子核心至少包括第一组执行单元3352A-3352N和媒体/纹理采样器3354A-3354N。在至少一个实施例中，第二子核心3360A-3360N中的每个子核心至少包括第二组执行单元3362A-3362N和采样器3364A-3364N。在至少一个实施例中，每个子核心3350A-3350N，3360A-3360N共享一组共享资源3370A-3370N。在至少一个实施例中，共享资源包括共享高速缓存存储器和像素操作逻辑。
推理和/或训练逻辑1015用于执行与一个或更多个实施例相关联的推理和/或训练操作。下文结合图9和/或图10提供关于推理和/或训练逻辑1015的细节。在至少一个实施例中，推理和/或训练逻辑1015可以在图形处理器3300中用于至少部分地基于使用本文描述的神经网络训练操作、神经网络函数和/或架构或神经网络用例计算的权重参数来进行推理或预测操作。在至少一个实施例中，推理和/或训练逻辑1015用于基于极值点执行分割。
图34是根据至少一个实施例的说明用于处理器3400的微架构的框图，该处理器3400可以包括用于执行指令的逻辑电路。在至少一个实施例中，处理器3400可以执行指令，包括x86指令、ARM指令、用于专用集成电路(ASIC)的专用指令等。在至少一个实施例中，处理器3400可以包括用于存储封装数据的寄存器，例如作为加利福尼亚州圣克拉拉市英特尔公司采用MMX技术启用的微处理器中的64位宽MMXTM寄存器。在至少一个实施例中，整数和浮点数形式可用的MMX寄存器可以与封装的数据元素一起运行，所述封装的数据元素伴随单指令多数据(“SIMD”)和流式SIMD扩展(“SSE”)指令。在至少一个实施例中，与SSE2、SSE3、SSE4、AVX或更高版本(一般称为“SSEx”)技术有关的128位宽XMM寄存器可以保存此类封装数据操作数。在至少一个实施例中，处理器3400可以执行指令以加速机器学习或深度学习算法、训练或推理。
在至少一个实施例中，处理器3400包括有序前端(“前端”)3401，以提取要执行的指令并准备稍后在处理器管线中使用的指令。在至少一个实施例中，前端3401可以包括几个单元。在至少一个实施例中，指令预取器3426从存储器中获取指令并将指令提供给指令解码器3428，指令解码器3428又对指令进行解码或解释。例如，在至少一个实施例中，指令解码器3428将接收到的指令解码为机器可执行的所谓的“微指令”或“微操作”(也称为“微操作”或“微指令”)的一个或更多个操作。在至少一个实施例中，指令解码器3428将指令解析为操作码以及相应的数据和控制字段，其可以由微架构用来使用以根据至少一个实施例来执行操作。在至少一个实施例中，跟踪高速缓存3430可以将解码的微指令组装成微指令队列3434中的程序排序的序列或追踪以供执行。在至少一个实施例中，当追踪高速缓存3430遇到复杂指令时，微码ROM 3432提供完成操作所需的微指令。
在至少一个实施例中，可以将一些指令转换成单个微操作，而另一些指令则需要几个微操作来完成全部操作。在至少一个实施例中，如果需要多于四个的微指令来完成一条指令，则指令解码器3428可以访问微码ROM 3432以执行指令。在至少一个实施例中，可以将指令解码为少量的微指令以在指令解码器3428处进行处理。在至少一个实施例中，如果需要多个微指令完成操作，则可以将指令存储在微码ROM 3432中。在至少一个实施例中，追踪高速缓存器3430参考入口点可编程逻辑阵列(“PLA”)以确定正确的微指令指针，用于根据至少一个实施例从微码ROM 3432读取微码序列以完成一个或更多个指令。在至少一个实施例中，在微码ROM 3432完成对指令的微操作排序之后，机器的前端3401可以恢复从追踪高速缓存3430获取微操作。
在至少一个实施例中，乱序执行引擎(“乱序引擎”)3403可以准备用于执行的指令。在至少一个实施例中，乱序执行逻辑具有多个缓冲区，以使指令流平滑并重新排序，以在指令沿管线下降并被调度执行时优化性能。在至少一个实施例中，乱序执行引擎3403包括但不限于分配器/寄存器重命名器3440、存储器微指令队列3442、整数/浮点微指令队列3444、存储器调度器3446、快速调度器3402、慢速/通用浮点调度器(“慢速/通用FP调度器”)3404和简单浮点调度器(“简单FP调度器”)3406。在至少一个实施例中，快速调度器3402、慢速/通用浮点调度器3404和简单浮点调度器3406也统称为“微指令调度器3402、3404、3406”。在至少一个实施例中，分配器/寄存器重命名器3440分配每个微指令按序列执行所需要的机器缓冲区和资源。在至少一个实施例中，分配器/寄存器重命名器3440将逻辑寄存器重命名为寄存器文件中的条目。在至少一个实施例中，分配器/寄存器重命名器3440还为两个微指令队列之一中的每个微指令分配条目，存储器微指令队列3442用于存储器操作和整数/浮点微指令队列3444用于非存储器操作，在存储器调度器3446和微指令调度器3402、3404、3406的前面。在至少一个实施例中，微指令调度器3402、3404、3406基于它们的从属输入寄存器操作数源的就绪性和需要完成的执行资源微指令的可用性来确定何时准备好执行微指令。在至少一个实施例中，至少一个实施例的快速调度器3402可以在主时钟周期的每个一半上调度，而慢速/通用浮点调度器3404和简单浮点调度器3406可以在每个主处理器时钟周期调度一次。在至少一个实施例中，微指令调度器3402、3404、3406对调度端口进行仲裁，以调度用于执行的微指令。
在至少一个实施例中，执行块3411包括但不限于整数寄存器文件/支路网络3408、浮点寄存器文件/支路网络(“FP寄存器文件/支路网络”)3410、地址生成单元(“AGU”)3412和3414、快速算术逻辑单元(“快速ALU”)3416和3418、慢速算术逻辑单元(“慢速ALU”)3420、浮点ALU(“FP”)3422和浮点移动单元(“FP移动”)3424。在至少一个实施例中，整数寄存器文件/支路网络3408和浮点寄存器文件/旁路网络3410在本文中也称为“寄存器文件3408、3410”。在至少一个实施例中，AGU 3412和3414、快速ALU 3416和3418、慢速ALU 3420、浮点ALU 3422和浮点移动单元3424在本文中也称为“执行单元3412、3414、3416、3418、3420、3422和3424”。在至少一个实施例中，执行块b11可以包括但不限于任意数量(包括零)和类型的寄存器文件、支路网络、地址生成单元和执行单元(以任何组合)。
在至少一个实施例中，寄存器文件3408、3410可以布置在微指令调度器3402、3404、3406与执行单元3412、3414、3416、3418、3420、3422和3424之间。在至少一个实施例中，整数寄存器文件/支路网络3408执行整数运算。在至少一个实施例中，浮点寄存器文件/支路网络3410执行浮点操作。在至少一个实施例中，寄存器文件3408、3410中的每一个可以包括但不限于支路网络，该支路网络可以绕过或转发尚未写入寄存器文件中的刚刚完成的结果到新的从属对象。在至少一个实施例中，寄存器文件3408、3410可以彼此通信数据。在至少一个实施例中，整数寄存器文件/支路网络3408可以包括但不限于两个单独的寄存器文件、一个寄存器文件用于低阶32位数据，第二寄存器文件用于高阶32位数据。在至少一个实施例中，浮点寄存器文件/支路网络3410可以包括但不限于128位宽的条目，因为浮点指令通常具有宽度为64至128位的操作数。
在至少一个实施例中，执行单元3412、3414、3416、3418、3420、3422、3424可以执行指令。在至少一个实施例中，寄存器文件3408、3410存储微指令需要执行的整数和浮点数据操作数值。在至少一个实施例中，处理器3400可以包括但不限于任何数量的执行单元3412、3414、3416、3418、3420、3422、3424及其组合。在至少一个实施例中，浮点ALU 3422和浮点移动单元3424，可以执行浮点、MMX、SIMD、AVX和SSE或其他操作，包括专门的机器学习指令。在至少一个实施例中，浮点ALU 3422可以包括但不限于64位乘64位浮点除法器，以执行除法、平方根和余数微操作。在至少一个实施例中，可以用浮点硬件来处理涉及浮点值的指令。在至少一个实施例中，可以将ALU操作传递给快速ALU 3416、3418。在至少一个实施例中，快速ALU 3416、3418可以以半个时钟周期的有效延迟执行快速操作。在至少一个实施例中，大多数复杂的整数运算进入慢速ALU 3420，因为慢速ALU 3420可以包括但不限于用于长延迟类型操作的整数执行硬件，例如乘法器、移位、标志逻辑和分支处理。在至少一个实施例中，存储器加载/存储操作可以由AGU 3412、3414执行。在至少一个实施例中，快速ALU 3416、快速ALU 3418和慢速ALU 3420可以对64位数据操作数执行整数运算。在至少一个实施例中，可以实现快速ALU 3416、快速ALU 3418和慢速ALU 3420以支持包括十六、三十二、128、256等的各种数据位大小。在至少一个实施例中，浮点ALU 3422和浮点移动单元3424可以实现为支持具有各种宽度的位的一定范围的操作数。在至少一个实施例中，浮点ALU 3422和浮点移动单元3424可以在128位宽封装数据操作数上与SIMD和多媒体指令一起操作。
在至少一个实施例中，微指令调度器3402、3404、3406在父加载完成执行之前调度从属操作。在至少一个实施例中，由于可以在处理器3400中推测性地调度和执行微指令，处理器3400还可以包括用于处理存储器未命中的逻辑。在至少一个实施例中，如果数据高速缓存中的数据加载未命中，则可能存在在管线中正在运行的从属操作，其使调度器暂时没有正确的数据。在至少一个实施例中，一种重放机制追踪踪并重新执行使用不正确数据的指令。在至少一个实施例中，可能需要重放从属操作并且可以允许完成独立操作。在至少一个实施例中，处理器的至少一个实施例的调度器和重放机制也可以设计为捕获用于文本串比较操作的指令序列。
在至少一个实施例中，术语“寄存器”可以指代可以用作识别操作数的指令的一部分的机载处理器存储位置。在至少一个实施例中，寄存器可以是那些可以从处理器外部使用的寄存器(从程序员的角度来看)。在至少一个实施例中，寄存器可能不限于特定类型的电路。相反，在至少一个实施例中，寄存器可以存储数据、提供数据并执行本文描述的功能。在至少一个实施例中，本文描述的寄存器可以通过处理器内的电路使用多种不同技术来实现，例如专用物理寄存器、使用寄存器重命名动态分配的物理寄存器、专用和动态分配的物理寄存器的组合等。在至少一个实施例中，整数寄存器存储32位整数数据。至少一个实施例的寄存器文件还包含八个用于封装数据的多媒体SIMD寄存器。
推理和/或训练逻辑1015用于执行与一个或更多个实施例相关联的推理和/或训练操作。下文结合图9和/或图10提供关于推理和/或训练逻辑1015的细节。在至少一个实施例中，可以将推理和/或训练逻辑1015的部分或全部并入执行块3411以及示出或未示出的其他存储器或寄存器。例如，在至少一个实施例中，本文描述的训练和/或推理技术可以使用执行块3411中示出的一个或更多个ALU。此外，权重参数可以存储在片上或片外存储器和/或寄存器(示出或未示出)中，该存储器和/或寄存器配置执行块3411的ALU以执行一种或更多种本文所述的机器学习算法、神经网络架构、用例或训练技术。在至少一个实施例中，推理和/或训练逻辑1015用于基于极值点执行分割。
图35示出了根据至少一个实施例的深度学习应用程序处理器3500。在至少一个实施例中，深度学习应用程序处理器3500使用指令，如果由深度学习应用程序处理器3500执行，则指令使深度学习应用程序处理器3500执行贯穿本公开描述的一些或全部过程和技术。在至少一个实施例中，深度学习应用程序处理器3500是专用集成电路(ASIC)。在至少一个实施例中，应用程序处理器3500执行矩阵乘法运算或者“硬连线”到硬件中，作为执行一个或更多个指令或两者的结果。在至少一个实施例中，深度学习应用程序处理器3500包括但不限于处理集群3510(1)-3510(12)，芯片间链路(“ICL”)3520(1)-3520(12)，芯片间控制器(“ICC”)3530(1)-3530(2)，存储器控制器(“Mem Ctrlr”)3542(1)-3542(4)，高带宽存储器物理层(“HBM PHY”)3544(1)-3544(4)，管理控制器中央处理单元(“管理控制器CPU”)3550，外围组件互连快速控制器和直接存储器访问块(“PCIe控制器和DMA”)3570，以及十六通道外围组件互连快速端口(“PCI Express x 16”)3580。
在至少一个实施例中，处理集群3510可以执行深度学习操作，包括基于一种或更多种训练技术计算的权重参数的推理或预测操作，包括本文所述的那些技术。在至少一个实施例中，每个处理集群3510可以包括但不限于任何数量和类型的处理器。在至少一个实施例中，深度学习应用程序处理器3500可以包括任何数量和类型的处理集群3500。在至少一个实施例中，芯片间链路3520是双向的。在至少一个实施例中，芯片间链路3520和芯片间控制器3530使多个深度学习应用程序处理器3500能够交换信息，包括从执行一个或更多个神经网络中体现的一种或更多种机器学习算法而产生的激活信息。在至少一个实施例中，深度学习应用程序处理器3500可以包括任意数量(包括零)和类型的ICL 3520和ICC 3530。
在至少一个实施例中，HBM2 3540提供总共32GB的存储器。HBM2 3540(i)与存储器控制器3542(i)和HBM PHY 3544(i)都相关联。在至少一个实施例中，任何数量的HBM2 3540可以提供任何类型和总量的高带宽存储器，并且可以与任何数量(包括零)和类型的存储器控制器3542和HBM PHY 3544相关联。在至少一个实施例中，可以用任何数量和类型的块替换SPI、I2C、GPIO 3560、PCIe控制器和DMA 3570和/或PCIe 3580，以任何技术上可行的方式实现任何数量和类型的通信标准。
推理和/或训练逻辑1015用于执行与一个或更多个实施例相关联的推理和/或训练操作。下文结合图9和/或图10提供关于推理和/或训练逻辑1015的细节。在至少一个实施例中，深度学习应用程序处理器3500用于训练机器学习模型(例如神经网络)，以预测或推理提供给深度学习应用程序处理器3500的信息。在至少一个实施例中，深度学习应用程序处理器3500用于基于已经由另一处理器或系统或由深度学习应用程序处理器3500训练的经训练的机器学习模型(例如，神经网络)来推理或预测信息。在至少一个实施例中，处理器3500可以用于执行本文所述的一个或更多个神经网络用例。在至少一个实施例中，推理和/或训练逻辑1015用于基于极值点执行分割。
图36是根据至少一个实施例的神经形态处理器3600的框图。在至少一个实施例中，神经形态处理器3600可以从神经形态处理器3600外部的源接收一个或更多个输入。在至少一个实施例中，这些输入可以被传输到神经形态处理器3600内的一个或更多个神经元3602。在至少一个实施例中，可以使用包括一个或更多个算术逻辑单元(ALU)的电路或逻辑来实现神经元3602及其组件。在至少一个实施例中，神经形态处理器3600可以包括但不限于成千上万个神经元3602的实例，但是可以使用任何合适数量的神经元3602。在至少一个实施例中，神经元3602的每个实例可以包括神经元输入3604和神经元输出3606。在至少一个实施例中，神经元3602可以生成可以传输到神经元3602的其他实例的输入的输出。例如，在至少一个实施例中，神经元输入3604和神经元输出3606可以经由突触3608互连。
在至少一个实施例中，神经元3602和突触3608可以互连，使得神经形态处理器3600操作以处理或分析由神经形态处理器3600接收的信息。在至少一个实施例中，当通过神经元输入3604接收到的输入超过阈值时，神经元3602可以发送输出脉冲(或“触发”或“峰值”)。在至少一个实施例中，神经元3602可以对在神经元输入3604处接收到的信号进行求和或积分。例如，在至少一个实施例中，神经元3602可以实现为有泄漏的积分-触发神经元，其中如果求和(称为“膜电位”)超过阈值，则神经元3602可以使用诸如sigmoid或阈值函数的传递函数来产生输出(或“触发”)。在至少一个实施例中，泄漏的积分-触发神经元可以将在神经元输入3604处接收到的信号求和成膜电位，并且可以应用程序衰减因子(或泄漏)以减小膜电位。在至少一个实施例中，如果在神经元输入3604处接收到足够快以超过阈值的多个输入信号(即，在膜电势衰减得太低而不能触发之前)，则泄漏的积分-触发神经元可能会触发。在至少一个实施例中，神经元3602可以使用接收输入、将输入积分到膜电位、并衰减膜电位的电路或逻辑来实现。在至少一个实施例中，可以对输入求平均，或者可以使用任何其他合适的传递函数。此外，在至少一个实施例中，神经元3602可以包括但不限于当将传递函数应用程序于神经元输入3604的结果超过阈值时在神经元输出3606处产生输出尖峰的比较器电路或逻辑。在至少一个实施例中，一旦神经元3602触发，它可以通过例如将膜电位复位为0或另一合适的默认值来忽略先前接收的输入信息。在至少一个实施例中，一旦膜电位被重置为0，则神经元3602可以在合适的时间段(或修复期)之后恢复正常操作。
在至少一个实施例中，神经元3602可以通过突触3608互连。在至少一个实施例中，突触3608可以操作以将从第一神经元3602的输出的信号传输到第二神经元3602的输入。在至少一个实施例中，神经元3602可以在一个以上的突触3608实例上传输信息。在至少一个实施例中，神经元输出3606的一个或更多个实例可以通过突触3608的实例连接到同一神经元3602中神经元输入3604的实例。在至少一个实施例中，相对于突触3608的那个实例，神经元3602的实例产生要在突触3608的实例上传输的输出可以被称为“突触前神经元”。在至少一个实施例中，相对于突触3608的实例，神经元3602的实例接收通过突触3608的实例传输的输入可以被称为“突触后神经元”。在至少一个实施例中，关于突触3608的各种实例，因为神经元3602的实例可以接收来自一个或更多个突触3608实例的输入，并且还可以通过一个或更多个突触3608实例传输输出，因此神经元3602的单个实例可以既是“突触前神经元”又是“突触后神经元”。
在至少一个实施例中，神经元3602可以被组织成一层或更多层。神经元3602的每个实例可以具有一个神经元输出3606，该神经元输出3606可以通过一个或更多个突触3608扇出到一个或更多个神经元输入3604。在至少一个实施例中，第一层3610中的神经元3602的神经元输出3606可以连接到第二层3612中的神经元3602的神经元输入3604。在至少一个实施例中，层3610可以被称为“前馈层”。在至少一个实施例中，在第一层3610的实例中神经元3602的每个实例可以扇出到第二层3612中的神经元3602的每个实例。在至少一个实施例中，第一层3610可以被称为“完全连接的前馈层”。在至少一个实施例中，在第二层3612的实例中的神经元3602的每个实例扇出到少于在第三层3614中的神经元3602的所有实例。在至少一个实施例中，第二层3612可以被称为“稀疏连接的前馈层”。在至少一个实施例中，第二层3612中的神经元3602可以扇出到多个其他层中的神经元3602，包括扇出到(相同的)第二层3612中的神经元3602。在至少一个实施例中，第二层3612可以被称为“循环层”。在至少一个实施例中，神经形态处理器3600可以包括但不限于循环层和前馈层的任何合适的组合，包括但不限于稀疏连接的前馈层和完全连接的前馈层。
在至少一个实施例中，神经形态处理器3600可以包括但不限于可重新配置的互连架构或专用硬连线互连，以将突触3608连接到神经元3602。在至少一个实施例中，神经形态处理器3600可以包括但不限于电路或逻辑，其根据神经网络拓扑结构和神经元扇入/扇出，允许根据需要将突触分配给不同神经元3602。例如，在至少一个实施例中，可以使用互连结构(诸如片上网络)或通过专用连接将突触3608连接到神经元3602。在至少一个实施例中，可以使用电路或逻辑来实现突触互连及其组件。在至少一个实施例中，推理和/或训练逻辑1015用于基于极值点执行分割。
图37是根据至少一个实施例的处理系统的框图。在至少一个实施例中，系统3700包括一个或更多个处理器3702和一个或更多个图形处理器3708，并且可以是单处理器台式机系统、多处理器工作站系统或具有大量处理器3702或处理器核心3707的服务器系统。在至少一个实施例中，系统3700是结合在片上系统(SoC)集成电路内的处理平台，以在移动、手持或嵌入式设备使用。
在至少一个实施例中，系统3700可以包括或结合在基于服务器的游戏平台中，包括游戏和媒体控制台的游戏控制台、移动游戏控制台、手持游戏控制台或在线游戏控制台。在至少一个实施例中，系统3700是移动电话、智能电话、平板计算设备或移动互联网设备。在至少一个实施例中，处理系统3700还可包括与可穿戴设备耦合或集成在可穿戴设备中，例如智能手表可穿戴设备、智能眼镜设备、增强现实设备或虚拟现实设备。在至少一个实施例中，处理系统3700是电视或机顶盒设备，其具有一个或更多个处理器3702以及由一个或更多个图形处理器3708生成的图形界面。
在至少一个实施例中，一个或更多个处理器3702每个包括一个或更多个处理器核心3707，以处理指令，该指令在被执行时执行针对系统和用户软件的操作。在至少一个实施例中，一个或更多个处理器核心3707中的每一个被配置为处理特定指令集3709。在至少一个实施例中，指令集3709可以促进复杂指令集计算(CISC)、精简指令集计算(RISC)，或通过超长指令字(VLIW)进行计算。在至少一个实施例中，处理器核心3707可以各自处理不同的指令集3709，该指令集可以包括有助于仿真其他指令集的指令。在至少一个实施例中，处理器核心3707还可以包括其他处理设备，例如数字信号处理器(DSP)。
在至少一个实施例中，处理器3702包括高速缓存存储器3704。在至少一个实施例中，处理器3702可以具有单个内部高速缓存或多个级别的内部高速缓存。在至少一个实施例中，高速缓存存储器在处理器3702的各个组件之间共享。在至少一个实施例中，处理器3702还使用外部高速缓存(例如，三级(L3)高速缓存或最后一级高速缓存(LLC))(未示出)，可以使用已知的高速缓存一致性技术在处理器核心3707之间共享该外部高速缓存。在至少一个实施例中，处理器3702中另外包括寄存器文件3706，处理器可以包括用于存储不同类型的数据的不同类型的寄存器(例如，整数寄存器、浮点寄存器、状态寄存器和指令指针寄存器)。在至少一个实施例中，寄存器文件3706可以包括通用寄存器或其他寄存器。
在至少一个实施例中，一个或更多个处理器3702与一个或更多个接口总线3710耦合，以在处理器3702与系统3700中的其他组件之间传输通信信号，例如地址、数据或控制信号。在至少一个实施例中，接口总线3710在一个实施例中可以是处理器总线，例如直接媒体接口(DMI)总线的版本。在至少一个实施例中，接口3710不限于DMI总线，并且可以包括一个或更多个外围组件互连总线(例如，PCI，PCI Express)、存储器总线或其他类型的接口总线。在至少一个实施例中，一个或更多个处理器3702包括集成存储器控制器3716和平台控制器集线器3730。在至少一个实施例中，存储器控制器3716促进存储器设备与系统3700的其他组件之间的通信，而平台控制器集线器(PCH)3730通过本地I/O总线提供到输入/输出(I/O)设备的连接。
在至少一个实施例中，存储器设备3720可以是动态随机存取存储器(DRAM)设备、静态随机存取存储器(SRAM)设备、闪存设备、相变存储设备或具有适当的性能以用作处理器存储器。在至少一个实施例中，存储设备3720可以用作系统3700的系统存储器，以存储数据3722和指令3721，以在一个或更多个处理器3702执行应用程序或过程时使用。在至少一个实施例中，存储器控制器3716还与可选的外部图形处理器3712耦合，其可以与处理器3702中的一个或更多个图形处理器3708通信以执行图形和媒体操作。在至少一个实施例中，显示设备3711可以连接至处理器3702。在至少一个实施例中，显示设备3711可以包括内部显示设备中的一个或更多个，例如在移动电子设备或膝上型设备或通过显示器接口(例如显示端口(DisplayPort)等)连接的外部显示设备中。在至少一个实施例中，显示设备3711可以包括头戴式显示器(HMD)，诸如用于虚拟现实(VR)应用或增强现实(AR)应用中的立体显示设备。
在至少一个实施例中，平台控制器集线器3730使外围设备能够通过高速I/O总线连接到存储设备3720和处理器3702。在至少一个实施例中，I/O外围设备包括但不限于音频控制器3746、网络控制器3734、固件接口3728、无线收发器3726、触摸传感器3725、数据存储设备3724(例如，硬盘驱动器、闪存等)。在至少一个实施例中，数据存储设备3724可以经由存储接口(例如，SATA)或经由外围总线来连接，诸如外围组件互连总线(例如，PCI、PCIe)。在至少一个实施例中，触摸传感器3725可以包括触摸屏传感器、压力传感器或指纹传感器。在至少一个实施例中，无线收发器3726可以是Wi-Fi收发器、蓝牙收发器或移动网络收发器，诸如3G、4G或长期演进(LTE)收发器。在至少一个实施例中，固件接口3728使能与系统固件的通信，并且可以是例如统一可扩展固件接口(UEFI)。在至少一个实施例中，网络控制器3734可以启用到有线网络的网络连接。在至少一个实施例中，高性能网络控制器(未示出)与接口总线3710耦合。在至少一个实施例中，音频控制器3746是多通道高清晰度音频控制器。在至少一个实施例中，系统3700包括可选的传统(legacy)I/O控制器3740，用于将传统(例如，个人系统2(PS/2))设备耦合到系统。在至少一个实施例中，平台控制器集线器3730还可以连接到一个或更多个通用串行总线(USB)控制器3742，该控制器连接输入设备，诸如键盘和鼠标3743组合、相机3744或其他USB输入设备。
在至少一个实施例中，存储器控制器3716和平台控制器集线器3730的实例可以集成到离散的外部图形处理器中，例如外部图形处理器3712。在至少一个实施例中，平台控制器集线器3730和/或存储器控制器3716可以在一个或更多个处理器3702的外部。例如，在至少一个实施例中，系统3700可以包括外部存储器控制器3716和平台控制器集线器3730，其可以配置成在与处理器3702通信的系统芯片组中的存储器控制器集线器和外围控制器集线器。
推理和/或训练逻辑1015用于执行与一个或更多个实施例相关联的推理和/或训练操作。下文结合图9和/或图10提供关于推理和/或训练逻辑1015的细节。在至少一个实施例中，部分或全部推理和/或训练逻辑1015可以结合到图形处理器3700中。例如，在至少一个实施例中，本文描述的训练和/或推理技术可以使用一个或更多个ALU，所述ALU体现在图形处理器3712中。此外，在至少一个实施例中，本文描述的推理和/或训练操作可以使用除图9或图10所示的逻辑之外的逻辑来完成。在至少一个实施例中，权重参数可以存储在片上或片外存储器和/或寄存器(示出或未示出)中，其配置图形处理器3700的ALU，以执行一种或更多种本文所述的机器学习算法、神经网络架构、用例或训练技术。在至少一个实施例中，推理和/或训练逻辑1015用于基于极值点执行分割。
图38是根据至少一个实施例的具有一个或更多个处理器核心3802A-3802N、集成存储器控制器3814和集成图形处理器3808的处理器3800的框图。在至少一个实施例中，处理器3800可以包含附加核心，多达并包括以虚线框表示的附加核心3802N。在至少一个实施例中，每个处理器核心3802A-3802N包括一个或更多个内部高速缓存单元3804A-3804N。在至少一个实施例中，每个处理器核心还可以访问一个或更多个共享高速缓存单元3806。
在至少一个实施例中，内部高速缓存单元3804A-3804N和共享高速缓存单元3806表示处理器3800内的高速缓存存储器层次结构。在至少一个实施例中，高速缓存存储器单元3804A-3804N可以包括每个处理器核心内的至少一级指令和数据高速缓存以及共享中级高速缓存中的一级或更多级缓存，例如2级(L2)、3级(L3)、4级(L4)或其他级别的高速缓存，其中将外部存储器之前的最高级别的高速缓存归类为LLC。在至少一个实施例中，高速缓存一致性逻辑维持各种高速缓存单元3806和3804A-3804N之间的一致性。
在至少一个实施例中，处理器3800还可包括一组一个或更多个总线控制器单元3816和系统代理核心3810。在至少一个实施例中，一个或更多个总线控制器单元3816管理一组外围总线，例如一个或更多个PCI或PCIe总线。在至少一个实施例中，系统代理核心3810为各种处理器组件提供管理功能。在至少一个实施例中，系统代理核心3810包括一个或更多个集成存储器控制器3814，以管理对各种外部存储器设备(未示出)的访问。
在至少一个实施例中，一个或更多个处理器核心3802A-3802N包括对多线程同时进行的支持。在至少一个实施例中，系统代理核心3810包括用于在多线程处理期间协调和操作核心3802A-3802N的组件。在至少一个实施例中，系统代理核心3810可以另外包括电源控制单元(PCU)，该电源控制单元包括用于调节处理器核心3802A-3802N和图形处理器3808的一个或更多个电源状态的逻辑和组件。
在至少一个实施例中，处理器3800还包括用于执行图处理操作的图形处理器3808。在至少一个实施例中，图形处理器3808与共享高速缓存单元3806和包括一个或更多个集成存储器控制器3814的系统代理核心3810耦合。在至少一个实施例中，系统代理核心3810还包括用于驱动图形处理器输出到一个或更多个耦合的显示器的显示器控制器3811。在至少一个实施例中，显示器控制器3811也可以是经由至少一个互连与图形处理器3808耦合的独立模块，或者可以集成在图形处理器3808内。
在至少一个实施例中，基于环的互连单元3812用于耦合处理器3800的内部组件。在至少一个实施例中，可以使用替代性互连单元，例如点对点互连、交换互连或其他技术。在至少一个实施例中，图形处理器3808经由I/O链路3813与环形互连3812耦合。
在至少一个实施例中，I/O链路3813代表多种I/O互连中的至少一种，包括促进各种处理器组件与高性能嵌入式存储器模块3818(例如eDRAM模块)之间的通信的封装I/O互连。在至少一个实施例中，处理器核心3802A-3802N和图形处理器3808中的每一个使用嵌入式存储器模块3818作为共享的最后一级高速缓存。
在至少一个实施例中，处理器核心3802A-3802N是执行公共指令集架构的同质核心。在至少一个实施例中，处理器核心3802A-3802N在指令集架构(ISA)方面是异构的，其中一个或更多个处理器核心3802A-3802N执行公共指令集，而一个或更多个其他核心处理器核心3802A-3802N执行公共指令集的子集或不同指令集。在至少一个实施例中，就微架构而言，处理器核心3802A-3802N是异构的，其中具有相对较高功耗的一个或更多个核心与具有较低功耗的一个或更多个功率核心耦合。在至少一个实施例中，处理器3800可以在一个或更多个芯片上实现或被实现为SoC集成电路。
推理和/或训练逻辑1015用于执行与一个或更多个实施例相关联的推理和/或训练操作。下文结合图9和/或图10提供关于推理和/或训练逻辑1015的细节。在至少一个实施例中，部分或全部推理和/或训练逻辑1015可以结合到处理器3800中。例如，在至少一个实施例中，本文描述的训练和/或推理技术可以使用一个或更多个ALU，所述ALU体现在图38中的图形处理器3712、图形核心3802A-3802N、或其他组件中。此外，在至少一个实施例中，本文描述的推理和/或训练操作可以使用除图9或图10所示的逻辑之外的逻辑来完成。在至少一个实施例中，权重参数可以存储在片上或片外存储器和/或寄存器(示出或未示出)中，其配置图形处理器3800的ALU以执行一种或更多种本文所述的机器学习算法、神经网络架构、用例或训练技术。在至少一个实施例中，推理和/或训练逻辑1015用于基于极值点执行分割。
图39是根据本文所述的至少一个实施例的图形处理器核心3900的硬件逻辑的框图。在至少一个实施例中，图形处理器核心3900被包括在图形核心阵列内。在至少一个实施例中，图形处理器核心3900(有时称为核心切片)可以是模块化图形处理器内的一个或更多个图形核心。在至少一个实施例中，图形处理器核心3900是一个图形核心切片的示例，并且本文所述的图形处理器可以基于目标功率和性能包络线包括多个图形核心切片。在至少一个实施例中，每个图形核心3900可以包括与多个子核心3901A-3901F耦合的固定功能块3930，也称为子切片，其包括通用和固定功能逻辑的模块块。
在至少一个实施例中，固定功能块3930包括几何/固定功能管线3936，例如，在较低性能和/或较低功率的图形处理器实施方式中，该几何/固定功能管线3936可由图形处理器3900中的所有子核心共享。在至少一个实施例中，几何/固定功能管线3936包括3D固定功能管线、视频前端单元，线程产生器和线程分派器以及管理统一返回缓冲区的统一返回缓冲区管理器。
在固定的至少一个实施例中，固定功能块3930还包括图形SoC接口3937、图形微控制器3938和媒体管线3939。在固定的至少一个实施例中，图形SoC接口3937提供了图形核心3900以及片上集成电路系统中的其他处理器核心之间的接口。在至少一个实施例中，图形微控制器3938是可编程子处理器，其可配置为管理图形处理器3900的各种功能，包括线程分派、调度和抢占。在至少一个实施例中，媒体管线3939包括有助于对包括图像和视频数据的多媒体数据进行解码、编码、预处理和/或后处理的逻辑。在至少一个实施例中，媒体管线3939经由对子核心3901-3901F内的计算或采样逻辑的请求来实现媒体操作。
在至少一个实施例中，SoC接口3937使图形核心3900能够与通用应用程序处理器核心(例如，CPU)和/或SoC内的其他组件通信，包括存储器层次结构元素，诸如共享的最后一级高速缓存存储器、系统RAM和/或嵌入式片上或封装DRAM。在至少一个实施例中，SoC接口3937还可以使得能够与SoC内的固定功能设备(例如，相机成像管线)进行通信，并且使得能够使用和/或实现可以在图形核心3900和SoC内部的CPU之间共享的全局存储器原子。在至少一个实施例中，SoC接口3937还可以实现用于图形核心3900的电源管理控制，并且启用图形核心3900的时钟域与SoC内的其他时钟域之间的接口。在至少一个实施例中，SoC接口3937使得能够从命令流转化器和全局线程分派器接收命令缓冲区，其配置为向图形处理器内的一个或更多个图形核心中的每一个提供命令和指令。在至少一个实施例中，当要执行媒体操作时，可以将命令和指令分派给媒体管线3939，或者当要执行图形处理操作时，可以将其分配给几何和固定功能管线(例如，几何和固定功能管线3936，几何和固定功能管线3914)。
在至少一个实施例中，图形微控制器3938可以配置为对图形核心3900执行各种调度和管理任务。在至少一个实施例中，图形微控制器3938可以在子核心3901A-3901F中的执行单元(EU)阵列3902A-3902F、3904A-3904F内的各种图形并行引擎上执行图形和/或计算工作负载调度。在至少一个实施例中，在包括图形核心3900的SoC的CPU核心上执行的主机软件可以提交多个图形处理器门铃之一的工作负载，其调用适当的图形引擎上的调度操作。在至少一个实施例中，调度操作包括确定接下来要运行哪个工作负载、将工作负载提交给命令流转化器、抢先在引擎上运行的现有工作负载、监控工作负载的进度以及在工作负载完成时通知主机软件。在至少一个实施例中，图形微控制器3938还可以促进图形核心3900的低功率或空闲状态，从而为图形核心3900提供在图形核心3900内独立于操作系统和/或系统上的图形驱动程序软件的跨低功率状态转换的保存和恢复寄存器的能力。
在至少一个实施例中，图形核心3900可以具有比所示的子核心3901A-3901F多或少达N个模块化子核心。对于每组N个子核心，在至少一个实施例中，图形核心3900还可以包括共享功能逻辑3910、共享和/或高速缓存存储器3912、几何/固定功能管线3914以及附加的固定功能逻辑3916以加速各种图形和计算处理操作。在至少一个实施例中，共享功能逻辑3910可以包括可由图形核心3900内的每个N个子核心共享的逻辑单元(例如，采样器、数学和/或线程间通信逻辑)。在固定的至少一个实施例中，共享和/或高速缓存存储器3912可以是图形核心3900内的N个子核心3901A-3901F的最后一级高速缓存，并且还可以用作可由多个子核心访问的共享存储器。在至少一个实施例中，可以包括几何/固定功能管线3914来代替固定功能块3930内的几何/固定功能管线3936，并且可以包括相同或相似的逻辑单元。
在至少一个实施例中，图形核心3900包括附加的固定功能逻辑3916，其可以包括供图形核心3900使用的各种固定功能加速逻辑。在至少一个实施例中，附加的固定功能逻辑3916包括用于仅位置着色中使用的附加的几何管线。在仅位置着色中，存在至少两个几何管线，而在几何/固定功能管线3916、3936内的完整几何管线和剔除管线中，其是可以包括在附加的固定功能逻辑3916中的附加几何管线。在至少一个实施例中，剔除管线是完整几何管线的修整版。在至少一个实施例中，完整管线和剔除管线可以执行应用程序的不同实例，每个实例具有单独的环境。在至少一个实施例中，仅位置着色可以隐藏被丢弃的三角形的长剔除运行，从而在某些情况下可以更早地完成着色。例如，在至少一个实施例中，附加固定功能逻辑3916中的剔除管线逻辑可以与主应用程序并行执行位置着色器，并且通常比完整管线更快地生成关键结果，因为剔除管线获取并遮蔽顶点的位置属性，无需执行光栅化和将像素渲染到帧缓冲区。在至少一个实施例中，剔除管线可以使用生成的临界结果来计算所有三角形的可见性信息，而与这些三角形是否被剔除无关。在至少一个实施例中，完整管线(在这种情况下可以称为重播管线)可以消耗可见性信息来跳过剔除的三角形以仅遮盖最终传递到光栅化阶段的可见三角形。
在至少一个实施例中，附加的固定功能逻辑3916还可包括机器学习加速逻辑，例如固定功能矩阵乘法逻辑，用于实现包括用于机器学习训练或推理的优化。
在至少一个实施例中，在每个图形子核心3901A-3901F内包括一组执行资源，其可用于响应于图形管线、媒体管线或着色器程序的请求来执行图形、媒体和计算操作。在至少一个实施例中，图形子核心3901A-3901F包括多个EU阵列3902A-3902F、3904A-3904F，线程分派和线程间通信(TD/IC)逻辑3903A-3903F，3D(例如，纹理)采样器3905A-3905F，媒体采样器3906A-3906F，着色器处理器3907A-3907F和共享本地存储器(SLM)3908A-3908F。EU阵列3902A-3902F、3904A-3904F每个都包含多个执行单元，这些执行单元是通用图形处理单元，能够为图形、媒体或计算操作提供服务，执行浮点和整数/定点逻辑运算，包括图形、媒体或计算着色器程序。在至少一个实施例中，TD/IC逻辑3903A-3903F为子核心内的执行单元执行本地线程分派和线程控制操作，并促进在子核心的执行单元上执行的线程之间的通信。在至少一个实施例中，3D采样器3905A-3905F可以将与纹理或其他3D图形相关的数据读取到存储器中。在至少一个实施例中，3D采样器可以基于与给定纹理相关联的配置的采样状态和纹理格式来不同地读取纹理数据。在至少一个实施例中，媒体采样器3906A-3906F可以基于与媒体数据相关联的类型和格式来执行类似的读取操作。在至少一个实施例中，每个图形子核心3901A-3901F可以可替代地包括统一的3D和媒体采样器。在至少一个实施例中，在每个子核心3901A-3901F内的执行单元上执行的线程可以利用每个子核心内的共享本地存储器3908A-3908F，以使在线程组内执行的线程能够使用片上存储器的公共池来执行。
推理和/或训练逻辑1015用于执行与一个或更多个实施例相关联的推理和/或训练操作。下文结合图9和/或图10提供关于推理和/或训练逻辑1015的细节。在至少一个实施例中，推理和/或训练逻辑1015的部分或全部可以被合并到图形处理器3910中。例如，在至少一个实施例中，本文描述的训练和/或推理技术可以使用在图形处理器3712、图形微控制器3938、几何和固定功能管线3914和3936或图38中的其他逻辑中体现的一个或更多个ALU。此外，在至少一个实施例中，本文描述的推理和/或训练操作可以使用除图9或图10所示的逻辑以外的逻辑来完成。在至少一个实施例中，权重参数可以存储在片上或片外存储器和/或寄存器(示出或未示出)中，其配置图形处理器3900的ALU以执行一种或更多种本文描述的机器学习算法、神经网络架构、用例或训练技术。在至少一个实施例中，推理和/或训练逻辑1015用于基于极值点执行分割。
图40-41示出了根据至少一个实施例的包括图形处理器核心的处理元件的阵列的线程执行逻辑4000。图40示出了至少一个实施例，其中使用了线程执行逻辑4000。图41示出了根据至少一个实施例的执行单元的示例性内部细节。
如图40中所示，在至少一个实施例中，线程执行逻辑4000包括着色器处理器4002、线程分派器4004、指令高速缓存4006、包括多个执行单元4008A-4008N的可缩放执行单元阵列、采样器4010、数据高速缓存4012和数据端口4014。在至少一个实施例中，可缩放执行单元阵列可以例如基于工作负载的计算要求，通过启用或禁用一个或更多个执行单元(例如，执行单元4008A、4008B、4008C、4008D、至4008N-1和4008N的任意一个)来动态缩放。在至少一个实施例中，可缩放执行单元通过链路到每个执行单元的互连结构互连。在至少一个实施例中，线程执行逻辑4000包括通过指令高速缓存4006、数据端口4014、采样器4010和执行单元4008A-4008N中的一个或更多个到存储器(诸如系统存储器或高速缓存存储器)的一个或更多个连接。在至少一个实施例中，每个执行单元(例如4008A)是独立的可编程通用计算单元，其能够执行多个同时的硬件线程，同时针对每个线程并行处理多个数据元素。在至少一个实施例中，执行单元4008A-4008N的阵列可缩放以包括任意数量的单独执行单元。
在至少一个实施例中，执行单元4008A-4008N主要用于执行着色器程序。在至少一个实施例中，着色器处理器4002可以处理各种着色器程序并经由线程分派器4004来分派与着色器程序相关联的执行线程。在至少一个实施例中，线程分派器4004包括用于仲裁来自图形和媒体管线的线程初始化请求以及在执行单元4008A-4008N中的一个或更多个执行单元上实例化请求的线程的逻辑。例如，在至少一个实施例中，几何管线可以将顶点、镶嵌或几何着色器分派到线程执行逻辑以进行处理。在至少一个实施例中，线程分派器4004还可以处理来自执行着色器程序的运行时线程产生请求。
在至少一个实施例中，执行单元4008A-4008N支持一种指令集，该指令集包括对许多标准3D图形着色器指令的本机支持，从而使图形库(例如Direct 3D和OpenGL)中的着色器程序只需最少的转换即可执行。在至少一个实施例中，执行单元支持顶点和几何处理(例如，顶点程序、几何程序、顶点着色器)、像素处理(例如，像素着色器、片段着色器)和通用处理(例如，计算和媒体着色器)。在至少一个实施例中，每个执行单元4008A-4008N包括一个或更多个算术逻辑单元(ALU)，能够执行多发出单指令多数据(SIMD)，并且多线程操作实现了高效的执行环境尽管有更高的延迟存储器访问。在至少一个实施例中，每个执行单元内的每个硬件线程具有专用的高带宽寄存器文件和相关的独立线程状态。在至少一个实施例中，执行是每个时钟到管线的多次发出，管线能够进行整数、单精度和双精度浮点运算、SIMD分支功能、逻辑运算、先验运算和其他其他运算。在至少一个实施例中，在等待来自存储器或共享功能之一的数据时，执行单元4008A-4008N内的依赖性逻辑使等待线程休眠直到返回了所请求的数据。在至少一个实施例中，当等待线程正在休眠时，硬件资源可以专用于处理其他线程。例如，在至少一个实施例中，在与顶点着色器操作相关联的延迟期间，执行单元可以对像素着色器、片段着色器或另一类型的着色器程序(包括不同的顶点着色器)执行操作。
在至少一个实施例中，执行单元4008A-4008N中的每一个执行单元在数据元素的阵列上进行操作。在至少一个实施例中，多个数据元素是“执行大小”或指令的通道数。在至少一个实施例中，执行通道是用于指令内的数据元素访问、屏蔽和流控制的执行的逻辑单元。在至少一个实施例中，多个通道可以独立于用于特定图形处理器的多个物理算术逻辑单元(ALU)或浮点单元(FPU)。在至少一个实施例中，执行单元4008A-4008N支持整数和浮点数据类型。
在至少一个实施例中，执行单元指令集包括SIMD指令。在至少一个实施例中，各种数据元素可以作为封装数据类型存储在寄存器中，并且执行单元将基于那些元素的数据大小来处理各种元素。例如，在至少一个实施例中，当对256位宽的向量进行操作时，将向量的256位存储在寄存器中，并且执行单元对向量进行操作，作为四个单独的64位封装数据元素(四字(QW)大小数据元素)、八个单独的32位封装数据元素(双字(DW)大小数据元素)、十六个单独的16位封装数据元素(单词(W)大小数据元素)或三十二个单独的8位数据元素(字节(B)大小的数据元素)。然而，在至少一个实施例中，不同的向量宽度和寄存器大小是可能的。
在至少一个实施例中，一个或更多个执行单元可以被组合成具有对于融合EU共同的线程控制逻辑(4007A-4007N)的融合执行单元4009A-4009N。在至少一个实施例中，可以将多个EU融合成一个EU组。在至少一个实施例中，融合EU组中的每个EU可以配置为执行单独的SIMD硬件线程。融合的EU组中的EU的数量可以根据各个实施例而变化。在至少一个实施例中，每个EU可以执行各种SIMD宽度，包括但不限于SIMD8、SIMD16和SIMD32。在至少一个实施例中，每个融合图形执行单元4009A-4009N包括至少两个执行单元。例如，在至少一个实施例中，融合执行单元4009A包括第一EU 4008A、第二EU 4008B以及第一EU 4008A和第二EU 4008B共有的线程控制逻辑4007A。在至少一个实施例中，线程控制逻辑4007A控制在融合图形执行单元4009A上执行的线程，从而允许融合执行单元4009A-4009N内的每个EU使用公共指令指针寄存器来执行。
在至少一个实施例中，一个或更多个内部指令高速缓存(例如4006)被包括在线程执行逻辑4000中以高速缓存用于执行单元的线程指令。在至少一个实施例中，包括一个或更多个数据高速缓存(例如4012)以在线程执行期间高速缓存线程数据。在至少一个实施例中，包括采样器4010以提供用于3D操作的纹理采样和用于媒体操作的媒体采样。在至少一个实施例中，采样器4010包括专门的纹理或媒体采样功能，以在将采样数据提供给执行单元之前在采样过程中处理纹理或媒体数据。
在执行期间，在至少一个实施例中，图形和媒体管线通过线程产生和分派逻辑将线程发起请求发送到线程执行逻辑4000。在至少一个实施例中，一旦一组几何对象已经被处理并光栅化成像素数据，则在着色器处理器4002内的像素处理器逻辑(例如，像素着色器逻辑、片段着色器逻辑等)被调用以进一步计算输出信息并且导致将结果写入输出表面(例如，颜色缓冲区、深度缓冲区、模板缓冲区等)。在至少一个实施例中，像素着色器或片段着色器计算要在光栅化对象上插值的各种顶点属性的值。在至少一个实施例中，着色器处理器4002内的像素处理器逻辑然后执行应用程序接口(API)提供的像素或片段着色器程序。在至少一个实施例中，为了执行着色器程序，着色器处理器4002经由线程分派器4004将线程分派到执行单元(例如4008A)。在至少一个实施例中，着色器处理器4002使用采样器4010中的纹理采样逻辑来访问存储在存储器中的纹理贴图中的纹理数据。在至少一个实施例中，对纹理数据和输入几何数据的算术运算为每个几何片段计算像素颜色数据，或者丢弃一个或更多个像素以进行进一步处理。
在至少一个实施例中，数据端口4014提供了一种用于线程执行逻辑4000的存储器访问机制，以将处理后的数据输出到存储器以在图形处理器输出管线上进行进一步处理。在至少一个实施例中，数据端口4014包括或耦合到一个或更多个高速缓存存储器(例如，数据高速缓存4012)以高速缓存数据以便经由数据端口进行存储器访问。
如图41所示，在至少一个实施例中，图形执行单元4008可以包括指令获取单元4037、通用寄存器文件阵列(GRF)4024、架构寄存器文件阵列(ARF)4026、线程仲裁器4022、发送单元4030、分支单元4032、一组SIMD浮点单元(FPU)4034，以及在至少一个实施例中，一组专用整数SIMD ALU 4035。在至少一个实施例中，GRF 4024和ARF 4026包括一组与可以在图形执行单元4008中活跃的每个同时硬件线程相关联的通用寄存器文件和架构寄存器文件。在至少一个实施例中，在ARF 4026中维护每个线程架构状态，而在线程执行期间使用的数据存储在GRF 4024中。在至少一个实施例中，每个线程的执行状态，包括每个线程的指令指针，可以被保存在ARF 4026中的线程专用寄存器中。
在至少一个实施例中，图形执行单元4008具有一种架构，该架构是同时多线程(SMT)和细粒度交错多线程(IMT)的组合。在至少一个实施例中，架构具有模块化配置，该模块化配置可以在设计时基于同时线程的目标数量和每个执行单元的寄存器数量来进行微调，其中执行单元资源在用于执行多个同时线程的逻辑上分配。
在至少一个实施例中，图形执行单元4008可以共同发布多个指令，每个指令可以是不同的指令。在至少一个实施例中，图形执行单元线程4008的线程仲裁器4022可以将指令分派到发送单元4030、分支单元4032或SIMD FPU 4034之一以供执行。在至少一个实施例中，每个执行线程可以访问GRF 4024中的128个通用寄存器，其中每个寄存器可以存储32个字节，可以作为32位数据元素的SIMD 8元素向量进行访问。在至少一个实施例中，每个执行单元线程可以访问GRF 4024中的4KB，尽管实施例不限于此，并且在其他实施例中可以提供更多或更少的寄存器资源。在至少一个实施例中，尽管每个执行单元的线程数量也可以根据实施例而变化，但是最多可以同时执行七个线程。在其中七个线程可以访问4KB的至少一个实施例中，GRF 4024可以存储总共28KB。在至少一个实施例中，灵活的寻址模式可以允许将寄存器一起寻址以有效地建立更宽的寄存器或表示跨步的矩形块数据结构。
在至少一个实施例中，经由由消息传递发送单元4030执行的“发送”指令来调度存储器操作、采样器操作和其他更长延迟的系统通信。在至少一个实施例中，将分支指令分派到专用分支单元4032促进SIMD发散和最终收敛。
在至少一个实施例中，图形执行单元4008包括一个或更多个SIMD浮点单元(FPU)4034，以执行浮点操作。在至少一个实施例中，一个或更多个FPU 4034还支持整数计算。在至少一个实施例中，一个或更多个FPU 4034可以SIMD执行多达M个32位浮点(或整数)运算，或者SIMD执行多达2M个16位整数或16位浮点运算。在至少一个实施例中，至少一个FPU提供扩展的数学能力以支持高吞吐量的先验数学函数和双精度64位浮点。在至少一个实施例中，还存在一组8位整数SIMD ALU 4035，并且可以被专门优化以执行与机器学习计算相关的操作。
在至少一个实施例中，可以在图形子核心分组(例如，子切片)中实例化图形执行单元4008的多个实例的阵列。在至少一个实施例中，执行单元4008可以跨多个执行通道执行指令。在至少一个实施例中，在图形执行单元4008上执行的每个线程在不同的通道上执行。
推理和/或训练逻辑1015用于执行与一个或更多个实施例相关联的推理和/或训练操作。下面结合图9和/或图10提供关于推理和/或训练逻辑1015的细节。在至少一个实施例中，推理和/或训练逻辑1015的部分或全部可以被结合到执行逻辑4000中。此外，在至少一个实施例中，可以使用除了图9或图10中所示的逻辑之外的逻辑来完成在此描述的推理和/或训练操作。在至少一个实施例中，权重参数可以存储在片上或片外存储器和/或寄存器(示出或未示出)中，其配置执行逻辑4000的ALU以执行一种或更多种机器学习算法、神经网络架构、用例或本文描述的训练技术。在至少一个实施例中，推理和/或训练逻辑1015用于基于极值点执行分割。
图42示出了根据至少一个实施例的并行处理单元(“PPU”)4200。在至少一个实施例中，PPU 4200配置有机器可读代码，该机器可读代码如果由PPU 4200执行，则使得PPU4200执行贯穿本公开描述的一些或全部过程和技术。在至少一个实施例中，PPU 4200是在一个或更多个集成电路设备上实现的多线程处理器，并且利用多线程作为被设计为处理在多个线程上并行执行的计算机可读指令(也称为机器可读指令或简单的指令)的延迟隐藏技术。在至少一个实施例中，线程是指执行线程，并且是被配置为由PPU 4200执行的一组指令的实例。在至少一个实施例中，PPU 4200是图形处理单元(“GPU”)，图形处理单元配置为实现用于处理三维(“3D”)图形数据的图形渲染管线，以便生成用于在显示设备(诸如液晶显示器(“LCD”)设备)上显示的二维(“2D”)图像数据。在至少一个实施例中，PPU 4200用于执行计算，诸如线性代数运算和机器学习运算。图42仅出于说明性目的示出了示例并行处理器，并且应被解释为在本公开的范围内设想的处理器架构的非限制性示例，并且可以采用任何适当的处理器来对其进行补充和/或替代。
在至少一个实施例中，一个或更多个PPU 4200配置成加速高性能计算(“HPC”)、数据中心和机器学习应用程序。在至少一个实施例中，PPU 4200配置成加速深度学习系统和应用程序，包括以下非限制性示例：自动驾驶汽车平台、深度学习、高精度语音、图像、文本识别系统、智能视频分析、分子模拟、药物发现、疾病诊断、天气预报、大数据分析、天文学、分子动力学模拟、财务建模、机器人技术、工厂自动化、实时语言翻译、在线搜索优化以及个性化用户推荐等。
在至少一个实施例中，PPU 4200包括但不限于输入/输出(“I/O”)单元4206、前端单元4210、调度器单元4212、工作分配单元4214、集线器4216、交叉开关(“Xbar”)4220、一个或更多个通用处理集群(“GPC”)4218和一个或更多个分区单元(“存储器分区单元”)4222。在至少一个实施例中，PPU 4200通过一个或更多个高速GPU互连(“GPU互连”)4208连接到主机处理器或其他PPU 4200。在至少一个实施例中，PPU 4200通过互连4202连接到主机处理器或其他外围设备。在至少一个实施例中，PPU 4200连接到包括一个或更多个存储器设备(“存储器”)4204的本地存储器。在至少一个实施例中，存储器设备4204包括但不限于一个或更多个动态随机存取存储器(“DRAM”)设备。在至少一个实施例中，一个或更多个DRAM设备配置和/或可配置为高带宽存储器(“HBM”)子系统，并且在每个设备内堆叠有多个DRAM管芯。
在至少一个实施例中，高速GPU互连4208可以指代系统使用其来进行缩放的基于线的多通道通信链路，并包括与一个或更多个中央处理单元结合的一个或更多个PPU 4200(“CPU”)，支持PPU 4200和CPU之间的缓存相干以及CPU主控。在至少一个实施例中，高速GPU互连4208通过集线器4216将数据和/或命令传输到PPU 4200的其他单元，例如一个或更多个复制引擎、视频编码器、视频解码器、电源管理单元和/或在图42中可能未明确示出的其他组件。
在至少一个实施例中，I/O单元4206配置为通过系统总线4202从主机处理器(图42中未示出)发送和接收通信(例如，命令、数据)。在至少一个实施例中，I/O单元4206直接通过系统总线4202或通过一个或更多个中间设备(例如存储器桥)与主机处理器通信。在至少一个实施例中，I/O单元4206可以经由系统总线4202与一个或更多个其他处理器(例如一个或更多个PPU 4200)通信。在至少一个实施例中，I/O单元4206实现外围组件互连Express(“PCIe”)接口，用于通过PCIe总线进行通信。在至少一个实施例中，I/O单元4206实现用于与外部设备通信的接口。
在至少一个实施例中，I/O单元4206对经由系统总线4202接收的分组进行解码。在至少一个实施例中，至少一些分组表示被配置为使PPU 4200执行各种操作的命令。在至少一个实施例中，I/O单元4206如命令所指定的那样将解码的命令发送到PPU 4200的各种其他单元。在至少一个实施例中，命令被发送到前端单元4210和/或被发送到集线器4216或PPU 4200的其他单元，例如一个或更多个复制引擎、视频编码器、视频解码器、电源管理单元等(图42中未明确示出)。在至少一个实施例中，I/O单元4206配置为在PPU 4200的各种逻辑单元之间路由通信。
在至少一个实施例中，由主机处理器执行的程序在缓冲区中对命令流进行编码，该缓冲区将工作负载提供给PPU 4200以进行处理。在至少一个实施例中，工作负载包括指令和要由那些指令处理的数据。在至少一个实施例中，缓冲区是可由主机处理器和PPU4200两者访问(例如，读/写)的存储器中的区域—主机接口单元可以配置为访问经由I/O单元4206通过系统总线4202传输的存储器请求连接到系统总线4202的系统存储器中的缓冲区。在至少一个实施例中，主机处理器将命令流写入缓冲区，然后将指示命令流开始的指针发送给PPU 4200，使得前端单元4210接收指向一个或更多个命令流指针并管理一个或更多个命令流，从命令流中读取命令并将命令转发到PPU 4200的各个单元。
在至少一个实施例中，前端单元4210耦合到调度器单元4212，该调度器单元4212配置各种GPC 4218以处理由一个或更多个命令流定义的任务。在至少一个实施例中，调度器单元4212配置为跟踪与调度器单元4212管理的各种任务有关的状态信息，其中状态信息可以指示任务被分配给哪个GPC 4218，任务是活跃的还是非活跃的，与任务相关联的优先级等等。在至少一个实施例中，调度器单元4212管理在一个或更多个GPC 4218上执行的多个任务。
在至少一个实施例中，调度器单元4212耦合到工作分配单元4214，该工作分配单元4214配置为分派任务以在GPC 4218上执行。在至少一个实施例中，工作分配单元4214跟踪从调度器单元4212接收到的多个调度任务并且工作分配单元4214管理每个GPC 4218的待处理任务池和活跃任务池。在至少一个实施例中，待处理任务池包括多个时隙(例如32个时隙)，这些时隙包含分配给要由特定的GPC 4218处理的任务；活跃任务池可包括用于由GPC 4218主动处理的任务的多个时隙(例如4个时隙)，以使随着GPC 4218中的一个完成任务的执行，该任务将从GPC 4218的活动任务池中逐出，并且从待处理任务池中选择另一个任务，并被调度用于在GPC 4218上执行。在至少一个实施例中，如果活动任务在GPC 4218上处于空闲状态，例如在等待数据依赖性解决时，则活动任务从GPC 4218中逐出并返回到待处理任务池，同时选择待处理任务池中的另一个任务并被调度以在GPC 4218上执行。
在至少一个实施例中，工作分配单元4214经由XBar 4220与一个或更多个GPC4218通信。在至少一个实施例中，XBar 4220是互连网络，其将PPU 4200的许多单元耦合到PPU 4200的其他单元，并且可以配置为将工作分配单元4214耦合到特定的GPC 4218。在至少一个实施例中，一个或更多个PPU 4200的其他单元也可以通过集线器4216连接到XBar4220。
在至少一个实施例中，任务由调度器单元4212管理，并由工作分配单元4214分配给GPC 4218之一。GPC 4218被配置为处理任务并产生结果。在至少一个实施例中，结果可以由GPC 4218中的其他任务消耗，通过XBar 4220路由到不同的GPC 4218或存储在存储器4204中。在至少一个实施例中，结果可以通过分区单元4222写到存储器4204中，其实现了用于向存储器4204写入数据或从存储器4204读取数据的存储器接口。在至少一个实施例中，结果可以经由高速GPU互连4208传输到另一PPU 4204或CPU。在至少一个实施例中，PPU4200包括但不限于U个分区单元4222，其等于耦合到PPU 4200的分离且不同的存储器设备4204的数量。在至少一个实施例中，分区单元4222将在下文结合图44进行更详细地描述。
在至少一个实施例中，主机处理器执行驱动器核心，该驱动程序核心实现应用程序编程接口(API)，该应用程序编程接口使在主机处理器上执行的一个或更多个应用程序能够调度操作以在PPU 4200上执行。在一个实施例中，多个计算应用程序由PPU 4200同时执行，并且PPU 4200为多个计算应用程序提供隔离、服务质量(“QoS”)和独立的地址空间。在至少一个实施例中，应用程序生成指令(例如，以API调用的形式)，该指令使驱动器核心生成一个或更多个任务以供PPU 4200执行，并且驱动器核心将任务输出至由PPU 4200处理的一个或更多个流。在至少一个实施例中，每个任务包括一个或更多个相关线程组，其可以被称为线程束(warp)。在至少一个实施例中，线程束包括可以并行执行的多个相关线程(例如32个线程)。在至少一个实施例中，协作线程可以指代多个线程，包括用于执行任务并且通过共享存储器交换数据的指令，结合图44根据至少一个实施例更详细地描述了线程和协作线程。
推理和/或训练逻辑1015用于执行与一个或更多个实施例相关联的推理和/或训练操作。下文结合图9和/或图10提供关于推理和/或训练逻辑1015的细节。在至少一个实施例中，深度学习应用程序处理器用于训练机器学习模型(诸如神经网络)，以预测或推理提供给PPU 4200的信息。在至少一个实施例中，PPU 4200用于基于已由另一处理器或系统或PPU 4200经训练的经训练的机器学习模型(例如，神经网络)推理或预测信息。在至少一个实施例中，PPU 4200可用于执行本文所述的一个或更多个神经网络用例。在至少一个实施例中，推理和/或训练逻辑1015用于基于极值点执行分割。
图43示出了根据至少一个实施例的通用处理集群(“GPC”)4300。
在至少一个实施例中，GPC 4300是图42的GPC 4218。在至少一个实施例中，每个GPC 4300包括但不限于用于处理任务的多个硬件单元，并且每个GPC 4300包括但不限于管线管理器4302、预光栅操作单元(“PROP”)4304、光栅引擎4308、工作分配交叉开关(“WDX”)4316、存储器管理单元(“MMU”)4318、一个或更多个数据处理集群(“DPC”)4306，以及部件的任何合适组合。
在至少一个实施例中，GPC 4300的操作由管线管理器4302控制。在至少一个实施例中，管线管理器4302管理一个或更多个DPC 4306的配置，以处理分配给GPC 4300的任务。在至少一个实施例中，管线管理器4302配置一个或更多个DPC 4306中的至少一个以实现图形渲染管线的至少一部分。在至少一个实施例中，DPC 4306配置为在可编程流式多处理器(“SM”)4314上执行顶点着色器程序。在至少一个实施例中，管线管理器4302配置为将从工作分配单元接收的数据包路由到GPC 4300内的适当逻辑单元，以及在至少一个实施例中，可以将一些数据包路由到PROP 4304和/或光栅引擎4308中的固定功能硬件单元，而可以将其他数据包路由到DPC 4306以由原始引擎4312或SM 4314进行处理。在至少一个实施例中，管线管理器4302配置DPC 4306中的至少一个以实现神经网络模型和/或计算管线。
在至少一个实施例中，PROP单元4304配置为在至少一个实施例中将由光栅引擎4308和DPC 4306生成的数据路由到分区单元4222中的光栅操作(“ROP”)单元，上面结合图42更详细地描述。在至少一个实施例中，PROP单元4304配置为执行用于颜色混合的优化、组织像素数据、执行地址转换等等。在至少一个实施例中，光栅引擎4308包括但不限于配置为执行各种光栅操作的多个固定功能硬件单元，并且在至少一个实施例中，光栅引擎4308包括但不限于设置引擎、粗光栅引擎、剔除引擎、裁剪引擎、精细光栅引擎、图块聚合引擎及其任意合适的组合。在至少一个实施例中，设置引擎接收变换后的顶点并生成与由顶点定义的几何图元相关联的平面方程；平面方程式被传送到粗光栅引擎以生成基本图元的覆盖信息(例如，图块的x、y覆盖范围掩码)；粗光栅引擎的输出将传输到剔除引擎，在剔除引擎中与z测试失败的图元相关联的片段将被剔除，并传输到剪切引擎，在剪切引擎中剪切位于视锥范围之外的片段。在至少一个实施例中，将经过裁剪和剔除的片段传递给精细光栅引擎，以基于设置引擎生成的平面方程式生成像素片段的属性。在至少一个实施例中，光栅引擎4308的输出包括将由任何适当的实体(例如，由在DPC 4306内实现的片段着色器)处理的片段。
在至少一个实施例中，包括在GPC 4300中的每个DPC 4306包括但不限于M管线控制器(“MPC”)4310；图元引擎4312；一个或更多个SM 4314；及其任何合适的组合。在至少一个实施例中，MPC 4310控制DPC 4306的操作，将从管线管理器4302接收的分组路由到DPC4306中的适当单元。在至少一个实施例中，将与顶点相关联的分组路由到图元引擎4312，图元引擎4312配置为从存储器中获取与顶点关联的顶点属性；相反，可以将与着色器程序相关联的数据包发送到SM 4314。
在至少一个实施例中，SM 4314包括但不限于可编程流式处理器，其配置为处理由多个线程表示的任务。在至少一个实施例中，SM 4314是多线程的并且配置为同时执行来自特定线程组的多个线程(例如32个线程)，并且实现单指令、多数据(“SIMD”)架构，其中将一组线程(例如，线程束)中的每个线程配置为基于相同的指令集来处理不同的数据集。在至少一个实施例中，线程组中的所有线程执行相同指令。在至少一个实施例中，SM 4314实现单指令、多线程(“SIMT”)架构，其中一组线程中的每个线程配置为基于相同指令集来处理不同的数据集，但是其中线程组中的各个线程允许在执行期间发散。在至少一个实施例中，为每个线程束维护程序计数器、调用栈和执行状态，从而当线程束中的线程发散时，实现线程束和线程束内的串行执行之间的并发性。在另一个实施例中，为每个单独的线程维护程序计数器、调用栈和执行状态，从而使得在线程束内和线程束之间的所有线程之间具有相等的并发性。在至少一个实施例中，为每个单独的线程维持执行状态，并且可以收敛并并行地执行执行相同指令的线程以提高效率。下文更详细地描述了SM 4314的至少一个实施例。
在至少一个实施例中，MMU 4318在GPC 4300和存储器分区单元(例如，图42的分区单元4222)之间提供接口，并且MMU 4318提供虚拟地址到物理地址的转换、存储器保护以及存储器请求的仲裁。在至少一个实施例中，MMU 4318提供一个或更多个转换后备缓冲区(“TLB”)，用于执行虚拟地址到存储器中的物理地址的转换。
推理和/或训练逻辑1015用于执行与一个或更多个实施例相关联的推理和/或训练操作。下文结合图9和/或图10提供关于推理和/或训练逻辑1015的细节。在至少一个实施例中，深度学习应用程序处理器用于训练机器学习模型(诸如神经网络)，以预测或推理提供给GPC 4300的信息。在至少一个实施例中，GPC 4300用于基于已由另一处理器或系统或GPC 4300经训练的机器学习模型(例如，神经网络)推理或预测信息。在至少一个实施例中，GPC 4300可用于执行本文所述的一个或更多个神经网络用例。在至少一个实施例中，推理和/或训练逻辑1015用于基于极值点执行分割。在至少一个实施例中，推理和/或训练逻辑1015用于基于极值点执行分割。
图44示出了根据至少一个实施例的并行处理单元(“PPU”)的存储器分区单元4400。在至少一个实施例中，存储器分区单元4400包括但不限于光栅操作(“ROP”)单元4402；二级(“L2”)高速缓存4404；存储器接口4406；及其任何合适的组合。在至少一个实施例中，存储器接口4406耦合到存储器。在至少一个实施例中，存储器接口4406可以实现32、64、128、1024位数据总线，或者类似的实现方式用于高速数据传输。在至少一个实施例中，PPU包括U个存储器接口4406，每对分区单元4400一个存储器接口4406，其中每对分区单元4400连接到对应的存储器设备。例如，在至少一个实施例中，PPU可以连接至多达Y个存储器设备，例如高带宽存储器堆栈或图形双数据速率版本5同步动态随机存取存储器(“GDDR5SDRAM”)。
在至少一个实施例中，存储器接口4406实现高带宽存储器第二代(“HBM2”)存储器接口，并且Y等于U的一半。在至少一个实施例中，HBM2存储器堆栈与PPU位于相同的物理封装上，与常规的GDDR5SDRAM系统相比，可提供大量功率并节省面积。在至少一个实施例中，每个HBM2堆栈包括但不限于四个存储器管芯，且Y＝4，每个HBM2堆栈包括每个管芯两个128位通道，用于总共8个通道和1024位的数据总线宽度。在至少一个实施例中，存储器支持单错误校正双错误检测(“SECDED”)错误校正码(“ECC”)以保护数据。在至少一个实施例中，ECC可以为对数据损坏敏感的计算应用程序提供更高的可靠性。
在至少一个实施例中，PPU实现了多级存储器层次结构。在至少一个实施例中，存储器分区单元4400支持统一存储器以为中央处理单元(“CPU”)和PPU存储器提供单个统一虚拟地址空间，从而实现虚拟存储器系统之间的数据共享。在至少一个实施例中，追踪PPU对位于其他处理器上的存储器的访问频率，以确保将存储器页面移动到更频繁地访问页面的PPU的物理存储器。在至少一个实施例中，高速GPU互连4208支持地址转换服务，其允许PPU直接访问CPU的页表，并通过PPU提供对CPU存储器的完全访问。
在至少一个实施例中，复制引擎在多个PPU之间或PPU与CPU之间传输数据。在至少一个实施例中，复制引擎可以为未被映射到页表中的地址生成页面错误，并且存储器分区单元4400然后为页面错误提供服务，将地址映射到页表中，之后复制引擎执行传输。在至少一个实施例中，为多个处理器之间的多个复制引擎操作固定(即不可分页)存储器，从而实质上减少了可用存储器。在至少一个实施例中，在硬件页面故障的情况下，可以将地址传递给复制引擎，而无需考虑是否驻留存储器页，并且复制过程是透明的。
根据至少一个实施例，来自图42的存储器4204或其他系统存储器的数据由存储器分区单元4400获取，并将其存储在L2高速缓存4404中，L2高速缓存4404位于芯片上并且在各种GPC之间共享。在至少一个实施例中，每个存储器分区单元4400包括但不限于与对应的存储器设备相关联的L2高速缓存的至少一部分。在至少一个实施例中，在GPC内的各个单元中实现较低级别的高速缓存。在至少一个实施例中，每个SM 4314可以实现一级(“L1”)高速缓存，其中L1高速缓存是专用于特定SM 4314的私有存储器，并且从L2高速缓存4404中获取数据并将其存储在每个L1高速缓存中，用于在SM 4314的功能单元中进行处理。在至少一个实施例中，L2高速缓存4404耦合到存储器接口4406和XBar 4220。
在至少一个实施例中，ROP单元4402执行与像素颜色有关的图形光栅操作，诸如颜色压缩、像素混合等。在至少一个实施例中，ROP单元4402结合光栅引擎4308实施深度测试，从光栅引擎4308的剔除引擎接收与像素片段相关联的样本位置的深度。在至少一个实施例中，针对在与片段关联的样本位置的深度缓冲区中的相应深度测试深度。在至少一个实施例中，如果片段通过了针对样本位置的深度测试，则ROP单元4402更新深度缓冲区，并将深度测试的结果发送给光栅引擎4308。将意识到，分区单元4400的数量可以不同于GPC的数量，因此，可以在至少一个实施例中将每个ROP单元4402耦合到每个GPC。在至少一个实施例中，ROP单元4402追踪从不同GPC接收到的分组，并且确定ROP单元4402生成的结果是否要通过XBar 4220路由到。
图45示出了根据至少一个实施例的流式多处理器(“SM”)4500。在至少一个实施例中，SM 4500是图43的SM 4314。在至少一个实施例中，SM 4500包括但不限于指令高速缓存4502；一个或更多个调度器单元4504；寄存器文件4508；一个或更多个处理核心(“核心”)4510；一个或更多个特殊功能单元(“SFU”)4512；一个或更多个加载/存储单元(“LSU”)4514；互连网络4516；共享存储器/一级(“L1”)高速缓存4518；和其任何合适的组合。在至少一个实施例中，工作分配单元调度任务以在并行处理单元(“PPU”)的通用处理集群(“GPC”)上执行，并且每个任务被分配给GPC内部的特定数据处理集群(“DPC”)，并且如果任务与着色器程序相关联，则将任务分配给SM 4500之一。在至少一个实施例中，调度器单元4504从工作分配单元接收任务并管理分配给SM 4500的一个或更多个线程块的指令调度。在至少一个实施例中，调度器单元4504调度线程块以作为并行线程的线程束来执行，其中，每个线程块被分配至少一个线程束。在至少一个实施例中，每个线程束执行线程。在至少一个实施例中，调度器单元4504管理多个不同的线程块，将线程束分配给不同的线程块，然后在每个时钟周期内将来自多个不同的协作组的指令分派给各种功能单元(例如，处理核心4510、SFU 4512和LSU 4514)。
在至少一个实施例中，协作组可以指用于组织通信线程组的编程模型，其允许开发者表达线程正在通信的粒度，从而能够表达更丰富、更有效的并行分解。在至少一个实施例中，协作启动API支持线程块之间的同步以执行并行算法。在至少一个实施例中，常规编程模型的应用程序提供了用于同步协作线程的单一、简单的构造：跨线程块的所有线程的屏障(例如，syncthreads()函数)。但是，在至少一个实施例中，程序员可以在小于线程块粒度的情形下来定义线程组，并在所定义的组内进行同步，以实现更高的性能、设计灵活性以及以集合组范围功能接口的形式实现软件重用。在至少一个实施例中，协作组使程序员能够以子块(即，小到单个线程)和多块粒度明确定义线程组，并执行集合操作，例如对协作组中的线程进行同步。在至少一个实施例中，编程模型支持跨软件边界的干净组合，从而库和实用程序功能可以在其本地环境中安全地同步，而不必进行关于收敛的假设。在至少一个实施例中，协作组图元使协作并行的新图案成为可能，包括但不限于生产者-消费者并行，机会主义并行以及整个线程块网格上的全局同步。
在至少一个实施例中，分派单元4506配置为将指令发送到功能单元中的一个或更多个，并且调度器单元4504并包括但不限于两个分派单元4506，该两个分派单元4506使得来自相同线程束的两个不同指令能够在每个时钟周期被调度。在至少一个实施例中，每个调度器单元4504包括单个分派单元4506或附加分派单元4506。
在至少一个实施例中，每个SM 4500在至少一个实施例中包括但不限于寄存器文件4508，该寄存器文件4508为SM 4500的功能单元提供了一组寄存器。在至少一个实施例中，寄存器文件4508在每个功能单元之间划分，从而为每个功能单元分配寄存器文件4508的专用部分。在至少一个实施例中，寄存器文件4508在由SM 4500执行的不同线程束之间划分，并且寄存器文件4508为连接到功能单元的数据路径的操作数提供临时存储。在至少一个实施例中，每个SM 4500包括但不限于多个L个处理核心4510。在至少一个实施例中，SM4500包括但不限于大量(例如128个或更多)不同的处理核心4510。在至少一个实施例中，每个处理核心4510在至少一个实施例中包括但不限于全管线、单精度、双精度和/或混合精度处理单元，其包括但不限于浮点算术逻辑单元和整数算术逻辑单元。在至少一个实施例中，浮点算术逻辑单元实现用于浮点算术的IEEE 754-2008标准。在至少一个实施例中，处理核心4510包括但不限于64个单精度(32位)浮点核心、64个整数核心、32个双精度(64位)浮点核心和8个张量核心。
根据至少一个实施例，张量核心配置为执行矩阵运算。在至少一个实施例中，一个或更多个张量核心包括在处理核心4510中。在至少一个实施例中，张量核心配置为执行深度学习矩阵算术，例如用于神经网络训练和推理的卷积运算。在至少一个实施例中，每个张量核心在4×4矩阵上操作并且执行矩阵乘法和累加运算D＝A×B+C，其中A、B、C和D是4×4矩阵。
在至少一个实施例中，矩阵乘法输入A和B是16位浮点矩阵，并且累加矩阵C和D是16位浮点或32位浮点矩阵。在至少一个实施例中，张量核心对16位浮点输入数据进行32位浮点累加运算。在至少一个实施例中，16位浮点乘法使用64个运算，并得到全精度乘积，然后使用32位浮点加法与其他中间乘积累加起来，以进行4x4x4矩阵乘法。在至少一个实施例中，张量核心用于执行由这些较小元件构成的更大的二维或更高维度的矩阵运算。在至少一个实施例中，API(诸如CUDA 9C++API)公开专门的矩阵加载、矩阵乘法和累加以及矩阵存储操作，以有效地使用来自CUDA-C++程序的张量核心。在至少一个实施例中，在CUDA级别，线程束级别接口假定跨越所有32个线程束线程的16×16大小的矩阵。
在至少一个实施例中，每个SM 4500包括但不限于执行特殊功能(例如，属性评估、倒数平方根等)的M个SFU 4512。在至少一个实施例中，SFU 4512包括但不限于配置为遍历分层树数据结构的树遍历单元。在至少一个实施例中，SFU 4512包括但不限于配置为执行纹理映射过滤操作的纹理单元。在至少一个实施例中，纹理单元配置为从存储器中加载纹理映射(例如，纹理像素的2D阵列)和采样纹理映射，以产生采样的纹理值以供由SM 4500执行的着色器程序使用。在至少一个实施例中，将纹理映射存储在共享存储器/L1高速缓存4518中。在至少一个实施例中，根据至少一个实施例，纹理单元使用mip映射(mip-maps)(例如，细节级别不同的纹理映射)来实现纹理操作(诸如过滤操作)。在至少一个实施例中，每个SM 4500包括但不限于两个纹理单元。
在至少一个实施例中，每个SM 4500包括但不限于实现共享存储器/L1高速缓存4518与寄存器文件4508之间的加载和存储操作的N个LSU 4514。在至少一个实施例中，每个SM 4500包括但不限于互连网络4516，其将每个功能单元连接到寄存器文件4508，以及将LSU 4514连接到寄存器文件4508和共享存储器/L1高速缓存4518。在至少一个实施例中，互连网络4516是交叉开关，其可以配置为将任何功能单元连接到寄存器文件4508中的任何寄存器，并且将LSU 4514连接到寄存器文件4508和共享存储器/L1高速缓存4518中的存储器位置。
在至少一个实施例中，共享存储器/L1高速缓存4518是片上存储器的阵列，其在至少一个实施例中允许SM 4500与图元引擎之间以及SM 4500中的线程之间的数据存储和通信。在至少一个实施例中，共享存储器/L1高速缓存4518包括但不限于128KB的存储容量，并且位于从SM 4500到分区单元的路径中。在至少一个实施例中，共享存储器/L1高速缓存4518在至少一个实施例中用于高速缓存读取和写入。在至少一个实施例中，共享存储器/L1高速缓存4518、L2高速缓存和存储器中的一个或更多个是后备存储。
在至少一个实施例中，将数据高速缓存和共享存储器功能组合到单个存储器块中，为两种类型的存储器访问提供了改进的性能。在至少一个实施例中，容量由不使用共享存储器的程序使用或将其用作高速缓存，例如如果共享存储器配置为使用一半容量，并且纹理和加载/存储操作可以使用剩余容量。根据至少一个实施例，在共享存储器/L1高速缓存4518内的集成使共享存储器/L1高速缓存4518能够用作用于流传输数据的高吞吐量管线，同时提供对频繁重用的数据的高带宽和低延迟访问。在至少一个实施例中，当配置用于通用并行计算时，与图形处理相比，可以使用更简单的配置。在至少一个实施例中，绕过固定功能图形处理单元，从而创建了更加简单的编程模型。在至少一个实施例中，在通用并行计算配置中，工作分配单元直接将线程的块分配和分布给DPC。在至少一个实施例中，块中的线程执行相同程序，在计算中使用唯一的线程ID以确保每个线程生成唯一的结果，使用SM 4500执行程序并执行计算，使用共享存储器/L1高速缓存4518在线程之间进行通信，以及使用LSU 4514通过共享存储器/L1高速缓存4518和存储器分区单元来读写全局存储器。在至少一个实施例中，当被配置用于通用并行计算时，SM 4500向调度器单元4504写入可以用来在DPC上启动新工作的命令。
在至少一个实施例中，PPU被包括在或耦合到台式计算机、膝上型计算机、平板电脑、服务器、超级计算机、智能电话(例如，无线、手持设备)、个人数字助理(“PDA”)、数码相机、车辆、头戴式显示器、手持式电子设备等中或与之耦合。在至少一个实施例中，PPU被实现在单个半导体衬底上。在至少一个实施例中，PPU与一个或更多个其他设备(例如附加的PPU、存储器、精简指令集计算机(“RISC”)CPU，一个或更多个存储器管理单元(“MMU”)、数模转换器(“DAC”)等)一起被包括在片上系统(“SoC”)中。
在至少一个实施例中，PPU可以被包括在包括一个或更多个存储设备的图形卡上。图形卡可以配置为与台式计算机主板上的PCIe插槽相连接。在至少一个实施例中，PPU可以是包括在主板的芯片组中的集成图形处理单元(“iGPU”)。
推理和/或训练逻辑1015用于执行与一个或更多个实施例相关的推理和/或训练操作。本文结合图9和/或图10提供关于推理和/或训练逻辑1015的细节。在至少一个实施例中，深度学习应用程序处理器用于训练机器学习模型(诸如神经网络)，以预测或推理提供给SM 4500的信息。在至少一个实施例中，SM 4500用于基于已由另一处理器或系统或由SM4500经训练的机器学习模型(例如，神经网络)推理或预测信息。在至少一个实施例中，SM4500可用于执行一个或更多个本文所述的神经网络用例。在至少一个实施例中，推理和/或训练逻辑1015用于基于极值点执行分割。
在至少一个实施例中，单个半导体平台可以指唯一的单一基于半导体的集成电路或芯片。在至少一个实施例中，可以使用具有增加的连接性的多芯片模块，其模拟芯片上的操作，并且相对于利用常规的中央处理单元(“CPU”)和总线实现方式进行了实质性的改进。在至少一个实施例中，根据用户的需求，各种模块也可以分开放置或以半导体平台的各种组合放置。
在至少一个实施例中，机器可读的可执行代码或计算机控制逻辑算法形式的计算机程序被存储在主存储器1404和/或辅助存储中。根据至少一个实施例，如果由一个或更多个处理器执行，则计算机程序使系统1400能够执行各种功能。在至少一个实施例中，存储器1404、存储和/或任何其他存储是计算机可读介质的可能示例。在至少一个实施例中，辅助存储可以指代任何合适的存储设备或系统，例如硬盘驱动器和/或可移除存储驱动器，其代表软盘驱动器、磁带驱动器、光盘驱动器、数字多功能盘(“DVD”)驱动器、记录设备、通用串行总线(“USB”)闪存等。在至少一个实施例中，各个先前附图的架构和/或功能是在CPU1402；并行处理系统1412；能够具有两个CPU 1402的至少部分能力的集成电路；并行处理系统1412；芯片组(例如，设计成作为执行相关功能的单元工作并出售的一组集成电路等)；和集成电路的任何适当组合的环境中实现的。
在至少一个实施例中，各个先前附图的架构和/或功能在通用计算机系统、电路板系统、专用于娱乐目的的游戏控制台系统、专用系统等的环境中实现。在至少一个实施例中，计算机系统1400可以采取台式计算机、膝上型计算机、平板电脑、服务器、超级计算机、智能电话(例如，无线、手持设备)、个人数字助理(“PDA”)、数码相机、车辆、头戴式显示器、手持式电子设备、移动电话设备、电视、工作站、游戏机、嵌入式系统和/或任何其他类型的逻辑的形式。
在至少一个实施例中，并行处理系统1412包括但不限于多个并行处理单元(“PPU”)1414和相关联的存储器1416。在至少一个实施例中，PPU 1414经由互连1418和交换机1420或多路复用器连接到主机处理器或其他外围设备。在至少一个实施例中，并行处理系统1412在可并行化的PPU 1414上分配计算任务，例如，作为跨多个图形处理单元(“GPU”)线程块的计算任务分布的一部分。在至少一个实施例中，在PPU 1414中的一些或全部之间共享和访问存储器(例如，用于读取和/或写入访问)，尽管这种共享存储器可能引发相对于使用本地存储器和驻留在PPU 1414上的寄存器的性能损失。在至少一个实施例中，通过使用命令(诸如__syncthreads())来同步PPU 1414的操作，其中块中的所有线程(例如，跨多个PPU 1414执行)在进行之前到达某个代码执行点。
其他其他变型在本公开的精神内。因此，尽管公开的技术易于进行各种修改和替代构造，但是某些示出的其实施例在附图中示出并且已经在上面进行了详细描述。然而，应理解，无意将公开内容限制为所公开的一种或更多种特定形式，而是相反，其意图是涵盖落入如所附权利要求书所定义的本公开内容的精神和范围内的所有修改、替代构造和等同物。
除非另有说明或显然与上下文矛盾，否则在描述所公开的实施例的上下文中(特别是在所附权利要求的上下文中)，术语“一”和“一个”和“该”以及类似指代的使用应被解释为涵盖单数和复数，而不是作为术语的定义。除非另有说明，否则术语“包括”、“具有”、“包含”和“含有”应被解释为开放式术语(意味着“包括但不限于”)。术语“连接”(在未经修改时指的是物理连接)应解释为部分或全部包含在内、附接到或连接在一起，即使有某些介入。除非本文另外指出，否则本文中对数值范围的引用仅旨在用作分别指代落入该范围内的每个单独值的简写方法，并且每个单独值都被并入说明书中，就如同其在本文中被单独叙述一样。除非另外指出或与上下文矛盾，否则术语“集”(例如“项目集”)或“子集”的使用应解释为包括一个或更多个成员的非空集合。此外，除非另外指出或与上下文矛盾，否则术语相应集的“子集”不一定表示对应集的适当子集，而是子集和对应集可以相等。
除非以其他方式明确指出或与上下文明显矛盾，否则诸如“A，B和C中的至少一个”或“A，B与C中的至少一个”形式的短语之类的连接语在上下文中理解为通常用来表示项目、条款等，其可以是A或B或C，也可以是A和B和C集的任何非空子集。例如，在具有三个成员的集的说明性示例中，连接短语“A，B和C中的至少一个”和“A，B与C中的至少一个”是指以下任意集：{A}，{B}，{C}，{A，B}，{A，C}，{B，C}，{A，B，C}。因此，这种连接语言通常不旨在暗示某些实施例要求存在A中的至少一个，B中的至少一个和C中的至少一个。另外，除非另有说明或与上下文矛盾，否则术语“多个”表示复数的状态(例如，“多个项目”表示多个项目)。多个至少为两个项目，但如果明确指示或通过上下文指示，则可以更多。此外，除非另有说明或从上下文中可以清楚得知，否则短语“基于”是指“至少部分基于”而不是“仅基于”。
除非本文另外指出或与上下文明显矛盾，否则本文描述的过程的操作可以任何合适的顺序执行。在至少一个实施例中，诸如本文所述的那些过程(或其变形和/或其组合)之类的过程在配置有可执行指令的一个或更多个计算机系统的控制下执行，并且被实现为代码(例如，可执行指令，一个或更多个计算机程序或一个或更多个应用程序)，该代码通过硬件或其组合在一个或更多个处理器上共同执行。在至少一个实施例中，代码以例如计算机程序的形式存储在计算机可读存储介质上，该计算机程序包括可由一个或更多个处理器执行的多个指令。在至少一个实施例中，计算机可读存储介质是非暂时性计算机可读存储介质，其排除了暂时性信号(例如，传播的瞬态电或电磁传输)，但包括非暂时性数据存储电路(例如，缓冲区、高速缓存和队列)。在至少一个实施例中，代码(例如，可执行代码或源代码)被存储在其上存储有可执行指令的一组一个或更多个非暂时性计算机可读存储介质(或用于存储可执行指令的其他存储器)上，该可执行指令在由计算机系统的一个或更多个处理器执行时(即，作为被执行的结果)，使得计算机系统执行本文所述的操作。在至少一个实施例中，一组非暂时性计算机可读存储介质包括多个非暂时性计算机可读存储介质，并且多个非暂时性计算机可读存储介质中的个体非暂时性存储介质中的一个或更多个缺少全部代码，而是多个非暂时性计算机可读存储介质共同存储全部代码。在至少一个实施例中，可执行指令被执行，以使得不同的指令由不同的处理器执行，例如，非暂时性计算机可读存储介质存储指令，并且主中央处理单元(“CPU”)执行一些指令，而图形处理单元(“GPU”)执行其他指令。在至少一个实施例中，计算机系统的不同组件具有单独的处理器，并且不同的处理器执行指令的不同子集。
因此，在至少一个实施例中，计算机系统被配置为实现单独地或共同地执行本文所述的过程的操作的一个或更多个服务，并且这样的计算机系统被配置有使能实施操作的适用的硬件和/或软件。此外，实现本公开的至少一个实施例的计算机系统是单个设备，并且在另一实施例中是分布式计算机系统，其包括以不同方式操作的多个设备，使得分布式计算机系统执行本文所述的操作，并且使得单个设备不执行所有操作。
本文提供的任何和所有示例或示例性语言(例如，“诸如”)的使用仅旨在更好地阐明本公开的实施例，并且不对公开的范围构成限制，除非另有要求。说明书中的任何语言都不应被解释为表示任何未要求保护的要素对于实践公开内容是必不可少的。
本文引用的所有参考文献，包括出版物、专利申请和专利，均通过引用并入本文，其程度就如同每个参考文献被单独且具体地指示为以引用的方式并入本文并且其全部内容在本文中阐述一样。
在说明书和权利要求中，可以使用术语“耦合”和“连接”以及它们的派生词。应当理解，这些术语可能不旨在作为彼此的同义词。相反，在特定示例中，“连接”或“耦合”可用于指示两个或更多个元件彼此直接或间接物理或电接触。“耦合”也可能意味着两个或更多个元素彼此不直接接触，但仍彼此协作或交互。
除非另有明确说明，否则可以理解，在整个说明书中，诸如“处理”、“计算”、“计算”、“确定”等之类的术语，是指计算机或计算系统或类似的电子计算设备的动作和/或过程，其将计算系统的寄存器和/或存储器中表示为物理量(例如电子)的数据处理和/或转换为类似表示为计算系统的存储器、寄存器或其他此类信息存储、传输或显示设备中的物理量的其他数据。
以类似的方式，术语“处理器”可以指处理来自寄存器和/或存储器的电子数据并将该电子数据转换成可以存储在寄存器和/或存储器中的其他电子数据的任何设备或存储器的一部分。作为非限制性示例，“处理器”可以是CPU或GPU。“计算平台”可以包括一个或更多个处理器。如本文所使用的，“软件”进程可以包括例如随时间执行工作的软件和/或硬件实体，诸如任务、线程和智能代理。同样，每个过程可以指代多个过程，以连续地或间歇地顺序地或并行地执行指令。术语“系统”和“方法”在本文中可以互换使用，只要系统可以体现一种或更多种方法，并且方法可以被认为是系统。
在本文件中，可以参考获得、获取、接收或将模拟或数字数据输入子系统、计算机系统或计算机实现的机器中。可以通过多种方式来完成获得、获取、接收或输入模拟和数字数据，例如通过接收作为函数调用或对应用程序编程接口的调用的参数的数据。在一些实现方式中，可以通过经由串行或并行接口传输数据来完成获得、获取、接收或输入模拟或数字数据的过程。在另一实现方式中，可以通过经由计算机网络将数据从提供实体传输到获取实体来完成获得、获取、接收或输入模拟或数字数据的过程。也可以参考提供、输出、传送、发送或呈现模拟或数字数据。在各种示例中，提供、输出、传送、发送或呈现模拟或数字数据的过程可以通过将数据作为函数调用的输入或输出参数、应用程序编程接口或进程间通信机制的参数进行传输来实现。
尽管上面的讨论阐述了所描述的技术的示例实现，但是其他架构可以用于实现所描述的功能，并且旨在落入本公开的范围内。此外，尽管出于讨论的目的在上面定义了具体的职责分配，但是根据情况，可以以不同的方式分配和划分各种功能和职责。
此外，尽管已经用特定于结构特征和/或方法动作的语言描述了主题，但是应当理解，所附权利要求书所要求保护的主题不必限于所描述的特定特征或动作。而是，公开了特定的特征和动作作为实现权利要求的示例性形式。
Claims (36)
1.一种处理器，包括：
一个或更多个电路，用于至少部分地基于自主对象的仅一个图像来帮助确定所述自主对象的姿态。
2.根据权利要求1所述的处理器，其中所述图像由相机捕获，并且其中所述一个或更多个电路进一步用于至少部分地基于所述姿态来确定所述相机与所述自主对象之间的相对位置和取向。
3.根据权利要求1所述的处理器，其中所述姿态从由接受所述仅一个图像作为输入的神经网络生成的一组信念图确定，所述信念图指示所述自主对象的指定特征在所述图像中的位置。
4.根据权利要求3所述的处理器，其中所述神经网络使用合成数据来训练，所述合成数据是使用所述自主对象的虚拟模型生成的。
5.根据权利要求3所述的处理器，其中所述一个或更多个电路进一步用于使用透视n点(PnP)算法来确定所述姿态，所述透视n点算法接受从所述信念图中的峰值确定的特征坐标作为输入。
6.根据权利要求1所述的处理器，其中所述一个或更多个电路进一步用于至少部分地基于所述自主对象的后续单个图像来帮助确定所述自主对象的经更新的姿态。
7.一种系统，包括：
一个或更多个处理器，用于至少部分地基于自主对象的仅一个图像来帮助确定所述自主对象的姿态。
8.根据权利要求7所述的系统，其中所述图像由相机捕获，并且其中所述一个或更多个处理器进一步用于至少部分地基于所述姿态来确定所述相机与所述自主对象之间的相对位置和取向。
9.根据权利要求7所述的系统，其中所述姿态从由接受所述图像作为输入的神经网络输出的一组信念图确定，所述信念图指示所述自主对象的指定特征在所述图像中的位置。
10.根据权利要求9所述的系统，其中所述神经网络使用合成数据来训练，所述合成数据是使用所述自主对象的虚拟模型生成的。
11.根据权利要求9所述的系统，其中所述一个或更多个处理器进一步用于使用透视n点(PnP)算法来确定所述姿态，所述透视n点算法接受从所述信念图中的峰值确定的特征坐标作为输入。
12.根据权利要求7所述的系统，其中所述一个或更多个处理器进一步用于至少部分地基于所述自主对象的后续单个图像来帮助确定所述自主对象的经更新的姿态。
13.一种方法，包括：
至少部分地基于对象的仅一个图像来确定所述对象的姿态。
14.根据权利要求13所述的方法，其中所述图像由相机捕获，所述方法还包括：
至少部分地基于所述姿态来确定所述相机与所述对象之间的相对位置和取向。
15.根据权利要求13所述的方法，还包括：
从由接受所述图像作为输入的神经网络输出的一组信念图确定所述姿态，所述信念图指示所述对象的指定特征在所述图像中的位置。
16.根据权利要求15所述的方法，其中所述神经网络使用合成数据来训练，所述合成数据是使用所述对象的虚拟模型生成的。
17.根据权利要求15所述的方法，还包括：
使用透视n点(PnP)算法来确定所述姿态，所述透视n点算法接受从所述信念图中的峰值确定的特征坐标作为输入。
18.根据权利要求13所述的方法，还包括：
至少部分地基于所述对象的后续单个图像来确定所述对象的经更新的姿态。
19.一种机器可读介质，具有存储在其上的一组指令，所述指令如果由一个或更多个处理器执行，则使所述一个或更多个处理器至少：
至少部分地基于自主对象的仅一个图像来确定所述自主对象的姿态。
20.根据权利要求19所述的机器可读介质，其中所述指令如果被执行，则进一步使所述一个或更多个处理器：
至少部分地基于所述姿态来确定所述相机与所述自主对象之间的相对位置和取向。
21.根据权利要求19所述的机器可读介质，其中所述指令如果被执行，则进一步使所述一个或更多个处理器：
从由接受所述图像作为输入的神经网络输出的一组信念图确定所述姿态，所述信念图指示所述自主对象的指定特征在所述图像中的位置。
22.根据权利要求21所述的机器可读介质，其中所述神经网络使用合成数据来训练，所述合成数据是使用所述自主对象的虚拟模型生成的。
23.根据权利要求21所述的机器可读介质，其中所述指令如果被执行，则进一步使所述一个或更多个处理器：
使用透视n点(PnP)算法来确定所述姿态，所述透视n点算法接受从所述信念图中的峰值确定的特征坐标作为输入。
24.根据权利要求19所述的机器可读介质，其中所述指令如果被执行，则进一步使所述一个或更多个处理器：
至少部分地基于所述自主对象的后续单个图像来确定所述自主对象的经更新的姿态。
25.一种校准系统，包括：
相机；
一个或更多个处理器，用于至少部分地基于由所述相机捕获的自主对象的一个图像来帮助确定所述自主对象的姿态；以及
存储器，用于存储所述姿态的数据。
26.根据权利要求25所述的校准系统，其中所述一个或更多个处理器进一步用于至少部分地基于所述姿态来确定所述相机与所述自主对象之间的相对位置和取向。
27.根据权利要求25所述的校准系统，其中所述姿态从由接受所述图像作为输入的神经网络输出的一组信念图确定，所述信念图指示所述自主对象的指定特征在所述图像中的位置。
28.根据权利要求27所述的校准系统，其中所述神经网络使用合成数据来训练，所述合成数据是使用所述自主对象的虚拟模型生成的。
29.根据权利要求27所述的校准系统，其中所述一个或更多个处理器进一步用于使用透视n点(PnP)算法来确定所述姿态，所述透视n点算法接受从所述信念图中的峰值确定的特征坐标作为输入。
30.根据权利要求25所述的校准系统，其中所述一个或更多个处理器进一步用于至少部分地基于所述自主对象的后续单个图像来帮助确定所述自主对象的经更新的姿态。
31.一种处理器，包括：
一个或更多个算术逻辑单元(ALU)，用于训练一个或更多个神经网络以至少部分地基于自主对象的仅一个图像来推理信念图，所述信念图指示所述自主对象的指定特征的位置。
32.根据权利要求31所述的处理器，其中所述一个或更多个ALU进一步用于至少部分地基于所述信念图来帮助确定自主对象的姿态。
33.根据权利要求32所述的处理器，其中所述图像由相机捕获，并且其中所述一个或更多个ALU进一步用于至少部分地基于所述姿态确定所述相机与所述自主对象之间的相对位置和取向。
34.根据权利要求32所述的处理器，其中所述一个或更多个电路进一步用于使用透视n点(PnP)算法来确定所述姿态，所述透视n点算法接受从所述信念图中的峰值确定的特征坐标作为输入。
35.根据权利要求31所述的处理器，其中所述神经网络使用合成数据来训练，所述合成数据是使用所述自主对象的虚拟模型生成的。
36.根据权利要求31所述的处理器，其中所述一个或更多个神经网络进一步用于至少部分地基于所述自主对象的后续单个图像来帮助确定所述自主对象的经更新的姿态。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US16/657,220 | 2019-10-18 | ||
| US16/657,220 US20210118166A1 (en) | 2019-10-18 | 2019-10-18 | Pose determination using one or more neural networks |
| PCT/US2020/056272 WO2021077069A1 (en) | 2019-10-18 | 2020-10-19 | Pose determination using one or more neural networks |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114556424A true CN114556424A (zh) | 2022-05-27 |
Family
ID=73449171
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202080071824.1A Pending CN114556424A (zh) | 2019-10-18 | 2020-10-19 | 使用一个或更多个神经网络的姿态确定 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US20210118166A1 (zh) |
| CN (1) | CN114556424A (zh) |
| DE (1) | DE112020005020T5 (zh) |
| GB (1) | GB2603084B (zh) |
| WO (1) | WO2021077069A1 (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117381859A (zh) * | 2023-11-23 | 2024-01-12 | 之江实验室 | 一种用于柔体机器人的点阵结构 |
Families Citing this family (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE102019206444A1 (de) * | 2019-05-06 | 2020-11-12 | Kuka Deutschland Gmbh | Maschinelles Lernen einer Objekterkennung mithilfe einer robotergeführten Kamera |
| WO2022240906A1 (en) * | 2021-05-11 | 2022-11-17 | Strong Force Vcn Portfolio 2019, Llc | Systems, methods, kits, and apparatuses for edge-distributed storage and querying in value chain networks |
| JP2021140445A (ja) * | 2020-03-05 | 2021-09-16 | 株式会社トプコン | 情報処理装置、推論モデル構築方法、情報処理方法、推論モデル、プログラム、及び記録媒体 |
| CN111860425B (zh) * | 2020-07-30 | 2021-04-09 | 清华大学 | 一种深度多模态跨层交叉融合方法、终端设备及存储介质 |
| CN112527102B (zh) * | 2020-11-16 | 2022-11-08 | 青岛小鸟看看科技有限公司 | 头戴式一体机系统及其6DoF追踪方法和装置 |
| US20230222531A1 (en) | 2021-04-16 | 2023-07-13 | Strong Force Vcn Portfolio 2019, Llc | Autonomous Contingency-Responsive Smart Contract Configuration System |
| CA3215196A1 (en) | 2021-04-30 | 2022-11-03 | Ethan Rublee | Real time localization with image data |
| US11879984B2 (en) * | 2021-05-21 | 2024-01-23 | Booz Allen Hamilton Inc. | Systems and methods for determining a position of a sensor device relative to an object |
| EP4123506A1 (de) * | 2021-07-20 | 2023-01-25 | Fujitsu Technology Solutions GmbH | Verfahren und vorrichtung zum analysieren eines produkts, trainingsverfahren, system, computerprogramm und computerlesbares speichermedium |
| CN114918918B (zh) * | 2022-05-26 | 2023-07-25 | 东南大学 | 一种含领域自适应的机器人乱序目标推抓方法 |
Family Cites Families (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10417575B2 (en) * | 2012-12-14 | 2019-09-17 | Microsoft Technology Licensing, Llc | Resource allocation for machine learning |
| US9940553B2 (en) * | 2013-02-22 | 2018-04-10 | Microsoft Technology Licensing, Llc | Camera/object pose from predicted coordinates |
| US10318008B2 (en) * | 2015-12-15 | 2019-06-11 | Purdue Research Foundation | Method and system for hand pose detection |
| US11841920B1 (en) * | 2016-02-17 | 2023-12-12 | Ultrahaptics IP Two Limited | Machine learning based gesture recognition |
| WO2017151206A1 (en) * | 2016-03-03 | 2017-09-08 | Google Inc. | Deep machine learning methods and apparatus for robotic grasping |
| GB2560387B (en) * | 2017-03-10 | 2022-03-09 | Standard Cognition Corp | Action identification using neural networks |
| CN108229284B (zh) * | 2017-05-26 | 2021-04-09 | 北京市商汤科技开发有限公司 | 视线追踪及训练方法和装置、系统、电子设备和存储介质 |
| US10919152B1 (en) * | 2017-05-30 | 2021-02-16 | Nimble Robotics, Inc. | Teleoperating of robots with tasks by mapping to human operator pose |
| US10535155B2 (en) * | 2017-10-24 | 2020-01-14 | Toyota Motor Engineering & Manufacturing North America, Inc. | Systems and methods for articulated pose estimation |
| KR102292277B1 (ko) * | 2019-01-30 | 2021-08-20 | 바이두닷컴 타임즈 테크놀로지(베이징) 컴퍼니 리미티드 | 자율 주행 차량에서 3d cnn 네트워크를 사용하여 솔루션을 추론하는 lidar 위치 추정 |
| US11748887B2 (en) * | 2019-04-08 | 2023-09-05 | Nvidia Corporation | Segmentation using an unsupervised neural network training technique |
-
2019
- 2019-10-18 US US16/657,220 patent/US20210118166A1/en active Pending
-
2020
- 2020-10-19 WO PCT/US2020/056272 patent/WO2021077069A1/en active Application Filing
- 2020-10-19 CN CN202080071824.1A patent/CN114556424A/zh active Pending
- 2020-10-19 GB GB2205243.5A patent/GB2603084B/en active Active
- 2020-10-19 DE DE112020005020.3T patent/DE112020005020T5/de active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117381859A (zh) * | 2023-11-23 | 2024-01-12 | 之江实验室 | 一种用于柔体机器人的点阵结构 |
Also Published As
| Publication number | Publication date |
|---|---|
| US20210118166A1 (en) | 2021-04-22 |
| WO2021077069A1 (en) | 2021-04-22 |
| GB2603084A (en) | 2022-07-27 |
| DE112020005020T5 (de) | 2022-07-21 |
| GB202205243D0 (en) | 2022-05-25 |
| GB2603084B (en) | 2024-08-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US12039694B2 (en) | Video upsampling using one or more neural networks | |
| CN112101083B (zh) | 使用神经网络进行弱监督的对象检测方法及系统 | |
| US11902705B2 (en) | Video prediction using one or more neural networks | |
| EP3754611A1 (en) | Cell image synthesis using one or more neural networks | |
| US20210097691A1 (en) | Image generation using one or more neural networks | |
| CN111950695A (zh) | 使用一个或更多个神经网络进行语法迁移 | |
| US20210118166A1 (en) | Pose determination using one or more neural networks | |
| US20210132688A1 (en) | Gaze determination using one or more neural networks | |
| US20210067735A1 (en) | Video interpolation using one or more neural networks |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |