CN112102329A - 使用一个或更多个神经网络进行细胞图像合成 - Google Patents
使用一个或更多个神经网络进行细胞图像合成 Download PDFInfo
- Publication number
- CN112102329A CN112102329A CN202010529158.3A CN202010529158A CN112102329A CN 112102329 A CN112102329 A CN 112102329A CN 202010529158 A CN202010529158 A CN 202010529158A CN 112102329 A CN112102329 A CN 112102329A
- Authority
- CN
- China
- Prior art keywords
- data
- training
- processor
- gan
- memory
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 142
- 230000015572 biosynthetic process Effects 0.000 title abstract description 10
- 238000003786 synthesis reaction Methods 0.000 title abstract description 10
- 238000000034 method Methods 0.000 claims abstract description 117
- 230000014509 gene expression Effects 0.000 claims abstract description 44
- 239000002131 composite material Substances 0.000 claims abstract description 42
- 238000012549 training Methods 0.000 claims description 296
- 230000015654 memory Effects 0.000 claims description 282
- 230000002068 genetic effect Effects 0.000 claims description 46
- 108090000623 proteins and genes Proteins 0.000 claims description 26
- 230000011218 segmentation Effects 0.000 claims description 26
- 230000000007 visual effect Effects 0.000 claims description 13
- 238000012545 processing Methods 0.000 description 211
- 230000006870 function Effects 0.000 description 94
- 210000002569 neuron Anatomy 0.000 description 70
- 230000008569 process Effects 0.000 description 69
- 238000010801 machine learning Methods 0.000 description 64
- 238000007667 floating Methods 0.000 description 46
- 238000005192 partition Methods 0.000 description 44
- 238000005227 gel permeation chromatography Methods 0.000 description 41
- 235000019587 texture Nutrition 0.000 description 41
- 238000003860 storage Methods 0.000 description 40
- 238000004891 communication Methods 0.000 description 34
- 239000000872 buffer Substances 0.000 description 30
- 238000004422 calculation algorithm Methods 0.000 description 28
- 238000013135 deep learning Methods 0.000 description 27
- 239000012634 fragment Substances 0.000 description 22
- 239000011159 matrix material Substances 0.000 description 20
- 238000010586 diagram Methods 0.000 description 19
- 230000004927 fusion Effects 0.000 description 19
- 230000004913 activation Effects 0.000 description 18
- 238000001994 activation Methods 0.000 description 18
- 230000000875 corresponding effect Effects 0.000 description 18
- 239000013598 vector Substances 0.000 description 18
- 210000000225 synapse Anatomy 0.000 description 17
- 210000004027 cell Anatomy 0.000 description 16
- 238000011156 evaluation Methods 0.000 description 14
- 238000010200 validation analysis Methods 0.000 description 14
- 230000002093 peripheral effect Effects 0.000 description 13
- 238000007726 management method Methods 0.000 description 12
- 238000012546 transfer Methods 0.000 description 12
- 238000005516 engineering process Methods 0.000 description 10
- 238000002156 mixing Methods 0.000 description 10
- 238000005457 optimization Methods 0.000 description 10
- 238000013519 translation Methods 0.000 description 10
- 230000014616 translation Effects 0.000 description 10
- 238000013527 convolutional neural network Methods 0.000 description 9
- 238000012360 testing method Methods 0.000 description 9
- 238000013507 mapping Methods 0.000 description 8
- 239000012528 membrane Substances 0.000 description 8
- 238000009877 rendering Methods 0.000 description 8
- 238000005070 sampling Methods 0.000 description 8
- 230000006835 compression Effects 0.000 description 7
- 238000007906 compression Methods 0.000 description 7
- 238000013500 data storage Methods 0.000 description 7
- 230000007246 mechanism Effects 0.000 description 7
- 238000003491 array Methods 0.000 description 6
- 230000001419 dependent effect Effects 0.000 description 6
- 238000003384 imaging method Methods 0.000 description 6
- 230000001360 synchronised effect Effects 0.000 description 6
- 230000001133 acceleration Effects 0.000 description 5
- 238000013459 approach Methods 0.000 description 5
- 239000000203 mixture Substances 0.000 description 5
- 238000007781 pre-processing Methods 0.000 description 5
- 239000004065 semiconductor Substances 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 4
- 238000013501 data transformation Methods 0.000 description 4
- 238000013461 design Methods 0.000 description 4
- 238000009826 distribution Methods 0.000 description 4
- 235000019580 granularity Nutrition 0.000 description 4
- 230000010076 replication Effects 0.000 description 4
- 238000013179 statistical model Methods 0.000 description 4
- 238000009825 accumulation Methods 0.000 description 3
- 230000009471 action Effects 0.000 description 3
- 238000007792 addition Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 201000010099 disease Diseases 0.000 description 3
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 3
- 235000019800 disodium phosphate Nutrition 0.000 description 3
- 238000001914 filtration Methods 0.000 description 3
- 230000001976 improved effect Effects 0.000 description 3
- 230000001965 increasing effect Effects 0.000 description 3
- 230000000670 limiting effect Effects 0.000 description 3
- 230000033001 locomotion Effects 0.000 description 3
- 208000002154 non-small cell lung carcinoma Diseases 0.000 description 3
- 238000010606 normalization Methods 0.000 description 3
- 239000000047 product Substances 0.000 description 3
- 230000002829 reductive effect Effects 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 238000000926 separation method Methods 0.000 description 3
- 230000008093 supporting effect Effects 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 238000000844 transformation Methods 0.000 description 3
- 230000007704 transition Effects 0.000 description 3
- 208000029729 tumor suppressor gene on chromosome 11 Diseases 0.000 description 3
- HPTJABJPZMULFH-UHFFFAOYSA-N 12-[(Cyclohexylcarbamoyl)amino]dodecanoic acid Chemical compound OC(=O)CCCCCCCCCCCNC(=O)NC1CCCCC1 HPTJABJPZMULFH-UHFFFAOYSA-N 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 2
- 238000012884 algebraic function Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 230000000903 blocking effect Effects 0.000 description 2
- 210000004556 brain Anatomy 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 2
- 230000001149 cognitive effect Effects 0.000 description 2
- 238000002591 computed tomography Methods 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000001816 cooling Methods 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 238000002790 cross-validation Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 239000004744 fabric Substances 0.000 description 2
- 238000003709 image segmentation Methods 0.000 description 2
- 238000003780 insertion Methods 0.000 description 2
- 230000037431 insertion Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000007477 logistic regression Methods 0.000 description 2
- 210000004072 lung Anatomy 0.000 description 2
- 238000007620 mathematical function Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 229920001690 polydopamine Polymers 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 238000012805 post-processing Methods 0.000 description 2
- 230000001242 postsynaptic effect Effects 0.000 description 2
- 210000005215 presynaptic neuron Anatomy 0.000 description 2
- 230000000306 recurrent effect Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000000717 retained effect Effects 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 238000012800 visualization Methods 0.000 description 2
- 208000003174 Brain Neoplasms Diseases 0.000 description 1
- 102100036848 C-C motif chemokine 20 Human genes 0.000 description 1
- 206010008263 Cervical dysplasia Diseases 0.000 description 1
- 241000282412 Homo Species 0.000 description 1
- 101000713099 Homo sapiens C-C motif chemokine 20 Proteins 0.000 description 1
- 206010028980 Neoplasm Diseases 0.000 description 1
- 206010056342 Pulmonary mass Diseases 0.000 description 1
- 238000003559 RNA-seq method Methods 0.000 description 1
- 101100285899 Saccharomyces cerevisiae (strain ATCC 204508 / S288c) SSE2 gene Proteins 0.000 description 1
- 241000700605 Viruses Species 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 201000011510 cancer Diseases 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 239000003795 chemical substances by application Substances 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 238000009509 drug development Methods 0.000 description 1
- 238000007876 drug discovery Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000003628 erosive effect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 239000005338 frosted glass Substances 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 239000005337 ground glass Substances 0.000 description 1
- 230000005283 ground state Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000005764 inhibitory process Effects 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000013067 intermediate product Substances 0.000 description 1
- 238000002955 isolation Methods 0.000 description 1
- 238000012804 iterative process Methods 0.000 description 1
- 238000012417 linear regression Methods 0.000 description 1
- 238000011068 loading method Methods 0.000 description 1
- 230000003211 malignant effect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000000873 masking effect Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000006386 memory function Effects 0.000 description 1
- 238000000329 molecular dynamics simulation Methods 0.000 description 1
- 238000012900 molecular simulation Methods 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 229920000747 poly(lactic acid) Polymers 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 230000001902 propagating effect Effects 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 238000013468 resource allocation Methods 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 230000000946 synaptic effect Effects 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- 238000009966 trimming Methods 0.000 description 1
- 238000009827 uniform distribution Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/001—Texturing; Colouring; Generation of texture or colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/047—Probabilistic or stochastic networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
- G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/04—Inference or reasoning models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16B—BIOINFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR GENETIC OR PROTEIN-RELATED DATA PROCESSING IN COMPUTATIONAL MOLECULAR BIOLOGY
- G16B25/00—ICT specially adapted for hybridisation; ICT specially adapted for gene or protein expression
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16B—BIOINFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR GENETIC OR PROTEIN-RELATED DATA PROCESSING IN COMPUTATIONAL MOLECULAR BIOLOGY
- G16B40/00—ICT specially adapted for biostatistics; ICT specially adapted for bioinformatics-related machine learning or data mining, e.g. knowledge discovery or pattern finding
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16B—BIOINFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR GENETIC OR PROTEIN-RELATED DATA PROCESSING IN COMPUTATIONAL MOLECULAR BIOLOGY
- G16B45/00—ICT specially adapted for bioinformatics-related data visualisation, e.g. displaying of maps or networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10056—Microscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30061—Lung
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2210/00—Indexing scheme for image generation or computer graphics
- G06T2210/41—Medical
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Biophysics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Informatics (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Biotechnology (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Public Health (AREA)
- Bioethics (AREA)
- Databases & Information Systems (AREA)
- Epidemiology (AREA)
- Genetics & Genomics (AREA)
- Quality & Reliability (AREA)
- Neurology (AREA)
- Probability & Statistics with Applications (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了使用一个或更多个神经网络进行细胞图像合成，产生合成图像的设备、系统和技术包括与适当的背景图像真实地混合的细胞组的数字表示。在至少一个实施方案中，使用一个或更多个神经网络将背景图像数据和基因表达数据融合在一起以生成这种合成图像。
Description
背景技术
计算机技术的进步导致对象识别和分析的能力得到提高。例如，在医 学领域，计算机技术可以在分析患者和诊断各种疾病或状况方面提供越来 越高的准确性。需要至少一定程度的人为交互或判断的用于生成这种分析 的过程，可能具有有限的准确性。
附图说明
将参考附图描述根据本公开的各种实施例，其中：
图1示出了可以在至少一个实施例中使用一个或更多个神经网络来处 理或生成的示例图像；
图2示出了在至少一个实施例中的示例生成器的组件；
图3A和图3B分别示出了在至少一个实施例中的示例融合块和示例鉴 别器(discriminator)的组件；
图4示出了在至少一个实施例中的合成架构的示例输入和示例输出；
图5示出了在至少一个实施例中的示例基因数据聚类(clustering)；
图6A和图6B示出了在至少一个实施例中的用于使用可以利用的至少 一个经训练的神经网络生成合成图像的过程的示例训练和推理部分；
图7示出了可以在至少一个实施例中用于实现的示例环境；
图8示出了在至少一个实施例中的用于训练可以利用的图像合成网络 的示例系统；
图9示出了在至少一个实施例中的可以利用的示例统计模型的层；
图10示出了在至少一个实施例中的推理和/或训练逻辑；
图11示出了在至少一个实施例中的推理和/或训练逻辑；
图12示出了在至少一个实施例中的深度神经网络的训练和部署(deployment)；
图13示出了在至少一个实施例中的示例数据中心系统；
图14是示出了在至少一个实施例中的计算机系统的框图；
图15是示出了在至少一个实施例中的计算机系统的框图；
图16示出了在至少一个实施例中的计算机系统；
图17示出了根据至少一个实施例的计算机系统；
图18示出了在至少一个实施例中可以使用一个或更多个IP核心来制造 的示例性集成电路和相关的图形处理器；
图19A-图19B示出了在至少一个实施例中的可以使用一个或更多个IP 核心来制造的示例性集成电路和相关联的图形处理器；
图20A-图20B示出了在至少一个实施例中的另外的示例性图形处理器 逻辑；
图21示出了在至少一个实施例中的计算机系统；
图22示出了在至少一个实施例中的并行处理器；
图23示出了在至少一个实施例中的分区单元；
图24示出了在至少一个实施例中的处理集群；
图25示出了在至少一个实施例中的图形多处理器；
图26是示出了在至少一个实施例中的用于处理器的处理器微架构的框 图；
图27示出了在至少一个实施例中的深度学习应用处理器；
图28是示出了在至少一个实施例中的示例神经形态(neuromorphic) 处理器的框图；
图29示出了在至少一个实施例中的图形处理器的至少一部分；
图30是在至少一个实施例中的图形处理器核心的至少一部分的框图；
图31A和图31B示出了在至少一个实施例中的线程执行逻辑；
图32示出了在至少一个实施例中的并行处理单元(“PPU”)；
图33示出了在至少一个实施例中的通用处理集群(“GPC”)；
图34示出了在至少一个实施例中的并行处理单元(“PPU”)的存储器 分区单元；以及
图35示出了在至少一个实施例中的流式多处理器。
具体实施方式
图1示出了可以在至少一个实施例中利用的一组示例图像100。在至少 一个实施例中，用于生成合成图像的神经网络可以采用具有样式规范的多 条件GAN的形式。在至少一个实施例中，前景和背景融合(fusion)可以 在网络内建模，而图像和基因编码可以用于合成。在至少一个实施例中， 如图1所示，网络可以接受背景图像102作为输入，背景图像102代表这 种结节(nodule)可能位于的组织或位置类型。以结节为例进行说明，但 是也可以使用细胞或其他此类材料的任何分组，以及可能与人类或活细胞 完全不相关的物体等。在至少一个实施方式中，除其他这样的选项之外， 可以从一组背景图像中选择要用于训练的背景图像，或者将其用作较大背 景图像的随机部分。在至少一个实施例中，网络可以处理该输入图像以及 基因数据，以生成指示背景和前景区域(结节)的分割(segmentation)掩 膜104，以及示出了通过融合过程与背景图像混合的结节的合成图像106。 在至少一个实施例中，基因表达数据来自实际的训练数据。在至少一个实 施例中，可以分析一组结节，每个结节将对应于基因表达数据的特定矢量 (specific vector)，并将与图像特征相关。在训练和推断时间的至少一个实 施例中，该基因表达数据可以与背景图像一起使用。此外，在至少一个实 施例中，可以使用内插的(interpolated)基因表达数据，该数据使用针对 不同结节的不同类型的基因代码生成。
在至少一个实施例中，成像基因组学(imaging genomics)可以用于确 定癌症成像特征与基因表达之间的相关性。在至少一个实施例中，成像基 因组学可以用于使用不同的成像技术来诊断疾病，不同的成像技术包括用 于捕获与潜在脑瘤有关的图像数据的磁共振(MR)，以及用于捕获与潜在 非小细胞肺癌(NSCLC)相关的图像数据的计算机断层扫描(CT)。在至 少一个实施例中，可以以整体的、端到端的方式处理相关任务。在至少一 个实施例中，可以从相关的训练数据中学习图像特征并且针对特定任务对 其进行优化。在至少一个实施例中，可以使用诸如生成对抗网络(GAN) 之类的网络，其能够融合来自不同源的信息以生成期望的输出。在至少一 个实施例中，多条件GAN可以用于整体地分析基因表达数据和医学图像 数据。在至少一个实施例中，通过将表达数据和图像一起用于新样品生成， 可以以端到端的方式直接从数据中学习图像特征和基因嵌入。在至少一个 实施例中，基因表达数据可以是任何适当的数据集，例如可以包括具有来 自RNA测序的基因表达谱(gene expression profile)的公共NSCLC数据集。
在至少一个实施例中，可以通过求解多条件GAN来制定图像基因相关 性。在至少一个实施例中，可以使用GAN架构和融合块来组合图像(作 为背景)和基因(作为对象和“样式”)数据。在至少一个实施例中，可以 提供能够在网络内建模的平滑对象/背景融合。在至少一个实施例中，也可 以使用这种合成策略来生成判别性放射基因组图(discriminativeradiogenomic map)。在至少一个实施例中，放射基因组图生成可以被制定 成图像合成任务。
图2示出了在至少一个实施例中的可用于执行这种合成的基于GAN的 架构的组件。图2示出了在至少一个实施例中的架构的生成器部分200的 结构。在至少一个实施例中并且如图所示，生成器可以接受背景图像102 和基因表达数据202作为输入训练数据。在至少一个实施例中，生成器可 以从背景图像和基因表达数据中生成合成图像106，合成图像106包括以 基因组数据为特征的结节，并位于背景图像中。在至少一个实施例中，生 成器还产生代表所生成的结节的区域或边界的二进制分割掩膜104。在至 少一个实施例中，生成器执行至少三个主要任务，包括在左侧路径上编码 背景图像，在右侧路径上编码基因表达数据以及沿着中心路径针对合成图 像和掩膜生成的信息融合，信息融合将来自左侧路径和右侧路径的结果作 为输入。
在至少一个实施例中，用作这种生成器的GAN可以执行对象和背景的 分离和混合(blending)，以及图像和基因表示的融合。关于混合任务，在 至少一个实施例中，网络不去除背景图像的任何部分。相反，在至少一个 实施例中，网络通过两种策略对网络内的对象和背景进行建模。在至少一 个实施例中，在每个分辨率级别使用融合块来控制所生成的对象(例如， 结节或细胞组)与参考背景图像数据之间的重叠。在至少一个实施例中， 分割掩膜104可以被生成为分割掩膜的辅助输出，以帮助引导这种分离。 在至少一个实施例中，在每个阶段，网络可以对对象和背景执行图像数据 的“软”混合。在至少一个实施例中，这种迭代混合方法可以帮助确保所 推断的合成图像的空间连续性。至少一个实施例中的优点在于，它与推断 图像106一起产生分割掩膜104，如果将其用于数据增强技术，则可以有 助于使分割掩膜对诸如检测和分割的其他任务有用。
在至少一个实施例中，示例GAN还可以使用诸如用于计算机视觉的词 嵌入来产生可以在编码器-解码器网络的瓶颈层与背景图像数据组合的基 础图像。在至少一个实施例中，词嵌入和基因表示之间的显着差异涉及以 下事实：词与图像的关系远比其与基因表示的密切。在至少一个实施例中， 可以确定将基因信息建模为图像的抽象“样式”，并使用样式转移技术来指 导合成过程。具体地，在至少一个实施方式中，高维基因表达数据可以用映射网络进行编码。在至少一个实施例中，除其他这样的选项之外，映射 网络可以包括一些完全连接的(FC)层，或者更复杂的条件增强块。在至 少一个实施例中，为了提供改进的基因编码的可解释性，可以使用两个FC 层将原始基因数据g编码为矢量(g)。在至少一个实施例中，矢量(g) 可以进一步与噪声矢量n连接以生成较低维的基因代码204，其可以用作基本样式图。在至少一个实施例中，可以使用由多个卷积层组成的图像编 码器来编码背景图像。在至少一个实施例中，一系列融合块可以被用于组 合图像特征和基因图谱数据。在至少一个实施例中，融合块可以从背景和 先前步骤两者中获取图像特征，结合基因“样式”图，以实现对象与背景 的适当混合，以及图像信息和基因信息的适当融合。
图3A示出了在至少一个实施例中的示例融合块300的组件。在至少一 个实施例中，在每个分辨率级别或至少分辨率级别的子集上可以有融合块 300。在这些分辨率级别的每个级别上，可以有融合块的三个输入，包括来 自上一层的背景图像特征、基因图谱和合成图像特征。在至少一个实施例 中，由于图像数据包含对象和背景两者的信息，因此可以经由两层卷积302 和批量归一化304进一步对合成特征进行编码。在至少一个实施例中，在 该处理期间，信道(channel)数量加倍。在至少一个实施例中，所得代码 被分成两部分。在至少一个实施例中，前半部分用作权重图以控制将传递 多少对象和/或背景信息以在该层进行进一步处理，而另一半将用作对象特 征图。
在至少一个实施例中，并且如图3A中所示，对象/背景特征图两者都 将通过具有权重图(+)及其反向(-)的逐元素乘法来控制。在至少一个 实施例中，权重图+抑制的背景信息，主要通过要由基因代码进行归一化的 结节特征。在至少一个实施例中，这是因为基因代码与背景的关系较小， 而与控制要生成的结节的外观的关系较大。在至少一个实施例中，反向图 (-)可以用于抑制将在其中生成结节的信息，从而增强将与输入图像对准 的背景信息。在至少一个实施例中，基因代码可以通过自适应实例规范化 (AdaIN)层306来控制合成结节的“样式”。在至少一个实施例中，这两 个分量被加在一起并馈送到上采样/解码层308。在至少一个实施例中，并 且与完全擦除或以其他方式丢弃一部分图像的像素值作为“修复 (inpainting)”相比，权重图是一种学习的概率，它保留了用于对象与背景 的平滑融合所必需的信息。在至少一个实施例中，并且与词嵌入合成相比， 这种方法提供了更强的对象和背景分离，因为基因图谱将主要应用于对象 区域，并且对背景的影响很小。
在至少一个实施例中，如上所述，这样的GAN可以将基因组特征编码 为向量，输出合成图像和分割掩膜两者。图3B示出了在至少一个实施例 中的示例鉴别器。在至少一个实施例中，到鉴别器的输入是图像分割基因 代码的元组(tuple)。在至少一个实施例中，两个编码器用于鉴别器356， 第一编码器352为鉴别器DI编码图像，并且第二编码器354为鉴别器DIS编码图像分割对。在至少一个实施例中，第二编码器输出的输出进一步与 基因代码φ(g)204组合，并进一步通过卷积、批归一化以及泄漏ReLU激 活层进行编码以用于鉴别器DISG。在至少一个实施例中，对于该鉴别器， 使用三种不同的损失函数来加强对基因信息和图像的学习。在至少一个实 施例中，第一鉴别器损失涉及该图像是真实的还是伪造的。在至少一个实 施例中，第二损失涉及分割与该图像的匹配程度。在至少一个实施例中， 第三损失涉及所有三个输入的匹配程度。在至少一个实施例中，以最小二 乘损失函数训练鉴别器。在至少一个实施例中，给定图像x、匹配的基因 代码g和匹配的分割掩码m，要区分的元组包括含有不匹配的基因代码
不匹配的分割掩码
合成图像Gx和合成掩码Gm的情况。令pd和pG表示实 数和合成数据的分布，我们有x，g，m，
和Gx，Gm～pG。在至 少一个实施例中，并且以不同的组合，这导致：
在至少一个实施例中，为了训练生成器，可以添加背景重建损失以指 导合成期间背景图像的特征提取。在至少一个实施例中，损失被全部一起 优化。在至少一个实施例中，令
为分割掩膜Gm(例如，背景区域)的反 向的形态侵蚀版本，⊙表示逐元素相乘，在合成图像Gx和基础图像x之间 的背景上计算LI损失：
图4示出了在至少一个实施例中的可以与GAN一起使用或生成的一对 示例图像集合400、410。在至少一个实施例中，每个集合包括被提供作为 输入的背景图像以及由GAN生成的合成图像。在至少一个实施例中，每 个集合还显示背景权重图和结果分割图。在至少一个实施例中，背景权重 图像控制背景和前景如何融合在一起。在至少一个实施例中，当融合背景 图像和计算机生成的结节时，可能希望在结节区域外尽可能多地输入背景 图像，即使大部分生成的焦点都在结节或基因代码部分上。在至少一个实 施例中，背景权重图像用于控制融合，与单独使用分割掩膜相比，提供了 更柔和的混合。在至少一个实施例中，第二集合示出了对于具有磨砂玻璃 (ground-glass)不透明的情况的一些变化。在至少一个实施例中，可以观 察到，由于保留了主要结构或背景特征，所以原始背景图像没有明显改变。 在至少一个实施例中，同时将合成的结节与背景图像自然地融合，即使对 于磨砂玻璃的情况也是如此。在至少一个实施例中，还可以看出，对于处 于不同重构下的两个背景图像，其中一个比另一个平滑，则结果结节图像 的清晰度仍然与背景图像很好地对准。图4还示出了基因表达数据集的视 觉表示，其在至少一个实施例中可以是大型的多维数据集。在至少一个实 施例中，可以减小基因表达数据420的维数以生成基因代码430，该基因代码430还包括用于说明一定量的噪声的数据。在至少一个实施例中，为 了提供基因编码的改进的可解释性，可以将原始基因数据编码到矢量中， 并且然后进一步与噪声矢量连接以生成较低维的基因代码430，其可以用 作基础样式图。在至少一个实施例中，基因表达数据可以是长度约为30000 个特征点的向量，而较低维度的基因代码可以是维度128的向量等。
在至少一个实施例中，可以通过首先为每个图像分割肺区域来创建背 景图像，其中结节区域从肺掩膜中排除。在至少一个实施例中，针对结果 掩膜计算距离变换，并且在随机位置处选择中心，例如可以距掩膜边界 5mm至25mm。在至少一个实施例中，在每个中心周围，裁剪60×60× 60mm3的感兴趣体积(VOI)，并从每个VOI中提取许多随机切片(例如，20个)。
尽管可以利用其他类型的神经网络和机器学习，但是在至少一个实施 例中，可以使用多条件GAN，其与样式控制和融合的新结构相结合，以有 效地生成外观为由其基因组特征控制的真实(realistic)结节。在至少一个 实施例中，可以在背景图像和基因表达谱两者上调节这种GAN，从而合成 相应的图像。在至少一个实施例中，图像和基因特征可以不同的比例融合 以确保合成图像的真实性和质量。在至少一个实施例中，实现了一种端到端机制以对特征进行整体地建模和关联。在至少一个实施例中，本文提出 的方法不仅可以提供生成各种结节的有效且可控的手段，而且可以提供链 接基因组和图像特征的判别性放射基因组图。
图5示出了在至少一个实施例中的原始基因数据500和相关联的图像。 在至少一个实施例中，原始数据说明了如何将不同类型的基因融合在一起。 在至少一个实施例中，基因数据点至少部分地基于它们的相应图像特征而 分布在该基因图谱上。在至少一个实施例中并且利用示例方案，可以将转 化的基因代码映射到2D平面。一旦执行了映射，在至少一个实施例中， 可以使用任何适当的聚类算法或方法来执行聚类。在至少一个实施例中， 对应于给定聚类的结节然后将具有相似的图像特征，从而允许落入给定聚 类内的基因代码具有用于在合成图像中生成该类型的结节的那些图像特征。 在至少一个实施例中，这种方法可用于确定基因数据和图像特征数据之间 的相关性，因为这些数据类型弱结合在一起。在至少一个实施例中，当生 成对应于给定基因代码的结节时，图像特征数据可以用作松散约束类型。
图6A示出了在至少一个实施例中的用于训练生成对抗网络以推断合 成图像的示例过程600。应当理解，对于本文讨论的该过程和其他过程， 除非另有说明，否则可以有以相似或替代顺序或并行执行的附加、替代或 更少的步骤。此外，该示例讨论了使用文本数据训练生成对抗网络(GAN)， 但是如本文其他地方所讨论的，在至少一个实施例中，可以存在使用多种 不同类型的数据进行训练的模型类型。在至少一个实施例中，获得602基 因表达数据，其可以指示细胞的特定分组，例如肺结节的类型。在至少一 个实施例中，该基因表达数据可以被映射到特征的特定分组，这些特征由 与基因表达数据相关联的细胞组展示。在至少一个实施例中，还获得604 背景图像数据，如所提及的，其可以包括获得背景图像数据并确定一个或 更多个部分，该一个或更多个部分没有细胞分组或其大小的其他特征。在至少一个实施例中，基因表达数据和背景图像数据可以被馈送到GAN作 为训练数据。
在至少一个实施例中，GAN可以具有执行三个功能的至少三个逻辑分 支。在至少一个实施例中，在第一对分支中，GAN将编码606基因表达数 据和背景图像数据。在至少一个实施例中，数据将被编码成各自的矢量。 在至少一个实施例中，如本文所讨论的，可以在层中执行降维(dimensional reduction)。在至少一个实施例中，GAN的第三逻辑分支可以获取编码的图 像和基因数据，并且生成608合成图像和分割掩膜。在至少一个实施例中，合成图像可以包括具有由基因代码数据确定的特征的细胞组的表示，并且 可以将细胞组融合到背景图像中以提供细胞与背景的真实融合。在至少一 个实施例中，由生成器输出的合成图像和分割掩膜可以与基因数据一起馈 送610到鉴别器，以确定损失函数。在至少一个实施例中，损失可以将三 个输入视为一起被优化的三个单独的损失。在至少一个实施例中，然后部 分地基于这些确定的损失值来更新612GAN的适当网络参数。
图6B示出了在至少一个实施例中的用于使用这样的训练的模型来推断 合成图像的示例过程650。在至少一个实施例中，获得652将用于推断合 成图像的基因表达数据和背景图像数据。在至少一个实施例中，可以提供654数据作为对训练的模型的输入。在至少一个实施例中，训练的模型可 以处理数据并推断656合成图像，该合成图像包括混合到背景图像中的细 胞组的真实数字表示，例如结节。在至少一个实施例中，合成图像可以用 于各种目的，如可以包括用作其他神经网络的训练数据。例如，在至少一 个实施例中，除其他此类诊断之外，合成图像可用于训练神经网络以推断 输入图像中表示的细胞组是恶性的还是良性的。
如上所述，越来越多的行业和应用正在利用机器学习。例如，在处理 器上开发的深度神经网络(DNN)已用于各种用例，从无人驾驶汽车到更 快的药物开发，从用于安全系统的自动图像分析到视频聊天应用中的智能 实时语言翻译。深度学习是一种建模人脑的神经学习过程，不断学习，不 断变得更聪明并随着时间的推移更快地提供更准确的结果的技术。最初， 成年人教孩子如何正确识别和分类形状，最终无需任何指导即可识别形状。类似地，将需要对被设计为完成类似任务的深度学习或神经学习系统进行 培训，以使其在识别基本对象、被遮挡的对象等方面更智能，更高效，同 时还为这些对象分配上下文。
在最简单的水平上，人脑中的神经元查看接收到的输入，将重要性级 别分配给这些输入中的每一个，并将输出传递给其他神经元以对其进行操 作。人工神经元或感知器是神经网络的基本模型。在一个示例中，感知器 可以接收表示受感知器正被训练以识别和分类的对象的特征的一个或更多 个输入，并且基于该特征在定义对象的形状中的重要性，为这些特征中的 每一个分配一定的权重。
深度神经网络(DNN)模型包括许多连接的感知器(例如，节点)的 多个层，可以用大量的输入数据对其进行训练，从而以高精度快速解决复 杂的问题。在一个示例中，DNN模型的第一层将汽车的输入图像分解为多 个部分，并寻找诸如线条和角度之类的基本图案。第二层组装线条以寻找 更高级别的图案，例如车轮、挡风玻璃和后视镜。下一层识别车辆的类型， 最后几层为输入图像生成标签，以识别特定汽车品牌的模型。一旦训练了 DNN，就可以部署DNN并将其用于在称为推理的过程中识别和分类对象 或图案。推理的示例(DNN从给定输入中提取有用信息的过程)包括识别 存入ATM机的支票上的手写数字，识别照片中朋友的图像，提供电影推 荐，在无人驾驶汽车中识别和分类不同类型的汽车、行人、以及道路危险， 或者近乎实时地翻译人类语音。
在训练期间，数据在前向传播阶段流经DNN，直到产生指示对应于输 入的标签的预测为止。如果神经网络没有正确标记输入，则将分析正确标 记和预测标记之间的误差，并在反向传播阶段调整每个特征的权重，直到 DNN正确标记输入和训练数据集中的其他输入。训练复杂的神经网络需要 大量的并行计算性能，包括支持的浮点乘法和加法。推理比训练的计算量 要少，这是一个对延迟敏感的过程，其中将经训练的神经网络应用于以前从未见过的新输入，以对图像进行分类、翻译语音和推断新信息。
神经网络在很大程度上依赖于矩阵数学运算，而复杂的多层网络需要 大量的浮点性能和带宽以提高效率和速度。计算平台拥有数千个处理核心， 针对矩阵数学运算进行了优化，并提供数十至数百TFLOPS的性能，可以 提供基于深度神经网络的人工智能和机器学习应用所需的性能。
图7示出了根据至少一个实施例的可以用于训练和利用机器学习的示 例系统700的组件。在至少一个实施例中，可以通过可以在单个实体或多 个实体的控制下的计算设备和资源或单个计算系统的组合来提供组件。此 外，在至少一个实施例中，可以由不同实体触发、发起或请求方面。例如， 在至少一个实施例中，可以由与供应商环境706相关联的供应商来指导对 神经网络的训练，而在至少一个实施例中，可以由能够通过客户端设备702或其他此类资源访问供应商环境的顾客或其他用户来请求训练神经网络。 在至少一个实施例中，可以由供应商、用户或第三方内容供应商724提供 训练数据(或要由经训练的神经网络分析的数据)。在至少一个实施例中， 客户端设备702可以是车辆或对象，可以代表用户进行导航，例如，该用 户可以提交请求和/或接收有助于该设备导航的指令。
在该示例中，能够通过至少一个网络704提交请求以将其接收到供应 商环境706。客户端设备可以是使用户能够生成和发送这样的请求的任何 适当的电子和/或计算设备，如可以包括台式计算机、笔记本计算机、计算 机服务器、智能手机、平板计算机、游戏机(便携式或其他)、计算机处理 器、计算逻辑和机顶盒等。网络704可以包括用于发送请求或其他这样的 数据的任何适当的网络，例如可以包括因特网、内联网、以太网、蜂窝网 络、局域网(LAN)、在节点之间进行直接无线连接网络等。
在该示例中，可以将请求接收到接口层708，该接口层可以将数据转发 到训练和推理管理器710。在至少一个实施例中，该管理器可以是包括用 于管理数据或内容相一致的服务和请求的硬件和软件的系统或服务。该管 理器可以接收训练神经网络的请求，并且可以将该请求的数据提供给训练 管理器712。如果该请求未指定，则训练管理器712可以选择要使用的适 当模型或网络，并且可以使用相关训练数据对模型进行训练。在至少一个实施例中，训练数据可以是从客户端设备702接收或从第三方供应商724 获得的存储到训练数据存储库714的一批数据。训练管理器712可以负责 训练该数据，例如通过使用本文讨论的基于LARC的方法。网络可以是任 何适当的网络，例如递归神经网络(RNN)或卷积神经网络(CNN)。一 旦训练了网络并成功评估了网络，该经训练的网络就可以被存储到模型存储库716，例如，该模型存储库可以存储用于用户、应用程序或服务等的 不同模型或网络。如上所述，在至少一个实施例中，针对单个应用程序或 实体可能存在多个模型，如可以基于多个不同因素来利用多个模型。
在随后的时间点，可以从客户端设备702(或另一个这样的设备)接收 到对至少部分地受经训练的神经网络确定或影响的内容(例如，路径确定) 或数据的请求。请求可以包括例如要使用神经网络处理的输入数据，以获 得一个或更多个推理或其他输出值、分类或预测。尽管在至少一个实施例 中也可以使用不同的系统或服务，但是输入数据可以被接收到接口层708 并且被引导到推理模块718。如果尚未本地存储在推理模块718中，则推 理模块718可以从模型存储库716中获取适当的训练网络，例如本文所述 的训练深度神经网络(DNN)。推理模块718可以将数据作为输入提供给 经训练的网络，然后可以生成一个或更多个推理作为输出。例如，这可以 包括输入数据实例的分类。然后可以将推理发送到客户端设备702以显示 给用户或与用户进行其他通信。用户的上下文数据也可以存储到用户上下文数据存储库722，该用户上下文数据存储库722可以包括关于用户的数 据，该数据可以用作在生成推理或确定获得实例之后返回给用户的数据的 网络输入等。包括输入或推理数据中的至少一部分的相关数据也可以被存 储到本地数据库720以用于处理将来的请求。在至少一个实施例中，用户 可以使用帐户或其他信息来访问供应商环境的资源或功能。如果允许和可 用，还可以收集用户数据并将其用于进一步的训练模型，以便为将来的请 求提供更准确的推理。在至少一个实施例中，可以通过用户界面接收对在 客户端设备702上执行的机器学习应用程序726的请求，并且通过相同的 界面显示结果。客户端设备可以包括资源，例如用于生成该请求和处理结 果或响应的处理器728和存储器730，以及用于存储用于机器学习应用726 的数据的至少一个数据存储元件732。
在至少一个实施例中，处理器728(或训练管理器712或推理模块718 的处理器)将是中央处理单元(CPU)。但是，如上所述，此类环境中的资 源可以利用GPU来处理用于至少某些类型的请求的数据。GPU具有数千 个核心，旨在处理大量的并行工作负载，因此在用于训练神经网络和生成 预测的深度学习中变得很流行。虽然使用GPU进行离线构建可以更快地训 练更大、更复杂的模型，但离线生成预测意味着无法使用请求-时间输入特 征，或者必须针对所有特征排列生成预测并将其存储在查找表中以服务实 时请求。如果深度学习框架支持CPU模式，并且模型又小又简单，足以以 合理的延迟在CPU上执行前馈，则CPU实例上的服务可以托管模型。在 这种情况下，可以在GPU上离线进行训练，并在该CPU上实时进行推理。 如果CPU方法不是可行的选项，则服务可以在GPU实例上运行。但是， 由于GPU具有与CPU不同的性能和成本特征，因此运行将运行时间算法 卸载到GPU的服务可能要求其设计成与基于CPU的服务不同。
图8示出了根据至少一个实施例的示例系统800，其可以用于对数据进 行分类或生成推理。根据本文所包含的教导和建议，应当显而易见的是，也 可以针对输入数据生成各种类型的预测、标签或其他输出。此外，可以在 本文讨论的至少一个实施例中使用有监督训练和无监督训练。在该示例中， 提供一组训练数据802(例如，分类或标记的数据)作为输入，以用作训 练数据。训练数据可以包括要对其训练神经网络的至少一种类型的对象的实例，以及标识该类型的对象的信息。例如，训练数据可能包括一组图像， 每个图像都包含对象类型的表示，其中每个图像还包含标签、元数据、分 类或其他识别在各自的图像表示的对象类型的信息或与之相关联。其他类 型的数据也可以用作训练数据，可以包括文本数据、音频数据、视频数据 等。在该示例中，训练数据802被作为训练输入提供给训练管理器804。 训练管理器804可以是包括硬件和软件的系统或服务，例如执行训练应用 程序的一个或更多个计算设备，以用于训练神经网络(或其他模型或算法 等)。在该示例中，训练管理器804接收指示要用于训练的模型的类型的指 令或请求。模型可以是可用于此类目的的任何适当的统计模型、网络或算 法，例如可以包括人工神经网络、深度学习算法、学习分类器、贝叶斯网 络等。训练管理器804可以从适当的存储库806中选择初始模型或其他未 经训练的模型，并利用训练数据802来训练该模型，从而生成可以用于对 相似类型的数据进行分类或的经训练的模型808(例如，经训练的深度神 经网络)，或生成其他此类推理。在不使用训练数据的至少一个实施例中， 仍然可以根据训练管理器804选择适当的初始模型来对输入数据进行训练。
可以以多种不同方式来训练模型，这可能部分取决于所选模型的类型。 例如，在至少一个实施例中，可以向机器学习算法提供一组训练数据，其 中该模型是由训练过程创建的模型伪像。训练数据的每个实例包含正确答 案(例如，分类)，其可以被称为目标或目标属性。学习算法在训练数据中 找到将输入数据属性映射到目标的模式、要预测的答案，并输出捕获这些 模式的机器学习模型。然后可以使用机器学习模型来获得对未指定目标的 新数据的预测。
在一个示例中，训练管理器804可以从一组机器学习模型中进行选择， 机器学习模型包括二进制分类、多分类和回归模型。要使用的模型的类型 可以至少部分取决于要预测的目标的类型。用于二进制分类问题的机器学 习模型可预测二进制结果，例如两个可能的分类之一。诸如逻辑回归之类 的学习算法可用于训练二进制分类模型。针对多类别分类问题的机器学习 模型允许针对多个类别生成预测，例如预测两个以上结果之一。多项式逻辑回归对于训练多类模型可能很有用。回归问题的机器学习模型可预测数 值。线性回归对于训练回归模型很有用。
为了训练根据至少一个实施例的机器学习模型，训练管理器必须确定 输入训练数据源以及其他信息，例如包含要预测的目标的数据属性的名称、 所需的数据转换指令和训练参数，以控制学习算法。在训练过程期间，至 少一个实施例中的训练管理器804可以基于在训练数据源中指定的目标的 类型来自动选择适当的学习算法。机器学习算法可以接受用于控制训练过 程和所得机器学习模型的某些属性的参数。这些在本文中称为训练参数。 如果未指定任何训练参数，则训练管理器可以利用已知的默认值来很好地 处理大范围的机器学习任务。可以为其指定值的训练参数的示例包括最大 模型大小、通过训练数据的最大通过次数、随机播放类型、正则化类型、 学习率和正则化量。可以指定默认设置，并选择调整值以微调性能。
最大模型大小是在训练模型期间创建的模式的总大小，以字节为单位。 默认情况下，可以创建指定大小的模型，例如100MB的模型。如果训练 管理器无法确定足够的模式来填充模型大小，则可以创建较小的模型。如 果训练管理器发现的图案数量超出了指定大小所能容纳的数量，则可以通 过修整对学习模型的质量影响最小的图案来实现最大截止。选择模型大小 可控制模型的预测质量和使用成本之间的权衡。较小的模型可能会导致训 练管理器移除许多模式以适应最大大小限制，从而影响预测的质量。较大 的模型查询实时预测的成本可能更高。较大的输入数据集不一定会导致较 大的模型，因为模型存储图案而不是输入数据。如果图案少且简单，则生 成的模型将很小。具有大量原始属性(输入列)或派生特征(数据转换的 输出)的输入数据可能会在训练过程中找到并存储更多图案。
在至少一个实施例中，训练管理器804可以对训练数据执行多次通过 或迭代以尝试发现图案。可以存在默认的通过次数，例如十次，而在至少 一个实施例中，可以设置最大通过次数，例如高达一百次通过。在至少一 个实施例中，可能没有最大集合，或者可能存在会触发训练过程结束的收 敛准则或其他因素集合。在至少一个实施例中，训练管理器804可以在训 练期间监视图案的质量，并且可以在没有更多数据点或图案需要发现时自 动停止训练。仅具有少量观察结果的数据集可能需要更多的在数据遍历才 能获得足够高的模型质量。较大的数据集可能包含许多相似的数据点，这 可以减少对大量通过的需求。在数据上选择更多数据通过的潜在影响是， 模型训练可能需要更长的时间，并且在资源和系统利用率方面会花费更多。
在至少一个实施例中，在训练之前或在训练通过之间混洗(shuffle)训 练数据。在至少一个实施例中，混洗是用于生成真正的随机排序的随机或 伪随机混洗，尽管可能存在一些约束以确保不对某些类型的数据进行分组， 或者如果存在此分组，则混洗的数据可以被重新混洗等。混洗改变了用于 训练的数据的序列或安排，以使训练算法不会遇到相似类型的数据的分组 或连续太多观察的单一类型的数据。例如，可以训练模型来预测对象。上 传之前，数据可能会按对象类型排序。然后，算法可以按对象类型按字母 序列处理数据，首先仅遇到特定对象类型的数据。模型将开始学习该类型 对象的团。然后，模型将仅遇到第二种对象类型的数据，并将尝试调整模 型以适合该对象类型，这可能会使适合第一种对象类型的图像退化。对象 类型之间的这种突然切换可能会产生无法学习如何准确预测对象类型的模 型。在将训练数据集划分为训练子集和评估子集之前的至少一个实施例中，可以执行混洗，从而对于两个阶段都利用相对均匀的数据类型分布。在至 少一个实施例中，训练管理器804可以使用例如伪随机混洗技术来自动混 洗数据。
在创建机器学习模型时，在至少一个实施例中的训练管理器804可以 使用户能够指定设置。例如，用户可以指定一个或更多个评估设置，以指 示用于评估机器学习模型的预测质量的输入数据的要保留的一部分。用户 可以指定策略，该策略指示哪些属性和属性转换可用于模型训练。用户还 可以指定控制训练过程和所得模型的某些属性的各种训练参数。
一旦训练管理器确定完成模型训练，例如通过使用本文讨论的至少一 个最终标准，就可以提供训练模型808，以供分类器814用于分类(或以 其他方式生成推理)验证数据812。如图所示，这涉及模型的训练模式和 模型的推理模式之间的逻辑转换。然而，在至少一个实施例中，经训练的 模型808将首先被传递到评估器810，该评估器810可以包括在用于评估 训练模型的质量(或其他方面)的至少一个计算资源(例如，至少一个服 务器的CPU或GPU)上执行的应用程序、过程或服务。对模型进行评估， 以确定该模型在预测新数据和未来数据的目标时是否至少会提供性能的最 低的可接受或阈值水平。如果不是，则训练管理器804可以继续训练模型。 由于将来的数据实例通常将具有未知的目标值，因此可能希望在已知目标 答案的数据上检查机器学习的精度度量，并将该评估用作未来数据的预测准确性的代理。
在至少一个实施例中，使用被提供用于训练的训练数据802的子集评 估模型。可以使用如上所述的混洗和拆分方法来确定子集。此评估数据子 集将标有目标，因此可以充当评估地面实况的资源。使用用于训练的相同 数据来评估机器学习模型的预测准确性是没有用的，因为对于记住训练数 据而不是对其进行概括的模型可能会生成肯定的评估。一旦训练完成，就 使用经训练的模型808处理评估数据子集，评估器810可以通过将地面实况数据与模型的相应输出(或预测/观察值)进行比较来确定模型的准确性。 至少一个实施例中的评估器810可以提供摘要或性能度量，摘要或性能度 量指示预测值和真实值的匹配程度。如果经训练的模型不满足至少最小性 能标准或其他这样的准确性阈值，则可以指示训练管理器804进行进一步 的训练，或者在某些情况下，尝试训练新的或不同的模型。如果经训练的 模型808满足相关标准，则可以提供训练的模型以供分类器814使用。
当创建和训练机器学习模型时，在至少一个实施例中，可能期望指定 模型设置或训练参数，其将导致能够做出最准确的预测的模型。示例参数 包括要执行(前向和/或反向)的传递数、正则化、模型大小和混洗类型。 但是，如上所述，选择对评估数据产生最佳预测性能的模型参数设置可能 会导致模型过度拟合。当模型存储了训练和评估数据源中出现的图案，但 未能概括数据中的图案时，就会发生过度拟合。当训练数据包括评估中使 用的所有数据时，经常会发生过度拟合。过度拟合的模型在评估期间可能 会表现良好，但可能无法对新数据或其他验证数据做出准确的预测。为了 避免选择过度拟合的模型作为最佳模型，训练管理器可以保留其他数据以 验证该模型的性能。例如，训练数据集可以分为60％用于训练，40％用于 评估或验证，可以分为两个或更多个阶段。在选择了最适合评估数据的模 型参数，导致收敛在验证数据的子集(例如半数验证数据的一半)之后， 可以使用其余的验证数据执行第二次验证，以确保该模型的性能。如果此 模型符合验证数据的期望，则此模型不会过度拟合数据。替代地，可以将 测试集或保留集用于测试参数。使用第二个验证或测试步骤有助于选择适 当的模型参数以防止过度拟合。但是，从训练过程中拿出更多数据进行验 证会使可用于训练的数据更少。对于较小的数据集，这可能会出现问题，因为可能没有足够的数据可用于训练。在这种情况下的一种方法是执行交 叉验证，如本文其他地方所述。
有许多度量或见解可用于审查和评估给定模型的预测准确性。一个示 例评估结果包含用于报告模型的总体成功的预测准确性度量和帮助探索该 模型超出预测准确性度量的可视化。结果还可以提供查看设置得分阈值(如 二进制分类)的影响的能力，并可以生成有关用以检查评估的有效性的标 准的警报。度量和可视化的选择可以至少部分取决于要评估的模型的类型。
一旦令人满意地训练和评估了经训练的机器学习模型，就可以将其用 来构建或支持机器学习应用程序。在至少一个实施例中，构建机器学习应 用程序是涉及一系列步骤的迭代过程。可以根据观察到的内容以及该模型 要预测的答案来构筑核心机器学习问题。然后可以收集、清理和准备数据， 以使其适合于机器学习模型训练算法使用。可以对这些数据进行可视化和 分析，以进行完整性检查，以验证该数据的质量并理解该数据。原始数据 (例如，输入变量)和答案数据(例如，目标)可能无法以可用于训练高 度预测模型的方式表示。因此，可能希望从原始变量构建更具预测性的输 入表示或特征。可以将结果特征输入到学习算法中，以构建模型并根据从 模型构建中保留的数据评估模型的质量。然后可以使用模型为新数据实例 生成目标答案的预测。
在图8的示例系统800中，在提供评估之后，经训练的模型810被提 供给分类器814或使其可用，该分类器814能够使用该经训练的模型来处 理验证数据。例如，这可能包括从用户或未分类的第三方接收到的数据， 例如查询图像，这些图像正在寻找有关这些图像中表示的信息。可以由分 类器使用该经训练的模型来处理该验证数据，并且可以将所产生的结果 816发送回相应的来源或以其他方式进行处理或存储。在至少一个实施例 中，并且在允许这种使用的情况下，现在分类的数据实例可以被存储到训 练数据存储库，其可以被训练管理器用于训练的模型808的进一步训练。 在至少一个实施例中，将在新数据可用时对模型进行连续训练，但是在至 少一个实施例中，将根据诸如数据集的大小或模型的复杂性之类的因素， 定期对模型进行训练，例如每天或每周一次。
分类器814可以包括适当的硬件和软件，用于使用经训练的模型来处 理验证数据812。在至少一个实施例中，分类器将包括一个或更多个计算 机服务器，每个计算机服务器具有一个或更多个能够处理数据的图形处理 单元(GPU)。GPU的配置和设计可能使它们比CPU或其他此类组件更适 合用于处理机器学习数据。至少一个实施例中经训练的模型可以被加载到GPU存储器中，并且所接收的数据实例被提供给GPU以进行处理。GPU 可以具有比CPU多得多的核心，并且GPU核心可以更不复杂。因此，给 定的GPU可能能够通过不同的硬件线程同时处理数千个数据实例。GPU 也可以配置为最大化浮点吞吐量，这可以为大型数据集提供明显的额外处 理优势。
即使当使用GPU、加速器和其他此类硬件来加速诸如训练模型或使用 此类模型进行数据分类之类的任务时，此类任务仍可能需要大量时间、资 源分配和成本。例如，如果要使用800个通过来训练机器学习模型，并且 数据集包括要用于训练的1000000个数据实例，则每次通过都需要处理所 有百万个实例。架构的不同部分也可以由不同类型的设备支持。例如，可 以在逻辑上集中的位置处使用一组服务器来执行训练，如可以作为服务来 提供，而原始数据的分类可以由这样的服务或在客户端设备上执行。在至 少一个实施例中，这些设备还可以由同一实体或多个实体拥有、操作或控 制。
图9示出了根据至少一个实施例的可以被训练或以其他方式利用的示 例神经网络900。在该示例中，统计模型是人工神经网络(ANN)，其包括 多个节点层，包括输入层902、输出层906和中间节点的多个层904，通常 称为“隐藏”层，因为内部层和节点在各种神经网络中通常是不可见或不 可访问的。尽管仅出于解释目的示出了几个中间层，但是应当理解，对可 以利用的中间层的数量没有限制，并且对层的任何限制通常将是使用此模 型处理所需的资源或时间的因素。如本文其他地方所讨论的，还可以使用 其他类型的模型、网络、算法或过程，因为其可以包括节点和层的其他数 量或选择。验证数据可以由该网络的各层处理，以生成一组推理或推理分 数，然后可以将其馈送到损失函数908。
在该示例网络900中，给定层的所有节点都互连到相邻层的所有节点。 如图所示，中间层的节点然后将分别连接到两个相邻层的节点。在某些模 型中，节点也称为神经元或连接的单元，节点之间的连接称为边缘。每个 节点都可以为接收到的输入执行一个功能，例如通过使用指定的功能。节 点和边缘可以在训练期间获得不同的权重，并且节点的各个层可以对接收 到的输入执行特定类型的转换，其中这些转换也可以在训练期间进行学习或调整。学习可以是有监督的学习，也可以是无监督的学习，这可能至少 部分取决于训练数据集中包含的信息类型。可以利用各种类型的神经网络， 例如可以包括卷积神经网络(CNN)，所述卷积神经网络(CNN)包括多 个卷积层和一组池化层，并且各种类型的神经网络已被证明对于诸如图像 识别的应用是有益的。由于要确定的参数数量相对较少，因此CNN比其 他网络也更易于训练。
在至少一个实施例中，可以使用各种调整参数来训练这种复杂的机器 学习模型。选择参数、拟合模型并评估该模型是模型调整过程的一部分， 通常称为超参数优化。在至少一个实施例中，这种调整可以包括对基础模 型或数据进行内省。在训练或生产设置中，稳健的工作流程对于避免超参 数的过拟合非常重要，如本文其他地方所述。交叉验证和向训练数据集添 加高斯噪声是避免对任何一个数据集过度拟合的有用技术。对于超参数优化，在至少一个实施例中可能希望保持训练集和验证集固定。在至少一个 实施例中，可以在某些类别中调整超参数，例如可以包括数据预处理、CNN 架构定义(例如，滤波器尺寸、滤波器数量)，随机梯度下降(SGD)参数 (例如，学习率)，和正则化(例如，丢弃概率)。
在示例预处理步骤中，可以将数据集的实例嵌入到特定大小的较低维 空间中。该空间的大小是要调整的参数。此CNN的架构包含许多可调参 数。滤波器尺寸的参数可以表示对应于将要分析的实例大小的信息的解释。 在计算语言学中，这称为n-gram大小。示例CNN使用三种不同的滤波器 尺寸，它们代表了可能不同的n-gram大小。每个滤波器尺寸的滤波器数量 可以对应于该滤波器的深度。每个滤波器都尝试学习与实例结构不同的内容，例如文本数据的句子结构。在卷积层中，激活函数可以是整流的线性 单元，并且池化类型设置为最大池。然后可以将结果串联到一维向量中， 最后一层完全连接到二维输出上。这对应于可以应用优化功能的二进制分 类。一种这样的功能是实现梯度下降的均方根(RMS)传播方法，其中示 例超参数可以包括学习率、批大小、最大梯度法线和历元。使用神经网络， 正则化可能是一个非常重要的考虑因素。如上所述，在至少一个实施例中， 输入数据可以相对稀疏。在这种情况下，主要的超参数可以在倒数第二层 处丢弃，这表示一定比例的节点在每个训练周期不会“触发”。示例训练过 程可以基于对先前配置的性能的反馈来建议不同的超参数配置。可以使用 建议的配置来训练模型，在指定的验证集上评估模型，并提供性能报告。 可以重复此过程，例如权衡探索(了解更多有关不同配置的信息)和开发 (利用先前的知识以获得更好的结果)
由于可以并行化训练CNN并且可以利用GPU支持的计算资源，因此 可以针对不同场景尝试多种优化策略。复杂的场景允许调整模型架构和预 处理以及随机梯度下降参数。这扩展了模型配置空间。在基本情况下，仅 调整预处理和随机梯度下降参数。与基本方案相比，在此复杂方案中可以 有更多的配置参数。可以使用线性或指数步数执行关节空间的调整，并通 过模型的优化循环进行迭代。这样的调整过程的成本可以大大低于诸如随 机搜索和网格搜索之类的调整过程，而不会造成任何明显的性能损失。
在至少一个实施例中，可以利用反向传播来计算用于确定神经网络的 权重的梯度。反向传播是微分的一种形式，如上所述，梯度下降优化算法 可以使用它来调整应用于节点或神经元的权重。在至少一个实施例中，可 以使用相关损失函数的梯度来确定权重。反向传播可以利用损失函数关于 由统计模型生成的输出的导数。如上所述，各个节点可以具有定义各个节 点的输出的关联激活功能。可以适当地使用各种激活函数，例如可以包括径向基函数(RBF)和sigmoid，它们可以被各种支持向量机(SVM)用于 数据转换。节点的中间层的激活函数在本文中被称为内部积核心。这些函 数可以包括，例如，识别函数、阶梯函数、sigmoidal函数、斜坡函数功能 等。激活函数也可以是线性或非线性的。
推理和训练逻辑
图10示出了在至少一个实施例中用于执行推理和/或训练操作的推理 和/或训练逻辑1015。下面结合图10和/或图11提供关于推理和/或训练逻 辑1015的细节。
在至少一个实施例中，推理和/或训练逻辑1015可以包括但不限于数据 存储1001，以存储与在至少一个实施例的方面中被训练和/或用于推理的神 经网络的神经元或层相对应的前向和/或输出权重和/或输入/输出数据。在 至少一个实施例中，数据存储1001存储在使用一个或更多个实施例的方面 进行推断和/或训练期间输入/输出数据和/或权重参数的正向传播期间结合 至少一个实施例训练或使用的神经网络的每一层的权重参数和/或输入/输 出数据。在至少一个实施例中，数据存储1001的任何部分可以与其他片上 或片外数据存储包括在一起，包括处理器的L1、L2或L3高速缓存或系统 存储器。
在至少一个实施例中，数据存储1001的任何部分可以在一个或更多个 处理器或其他硬件逻辑设备或电路的内部或外部。在至少一个实施例中， 数据存储1001可以是高速缓冲存储器、动态随机可寻址存储器(“DRAM”)、 静态随机可寻址存储器(“SRAM”)、非易失性存储器(例如闪存)或其他 存储装置。在至少一个实施例中，数据存储1001是处理器的内部还是外部 的选择，例如，是由DRAM、SRAM、闪存还是由其他类型的存储器组成， 取决于存储片上或片外的可用存储空间、正在进行训练和/或推理功能的延 迟要求、在推理和/或训练神经网络中使用的数据的批量大小或这些因素的 某种组合。
在至少一个实施例中，推理和/或训练逻辑1015可以包括但不限于数据 存储1005，以存储与在一个或多个实施例的方面中被训练和/或用于推理的 神经网络或神经网络的层相对应的反向和/或输出权重和/或输入/输出数据。 在至少一个实施例中，数据存储1005存储在输入/输出数据和/或权重参数 的反向传播期间结合一个或更多个实施例训练或使用的神经网络的每一层 的权重参数和/或输入/输出数据。在至少一个实施例中，数据存储1005的 任何部分可以与其他片上或片外数据存储包括在一起，包括处理器的L1、L2或L3高速缓存或系统存储器。在至少一个实施例中，数据存储1005 的任何部分可以在一个或更多个处理器或其他硬件逻辑设备或电路的内部 或外部。在至少一个实施例中，数据存储1005可以是高速缓冲存储器、 DRAM、SRAM、非易失性存储器(例如，闪存)或其他存储器。在至少 一个实施例中，数据存储1005是处理器的内部还是外部的选择，例如，是 由DRAM、SRAM、闪存还是其他存储类型组成的，取决于可用存储是片 上还是片外、正在进行训练和/或推理功能的延迟要求、在推理和/或训练神 经网络中使用的数据的批量大小或这些因素的某种组合。
在至少一个实施例中，数据存储1001和数据存储1005可以是分开的 存储结构。在至少一个实施例中，数据存储1001和数据存储1005可以是 相同的存储结构。在至少一个实施例中，数据存储1001和数据存储1005 可以是部分相同的存储结构和部分分离的存储结构。在至少一个实施例中， 数据存储1001和数据存储1005的任何部分可以与其他片上或片外数据存 储包括在一起，包括处理器的L1、L2或L3高速缓存或系统存储器。
在至少一个实施例中，推理和/或训练逻辑1015可以包括但不限于一个 或更多个算术逻辑单元(“ALU”)1010，以至少部分地基于训练和/或推理 代码或由其指示执行逻辑和/或算术操作，其结果可以导致存储在激活存储 器1020中的作为存储在数据存储1001和/或数据存储1005中输入/输出和/ 或权重参数数据的函数的激活(例如，来自神经网络内的层或神经元的输 出值)。在至少一个实施例中，激活响应于执行指令或其他代码，由ALU 1010 执行的线性代数和/或基于矩阵的数学生成在激活存储1020中存储的激活， 其中将存储在数据存储1005和/或数据存储1001的的权重值具有其他值的 操作数(例如，偏差值、梯度信息、动量值或其他参数或超参数)，这些值 中的任意或者全部可以存储在数据存储1005或数据存储1001或其他片上 或片下存储器。在至少一个实施例中，一个或更多个处理器或其他硬件逻 辑设备或电路中包括一个或更多个ALU 1010，而在另一实施例中，一个或 更多个ALU 1010可以在使用它们的处理器或其他硬件逻辑设备或电路(例 如，协处理器)的外部。在至少一个实施例中，ALU 1010可以被包括在处 理器的执行单元之内，或者以其他方式被包括在处理器的执行单元可以访 问的ALU组中，该组ALU可以在同一处理器内或者分布在不同类型的不 同处理器之间(例如，中央处理器、图形处理单元、固定功能单元等)。在 至少一个实施例中，数据存储1001，数据存储1005和激活存储1020可以 在同一处理器或其他硬件逻辑设备或电路上，而在另一实施例中，它们可 以在不同的处理器或其他硬件逻辑设备或电路中，或相同和不同处理器或 其他硬件逻辑设备或电路的某种组合中。在至少一个实施例中，激活存储 1020中的任何部分可以与其他片上或片外数据存储器包括在一起，包括处 理器的L1、L2或L3高速缓存或系统存储器。此外，推理和/或训练代码可以与处理器或其他硬件逻辑或电路可访问的其他代码一起存储，并可以 使用处理器的提取、解码、调度、执行、退出和/或其他逻辑电路来提取和 /或处理。
在至少一个实施例中，激活存储1020可以是高速缓冲存储器、DRAM、 SRAM、非易失性存储器(例如，闪存)或其他存储器。在至少一个实施 例中，激活存储1020可以完全或部分在一个或更多个处理器或其他逻辑电 路之内或之外。在至少一个实施例中，可以取决于片上或片外可用的存储， 进行训练和/或推理功能的延迟要求，在推理和/或训练神经网络中使用的数据 的批量大小或这些因素的某种组合，选择激活存储1020是处理器的内部还是外部的选择，例如，或者是由DRAM、SRAM、闪存或某种其他存储类 型组成的。在至少一个实施例中，图10中所示的推理和/或训练逻辑1015 可以与专用集成电路(“ASIC”)结合使用，例如来自谷歌的
处理单元、来自GraphcoreTM的推理处理单元(IPU)或来自Intel Corp的 
(例如“Lake Crest”)处理器。在至少一个实施例中，图10所示的推理和/或训练逻辑1015可以与中央处理单元(“CPU”)硬件、图形处 理单元(“GPU”)硬件或其他硬件(例如现场可编程门阵列(“FPGA”)) 结合使用。
图11示出了在至少一个实施例中的推理和/或训练逻辑1015。在至少 一个实施例中，推理和/或训练逻辑1015可以包括但不限于硬件逻辑，其 中计算资源是专用的或以其他方式专用地与对应于神经网络内的一层或更 多层神经元的权重值或其他信息结合使用。在至少一个实施例中，图11 中所示的推理和/或训练逻辑1015可以与专用集成电路(ASIC)结合使用， 例如Google的
处理单元、来自GraphcoreTM的推理处理单元(IPU) 或来自Intel Corp的
(例如“Lake Crest”)处理器。在至少一个实 施例中，图11所示的推理和/或训练逻辑1015可以与中央处理单元(CPU) 硬件、图形处理单元(GPU)硬件或其他硬件(例如现场可编程门阵列 (FPGA))结合使用。在至少一个实施例中，推理和/或训练逻辑1015包 括但不限于数据存储1001和数据存储1005，其可以用于存储权重值和/或 其他信息，包括偏差值、梯度信息、动量值、和/或其他参数或超参数信息。 在图11中所示的至少一个实施例中，数据存储1001和数据存储1005中的 每一个都分别与专用的计算资源(例如计算硬件1002和计算硬件1006) 相关联。在至少一个实施例中，计算硬件1002和计算硬件1006中的每一 个包括一个或更多个ALU，一个或更多个ALU仅对分别存储在数据存储 器1001和数据存储器1005中的信息执行数学功能(例如线性代数函数)， 其结果存储在激活存储器1020中。
在至少一个实施例中，数据存储1001和1005以及相应的计算硬件1002 和1006中的每一个分别对应于神经网络的不同层，从而提供产生来自数据 存储1001和计算硬件1002的一个“存储/计算对1001/1002”的激活作为 对数据存储1005和计算硬件1006的下一个“存储/计算对1005/1006”的 输入，以反映神经网络的概念组织。在至少一个实施例中，每个存储/计算 对1001/1002和1005/1006可以对应于一个以上的神经网络层。在至少一个实施例中，在推理和/或训练逻辑1015中可以包括在存储计算对1001/1002 和1005/1006之后或与之并行的附加存储/计算对(未示出)。
神经网络训练和部署
图12示出了根据至少一个实施例的深度神经网络的训练和部署。在至 少一个实施例中，使用训练数据集1202来训练未经训练的神经网络1206。 在至少一个实施例中，训练框架1104是PyTorch框架，而在其他实施例中， 训练框架1104是Tensorflow、Boost、Caffe、Microsoft Cognitive Toolkit/CNTK、 MXNet、Chainer、Keras、Deeplearning4j或其他培训框架。在至少一个实 施例中，训练框架1104训练未经训练的神经网络1106，并使它能够使用 本文所述的处理资源来训练，以生成训练后的神经网络1108。在至少一个 实施例中，权重可以被随机选择或通过使用深度信念网络。在至少一个实 施例中，可以以有监督、部分有监督或无监督的方式执行训练。
在至少一个实施例中，使用监督学习来训练未经训练的神经网络1106， 其中训练数据集1102包括与输入的期望输出配对的输入，或者其中训练数 据集1102包括具有已知输出的输入，以及神经网络的输出是手动分级的。 在至少一个实施例中，未经训练的神经网络1106以监督的方式被训练，以 处理来自训练数据集1102的输入，并将结果输出与一组期望或预期的输出 进行比较。在至少一个实施例中，然后通过未经训练的神经网络1106将误 差传播回去。在至少一个实施例中，训练框架1104调整控制未经训练的神 经网络1106的权重。在至少一个实施例中，训练框架1104包括用于监视 未经训练的神经网络1106正朝着诸如经训练的神经网络1108之类的模型 收敛的程度的工具，该模型适于基于诸如新数据1112之类的已知输入数据 来生成诸如结果1114之类的正确答案。在至少一个实施例中，训练框架 1104在调整权重的同时反复训练未经训练的神经网络1106，以使用损失函 数和调整算法(例如随机梯度下降)来完善未经训练的神经网络1106的输 出。在至少一个实施例中，训练框架1104训练未经训练的神经网络1106， 直到未经训练的神经网络1106达到期望的精度为止。在至少一个实施例中， 然后可以部署经循环的神经网络1108以实施任何数量的机器学习操作。
在至少一个实施例中，未经训练的神经网络1106是使用非监督学习来 训练的，其中，未经训练的神经网络1106尝试使用未标记的数据来训练自 己。在至少一个实施例中，无监督学习训练数据集1102将包括输入数据， 而没有任何相关联的输出数据或“地面实况”数据。在至少一个实施例中， 未经训练的神经网络1106可以学习训练数据集1102内的分组，并且可以 确定各个输入如何与未经训练的数据集1102相关。在至少一个实施例中，可以使用无监督的训练来生成自组织图，其为一种够执行对减小新数据 1112的维数有用的操作的经训练的神经网络1108。在至少一个实施例中， 无监督训练也可用于执行异常检测，其允许识别新数据集1112中偏离新数 据集1112的正常模式的数据点。
在至少一个实施例中，可以使用半监督学习，这是一种技术，其中训 练数据集1102包括标记数据和未标记数据的混合。在至少一个实施例中， 训练框架1104可以用于执行增量学习，诸如通过转移的学习技术。在至少 一个实施例中，增量学习使受过训练的神经网络1108能够适应新数据1112， 而不会忘记在初始训练期间注入到网络中的知识。
数据中心
图13示出了示例数据中心1300，其中可以使用至少一个实施例。在 至少一个实施例中，数据中心1300包括数据中心基础设施层1310、框架 层1320、软件层1330和应用层1340。
在至少一个实施例中，如图13所示，数据中心基础设施层1310可以 包括资源协调器1312、分组的计算资源1314和节点计算资源(“节点C.R.s”) 1316(1)-1316(N)，其中“N”代表任何完整的正整数。在至少一个实 施例中，节点C.R.s 1316(1)-1316(N)可以包括但不限于任何数量的中 央处理单元(“CPU”)或其他处理器(包括加速器、现场可编程门阵列(FPGA)、图形处理器等)、存储设备(例如，动态只读存储器)、存储器 设备(例如，固态或磁盘驱动器)、网络输入/输出(“NW I/O”)设备、网 络交换机、虚拟机(“VM”)、电源模块和冷却模块等。在至少一个实施例 中，节点C.R.s 1316(1)-1316(N)中的一个或更多个节点C.R.s可以是 具有上述计算资源的一个或更多个的服务器。
在至少一个实施例中，分组的计算资源1314可以包括容纳在一个或更 多个机架(未示出)中的节点C.R.s的单独分组，或者容纳在各个地理位 置(也未示出)的数据中心中的许多机架的单独分组。分组的计算资源1314 内的节点C.R.s的单独分组可以包括可以配置成或分配为支持一个或更多 个工作负载的分组的计算、网络、存储器或存储资源。在至少一个实施例 中，可以将包括CPU或处理器的几个节点C.R.s分组在一个或更多个机架内，以提供计算资源来支持一个或更多个工作负载。在至少一个实施例中， 一个或更多个机架还可以包括任何数量的电源模块、冷却模块和网络开关 的任意组合。
在至少一个实施例中，资源协调器1322可以配置成或以其他防水工会 控制一个或更多个节点C.R.s 1316(1)-1316(N)和/或分组的计算资源 1314。在至少一个实施例中，资源协调器1322可以包括用于数据中心1300 的软件设计基础设施(“SDI”)管理实体。在至少一个实施例中，资源编 排器可以包括硬件、软件或其某种组合。
在至少一个实施例中，如图13所示，框架层1320包括作业调度器1332、 配置管理器1334、资源管理器1336和分布式文件系统1338。在至少一个 实施例中，框架层1320可以包括用于支持软件层1330的软件1332和/或 应用层1340的一个或多个应用程序1342的框架。在至少一个实施例中， 软件1332或应用程序1342可分别包括基于Web的服务软件或应用程序， 例如由Amazon Web Services，Google Cloud和Microsoft Azure提供的服务 或应用程序。在至少一个实施例中，框架层1320可以是但不限于一种免费 和开放源软件网络应用框架，例如可以利用分布式文件系统1338用于大型 扩展数据处理(例如“大数据”)的Apache SparkTM(以下称为“Spark”)。 在至少一个实施例中，作业调度器1332可以包括Spark驱动器，以促进对 数据中心1300的各个层所支持的工作负荷的调度。在至少一个实施例中， 配置管理器1334可以能够配置不同的层(例如包括Spark的软件层1330 和框架层1320)和用于支持大规模数据处理的分布式文件系统1338。在至 少一个实施例中，资源管理器1336能够管理映射到或分配用于支持分布式 文件系统1338和作业调度器1332的集群或分组计算资源。在至少一个实 施例中，集群或分组计算资源可以包括在数据中心基础设施层1310处的分 组计算资源1314。在至少一个实施例中，资源管理器1336可以与资源协调器1312协调以管理这些映射或分配的计算资源。
在至少一个实施例中，包括在软件层1330中的软件1332可以包括由 节点C.R.s1316(1)-1316(N)、分组计算资源1314和/或框架层1320的 分布式文件系统1338的至少一部分使用的软件。一种或更多种类型的软件 可以包括但不限于Internet网页搜索软件、电子邮件病毒扫描软件、数据 库软件和流视频内容软件。
在至少一个实施例中，应用层1340中包括的应用程序1342可以包括 由节点C.R.s1316(1)-1316(N)的至少一部分、分组的计算资源1314 和/或框架层1320的分布式文件系统1338使用的一种或更多种类型的应用 程序。一种或更多种类型的应用程序可以包括但不限于任何数量的基因组 学应用程序，认知计算和机器学习应用程序，包括训练或推理软件，机器 学习框架软件(例如PyTorch、TensorFlow、Caffe等)或其他与一个或更 多个实施例结合使用的机器学习应用程序。
在至少一个实施例中，配置管理器1334、资源管理器1336和资源协 调器1312中的任何一个可以基于以任何技术上可行的方式获取的任何数 量和类型的数据来实现任何数量和类型的自我修改动作。在至少一个实施 例中，自我修改动作可以减轻数据中心1300的数据中心操作员做出可能不 好的配置决定并且可以避免数据中心的未充分利用和/或执行差的部分。
在至少一个实施例中，数据中心1300可以包括工具、服务、软件或其 他资源，以根据本文所述的一个或更多个实施例来训练一个或更多个机器 学习模型或者使用一个或更多个机器学习模型来预测或推理信息。例如， 在至少一个实施例中，可以通过使用上文关于数据中心1300描述的软件和 计算资源，根据神经网络架构通过计算权重参数来训练机器学习模型。在 至少一个实施例中，通过使用通过本文所述的一种或更多种训练技术计算出的权重参数，可以使用上面与关于数据中心1300所描述的资源，使用对 应于一个或更多个神经网络的经训练的机器学习模型来推理或预测信息。
在至少一个实施例中，数据中心可以使用CPU、专用集成电路(ASIC)、 GPU、FPGA或其他硬件来使用上述资源来执行训练和/或推理。此外，上 述的一个或更多个软件和/或硬件资源可以配置成一种服务，以允许用户训 练或执行信息推理，例如图像识别、语音识别或其他人工智能服务。
推理和/或训练逻辑1015用于执行与一个或更多个实施例相关联的推 理和/或训练操作。下面结合图10和/或图11提供关于推理和/或训练逻辑 1015的细节。在至少一个实施例中，推理和/或训练逻辑1015可以在系统 图13中使用，至少部分地基于使用神经网络训练操作、神经网络功能和/ 或架构或本文所述的神经网络用例计算出的权重参数来推理或预测操作。
根据至少一个实施例，数据中心基础设施1310可以接收输入文本，并 使该输入针对应用层1340和软件层1330的相应组件，以用于如本文所讨 论的训练和/或推理。
计算机系统
图14是示出根据至少一个实施例示例性计算机系统的框图，该示例性 计算机系统可以是具有互连的设备和组件的系统，片上系统(SOC)或它 们的某种形成有处理器的组合1400，该处理器可以包括执行单元以执行指 令。在至少一个实施例中，根据本公开，例如本文所述的实施例，计算机 系统1400可以包括但不限于组件，例如处理器1402，其执行单元包括逻 辑以执行用于过程数据的算法。在至少一个实施例中，计算机系统1400 可以包括处理器，例如可从加利福尼亚圣塔克拉拉的英特尔公司(Intel Corporation of SantaClara,California)获得的
处理器家族、 XeonTM、
XScaleTM和/或StrongARMTM，
CoreTM或
NervanaTM微处理器，尽管也可以使用其他系统(包括具有其他微处理器的 PC、工程工作站、机顶盒等)。在至少一个实施例中，计算机系统1400可 以执行可从华盛顿州雷蒙德市的微软公司(Microsoft Corporation of Redmond,Wash.)获得的WINDOWS操作系统版本，尽管其他操作系统(例 如UNIX和Linux)、嵌入式软件和/或图形用户界面也可以使用。
实施例可以用在其他设备中，例如手持设备和嵌入式应用。手持设备 的一些示例包括蜂窝电话、互联网协议(Internet Protocol)设备、数码相 机、个人数字助理(“PDA”)和手持PC。在至少一个实施例中，嵌入式应 用可以包括微控制器、数字信号处理器(“DSP”)、片上系统、网络计算机 (“NetPC”)、机顶盒、网络集线器、广域网(“WAN”)交换机，或根据 至少一个实施例可以执行一个或更多个指令的任何其他系统。
在至少一个实施例中，计算机系统1400可包括但不限于处理器1402， 该处理器1402可包括但不限于一个或更多个执行单元1408，以根据本文 描述的技术执行机器学习模型训练和/或推理。在至少一个实施例中，计算 机系统1400是单处理器台式机或服务器系统，但是在另一实施例中，计算 机系统1400可以是多处理器系统。在至少一个实施例中，处理器1402可 以包括但不限于复杂指令集计算机(“CISC”)微处理器、精简指令集计算(“RISC”)微处理器、超长指令字(“VLIW”)微处理器、实现指令集组 合的处理器，或任何其他处理器设备，例如数字信号处理器。在至少一个 实施例中，处理器1402可以耦合到处理器总线1410，该处理器总线1410 可以在处理器1402与计算机系统1400中的其他组件之间传输数据信号。
在至少一个实施例中，处理器1402可以包括但不限于1级(“L1”)内 部高速缓存存储器(“cache”)1404。在至少一个实施例中，处理器1402 可以具有单个内部高速缓存或多级内部缓存。在至少一个实施例中，高速 缓冲存储器可以驻留在处理器1402的外部。根据特定的实现和需求，其他 实施例也可以包括内部和外部高速缓存的组合。在至少一个实施例中，寄 存器文件1406可以在各种寄存器中存储不同类型的数据，包括但不限于整 数寄存器、浮点寄存器、状态寄存器和指令指针寄存器。
在至少一个实施例中，包括但不限于执行整数和浮点运算的逻辑的执 行单元1408，其也位于处理器1402中。在至少一个实施例中，处理器1402 还可以包括微码(“ucode”)只读存储器(“ROM”)，用于存储某些宏指令 的微代码。在至少一个实施例中，执行单元1408可以包括用于处理封装指 令集1409的逻辑。在至少一个实施例中，通过将封装指令集1409包括在 通用处理器1402的指令集中，以及要执行指令的相关电路，可以使用通用 处理器1402中的封装数据来执行许多多媒体应用程序使用的操作。在一个 或更多个实施例中，可以通过使用处理器的数据总线的全宽度来在封装的 数据上执行操作来加速和更有效地执行许多多媒体应用程序，这可能不需 要在处理器的数据总线上传输较小的数据单元来一次执行一个数据元素的 一个或更多个操作。
在至少一个实施例中，执行单元1408也可以用在微控制器、嵌入式处 理器、图形设备、DSP和其他类型的逻辑电路中。在至少一个实施例中， 计算机系统1400可以包括但不限于存储器1420。在至少一个实施例中， 存储器1420可以被实现为动态随机存取存储器(“DRAM”)设备、静态随 机存取存储器(“SRAM”)设备、闪存设备或其他存储设备。在至少一个 实施例中，存储器1420可以存储由处理器1402可以执行的由数据信号表 示的指令1419和/或数据1421。
在至少一个实施例中，系统逻辑芯片可以耦合到处理器总线1410和存 储器1420。在至少一个实施例中，系统逻辑芯片可以包括但不限于存储器 控制器集线器(“MCH”)1416，并且处理器1402可以经由处理器总线1410 与MCH 1416通信。在至少一个实施例中，MCH 1416可以提供到存储器 1420的高带宽存储器路径1418以用于指令和数据存储以及用于图形命令、 数据和纹理的存储。在至少一个实施例中，MCH1416可以在处理器1402、 存储器1420和计算机系统1400中的其他组件之间启动数据信号，并且在 处理器总线1410、存储器1420和系统I/O 1422之间桥接数据信号。在至 少一个实施例中，系统逻辑芯片可以提供用于耦合到图形控制器的图形端 口。在至少一个实施例中，MCH1416可以通过高带宽存储器路径1218耦 合到存储器1420，并且图形/视频卡1412可以通过加速图形端口(Accelerated Graphics Port)(“AGP”)互连1414耦合到MCH 1416。
在至少一个实施例中，计算机系统1400可以使用系统I/O1422作为专 有集线器接口总线来将MCH1416耦合到I/O控制器集线器(“ICH”)1430。 在至少一个实施例中，ICH1430可以通过本地I/O总线提供与某些I/O设 备的直接连接。在至少一个实施例中，本地I/O总线可以包括但不限于用 于将外围设备连接到存储器1420、芯片组和处理器1402的高速I/O总线。 示例可以包括但不限于音频控制器1429、固件集线器(“快闪BIOS”)1428、 无线收发器1426、数据存储器1424、包含用户输入的传统I/O控制器1423 和键盘接口、串行扩展端口1427(例如通用串行总线(USB))和网络控 制器1434。数据存储装置1424可以包括硬盘驱动器、软盘驱动器、CD-ROM 设备、闪存设备或其他大容量存储设备。
在至少一个实施例中，图14示出了包括互连的硬件设备或“芯片”的 系统，而在其他实施例中，图14可以示出示例性片上系统(“SoC”)。在 至少一个实施例中，图14中示出的设备可以与专有互连、标准化互连(例 如，PCIe)或其某种组合互连。在至少一个实施例中，计算机系统1400 的一个或更多个组件使用计算快速链路(CXL)互连来互连。
推理和/或训练逻辑1015用于执行与一个或更多个实施例相关的推理 和/或训练操作。下面结合图10和/或图11提供关于推理和/或训练逻辑1015 的细节。在至少一个实施例中，推理和/或训练逻辑1015可以在系统图14 中使用，用于至少部分地基于使用神经网络训练操作、神经网络功能和/ 或架构或本文所述的神经网络用例计算的权重参数来推理或预测操作。
在一些实施例中，例如，可以通过扩展端口1427或无线收发器1426 接收视频数据流，然后将其定向到处理器1402和/或视频图形卡1412以进 行处理。根据组件是设备(例如自动驾驶汽车)的一部分还是单独的设备， 输出然后可以通过I/O传输到控制系统或通过无线收发器传输到车辆。
图15是示出根据至少一个实施例的用于利用处理器1510的电子设备 1500的框图。在至少一个实施例中，电子设备1500可以是，例如但不限 于，笔记本电脑、塔式服务器、机架服务器、刀片服务器、膝上型计算机、 台式机、平板电脑、移动设备、电话、嵌入式计算机或任何其他合适的电 子设备。
在至少一个实施例中，系统1500可以包括但不限于通信地耦合到任何 合适数量或种类的组件、外围设备、模块或设备的处理器1510。在至少一 个实施例中，处理器1510使用总线或接口耦合，诸如1℃总线、系统管理 总线(“SMBus”)、低引脚数(LPC)总线、串行外围接口(“SPI”)、高清 音频(“HDA”)总线、串行高级技术附件(“SATA”)总线、通用串行总 线(“USB”)(1、2、3版)或通用异步接收器/发送器(“UART”)总线。 在至少一个实施例中，图15示出了系统，该系统包括互连的硬件设备或“芯 片”，而在其他实施例中，图15可以示出示例性片上系统(“SoC”)。在至 少一个实施例中，图15中所示的设备可以与专有互连线、标准化互连(例 如，PCIe)或其某种组合互连。在至少一个实施例中，图13的一个或更多 个组件使用计算快速链路(CXL)互连线来互连。
在至少一个实施例中，图15可以包括显示器1524、触摸屏1525、触 摸板1530、近场通信单元(“NFC”)1545、传感器集线器1540、热传感器 1546、快速芯片组(“EC”)1535、可信平台模块(“TPM”)1538、BIOS/ 固件/闪存(“BIOS，FW Flash”)1522、DSP1560、驱动器1520(例如固态 磁盘(“SSD”)或硬盘驱动器(“HDD”))、无线局域网单元(“WLAN”) 1550、蓝牙单元1552、无线广域网单元(“WWAN”)1556、全球定位系统 (GPS)1555、相机(“USB 3.0相机”)1554(例如USB 3.0相机)和/或 实现在例如LPDDR3标准低功耗双倍数据速率(“LPDDR”)存储单元 (“LPDDR3”)1515。这些组件可以各自以任何合适的方式实现。
在至少一个实施例中，其他组件可以通过以上讨论的组件通信地耦合 到处理器1510。在至少一个实施例中，加速度计1541、环境光传感器 (“ALS”)1542、罗盘1543和陀螺仪1544可以可通信地耦合到传感器集 线器1540。在至少一个实施例中，热传感器1539、风扇1537、键盘1546 和触摸板1530可以通信地耦合到EC1535。在至少一个实施例中，扬声器1563、耳机1564和麦克风(“mic”)1565可以通信地耦合到音频单元(“音 频编解码器和D类放大器”)1564，其又可以通信地耦合到DSP1560。在 至少一个实施例中，音频单元1564可以包括例如但不限于音频编码器/解 码器(“编解码器”)和D类放大器。在至少一个实施例中，SIM卡(“SIM”) 1557可以通信地耦合到WWAN单元1556。在至少一个实施例中，组件(诸 如WLAN单元1550和蓝牙单元1552以及WWAN单元1556)可以被实现 为下一代形式因素(NGFF)。
推理和/或训练逻辑1015用于执行与一个或更多个实施例相关联的推 理和/或训练操作。下面结合图10和/或图11提供关于推理和/或训练逻辑 1015的细节。在至少一个实施例中，推理和/或训练逻辑1015可以在系统 图15中使用，用于至少部分地基于使用神经网络训练操作、神经网络功能 和/或架构或本文所述的神经网络用例计算的权重参数来推理或预测操作。
图16示出了根据至少一个实施例的计算机系统1600。在至少一个实 施例中，计算机系统1600配置为实现贯穿本公开描述的各种过程和方法。
在至少一个实施例中，计算机系统1600包括但不限于至少一个中央处 理单元(“CPU”)1602，该中央处理单元(“CPU”)1602连接到使用任何 合适协议实现的通信总线1610，诸如PCI(“外围设备互联”)、外围组件互 连快速(“PCI-Express”)、AGP(“加速图形端口”)、超传输或任何其他总 线或点对点通信协议。在至少一个实施例中，计算机系统1600包括但不限 于主存储器1604和控制逻辑(例如，实现为硬件、软件或其组合)，并且 数据可以采取随机存取存储器(“RAM”)的形式存储在主存储器1604中。 在至少一个实施例中，网络接口子系统(“网络接口”)1622提供到其他 计算设备和网络的接口，用于从计算机系统1600接收数据并将数据传输到 其他系统。
在至少一个实施例中，计算机系统1600在至少一个实施例中包括但不 限于输入设备1608、并行处理系统1612和显示设备1606，它们可以使用 阴极视线管(“CRT”)、液晶显示器(“LCD”)、发光二极管(“LED”)、 等离子显示器或其他合适的显示技术实现。在至少一个实施例中，从输入 设备1608(诸如键盘、鼠标、触摸板、麦克风等)接收用户输入。在至少一个实施例中，前述模块中的每一个可以位于单个半导体平台上以形成处 理系统。
推理和/或训练逻辑1015用于执行与一个或更多个实施例相关联的推 理和/或训练操作。下面结合图10和/或图11提供关于推理和/或训练逻辑 1015的细节。在至少一个实施例中，推理和/或训练逻辑1015可以在系统 图16中使用，以至少部分地基于使用神经网络训练操作、神经网络功能和 /或架构或本文所述的神经网络用例计算出的权重参数来进行推理或预测 操作。
图17示出了根据至少一个实施例的计算机系统1700。在至少一个实 施例中，计算机系统1700包括但不限于计算机1710和USB盘1720。在 至少一个实施例中，计算机1710可以包括但不限于任何数量和类型的处理 器(未示出)和存储器(未示出)。在至少一个实施例中，计算机1710包 括但不限于服务器、云实例、膝上型计算机和台式计算机。
在至少一个实施例中，USB盘1720包括但不限于处理单元1730、USB 接口1740和USB接口逻辑1750。在至少一个实施例中，处理单元1730 可以是任何指令执行系统、装置或能够执行指令的设备。在至少一个实施 例中，处理单元1730可以包括但不限于任何数量和类型的处理核心(未示 出)。在至少一个实施例中，处理核心1730包括专用集成电路(“ASIC”)， 该专用集成电路被优化为执行与机器学习相关联的任何数量和类型的操作。例如，在至少一个实施例中，处理核心1730是张量处理单元(“TPC”)， 其被优化以执行机器学习推理操作。在至少一个实施例中，处理核心1730 是视觉处理单元(“VPU”)，其被优化以执行机器视觉和机器学习推理操作。
在至少一个实施例中，USB接口1740可以是任何类型的USB连接器 或USB插座。例如，在至少一个实施例中，USB接口1740是用于数据和 电源的USB 3.0Type-C插座。在至少一个实施例中，USB接口1740是USB 3.0Type-A连接器。在至少一个实施例中，USB接口逻辑1750可以包括使 处理单元1730能够经由USB连接器1740与设备(例如计算机1710)相 连接的任何数量和类型的逻辑。
推理和/或训练逻辑1015用于执行与一个或更多个实施例相关联的推 理和/或训练操作。下面结合图10和/或图11提供关于推理和/或训练逻辑 1015的细节。在至少一个实施例中，推理和/或训练逻辑1015可以在系统 图17中使用，至少部分地基于使用神经网络训练操作、神经网络功能和/ 或架构或本文所述的神经网络用例计算出的权重参数来推理或预测操作。
图18是示出根据至少一个实施例的可使用一个或更多个IP核心制造 的芯片集成电路1800上的示例性系统的框图。在至少一个实施例中，集成 电路1800包括一个或更多个应用处理器1805(例如，CPU)、至少一个图 形处理器1810，并且可以另外包括图像处理器1815和/或视频处理器1820， 其中任意一个可能是模块化IP核心。在至少一个实施例中，集成电路1800 包括外围或总线逻辑，其包括USB控制器1825、UART控制器1830、 SPI/SDIO控制器1835和I.sup.2S/I.sup.2C控制器1840。在至少一个实施例 中，集成电路1800可以包括显示设备1845耦合到高清多媒体接口(HDMI) 控制器1850和移动工业处理器接口(MIPI)显示接口1855中的一个或更 多个。在至少一个实施例中，存储器可以由闪存子系统1860提供，包括闪 存和闪存控制器。在至少一个实施例中，可以经由存储器控制器1865提供 存储器接口以用于访问SDRAM或SRAM存储器设备。在至少一个实施例 中，一些集成电路还包括嵌入式安全引擎1870。
推理和/或训练逻辑1015用于执行与一个或更多个实施例相关联的推 理和/或训练操作。下面结合图10和/或图11提供关于推理和/或训练逻辑 1015的细节。在至少一个实施例中，推理和/或训练逻辑1015可以在集成 电路1800中用于至少部分地基于使用神经网络训练操作、神经网络功能和 /或架构或本文描述的神经网络用例计算的权重参数来推理或预测操作。
例如，推理和/或训练逻辑1015可以接受输入视频流，并为在视频流 中表示的对象生成推理，如本文所述。在至少一些实施例中，图像处理器 1815可以用于在接收到视频帧时对其进行处理。
图19A-图19B示出了根据本文所述的各种实施例的示例性集成电路和 相关联的图形处理器，其可以使用一个或更多个IP核心来制造。除了图示 之外，在至少一个实施例中可以包括其他逻辑和电路，包括附加的图形处 理器/核心、外围接口控制器或通用处理器核心。
图19A-图19B是示出根据本文描述的实施例的在SoC内使用的示例 性图形处理器的框图。图19A示出了根据至少一个实施例的芯片集成电路 上系统的示例性图形处理器1910，其可以使用一个或更多个IP核心来制 造。图19B示出了根据至少一个实施例的芯片集成电路上系统的另外示例 性图形处理器1940，其可以使用一个或更多个IP核心来制造。在至少一 个实施例中，图19A的图形处理器1910是低功耗图形处理器核心。在至 少一个实施例中，图19B的图形处理器1940是更高性能的图形处理器核 心。在至少一个实施例中，每个图形处理器1910、1940可以是图18的图 形处理器1810的变体。
在至少一个实施例中，图形处理器1910包括顶点处理器1905和一个 或更多个片段处理器1915A-1915N(例如1915A、1915B、1915C、1915D 至1915N-1和1915N)。在至少一个实施例中，图形处理器1910可以经由 单独的逻辑来执行不同的着色器程序，使得顶点处理器1905被优化以执行 针对顶点着色器程序的操作，而一个或更多个片段处理器1915A-1915N执 行片段(例如，像素)着色操作用于片段或像素或着色器程序。在至少一 个实施例中，顶点处理器1905执行3D图形管线的顶点处理阶段并生成图元和顶点数据。在至少一个实施例中，一个或更多个片段处理器 1915A-1915N使用由顶点处理器1905生成的图元和顶点数据来生成在显 示设备上显示的帧缓冲区。在至少一个实施例中，一个或更多个片段处理 器1915A-1915N被优化以执行如在OpenGL API中所提供的片段着色器程 序，其可以用于执行与在Direct 3D API中所提供的像素着色器程序类似的 操作。
在至少一个实施例中，图形处理器1910附加地包括一个或更多个存储 器管理单元(MMU)1920A-1920B、一个或更多个高速缓存1925A-1925B 和一个或更多个电路互连1930A-1930B。在至少一个实施例中，一个或更 多个MMU1920A-1920B提供用于图形处理器1910的虚拟到物理地址的映 射，包括用于顶点处理器1905和/或片段处理器1915A-1915N，其可以引 用存储在存储器中的顶点或图像/纹理数据，除了存储在一个或更多个高速 缓存1925A-1925B中的顶点或图像/纹理数据之外。在至少一个实施例中， 一个或更多个MMU1920A-1920B可以与系统内的其他MMU同步，包括 与图18的一个或更多个应用处理器1805、图像处理器1815和/或视频处理 器1820相关联的一个或更多个MMU，使得每个处理器1805-1820可以参 与共享或统一的虚拟存储器系统。在至少一个实施例中，一个或更多个电 路互连1930A-1930B使图形处理器1910能够经由SoC的内部总线或经由 直接连接与SoC内的其他IP核心相连接。
在至少一个实施例中，图形处理器1940包括图19A的图形处理器1910 的一个或更多个MMU 1920A-1920B、高速缓存1925A-1925B和电路互连 1930A-1930B。在至少一个实施例中，图形处理器1940包括一个或更多个 着色器核心1955A-1955N(例如，1955A、1955B、1955C、1955D、1955E、 1955F、直到1955N-1和1955N)，其提供了统一的着色器核心架构，其中 单个核心或类型或核心可以执行所有类型的可编程着色器代码，包括用于 实现顶点着色器、片段着色器和/或计算着色器的着色器程序代码。在至少 一个实施例中，多个着色器核心可以变化。在至少一个实施例中，图形处 理器1940包括核心间任务管理器1945，其充当线程分派器以将执行线程 分派给一个或更多个着色器核心1955A-1955N和分块单元1958，以加速基 于图块渲染的分块操作，其中在图像空间中细分了场景的渲染操作，例如，以利用场景内的局部空间相干或优化内部缓存的使用。
推理和/或训练逻辑1015用于执行与一个或更多个实施例相关联的推 理和/或训练操作。下面结合图10和/或图11提供关于推理和/或训练逻辑 1015的细节。在至少一个实施例中，推理和/或训练逻辑1015可以在集成 电路图19A和/或图19B中使用用于至少部分地基于使用神经网络训练操 作、神经网络功能和/或架构或本文描述的神经网络用例计算的权重参数来 推理或预测操作。例如，推理和/或训练逻辑1015可以接受输入视频流， 并为在视频流中表示的对象生成推理，如本文所述。
图20A-图20B示出了根据本文描述的实施例的附加的示例性图形处理 器逻辑。在至少一个实施例中，图20A示出了可以包括在图18的图形处 理器1810内的图形核心2000，在至少一个实施例中，可以是图19B中统 一的着色器核心1955A-1955N。图20B示出了在至少一个实施例中的适用 于在多芯片模块上部署的高度并行的通用图形处理单元2030。
在至少一个实施例中，图形核心2000包括共享指令高速缓存2002、 纹理单元2018和高速缓存/共享存储器2020，它们由图形核心2000内的执 行资源共享。在至少一个实施例中，图形核心2000可以包括多个切片(slice) 2001A-2001N或每个核心的分区，图形处理器可以包括图形核心2000的多 个实例。切片2001A-2001N可以包括支持逻辑，该支持逻辑包括本地指令 高速缓存2004A-2004N、线程调度器2006A-2006N、线程分派器 2008A-2008N和一组寄存器2010A-2010N。在至少一个实施例中，切片 2001A-2001N可以包括一组附加功能单元(AFU2012A-2012N)、浮点单元 (FPU2014A-2014N)、整数算术逻辑单元(ALU2016-2016N)、地址计算 单元(ACU2013A-2013N)、双精度浮点单元(DPFPU2015A-2015N)和矩 阵处理单元(MPU2017A-2017N)。
在至少一个实施例中，FPU2014A-2014N可以执行单精度(32位)和 半精度(16位)浮点运算，而DPFPU2015A-2015N可以执行双精度(64 位)浮点运算点操作。在至少一个实施例中，ALU2016A-2016N可以以8 位、16位和32位精度执行可变精度整数运算，并且可以被配置用于混合 精度运算。在至少一个实施例中，MPU 2017A-2017N还可被配置用于混合 精度矩阵运算，包括半精度浮点运算和8位整数运算。在至少一个实施例 中，MPU2017A-2017N可以执行各种矩阵操作以加速机器学习应用框架， 包括使得能够支持加速的通用矩阵到矩阵乘法(GEMM)。在至少一个实 施例中，AFU2012A-2012N可以执行浮点数或整数单元不支持的附加逻辑 运算，包括三角运算(例如，Sine、Cosine等)。
推理和/或训练逻辑1015用于执行与一个或更多个实施例相关联的推 理和/或训练操作。下面结合图10和/或图11提供关于推理和/或训练逻辑 1015的细节。在至少一个实施例中，推理和/或训练逻辑1015可以在图形 核心2000中使用用于至少部分地基于使用神经网络训练操作、神经网络功 能和/或架构或本文描述的神经网络用例计算的权重参数来推理或预测操 作。
图20B示出了在至少一个实施例中的通用处理单元(GPGPU)2030， 其可以被配置为使得高度并行的计算操作能够由图形处理单元阵列来执行。 在至少一个实施例中，GPGPU 2030可以直接链路到GPGPU 2030的其他 实例，以创建多GPU集群以提高用于深度神经网络的训练速度。在至少一 个实施例中，GPGPU 2030包括主机接口2032以实现与主机处理器的连接。 在至少一个实施例中，主机接口2032是PCI Express接口。在至少一个实 施例中，主机接口2032可以是厂商专用的通信接口或通信结构。在至少一 个实施例中，GPGPU2030从主机处理器接收命令，并使用全局调度器2034 将与那些命令相关联的执行线程分派给一组计算集群2036A-2036H。在至 少一个实施例中，计算集群2036A-2036H共享高速缓冲存储器2038。在至 少一个实施例中，高速缓冲存储器2038可以用作计算集群2036A-2036H 内的高速缓冲存储器的高级高速缓存。
在至少一个实施例中，GPGPU 2030包括经由一组存储器控制器 2042A-12042B与计算集群2036A-2036H耦合的存储器2044A-2044B。在 至少一个实施例中，存储器2044A-2044B可以包括各种类型的存储器设备， 包括动态随机存取存储器(DRAM)或图形随机存取存储器，例如同步图 形随机存取存储器(SGRAM)，包括图形双倍数据速率(GDDR)存储器。
在至少一个实施例中，计算集群2036A-2036H各自包括一组图形核心， 诸如图20A的图形核心2000，其可以包括多种类型的整数和浮点逻辑单元， 其可以以包括用于在适用于机器学习计算的精度范围内执行计算操作。例 如，在至少一个实施例中，每个计算集群2036A-2036H中的浮点单元的至 少一个子集可以配置为执行16位或32位浮点运算，而不同的浮点单元的 子集可以配置为执行64位浮点运算。
在至少一个实施例中，GPGPU 2030的多个实例可以被配置为操作为 计算集群。在至少一个实施例中，计算集群2036A-2036H用于同步和数据 交换的通信在实施例之间变化。在至少一个实施例中，GPGPU 2030的多 个实例通过主机接口2032进行通信。在至少一个实施例中，GPGPU 2030 包括I/O集线器2039，其将GPGPU 2030与GPU链路2040耦合，使得能 够直接连接至GPGPU 2030的其他的实例。在至少一个实施例中，GPU链 路2040耦合到专用GPU到GPU桥接器，其使得能够在GPGPU 2030的多 个实例之间进行通信和同步。在至少一个实施例中，GPU链路2040与高 速互连耦合，以向其他GPGPU或并行处理器发送和接收数据。在至少一 个实施例中，GPGPU 2030的多个实例位于单独的数据处理系统中，并经 由可经由主机接口2032访问的网络设备进行通信。在至少一个实施例中， GPU链路2040可被配置为能够连接到主机处理器，附加或替代主机接口 2032。
在至少一个实施例中，GPGPU 2030可以配置为训练神经网络。在至 少一个实施例中，可以在推理平台内使用GPGPU 2030。在其中使用GPGPU 2030进行推理的至少一个实施例中，相对于当使用GPGPU训练神经网络 时，GPGPU可以包括更少的计算集群2036A-2036H。在至少一个实施例中， 与存储器2044A-2044B相关联的存储器技术可以在推理和训练配置之间有 所不同，其中更高带宽的存储器技术专用于训练配置。在至少一个实施例 中，GPGPU 2030的推理配置可以支持推理特定指令。例如，在至少一个 实施例中，推理配置可以提供对一个或更多个8位整数点积指令的支持， 该指令可以在部署的神经网络的推理操作期间使用。
推理和/或训练逻辑1015用于执行与一个或更多个实施例相关联的推 理和/或训练操作。下面结合图10和/或图11提供关于推理和/或训练逻辑 1015的细节。在至少一个实施例中，推理和/或训练逻辑1015可以在GPGPU 2030中使用用于至少部分地基于使用神经网络训练操作、神经网络功能和 /或架构或本文描述的神经网络用例计算的权重参数来推理或预测操作。
图21是示出根据至少一个实施例的计算系统2100的框图。在至少一 个实施例中，计算系统2100包括具有一个或更多个处理器2102的处理子 系统2101和经由可以包括存储器集线器2105的互连路径通信的系统存储 器2104。在至少一个实施例中，存储器集线器2105可以是芯片组组件内 的单独组件，也可以集成在一个或更多个处理器2102内。在至少一个实施 例中，存储器集线器2105通过通信链路2106与I/O子系统2111耦合。在 一实施例中，I/O子系统2111包括I/O集线器2107，其可以使计算系统2100 能够接收来自一个或更多个输入设备2108的输入。在至少一个实施例中， I/O集线器2107可以使能显示控制器，其包括在一个或更多个处理器2102 中，用于向一个或更多个显示设备2110A提供输出。在至少一个实施例中， 与I/O集线器2107耦合的一个或更多个显示设备2110A可以包括本地、内部或嵌入式显示设备。
在至少一个实施例中，处理子系统2101包括经由总线或其他通信链路 2113耦合到存储器集线器2105的一个或更多个并行处理器2112。在至少 一个实施例中，通信链路2113可以是许多基于标准的通信链路技术或协议 中的一种，例如但不限于PCI快速，或者可以是针对供应商的通信接口或 通信结构。在至少一个实施例中，一个或更多个并行处理器2112形成计算 集中的并行或向量处理系统，该系统可以包括大量的处理核心和/或处理集 群，例如多集成核心(MIC)处理器。在至少一个实施例中，一个或更多 个并行处理器2112形成可以将像素输出到经由I/O集线器2107耦合的一 个或更多个显示设备2110A之一的图形处理子系统。在至少一个实施例中， 一个或更多个并行处理器2112还可以包括显示控制器和显示接口(未示 出)，以使得能够直接连接到一个或更多个显示设备2110B。
在至少一个实施例中，系统存储单元2114可以连接到I/O集线器2107， 以提供用于计算系统2100的存储机制。在至少一个实施例中，I/O交换机 2116可以用于提供接口机制，以实现I/O集线器2107与其他组件之间的连 接，例如可以集成到平台中的网络适配器2118和/或无线网络适配器2119， 以及可以通过一个或更多个附加设备2120添加的各种其他设备。在至少一 个实施例中，网络适配器2118可以是以太网适配器或另一有线网络适配器。 在至少一个实施例中，无线网络适配器2119可以包括Wi-Fi、蓝牙、近场 通信(NFC)的一个或更多个或其他包括一个或更多个无线电的网络设备。
在至少一个实施例中，计算系统2100可以包括未明确示出的其他组件， 包括USB或其他端口连接、光存储驱动器、视频捕获设备等，也可以连接 到I/O集线器2107。在至少一个实施例中，对图21中的各个组件进行互 连的通信路径可以使用任何合适的协议来实现，诸如基于PCI(外围组件 互连)的协议(例如，PCI-Express)，或其他总线或点对点通信接口和/或 协议(例如，NV-链路高速互连或互连协议)。
在至少一个实施例中，一个或更多个并行处理器2112包括针对图形和 视频处理而优化的电路(包括例如视频输出电路)，并构成图形处理单元 (GPU)。在至少一个实施例中，一个或更多个并行处理器2112包括针对 通用处理而优化的电路。在至少一个实施例中，计算系统2100的组件可以 与单个集成电路上的一个或更多个其他系统元件集成。例如，在至少一个 实施例中，一个或更多个并行处理器2112、存储器集线器2105、一个或更多个处理器2102和I/O集线器2107可以被集成到片上系统(SoC)集成电 路中。在至少一个实施例中，计算系统2100的组件可以被集成到单个封装 中以形成系统级封装(SIP)配置。在至少一个实施例中，计算系统2100 的组件的至少一部分可以被集成到多芯片模块(MCM)中，该多芯片模块 可以与其他多芯片模块互连到模块化计算系统中。
推理和/或训练逻辑1015用于执行与一个或更多个实施例相关联的推 理和/或训练操作。下面结合图10和/或图11提供关于推理和/或训练逻辑 1015的细节。在至少一个实施例中，推理和/或训练逻辑1015可以在系统 图2100中使用用于至少部分地基于使用神经网络训练操作、神经网络功能 和/或架构或本文描述的神经网络用例计算的权重参数来推理或预测操作。
处理器
图22示出了根据至少一个实施例的并行处理器2200。在至少一个实 施例中，并行处理器2200的各种组件可以使用一个或更多个集成电路设备 来实现，例如可编程处理器、专用集成电路(ASIC)或现场可编程门阵列 (FPGA)。在至少一个实施例中，所示的并行处理器2200是根据示例性 实施例的图21所示的一个或更多个并行处理器2112的变体。
在至少一个实施例中，并行处理器2200包括并行处理单元2202。在 至少一个实施例中，并行处理单元2202包括I/O单元2204，其使得能够 与其他设备进行通信，包括并行处理单元2202的其他实例。在至少一个实 施例中，I/O单元2204可以直接连接到其他设备。在至少一个实施例中， I/O单元2204通过使用集线器或开关接口(例如，存储器集线器2105)与 其他设备连接。在至少一个实施例中，存储器集线器2105与I/O单元2204 之间的连接形成通信链路2113。在至少一个实施例中，I/O单元2204与主 机接口2206和存储器交叉开关2216连接，其中主机接口2206接收用于执 行处理操作的命令，而存储器交叉开关2216接收用于执行存储器操作的命 令。
在至少一个实施例中，当主机接口2206经由I/O单元2204接收命令 缓冲区时，主机接口2206可以引导工作操作以执行那些命令到前端2208。 在至少一个实施例中，前端2208与调度器2210耦合，调度器2210配置成 将命令或其他工作项分配给处理集群阵列2212。在至少一个实施例中，调 度器2210确保在将任务分配给处理集群阵列2212之前，处理集群阵列 2212被正确地配置并且处于有效状态。在至少一个实施例中，调度器2210 通过在微控制器上执行的固件逻辑来实现。在至少一个实施例中，微控制 器实现的调度器2210可配置成以粗粒度和细粒度执行复杂的调度和工作 分配操作，从而实现对在处理阵列2212上执行的线程的快速抢占和环境切 换。在至少一个实施例中，主机软件可以证明用于通过多个图形处理门铃 之一在处理阵列2212上进行调度的工作负载。在至少一个实施例中，工作 负载然后可以由包括调度器2210的微控制器内的调度器2210逻辑在处理 阵列2212上自动分配。
在至少一个实施例中，处理集群阵列2212可以包括多达“N”个处理 集群(例如，集群2214A、集群2214B到集群2214N)。在至少一个实施 例中，处理集群阵列2212的每个集群2214A-2214N可以执行大量并发线 程。在至少一个实施例中，调度器2210可以使用各种调度和/或工作分配 算法将工作分配给处理集群阵列2212的集群2214A-2214N，其可以根据每 种程序或计算类型产生的工作负载而变化。在至少一个实施例中，调度可 以由调度器2210动态地处理，或者可以在配置为由处理集群阵列2212执 行的程序逻辑的编译期间部分地由编译器逻辑来辅助。在至少一个实施例 中，可将处理集群阵列2212的不同的集群2214A-2214N分配用于处理不 同类型的程序或用于执行不同类型的计算。
在至少一个实施例中，处理集群阵列2212可以配置成执行各种类型的 并行处理操作。在至少一个实施例中，处理集群阵列2212配置成执行通用 并行计算操作。例如，在至少一个实施例中，处理集群阵列2212可以包括 执行处理任务的逻辑，该处理任务包括对视频和/或音频数据的过滤，执行 建模操作，包括物理操作以及执行数据转换。
在至少一个实施例中，处理集群阵列2212配置成执行并行图形处理操 作。在至少一个实施例中，处理集群阵列2212可以包括附加逻辑以支持这 种图形处理操作的执行，包括但不限于执行纹理操作的纹理采样逻辑，以 及镶嵌逻辑和其他顶点处理逻辑。在至少一个实施例中，处理集群阵列 2212可以配置成执行与图形处理有关的着色器程序，例如但不限于顶点着 色器、曲面细分着色器、几何着色器和像素着色器。在至少一个实施例中， 并行处理单元2202可以经由I/O单元2204从系统存储器传送数据以进行 处理。在至少一个实施例中，在处理期间，可以在处理期间将传送的数据 存储到片上存储器(例如，并行处理器存储器2222)，然后将其写回到系 统存储器。
在至少一个实施例中，当并行处理单元2202用于执行图形处理时，调 度器2210可以配置成将处理工作负载划分为近似相等大小的任务，以更好 地将图形处理操作分配给处理集群阵列2212的多个集群2214A-2214N。 在至少一个实施例中，处理集群阵列2212的部分可以配置成执行不同类型 的处理。例如，在至少一个实施例中，第一部分可以配置成执行顶点着色 和拓扑生成，第二部分可以配置成执行镶嵌和几何着色，并且第三部分可以配置成执行像素着色或其他屏幕空间操作，以生成用于显示的渲染图像。 在至少一个实施例中，可以将由集群2214A-2214N中的一个或更多个产生 的中间数据存储在缓冲区中，以允许在集群2214A-2214N之间传输中间数 据以进行进一步处理。
在至少一个实施例中，处理集群阵列2212可以经由调度器2210接收 要执行的处理任务，该调度器2210从前端2208接收定义处理任务的命令。 在至少一个实施例中，处理任务可以包括要被处理的数据的索引，例如表 面(补丁)数据、原始数据、顶点数据和/或像素数据，以及状态参数和定 义如何处理数据的命令(例如，要执行什么程序)。在至少一个实施例中， 调度器2210可以配置成获取与任务相对应的索引，或者可以从前端2208 接收索引。在至少一个实施例中，前端2208可以配置成确保在启动由传入 命令缓冲区(例如，批处理缓冲区(batch-buffer)、推入缓冲区等)指定 的工作负载之前，处理集群阵列2212配置成有效状态。
在至少一个实施例中，并行处理单元2202的一个或更多个实例中的每 一个可以与并行处理器存储器2222耦合。在至少一个实施例中，可以经由 存储器交叉开关2216访问并行处理器存储器2222，所述存储器交叉开关 2216可以接收来自处理集群阵列2212以及I/O单元2204的存储器请求。 在至少一个实施例中，存储器交叉开关2216可以经由存储器接口2218访 问并行处理器存储器2222。在至少一个实施例中，存储器接口2218可以 包括多个分区单元(例如，分区单元2220A、分区单元2220B、直到分区 单元2220N)，其可各自耦合至并行处理器存储器2222的一部分(例如， 存储单元)。在至少一个实施例中，多个分区单元2220A-2220N为配置为 等于存储器单元的数量，使得第一分区单元2220A具有对应的第一存储器 单元2224A，第二分区单元2220B具有对应的存储器单元2224B，第N分 区单元2220N具有对应的第N存储器单元2224N。在至少一个实施例中， 分区单元2220A-2220N的数量可以不等于存储器设备的数量。
在至少一个实施例中，存储器单元2224A-2224N可以包括各种类型的 存储器设备，包括动态随机存取存储器(DRAM)或图形随机存取存储器， 例如同步图形随机存取存储器(SGRAM)，包括图形双倍数据速率(GDDR) 存储器。在至少一个实施例中，存储器单元2224A-2224N还可包括3D堆 叠存储器，包括但不限于高带宽存储器(HBM)。在至少一个实施例中， 可以跨存储器单元2224A-2224N来存储诸如帧缓冲区或纹理映射的渲染目 标，从而允许分区单元2220A-2220N并行地写入每个渲染目标的部分，以 有效地使用并行处理器存储器2222的可用带宽。在至少一个实施例中，可 以排除并行处理器存储器2222的本地实例，以有利于利用系统存储器与本 地高速缓存存储器结合的统一存储器设计。
在至少一个实施例中，处理集群阵列2212的集群2214A-2214N中的 任何一个都可以处理将被写入并行处理器存储器2222内的任何存储器单 元2224A-2224N中的数据。在至少一个实施例中，存储器交叉开关2216 可以配置为将每个集群2214A-2214N的输出传输到任何分区单元 2220A-2220N或另一个集群2214A-2214N，集群2214A-2214N可以对输出 执行其他处理操作。在至少一个实施例中，每个集群2214A-2214N可以通 过存储器交叉开关2216与存储器接口2218通信，以从各种外部存储设备 读取或写入各种外部存储设备。在至少一个实施例中，存储器交叉开关 2216具有到存储器接口2218的连接以与I/O单元2204通信，以及到并行 处理器存储器2222的本地实例的连接，从而使不同处理集群2214A-2214N内的处理单元与系统存储器或不是并行处理单元2202本地的其他存储器 进行通信。在至少一个实施例中，存储器交叉开关2216可以使用虚拟通道 来分离集群2214A-2214N和分区单元2220A-2220N之间的业务流。
在至少一个实施例中，可以在单个插入卡上提供并行处理单元2202的 多个实例，或者可以将多个插入卡互连。在至少一个实施例中，并行处理 单元2202的不同实例可以配置成相互操作，即使不同实例具有不同数量的 处理核心，不同数量的本地并行处理器存储器和/或其他配置差异。例如， 在至少一个实施例中，并行处理单元2202的一些实例可以包括相对于其他 实例而言更高精度的浮点单元。在至少一个实施例中，结合并行处理单元2202或并行处理器2200的一个或更多个实例的系统可以以各种配置和形 式因素来实现，包括但不限于台式机、膝上型计算机或手持式个人计算机、 服务器、工作站、游戏机和/或嵌入式系统。
图23是根据至少一个实施例的分区单元2320的框图。在至少一个实 施例中，分区单元2320是图22的分区单元2220A-2220N之一的实例。在 至少一个实施例中，分区单元2320包括L2高速缓存2321、帧缓冲区接口 2325和光栅操作单元(“ROP”)2326。L2高速缓存2321是读/写高速缓 存，其配置成执行从存储器交叉开关2316和ROP 2326接收的加载和存储 操作。在至少一个实施例中，L2高速缓存2321将读取未命中和紧急回写 请求输出到帧缓冲区接口2325以进行处理。在至少一个实施例中，还可以 经由帧缓冲区接口2325将更新发送到帧缓冲区以进行处理。在至少一个实 施例中，帧缓冲区接口2325与并行处理器存储器中的存储器单元(诸如图 22的存储器单元2224A-2224N(例如，在并行处理器存储器2222内)) 之一相互作用。
在至少一个实施例中，ROP 2326是一种处理单元，其执行光栅操作， 诸如模版、z测试、混合等。在至少一个实施例中，ROP 2326然后输出存 储在图形存储器中的处理后的图形数据。在至少一个实施例中，ROP 2326 包括压缩逻辑以压缩被写入存储器的深度或颜色数据并解压缩从存储器读 取的深度或颜色数据。在至少一个实施例中，压缩逻辑可以是利用多种压 缩算法中的一种或更多种的无损压缩逻辑。ROP 2326执行的压缩类型可以 根据要压缩的数据的统计特性而变化。例如，在至少一个实施例中，基于 每图块基础上的深度和颜色数据执行增量颜色压缩。
在至少一个实施例中，ROP 2326包括在每个处理集群内(例如，图 22的集群2214A-2214N)，而不是在分区单元2320内。在至少一个实施 例中，通过存储器交叉开关2316而不是像素片段数据传输对像素数据的读 取和写入请求。在至少一个实施例中，经处理的图形数据可以在显示设备 上(诸如图21的一个或更多个显示设备2110之一)显示，由处理器2102 路由以供进一步处理，或者由图22的并行处理器2200内的处理实体之一 路由以供进一步处理。
图24是根据至少一个实施例的并行处理单元内的处理集群2414的框 图。在至少一个实施例中，处理集群是图22的处理集群2214A-2214N之 一的实例。在至少一个实施例中，一个或更多个处理集群2414中的一个或 更多个可以配置成并行执行许多线程，其中“线程”是指在特定的一组输 入数据上执行的特定程序的实例。在至少一个实施例中，单指令多数据 (SIMD)指令发布技术用于支持大量线程的并行执行而无需提供多个独立 的指令单元。在至少一个实施例中，使用单指令多线程(SIMT)技术来支 持并行执行大量同步的线程，这使用了指令单元，该指令单元配置成向每 个处理集群内的一组处理引擎发出指令。
在至少一个实施例中，可以通过将处理任务分配给SIMT并行处理器 的管线管理器2432来控制处理集群2214的操作。在至少一个实施例中， 管线管理器2432从图22的调度器2210接收指令，通过图形多处理器2434 和/或纹理单元2436管理这些指令的执行。在至少一个实施例中，图形多 处理器2434是SIMT并行处理器的示例性实例。然而，在至少一个实施例 中，处理集群2414内可以包括不同架构的各种类型的SIMT并行处理器。 在至少一个实施例中，在处理集群2414内可以包括图形多处理器2434的 一个或更多个实例。在至少一个实施例中，图形多处理器2434可以处理数 据，并且数据交叉开关2440可以用于将处理后的数据分发到多个可能的目 的(包括其他着色器单元)地之一。在至少一个实施例中，管线管理器2432 可以通过指定要针对数据交叉开关2440分配的处理数据的目的地来促进处理数据的分配。
在至少一个实施例中，处理集群2414内的每个图形多处理器2434可 以包括相同的一组功能执行逻辑(例如，算术逻辑单元、负载存储单元等)。 在至少一个实施例中，可以以管线方式配置功能执行逻辑，其中可以在先 前的指令完成之前发出新的指令。在至少一个实施例中，功能执行逻辑支 持多种操作，包括整数和浮点算术、比较操作、布尔运算、移位和各种代 数函数的计算。在至少一个实施例中，可以利用相同的功能单元硬件来执 行不同的操作，并且可以存在功能单元的任何组合。
在至少一个实施例中，传送到处理集群2414的指令构成线程。在至少 一个实施例中，跨一组并行处理引擎执行的一组线程是线程组。在至少一 个实施例中，线程组在不同的输入数据上执行程序。在至少一个实施例中， 线程组内的每个线程可被分配给图形多处理器2434内的不同处理引擎。在 至少一个实施例中，线程组可包括比图形多处理器2434内的多个处理引擎 更少的线程。在至少一个实施例中，当线程组包括的线程数少于处理引擎的数量时，一个或更多个处理引擎在正在处理该线程组的循环期间可能是 空闲的。在至少一个实施例中，线程组还可以包括比图形多处理器2044 内的多个处理引擎更多的线程。在至少一个实施例中，当线程组包括比图 形多处理器2434内的处理引擎更多的线程时，可以在连续的时钟周期内执 行处理。在至少一个实施例中，可以在图形多处理器2434上同时执行多个 线程组。
在至少一个实施例中，图形多处理器2434包括内部高速缓冲存储器， 以执行加载和存储操作。在至少一个实施例中，图形多处理器2434可以放 弃内部高速缓存并使用处理集群2414内的高速缓存存储器(例如，L1高 速缓存2448)。在至少一个实施例中，每个图形多处理器2434还可以访 问分区单元(例如，图22的分区单元2220A-2220N)内的L2高速缓存， 这些分区单元在所有处理集群2414之间共享并且可以用于在线程之间传 输数据。在至少一个实施例中，图形多处理器2434还可以访问片外全局存 储器，其可以包括本地并行处理器存储器和/或系统存储器中的一个或更多 个。在至少一个实施例中，并行处理单元2402外部的任何存储器都可以用 作全局存储器。在至少一个实施例中，处理集群2414包括图形多处理器 2434的多个实例，它们可以共享可以存储在L1高速缓存2448中的指令和 数据。
在至少一个实施例中，每个处理集群2414可以包括配置成将虚拟地址 映射为物理地址的存储器管理单元(“MMU”)2445。在至少一个实施例 中，MMU 2445的一个或更多个实例可以驻留在图22的存储器接口2218 内。在至少一个实施例中，MMU 2445包括一组页表条目(PTE)，其用 于将虚拟地址映射到图块的物理地址以及映射到高速缓冲存储器线。在至 少一个实施例中，MMU 2445可以包括地址转换后备缓冲区(TLB)或可 以驻留在图形多处理器2434或L1高速缓存或处理集群2414内的高速缓 存。在至少一个实施例中，处理物理地址以分配表面数据访问局部性，以 便在分区单元之间进行有效的请求交织。在至少一个实施例中，高速缓存 行索引可以用于确定对高速缓存线的请求是命中还是未命中。
在至少一个实施例中，可以配置处理集群2414，使得每个图形多处理 器2434耦合到纹理单元2436，以执行纹理映射操作，例如，确定纹理样 本位置、读取纹理数据以及过滤纹理数据。在至少一个实施例中，根据需 要从内部纹理L1高速缓存(未示出)或从图形多处理器2434内的L1高 速缓存中读取纹理数据，并从L2高速缓存、本地并行处理器存储器或系统存储器中获取纹理数据。在至少一个实施例中，每个图形多处理器2434 将处理后的任务输出到数据交叉开关2440，以将处理后的任务提供给另一 处理集群2414以进行进一步处理或将处理后的任务存储在L2高速缓存、 本地并行处理器存储器、或经由存储器交叉开关2416的系统存储器中。在 至少一个实施例中，preROP 2442(光栅前操作单元)配置成从图形多处理 器2434接收数据，将数据引导至ROP单元，该ROP单元可以与本文所述 的分区单元(例如，图22的分区单元2220A-2220N)一起定位。在至少一 个实施例中，PreROP 2442单元可以执行用于颜色混合的优化、组织像素 颜色数据以及执行地址转换。
推理和/或训练逻辑1015用于执行与一个或更多个实施例相关联的推 理和/或训练操作。下面结合图10和/或图11提供关于推理和/或训练逻辑 1015的细节。在至少一个实施例中，推理和/或训练逻辑1015可以在图形 处理集群2214中使用用于至少部分地基于使用神经网络训练操作、神经网 络功能和/或架构或本文描述的神经网络用例计算的权重参数来推理或预 测操作。
图25示出了根据至少一个实施例的图形多处理器2534。在至少一个 实施例中，图形多处理器2534与处理集群2514的管线管理器2532耦合。 在至少一个实施例中，图形多处理器2534具有执行管线，该执行管线包括 但不限于指令高速缓存2552、指令单元2554、地址映射单元2556、寄存 器文件2558、一个或更多个通用图形处理单元(GPGPU)核心2562和一 个或更多个加载/存储单元2566。GPGPU核心2562和加载/存储单元2566 与高速缓存存储器2572和共享存储器2570通过存储器和高速缓存互连2568耦合。
在至少一个实施例中，指令高速缓存2552从管线管理器2532接收要 执行的指令流。在至少一个实施例中，将指令高速缓存在指令高速缓存 2552中并将其分派以供指令单元2554执行。在一个实施例中，指令单元 2054可以分派指令作为线程组(例如，线程束)，将每个线程组分配给 GPGPU核心2562内的不同执行单元。在至少一个实施例中，指令可以通过在统一地址空间内指定地址来访问任何本地、共享或全局地址空间。在 至少一个实施例中，地址映射单元2556可以用于将统一地址空间中的地址 转换成可以由加载/存储单元2566访问的不同的存储器地址。
在至少一个实施例中，寄存器文件2558为图形多处理器2534的功能 单元提供了一组寄存器。在至少一个实施例中，寄存器文件2558为连接到 图形多处理器2534的功能单元(例如，GPGPU核心2562、加载/存储单元 2566)的数据路径的操作数提供了临时存储。在至少一个实施例中，在每 个功能单元之间划分寄存器文件2558，使得为每个功能单元分配寄存器文 件2558的专用部分。在至少一个实施例中，寄存器文件2558在图形多处 理器2534正在执行的不同线程束之间划分。
在至少一个实施例中，GPGPU核心2562可以各自包括用于执行图形 多处理器2534的指令的浮点单元(FPU)和/或整数算术逻辑单元(ALU)。 GPGPU核心2562在架构上可以相似或架构可能有所不同。在至少一个实 施例中，GPGPU核心2562的第一部分包括单精度FPU和整数ALU，而 GPGPU核心的第二部分包括双精度FPU。在至少一个实施例中，FPU可 以实现用于浮点算法的IEEE 754-2008标准或启用可变精度浮点算法。在 至少一个实施例中，图形多处理器2534可以另外包括一个或更多个固定功 能或特殊功能单元，以执行特定功能，诸如复制矩形或像素混合操作。在 至少一个实施例中，GPGPU核心中的一个或更多个也可以包括固定或特殊 功能逻辑。
在至少一个实施例中，GPGPU核心2562包括能够对多组数据执行单 个指令的SIMD逻辑。在至少一个实施例中，GPGPU核心2562可以物理 地执行SIMD4、SIMD8和SIMD16指令，并且在逻辑上执行SIMD1、SIMD2 和SIMD32指令。在至少一个实施例中，用于GPGPU核心的SIMD指令 可以在编译时由着色器编译器生成，或者在执行针对单程序多数据(SPMD) 或SIMT架构编写和编译的程序时自动生成。在至少一个实施例中，可以 通过单个SIMD指令来执行为SIMT执行模型配置的程序的多个线程。例 如，在至少一个实施例中，可以通过单个SIMD8逻辑单元并行执行执行相 同或相似操作的八个SIMT线程。
在至少一个实施例中，存储器和高速缓存互连2568是将图形多处理器 2534的每个功能单元连接到寄存器文件2558和共享存储器2570的互连网 络。在至少一个实施例中，存储器和高速缓存互连2568是交叉开关互连， 其允许加载/存储单元2566在共享存储器2570和寄存器文件2558之间实 现加载和存储操作。在至少一个实施例中，寄存器文件2558可以以与 GPGPU核心2562相同的频率操作，从而在GPGPU核心2562和寄存器文 件2558之间进行数据传输的延迟非常低。在至少一个实施例中，共享存储 器2570可以用于启用在图形多处理器2534内的功能单元上执行的线程之 间的通信。在至少一个实施例中，高速缓存存储器2572可以用作例如数据 高速缓存，以高速缓存在功能单元和纹理单元2536之间通信的纹理数据。 在至少一个实施例中，共享存储器2570也可以用作程序管理的高速缓存。 在至少一个实施例中，除了存储在高速缓存存储器2572中的自动高速缓存 的数据之外，在GPGPU核心2562上执行的线程还可以以编程方式将数据 存储在共享存储器中。
在至少一个实施例中，如本文所述的并行处理器或GPGPU通信地耦 合到主机/处理器核心，以加速图形操作、机器学习操作、图案分析操作以 及各种通用GPU(GPGPU)功能。在至少一个实施例中，GPU可以通过 总线或其他互连(例如，诸如PCIe或NVLink的高速互连)通信地耦合到 主机处理器/核心。在至少一个实施例中，GPU可以与核心集成在相同的封 装或芯片上，并通过内部处理器总线/互连(如可以是封装或芯片的内部) 通信地耦合到核心。在至少一个实施例中，不管GPU连接的方式如何，处 理器核心可以以工作描述符中包含的命令/指令序列的形式向GPU分配工 作。在至少一个实施例中，GPU然后使用专用电路/逻辑来有效地处理这些 命令/指令。
推理和/或训练逻辑1015用于执行与一个或更多个实施例相关联的推 理和/或训练操作。下面结合图10和/或图11提供关于推理和/或训练逻辑 1015的细节。在至少一个实施例中，推理和/或训练逻辑1015可以在图形 多处理器2234中使用用于至少部分地基于使用神经网络训练操作、神经网 络功能和/或架构或本文描述的神经网络用例计算的权重参数来推理或预 测操作。
图26是示出根据至少一个实施例的用于处理器2600的微架构的框图， 该处理器2600可以包括执行指令的逻辑电路。在至少一个实施例中，处理 器2600可以执行指令，包括x86指令、ARM指令、用于专用集成电路(ASIC) 的专用指令等。在至少一个实施例中，处理器2610可以包括用于存储封装 数据的寄存器，例如作为加利福尼亚州圣克拉拉市英特尔公司采用MMX 技术启用的微处理器中的64位宽MMXTM寄存器。在至少一个实施例中， 整数和浮点数形式可用的MMX寄存器可以与封装的数据元素一起运行， 所述封装的数据元素伴随单指令多数据(“SIMD”)和流式SIMD扩展 (“SSE”)指令。在至少一个实施例中，与SSE2、SSE3、SSE4、AVX 或更高版本(一般称为“SSEx”)技术有关的128位宽XMM寄存器可以 保存此类封装数据操作数。在至少一个实施例中，处理器2110可以执行指 令以加速机器学习或深度学习算法、训练或推理。
在至少一个实施例中，处理器2600包括有序前端(“前端”)2601， 以提取要执行的指令并准备稍后在处理器管线中使用的指令。在至少一个 实施例中，前端2601可以包括几个单元。在至少一个实施例中，指令预取 器2626从存储器中获取指令并将指令提供给指令解码器2628，指令解码 器2628又对指令进行解码或解释。例如，在至少一个实施例中，指令解码 器2628将接收到的指令解码为机器可执行的所谓的“微指令”或“微操作” (也称为“微操作”或“微指令”)的一个或更多个操作。在至少一个实 施例中，指令解码器2628将指令解析为操作码以及相应的数据和控制字段， 其可以由微架构用来使用以根据至少一个实施例来执行操作。在至少一个 实施例中，追踪高速缓存2630可以将解码的微指令组装成微指令队列2634 中的程序排序的序列或追踪以供执行。在至少一个实施例中，当追踪高速缓存2630遇到复杂指令时，微码ROM 2632提供完成操作所需的微指令。
在至少一个实施例中，可以将一些指令转换成单个微操作，而另一些 指令则需要几个微操作来完成全部操作。在至少一个实施例中，如果需要 多于四个的微指令来完成一条指令，则指令解码器2628可以访问微码 ROM 2632以执行指令。在至少一个实施例中，可以将指令解码为少量的 微指令以在指令解码器2628处进行处理。在至少一个实施例中，如果需要 多个微指令完成操作，则可以将指令存储在微码ROM 2632中。在至少一 个实施例中，追踪高速缓存器2630参考入口点可编程逻辑阵列(“PLA”) 以确定正确的微指令指针，用于根据至少一个实施例从微码ROM2632读 取微码序列以完成一个或更多个指令。在至少一个实施例中，在微码ROM 2632完成对指令的微操作排序之后，机器的前端2601可以恢复从追踪高 速缓存2630获取微操作。
在至少一个实施例中，乱序执行引擎(“乱序引擎”)2603可以准备 用于执行的指令。在至少一个实施例中，乱序执行逻辑具有多个缓冲区， 以使指令流平滑并重新排序，以在指令沿管线下降并被调度执行时优化性 能。在至少一个实施例中，乱序执行引擎2603包括但不限于分配器/寄存 器重命名器2640、存储器微指令队列2642、整数/浮点微指令队列2644、 存储器调度器2646、快速调度器2602、慢速/通用浮点调度器(“慢速/通 用FP调度器”)2604和简单浮点调度器(“简单FP调度器”)2606。在 至少一个实施例中，快速调度器2602、慢速/通用浮点调度器2104和简单 浮点调度器2606也统称为“微指令调度器2602、2604、2606”。在至少 一个实施例中，分配器/寄存器重命名器2640分配每个微指令按顺序执行 所需要的机器缓冲区和资源。在至少一个实施例中，分配器/寄存器重命名 器2640将逻辑寄存器重命名为寄存器文件中的条目。在至少一个实施例中， 分配器/寄存器重命名器2640还为两个微指令队列之一中的每个微指令分 配条目，存储器微指令队列2642用于存储器操作和整数/浮点微指令队列 2644用于非存储器操作，在存储器调度器2646和微指令调度器2602、2604、 2606的前面。在至少一个实施例中，微指令调度器2602、2604、2606基于它们的从属输入寄存器操作数源的就绪性和需要完成的执行资源微指令 的可用性来确定何时准备好执行微指令。在至少一个实施例中，至少一个 实施例的快速调度器2602可以在主时钟周期的每个一半上调度，而慢速/ 通用浮点调度器2604和简单浮点调度器2606可以在每个主处理器时钟周 期调度一次。在至少一个实施例中，微指令调度器2602、2604、2606对调 度端口进行仲裁，以调度用于执行的微指令。
在至少一个实施例中，执行块b11包括但不限于整数寄存器文件/支路 网络2608、浮点寄存器文件/支路网络(“FP寄存器文件/支路网络”)2610、 地址生成单元(“AGU”)2612和2614、快速算术逻辑单元(“快速ALU”) 2616和2618、慢速算术逻辑单元(“慢速ALU”)2620、浮点ALU(“FP”) 2622和浮点移动单元(“FP移动”)2624。在至少一个实施例中，整数寄存器文件/支路网络2608和浮点寄存器文件/旁路网络2610在本文中也称 为“寄存器文件2608、2610”。在至少一个实施例中，AGU 2612和2614、 快速ALU 2616和2618、慢速ALU2620、浮点ALU 2622和浮点移动单元 2624在本文中也称为“执行单元2612、2614、2616、2618、2620、2622 和2624”。在至少一个实施例中，执行块b11可以包括但不限于任意数量(包括零)和类型的寄存器文件、支路网络、地址生成单元和执行单元(以 任何组合)。
在至少一个实施例中，寄存器文件2608、2610可以布置在微指令调度 器2602、2604、2606与执行单元2612、2614、2616、2618、2620、2622 和2624之间。在至少一个实施例中，整数寄存器文件/支路网络2608执行 整数运算。在至少一个实施例中，浮点寄存器文件/支路网络2610执行浮 点操作。在至少一个实施例中，寄存器文件2608、2610中的每一个可以包 括但不限于支路网络，该支路网络可以绕过或转发尚未写入寄存器文件中 的刚刚完成的结果到新的从属对象。在至少一个实施例中，寄存器文件 2608、2610可以彼此通信数据。在至少一个实施例中，整数寄存器文件/ 支路网络2608可以包括但不限于两个单独的寄存器文件、一个寄存器文件 用于低阶32位数据，第二寄存器文件用于高阶32位数据。在至少一个实 施例中，浮点寄存器文件/支路网络2610可以包括但不限于128位宽的条目，因为浮点指令通常具有宽度为64至128位的操作数。
在至少一个实施例中，执行单元2612、2614、2616、2618、2620、2622、 2624可以执行指令。在至少一个实施例中，寄存器文件2608、2610存储 微指令需要执行的整数和浮点数据操作数值。在至少一个实施例中，处理 器2600可以包括但不限于任何数量的执行单元2612、2614、2616、2618、 2620、2622、2624及其组合。在至少一个实施例中，浮点ALU 2622和浮 点移动单元2624，可以执行浮点、MMX、SIMD、AVX和SSE或其他操 作，包括专门的机器学习指令。在至少一个实施例中，浮点ALU 2622可 以包括但不限于64位乘64位浮点除法器，以执行除法、平方根和余数微 操作。在至少一个实施例中，可以用浮点硬件来处理涉及浮点值的指令。 在至少一个实施例中，可以将ALU操作传递给快速ALU 2616、2618。在 至少一个实施例中，快速ALUS 2616、2618可以以半个时钟周期的有效延 迟执行快速操作。在至少一个实施例中，大多数复杂的整数运算进入慢速 ALU 2620，因为慢速ALU 2620可以包括但不限于用于长延迟类型操作的 整数执行硬件，例如乘法器、移位、标志逻辑和分支处理。在至少一个实 施例中，存储器加载/存储操作可以由AGUS 2612、2614执行。在至少一 个实施例中，快速ALU 2616、快速ALU 2618和慢速ALU2620可以对64 位数据操作数执行整数运算。在至少一个实施例中，可以实现快速ALU 2616、快速ALU 2618和慢速ALU 2620以支持包括十六、三十二、128、 256等的各种数据位大小。在至少一个实施例中，浮点ALU 2622和浮点移 动单元2624可以实现为支持具有各种宽度的位的一定范围的操作数。在至 少一个实施例中，浮点ALU 2622和浮点移动单元2624可以结合SIMD和 多媒体指令对128位宽封装数据操作数进行操作。
在至少一个实施例中，微指令调度器2602、2604、2606在父加载完成 执行之前调度从属操作。在至少一个实施例中，由于可以在处理器2600 中推测性地调度和执行微指令，处理器2600还可以包括用于处理存储器未 命中的逻辑。在至少一个实施例中，如果数据高速缓存中的数据加载未命 中，则可能存在在管线中正在运行的从属操作，其使调度器暂时没有正确 的数据。在至少一个实施例中，一种重放机制追踪踪并重新执行使用不正确数据的指令。在至少一个实施例中，可能需要重放从属操作并且可以允 许完成独立操作。在至少一个实施例中，处理器的至少一个实施例的调度 器和重放机制也可以设计为捕获用于文本串比较操作的指令序列。
在至少一个实施例中，术语“寄存器”可以指代可以用作识别操作数 的指令的一部分的机载处理器存储位置。在至少一个实施例中，寄存器可 以是那些可以从处理器外部使用的寄存器(从程序员的角度来看)。在至 少一个实施例中，寄存器可能不限于特定类型的电路。相反，在至少一个 实施例中，寄存器可以存储数据、提供数据并执行本文描述的功能。在至 少一个实施例中，本文描述的寄存器可以通过处理器内的电路使用多种不 同技术来实现，例如专用物理寄存器、使用寄存器重命名动态分配的物理 寄存器、专用和动态分配的物理寄存器的组合等。在至少一个实施例中， 整数寄存器存储32位整数数据。至少一个实施例的寄存器文件还包含八个 用于封装数据的多媒体SIMD寄存器。
推理和/或训练逻辑1015用于执行与一个或更多个实施例相关联的推 理和/或训练操作。下面结合图10和/或图11提供关于推理和/或训练逻辑 1015的细节。在至少一个实施例中，可以将推理和/或训练逻辑1015的部 分或全部并入EXE框2611以及其他示出或未示出的存储器或寄存器中。 例如，在至少一个实施例中，本文描述的训练和/或推理技术可以使用EXE 框2611中所示的一个或更多个ALU。此外，权重参数可以存储在片上或 片外存储器和/或寄存器(示出或未示出)中，权重参数配置EXE块2611 的ALU以执行一种或多种本文描述的机器学习算法、神经网络架构、用例 或训练技术。
图27示出了根据至少一个实施例的深度学习应用处理器2700。在至 少一个实施例中，深度学习应用处理器2700使用指令，如果由深度学习应 用处理器2700执行，则指令使深度学习应用处理器2700执行贯穿本公开 描述的一些或全部过程和技术。在至少一个实施例中，深度学习应用处理 器2700是专用集成电路(ASIC)。在至少一个实施例中，应用处理器2700 执行矩阵乘法运算或者“硬连线”到硬件中，作为执行一个或更多个指令 或两者的结果。在至少一个实施例中，深度学习应用处理器2700包括但不 限于处理集群2710(1)-2710(12)、芯片间链路(“ICL”)2720(1) -2720(12)、芯片间控制器(“ICC”)2730(1)-2730(2)、存储器控 制器(“Mem Ctrlrs”)2742(1)-2742(4)、高带宽存储器物理层(“HBMPHY”)2744(1)-2744(4)、管理控制器中央处理单元(“管理控制 器CPU”)2750、串行外围设备接口、内部集成电路和通用输入/输出块(“SPI、 I2C、GPIO”)2760，外围组件互连快速控制器和直接存储器访问块(“PCIe 控制器和DMA”)2770、以及十六通道外围组件互连快速端口(“PCI Express x 16”)2780。
在至少一个实施例中，处理集群2710可以执行深度学习操作，包括基 于一种或更多种训练技术计算的权重参数的推理或预测操作，包括本文所 述的那些技术。在至少一个实施例中，每个处理集群2710可以包括但不限 于任何数量和类型的处理器。在至少一个实施例中，深度学习应用处理器 2700可以包括任何数量和类型的处理集群2700。在至少一个实施例中，芯 片间链路2720是双向的。在至少一个实施例中，芯片间链路2720和芯片 间控制器2730使多个深度学习应用处理器2700能够交换信息，包括从执 行一个或更多个神经网络中体现的一种或更多种机器学习算法而产生的激 活信息。在至少一个实施例中，深度学习应用处理器2700可以包括任意数 量(包括零)和类型的ICL 2720和ICC 2730。
在至少一个实施例中，HBM2 2740提供总共32GB的存储器。HBM2 2740(i)与存储器控制器2742(i)和HBM PHY 2744(i)都相关联。在 至少一个实施例中，任何数量的HBM22740可以提供任何类型和总量的高 带宽存储器，并且可以与任何数量(包括零)和类型的存储器控制器2742 和HBM PHY 2744相关联。在至少一个实施例中，可以用任何数量和类型的块替换SPI、I2C、GPIO 2760、PCIe控制器和DMA 2770和/或PCIe2780， 以任何技术上可行的方式实现任何数量和类型的通信标准。
推理和/或训练逻辑1015用于执行与一个或更多个实施例相关联的推 理和/或训练操作。下面结合图10和/或图11提供关于推理和/或训练逻辑 1015的细节。在至少一个实施例中，深度学习应用处理器用于训练机器学 习模型(例如神经网络)，以预测或推理提供给深度学习应用处理器2700 的信息。在至少一个实施例中，深度学习应用处理器2700用于基于已经由 另一处理器或系统或由深度学习应用处理器2700训练的经训练的机器学 习模型(例如，神经网络)来推理或预测信息。在至少一个实施例中，处 理器2700可以用于执行本文所述的一个或更多个神经网络用例。
图28是根据至少一个实施例的神经形态处理器2800的框图。在至少 一个实施例中，神经形态处理器2800可以从神经形态处理器2800外部的 源接收一个或更多个输入。在至少一个实施例中，这些输入可以被传输到 神经形态处理器2800内的一个或更多个神经元2802。在至少一个实施例 中，可以使用包括一个或更多个算术逻辑单元(ALU)的电路或逻辑来实 现神经元2802及其组件。在至少一个实施例中，神经形态处理器2800可 以包括但不限于成千上万个神经元2802的实例，但是可以使用任何合适数 量的神经元2802。在至少一个实施例中，神经元2802的每个实例可以包 括神经元输入2804和神经元输出2806。在至少一个实施例中，神经元2802 可以生成可以传输到神经元2802的其他实例的输入的输出。在至少一个实 施例中，神经元输入2804和神经元输出2806可以经由突触2808互连。
在至少一个实施例中，神经元2802和突触2808可以互连，使得神经 形态处理器2800操作以处理或分析由神经形态处理器2800接收的信息。 在至少一个实施例中，当通过神经元输入2804接收到的输入超过阈值时， 神经元2802可以发送输出脉冲(或“触发”或“峰值”)。在至少一个实 施例中，神经元2802可以对在神经元输入2804处接收到的信号进行求和 或积分。例如，在至少一个实施例中，神经元2802可以实现为有泄漏的积 分-触发神经元，其中如果求和(称为“膜电位”)超过阈值，则神经元 2802可以使用诸如sigmoid或阈值函数的传递函数来产生输出(或“触发”)。 在至少一个实施例中，泄漏的积分-触发神经元可以将在神经元输入2804 处接收到的信号求和成膜电位，并且可以应用衰减因子(或泄漏)以减小 膜电位。在至少一个实施例中，如果在神经元输入2804处接收到足够快以 超过阈值的多个输入信号例如在膜电势衰减得太低而不能触发之前，则泄 漏的积分-触发神经元可能会触发。在至少一个实施例中，神经元2802可 以使用接收输入、将输入积分到膜电位、并衰减膜电位的电路或逻辑来实 现。在至少一个实施例中，可以对输入求平均，或者可以使用任何其他合 适的传递函数。此外，在至少一个实施例中，神经元2802可以包括但不限 于当将传递函数应用于神经元输入2804的结果超过阈值时在神经元输出 2806处产生输出尖峰的比较器电路或逻辑。在至少一个实施例中，一旦神 经元2802触发，它可以通过例如将膜电位复位为0或另一合适的默认值来 忽略先前接收的输入信息。在至少一个实施例中，一旦膜电位被重置为0， 则神经元2802可以在合适的时间段(或修复期)之后恢复正常操作。
在至少一个实施例中，神经元2802可以通过突触2808互连。在至少 一个实施例中，突触2808可以操作以将从第一神经元2802的输出的信号 传输到第二神经元2802的输入。在至少一个实施例中，神经元2802可以 在一个以上的突触2808实例上传输信息。在至少一个实施例中，神经元输 出2806的一个或更多个实例可以通过突触2808的实例连接到同一神经元 2802中神经元输入2804的实例。在至少一个实施例中，相对于突触2808 的那个实例，神经元2802的实例产生要在突触2808的实例上传输的输出 可以被称为“突触前神经元”。在至少一个实施例中，相对于突触2808 的实例，神经元2802的实例接收通过突触2808的实例传输的输入可以被 称为“突触后神经元”。在至少一个实施例中，关于突触2808的各种实例， 因为神经元2802的实例可以接收来自一个或更多个突触2808实例的输入，并且还可以通过一个或更多个突触2808实例传输输出，因此神经元2802 的单个实例可以既是“突触前神经元”又是“突触后神经元”。
在至少一个实施例中，神经元2802可以被组织成一层或更多层。神经 元2802的每个实例可以具有一个神经元输出2806，该神经元输出2806可 以通过一个或更多个突触2808扇出到一个或更多个神经元输入2804。在 至少一个实施例中，第一层2810中的神经元2802的神经元输出2806可以 连接到第二层2812中的神经元2802的神经元输入2804。在至少一个实施 例中，层2810可以被称为“前馈层”。在至少一个实施例中，在第一层 2810的实例中神经元2802的每个实例可以扇出到第二层2812中的神经元2802的每个实例。在至少一个实施例中，第一层2810可以被称为“完全 连接的前馈层”。在至少一个实施例中，在第二层2812的每个实例中的神 经元2802的每个实例扇出到少于在第三层2814中的神经元2802的所有实 例。在至少一个实施例中，第二层2812可以被称为“稀疏连接的前馈层”。 在至少一个实施例中，第二层2812中的神经元2802可以扇出到多个其他 层中的神经元2802，包括(相同)第二层2812中的神经元2802。在至少 一个实施例中，第二层2812可以被称为“循环层”。在至少一个实施例中， 神经形态处理器2800可以包括但不限于循环层和前馈层的任何合适的组 合，包括但不限于稀疏连接的前馈层和完全连接的前馈层。
在至少一个实施例中，神经形态处理器2800可以包括但不限于可重新 配置的互连架构或专用硬连线互连，以将突触2808连接到神经元2802。 在至少一个实施例中，神经形态处理器2800可以包括但不限于电路或逻辑， 其根据神经网络拓扑结构和神经元扇入/扇出，允许根据需要将突触分配给 不同神经元2802。例如，在至少一个实施例中，可以使用互连结构(诸如 片上网络)或通过专用连接将突触2808连接到神经元2802。在至少一个 实施例中，可以使用电路或逻辑来实现突触互连及其组件
图29是图形处理器2900的框图，该图形处理器可以是分立的图形处 理单元，或者可以是集成有多个处理核心的图形处理器。在至少一个实施 例中，图形处理器2900经由存储器映射的I/O接口采用置于存储器中的命 令与图形处理器2900上的寄存器通信。在至少一个实施例中，图形处理器 2900包括用于访问存储器的存储器接口2914。在至少一个实施例中，存储 器接口2914是到本地存储器、一个或更多个内部高速缓存、一个或更多个 共享的外部高速缓存和/或到系统存储器的接口。
在至少一个实施例中，图形处理器2900还包括用于将显示输出数据驱 动到显示设备2920的显示控制器2902。在至少一个实施例中，显示控制 器2902包括用于显示设备2920的一个或更多个覆盖平面的硬件和多层视 频或用户界面元素的构成。在至少一个实施例中，显示设备2920可以是内 部或外部显示设备。在至少一个实施例中，显示设备2920是头戴式显示设 备，例如虚拟现实(VR)显示设备或增强现实(AR)显示设备。在至少 一个实施例中，图形处理器2400包括视频编解码器引擎2406，以将媒体 编码、解码或转码到一种或更多种媒体编码格式，从一种或更多种媒体编 码格式编码、解码或转码，或在一种或多种媒体编码格式之间进行编码、 解码或转码，一种或更多种媒体编码格式包括但不限于例如MPEG-2的运 动图像专家组(MPEG)格式，例如H.264/MPEG-4AVC的高级视频编码 (AVC)格式，以及美国电影电视工程师协会(SMPTE)421M/VC-1， 和联合图像专家组(JPEG)格式(例如JPEG)和运动JPEG(MJPEG)格 式。
在至少一个实施例中，图形处理器2900包括块图像传送(BLIT)引 擎2904，以执行二维(2D)光栅化器操作，包括例如位边界块传送。但是， 在至少一个实施例中，使用图形处理引擎(GPE)2910的一个或更多个组 件来执行2D图形操作。在至少一个实施例中，GPE2910是用于执行包括 三维(3D)的图形操作和媒体操作的计算引擎。
在至少一个实施例中，GPE 2910包括用于执行3D操作的3D管线2912， 例如使用作用于3D图元形状(例如，矩形、三角形等)的处理功能来渲 染三维图像和场景。3D管线2912包括执行各种任务和/或产生到3D/媒体 子系统2915的执行线程的可编程和固定功能元件。尽管3D管线2912可 用于执行媒体操作，但是在至少一个实施例中，GPE 2910也包括媒体管线 2916，媒体管线2916用于执行媒体操作，例如视频后处理和图像增强。
在至少一个实施例中，媒体管线2916包括固定功能或可编程逻辑单元， 以执行一个或更多个专用媒体操作，例如代替或代表视频编解码器引擎 2906的视频解码加速、视频去隔行和视频编码加速。在至少一个实施例中， 媒体管线2916还包括线程产生单元，以产生线程以在3D/媒体子系统2915 上执行。在至少一个实施例中，产生的线程对3D/媒体子系统2915中包含 的一个或更多个图形执行单元执行媒体操作的计算。
在至少一个实施例中，3D/媒体子系统2915包括用于执行由3D管线 2912和媒体管线2916产生的线程的逻辑。在至少一个实施例中，3D管线 2912和媒体管线2916将线程执行请求发送到3D/媒体子系统2915，其包 括用于将各种请求仲裁和分派给可用线程执行资源的线程分派逻辑。在至 少一个实施例中，执行资源包括用于处理3D和媒体线程的图形执行单元 的阵列。在至少一个实施例中，3D/媒体子系统2915包括用于线程指令和 数据的一个或更多个内部高速缓存。在至少一个实施例中，子系统2915 还包括共享存储器，包括寄存器和可寻址存储器，以在线程之间共享数据 并存储输出数据。
推理和/或训练逻辑1015用于执行与一个或多个实施例相关联的推理 和/或训练操作。下面结合图10和/或图11提供关于推理和/或训练逻辑1015 的细节。在至少一个实施例中，推理和/或训练逻辑1015的部分或全部可 以被并入图形处理器2900。例如，在至少一个实施例中，本文描述的训练 和/或推理技术可以使用一种或更多种体现在以下内容中的ALU。此外， 在至少一个实施例中，本文描述的推理和/或训练操作可以使用不同于图10 或图11所示的逻辑来完成。在至少一个实施例中，权重参数可以存储在片 上或片外存储器和/或寄存器(示出或未示出)中，其配置图形处理器2900 的ALU执行一种或更多种机器学习算法、神经网络架构、用例或此处介绍 的训练技术。
图30是根据本文所述的至少一个实施例的图形处理器核心3000的硬 件逻辑的框图。在至少一个实施例中，图形处理器核心3000被包括在图形 核心阵列内。在至少一个实施例中，图形处理器核心3000(有时称为核心 切片)可以是模块化图形处理器内的一个或更多个图形核心。在至少一个 实施例中，图形处理器核心3000是一个图形核心切片的示例，并且本文所 述的图形处理器可以基于目标功率和性能包络线包括多个图形核心切片。在至少一个实施例中，每个图形核心3000可以包括与多个子核心 3001A-3001F耦合的固定功能块3030，也称为子切片，其包括通用和固定 功能逻辑的模块块。
在至少一个实施例中，固定功能块3030包括几何/固定功能管线3036， 例如，在较低性能和/或较低功率的图形处理器实施方式中，该几何/固定功 能管线3036可以由图形处理器3000中的所有子核心共享。在至少一个实 施例中，几何/固定功能管线3036包括3D固定功能管线、视频前端单元， 线程产生器和线程分派器以及管理统一返回缓冲区的统一返回缓冲区管理 器。
在固定的至少一个实施例中，功能块3030还包括图形SoC接口3037、 图形微控制器3038和媒体管线3039。在固定的至少一个实施例中，图形 SoC接口3037提供了图形核心3000以及片上集成电路系统中的其他处理 器核心之间的接口。在至少一个实施例中，图形微控制器3038是可编程子 处理器，其可配置为管理图形处理器3000的各种功能，包括线程分派、调 度和抢占。在至少一个实施例中，媒体管线3039包括有助于对包括图像和 视频数据的多媒体数据进行解码、编码、预处理和/或后处理的逻辑。在至 少一个实施例中，媒体管线3039经由对子核心3001-3001F内的计算或采 样逻辑的请求来实现媒体操作。
在至少一个实施例中，SoC接口3037使图形核心3000能够与通用应 用处理器核心(例如，CPU)和/或SoC内的其他组件通信，包括存储器层 次结构元素，诸如共享的最后一级高速缓存、系统RAM和/或嵌入式片上 或封装DRAM。在至少一个实施例中，SoC接口3037还可以使得能够与 SoC内的固定功能设备(例如，相机成像管线)进行通信，并且使得能够 使用和/或实现可以在图形核心3000和SoC内部的CPU之间共享的全局存 储器原子。在至少一个实施例中，SoC接口3037还可以实现用于图形核心 3000的电源管理控制，并且启用图形核心3000的时钟域与SoC内的其他 时钟域之间的接口。在至少一个实施例中，SoC接口3037使得能够从命令 流转化器和全局线程分派器接收命令缓冲区，其配置为向图形处理器内的一个或更多个图形核心中的每一个提供命令和指令。在至少一个实施例中， 当要执行媒体操作时，可以将命令和指令分派给媒体管线3039，或者当要 执行图形处理操作时，可以将其分配给几何形状和固定功能管线(例如， 几何形状和固定功能管线3036、几何形状和固定功能管线3014)。
在至少一个实施例中，图形微控制器3038可以配置为对图形核心3000 执行各种调度和管理任务。在至少一个实施例中，图形微控制器3038可以 在子核心3001A-3001F中的执行单元(EU)阵列3002A-3002F、3004A-3004F 内的各种图形并行引擎上执行图形和/或计算工作负载调度。在至少一个实 施例中，在包括图形核心3000的SoC的CPU核心上执行的主机软件可以 提交多个图形处理器门铃之一的工作负载，其调用适当的图形引擎上的调度操作。在至少一个实施例中，调度操作包括确定接下来要运行哪个工作 负载、将工作负载提交给命令流转化器、抢先在引擎上运行的现有工作负 载、监控工作负载的进度以及在工作负载完成时通知主机软件。在至少一 个实施例中，图形微控制器3038还可以促进图形核心3000的低功率或空 闲状态，从而为图形核心3000提供在图形核心3000内独立于操作系统和/ 或系统上的图形驱动程序软件的跨低功率状态转换的保存和恢复寄存器的 能力。
在至少一个实施例中，图形核心3000可以具有比所示的子核心 3001A-3001F多或少达N个模块化子核心。对于每组N个子核心，在至少 一个实施例中，图形核心3000还可以包括共享功能逻辑3010、共享和/或 高速缓冲存储器3012、几何/固定功能管线3014以及附加的固定功能逻辑3016以加速各种图形和计算处理操作。在至少一个实施例中，共享功能逻 辑3010可以包括可由图形核心3000内的每个N个子核心共享的逻辑单元 (例如，采样器、数学和/或线程间通信逻辑)。在至少一个实施例中，固 定、共享和/或缓存存储器3012可以是图形核心3000内的N个子核心 3001A-3001F的最后一级高速缓存，并且还可以用作可由多个子核心访问 的共享存储器。在至少一个实施例中，可以包括几何/固定功能管线3014 来代替固定功能块3030内的几何/固定功能管线3036，并且可以包括相同 或相似的逻辑单元。
在至少一个实施例中，图形核心3000包括附加的固定功能逻辑3016， 其可以包括供图形核心3000使用的各种固定功能加速逻辑。在至少一个实 施例中，附加的固定功能逻辑3016包括用于仅位置着色中使用的附加的几 何管线。在仅位置着色中，存在至少两个几何管线，而在几何/固定功能管 线3016、3036内的完整几何管线和剔除管线中，其是可以包括在附加的固 定功能逻辑3016中的附加几何管线。在至少一个实施例中，剔除管线是完整几何管线的修整版。在至少一个实施例中，完整管线和剔除管线可以执 行应用程序的不同实例，每个实例具有单独的环境。在至少一个实施例中， 仅位置着色可以隐藏被丢弃的三角形的长剔除运行，从而在某些情况下可 以更早地完成着色。例如，在至少一个实施例中，附加固定功能逻辑3016 中的剔除管线逻辑可以与主应用程序并行执行位置着色器，并且比完整管 线更快地生成关键结果，因为剔除管线获取并遮蔽顶点的位置属性，无需 执行光栅化和将像素渲染到帧缓冲区。在至少一个实施例中，剔除管线可 以使用生成的临界结果来计算所有三角形的可见性信息，而与这些三角形 是否被剔除无关。在至少一个实施例中，完整管线(在这种情况下可以称 为重播管线)可以消耗可见性信息来跳过剔除的三角形以仅遮盖最终传递 到光栅化阶段的可见三角形。
在至少一个实施例中，附加的固定功能逻辑3016还可包括机器学习加 速逻辑，例如固定功能矩阵乘法逻辑，用于实现包括用于机器学习训练或 推理的优化。
在至少一个实施例中，在每个图形子核心3001A-3001F内包括一组执 行资源，其可用于响应于图形管线、媒体管线或着色器程序的请求来执行 图形、媒体和计算操作。在至少一个实施例中，图形子核心3001A-3001F 包括多个EU阵列3002A-3002F、3004A-3004F，线程分派和线程间通信(TD/IC)逻辑3003A-3003F，3D(例如，纹理)采样器3005A-3005F，媒体采样器3006A-3006F，着色器处理器3007A-3007F和共享本地存储器 (SLM)3008A-3008F。EU阵列3002A-3002F、3004A-3004F每个都包含 多个执行单元，这些执行单元是通用图形处理单元，能够为图形、媒体或 计算操作提供服务，执行浮点和整数/定点逻辑运算，包括图形、媒体或计 算着色器程序。在至少一个实施例中，TD/IC逻辑3003A-3003F为子核心 内的执行单元执行本地线程分派和线程控制操作，并促进在子核心的执行 单元上执行的线程之间的通信。在至少一个实施例中，3D采样器 3005A-3005F可以将与纹理或其他3D图形相关的数据读取到存储器中。 在至少一个实施例中，3D采样器可以基于与给定纹理相关联的配置的采样 状态和纹理格式来不同地读取纹理数据。在至少一个实施例中，媒体采样 器3006A-3006F可以基于与媒体数据相关联的类型和格式来执行类似的读 取操作。在至少一个实施例中，每个图形子核心3001A-3001F可以可替代 地包括统一的3D和媒体采样器。在至少一个实施例中，在每个子核心 3001A-3001F内的执行单元上执行的线程可以利用每个子核心内的共享本 地存储器3008A-3008F，以使在线程组内执行的线程能够使用片上存储器 的池来执行。
推理和/或训练逻辑1015用于执行与一个或更多个实施例相关联的推 理和/或训练操作。下面结合图10和/或图11提供关于推理和/或训练逻辑 1015的细节。在至少一个实施例中，推理和/或训练逻辑1015的部分或全 部可以被合并到图形处理器3010中。例如，在至少一个实施例中，本文描 述的训练和/或推理技术可以使用3D管线3010、图形微控制器3038、几何 和固定功能管线3014和3036或图29中的其他逻辑中体现的一个或更多个 ALU。此外，在至少一个实施例中，本文描述的推理和/或训练操作可以使 用除图10或图11所示的逻辑以外的逻辑来完成。在至少一个实施例中， 权重参数可以存储在片上或片外存储器和/或寄存器(示出或未示出)中， 所述寄存器配置图形处理器3000的ALU以执行一种或更多种本文介绍的 机器学习算法、神经网络架构、用例或训练技术。
图31A-图31B示出了根据至少一个实施例的包括图形处理器核心的处 理元件的阵列的线程执行逻辑3100。图31A示出了至少一个实施例，其中 使用了线程执行逻辑3100。图31B示出了根据至少一个实施例的执行单元 的示例性内部细节。
如图31A中所示，在至少一个实施例中，线程执行逻辑3100包括着 色器处理器3102、线程分派器3104、指令高速缓存3106、包括多个执行 单元3108A-3108N的可缩放执行单元阵列、采样器3110、数据高速缓存 3112和数据端口3114。在至少一个实施例中，可缩放执行单元阵列可以例 如基于工作负载的计算要求，通过启用或禁用一个或更多个执行单元(例 如，执行单元3108A、3108B、3108C、3108D、从3108N-1到3108N中的 任何一个)来动态缩放。在至少一个实施例中，可缩放执行单元通过链路 到每个执行单元的互连结构互连。在至少一个实施例中，线程执行逻辑 3100包括通过指令高速缓存3106、数据端口3114、采样器3110和执行单 元3108A-3108N中的一个或更多个到存储器(诸如系统存储器或高速缓冲 存储器)的一个或更多个连接。在至少一个实施例中，每个执行单元(例 如3108A)是独立的可编程通用计算单元，其能够执行多个同时的硬件线 程，同时针对每个线程并行处理多个数据元素。在至少一个实施例中，执 行单元3108A-3108N的阵列可缩放以包括任意数量的单独执行单元。
在至少一个实施例中，执行单元3108A-3108N主要用于执行着色器程 序。在至少一个实施例中，着色器处理器3102可以处理各种着色器程序并 经由线程分派器3104来分派与着色器程序相关联的执行线程。在至少一个 实施例中，线程分派器3104包括用于仲裁来自图形和媒体管线的线程初始 化庆祝以及在执行单元3108A-3108N中的一个或更多个执行单元上实例化 请求的线程的逻辑。例如，在至少一个实施例中，几何管线可以将顶点、镶嵌或几何着色器分派到线程执行逻辑以进行处理。在至少一个实施例中， 线程分派器3104还可以处理来自执行着色器程序的运行时线程产生请求。
在至少一个实施例中，执行单元3108A-3108N支持一种指令集，该指 令集包括对许多标准3D图形着色器指令的本机支持，从而使图形库(例 如Direct 3D和OpenGL)中的着色器程序只需最少的翻译即可执行。在至 少一个实施例中，执行单元支持顶点和几何处理(例如，顶点程序、几何 程序、顶点着色器)、像素处理(例如，像素着色器、片段着色器)和通用处理(例如，计算和媒体着色器)。在至少一个实施例中，每个执行单 元3108A-3108N包括一个或更多个算术逻辑单元(ALU)，能够执行多发 出单指令多数据(SIMD)，并且多线程操作实现了高效的执行环境尽管有 更高的延迟存储器访问。在至少一个实施例中，每个执行单元内的每个硬 件线程具有专用的高带宽寄存器文件和相关的独立线程状态。在至少一个 实施例中，执行是每个时钟到管线的多次发出，管线能够进行整数、单精 度和双精度浮点运算、SIMD分支功能、逻辑运算、先验运算和其他其他 运算。在至少一个实施例中，在等待来自存储器或共享功能之一的数据时， 执行单元3108A-3108N内的依赖性逻辑使等待线程休眠直到返回了所请求 的数据。在至少一个实施例中，当等待线程正在休眠时，硬件资源可以专 用于处理其他线程。例如，在至少一个实施例中，在与顶点着色器操作相 关联的延迟期间，执行单元可以对像素着色器、片段着色器或另一类型的 着色器程序(包括不同的顶点着色器)执行操作。
在至少一个实施例中，执行单元3108A-3108N中的每一个执行单元在 数据元素的阵列上进行操作。在至少一个实施例中，多个数据元素是“执 行大小”或指令的通道数。在至少一个实施例中，执行通道是用于指令内 的数据元素访问、屏蔽和流控制的执行的逻辑单元。在至少一个实施例中， 多个通道可以独立于用于特定图形处理器的多个物理算术逻辑单元(ALU) 或浮点单元(FPU)。在至少一个实施例中，执行单元3108A-3108N支持 整数和浮点数据类型。
在至少一个实施例中，执行单元指令集包括SIMD指令。在至少一个 实施例中，各种数据元素可以作为封装数据类型存储在寄存器中，并且执 行单元将基于元素的数据大小来处理各种元素。例如，在至少一个实施例 中，当对256位宽的向量进行操作时，将向量的256位存储在寄存器中， 并且执行单元对向量进行操作，作为四个单独的64位封装数据元素(四字 (QW)大小数据元素)、八个单独的32位封装数据元素(双字(DW) 大小数据元素)、十六个单独的16位封装数据元素(单词(W)大小数据 元素)或三十二个单独的8位数据元素(字节(B)大小的数据元素)。 然而，在至少一个实施例中，不同的向量宽度和寄存器大小是可能的。
在至少一个实施例中，一个或更多个执行单元可以被组合成具有执行 对于融合EU的线程控制逻辑(3107A-3107N)的融合执行单元 3109A-3109N。在至少一个实施例中，可以将多个EU合并成一个EU组。 在至少一个实施例中，融合EU组中的每个EU可以配置为执行单独的 SIMD硬件线程。融合的EU组中的EU的数量可以根据各种实施例而变化。 在至少一个实施例中，每个EU可以执行各种SIMD宽度，包括但不限于 SIMD8、SIMD16和SIMD32。在至少一个实施例中，每个融合图形执行单 元3109A-3109N包括至少两个执行单元。例如，在至少一个实施例中，融 合执行单元3109A包括第一EU3108A、第二EU3108B以及第一EU3108A和第二EU3108B共有的线程控制逻辑3107A。在至少一个实施例中，线程 控制逻辑3107A控制在融合图形执行单元3109A上执行的线程，从而允许 融合执行单元3109A-3109N内的每个EU使用指令指针寄存器来执行。
在至少一个实施例中，一个或更多个内部指令高速缓存(例如3106) 被包括在线程执行逻辑3100中以高速缓存用于执行单元的线程指令。在至 少一个实施例中，包括一个或更多个数据高速缓存(例如3112)以在线程 执行期间高速缓存线程数据。在至少一个实施例中，包括采样器3110以提 供用于3D操作的纹理采样和用于媒体操作的媒体采样。在至少一个实施 例中，采样器3110包括专门的纹理或媒体采样功能，以在将采样数据提供 给执行单元之前在采样过程中处理纹理或媒体数据。
在执行期间，在至少一个实施例中，图形和媒体管线通过线程产生和 分派逻辑将线程发起请求发送到线程执行逻辑3100。在至少一个实施例中， 一旦一组几何对象已经被处理并光栅化成像素数据，则在着色器处理器 3102内的像素处理器逻辑(例如，像素着色器逻辑、片段着色器逻辑等) 被调用以进一步计算输出信息并且导致将结果写入输出表面(例如，颜色 缓冲区、深度缓冲区、模板缓冲区等)。在至少一个实施例中，像素着色 器或片段着色器计算要在光栅化对象上插值的各种顶点属性的值。在至少 一个实施例中，着色器处理器3102内的像素处理器逻辑然后执行应用程序 接口(API)提供的像素或片段着色器程序。在至少一个实施例中，为了 执行着色器程序，着色器处理器3102经由线程分派器3104将线程分派到 执行单元(例如3108A)。在至少一个实施例中，着色器处理器3102使用采样器3110中的纹理采样逻辑来访问存储在存储器中的纹理贴图中的纹 理数据。在至少一个实施例中，对纹理数据和输入几何数据的算术运算为 每个几何片段计算像素颜色数据，或者丢弃一个或更多个像素以进行进一 步处理。
在至少一个实施例中，数据端口3114提供了一种用于线程执行逻辑 3100的存储器访问机制，以将处理后的数据输出到存储器以在图形处理器 输出管线上进行进一步处理。在至少一个实施例中，数据端口3114包括或 耦合到一个或更多个高速缓存存储器(例如，数据高速缓存3112)以高速 缓存数据以便经由数据端口进行存储器访问。
如图31B所示，在至少一个实施例中，图形执行单元3108可以包括指 令获取单元3137、通用寄存器文件阵列(GRF)3124、架构寄存器文件阵 列(ARF)3126、线程仲裁器3122、发送单元3130、分支单元3132、一 组SIMD浮点单元(FPU)3134，以及在至少一个实施例中，一组专用整 数SIMD ALU3135。在至少一个实施例中，GRF 3124和ARF 3126包括一 组与可以在图形执行单元3108中活跃的每个同时硬件线程相关联的通用 寄存器文件和架构寄存器文件。在至少一个实施例中，在ARF 3126中维 护每个线程架构状态，而在线程执行期间使用的数据存储在GRF 3124中。 在至少一个实施例中，每个线程的执行状态，包括每个线程的指令指针， 可以被保存在ARF 3126中的线程专用寄存器中。
在至少一个实施例中，图形执行单元3108具有一种架构，该架构是同 时多线程(SMT)和细粒度交错多线程(IMT)的组合。在至少一个实施 例中，架构具有模块化配置，该模块化配置可以在设计时基于同时线程的 目标数量和每个执行单元的寄存器数量来进行微调，其中执行单元资源在 用于执行多个同时线程的逻辑上分配。
在至少一个实施例中，图形执行单元3108可以共同发布多个指令，每 个指令可以是不同的指令。在至少一个实施例中，图形执行单元线程3108 的线程仲裁器3122可以将指令分派到发送单元3130、分支单元3142或 SIMD FPU3 134之一以供执行。在至少一个实施例中，每个执行线程可以 访问GRF 3124中的128个通用寄存器，其中每个寄存器可以存储32个字 节，可以作为32位数据元素的SIMD 8元素向量进行访问。在至少一个实 施例中，每个执行单元线程可以访问GRF 3124中的4KB，尽管实施例不 限于此，并且在其他实施例中可以提供更多或更少的寄存器资源。在至少 一个实施例中，尽管每个执行单元的线程数量也可以根据实施例而变化， 但是最多可以同时执行七个线程。在其中七个线程可以访问4KB的至少 一个实施例中，GRF 3124可以存储总共28KB。在至少一个实施例中，灵 活的寻址模式可以允许将寄存器一起寻址以有效地建立更宽的寄存器或表 示跨步的矩形块数据结构。
在至少一个实施例中，经由由消息传递发送单元3130执行的“发送” 指令来调度存储器操作、采样器操作和其他更长延迟的系统通信。在至少 一个实施例中，将分支指令分派到专用分支单元3132促进SIMD发散和最 终收敛。
在至少一个实施例中，图形执行单元3108包括一个或更多个SIMD浮 点单元(FPU)3134，以执行浮点操作。在至少一个实施例中，FPU 3134 还支持整数计算。在至少一个实施例中，FPU3134可以SIMD执行多达M 个32位浮点(或整数)运算，或者SIMD执行多达2M个16位整数或16 位浮点运算。在至少一个实施例中，FPU中的至少一个提供扩展的数学能 力以支持高吞吐量的先验数学函数和双精度64位浮点。在至少一个实施例 中，还存在一组8位整数SIMD ALU 3135，并且可以被专门优化以执行与 机器学习计算相关的操作。
在至少一个实施例中，可以在图形子核心分组(例如，子切片)中实 例化图形执行单元3108的多个实例的阵列。在至少一个实施例中，执行单 元3108可以跨多个执行通道执行指令。在至少一个实施例中，在图形执行 单元3108上执行的每个线程在不同的通道上执行。
推理和/或训练逻辑1015用于执行与一个或更多个实施例相关联的推 理和/或训练操作。下面结合图10和/或图11提供关于推理和/或训练逻辑 815的细节。在至少一个实施例中，推理和/或训练逻辑1015的部分或全部 可以被结合到执行逻辑3100中。此外，在至少一个实施例中，可以使用除 了图10或图11中所示的逻辑之外的逻辑来完成在此描述的推理和/或训练 操作。在至少一个实施例中，权重参数可以存储在片上或片外存储器和/或寄存器(示出或未示出)中，其配置执行逻辑3100的ALU以执行一种 或更多种机器学习算法、神经网络架构、用例或本文介绍的训练技术。
图32示出了根据至少一个实施例的并行处理单元(“PPU”)3200。 在至少一个实施例中，PPU 3200配置有机器可读代码，该机器可读代码如 果由PPU 3200执行，则使得PPU3200执行贯穿本公开描述的一些或全部 过程和技术。在至少一个实施例中，PPU3200是在一个或更多个集成电路 设备上实现的多线程处理器，并且利用多线程作为被设计为处理在多个线 程上并行执行的计算机可读指令(也称为机器可读指令或简单的指令)的 延迟隐藏技术。在至少一个实施例中，线程是指执行线程，并且是被配置 为由PPU3200执行的一组指令的实例。在至少一个实施例中，PPU3200是 图形处理单元(“GPU”)，图形处理单元配置为实现用于处理三维(“3D”) 图形数据的图形渲染管道，以便生成用于在显示设备(诸如液晶显示器 (“LCD”)设备)上显示的二维(“2D”)图像数据。在至少一个实施 例中，PPU3200用于执行计算，诸如线性代数运算和机器学习运算。图32 仅出于说明性目的示出了示例并行处理器，并且应被解释为在本公开的范 围内设想的处理器架构的非限制性示例，并且可以采用任何适当的处理器 来对其进行补充和/或替代。
在至少一个实施例中，一个或更多个PPU3200配置成加速高性能计算 (“HPC”)、数据中心和机器学习应用程序。在至少一个实施例中，PPU 3200配置成加速深度学习系统和应用程序，包括以下非限制性示例：自动 驾驶汽车平台、深度学习、高精度语音、图像、文本识别系统、智能视频 分析、分子模拟、药物发现、疾病诊断、天气预报、大数据分析、天文学、分子动力学模拟、财务建模、机器人技术、工厂自动化、实时语言翻译、 在线搜索优化以及个性化用户推荐等。
在至少一个实施例中，PPU 3200包括但不限于输入/输出(“I/O”) 单元3206、前端单元3210、调度器单元3212、工作分配单元3214、集线 器3216、交叉开关(“Xbar”)3220、一个或更多个通用处理集群(“GPC”) 3218和一个或更多个分区单元(“存储器分区单元”)3222。在至少一个 实施例中，PPU 3200通过一个或更多个高速GPU互连(“GPU互连”) 3208连接到主机处理器或其他PPU 3200。在至少一个实施例中，PPU 2800 通过互连3202连接到主机处理器或其他外围设备。在一实施例中，PPU 3200连接到包括一个或更多个存储器设备(“存储器”)3204的本地存储 器。在至少一个实施例中，存储器设备3204包括但不限于一个或更多个动 态随机存取存储器(“DRAM”)设备。在至少一个实施例中，一个或更 多个DRAM设备配置和/或可配置为高带宽存储器(“HBM”)子系统， 并且在每个设备内堆叠有多个DRAM管芯。
在至少一个实施例中，高速GPU互连3208可以指代系统使用其来进 行缩放的基于线的多通道通信链路，并包括与一个或更多个中央处理单元 结合的一个或更多个PPU3200(“CPU”)，支持PPU3200和CPU之间 的缓存相干以及CPU主控。在至少一个实施例中，高速GPU互连3208 通过集线器3216将数据和/或命令传输到PPU 3200的其他单元，例如一个或更多个复制引擎、视频编码器、视频解码器、电源管理单元和/或在图32 中可能未明确示出的其他组件。
在至少一个实施例中，I/O单元3206配置为通过系统总线3202从主机 处理器(图32中未示出)发送和接收通信(例如，命令、数据)。在至少 一个实施例中，I/O单元3206直接通过系统总线3202或通过一个或更多 个中间设备(例如存储器桥)与主机处理器通信。在至少一个实施例中，I/O单元3206可以经由系统总线3202与一个或更多个其他处理器(例如一个或更多个PPU3200)通信。在至少一个实施例中，I/O单元3206实现 外围组件互连Express(“PCIe”)接口，用于通过PCIe总线进行通信。 在至少一个实施例中，I/O单元3206实现用于与外部设备通信的接口。
在至少一个实施例中，I/O单元3206对经由系统总线3202接收的分组 进行解码。在至少一个实施例中，至少一些分组表示被配置为使PPU 3200 执行各种操作的命令。在至少一个实施例中，I/O单元3206如命令所指定 的那样将解码的命令发送到PPU3200的各种其他单元。在至少一个实施例 中，命令被发送到前端单元3210和/或被发送到集线器3216或PPU 3200 的其他单元，例如一个或更多个复制引擎、视频编码器、视频解码器、电 源管理单元等(图32中未明确示出)。在至少一个实施例中，I/O单元3206 配置为在PPU3200的各种逻辑单元之间路由通信。
在至少一个实施例中，由主机处理器执行的程序在缓冲区中对命令流 进行编码，该缓冲区将工作负载提供给PPU 3200以进行处理。在至少一 个实施例中，工作负载包括指令和要由那些指令处理的数据。在至少一个 实施例中，缓冲区是可由主机处理器和PPU3200两者访问(例如，读/写) 的存储器中的区域—主机接口单元可以配置为访问经由I/O单元3206通过 系统总线3202传输的存储器请求连接到系统总线3202的系统存储器中的缓冲区。在至少一个实施例中，主机处理器将命令流写入缓冲区，然后将 指示命令流开始的指针发送给PPU 3200，使得前端单元3210接收指向一 个或更多个命令流指针并管理一个或更多个命令流，从命令流中读取命令 并将命令转发到PPU 3200的各个单元。
在至少一个实施例中，前端单元3210耦合到调度器单元3212，该调 度器单元3212配置各种GPC 3218以处理由一个或更多个命令流定义的任 务。在至少一个实施例中，调度器单元3212配置为跟踪与调度器单元3212 管理的各种任务有关的状态信息，其中状态信息可以指示任务被分配给哪 个GPC 3218，任务是活跃的还是非活跃的，与任务相关联的优先级等等。 在至少一个实施例中，调度器单元3212管理在一个或更多个GPC 3218上 执行的多个任务。
在至少一个实施例中，调度器单元3212耦合到工作分配单元3214， 该工作分配单元3214配置为分派任务以在GPC 3218上执行。在至少一个 实施例中，工作分配单元3214跟踪从调度器单元3212接收到的多个调度 任务并且工作分配单元3214管理每个GPC 3218的待处理任务池和活跃任 务池。在至少一个实施例中，待处理任务池包括多个时隙(例如32个时隙)， 这些时隙包含分配给要由特定的GPC 3218处理的任务；活跃任务池可包 括用于由GPC 3218主动处理的任务的多个时隙(例如4个时隙)，以使 随着GPC 3218中的一个完成任务的执行，该任务将从GPC 3218的活动任 务池中逐出，并且从待处理任务池中选择其他任务之一，并安排其在GPC 3218上执行。在至少一个实施例中，如果活跃任务在GPC 3218上处于空 闲状态，例如在等待数据依赖性解决时，则活跃任务从GPC 3218中驱逐 并返回到待处理任务池，同时选择了待处理任务池中的另一个任务并调度 在GPC 3218上执行。
在至少一个实施例中，工作分配单元3214经由XBar 3220与一个或更 多个GPC3218通信。在至少一个实施例中，XBar 3220是互连网络，其将 PPU 3200的许多单元耦合到PPU 3200的其他单元，并且可以配置为将工 作分配单元3214耦合到特定的GPC 3218。在至少一个实施例中，一个或 更多个PPU 3200的其他单元也可以通过集线器3216连接到XBar3220。
在至少一个实施例中，任务由调度器单元3212管理，并由工作分配单 元3214分配给GPC 3218之一。GPC 3218配置为处理任务并产生结果。 在至少一个实施例中，结果可以由GPC 3218中的其他任务消耗，通过XBar 3220路由到不同的GPC 3218或存储在存储器3204中。在至少一个实施例 中，结果可以通过分区单元3222写到存储器3204中，其实现了用于向存 储器3204写入数据或从存储器3204读取数据的存储器接口。在至少一个 实施例中，结果可以经由高速GPU互连3208传输到另一PPU 3204或CPU。 在至少一个实施例中，PPU3200包括但不限于U个分区单元3222，其等 于耦合到PPU 3200的分离且不同的存储设备3204的数量。在至少一个实 施例中，下面结合图34更详细地描述分区单元3222。
在至少一个实施例中，主机处理器执行驱动器核心，该驱动程序核心 实现应用程序编程接口(API)，该应用程序编程接口使在主机处理器上 执行的一个或更多个应用程序能够调度操作以在PPU 3200上执行。在一 个实施例中，多个计算应用由PPU 3200同时执行，并且PPU 3200为多个 计算应用程序提供隔离、服务质量(“QoS”)和独立的地址空间。在至 少一个实施例中，应用程序生成指令(例如，以API调用的形式)，该指 令使驱动器核心生成一个或更多个任务以供PPU 3200执行，并且驱动器 核心将任务输出至由PPU 3200处理的一个或更多个流。在至少一个实施 例中，每个任务包括一个或更多个相关线程组，其可以被称为线程束(warp)。 在至少一个实施例中，线程束包括可以并行执行的多个相关线程(例如32 个线程)。在至少一个实施例中，协作线程可以指代多个线程，包括用于 执行任务并且通过共享存储器交换数据的指令。在至少一个实施例中，结 合图34根据至少一个实施例更详细地描述了线程和协作线程。
推理和/或训练逻辑1015用于执行与一个或更多个实施例相关联的推 理和/或训练操作。下面结合图10和/或图11提供关于推理和/或训练逻辑 1015的细节。在至少一个实施例中，深度学习应用处理器用于训练机器学 习模型(诸如神经网络)，以预测或推理提供给PPU 3200的信息。在至 少一个实施例中，PPU 3200用于基于已由另一处理器或系统或PPU 3200 训练过的训练过的机器学习模型(例如，神经网络)推理或预测信息。在 至少一个实施例中，PPU 3200可用于执行本文所述的一个或更多个神经网 络用例。
图33示出了根据至少一个实施例的通用处理集群(“GPC”)3300。 在至少一个实施例中，GPC 3300是图32的GPC 3218。在至少一个实施例 中，每个GPC 3300包括但不限于用于处理任务的多个硬件单元，并且每 个GPC 3300包括但不限于管线管理器3302、预光栅操作单元(“PROP”) 3304、光栅引擎3308、工作分配交叉开关(“WDX”)3316、存储器管 理单元(“MMU”)3318、一个或更多个数据处理集群(“DPC”)3306， 以及部件的任何合适组合。
在至少一个实施例中，GPC 3300的操作由管线管理器3302控制。在 至少一个实施例中，管线管理器3302管理一个或更多个DPC 3306的配置， 以处理分配给GPC 3300的任务。在至少一个实施例中，管线管理器3302 配置一个或更多个DPC 3306中的至少一个以实现图形渲染管线的至少一 部分。在至少一个实施例中，DPC 3306配置为在可编程流式多处理器 (“SM”)3314上执行顶点着色器程序。在至少一个实施例中，管线管 理器3302配置为将从工作分配单元接收的数据包路由到GPC3300内的适 当逻辑单元，以及在至少一个实施例中，可以将一些数据包路由到PROP 3304和/或光栅引擎3308中的固定功能硬件单元，而可以将其他数据包路 由到DPC 3306以由基元引擎3312或SM 3314进行处理。在至少一个实施 例中，管线管理器3302配置DPC 3306中的至少一个以实现神经网络模型 和/或计算管线。
在至少一个实施例中，PROP单元3304配置为在至少一个实施例中将 由光栅引擎3308和DPC 3306生成的数据路由到上面结合图32更详细地 描述的分区单元3222中的光栅操作(“ROP”)单元。在至少一个实施例 中，PROP单元3304配置为执行用于颜色混合的优化、组织像素数据、执 行地址转换等等。在至少一个实施例中，光栅引擎3308包括但不限于配置 为执行各种光栅操作的多个固定功能硬件单元，并且在至少一个实施例中， 光栅引擎3308包括但不限于设置引擎、粗光栅引擎、剔除引擎、裁剪引擎、 精细光栅引擎、图块聚合引擎及其任意合适的组合。在至少一个实施例中， 设置引擎接收变换后的顶点并生成与由顶点定义的几何图元相关联的平面 方程；平面方程式被传送到粗光栅引擎以生成基本图元的覆盖信息(例如， 图块的x、y覆盖范围掩码)；粗光栅引擎的输出将传输到剔除引擎，在剔 除引擎中与z测试失败的图元相关联的片段将被剔除，并传输到剪切引擎， 在剪切引擎中剪切位于视锥范围之外的片段。在至少一个实施例中，将经 过裁剪和剔除的片段传递给精细光栅引擎，以基于设置引擎生成的平面方 程式生成像素片段的属性。在至少一个实施例中，光栅引擎3308的输出包 括将由任何适当的实体(例如，由在DPC3306内实现的片段着色器)处理 的片段。
在至少一个实施例中，包括在GPC 3300中的每个DPC 3306包括但不 限于M管道控制器(“MPC”)3310；图元引擎3312；一个或更多个SM 3314；及其任何合适的组合。在至少一个实施例中，MPC 3310控制DPC 3306的操作，将从管线管理器3302接收的分组路由到DPC3306中的适当 单元。在至少一个实施例中，将与顶点相关联的分组路由到图元引擎3312，图元引擎3312配置为从存储器中获取与顶点关联的顶点属性；相反，可以 将与着色器程序相关联的数据包发送到SM 3314。
在至少一个实施例中，SM 3314包括但不限于可编程流式处理器，其 配置为处理由多个线程表示的任务。在至少一个实施例中，SM 3314是多 线程的并且配置为同时执行来自特定线程组的多个线程(例如32个线程)， 并且实现单指令多数据(“SIMD”)架构，其中将一组线程(例如，线程 束)中的每个线程配置为基于相同的指令集来处理不同的数据集。在至少 一个实施例中，线程组中的所有线程执行相同的指令。在至少一个实施例 中，SM3314实施单指令多线程(“SIMT”)架构，其中一组线程中的每 个线程配置为基于相同的指令集来处理不同的数据集，但是其中线程组中 的各个线程允许在执行期间发散。在至少一个实施例中，为每个线程束维 护程序计数器、调用栈和执行状态，从而当线程束中的线程发散时，实现 线程束和线程束内的串行执行之间的并发性。在另一个实施例中，为每个 单独的线程维护程序计数器、调用栈和执行状态，从而使得在线程束内和 线程束之间的所有线程之间具有相等的并发性。在至少一个实施例中，为 每个单独的线程维持执行状态，并且可以收敛并并行地执行执行相同指令 的线程以提高效率。下面更详细地描述SM 3314的至少一个实施例。
在至少一个实施例中，MMU 3318在GPC 3300和存储器分区单元(例 如，图32的分区单元3222)之间提供接口，并且MMU 3318提供虚拟地 址到物理地址的转换、存储器保护以及存储器请求的仲裁。在至少一个实 施例中，MMU 3318提供一个或更多个转换后备缓冲区(“TLB”)，用 于执行虚拟地址到存储器中的物理地址的转换。
推理和/或训练逻辑1015用于执行与一个或更多个实施例相关联的推 理和/或训练操作。下面结合图10和/或图11提供关于推理和/或训练逻辑 1015的细节。在至少一个实施例中，深度学习应用处理器用于训练机器学 习模型(诸如神经网络)，以预测或推理提供给GPC3300的信息。在至少 一个实施例中，GPC3300用于基于已由另一处理器或系统或GPC3300训 练过的机器学习模型(例如，神经网络)推理或预测信息。在至少一个实 施例中，GPC3300可用于执行本文所述的一个或更多个神经网络用例。
图34示出了根据一个实施例的并行处理单元(“PPU”)的存储器分区 单元3400。在至少一个实施例中，存储器分区单元3400包括但不限于光 栅操作(“ROP”)单元3402；二级(“L2”)高速缓存3404；存储器接口 3406；及其任何合适的组合。在至少一个实施例中，存储器接口3406耦合 到存储器。存储器接口3406可以实现32、64、128、1024位数据总线等， 用于高速数据传输。在一个实施例中，PPU包括U个存储器接口3406、每 对分区单元3400一个存储器接口3406，其中每对分区单元3400连接到相 应的存储器设备。例如，在至少一个实施例中，PPU最多可以连接到Y个 存储器设备，例如高带宽存储堆栈或图形双数据速率、版本5、同步动态 随机存取存储器(“GDDR5 SDRAM”)。
在一个实施例中，存储器接口3406实现了高带宽存储器二代(“HBM2”) 存储器接口，并且Y等于U的一半。在至少一个实施例中，HBM2存储器 堆栈与PPU位于同一物理封装上，与GDDR5 SDRAM系统相比，节省了 大量的功率和面积。在一个实施例中，每个HBM2堆栈包括四个存储器管 芯，并且Y等于4，而HBM2堆栈包括每个管芯两个128位通道，总共8 个通道和1024位的数据总线宽度。在至少一个实施例中，存储器支持单错 误校正双错误检测(“SECDED”)错误校正码(“ECC”)以保护数据。ECC 为对数据损坏敏感的计算应用程序提供了更高的可靠性。
在至少一个实施例中，PPU实现多级存储器层次结构。在至少一个实 施例中，存储器分区单元3400支持统一存储器以为CPU和PPU存储器提 供单个统一虚拟地址空间，从而实现虚拟存储器系统之间的数据共享。在 至少一个实施例中，追踪PPU对位于其他处理器上的存储器的访问频率， 以确保将存储器页面移动到更频繁地访问页面的PPU的物理存储器。在一 个实施例中，高速GPU互连3208支持地址转换服务，该地址转换服务允 许PPU直接访问CPU的页表并提供由PPU对CPU存储器的完全访问。
在一个实施例中，复制引擎在多个PPU之间或在PPU与CPU之间传 送数据。在一个实施例中，复制引擎可以为未被映射到页面表中的地址生 成页面错误，并且存储器分区单元3000然后为页面错误提供服务，将地址 映射到页面表中，之后复制引擎执行传输。在至少一个实施例中，为多个 处理器之间的多个复制引擎操作固定(或，不可分页)存储器，从而实质 上减少了可用存储器。在一个实施例中，由于硬件页面故障，可以将地址 传递给复制引擎，而不必考虑存储页面是否驻留，并且复制过程是透明的。
根据至少一个实施例，来自图32的存储器3204或其他系统存储器的 数据由存储器分区单元3400提取并存储在L2高速缓存3404中，该L2高 速缓存3404位于芯片上并且在各种GPC之间共享。在一个实施例中，每 个存储器分区单元3400包括与对应的存储器设备相关联的L2高速缓存的 至少一部分。在至少一个实施例中，在GPC内的各个单元中实现较低级别 的高速缓存。在一个实施例中，每个SM 3314可以实现一级(“L1”)高速 缓存，其中L1高速缓存是专用于特定SM 3314的私有存储器，并且获取 来自L2高速缓存3404的数据并将其存储在每个L1高速缓存用于在SM 3314的功能单元中进行处理。在一个实施例中，L2高速缓存3404耦合到 存储器接口3406和XBar 3220。
在一个实施例中，ROP单元3402执行与像素颜色有关的图形光栅操 作，诸如颜色压缩、像素混合等。在一个实施例中，ROP单元3402与光 栅引擎3308一起实施深度测试，从光栅引擎3308的剔除引擎接收与像素 片段相关联的样本位置的深度。在至少一个实施例中，为针对与片段相关 联的样本位置，在深度缓冲区中针对相应深度进行了深度测试。在至少一 个实施例中，如果片段通过了针对样本位置的深度测试，则ROP单元3402 更新深度缓冲器，并将深度测试的结果发送至栅格光栅引擎3308。将理解 的是，分区单元3400的数量可以与GPC的数量不同，因此，在至少一个 实施例中，每个ROP单元3402可以耦合到每个GPC。在至少一个实施例 中，ROP单元3402追踪从不同GPC接收到的分组，并确定通过Xbar3320 将ROP单元3402生成的结果路由到哪个GPC。
图35示出了根据一个实施例的流传输多处理器(“SM”)3500。在 至少一个实施例中，SM 3500是图33的SM。在至少一个实施例中，SM 3500 包括但不限于，指令缓存3502；一个或更多个调度器单元3504；寄存器文 件3508；一个或更多个处理核心(“核心”)3510；一个或更多个特殊功 能单元(“SFU”)3512；一个或更多个加载/存储单元(“LSU”)3514； 互连网络3516；共享存储器/一级(“L1”)高速缓存3518；和任何它们 的适当组合。在至少一个实施例中，工作分配单元分派任务以在并行处理 单元(“PPU”)的通用处理集群(“GPC”)上执行，并且每个任务被 分配给GPC内的特定数据处理集群(“DPC”)，以及，如果该任务与着 色器程序相关联，则该任务被分配给SM 3500。在一个实施例中，调度器 单元3504从工作分配单元接收任务，并管理分配给SM 3500的一个或多 个线程块的指令调度。在至少一个实施例中，调度器单元3504调度线程块 以作为并行线程的线程束进行执行，其中每个线程块至少分配一个线程束。 在至少一个实施例中，每个线程束执行线程。在至少一个实施例中，调度 器单元3504管理多个不同的线程块，将线程束分配给不同的线程块，然后 在每个时钟周期将来自多个不同的协作组的指令分配给各个功能单元(例 如，核心3510、SFU 3512和LSU 3514)。
在至少一个实施例中，协作组可以指用于组织通信线程的组的编程模 型，该编程模型允许开发人员表达正在通信的线程的粒度，从而使表达更 丰富，更有效的并行分解。在至少一个实施例中，协作启动API支持线程 块之间的同步以执行并行算法。在至少一个实施例中，编程模型的应用程 序提供了用于同步协作线程的单个简单构造：跨线程块的所有线程的屏障 (例如，syncthreads()函数)。但是，在至少一个实施例中，编程人员 经常想以小于线程块粒度的大小来定义线程组，并在定义的组内进行同步， 从而以集体范围内的功能接口的形式实现更高的性能、设计灵活性和软件 重用。在至少一个实施例中，协作组使编程人员定义明确位于子块和多块 粒度上的线程组，并在协作组中对线程执行集体操作，例如同步。编程模 型支持跨软件边界的清除合成，因此库和实用功能可以在其本地上下文中 安全地同步，而不必对收敛进行假设。在至少一个实施例中，协作组基元 启用了新的合作并行模式，包括但不限于生产者-消费者并行、机会主义并 行以及整个线程块网格上的全局同步。
在至少一个实施例中，分派单元3506配置成将指令发送到一个或更多 个功能单元，并且调度器单元3504包括但不限于两个分派单元3506，该 两个分派单元3506使得来自同一线程束的两个不同指令能够在每个时钟 周期内被分派。在至少一个实施例中，每个调度器单元3504包括单个分派 单元3506或附加分派单元3506。
在至少一个实施例中，每个SM 3500包括寄存器文件3508，其为SM 3500的功能单元提供一组寄存器。在至少一个实施例中，寄存器文件3508 在每个功能单元之间划分，使得每个功能单元被分配寄存器文件3508的专 用部分。在至少一个实施例中，寄存器文件3508被SM 3500执行的不同 线程束划分，以及寄存器文件3508为连接到功能单元的数据路径的操作数 提供临时存储。在至少一个实施例中，每个SM 3500包括数量为L的处理 核新心3510。在至少一个实施例中，SM 3500包括大量但不限于(例如， 128个或更多个)不同的处理核心3510。在至少一个实施例中，每个核心 3510包括但不限于全管线、单精度、双精度和/或混合精度处理单元，处理 单元包括但不限于浮点运算逻辑单元(“ALU”)和整数算术逻辑单元。 在至少一个实施例中，浮点算术逻辑单元实施IEEE 754-2008标准用于浮 点算术。在至少一个实施例中，处理核心3510包括但不限于64个单精度 (32位)浮点核心、64个整数核心、32个双精度(64位)浮点核心和8 个张量核心。
根据至少一个实施例，张量核心配置成为执行矩阵运算。在至少一实 施例中，核心3510中包括一个或更多个张量核心。在至少一实施例中，张 量核心配置成执行深度学习矩阵算术，例如用于神经网络训练和推理的卷 积运算。在至少一个实施例中，每个张量核心在4×4矩阵上操作并执行矩 阵乘法和累加运算D＝A×B+C，其中A、B、C和D是4×4矩阵。
在至少一个实施例中，矩阵乘法输入A和B是16位浮点矩阵，并且 累加矩阵C和D是16位浮点或32位浮点矩阵。在至少一个实施例中，张 量核心对具有32位浮点累积的16位浮点输入数据进行操作。在至少一个 实施例中，16位浮点乘法需要64次运算，并产生全精度乘积，全精度乘 积然后使用32位浮点加法与其他用于4×4×4矩阵的中间乘积累加。在至少一个实施例中，张量核心用于执行由这些较小的元件构成的更大的二维 或更高维度的矩阵运算。在至少一个实施例中，诸如CUDA 9C++API之 类的API公开专门的矩阵加载、矩阵乘法和累加以及矩阵存储操作，以有 效地使用来自ClJDA-C++程序的张量核心。在至少一个实施例中，在CUDA 级别、线程束级别接口假设16×16大小的矩阵跨越线程束的所有32个线 程。
在至少一个实施例中，每个SM 3500包括但不限于执行特殊功能(例 如，属性评估、倒数平方根等)的M个SFU 3512。在至少一个实施例中， SFU 3512包括但不限于配置成遍历分层树数据结构的树遍历单元。在至少 一个实施例中，SFU 3512包括但不限于配置成执行纹理图过滤操作的纹理 单元。在至少一个实施例中，纹理单元配置成从存储器加载纹理图(例如， 纹理像素的2D阵列)并且对纹理图进行采样以产生采样的纹理值以供在 由SM3500执行的着色器程序中使用。在至少一个实施例中，纹理图存储 在共享内存/LI缓存3518中。在至少一个实施例中，纹理单元实施纹理操 作，例如使用mip-maps(例如，细节级别不同的纹理图)进行滤波操作。 在至少一个实施例中，每个SM 3500包括但不限于两个纹理单元。
在至少一个实施例中，每个SM 3500包括但不限于N个LSU 3514， 这些LSU 3514实现共享存储器/Ll高速缓存3518和寄存器文件3508之间 的加载和存储操作。在至少一个实施例中，每个SM 3500包括但不限于互 连网络3516和共享存储器/L1高速缓存3518，互连网络3516将每个功能 单元连接到寄存器文件3508和将LSU 3514连接到寄存器文件3508。在至 少一个实施例中，互连网络3516是可配置为将任何功能单元连接到寄存器 堆3508中的任何寄存器并将LSU 3514连接到寄存器文件和共享存储器/ 高速缓存3518中的存储器位置的交叉开关。
在至少一个实施例中，共享存储器/Ll高速缓存3518是片上存储器的 阵列，其在一个实施例中允许SM 3500与原始引擎之间以及SM 3500中的 线程之间的数据存储和通信。在至少一个实施例中，共享存储器/LI高速 缓存3518包括但不限于128KB的存储容量，并且位于从SM 3500到分区 单元的路径中。在至少一个实施例中，共享存储器/L1高速缓存3518用于 高速缓存读取和写入。共享存储器/L1高速缓存3518、L2高速缓存和存储 器中的一个或更多个是后备存储器。
在至少一个实施例中，将数据高速缓存和共享存储器功能组合到单个 存储器块中，为两种类型的存储器访问提供了改进的性能。在至少一个实 施例中，该容量被不使用共享存储器的程序使用或用作高速缓存，例如， 如果将共享存储器配置为使用一半容量，则纹理和加载/存储操作可以使用 剩余容量。根据至少一个实施例，在共享存储器/L1高速缓存3518内的集 成使共享存储器/L1高速缓存3518能够用作用于流传输数据的高吞吐量管 道，同时提供对频繁重用的数据的高带宽和低延迟访问。在至少一个实施 例中，当配置用于通用并行计算时，与图形处理相比，可以使用更简单的 配置。在至少一个实施例中，固定功能图形处理单元被绕过，从而创建了 更简单的编程模型。在至少一个实施例中，在通用并行计算配置中，工作 分配单元直接将线程的块分配和分布给DPC。在至少一个实施例中，块中 的线程执行相同的程序，在计算中使用唯一的线程ID来确保每个线程生成 唯一的结果，使用SM 3500执行程序并执行计算，使用共享内存/L1缓存 3518在线程之间进行通信，以及LSU 3514通过共享存储器/L1高速缓存 3518和存储器分区单元来读写全局存储器。在至少一个实施例中，当被配 置用于通用并行计算时，SM 3500写入调度器单元3504可以用来在DPC 上启动新工作的命令。
在至少一个实施例中，PPU被包括在或耦合到台式计算机、膝上型计 算机、平板电脑、服务器、超级计算机、智能电话(例如，无线、手持设 备)、个人数字助理(“PDA”)、数码相机、车辆、头戴式显示器、手 持式电子设备等中或与之耦合。在至少一个实施例中，PPU被实现在单个 半导体衬底上。在至少一个实施例中，PPU与一个或更多个其他设备(例 如附加的PPU、存储器、精简指令集计算机(“RISC”)CPU，一个或更 多个存储器管理单元(“MMU”)、数模转换器(“DAC”)等)一起 被包括在片上系统(“SoC”)中。
在至少一个实施例中，PPU可以被包括在包括一个或更多个存储设备 的图形卡上。图形卡可以配置为与台式计算机主板上的PCIe插槽相连接。 在至少一个实施例中，PPU可以是包括在主板的芯片组中的集成图形处理 单元(“iGPU”)。
推理和/或训练逻辑1015用于执行与一个或更多个实施例相关的推理 和/或训练操作。下面结合图10和/或图11提供关于推理和/或训练逻辑1015 的细节。在至少一个实施例中，深度学习应用处理器用于训练机器学习模 型(诸如神经网络)，以预测或推理提供给SM 3500的信息。在至少一个 实施例中，SM 3500用于基于已由另一处理器或系统或由SM3500训练过 的机器学习模型(例如，神经网络)推理或预测信息。在至少一个实施例 中，SM3500可用于执行一个或更多个本文所述的神经网络用例。
在至少一个实施例中，单个半导体平台可以指唯一的单一的基于半导 体的集成电路或芯片。在至少一个实施例中，可以使用具有增加的连接性 的多芯片模块，其模拟芯片上的操作，并且相对于利用中央处理单元 (“CPU”)和总线实施方式进行了实质性的改进。在至少一个实施例中， 根据用户的需求，各种模块也可以分开放置或以半导体平台的各种组合放 置。
其他变型在本公开的精神内。因此，尽管所公开的技术易于进行各种 变构和替代构造，但是某些示出的实施例由此在附图中示出并且已经在上 面进行了详细描述。然而，应当理解，无意将本发明限制为所公开的特定 形式或形式，相反，其意图是涵盖落入本发明的精神和范围内的所有修改、 替代构造和等同形式，如所附权利要求所定义的。
在描述所公开的实施例的上下文中(特别是在所附权利要求的上下文 中)术语“一”、“一个”和“所述”以及类似指代的使用应被解释为涵盖 单数和复数，除非本文另有说明或与上下文明显矛盾。除非另外指出，否 则术语“包括”、“具有”、“包含”和“内含”应解释为开放式术语(即， 意思是“包括但不限于”)。术语“连接”(未经修改且指的是物理连接)，应理解为完全或部分地包含在，附加到或连接在一起，即使有某物介入。 本文中数值范围的引用仅旨在用作一种简写方法，除非本文另有说明，否 则分别指代落入该范围内的每个单独值，并且每个单独值都被并入说明书 中，就如同在此单独引用一样。术语“集合”(例如，“项目的集合)”或“子 集”的使用，除非上下文另有说明或与之矛盾，否则应解释为包含一个或 更多个成员的非空集合。此外，除非上下文另有说明或与之矛盾，否则相 应集合的术语“子集”不是必需表示相应集合的适当子集，但是该子集和 相应集合可以相等。
连接的语言，例如“A、B和C中的至少一个”或“A、B和C至少一 个”形式的短语，除非另有明确说明或与上下文明显矛盾否则，否则可以 与上下文一起理解以呈现项目、条款等，可以是是A或B或C，也可以是 A和B以及C的集合的任何非空子集。例如，在具有三个成员的集合的示 例性示例中，连接短语“A、B和C中的至少一个”和“A，B和C中的 至少一个”是指以下任意集合：{A}、{B}、{C}、{A，B}、{A，C}、{B， C}、{A，B，C}。因此，这种连接语言并不旨在暗示某些实施例需要至少 一个A、至少一个B和至少一个C，他们每一个用于呈现。另外，除非另 有说明或与上下文矛盾，否则术语“多个”表示复数的状态(例如，“多个 项目”表示复数个项目)。“多个”中项目的数量的至少是两个，但是当明 确地或通过上下文指示时可以是更多。此外，除非另有说明或从上下文中 另外可知，否则短语“基于”是指“至少部分基于”而不是“仅基于”。
可以以任何合适的顺序来执行本文描述的过程的操作，除非本文另有 指示或与上下文明显矛盾。在一个实施例中，诸如本文描述的那些过程(或 其变型和/或组合)的过程在一个或更多个计算机系统中的一个控制下通过 硬件或其组合执行，一个或更多个计算机系统配置有可执行指令并且被实 现为在一个或多个处理器上共同执行的代码(例如，可执行指令、一个或 更多个计算机程序或一个或更多个应用程序)。在一个实施例中，代码以计 算机程序的形式存储在计算机可读存储介质上，该计算机程序包括可由一 个或多个处理器执行的多个指令的计算机程序。在一个实施例中，计算机 可读存储介质是非暂时性计算机刻度存储介质，其不包括暂时信号(例如， 传播的瞬态电或电磁传输)但包括瞬时信号的收发器内的非暂时性数据存 储电路(例如，缓冲器、高速缓存和队列)。在一个实施例中，代码(例如， 可执行代码或源代码)被存储在其上存储有可执行指令(或其他存储器以存储可执行指令)的一组一个或更多个非暂时性计算机可读存储介质上， 该可执行指令被计算机系统的一个或更多个处理器执行，使计算机系统执 行本文所述的操作。在一个实施例中，该组非暂时性计算机可读存储介质 包括多个非暂时性计算机可读存储介质，以及多个非暂时性计算机可读存 储介质中的一个或更多个单独的非暂时性存储介质缺少全部代码，而多个 非暂时性计算机可读存储介质共同存储所有代码。在一个实施例中，可执 行指令被执行，使得不同的指令被不同的处理器执行-例如，非暂时性计算 机可读存储介质存储指令，并且主CPU执行一些指令，而图形处理器单元 (“GPU”)执行其他指令。在一个实施例中，计算机系统的不同组件具有 独立处理器，以及不同处理器执行指令的不同子集。
因此，在一个实施例中，计算机系统配置成实现单独或共同执行本文 所述的过程的操作的一个或更能多个服务，并且这样的计算机系统配置有 能够使操作的执行的适用的硬件和/或软件。此外，实现本公开的实施例的 计算机系统是单个设备，并且在另一实施例中，是一种分布式计算机系统， 其包括以不同方式操作的多个设备，使得该分布式计算机系统执行本文所 述的操作，并且使得单个设备不执行所有操作。
除非另外要求，本文提供的任何和所有示例或示例性语言(例如，“诸 如”)的使用仅旨在更好地阐明本发明的实施例，而不对本发明的范围构成 限制。本说明书中的语言不应解释为表示任何未要求保护的要素对于实施 本发明是必不可少的。
本文引用的所有参考文献，包括出版物、专利申请和专利，均以引用 的方式并入本文，其程度如同每个参考文献被单独且具体地指示以引用方 式并入本文一样，并在此全文进行阐述。
在说明书和权利要求书中，可以使用术语“耦合”和“连接”及其派 生词。应当理解，这些术语可能不旨在作为彼此的同义词。相反，在特定 示例中，“连接”或“耦合”可用于指示两个或更多个元件彼此直接或间接 物理或电接触。“耦合”也可能意味着两个或多个元素彼此不直接接触，但 仍彼此协作或交互。
除非另有说明，否则应理解，在整个说明书中，诸如“处理”、“计算 处理”、“计算”、“确定”等术语均指计算机或计算系统或类似的电子计算 设备的动作和/或过程，这些电子设备将在计算系统的寄存器和/或存储器中 表示为物理量(例如电子)的数据(例如电子)操作和/或转换为类似地表 示为计算系统的存储器、寄存器或其他此类信息存储器、传输或显示设备 中的物理量的其他数据。
在类似的方式中，术语“处理器”可以指处理来自寄存器和/或存储器 的电子数据并将该电子数据转换成可以存储在寄存器和/或存储器中的其 他电子数据的任何设备或设备的一部分。作为非限制性示例，“处理器”可 以是中央处理单元(CPU)或图形处理单元(GPU)。“计算平台”可以包 括一个或更多个处理器。如本文所使用的，“软件”过程可以包括例如随时 间执行工作的软件和/或硬件实体，诸如任务、线程和智能代理。同样，每 个过程可以指代多个过程，以依次或并行，连续或间歇地执行指令。术语 “系统”和“方法”在本文中可互换使用，以达到一种该系统可以体现一 种或更多种方法并且该方法可以被认为是系统的程度。
在本文档中，可以参考获得、获取、接收或将模拟或数字数据输入子 系统、计算机系统或计算机实现的机器。可以以多种方式来完成获得、获 取、接收或输入模拟和数字数据的过程，例如通过接收作为函数调用或对 应用程序接口的调用的参数的数据。在一些实施方式中，获得、获取，接 收或输入模拟或数字数据的过程可以通过经由串行或并行接口传输数据来 完成。在另一个实施方式中，获得、获取、接收或输入模拟或数字数据的 过程可以通过经由计算机网络将数据从提供实体转移到获取实体来完成。 也可以参考提供、输出、传输、发送或呈现模拟或数字数据。在各种示例 中，提供、输出、传输、发送或呈现模拟或数字数据的过程可以通过将数 据作为函数调用的输入或输出参数、应用程序编程接口或进程间通信机制 的参数进行传输来完成。
尽管以上讨论阐述了所描述的技术的示例实施方式，但是其他架构可 以用于实现所描述的功能，并且意图在本公开的范围内。此外，尽管出于 讨论目的在上面定义了具体的职责分配，但是根据情况，各种功能和职责 可能以不同的方式分配和划分。
此外，尽管已经以结构特征和/或方法动作专用的语言描述了主题，但 应理解，所附权利要求书中定义的主题不必限于所描述的特定特征或动作。 而是，将特定特征和动作公开为实现权利要求的示例性形式。
Claims (36)
1.一种处理器，其包括：
一个或更多个算术逻辑单元(ALU)，用于至少部分地基于与一个或更多个细胞相关联的基因信息来帮助生成所述一个或更多个细胞的一个或更多个图像。
2.根据权利要求1所述的处理器，其中所述一个或更多个ALU进一步配置成：
接受背景图像数据和基因表达数据作为输入，所述基因表达数据与所述一个或更多个细胞的视觉特征相关联。
3.根据权利要求1所述的处理器，其中所述一个或更多个ALU进一步配置成：
使用多条件生成对抗网络(GAN)推断所述一个或更多个图像，所述多条件生成对抗网络使用医学图像数据和基因表达数据进行训练。
4.根据权利要求3所述的处理器，其中部分地通过对所述医学图像数据和所述基因表达数据进行编码并融合经编码的数据以生成合成图像和分割掩膜来训练所述GAN，所述合成图像包括与所述医学图像数据的背景部分混合的细胞组的表示。
5.根据权利要求4所述的处理器，其中通过将所述合成图像、所述分割掩膜和用于所述基因表达数据的基因代码传递给鉴别器以确定损失值集合来进一步训练所述GAN，其中所述GAN的一个或更多个网络参数使用所述所述损失值集合进行更新。
6.根据权利要求3所述的处理器，其中经训练的所述GAN利用所述一个或更多个细胞的视觉特征与所述基因表达数据之间的经学习的基因组图。
7.一种系统，其包括：
一个或更多个存储器，用于存储与一个或更多个细胞相关联的基因信息；以及
一个或更多个处理器，用于至少部分地基于所述基因信息来帮助生成所述一个或更多个细胞的一个或更多个图像。
8.根据权利要求7所述的系统，其中所述一个或更多个处理器进一步配置成：
接受背景图像数据和基因表达数据作为输入，所述基因表达数据与所述一个或更多个细胞的视觉特征相关联。
9.根据权利要求7所述的系统，其中所述一个或更多个处理器进一步配置成：
使用多条件生成对抗网络(GAN)推断所述一个或更多个图像，所述多条件生成对抗网络使用医学图像数据和基因表达数据进行训练。
10.根据权利要求9所述的系统，其中部分地通过对所述医学图像数据和所述基因表达数据进行编码并融合经编码的数据以生成合成图像和分割掩膜来训练GAN，所述合成图像包括与所述医学图像数据的背景部分混合的细胞组的表示。
11.根据权利要求10所述的系统，其中通过将所述合成图像、所述分割掩膜和用于所述基因表达数据的基因代码传递给鉴别器以确定损失值集合来进一步训练所述GAN，其中使用所述损失值集合更新所述GAN的一个或更多个网络参数。
12.根据权利要求9所述的系统，其中经训练的GAN利用所述一个或更多个细胞的视觉特征与所述基因表达数据之间的经学习的基因组图。
13.一种方法，其包括：
至少部分地基于与一个或更多个细胞相关联的基因信息，生成所述一个或更多个细胞的一个或更多个图像；以及
存储所述一个或更多个图像。
14.根据权利要求13所述的方法，还包括：
接受背景图像数据和基因表达数据作为输入，所述基因表达数据与所述一个或更多个细胞的视觉特征相关联。
15.根据权利要求13所述的方法，还包括：
使用多条件生成对抗网络(GAN)推断所述一个或更多个图像，所述多条件生成对抗网络使用医学图像数据和基因表达数据进行训练。
16.根据权利要求15所述的方法，其中部分地通过对所述医学图像数据和所述基因表达数据进行编码并融合经编码的数据以生成合成图像和分割掩膜来训练所述GAN，所述合成图像包括与所述医学图像数据的背景部分混合的细胞组的表示。
17.根据权利要求16所述的方法，其中通过将所述合成图像、所述分割掩膜和用于所述基因表达数据的基因代码传递给鉴别器以确定损失值集合来进一步训练所述GAN，其中使用所述损失值集合更新所述GAN的一个或更多个网络参数。
18.根据权利要求15所述的方法，其中经训练的所述GAN利用所述一个或更多个细胞的视觉特征与所述基因表达数据之间的经学习的基因组图。
19.一种处理器，其包括：
一个或更多个算术逻辑单元(ALU)，用于至少部分地基于与一个或更多个细胞相关联的基因信息帮助训练一个或更多个神经网络，所述一个或更多个神经网络将被用于推断所述一个或更多个细胞的一个或更多个图像。
20.根据权利要求19所述的处理器，其中所述一个或更多个ALU进一步配置成：
接受背景图像数据和与所述一个或更多个细胞的视觉特征相关联的基因信息作为训练数据。
21.根据权利要求19所述的处理器，其中所述一个或更多个神经网络包括多条件生成对抗网络(GAN)。
22.根据权利要求21所述的处理器，其中部分地通过对所述医学图像数据和所述基因信息进行编码并融合经编码的数据以生成合成图像和分割掩膜来训练所述GAN，所述合成图像包括与所述医学图像数据的背景部分混合的细胞组的表示。
23.根据权利要求22所述的处理器，其中通过将所述合成图像、所述分割掩膜和用于所述基因信息的基因代码传递给鉴别器以确定损失值集合来进一步训练所述GAN，其中所述GAN的一个或更多个网络参数将使用所述损失值集合来更新。
24.根据权利要求21所述的处理器，其中所述GAN被进一步训练以学习所述一个或更多个细胞的视觉特征与所述基因信息之间的基因组图。
25.一种系统，其包括：
一个或更多个存储器，用于存储与一个或更多个细胞相关联的基因信息；以及
一个或更多个处理器，用于训练一个或更多个神经网络，以至少部分地基于所述基因信息来帮助推断所述一个或更多个细胞的一个或更多个图像。
26.根据权利要求25所述的系统，其中所述一个或更多个处理器进一步配置成：
接受背景图像数据和与所述一个或更多个细胞的视觉特征相关联的所述基因信息作为训练数据。
27.根据权利要求25所述的系统，其中所述一个或更多个神经网络包括多条件生成对抗网络(GAN)。
28.根据权利要求27所述的系统，其中部分地通过对所述医学图像数据和所述基因信息进行编码并融合经编码的数据以生成合成图像和分割掩膜来训练所述GAN，所述合成图像包括与所述医学图像数据的背景部分混合的细胞组的表示。
29.根据权利要求28所述的系统，其中通过将所述合成图像、所述分割掩膜和用于所述基因信息的基因代码传递给鉴别器以确定损失值集合来进一步训练所述GAN，其中所述GAN的一个或更多个网络参数将使用所述损失值集合来更新。
30.根据权利要求27所述的系统，其中所述GAN被进一步训练以学习所述一个或更多个细胞的视觉特征与所述基因信息之间的基因组图。
31.一种方法，其包括：
训练一个或更多个神经网络，用于至少部分地基于与一个或更多个细胞相关联的基因信息来推断所述一个或更多个细胞的一个或更多个图像；以及
存储所述神经网络。
32.根据权利要求31所述的方法，还包括：
接受背景图像数据和与所述一个或更多个细胞的视觉特征相关联的所述基因信息作为训练数据。
33.根据权利要求31所述的方法，其中所述一个或更多个神经网络包括多条件生成对抗网络(GAN)。
34.根据权利要求33所述的方法，其中部分地通过对所述医学图像数据和所述基因信息进行编码并融合经编码的数据以生成合成图像和分割掩膜来训练所述GAN，所述合成图像包括与所述医学图像数据的背景部分混合的细胞组的表示。
35.根据权利要求34所述的方法，其中通过将所述合成图像、所述分割掩膜和用于所述基因信息的基因代码传递给鉴别器以确定损失值集合来进一步训练所述GAN，其中所述GAN的一个或更多个网络参数将使用所述损失值集合来更新。
36.根据权利要求33所述的方法，其中所述GAN被进一步训练以学习所述一个或更多个细胞的视觉特征与所述基因信息之间的基因组图。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US16/443,549 US20200394459A1 (en) | 2019-06-17 | 2019-06-17 | Cell image synthesis using one or more neural networks |
| US16/443,549 | 2019-06-17 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112102329A true CN112102329A (zh) | 2020-12-18 |
Family
ID=71105394
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010529158.3A Pending CN112102329A (zh) | 2019-06-17 | 2020-06-11 | 使用一个或更多个神经网络进行细胞图像合成 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US20200394459A1 (zh) |
| EP (1) | EP3754611A1 (zh) |
| CN (1) | CN112102329A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113434459A (zh) * | 2021-06-30 | 2021-09-24 | 电子科技大学 | 基于生成对抗网络的片上网络任务映射方法 |
| CN114611685A (zh) * | 2022-03-08 | 2022-06-10 | 安谋科技（中国）有限公司 | 神经网络模型中的特征处理方法、介质、设备和程序产品 |
| CN115099293A (zh) * | 2022-03-09 | 2022-09-23 | 北京安德医智科技有限公司 | 一种模型训练方法及装置、电子设备和存储介质 |
| CN115379287A (zh) * | 2021-05-20 | 2022-11-22 | 辉达公司 | 使用一个或更多个神经网络从音频合成视频 |
Families Citing this family (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112313668A (zh) * | 2018-06-15 | 2021-02-02 | 深透医疗公司 | 使用深度学习进行磁共振成像标准化的系统和方法 |
| US11580673B1 (en) * | 2019-06-04 | 2023-02-14 | Duke University | Methods, systems, and computer readable media for mask embedding for realistic high-resolution image synthesis |
| EP3767544A1 (en) * | 2019-07-19 | 2021-01-20 | Robert Bosch GmbH | Training a generative model and a discriminative model |
| US11443057B2 (en) * | 2019-10-24 | 2022-09-13 | At&T Intellectual Property I, L.P. | Encoding and concealing information using deep learning |
| US11494898B2 (en) * | 2019-10-31 | 2022-11-08 | Optum Services (Ireland) Limited | Predictive data analysis using image representations of categorical and scalar feature data |
| EP3855355A1 (en) * | 2020-01-23 | 2021-07-28 | Robert Bosch GmbH | Method for determining explainability mask by neural network, system and medium |
| WO2021178938A1 (en) | 2020-03-06 | 2021-09-10 | Bostongene Corporation | Determining tissue characteristics using multiplexed immunofluorescence imaging |
| US11367167B2 (en) * | 2020-08-21 | 2022-06-21 | Apple Inc. | Neural network-based image processing with artifact compensation |
| US11720647B2 (en) * | 2020-08-21 | 2023-08-08 | GE Precision Healthcare LLC | Synthetic training data generation for improved machine learning model generalizability |
| US11762951B2 (en) * | 2020-11-18 | 2023-09-19 | Adobe Inc. | Generative image congealing |
| DE102020215461A1 (de) * | 2020-12-08 | 2022-06-09 | Robert Bosch Gesellschaft mit beschränkter Haftung | Vorrichtung und Verfahren zum Trainieren eines Bildgenerators |
| TWI764628B (zh) * | 2021-03-18 | 2022-05-11 | 英業達股份有限公司 | 影像中資訊的分類系統及其方法 |
| US20220351366A1 (en) * | 2021-05-03 | 2022-11-03 | Rakuten Group, Inc. | Deep learning model to predict data from an image |
| CN113269151A (zh) * | 2021-06-24 | 2021-08-17 | 中车大连机车车辆有限公司 | 一种基于视觉识别的列车控制方法及设备 |
| CN113205473A (zh) * | 2021-07-05 | 2021-08-03 | 深圳科亚医疗科技有限公司 | 用于医学图像检测的数据增强的方法、装置和存储介质 |
| US11393574B1 (en) * | 2021-07-06 | 2022-07-19 | PAIGE.AI, Inc. | Systems and methods to process electronic images for synthetic image generation |
| EP4367638A1 (en) | 2021-07-06 | 2024-05-15 | PAIGE.AI, Inc. | Systems and methods to process electronic images for synthetic image generation |
| CN116523799B (zh) * | 2023-07-03 | 2023-09-19 | 贵州大学 | 基于多粒度图文语义学习的文本引导图像修复模型及方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170357844A1 (en) * | 2016-06-09 | 2017-12-14 | Siemens Healthcare Gmbh | Image-based tumor phenotyping with machine learning from synthetic data |
| WO2018184187A1 (en) * | 2017-04-07 | 2018-10-11 | Intel Corporation | Methods and systems for advanced and augmented training of deep neural networks using synthetic data and innovative generative networks |
| CN108765371A (zh) * | 2018-04-25 | 2018-11-06 | 浙江大学 | 一种病理切片中非常规细胞的分割方法 |
| WO2019079399A1 (en) * | 2017-10-20 | 2019-04-25 | Duke University | DEVICES, SYSTEMS AND METHODS FOR HIGH SPEED SINGLE CELL ANALYSIS |
| US20190164632A1 (en) * | 2017-09-25 | 2019-05-30 | Syntekabio Co., Ltd. | Drug indication and response prediction systems and method using ai deep learning based on convergence of different category data |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10470659B2 (en) * | 2017-06-08 | 2019-11-12 | Fdna Inc. | Systems, methods, and computer-readable media for gene and genetic variant prioritization |
| US11501429B2 (en) * | 2017-07-19 | 2022-11-15 | Altius Institute For Biomedical Sciences | Methods of analyzing microscopy images using machine learning |
| WO2019084559A1 (en) * | 2017-10-27 | 2019-05-02 | Apostle, Inc. | SOMATIC MUTATION CANCER PATHOGENIC IMPACT PREDICTION USING DEEP LEARNING BASED METHODS |
| US10748040B2 (en) * | 2017-11-20 | 2020-08-18 | Kavya Venkata Kota Sai KOPPARAPU | System and method for automatic assessment of cancer |
| WO2020014477A1 (en) * | 2018-07-11 | 2020-01-16 | The University Of North Carolina At Chapel Hill | Methods, systems, and computer readable media for image analysis with deep learning to predict breast cancer classes |
| US20210049757A1 (en) * | 2019-08-14 | 2021-02-18 | Nvidia Corporation | Neural network for image registration and image segmentation trained using a registration simulator |
-
2019
- 2019-06-17 US US16/443,549 patent/US20200394459A1/en active Pending
-
2020
- 2020-06-11 CN CN202010529158.3A patent/CN112102329A/zh active Pending
- 2020-06-17 EP EP20180544.7A patent/EP3754611A1/en active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170357844A1 (en) * | 2016-06-09 | 2017-12-14 | Siemens Healthcare Gmbh | Image-based tumor phenotyping with machine learning from synthetic data |
| CN107492090A (zh) * | 2016-06-09 | 2017-12-19 | 西门子保健有限责任公司 | 根据合成数据利用机器学习的基于图像的肿瘤表型分析 |
| WO2018184187A1 (en) * | 2017-04-07 | 2018-10-11 | Intel Corporation | Methods and systems for advanced and augmented training of deep neural networks using synthetic data and innovative generative networks |
| US20190164632A1 (en) * | 2017-09-25 | 2019-05-30 | Syntekabio Co., Ltd. | Drug indication and response prediction systems and method using ai deep learning based on convergence of different category data |
| WO2019079399A1 (en) * | 2017-10-20 | 2019-04-25 | Duke University | DEVICES, SYSTEMS AND METHODS FOR HIGH SPEED SINGLE CELL ANALYSIS |
| CN108765371A (zh) * | 2018-04-25 | 2018-11-06 | 浙江大学 | 一种病理切片中非常规细胞的分割方法 |
Non-Patent Citations (1)
| Title |
|---|
| FAISAL MAHMOOD ET AL: "Deep Adversarial Training for Multi-Organ Nuclei Segmentation in Histopathology Images", ARXIV.ORG, CORNELL UNIVERSITY LIBRARY, 201 OLIN LIBRARY CORNELL UNIVERSITY ITHACA, NY14853, 29 September 2018 (2018-09-29), pages 1 - 9 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115379287A (zh) * | 2021-05-20 | 2022-11-22 | 辉达公司 | 使用一个或更多个神经网络从音频合成视频 |
| CN113434459A (zh) * | 2021-06-30 | 2021-09-24 | 电子科技大学 | 基于生成对抗网络的片上网络任务映射方法 |
| CN114611685A (zh) * | 2022-03-08 | 2022-06-10 | 安谋科技（中国）有限公司 | 神经网络模型中的特征处理方法、介质、设备和程序产品 |
| CN115099293A (zh) * | 2022-03-09 | 2022-09-23 | 北京安德医智科技有限公司 | 一种模型训练方法及装置、电子设备和存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| US20200394459A1 (en) | 2020-12-17 |
| EP3754611A1 (en) | 2020-12-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3754611A1 (en) | Cell image synthesis using one or more neural networks | |
| EP3754560A1 (en) | Weakly-supervised object detection using one or more neural networks | |
| EP3739499A1 (en) | Grammar transfer using one or more neural networks | |
| KR102661953B1 (ko) | 하나 이상의 신경망을 이용한 비디오 업샘플링 | |
| EP3822865A1 (en) | Synthesizing data for training one or more neural networks | |
| US20210097691A1 (en) | Image generation using one or more neural networks | |
| US11902705B2 (en) | Video prediction using one or more neural networks | |
| US20210132688A1 (en) | Gaze determination using one or more neural networks | |
| US20210067735A1 (en) | Video interpolation using one or more neural networks | |
| US20210118166A1 (en) | Pose determination using one or more neural networks | |
| CN116806340A (zh) | 确定用于对象分类的一个或更多个神经网络 | |
| CN116723667A (zh) | 用于数据中心冷却系统的接口流量控制器 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |