CN117042385A - 用于解决辅助冷却回路上的波动需求的主冷却回路控制 - Google Patents
用于解决辅助冷却回路上的波动需求的主冷却回路控制 Download PDFInfo
- Publication number
- CN117042385A CN117042385A CN202310506038.5A CN202310506038A CN117042385A CN 117042385 A CN117042385 A CN 117042385A CN 202310506038 A CN202310506038 A CN 202310506038A CN 117042385 A CN117042385 A CN 117042385A
- Authority
- CN
- China
- Prior art keywords
- coolant
- processor
- primary
- memory
- flow rate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001816 cooling Methods 0.000 title claims abstract description 419
- 239000002826 coolant Substances 0.000 claims abstract description 375
- 238000000034 method Methods 0.000 claims abstract description 180
- 238000009826 distribution Methods 0.000 claims abstract description 16
- 238000013528 artificial neural network Methods 0.000 claims description 167
- 230000008859 change Effects 0.000 claims description 49
- 230000015654 memory Effects 0.000 description 487
- 238000012545 processing Methods 0.000 description 367
- 238000012549 training Methods 0.000 description 355
- 238000010801 machine learning Methods 0.000 description 121
- 230000006870 function Effects 0.000 description 120
- 230000008569 process Effects 0.000 description 108
- 238000007667 floating Methods 0.000 description 76
- 210000002569 neuron Anatomy 0.000 description 67
- 238000004891 communication Methods 0.000 description 59
- 230000001133 acceleration Effects 0.000 description 51
- 238000013473 artificial intelligence Methods 0.000 description 50
- 238000005192 partition Methods 0.000 description 50
- 238000003384 imaging method Methods 0.000 description 48
- 238000003860 storage Methods 0.000 description 44
- 239000000872 buffer Substances 0.000 description 42
- 238000005227 gel permeation chromatography Methods 0.000 description 39
- 238000013135 deep learning Methods 0.000 description 36
- 238000007726 management method Methods 0.000 description 34
- 238000004422 calculation algorithm Methods 0.000 description 27
- 238000010586 diagram Methods 0.000 description 26
- 239000011159 matrix material Substances 0.000 description 25
- 239000012530 fluid Substances 0.000 description 24
- 230000002093 peripheral effect Effects 0.000 description 22
- 239000012634 fragment Substances 0.000 description 21
- 239000013598 vector Substances 0.000 description 19
- 238000001514 detection method Methods 0.000 description 18
- 238000012546 transfer Methods 0.000 description 18
- 238000012800 visualization Methods 0.000 description 18
- 210000000225 synapse Anatomy 0.000 description 17
- 238000010168 coupling process Methods 0.000 description 16
- 238000005859 coupling reaction Methods 0.000 description 16
- 238000009877 rendering Methods 0.000 description 16
- 230000004913 activation Effects 0.000 description 15
- 238000001994 activation Methods 0.000 description 15
- 230000008878 coupling Effects 0.000 description 15
- 238000013519 translation Methods 0.000 description 15
- 230000014616 translation Effects 0.000 description 15
- 238000012163 sequencing technique Methods 0.000 description 14
- 230000007246 mechanism Effects 0.000 description 13
- 230000011218 segmentation Effects 0.000 description 12
- 238000005516 engineering process Methods 0.000 description 11
- HPTJABJPZMULFH-UHFFFAOYSA-N 12-[(Cyclohexylcarbamoyl)amino]dodecanoic acid Chemical compound OC(=O)CCCCCCCCCCCNC(=O)NC1CCCCC1 HPTJABJPZMULFH-UHFFFAOYSA-N 0.000 description 10
- 238000005457 optimization Methods 0.000 description 10
- 238000013500 data storage Methods 0.000 description 9
- 230000009977 dual effect Effects 0.000 description 9
- 230000000670 limiting effect Effects 0.000 description 9
- 230000010076 replication Effects 0.000 description 9
- 239000003795 chemical substances by application Substances 0.000 description 8
- 239000007788 liquid Substances 0.000 description 8
- 238000002595 magnetic resonance imaging Methods 0.000 description 8
- 239000012528 membrane Substances 0.000 description 8
- 238000007781 pre-processing Methods 0.000 description 8
- 230000004044 response Effects 0.000 description 8
- 238000004458 analytical method Methods 0.000 description 7
- 230000006835 compression Effects 0.000 description 7
- 238000007906 compression Methods 0.000 description 7
- 230000001965 increasing effect Effects 0.000 description 7
- 238000003062 neural network model Methods 0.000 description 7
- 238000009428 plumbing Methods 0.000 description 7
- 239000004065 semiconductor Substances 0.000 description 7
- 230000001360 synchronised effect Effects 0.000 description 7
- 230000009471 action Effects 0.000 description 6
- 230000005540 biological transmission Effects 0.000 description 6
- 238000006243 chemical reaction Methods 0.000 description 6
- 238000007405 data analysis Methods 0.000 description 6
- 238000013507 mapping Methods 0.000 description 6
- 238000012805 post-processing Methods 0.000 description 6
- 230000002829 reductive effect Effects 0.000 description 6
- 230000008093 supporting effect Effects 0.000 description 6
- 238000012360 testing method Methods 0.000 description 6
- 238000013527 convolutional neural network Methods 0.000 description 5
- 238000013461 design Methods 0.000 description 5
- 230000018109 developmental process Effects 0.000 description 5
- 238000002156 mixing Methods 0.000 description 5
- 238000012544 monitoring process Methods 0.000 description 5
- 210000000056 organ Anatomy 0.000 description 5
- 238000005070 sampling Methods 0.000 description 5
- 238000003491 array Methods 0.000 description 4
- 230000003190 augmentative effect Effects 0.000 description 4
- 230000033228 biological regulation Effects 0.000 description 4
- 238000004590 computer program Methods 0.000 description 4
- 230000003247 decreasing effect Effects 0.000 description 4
- 230000001419 dependent effect Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 230000003993 interaction Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 230000009467 reduction Effects 0.000 description 4
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 4
- LYCAIKOWRPUZTN-UHFFFAOYSA-N Ethylene glycol Chemical compound OCCO LYCAIKOWRPUZTN-UHFFFAOYSA-N 0.000 description 3
- DNIAPMSPPWPWGF-UHFFFAOYSA-N Propylene glycol Chemical compound CC(O)CO DNIAPMSPPWPWGF-UHFFFAOYSA-N 0.000 description 3
- 238000009825 accumulation Methods 0.000 description 3
- 238000002591 computed tomography Methods 0.000 description 3
- 238000012937 correction Methods 0.000 description 3
- 238000002059 diagnostic imaging Methods 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 238000001914 filtration Methods 0.000 description 3
- 238000007654 immersion Methods 0.000 description 3
- 230000001976 improved effect Effects 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 230000033001 locomotion Effects 0.000 description 3
- 238000007620 mathematical function Methods 0.000 description 3
- 229920001690 polydopamine Polymers 0.000 description 3
- 238000005086 pumping Methods 0.000 description 3
- 238000007670 refining Methods 0.000 description 3
- 230000003068 static effect Effects 0.000 description 3
- 230000000153 supplemental effect Effects 0.000 description 3
- 230000001960 triggered effect Effects 0.000 description 3
- 238000002604 ultrasonography Methods 0.000 description 3
- 210000002370 ICC Anatomy 0.000 description 2
- 230000005856 abnormality Effects 0.000 description 2
- 239000000654 additive Substances 0.000 description 2
- 230000002776 aggregation Effects 0.000 description 2
- 238000004220 aggregation Methods 0.000 description 2
- 238000012884 algebraic function Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000001149 cognitive effect Effects 0.000 description 2
- 238000004040 coloring Methods 0.000 description 2
- 238000011960 computer-aided design Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000013136 deep learning model Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 238000002592 echocardiography Methods 0.000 description 2
- 239000004744 fabric Substances 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 230000000977 initiatory effect Effects 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 238000010988 intraclass correlation coefficient Methods 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000011068 loading method Methods 0.000 description 2
- 238000013508 migration Methods 0.000 description 2
- 230000005012 migration Effects 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000036961 partial effect Effects 0.000 description 2
- 230000001242 postsynaptic effect Effects 0.000 description 2
- 210000005215 presynaptic neuron Anatomy 0.000 description 2
- 239000000047 product Substances 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 238000000638 solvent extraction Methods 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 238000013526 transfer learning Methods 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- RYGMFSIKBFXOCR-UHFFFAOYSA-N Copper Chemical compound [Cu] RYGMFSIKBFXOCR-UHFFFAOYSA-N 0.000 description 1
- 101001018553 Homo sapiens MyoD family inhibitor Proteins 0.000 description 1
- 229920002153 Hydroxypropyl cellulose Polymers 0.000 description 1
- 102100033694 MyoD family inhibitor Human genes 0.000 description 1
- 238000004497 NIR spectroscopy Methods 0.000 description 1
- 206010028980 Neoplasm Diseases 0.000 description 1
- 241000492493 Oxymeris Species 0.000 description 1
- 101100285899 Saccharomyces cerevisiae (strain ATCC 204508 / S288c) SSE2 gene Proteins 0.000 description 1
- 241000170489 Upis Species 0.000 description 1
- 241000700605 Viruses Species 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000000996 additive effect Effects 0.000 description 1
- 238000004026 adhesive bonding Methods 0.000 description 1
- 210000003484 anatomy Anatomy 0.000 description 1
- 238000013475 authorization Methods 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 230000003139 buffering effect Effects 0.000 description 1
- 238000009125 cardiac resynchronization therapy Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000001427 coherent effect Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000005094 computer simulation Methods 0.000 description 1
- 230000001143 conditioned effect Effects 0.000 description 1
- 229910052802 copper Inorganic materials 0.000 description 1
- 239000010949 copper Substances 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 238000013501 data transformation Methods 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 239000008367 deionised water Substances 0.000 description 1
- 229910021641 deionized water Inorganic materials 0.000 description 1
- 238000002405 diagnostic procedure Methods 0.000 description 1
- 238000007599 discharging Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 235000019800 disodium phosphate Nutrition 0.000 description 1
- 238000004980 dosimetry Methods 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 238000007876 drug discovery Methods 0.000 description 1
- 238000002091 elastography Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000010304 firing Methods 0.000 description 1
- 239000000446 fuel Substances 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000002068 genetic effect Effects 0.000 description 1
- 230000007614 genetic variation Effects 0.000 description 1
- 238000011331 genomic analysis Methods 0.000 description 1
- 230000012010 growth Effects 0.000 description 1
- 230000017525 heat dissipation Effects 0.000 description 1
- 230000020169 heat generation Effects 0.000 description 1
- 235000010977 hydroxypropyl cellulose Nutrition 0.000 description 1
- 239000013067 intermediate product Substances 0.000 description 1
- 238000002955 isolation Methods 0.000 description 1
- 238000003064 k means clustering Methods 0.000 description 1
- 238000012417 linear regression Methods 0.000 description 1
- 238000007477 logistic regression Methods 0.000 description 1
- 230000007787 long-term memory Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 239000006249 magnetic particle Substances 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 230000000873 masking effect Effects 0.000 description 1
- 230000006386 memory function Effects 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 238000000329 molecular dynamics simulation Methods 0.000 description 1
- 238000012900 molecular simulation Methods 0.000 description 1
- 230000035772 mutation Effects 0.000 description 1
- 208000010125 myocardial infarction Diseases 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 238000009206 nuclear medicine Methods 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 239000003208 petroleum Substances 0.000 description 1
- 239000004800 polyvinyl chloride Substances 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 108090000623 proteins and genes Proteins 0.000 description 1
- 238000011002 quantification Methods 0.000 description 1
- 238000002601 radiography Methods 0.000 description 1
- 238000001959 radiotherapy Methods 0.000 description 1
- 238000007637 random forest analysis Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 230000036279 refractory period Effects 0.000 description 1
- 230000003362 replicative effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000037390 scarring Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 230000007958 sleep Effects 0.000 description 1
- 239000004984 smart glass Substances 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 230000000946 synaptic effect Effects 0.000 description 1
- 238000003325 tomography Methods 0.000 description 1
- 238000012876 topography Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
- H05K—PRINTED CIRCUITS; CASINGS OR CONSTRUCTIONAL DETAILS OF ELECTRIC APPARATUS; MANUFACTURE OF ASSEMBLAGES OF ELECTRICAL COMPONENTS
- H05K7/00—Constructional details common to different types of electric apparatus
- H05K7/20—Modifications to facilitate cooling, ventilating, or heating
- H05K7/20709—Modifications to facilitate cooling, ventilating, or heating for server racks or cabinets; for data centers, e.g. 19-inch computer racks
- H05K7/20836—Thermal management, e.g. server temperature control
-
- H—ELECTRICITY
- H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
- H05K—PRINTED CIRCUITS; CASINGS OR CONSTRUCTIONAL DETAILS OF ELECTRIC APPARATUS; MANUFACTURE OF ASSEMBLAGES OF ELECTRICAL COMPONENTS
- H05K7/00—Constructional details common to different types of electric apparatus
- H05K7/20—Modifications to facilitate cooling, ventilating, or heating
- H05K7/20009—Modifications to facilitate cooling, ventilating, or heating using a gaseous coolant in electronic enclosures
- H05K7/202—Air circulating in closed loop within enclosure wherein heat is removed through heat-exchangers
-
- H—ELECTRICITY
- H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
- H05K—PRINTED CIRCUITS; CASINGS OR CONSTRUCTIONAL DETAILS OF ELECTRIC APPARATUS; MANUFACTURE OF ASSEMBLAGES OF ELECTRICAL COMPONENTS
- H05K7/00—Constructional details common to different types of electric apparatus
- H05K7/20—Modifications to facilitate cooling, ventilating, or heating
- H05K7/20009—Modifications to facilitate cooling, ventilating, or heating using a gaseous coolant in electronic enclosures
- H05K7/20209—Thermal management, e.g. fan control
-
- H—ELECTRICITY
- H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
- H05K—PRINTED CIRCUITS; CASINGS OR CONSTRUCTIONAL DETAILS OF ELECTRIC APPARATUS; MANUFACTURE OF ASSEMBLAGES OF ELECTRICAL COMPONENTS
- H05K7/00—Constructional details common to different types of electric apparatus
- H05K7/20—Modifications to facilitate cooling, ventilating, or heating
- H05K7/20218—Modifications to facilitate cooling, ventilating, or heating using a liquid coolant without phase change in electronic enclosures
- H05K7/20281—Thermal management, e.g. liquid flow control
-
- H—ELECTRICITY
- H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
- H05K—PRINTED CIRCUITS; CASINGS OR CONSTRUCTIONAL DETAILS OF ELECTRIC APPARATUS; MANUFACTURE OF ASSEMBLAGES OF ELECTRICAL COMPONENTS
- H05K7/00—Constructional details common to different types of electric apparatus
- H05K7/20—Modifications to facilitate cooling, ventilating, or heating
- H05K7/2039—Modifications to facilitate cooling, ventilating, or heating characterised by the heat transfer by conduction from the heat generating element to a dissipating body
- H05K7/20409—Outer radiating structures on heat dissipating housings, e.g. fins integrated with the housing
-
- H—ELECTRICITY
- H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
- H05K—PRINTED CIRCUITS; CASINGS OR CONSTRUCTIONAL DETAILS OF ELECTRIC APPARATUS; MANUFACTURE OF ASSEMBLAGES OF ELECTRICAL COMPONENTS
- H05K7/00—Constructional details common to different types of electric apparatus
- H05K7/20—Modifications to facilitate cooling, ventilating, or heating
- H05K7/20709—Modifications to facilitate cooling, ventilating, or heating for server racks or cabinets; for data centers, e.g. 19-inch computer racks
- H05K7/20718—Forced ventilation of a gaseous coolant
- H05K7/20736—Forced ventilation of a gaseous coolant within cabinets for removing heat from server blades
-
- H—ELECTRICITY
- H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
- H05K—PRINTED CIRCUITS; CASINGS OR CONSTRUCTIONAL DETAILS OF ELECTRIC APPARATUS; MANUFACTURE OF ASSEMBLAGES OF ELECTRICAL COMPONENTS
- H05K7/00—Constructional details common to different types of electric apparatus
- H05K7/20—Modifications to facilitate cooling, ventilating, or heating
- H05K7/20709—Modifications to facilitate cooling, ventilating, or heating for server racks or cabinets; for data centers, e.g. 19-inch computer racks
- H05K7/20763—Liquid cooling without phase change
-
- H—ELECTRICITY
- H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
- H05K—PRINTED CIRCUITS; CASINGS OR CONSTRUCTIONAL DETAILS OF ELECTRIC APPARATUS; MANUFACTURE OF ASSEMBLAGES OF ELECTRICAL COMPONENTS
- H05K7/00—Constructional details common to different types of electric apparatus
- H05K7/20—Modifications to facilitate cooling, ventilating, or heating
- H05K7/20709—Modifications to facilitate cooling, ventilating, or heating for server racks or cabinets; for data centers, e.g. 19-inch computer racks
- H05K7/20763—Liquid cooling without phase change
- H05K7/20781—Liquid cooling without phase change within cabinets for removing heat from server blades
-
- H—ELECTRICITY
- H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
- H05K—PRINTED CIRCUITS; CASINGS OR CONSTRUCTIONAL DETAILS OF ELECTRIC APPARATUS; MANUFACTURE OF ASSEMBLAGES OF ELECTRICAL COMPONENTS
- H05K7/00—Constructional details common to different types of electric apparatus
- H05K7/20—Modifications to facilitate cooling, ventilating, or heating
- H05K7/20709—Modifications to facilitate cooling, ventilating, or heating for server racks or cabinets; for data centers, e.g. 19-inch computer racks
- H05K7/20763—Liquid cooling without phase change
- H05K7/2079—Liquid cooling without phase change within rooms for removing heat from cabinets
Landscapes
- Engineering & Computer Science (AREA)
- Microelectronics & Electronic Packaging (AREA)
- Physics & Mathematics (AREA)
- Thermal Sciences (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Cooling Or The Like Of Electrical Apparatus (AREA)
Abstract
本发明涉及用于解决辅助冷却回路上的波动需求的主冷却回路控制，公开了用于冷却数据中心的系统和方法。在至少一个实施例中，主冷却回路包括至少一个主流量控制器，用于控制主冷却剂以主流速流动到冷却剂分配单元(CDU)，该主流速部分地基于将由辅助冷却剂解决的一个或更多个计算设备产生的热量来确定，该辅助冷却剂将在CDU中由主冷却剂以至少一个主流量控制器实现的主流速来冷却。
Description
背景技术
至少一个实施例涉及冷却系统，包括用于操作这些冷却系统的系统和方法。在至少一个实施例中，可以在包含一个或更多个机架或计算服务器的数据中心中利用这样的冷却系统。
发明内容
数据中心冷却系统使用风扇将空气循环通过服务器组件。某些超级计算机或其他高容量计算机可以使用水或其他冷却系统代替空气冷却系统来将热量从数据中心的服务器组件或机架抽离到数据中心外部的区域。冷却系统可以包括数据中心区域内的冷却器，数据中心区域可以包括数据中心本身外部的区域。此外，数据中心外部的区域可以包括冷却塔或其他外部热交换器，该冷却塔或其他外部热交换器从数据中心接收经加热的冷却剂并且通过强制空气或其他手段将热量散发到环境(或外部冷却介质)。经冷却的冷却剂再循环回到数据中心中。冷却器和冷却塔一起形成冷却设施。
附图说明
图1A、图1B示出了经受在至少一个实施例中描述的改进的数据中心冷却系统的示例性特征；
图2示出了根据至少一个实施例的经受主冷却回路控制以解决数据中心冷却系统的辅助冷却回路上的波动需求的服务器级特征；
图3示出了根据至少一个实施例的与用于解决数据中心冷却系统的辅助冷却回路上的波动需求的主冷却回路控制相关联的机架级特征；
图4A示出了根据至少一个实施例的与用于解决数据中心冷却系统的辅助冷却回路上的波动需求的主冷却回路控制相关联的数据中心级特征；
图4B、图4C是示出根据至少一个实施例的数据中心冷却系统的辅助冷却回路上的波动需求的曲线图；
图4D、图4E是示出根据至少一个实施例的针对数据中心冷却系统所解决的辅助冷却回路上的波动需求的曲线图；
图5示出了根据至少一个实施例的与图2至图4E的数据中心冷却系统相关联的方法；
图6A示出了根据至少一个实施例的推理和/或训练逻辑；
图6B示出了根据至少一个实施例的推理和/或训练逻辑；
图7示出了根据至少一个实施例的神经网络的训练和部署；
图8示出了根据至少一个实施例的示例数据中心系统；
图9是根据至少一个实施例的示出计算机系统的框图；
图10是根据至少一个实施例的示出计算机系统的框图；
图11示出了根据至少一个实施例的计算机系统；
图12示出了根据至少一个实施例的计算机系统；
图13A示出了根据至少一个实施例的计算机系统；
图13B示出了根据至少一个实施例的计算机系统；
图13C示出了根据至少一个实施例的计算机系统；
图13D示出了根据至少一个实施例的计算机系统；
图13E和图13F示出了根据至少一个实施例的共享编程模型；
图14示出了根据至少一个实施例的示例性集成电路和相关的图形处理器；
图15A、图15B示出了根据至少一个实施例的示例性集成电路和相关联的图形处理器；
图16A、图16B示出了根据至少一个实施例的附加的示例性图形处理器逻辑；
图17示出了根据至少一个实施例的计算机系统；
图18A示出了根据至少一个实施例的并行处理器；
图18B示出了根据至少一个实施例的分区单元；
图18C示出了根据至少一个实施例的处理集群；
图18D示出了根据至少一个实施例的图形多处理器；
图19示出了根据至少一个实施例的多图形处理单元(GPU)系统；
图20示出了根据至少一个实施例的图形处理器；
图21是根据至少一个实施例的示出用于处理器的处理器微架构的框图；
图22示出了根据至少一个实施例的深度学习应用程序处理器；
图23是根据至少一个实施例的示出了示例神经形态处理器的框图；
图24示出了根据一个或更多个实施例的图形处理器的至少部分；
图25示出了根据一个或更多个实施例的图形处理器的至少部分；
图26示出了根据一个或更多个实施例的图形处理器的至少部分；
图27是根据至少一个实施例的图形处理器的图形处理引擎的框图；
图28是根据至少一个实施例的图形处理器核心的至少部分的框图；
图29A、图29B示出了根据至少一个实施例的线程执行逻辑，其包括图形处理器核心的处理元件的阵列。
图30示出了根据至少一个实施例的并行处理单元(“PPU”)；
图31示出了根据至少一个实施例的通用处理集群(“GPC”)；
图32示出了根据至少一个实施例的并行处理单元(“PPU”)的存储器分区单元；
图33示出了根据至少一个实施例的流式多处理器；
图34是根据至少一个实施例的高级计算管线的示例数据流图；
图35是根据至少一个实施例的用于在高级计算管线中训练、自适应、实例化和部署机器学习模型的示例系统的系统图；
图36A示出了根据至少一个实施例的用于训练机器学习模型的过程的数据流图；以及
图36B是根据至少一个实施例的利用预训练的注释模型来增强注释工具的客户端-服务器架构的示例图示。
具体实施方式
在至少一个实施例中，可以利用如图1所示的示例性数据中心100，该数据中心具有经受本文所描述的改进的冷却系统。在至少一个实施例中，阐述了许多具体细节以提供透彻理解，但是本文的概念可以在没有这些具体细节中的一个或更多个的情况下实践。在至少一个实施例中，数据中心冷却系统可以对由现今计算组件中的计算负载的改变所引起的突然的高热需求进行响应。在至少一个实施例中，由于这些需求经受不同冷却需求的变化或趋于不同冷却需求的从最小值到最大值的范围，所以必须使用适当的冷却系统以经济的方式满足这些需求。在至少一个实施例中，为了中等至高的冷却需求，可以使用液体冷却系统。在至少一个实施例中，通过局部浸没冷却经济地满足高冷却需求。在至少一个实施例中，这些不同的冷却需求还反映数据中心的不同热特征。在至少一个实施例中，从这些组件、服务器和机架产生的热量被统称为热特征或冷却需求，因为冷却需求必须完全解决热特征。
在至少一个实施例中，公开了一种数据中心液体冷却系统。在至少一个实施例中，该数据中心冷却系统解决了关联的计算设备或数据中心设备中的热特征，诸如图形处理单元(GPU)、交换机、双列直插存储器模块(DIMM)或中央处理单元(CPU)中。在至少一个实施例中，这些组件在本文中可以被称为高热密度计算组件。此外，在至少一个实施例中，关联的计算设备或数据中心设备可以是在其上具有一个或更多个GPU、交换机或CPU的处理卡。在至少一个实施例中，GPU、交换机和CPU中的每一个可以是计算设备的发热特征。在至少一个实施例中，GPU、CPU或交换机可以具有一个或更多个核心，并且每个核心可以是发热特征。
在至少一个实施例中，用于解决数据中心冷却系统的辅助冷却回路上的波动需求的主冷却回路控制减少了用于冷却辅助冷却回路中的计算设备的辅助冷却剂的过冷却或欠冷却的波动。在至少一个实施例中，使用至少一个主流量控制器基于由辅助冷却回路中的计算设备产生的热量来控制用于冷却辅助冷却剂的主冷却剂的流速，这又解决了这种波动。
在至少一个实施例中，部分地基于主冷却剂或辅助冷却剂中的一个或更多个的回流(return)处的温度来执行减少用于冷却辅助冷却回路中的计算设备的辅助冷却剂的过冷却或欠冷却的波动。在至少一个实施例中，主冷却回路包括至少一个流量控制器，该至少一个流量控制器能够控制主冷却剂以部分地基于与从一个或更多个计算设备产生的热量相关联的温度而确定的流速流动到冷却剂分配单元(CDU)。在至少一个实施例中，这样的温度由主冷却回路或辅助冷却回路的返回侧上的传感器确定。在至少一个实施例中，所产生的热量将由辅助冷却剂解决，该辅助冷却剂在CDU中由主冷却剂以由至少一个流量控制器实现(enable)的流速进行冷却。
在至少一个实施例中，用于解决数据中心冷却系统的辅助冷却回路上的波动需求的主冷却回路控制解决了辅助冷却剂回路控制仅可用于解决产生的热量的问题。然而，在至少一个实施例中，辅助冷却剂先前由主冷却剂以稳定的速率进行冷却，这可能导致这种辅助冷却剂由于主冷却剂的一致流动而没有考虑辅助冷却回路中的变化而过冷却或欠冷却。在至少一个实施例中，这种变化可以是由来自一个或更多个计算设备的需求引起的，诸如从机架移除或添加到机架的服务器导致从机架整体产生的热量的变化。在至少一个实施例中，这种产生的波动是主冷却剂对辅助冷却剂的在20摄氏度到100摄氏度(C)之间的过冷却或欠冷却。
在至少一个实施例中，本文实现的区别在于，用于解决辅助冷却回路上的波动需求的主冷却回路控制包括用于主冷却回路的控制，用于通过主冷却剂的流速解决辅助冷却回路产生的热量或冷却需求。在至少一个实施例中，可以部分地基于与从辅助冷却回路中的一个或更多个计算设备产生的热量相关联的温度来确定这种流速。
在至少一个实施例中，这导致了波动的减小，其特征在于，在一时间段内以及在产生的热量或冷却需求的范围内(诸如产生的热量从3千瓦(kW)到40kW)，针对用于冷却一个或更多个计算设备的辅助冷却剂实现的高于或低于预定或均值温度的变化最大为3摄氏度至5摄氏度。在至少一个实施例中，由于辅助冷却剂的温度波动减小，针对一个或更多个计算设备实现的多个温度表示此类一个或更多个计算设备的稳定的热性能，这又转化为此类一个或更多个计算设备的稳定的工作负载性能。
在至少一个实施例中，CDU可用于数据中心冷却系统中的液体冷却，并且可用于数据中心冷却系统中的包括空气冷却和液体冷却的混合冷却。在至少一个实施例中，CDU用于提供已经由主冷却剂调节过的辅助冷却剂。在至少一个实施例中，辅助冷却剂可在辅助冷却回路中提供给一个或更多个冷板，诸如通过直接到芯片的冷板设计，以从包括CPU、GPU、交换机、ASIC和其他发热半导体元件的一个或更多个关联的计算设备移除热量。在至少一个实施例中，CDU可以被设计为提供从单个服务器托盘或箱移除热量的能力，可以被设计为向机架提供移除热量的能力，或者可以被设计为向具有服务器的多个机架提供移除热量的能力，该服务器可以是空气冷却和液体冷却服务器的混合。
在至少一个实施例中，管理CDU负载以补偿热负载的从非常小到非常大的变化是通过这种主冷却回路控制来解决的。在至少一个实施例中，CDU设计可以使得CDU的最小负载只会下降到CDU的最大负载的10％或20％。在至少一个实施例中，这样的百分比是就CDU的额定最大热交换或泵送能力而言的。在至少一个实施例中，单个服务器的液体冷却可能需要小于CDU的额定最大热容量或液体冷却容量的1％或更低。
在至少一个实施例中，用于解决辅助冷却回路上的波动需求的主冷却回路控制实现了对主冷却回路的智能且高度适应性控制，该控制部分地基于与辅助冷却回路相关联的温度。在至少一个实施例中，这种温度也可以由辅助冷却回路中的流量和压力差来表示，因为辅助冷却回路可以响应于增加辅助冷却剂的压力或流速以解决由一个或更多个计算设备产生的热量。因此，在至少一个实施例中，检测到存在若干服务器，则与辅助冷却回路相关联的流速、压力或温度指示用于主冷却回路的CDU的泵、阀或其他热交换器容量需要进行调整。
在至少一个实施例中，辅助冷却回路可以与使用一次水来控制辅助冷却回路的温度的冷却设施相关联。在至少一个实施例中，主流量控制器调节主冷却剂的流量(并因此调节预期温度)，以在最低可能或最低所需负载下实现辅助冷却，同时减少辅助冷却剂的温度波动，以防止过冷却或冷却不足。在至少一个实施例中，这种能力可以扩展到基于热或液体冷却容量的CDU的额定最大容量。
在至少一个实施例中，用于解决辅助冷却回路上的波动需求的主冷却回路控制包括智能控制方案。在至少一个实施例中，这种智能控制方案由至少一个主流量控制器支持，以支持CDU的泵速、阀操作、热交换器利用以及外部旁路或流量和热控制的管理。在至少一个实施例中，这种智能控制方案可以部分地基于用于检测辅助冷却剂的压力差或流速的智能检测系统的传感器。在至少一个实施例中，这种信息可用于训练机器学习子系统(诸如神经网络)，以通过辅助冷却回路中的需求变化来推理或预测附接到辅助冷却回路的若干服务器的存在。在至少一个实施例中，这种预测可用于调整与CDU相关联的主控制。在至少一个实施例中，这使得主冷却剂能够实现稳定且平稳地操作辅助冷却剂，而不会引起与辅助冷却剂相关联的流量或温度的波动。
在至少一个实施例中，可以利用如图1A所示的示例性数据中心100，其具有经受在本文中描述的改进的冷却系统。在至少一个实施例中，数据中心100可以是具有机架110和辅助设备的一个或更多个室102，以在一个或更多个服务器托盘上容纳一个或更多个服务器。在至少一个实施例中，数据中心100由位于数据中心100外部的冷却塔104支持。在至少一个实施例中，冷却塔104通过作用于主冷却回路106而从数据中心100内散热。在至少一个实施例中，在主冷却回路106与第二或辅助冷却回路108之间使用冷却分配单元(CDU)112，以使得能够从第二或辅助冷却回路108向主冷却回路106提取热量。在至少一个实施例中，在一个方面，根据需要，辅助冷却回路108可以接入进入服务器托盘的不同管道设备。在至少一个实施例中，回路106、108被示出为线图，但是普通技术人员将认识到，可以使用一个或更多个管道设备特征。在至少一个实施例中，柔性聚氯乙烯(PVC)管可以与关联的管道设备一起使用以使流体沿着每个提供的回路106；108移动。在至少一个实施例中，一个或更多个冷却剂泵可以用于维持冷却剂回路106、108内的压力差，以使得冷却剂能够根据不同位置中(包括室中、一个或更多个机架110中和/或一个或更多个机架110内的服务器箱或服务器托盘中)的温度传感器移动。
在至少一个实施例中，主冷却回路106和辅助冷却回路108中的冷却剂可以至少是水和添加剂。在至少一个实施例中，添加剂可以是乙二醇或丙二醇。在操作中，在至少一个实施例中，主冷却回路和辅助冷却回路中的每个冷却回路可以具有它们自己的冷却剂。在至少一个实施例中，辅助冷却回路中的冷却剂可以专用于服务器托盘或关联的机架110中的组件的需求。在至少一个实施例中，CDU 112能够独立地或同时地对所提供的冷却剂回路106、108内的冷却剂进行复杂的控制。在至少一个实施例中，CDU可适于控制冷却剂的流速，使得冷却剂被适当地分配以提取在关联的机架110内产生的热量。在至少一个实施例中，从辅助冷却回路108提供更柔性的管件(tubing)114以进入每个服务器托盘，以向其中的电气和/或计算组件提供冷却剂。
在至少一个实施例中，形成辅助冷却回路108的一部分的管件118可以被称为室歧管。单独地，在至少一个实施例中，另外的管件116可以从行歧管管件118延伸并且也可以是辅助冷却回路108的一部分，但可以被称为行歧管。在至少一个实施例中，冷却剂管件114作为辅助冷却回路108的一部分进入机架，但可以被称为一个或更多个机架内的机架冷却歧管。在至少一个实施例中，行歧管116沿着数据中心100中的行延伸到所有机架。在至少一个实施例中，包括冷却剂歧管118、116和114的辅助冷却回路108的管道设备可以通过本文的至少一个实施例来改进。在至少一个实施例中，可以在数据中心102内的主冷却回路中提供冷却器120，以支持冷却塔之前的冷却。在至少一个实施例中，对于本公开，可存在于主控制回路中并且在机架外部和在辅助冷却回路外部提供冷却的附加冷却回路可与主冷却回路一起采用并且与辅助冷却回路不同。
在至少一个实施例中，在操作中，在所提供的机架110的服务器托盘内产生的热量可以经由第二冷却回路108的行歧管114的柔性管件传递至离开一个或更多个机架110的冷却剂。在至少一个实施例中，来自CDU 112的用于冷却所提供的机架110的第二冷却剂(在第二冷却回路108中)经由所提供的管件朝向一个或更多个机架110移动。在至少一个实施例中，来自CDU 112的第二冷却剂从具有管件118的室歧管的一侧经由行歧管116传递到机架110的一侧，并且经由不同的管件114穿过服务器托盘的一侧。在至少一个实施例中，用过的或返回的第二冷却剂(或承载来自计算组件的热量的离开的第二冷却剂)从服务器托盘的另一侧离开(诸如进入机架的左侧并在循环通过服务器托盘或通过服务器托盘上的组件之后离开用于服务器托盘的机架的右侧)。在至少一个实施例中，离开服务器托盘或机架110的用过的第二冷却剂从管件114的不同侧(诸如离开侧)出来并且移动到行歧管116的平行的但也是离开侧。在至少一个实施例中，来自行歧管116的用过的第二冷却剂在室歧管118的平行部分中移动，并沿与进入的第二冷却剂(其也可以是更新的第二冷却剂)相反的方向朝向CDU 112行进。
在至少一个实施例中，用过的第二冷却剂与主冷却回路106中的主冷却剂经由CDU112交换其热量。在至少一个实施例中，用过的第二冷却剂可以被更新(诸如当与用过的第二冷却剂阶段的温度相比较时相对冷却)并且准备好通过第二冷却回路108循环回到一个或更多个计算组件。在至少一个实施例中，CDU 112中的各种流动和温度控制特征使得能够控制从用过的第二冷却剂交换的热量或进出CDU 112的第二冷却剂的流动。在至少一个实施例中，CDU 112还能够控制主冷却回路106中的主冷却剂的流动。
在至少一个实施例中，可以利用如图1B所示的示例性服务器级特征130，其与经受本文所描述的改进的冷却系统相关联。在至少一个实施例中，如图1B所示的服务器级特征130可以与冷板相关联，冷板又与用于解决辅助冷却回路上的波动需求的主冷却回路控制相关联。在至少一个实施例中，服务器级特征130包括服务器托盘或箱132。在至少一个实施例中，服务器托盘或箱132包括服务器歧管134，其中间耦合在服务器托盘或箱132的所提供的冷板140A-D与容纳服务器托盘或箱132的机架的机架歧管之间。在至少一个实施例中，服务器托盘或箱132包括与一个或更多个计算或数据中心组件或设备180A-C相关联的一个或更多个冷板140A-C。在至少一个实施例中，一个或更多个冷板140A-C可以是启用双冷却的冷板，其具有能够使用第一冷却剂进行冷却的第一不同路径164和能够与第一冷却剂同时地或在不同时间使用第二冷却剂进行冷却的第二不同路径170。在至少一个实施例中，这样的第一不同路径164和第二不同路径170是翅片或管。
在至少一个实施例中，至少一个散热器140D包括翅片并且暴露于服务器托盘或箱132的环境，使得来自冷通道122的冷空气可以用作冷却介质，其通过该翅片在该冷空气离开热通道124之前冷却散热器140D。在至少一个实施例中，关联的计算设备180D受益于由这种散热器140D提供的冷却。因此，在至少一个实施例中，冷却介质可以是空气或单相流体。
在至少一个实施例中，可以在服务器歧管134和一个或更多个冷板140A-C之间提供一个或更多个服务器级冷却回路144A、B，以用于启用单冷却或双冷却的冷却板。在至少一个实施例中，每个服务器级冷却回路144A、B包括入口管线142A和出口管线142B。在至少一个实施例中，当存在串联配置的冷板140A、B时，可以提供中间管线146。然而，在至少一个实施例中，对于用于解决辅助冷却回路上的波动需求的主冷却回路控制，可以在两用歧管134内的通道(图示为虚线)之间经由所提供的管线176A建立不同流体路径，该两用歧管134适于将第一冷却剂传递通过与这种所提供的通道相关联的第一提供的管线136A、B以及将第二冷却剂传递通过与这种所提供的通道相关联的第二提供的管线138A、B。在至少一个实施例中，对于所使用的每种类型的冷却剂，可以有单独的服务器冷却歧管。
在至少一个实施例中，一个或更多个冷板140A-C可以仅为启用单冷却剂的冷板或仅为启用双冷却剂的冷板。在至少一个实施例中，一个或更多个冷板140A-C在适于双用途时可支撑用于辅助冷却回路的第一辅助冷却剂和用于从局部冷却剂源循环的第二辅助冷却剂(或局部冷却剂)的不同端口和通道。在至少一个实施例中，用于冷却的第一辅助冷却剂可经由所提供的入口和出口136A、136B提供给服务器歧管134。在至少一个实施例中，第二辅助冷却剂可经由所提供的入口和出口138A、138B提供给服务器歧管134。在至少一个实施例中，所有这样的歧管、管线或回路可使用具有机械耦合特征和电耦合特征的流量控制器来终止。在至少一个实施例中，电耦合特征使得至少一个处理器能够控制用于冷板的流量控制器的各方面，该冷板与用于解决辅助冷却回路上的波动需求的主冷却回路控制相关联。
在至少一个实施例中，服务器托盘132是可以被流体淹没的浸没式冷却的服务器托盘。在至少一个实施例中，用于浸没式冷却的服务器托盘的流体可以是能够在浸没式冷却的服务器中使用的介电工程流体。在至少一个实施例中，可以使用辅助冷却剂或局部冷却剂来冷却工程流体。在至少一个实施例中，当与循环辅助冷却剂的辅助冷却回路相关联的主冷却回路已经失效或者正在失效时，可以使用局部冷却剂来冷却工程流体。在至少一个实施例中，因此至少一个冷板具有用于辅助冷却回路和用于从局部冷却剂源开始的局部冷却剂冷却回路的端口，局部冷却剂源是适于用于解决辅助冷却回路上的波动需求的主冷却回路控制的系统的一部分。在至少一个实施例中，这种冷板可支持局部冷却剂，该局部冷却剂可在主冷却回路失效的情况下被激活。
在至少一个实施例中，至少一个双冷却冷板140B；150可以被配置成与常规冷板140A、C一起工作。在至少一个实施例中，三维(3D)爆炸图示(冷板150)提供了可包括在双冷却冷板或常规冷板中的至少一些特征的内部细节。在至少一个实施例中，冷板150的撕裂图示出了微通道170和用作散热特征的管164的不同区段，如图1A和图1B所示。在至少一个实施例中，可以并排提供不同的第二区段，并且在这种冷板的至少一部分中具有散热特征。在至少一个实施例中，启用局部冷却剂的冷板可仅具有管164且其中没有微通道170。
在至少一个实施例中，双冷却冷板150具有用于辅助冷却回路的辅助冷却剂、用于局部冷却回路的局部冷却剂和用于来自局部冷却剂源的局部冷却剂的不同路径164、170。在至少一个实施例中，在浸没式冷却的服务器的用例中，可以是介电工程流体的流体可以适于冷板应用和浸没式冷却的服务器托盘应用两者。在至少一个实施例中，一些微通道170是由翅片或其他此类方面提供的路径，这些翅片或其他此类方面在内部且垂直于冷板区段的基底升高并且在其间具有用于冷却剂或流体流的间隙。在至少一个实施例中，一些微通道170是冷板150的不同冷板区段中的流体通路。
在至少一个实施例中，对冷板的引用连同其双冷却特征可以暗示对可以支撑至少两种类型的冷却回路的冷板的引用，除非另有说明。在至少一个实施例中，两种类型的冷板至少接收局部冷却剂用于冷却，但一种类型可支持辅助冷却回路或局部冷却回路和来自局部冷却剂源的局部冷却剂两者。在至少一个实施例中，标准冷却剂(诸如设施水)可用于辅助冷却回路中。
在至少一个实施例中，流体或局部冷却剂可以仅支持冷板使用并且不可用于浸没式冷却。在至少一个实施例中，每种类型的冷板从相应的局部冷却回路或与主冷却回路接口的其他冷却回路接收局部冷却剂，该局部冷却剂可以与不同的辅助或局部冷却剂相关联。在至少一个实施例中，在数据中心冷却系统中使用不同流体(诸如辅助冷却剂和局部冷却剂)的情况下，则辅助或局部冷却回路以及局部冷却剂可适用于双冷却冷板。在至少一个实施例中，辅助或局部冷却剂可以由用于解决辅助冷却回路上的波动需求的主冷却回路控制支撑，使得不同通道可以用于局部冷却剂中的每一个和用于不同的辅助冷却剂。
在至少一个实施例中，双冷却冷板150被适配成接收两种类型的流体(诸如辅助冷却剂和局部冷却剂)并且经由它们不同的端口152、172；168、162以及它们的不同路径164、170来保持两种类型的流体彼此不同，例如通过由垫圈和板(例如在垫圈型冷板中)分开的不同区段。在至少一个实施例中，流体管线156、158、166、174经由相应的流量控制器与此类端口152、162、168、172相关联。在至少一个实施例中，每个不同的路径是冷却路径或流动路径。在至少一个实施例中，可以同时提供来自局部冷却剂源的流体(诸如局部冷却剂或辅助冷却剂)和辅助冷却剂以解决附加的冷却需求。在至少一个实施例中，不同的端口和路径可以支持可以被提供以解决来自关联的计算设备的更高的冷却需求的不同源。
在至少一个实施例中，双冷却冷板150包括端口152、162，用于将局部冷却剂接收到冷板150中，以使得这种局部冷却剂能够穿过冷板150，并且使得这种局部冷却剂能够传递出冷板150。在至少一个实施例中，双冷却冷板150包括端口168、172，用于将辅助冷却剂接收到冷板150中，以使得这种辅助冷却剂能够穿过冷板150，并使辅助冷却剂能够传递出冷板150。在至少一个实施例中，所提供的端口152、162可以具有阀盖154，阀盖154可定向成使得局部冷却剂或辅助冷却剂能够流动通过冷板150。
在至少一个实施例中，所提供的阀盖154是关联的流量控制器的机械特征，该关联的流量控制器还具有对应的电子特征(诸如执行存储在关联的存储器中的指令并控制用于关联的流量控制器的机械特征的至少一个处理器)。在至少一个实施例中，传感器可用于提供反馈以调节通过冷板的入口局部冷却剂。
在至少一个实施例中，每个阀可以由关联的流量控制器的电子特征来致动。在至少一个实施例中，集成所提供的流量控制器的电子特征和机械特征。在至少一个实施例中，所提供的流量控制器的电子特征和机械特征在物理上不同。在至少一个实施例中，对流量控制器的提及可以指代所提供的电子特征和机械特征中的一个或更多个或其联合体，但至少指代使得能够控制冷却剂或流体通过每个冷板或浸没式冷却的服务器托盘或箱的流动的特征。
在至少一个实施例中，所提供的流量控制器的电子特征接收控制信号并断言对机械特征的控制。在至少一个实施例中，所提供的流量控制器的电子特征可以是致动器或其他类似机电特征的其他电子部件。在至少一个实施例中，流量泵可用作流量控制器。在至少一个实施例中，叶轮、活塞或波纹管可以是机械特征，并且电子电动机和电路形成所提供的流量控制器的电子特征。在至少一个实施例中，所提供的流量控制器的电路可以包括处理器、存储器、交换机、传感器和其他组件，它们共同形成所提供的流量控制器的电子特征。
在至少一个实施例中，所提供的流量控制器的所提供的端口152、162、168、172适于允许浸没式流体进入或允许浸入式流体排出。在至少一个实施例中，流量控制器148可以与流体管线176A；B(也是156、158)相关联，流体管线176A；B使得局部冷却剂能够进入冷板140A-C以及从冷板140A-C排出。在至少一个实施例中，其他流量控制器可类似地与冷却剂管线142A、146、142B(亦为166、174)相关联，以使得辅助冷却剂能够进入冷板140B、D及从冷板140B、D排出。
在至少一个实施例中，局部冷却剂经由专用入口管线138A和出口管线138B进入所提供的流体管线176A、B。在至少一个实施例中，服务器歧管134适于其中具有通道(由点划线或虚线示出)，以支撑到不同流体管线176A、B(也是156、158)的不同路径以及到与辅助冷却剂入口和出口管线136A、B相关联的任何其余回路144A、B的不同路径。在至少一个实施例中，可以存在多个歧管，以支撑局部冷却剂和不同的辅助冷却剂。在至少一个实施例中，可以存在多个歧管，以不同地支撑每个局部冷却剂和辅助冷却剂的进入和排出。在至少一个实施例中，单独使用局部冷却剂而没有辅助冷却回路。
在至少一个实施例中，图2示出了与用于解决数据中心冷却系统的辅助冷却回路上的波动需求的主冷却回路控制相关联的示例性特征200。因此，在至少一个实施例中，数据中心冷却系统包括服务器托盘或箱202C，该服务器托盘或箱202C具有表面204，该表面204具有可移除地安装在其上的一个或更多个外部流量控制器206A和一个或更多个内部流量控制器206B。在至少一个实施例中，可以提供多个流量控制器206A、206B，以使得冷却剂的进入通过这样的流量控制器中的一个流量控制器发生，而冷却剂的流出通过这样的流量控制器中的不同的流量控制器发生。
在至少一个实施例中，每个流量控制器206包括关联的耦合件216A、216B。在至少一个实施例中，传感器222可以监测通过歧管208B的辅助冷却剂。在至少一个实施例中，这种监测可以是对来自一个或更多个冷板的辅助冷却剂的回流温度的监测。在至少一个实施例中，这种传感器可以被安装在机架歧管或行歧管上，以感测返回的辅助冷却剂的累积温度。在至少一个实施例中，这样的传感器能够确定返回的辅助冷却剂的压力或流速。在至少一个实施例中，传感器222还可以与供应的辅助冷却剂相关联，以提供辅助冷却剂的温度、压力或流速的参考或差异。
在至少一个实施例中，第一流量控制器206A或第二流量控制器206B中的一个或更多个可以改变通过流量控制器206A、206B的辅助冷却剂的流量。在至少一个实施例中，关联的耦合件216A、216B包括推动耦合或螺纹耦合特征，用于使外部流量控制器218能够与第一流量控制器或第二流量控制器中的一个或更多个流体地通信。在至少一个实施例中，传感器222可适于监测要传递通过流量控制器206A、206B的辅助冷却剂的流量。
在至少一个实施例中，两个流量控制器206A、206B可适于在服务器托盘或箱202与机架断开连接时同时关闭。在至少一个实施例中，两个流量控制器206A、206B可适于根据所使用的局部冷却剂或辅助冷却剂而分别关闭，这允许在局部冷却回路运行以提供操作中的冗余的同时维护辅助冷却回路。在至少一个实施例中，这可以在从外部耦合件移除服务器托盘或箱时防止泄漏，在从服务器托盘或箱202移除冷板212A；212B；212C；212D时防止泄漏，以及在从服务器托盘或箱202移除一个或更多个服务器冷却歧管208A、208B时防止泄漏。
在至少一个实施例中，辅助冷却剂经由第一流量控制器206A进入服务器托盘或箱202，第一流量控制器206A在其关联的耦合件216B处耦合到机架冷却入口歧管的机架侧流量控制器，如图3所示。在至少一个实施例中，辅助冷却剂流过一个或更多个流量控制器206A、206B。图2还示出了与第二流量控制器206B相关联的耦合件216A，用于与服务器侧流量控制器进行耦合。在至少一个实施例中，一个流量控制器可用于控制辅助冷却剂的流量或压力的变化。
在至少一个实施例中，如图所示，在流量控制器206A；B内被致动到不同的打开度或闭合度的阀盖使能通过其中的辅助冷却剂的流速或流量的变化。在至少一个实施例中，在不同的每分钟转数(rpm)下被控制的叶轮泵可以用于改变通过其中的辅助冷却剂的流速或流量。在至少一个实施例中，叶轮泵可以启用以做到这一点，但是除了叶轮之外，还可能需要关联的阀盖。在至少一个实施例中，流量控制器206A；B可以具有阀盖和叶轮流量控制器的组合，其代表两个不同的流量控制器或单个流量控制器，这取决于执行不同动作的配置，包括停止或改变辅助冷却剂流。
在至少一个实施例中，辅助冷却剂流过一个或更多个流量控制器206A、206B、入口冷却剂管210A和服务器冷却歧管208A，服务器冷却歧管208A可以是入口服务器冷却歧管。在至少一个实施例中，可以使用这样的服务器冷却歧管208A，以使得可以建立多个服务器级冷却回路，而无需用于每个服务器级冷却回路的另外的流量控制器。在至少一个实施例中，图2中示出了至少两个不同的服务器级冷却回路。在至少一个实施例中，辅助冷却剂从服务器冷却歧管208A经由冷却剂管210B进入第一冷板212A，以冷却关联的计算设备214。在至少一个实施例中，热量通过传递到辅助冷却剂而从这种关联的计算设备214被移除。
在至少一个实施例中，如果在服务器级冷却回路中使用串行冷板，则中间冷却剂管210C使得辅助冷却剂能够从第一冷板212A流动到与不同的计算设备214相关联的第二冷板212B。在至少一个实施例中，出口冷却剂管210D使得冷却剂能够传递回服务器冷却歧管208B，该服务器冷却歧管208B可以是出口服务器冷却歧管。然而，在至少一个实施例中，具有用于入口和用于出口的通道的单个冷却歧管可以与一个或更多个流量控制器206一起使用。在至少一个实施例中，每个这样的冷却剂管或管线可以与流量控制器相关联，从而在任何这样的冷却剂管或管线断开连接时防止泄漏。
在至少一个实施例中，然后辅助冷却剂从服务器冷却歧管208B流出，通过另一流量控制器206，并经由其自己的流量控制器236B流动到机架出口冷却歧管234B，该机架出口冷却歧管234B在出口侧与流量控制器206相关联。在至少一个实施例中，一个或更多个传感器222可以耦合到这样的流量控制器206A；B外部的处理器。在至少一个实施例中，多个传感器222与可以是BMS或建筑管理系统的一部分的外部处理器进行通信。在至少一个实施例中，控制单元(诸如图3中的机架302的最后一个服务器托盘或箱308)可以被提供作为机架内的服务器托盘或箱形状因子，以控制机架内的所有流量控制器。
在至少一个实施例中，处理器可适于接收来自状态传感器222的输入。在至少一个实施例中，这种输入或传感器输入可以是关于流量控制器206A；B的。在至少一个实施例中，传感器输入是关于与通过一个或更多个流量控制器206A；B的辅助冷却剂相关联的温度、流速、流量或压力。在至少一个实施例中，可以部分地基于来自传感器的这种输入来触发处理器的动作。在至少一个实施例中，这样的动作可以是从处理器到主流量控制器的输出，诸如图3中的参考数字364或图4A中的参考数字412A。在至少一个实施例中，辅助冷却剂可以是去离子水和/>
在至少一个实施例中，图3示出了与用于解决数据中心冷却系统的辅助冷却回路上的波动需求的主冷却回路控制相关联的机架级特征300。在至少一个实施例中，这种机架级特征300包括一个或更多个行中的一个或更多个机架302。在至少一个实施例中，每一行可以与其自己的冷却歧管350相关联，该冷却歧管350与用于两用冷板的辅助冷却剂相关联，但是可以使用专用歧管346、348为图3中的一个或所有这样的机架302仅实现基于辅助冷却剂的冷却或仅实现基于局部冷却剂的冷却。在至少一个实施例中，一些服务器托盘或箱308可以与基于辅助冷却剂的冷却相关联，而其他服务器托盘或箱可以与基于局部冷却剂的冷却相关联。在至少一个实施例中，在每一种这样的情况下，服务器托盘或箱308经由管线360与CDU 366相关联，其中这样的CDU 366支持主冷却回路控制以解决辅助冷却回路上的波动需求。
在至少一个实施例中，流动路径可被实现为通过机架302内的一个或更多个机架冷却歧管314A、314B或346、348通向两用冷板326。在至少一个实施例中，单个机架冷却歧管可以支持辅助冷却剂的进入和排出，而单独的机架冷却歧管可以支持局部冷却剂的进入和排出。然而，在至少一个实施例中，单独的机架冷却歧管314A、314B可以用于这种辅助冷却剂和局部冷却剂中的每一个的入口和出口中的每一个，这取决于是否使用两者或者是否独立地使用每一者。
在至少一个实施例中，这种两用冷板326与计算设备324相关联，该计算设备324可具有可以由辅助冷却剂、局部冷却剂或冷却剂的组合来解决的冷却需求。在至少一个实施例中，这种流动路径允许来自行冷却歧管350的辅助冷却剂或局部冷却剂进入一个或更多个机架冷却歧管314A、314B以及从一个或更多个机架冷却歧管314A、314B离开。在至少一个实施例中，辅助冷却剂或局部冷却剂可以在行冷却歧管350和CDU 366之间流动360。在至少一个实施例中，这样的辅助冷却剂流动通过行冷却歧管350、通过机架302的入口310A、通过适于在至少两个冷却剂路径(或冷却剂路径和局部冷却剂路径)之间切换的流量控制器310C、通过入口310并进入机架冷却歧管314A。在至少一个实施例中，这种辅助冷却剂或局部冷却剂进入冷板326并解决与冷板326和/或其关联的计算设备324相关联的一个冷却需求。在至少一个实施例中，不同于所示出的流量控制器310C的单独的流量控制器可用于局部冷却剂。
在至少一个实施例中，辅助或局部冷却剂流动通过服务器托盘或箱308的另外的入口316，到达关联的计算设备324的冷板326，从服务器托盘或箱308的出口318流出，通过机架冷却歧管314B，进入另外的出口312，通过另一流量控制器312C，并且从出口管线312A流出到行冷却歧管350，该行冷却歧管350可以是与入口侧行冷却歧管相同或不同的行冷却歧管。此外，行冷却歧管350或机架冷却歧管314A；B中可具有不同的通道以支持入口流和出口流。
在至少一个实施例中，对于双冷却冷板或单冷却剂冷板，可使得局部冷却剂经由不同的流动路径(诸如来自设置在机架302顶部的不同入口歧管346的入口或入口管线)发生，通过机架冷却歧管314A或专用局部冷却剂歧管346的通道，通过直接管线320、354、322到达冷板326，并且在机架302的顶部处从另外的不同的歧管348的出口管线流出。
在至少一个实施例中，因此机架302可以包括与辅助冷却剂流动路径不同的局部冷却剂流动路径。在至少一个实施例中，这样的直接管线可以在机架302的每个服务器托盘或箱308内可用，并且也可以在机架302的浸没式服务器352内可用。在至少一个实施例中，这种局部冷却剂进入冷板326并解决可与冷板326和/或其关联的计算设备324相关联的第二冷却需求。在至少一个实施例中，冷板326是冷却剂冷板、局部冷却剂冷板或支持辅助冷却剂和局部冷却剂的双冷却冷板。
在至少一个实施例中，如图4所示的数据中心级特征400可以与冷板相关联，该冷板进一步与数据中心冷却系统中的用于解决辅助冷却回路上的波动需求的主冷却回路控制相关联。在至少一个实施例中，数据中心402内的数据中心级特征400可以包括用于容纳一个或更多个服务器托盘或箱的机架404；以及用于解决辅助冷却回路上的波动需求的主冷却回路控制的一个或更多个方面424、430、436(诸如局部冷却剂分配单元(LCDU)424和专用歧管430、436)。
在至少一个实施例中，局部冷却剂歧管430、436耦合到LCDU 424，以使得能够经由管线428、426、434向多个机架404提供局部冷却剂。在至少一个实施例中，LCDU 424能够使用内部流量控制器和传感器将局部冷却剂分配到多个歧管以控制流量，但是还能够与另一介质(诸如另一局部冷却剂、风扇或主冷却剂)进行受控热交换。在至少一个实施例中，如果使用另一局部冷却剂来冷却用于没有CDU 406、冷却塔408和主冷却回路422的冷板的局部冷却剂，至少这种辅助冷却剂冷却和局部冷却剂冷却可以不同于辅助冷却回路412和主冷却回路422来操作，诸如通过使用局部冷却剂冷却单元424A。在至少一个实施例中，可以提供一个或更多个辅助冷却行歧管410以分配来自CDU 406的辅助冷却剂。
在至少一个实施例中，对于基于冷却剂的冷却，可以提供一个或更多个主冷却行歧管(诸如构成主冷却回路422的一部分的管道或管线)，用于将主冷却剂从冷却设施408分配到CDU 406和LCDU冷却单元424A。在至少一个实施例中，提供各种流量控制器412A、412B(也在本文的其他附图中)、以及入口和出口管线412、414、416、418、420或冷却剂分配。在至少一个实施例中，流量控制器412A、412B和这样的入口和出口管线412、414、416、418由不同的流量控制器支持，该不同的流量控制器实现不同的流动路径(诸如用于辅助冷却剂的冷却剂流动路径436)，其不同于局部冷却剂流动路径426、428、434。
在至少一个实施例中，图4的数据中心冷却系统包括主冷却回路422，该主冷却回路422可以调节CDU 406中的辅助冷却剂以及用于LCDU 424的局部冷却剂。在至少一个实施例中，主冷却回路422包括至少一个主流量控制器412A，用于控制主冷却剂流动到CDU 406(或LCDU 424)。在至少一个实施例中，至少一个主流量控制器412A使得来自冷却器设施408的主冷却剂的主流速能够冷却CDU 406或LCDU 424中的辅助冷却剂。在至少一个实施例中，部分地基于从一个或更多个计算设备产生的热量来确定主流速，其中这种热量将由辅助冷却剂来解决。在至少一个实施例中，因此辅助冷却剂在CDU 406或LCDU 424中由辅助冷却剂以由至少一个主流量控制器412A实现的主流速进行冷却。
在至少一个实施例中，图4B、图4C是图示数据中心冷却系统的辅助冷却回路的波动需求的曲线图440、450。在至少一个实施例中，第一曲线图440示出了CDU辅助冷却剂供应温度442A(这种温度以摄氏度(C)为单位)相对于时间442B(以秒为单位)。在至少一个实施例中，与第一曲线图440一起读取的第二曲线图450示出了主冷却剂流量控制器需求452A相对于时间452B(以秒为单位)。
在至少一个实施例中，这样的曲线图440、450示出了对于从试图由辅助冷却剂进行冷却的计算设备产生的13kW到39kW 444A之间的热量，辅助冷却剂供应温度442A基本上在约25℃到40℃之间变化，而该辅助冷却剂又由主冷却剂进行冷却。在至少一个实施例中，这种曲线图440、450的线中的每个点446指示与主流量控制器412A相关联的打开、关闭、激活、触发或泵送。在至少一个实施例中，这种曲线图440、450的线中的每个点446在其对应的y轴上指示与主流量控制器412A相关联的打开、激活、触发或泵送的百分比。然而，在至少一个实施例中，如曲线图450所示，主冷却剂被设置为特定的需求百分比，而不考虑所产生的热量，诸如独立于基于辅助冷却回路的交互控制。
在至少一个实施例中，由于辅助冷却回路可响应于冷却需求(以解决从计算设备产生的热量)而使用辅助流量控制器412B独立地操作，其中这种辅助流量控制器412B可以引起增加的流速、流量或压力以解决增加的冷却需求，或者可以引起降低的流速、流量或压力以解决独立于主冷却回路的降低的冷却需求。然而，在至少一个实施例中，主冷却回路(其流速、流量或压力)如曲线图450所示保持恒定，其中对于所产生的至少13kW至39kW444A的热量，主冷却剂流量控制器需求仅在预定时间内在0至约70％之间变化；并且对于所产生的至少6.5kW到3.2kW 444B的热量，主冷却剂流量控制器需求在预定时间内在0到60％之间变化。在至少一个实施例中，如从这样的曲线图440、450中可以明显看出的，即使在具有间隔454B和主冷却剂流量控制器需求454A发生变化的情况下，辅助冷却剂也会发生约10摄氏度的过冷却或欠冷却(在25摄氏度和35摄氏度之间由参考数字448示出)。
在至少一个实施例中，图4D、图4E示出了所解决的数据中心冷却系统的辅助冷却回路的波动需求。在至少一个实施例中，第一曲线图460示出了CDU辅助冷却剂供应温度462A(这种温度以摄氏度(C)为单位)相对于时间462B(以秒为单位)。在至少一个实施例中，与第一曲线图460一起读取的第二曲线图470示出了主冷却剂流量控制器需求472A相对于时间472B(以秒为单位)。在至少一个实施例中，可以将这种第二组曲线图460、470与第一组曲线图440、450进行比较。
在至少一个实施例中，所注意到的差异是关于曲线图450的间隔454B和主冷却剂流量控制器需求454A相对于曲线图470中的那些方面474A、474B的变化。在至少一个实施例中，这种变化反映辅助冷却剂的温度波动的减小，这是由于控制主冷却剂以主流速流动到CDU，该主流速部分地基于将由辅助冷却剂解决的从一个或更多个计算设备产生的热量来确定。在至少一个实施例中，因此辅助冷却剂在CDU中由主冷却剂以由至少一个主流量控制器412A实现的主流速进行冷却。
在至少一个实施例中，这样的曲线图460、470示出了辅助冷却剂供应温度462A仅在与所产生的从39kW到3.2kW 464A、B的所有热量的预期或平均温度相差1至3摄氏度之间变化。在至少一个实施例中，在从试图由辅助冷却剂冷却的计算设备产生的6.5kW到3.2kW464B热量的较低需求之间，这种减小的波动也是显著的，而辅助冷却剂又通过主冷却剂流量控制器需求的变化由主冷却剂进行冷却。在至少一个实施例中，这种曲线图460、470的线中的每个点指示与主流量控制器412A相关联的打开、激活、触发或泵送。在至少一个实施例中，这种曲线图460、470的线中的每个点在其对应的y轴处指示与主流量控制器412A相关联的打开、激活、触发或泵送的百分比，以解决一个或更多个计算设备的温度、解决辅助冷却剂的温度、解决辅助冷却剂流中的压力差，或者解决辅助冷却剂的流量。
在至少一个实施例中，辅助冷却回路响应于冷却需求(以解决从计算设备产生的热量)而使用辅助流量控制器412B进行操作，其中这种辅助流量控制器412B可以引起增加的流速、流量或压力以解决增加的冷却需求，或者可以引起减小的流速、流量、或压力以解决减少的冷却需求。然而，在至少一个实施例中，主冷却利用辅助冷却回路中的这种变化还引起主冷却回路中的变化。
在至少一个实施例中，作为结果，与曲线图450中不同，主冷却剂流量控制器需求472A如曲线图470所示发生改变，其中主冷却剂流量控制器需求至少在参考数字464A中的所产生的39kW到26kW热量之间以及所产生的13kW到39kW 464B热量之间连续变化。在至少一个实施例中，如从这样的曲线图460、470中显而易见的，辅助冷却剂的过冷却或欠冷却基本上从均值温度462A累积减少到约1至3摄氏度(诸如，从30.5到33)，而不是10摄氏度(由参考数字448示出的在25摄氏度到35摄氏度之间)。此外，在至少一个实施例中，间隔474B和主冷却剂流量控制器需求474A的变化(其反映增加的触发)两者都用于实现用于冷却一个或更多个计算设备的辅助冷却剂的波动的这样的减小。
因此，在至少一个实施例中，如需求曲线图450所示，以不考虑将由辅助冷却剂解决的产生的热量的方式对主冷却剂施加较少的控制，会导致辅助冷却剂的温度的大波动，如在一个或更多个计算设备的不同发热水平上的温度曲线图400所示。在至少一个实施例中，如多个触发器(需求曲线图470中的点)所示，施加于主冷却剂的控制反映了受控的波动水平，该波动水平与辅助冷却剂的预期或均值温度的偏离在0至3度之间，如温度曲线图460所示。
在至少一个实施例中，预定数量的打开、关闭、激活、触发器或泵送可以与将由辅助冷却剂解决的从一个或更多个计算设备产生的热量相关联。因此，在至少一个实施例中，主流量控制器可部分地基于传感器确定辅助冷却剂中产生的热量来对主冷却剂的打开、关闭或流控制作出反应。因此，在至少一个实施例中，这种反应性的打开、关闭或流控制中的一个或更多个可以基于软件控制的方案或来自一个或更多个神经网络的推理在确定所产生的热量之间。因此，在至少一个实施例中，不是每个反应都需要基于对所产生的热量的及时确定，而是可以在确定所产生的热量之间引起，诸如在每次从传感器提供的确定之间的设定时间段内。因此，在至少一个实施例中，辅助冷却剂的温度、流速、流量和压力可以在不同的时间使用，以提供对主冷却剂的连续控制。
在至少一个实施例中，至少一个处理器可用于部分地基于一个或更多个计算设备的工作负载来确定辅助冷却剂的一个或更多个辅助流速。在至少一个实施例中，至少一个处理器可以部分地基于一个或更多个辅助流速来实现主冷却剂的主流速。
在至少一个实施例中，至少一个处理器可以确定一个或更多个计算设备的工作负载。在至少一个实施例中，至少一个处理器可以部分地基于工作负载来确定辅助冷却剂的一个或更多个辅助流速。在至少一个实施例中，至少一个处理器可以部分地基于一个或更多个辅助流速来实现主冷却剂的主流速。
在至少一个实施例中，至少一个处理器可以确定用于解决所产生的热量的辅助冷却剂的辅助流速是低于CDU或LCDU的额定最大值的阈值。在至少一个实施例中，至少一个处理器可以部分地基于辅助流速来确定主流量控制器的主流速。在至少一个实施例中，至少一个处理器可以部分地基于辅助流速使用主流量控制器来实现主流速。
在至少一个实施例中，至少一个处理器可以部分地基于与一个或更多个计算设备相关联的辅助工作负载与第一温度和第二温度之差的比值来确定主流速，该第一温度与主冷却剂相关联，该第二温度与来自CDU的额定最大温度的阈值相关联。在至少一个实施例中，这样的比值可以表示为等式(1)：
主侧的质量流速＝(辅助负载(Q))/(Cp*(Tset-TPS))……等式(1)。在至少一个实施例中，虽然在本文中可参考流速或实际流速，但这可以是体积流速(其可以与测量流过传感器的冷却剂的质量的质量流速相关联)，而不考虑这种质量所占据的空间如何。在至少一个实施例中，确定主侧(主冷却剂)供应温度TPS，然后确定当辅助供应温度(TSS)处于设定温度Tset时的辅助侧(辅助冷却剂)回流温度(TSR)。在至少一个实施例中，这允许以部分地基于从表示为辅助负载(Q)的一个或更多个计算设备产生的热量而确定的主流速向CDU提供主冷却剂。在至少一个实施例中，Cp表示诸如之类的辅助冷却剂的比热。在至少一个实施例中，比热是指示将热能储存在辅助冷却剂内的能力的热物理性质，并且可以是为了将其温度升高一开尔文(K)而必须添加到一克辅助冷却剂中的热量的量。
在至少一个实施例中，至少一个处理器可以部分地基于主冷却剂的第一回流温度和辅助冷却剂的第二回流温度来确定主流速。在至少一个实施例中，至少一个处理器可以将辅助冷却剂的压力变化确定为与从一个或更多个计算设备产生的热量的变化相关联，并且可以部分地基于压力的变化来确定主流速。在至少一个实施例中，可以使用传感器来获得这样的温度、压力或流信息。在至少一个实施例中，这样的传感器可以向处理器提供与从一个或更多个计算设备产生的热量相关联的输入，其中处理器可以实现主冷却剂的主流速。
在至少一个实施例中，至少一个处理器可以包括一个或更多个神经网络以接收来自传感器的传感器输入。在至少一个实施例中，这样的一个或更多个神经网络可以使用这样的传感器输入来推理从一个或更多个计算设备产生的热量。在至少一个实施例中，这样的一个或更多个神经网络可以部分地基于提供给控制主流量控制器的处理器的这种推理来实现主冷却剂的主流速。在至少一个实施例中，主流量控制器的历史传感器输入和历史需求可用于训练一个或更多个神经网络，以对感测到的输入提供这种控制。
在至少一个实施例中，处理器包括一个或更多个电路，并且可以与主冷却回路相关联。在至少一个实施例中，这种主冷却回路包括至少一个主流量控制器。在至少一个实施例中，一个或更多个电路可以部分地基于将由辅助冷却剂解决的从一个或更多个计算设备产生的热量来确定主冷却剂的主流速，以冷却CDU中的辅助冷却剂。在至少一个实施例中，处理器可以向至少一个主流量控制器提供输入，以实现将被提供给CDU的主冷却剂的主流速。
在至少一个实施例中，处理器包括耦合到至少一个主流量控制器的这样的一个或更多个电路的输出，以向至少一个主流量控制器提供第一信号，以使主冷却剂的主流速被提供给CDU。在至少一个实施例中，处理器包括适于接收来自传感器的传感器输入的输入，以使处理器能够确定从一个或更多个计算设备产生的热量。
在至少一个实施例中，处理器包括一个或更多个神经网络，该一个或更多个神经网络适于接收来自传感器的传感器输入，以使用这样的传感器输入来推理从一个或更多个计算设备产生的热量，并且使得处理器能够引起主冷却剂的主流速。在至少一个实施例中，处理器包括至少一个逻辑单元，用于基于从与辅助冷却剂或一个或更多个计算设备相关联的传感器接收的传感器输入来确定用于冷却CDU中的辅助冷却剂的主冷却剂的主流速。
在至少一个实施例中，贯穿图2至图4E描述的至少一个处理器中的每一个具有推理和/或训练逻辑615(如图6A中所示)，该推理和/或训练逻辑可以包括但不限于：代码和/或数据存储601，所述代码和/或数据存储用于存储转发和/或输出权重和/或输入/输出数据、和/或用于配置被训练和/或用于在一个或更多个实施例的方面中进行推理的神经网络的神经元或层的其他参数。在至少一个实施例中，训练逻辑615可以包括或耦合至代码和/或数据存储601，所述代码和/或数据存储用于存储图代码或用于控制定时和/或顺序的其他软件，其中权重和/或其他参数信息可以以该定时和/或顺序被加载以配置逻辑，所述逻辑包括整数和/或浮点单元(统称为算术逻辑单元(ALU))。在至少一个实施例中，诸如图代码之类的代码基于这样的代码所对应的神经网络的架构将权重或其他参数信息加载到处理器ALU中。在至少一个实施例中，代码和/或数据存储601存储在使用一个或更多个实施例的方面训练和/或推理期间在输入/输出数据和/或权重参数的前向传播期间结合一个或更多个实施例训练或使用的神经网络的每一层的权重参数和/或输入/输出数据。在至少一个实施例中，代码和/或数据存储601的任何部分可以与其他片上或片外数据存储一起被包括，包括处理器的L1、L2或L3高速缓存或系统存储器。
在至少一个实施例中，可以在控制系统或单元内提供至少一个处理器。在至少一个实施例中，这种控制系统或单元可以是多个服务器单元或箱的形状因子。在至少一个实施例中，这允许至少一个机架对于将使用至少局部冷却剂解决的任何冷却需求是自给自足的。在至少一个实施例中，这样的至少一个处理器可以是建筑管理系统(BMS)的一部分。在至少一个实施例中，这样的至少一个处理器可以与多个流量控制器相关联，以实现贯穿本文讨论的不同流动路径。在至少一个实施例中，至少一个处理器可以确定与至少一个计算设备相关联的冷却需求。在至少一个实施例中，至少一个处理器可以执行必要的流动路径的启用和其他流动路径的禁用，以解决来自单相或局部冷却剂冷却的这种冷却需求。
在至少一个实施例中，至少一个处理器的推理和/或训练逻辑615可以是建筑管理系统(BMS)的一部分，用于主冷却回路控制解决数据中心冷却系统的具有局部冷却剂的辅助冷却回路的波动需求。在至少一个实施例中，可以向推理和/或训练逻辑615的一个或更多个神经网络提供对接合主冷却回路控制的特定特征以解决辅助冷却回路以及其中的流量控制器的波动需求的确定，以使得一个或更多个神经网络推理哪个特征和哪些流量控制器适度地接合或脱离。
图5示出了根据至少一个实施例的与图2至图4E的数据中心冷却系统相关联的方法500。在至少一个实施例中，本文的方法500包括用于提供(502)主冷却回路的步骤，该主冷却回路包括至少一个主流量控制器，用于控制主冷却剂流动到冷却剂分配单元(CDU)。在至少一个实施例中，本文的方法500还包括部分地基于从一个或更多个计算设备产生的将由辅助冷却剂来解决的热量来确定(504)主冷却剂的主流速。在至少一个实施例中，该确定(504)特征可以依赖于传感器和处理器，该传感器和处理器根据以上讨论适于执行主冷却剂流控制。在至少一个实施例中，这样的方法500包括验证(506)主流速将与主流量控制器相关联。
在至少一个实施例中，这种验证(506)步骤的肯定结果是使用至少一个流量控制器来实现(508)主冷却剂的主流速。在至少一个实施例中，这种验证(506)步骤的否定结果是执行进一步的确定，诸如由于要为主流量控制器实现改变，因此是否需要考虑温度、压力、流量或流速的一个以上的数据点。在至少一个实施例中，这样的方法500包括由主冷却剂以为主冷却剂实现的主流速冷却(510)CDU中的辅助冷却剂。
在至少一个实施例中，本文的方法(500)包括用于使用包括推动耦合或螺纹耦合特征的关联耦合或关联耦合使得外部流量控制器与流量控制器的流量控制器流体地通信的步骤或子步骤。在至少一个实施例中，本文的方法(500)包括如在步骤504中的部分地基于主冷却剂的第一回流温度和辅助冷却剂的第二回流温度来确定主流速的步骤或子步骤。
在至少一个实施例中，本文的方法(500)包括用于将辅助冷却剂的压力变化确定为与从一个或更多个计算设备产生的热量的变化相关联的步骤或子步骤。在至少一个实施例中，这样的确定可以在如本文所公开的方法500的步骤504内。在至少一个实施例中，本文的方法(500)包括作为步骤504的一部分的、用于部分地基于压力变化来确定主流速的步骤或子步骤。
在至少一个实施例中，本文的方法(500)包括用于由传感器向处理器提供与从一个或更多个计算设备产生的热量相关联的输入的步骤或子步骤。在至少一个实施例中，本文的方法(500)包括由处理器实现主冷却剂的主流速。在至少一个实施例中，本文的方法(500)包括使一个或更多个神经网络能够接收来自传感器的传感器输入。在至少一个实施例中，本文的方法(500)包括使用这样的传感器输入来推理从一个或更多个计算设备产生的热量。在至少一个实施例中，本文的方法(500)包括使得处理器能够引起主冷却剂的主流速。
在至少一个实施例中，本文的方法(500)包括用于使用至少一个处理器来确定一个或更多个计算设备的工作负载的步骤或子步骤。在至少一个实施例中，本文的方法(500)包括部分地基于这种工作负载来确定辅助冷却剂的一个或更多个辅助流速。在至少一个实施例中，本文的方法(500)包括部分地基于一个或更多个辅助流速来实现主冷却剂的主流速。在至少一个实施例中，这允许部分地基于工作负载而不是由一个或更多个计算设备产生的实际热量来抢先调整主冷却剂。
推理和训练逻辑
图6A示出了用于执行与一个或更多个实施例相关联的推理和/或训练操作的推理和/或训练逻辑615。下面结合图6A和/或图6B提供关于推理和/或训练逻辑615的细节。
在至少一个实施例中，推理和/或训练逻辑615可以包括但不限于，代码和/或数据存储器601，用于存储前向和/或输出权重和/或输入/输出数据，和/或在一个或更多个实施例的各方面中用于配置被训练和/或用于推理的神经网络的神经元或层的其他参数。在至少一个实施例中，训练逻辑615可以包括或被耦合到代码和/或数据存储器601以存储图形代码或用于控制时序和/或顺序的其他软件，其中将加载权重和/或其他参数信息来配置逻辑，包括整数和/或浮点单元(统称为算术逻辑单元(ALU))。在至少一个实施例中，代码(如图形代码)基于这个代码所对应的神经网络的架构将权重或其他参数信息加载到处理器ALU中。在至少一个实施例中，代码和/或数据存储器601存储神经网络的每个层的权重参数和/或输入/输出数据，该神经网络在使用一个或更多个实施例的各方面的训练和/或推理期间在输入/输出数据和/或权重参数的前向传播期间与一个或更多个实施例结合训练或使用。在至少一个实施例中，代码和/或数据存储器601的任何部分可与其他片上或片外数据存储(包括处理器的L1、L2或L3高速缓存或系统存储器)包括在一起。
在至少一个实施例中，代码和/或数据存储器601的任何部分可以在一个或更多个处理器或其他硬件逻辑设备或电路的内部或外部。在至少一个实施例中，代码和/或数据存储器601可以是高速缓存存储器、动态随机可寻址存储器(“DRAM”)、静态随机可寻址存储器(“SRAM”)、非易失性存储器(例如，闪存)或其他存储器。在至少一个实施例中，代码和/或数据存储器601是处理器内部还是外部的选择，例如，或包括DRAM、SRAM、闪存或一些其他存储类型可取决于片上相对于片外的可用存储，正在执行的训练和/或推理功能的等待时间要求、在神经网络的推理和/或训练中使用的数据的批量大小，或这些因素的一些组合。
在至少一个实施例中，推理和/或训练逻辑615可以包括但不限于：代码和/或数据存储器605，所述代码和/或数据存储器605用于存储与在一个或更多个实施例的方面中被训练和/或用于推理的神经网络的神经元或层相对应的后向和/或输出权重和/或输入/输出数据。在至少一个实施例中，代码和/或数据存储器605存储神经网络的每个层的权重参数和/或输入/输出数据，该神经网络在使用一个或更多个实施例的各方面的训练和/或推理期间的输入/输出数据和/或权重参数的向后传播期间与一个或更多个实施例结合训练或使用。在至少一个实施例中，训练逻辑615可包括或被耦合到代码和/或数据存储器605以存储图形代码或其他软件以控制时间和/或顺序，其中将加载权重和/或其他参数信息来配置逻辑，包括整数和/或浮点单元(统称为算术逻辑单元(ALU))。
在至少一个实施例中，代码(如图形代码)基于这个代码所对应的神经网络的架构将权重或其他参数信息加载到处理器ALU中。在至少一个实施例中，代码和/或数据存储605的任何部分可与其他片上或片外数据存储(包括处理器的L1、L2或L3高速缓存或系统存储器)包括在一起。在至少一个实施例中，代码和/或数据存储器605的任何部分可以是在一个或更多个处理器或其他硬件逻辑设备或电路上的内部或外部的。在至少一个实施例中，代码和/或数据存储器605可以是高速缓存存储器、DRAM、SRAM、非易失性存储器(例如，闪存)或其他存储器。在至少一个实施例中，代码和/或数据存储器605是处理器内部还是外部的选择，例如，或包括DRAM、SRAM、闪存或一些其他存储类型可取决于片上相对于片外的可用存储器、正在执行的训练和/或推理功能的等待时间要求、在神经网络的推理和/或训练中使用的数据的批量大小或这些因素的一些组合。
在至少一个实施例中，代码和/或数据存储器601和代码和/或数据存储器605可以是单独的存储结构。在至少一个实施例中，代码和/或数据存储器601和代码和/或数据存储器605可以是组合的存储结构。在至少一个实施例中，代码和/或数据存储器601和代码和/或数据存储器605可以是部分组合的和部分分开的。在至少一个实施例中，代码和/或数据存储器601和代码和/或数据存储器605的任何部分可与其他片上或片外数据存储器(包括处理器的L1、L2或L3高速缓存或系统存储器)包括在一起。
在至少一个实施例中，推理和/或训练逻辑615可以包括但不限于，一个或更多个算术逻辑单元(“ALU”)610，包括整数和/或浮点单元，至少部分地基于或指示来执行逻辑和/或数学运算，训练和/或推理代码(例如，图形代码)，其结果可以产生存储在激活存储器620中的激活(例如，来自神经网络内的层或神经元的输出值)，所述激活是存储在代码和/或数据存储器601和/或代码和/或数据存储器605中的输入/输出和/或权重参数数据的函数。在至少一个实施例中，存储在激活存储器620中的激活是根据由一个或更多个ALU 610响应于执行指令或其他代码而执行的线性代数和/或基于矩阵的数学运算来生成的，其中存储在代码和/或数据存储器605和/或代码和/或数据存储器601中的权重值与其他值一起被用作操作数，诸如偏置值、梯度信息、动量值或其他参数或超参数，这些参数或超参数中的任一者或全部可被存储在代码和/或数据存储器605或代码和/或数据存储器601或片上或片外的另一存储器中。
在至少一个实施例中，一个或更多个ALU 610被包括在一个或更多个处理器或其他硬件逻辑设备或电路内，而在另一个实施例中，一个或更多个ALU 610可以在处理器或使用它们的其他硬件逻辑设备或电路(例如，协处理器)的外部。在至少一个实施例中，ALU610可以包括在处理器的执行单元内或者以其他方式包括在可由处理器的执行单元访问的ALU组内，所述处理器的执行单元在同一处理器内或分布在不同类型的不同处理器(例如，中央处理单元、图形处理单元、固定功能单元等)之间。在至少一个实施例中，代码和/或数据存储器601、代码和/或数据存储器605，并且激活存储器620可以共享处理器或其他硬件逻辑设备或电路上，而在另一个实施例中，它们可以在不同的处理器或其他硬件逻辑器件或电路中，或相同和不同处理器或其他硬件逻辑设备或电路的某种组合。在至少一个实施例中，激活存储器620的任何部分可以与其他片上或片外数据存储器包括在一起，所述其他片上或片外数据存储器包括处理器的L1、L2或L3高速缓存或系统存储器。此外，推理和/或训练代码可与处理器或其他硬件逻辑或电路可访问的其他代码一起存储，并使用处理器的获取、解码、调度、执行、引退和/或其他逻辑电路来获取和/或处理。
在至少一个实施例中，激活存储器620可以是高速缓存存储器、DRAM、SRAM、非易失性存储器(例如，闪存)或其他存储器。在至少一个实施例中，激活存储器620可以完全地或部分地在一个或更多个处理器或其他逻辑电路之内或之外。在至少一个实施例中，选择激活存储器620是处理器内部还是外部，例如，或包括DRAM、SRAM、闪存或一些其他存储类型可取决于片上相对于片外的可用存储，正在执行的训练和/或推理功能的等待时间要求、在神经网络的推理和/或训练中使用的数据的批量大小、或这些因素的一些组合。
在至少一个实施例中，图6A中所示出的推理和/或训练逻辑615可以与专用集成电路(“ASIC”)结合使用，如来自谷歌的处理单元、来自GraphcoreTM的推理处理单元(IPU)、或来自英特尔公司的/>(例如，“湖牙”)处理器。在至少一个实施例中，图6A中所示出的推理和/或训练逻辑615可以与中央处理单元(“CPU”)硬件、图形处理单元(“GPU”)硬件或其他硬件(如现场可编程门阵列(“FPGA”))结合使用。
图6B示出了根据至少一个实施例的推理和/或训练逻辑615。在至少一个实施例中，推理和/或训练逻辑615可包括但不限于其中计算资源是专用的或以其他方式结合与神经网络内的一个或更多个神经元层相对应的权重值或其他信息来专门使用的硬件逻辑。在至少一个实施例中，图6B中所示出的推理和/或训练逻辑615可以与专用集成电路(ASIC)结合使用，如来自谷歌的处理单元、来自GraphcoreTM的推理处理单元(IPU)、或来自英特尔公司的/>(例如，“Lake Crest”)处理器。在至少一个实施例中，图6B中所示出的推理和/或训练逻辑615可以与中央处理单元(CPU)硬件、图形处理单元(GPU)硬件或其他硬件(如现场可编程门阵列(FPGA))结合使用。在至少一个实施例中，推理和/或训练逻辑615包括但不限于代码和/或数据存储器601和代码和/或数据存储器605，它们可以用于存储代码(例如，图形代码)、权重值和/或其他信息，包括偏置值、梯度信息、动量值和/或其他参数或超参数信息。在图6B中所示出的至少一个实施例中，代码和/或数据存储器601和代码和/或数据存储器605中的每一个分别与专用计算资源(如计算硬件602和计算硬件606)相关联。在至少一个实施例中，计算硬件602和计算硬件606中的每一个包括一个或更多个ALU，该一个或更多个ALU仅分别对存储在代码和/或数据存储器601和代码和/或数据存储器605中的信息执行数学函数(诸如线性代数函数)，其结果被存储在激活存储器620中。
在至少一个实施例中，代码和/或数据存储器601和605以及对应的计算硬件602和606中的每一个，对应地，对应于神经网络的不同层，从而使得来自代码和/或数据存储器601和计算硬件602的一个“存储/计算对601/602”的所得激活被提供作为到代码和/或数据存储器605和计算硬件606的下一个存储/计算对605/606的输入，以便反映神经网络的概念组织。
在至少一个实施例中，存储/计算对601/602和605/606中的每一个可对应于多于一个神经网络层。在至少一个实施例中，继存储计算对601/602和605/606之后或与存储计算对601/602和605/606并行的附加存储器/计算对(未示出)可被包括在推理和/或训练逻辑615中。
神经网络训练和部署
图7示出了根据至少一个实施例的深度神经网络的训练和部署。在至少一个实施例中，使用训练数据集702来训练未经训练的神经网络706。在至少一个实施例中，训练框架704是PyTorch框架，而在其他实施例中，训练框架704是TensorFlow，Boost，Caffe，Microsoft Cognitive Toolkit/CNTK，MXNet，Chainer，Keras，Deeplearning4j或其他训练框架。在至少一个实施例中，训练框架704训练未经训练的神经网络706，并使它能够使用本文所述的处理资源来训练，以生成经训练的神经网络708。在至少一个实施例中，权重可以被随机选择或通过使用深度信念网络进行预训练来选择。在至少一个实施例中，可以以有监督、部分有监督或无监督的方式执行训练。
在至少一个实施例中，使用有监督学习来训练未经训练的神经网络706，其中训练数据集702包括与用于输入的期望输出配对的输入，或者其中训练数据集702包括具有已知输出的输入并且神经网络706的输出是手动分级的。在至少一个实施例中，未经训练的神经网络706以有监督的方式被训练，并且处理来自训练数据集702的输入，并将结果输出与一组期望或想要的输出进行比较。在至少一个实施例中，然后误差被向后传播通过未经训练的神经网络706。在至少一个实施例中，训练框架704调整控制未经训练的神经网络706的权重。在至少一个实施例中，训练框架704包括用于监视未经训练的神经网络706向适合于基于输入数据(诸如新数据集712)生成正确答案(诸如结果714)的模型(诸如，经训练的神经网络708)收敛的程度的工具。在至少一个实施例中，训练框架704反复训练未经训练的神经网络706，同时调整权重以使用损失函数和调整算法(诸如随机梯度下降)来精炼(refine)未经训练的神经网络706的输出。在至少一个实施例中，训练框架704训练未经训练的神经网络706，直到未经训练的神经网络706达到期望的准确度为止。在至少一个实施例中，然后可以部署经训练的神经网络708以实现任何数量的机器学习操作。
在至少一个实施例中，使用无监督学习来训练未经训练的神经网络706，其中未经训练的神经网络706尝试使用未标记的数据来训练自己。在至少一个实施例中，无监督学习训练数据集702将包括输入数据，而没有任何关联的输出数据或“真值(ground truth)”数据。在至少一个实施例中，未经训练的神经网络706可以学习训练数据集702内的分组，并且可以确定各个输入如何与未经训练的数据集702相关。在至少一个实施例中，可以使用无监督训练来在经训练的神经网络708中生成自组织图，其能够执行对减少新数据集712的维度有用的操作。在至少一个实施例中，无监督训练也可以用于执行异常检测，这允许识别新数据集712中偏离新数据集712的正常模式的数据点。
在至少一个实施例中，可以使用半监督学习，这是一种其中在训练数据集702中包括标记数据和未标记数据的混合的技术。在至少一个实施例中，训练框架704可以用于诸如通过迁移学习技术来执行增量学习。在至少一个实施例中，增量学习使得经训练的神经网络708能够适应新数据集712，而不会忘记在初始训练期间注入到经训练的神经网络708内的知识。
在至少一个实施例中，训练框架704是结合诸如OpenVINO(开放视觉推理和神经网络优化)工具包之类的软件开发工具包处理的框架。在至少一个实施例中，OpenVINO工具包是诸如由加利福尼亚州圣克拉拉市的英特尔公司开发的工具包。
在至少一个实施例中，OpenVINO是一种用于促进用于各种任务和操作(诸如人类视觉仿真、语音识别、自然语言处理、推荐系统和/或其变体)的应用程序(特别是神经网络应用程序)的开发的工具包。在至少一个实施例中，OpenVINO支持神经网络，诸如卷积神经网络(CNN)、循环神经网络和/或基于注意力的神经网络，和/或各种其他神经网络模型。在至少一个实施例中，OpenVINO支持各种软件库，例如OpenCV、OpenCL和/或其变体。
在至少一个实施例中，OpenVINO支持用于各种任务和操作的神经网络模型，所述任务和操作诸如分类、分割、对象检测、人脸识别、语音识别、姿态估计(例如，人和/或对象)、单目深度估计、图像修复、风格转换、动作识别、着色和/或其变体。
在至少一个实施例中，OpenVINO包括用于模型优化的一个或更多个软件工具和/或模块，也称为模型优化器。在至少一个实施例中，模型优化器是促进神经网络模型的训练和部署之间的转换的命令行工具。在至少一个实施例中，模型优化器优化神经网络模型以在诸如GPU、CPU、PPU、GPGPU和/或其变体之类的各种设备和/或处理单元上执行。在至少一个实施例中，模型优化器生成模型的内部表示，并优化所述模型以生成中间表示。在至少一个实施例中，模型优化器减少模型的层数。在至少一个实施例中，模型优化器移除用于训练的模型的层。在至少一个实施例中，模型优化器执行各种神经网络操作，例如修改模型的输入(例如，调整模型的输入的大小)、修改模型的输入的大小(例如，修改模型的批大小)、修改模型结构(例如，修改模型的层)、归一化、标准化、量化(例如，将模型的权重从诸如浮点之类的第一表示转换为诸如整数之类的第二表示)和/或其变体。
在至少一个实施例中，OpenVINO包括用于推理的一个或更多个软件库，也称为推理引擎。在至少一个实施例中，推理引擎是C++库或任何合适的编程语言库。在至少一个实施例中，使用推理引擎来推理输入数据。在至少一个实施例中，推理引擎实现各种类以推理输入数据并生成一个或更多个结果。在至少一个实施例中，推理引擎实现一个或更多个API函数以处理中间表示、设置输入和/或输出格式、和/或在一个或更多个设备上执行模型。
在至少一个实施例中，OpenVINO为一个或更多个神经网络模型的异构执行提供了各种能力。在至少一个实施例中，异构执行或异构计算是指利用一种或更多种类型的处理器和/或核心(core)的一个或更多个计算过程和/或系统。在至少一个实施例中，OpenVINO提供各种软件功能以在一个或更多个设备上执行程序。在至少一个实施例中，OpenVINO提供各种软件功能以在不同设备上执行程序和/或程序的各部分。在至少一个实施例中，OpenVINO提供各种软件功能，例如，以在CPU上运行第一代码部分，在GPU和/或FPGA上运行第二代码部分。在至少一个实施例中，OpenVINO提供各种软件功能，以在一个或更多个设备上执行神经网络的一个或更多个层(例如，在第一设备(例如GPU)上执行第一组层，以及在第二设备(例如CPU)上执行第二组层)。
在至少一个实施例中，OpenVINO包括和与CUDA编程模型相关联的功能类似的各种功能，诸如与诸如TensorFlow、PyTorch和/或其变体之类的框架相关联的各种神经网络模型操作。在至少一个实施例中，使用OpenVINO执行一个或更多个CUDA编程模型操作。在至少一个实施例中，本文描述的各种系统、方法和/或技术是使用OpenVINO实现的。
数据中心
图8示出了可以使用至少一个实施例的示例数据中心800。在至少一个实施例中，数据中心800包括数据中心基础设施层810、框架层820、软件层830和应用程序层840。
在至少一个实施例中，如图8所示，数据中心基础设施层810可以包括资源协调器812、分组的计算资源814和节点计算资源(“节点C.R.”)816(1)-816(N)，其中“N”代表正整数(其可以是与其他图中使用的整数不同的整数“N”)。在至少一个实施例中，节点C.R.816(1)-816(N)可以包括但不限于任何数量的中央处理单元(“CPU”)或其他处理器(包括加速器、现场可编程门阵列(FPGA)、图形处理器等)，存储器存储设备818(1)-818(N)(例如动态只读存储器、固态存储或磁盘驱动器)，网络输入/输出(“NW I/O”)设备，网络交换机，虚拟机(“VM”)，电源模块和冷却模块等。在至少一个实施例中，节点C.R.816(1)-816(N)中的一个或更多个节点C.R.可以是具有一个或更多个上述计算资源的服务器。
在至少一个实施例中，分组的计算资源814可以包括容纳在一个或更多个机架(未示出)内的节点C.R.的单独分组，或者容纳在各个地理位置的数据中心(也未示出)内的许多机架。在至少一个实施例中，分组的计算资源814内的节点C.R.的单独分组可以包括可以被配置或分配为支持一个或更多个工作负载的分组的计算、网络、存储器或存储资源。在至少一个实施例中，可以将包括CPU或处理器的若干节点C.R.分组在一个或更多个机架内，以提供计算资源来支持一个或更多个工作负载。在至少一个实施例中，一个或更多个机架还可以包括以任意组合的任何数量的电源模块、冷却模块和网络交换机。
在至少一个实施例中，资源协调器812可以配置或以其他方式控制一个或更多个节点C.R.816(1)-816(N)和/或分组的计算资源814。在至少一个实施例中，资源协调器812可以包括用于数据中心800的软件设计基础设施(“SDI”)管理实体。在至少一个实施例中，资源协调器812可以包括硬件、软件或其某种组合。
在至少一个实施例中，如图8所示，框架层820包括作业调度器822、配置管理器824、资源管理器826和分布式文件系统828。在至少一个实施例中，框架层820可以包括支持软件层830的软件832和/或应用程序层840的一个或更多个应用程序842的框架。在至少一个实施例中，软件832或应用程序842可以分别包括基于Web的服务软件或应用程序，例如由Amazon Web Services，Google Cloud和Microsoft Azure提供的服务软件或应用程序。在至少一个实施例中，框架层820可以是但不限于一种类型的免费和开源软件网络应用程序框架，诸如可以利用分布式文件系统828来进行大规模数据处理(例如“大数据”)的ApacheSparkTM(以下称为“Spark”)。在至少一个实施例中，作业调度器822可以包括Spark驱动器，用于促进对数据中心800的各个层所支持的工作负载进行调度。在至少一个实施例中，配置管理器824可能够配置不同的层，诸如软件层830以及包括Spark和用于支持大规模数据处理的分布式文件系统828的框架层820。在至少一个实施例中，资源管理器826可能够管理映射到或分配用于支持分布式文件系统828和作业调度器822的聚类的或分组的计算资源。在至少一个实施例中，聚类的或分组的计算资源可以包括数据中心基础设施层810处的分组的计算资源814。在至少一个实施例中，资源管理器826可以与资源协调器812进行协调以管理这些映射的或分配的计算资源。
在至少一个实施例中，包括在软件层830中的软件832可以包括由节点C.R.816(1)-816(N)的至少各部分、分组的计算资源814和/或框架层820的分布式文件系统828使用的软件。在至少一个实施例中，一种或更多种类型的软件可以包括但不限于Internet网页搜索软件、电子邮件病毒扫描软件、数据库软件和流视频内容软件。
在至少一个实施例中，应用程序层840中包括的一个或更多个应用程序842可以包括由节点C.R.816(1)-816(N)的至少各部分、分组的计算资源814和/或框架层820的分布式文件系统828使用的一种或更多种类型的应用程序。在至少一个实施例中，一种或更多种类型的应用程序可以包括但不限于任何数量的基因组学应用程序、认知计算、应用程序和机器学习应用程序，包括训练或推理软件、机器学习框架软件(例如PyTorch、TensorFlow、Caffe等)或与一个或更多个实施例结合使用的其他机器学习应用程序。
在至少一个实施例中，配置管理器824、资源管理器826和资源协调器812中的任何一个可以基于以任何技术上可行的方式获取的任何数量和类型的数据来实现任何数量和类型的自我修改动作。在至少一个实施例中，自我修改动作可以减轻数据中心800的数据中心操作员做出可能不好的配置决策并且可以避免数据中心的未充分利用和/或执行差的部分。
在至少一个实施例中，数据中心800可以包括工具、服务、软件或其他资源，用于根据本文所述的一个或更多个实施例来训练一个或更多个机器学习模型或者使用一个或更多个机器学习模型来预测或推理信息。例如，在至少一个实施例中，可以通过使用上文关于数据中心800描述的软件和计算资源，根据神经网络架构计算权重参数来训练机器学习模型。在至少一个实施例中，通过使用通过本文所述的一种或更多种训练技术计算出的权重参数，可以使用上面关于数据中心800所描述的资源，使用对应于一个或更多个神经网络的经训练的机器学习模型来推理或预测信息。
在至少一个实施例中，数据中心可以使用CPU、专用集成电路(ASIC)、GPU、FPGA或其他硬件来使用上述资源来执行训练和/或推理。此外，上述的一个或更多个软件和/或硬件资源可以配置成一种服务，用于允许用户训练或执行信息推理，诸如图像识别、语音识别或其他人工智能服务。
推理和/或训练逻辑615用于执行与一个或更多个实施例相关联的推理和/或训练操作。本文结合图6A和/或图6B提供关于推理和/或训练逻辑615的细节。在至少一个实施例中，推理和/或训练逻辑615可以在图8的系统中使用，以用于至少部分地基于使用本文所述的神经网络训练操作、神经网络函数和/或体系架构、或神经网络用例计算出的权重参数来进行推理或预测操作。
在至少一个实施例中，推理和/或训练逻辑615的一个或更多个神经网络可以结合图8的系统使用，并且可以被配置为从多个传感器接收传感器输入并且可以被训练为推理冷却剂需求。在至少一个实施例中，推理和/或训练逻辑615可能够使用来自历史冷却需求和历史传感器输入的信息来推理这一点。在至少一个实施例中，推理和/或训练逻辑615可以推理冷却需求的变化。在至少一个实施例中，传感器输入可以与不同传感器输入中的每一个的不同冷却需求的类别相关。在至少一个实施例中，在这样的不同的传感器输入的类别内分类的新的传感器输入可以指示冷却需求或其变化。
计算机系统
图9是示出根据至少一个实施例的示例性计算机系统的框图，该示例性计算机系统可以是具有互连的设备和组件的系统，片上系统(SOC)或它们的某种形成有处理器的组合，该处理器可以包括用于执行指令的执行单元。在至少一个实施例中，根据本公开，诸如在本文所述的实施例中，计算机系统900可以包括但不限于组件，诸如处理器902，用于采用执行单元(包括逻辑)来执行用于过程数据的算法。在至少一个实施例中，计算机系统900可以包括处理器，诸如可从加利福尼亚州圣克拉拉市的英特尔公司(Intel Corporation ofSanta Clara,California)获得的处理器家族、XeonTM、/>XScaleTM和/或StrongARMTM，/>CoreTM或/>NervanaTM微处理器，尽管也可以使用其他系统(包括具有其他微处理器的PC、工程工作站、机顶盒等)。在至少一个实施例中，计算机系统900可以执行可从华盛顿州雷蒙德市的微软公司(Microsoft Corporation of Redmond,Wash.)获得的WINDOWS操作系统版本，尽管也可以使用其他操作系统(例如UNIX和Linux)、嵌入式软件和/或图形用户界面。
实施例可以用在其他设备中，诸如手持设备和嵌入式应用程序。手持设备的一些示例包括蜂窝电话、互联网协议(Internet Protocol)设备、数码相机、个人数字助理(“PDA”)和手持PC。在至少一个实施例中，嵌入式应用程序可以包括微控制器、数字信号处理器(“DSP”)、片上系统、网络计算机(“NetPC”)、机顶盒、网络集线器、广域网(“WAN”)交换机，或根据至少一个实施例可执行一个或更多个指令的任何其他系统。
在至少一个实施例中，计算机系统900可包括但不限于处理器902，该处理器902可包括但不限于一个或更多个执行单元908，用于根据本文描述的技术执行机器学习模型训练和/或推理。在至少一个实施例中，计算机系统900是单处理器台式机或服务器系统，但是在另一实施例中，计算机系统900可以是多处理器系统。在至少一个实施例中，处理器902可以包括但不限于例如复杂指令集计算机(“CISC”)微处理器、精简指令集计算(“RISC”)微处理器、超长指令字(“VLIW”)微处理器、实现指令集组合的处理器，或任何其他处理器设备，诸如数字信号处理器。在至少一个实施例中，处理器902可以耦合到处理器总线910，该处理器总线910可以在处理器902与计算机系统900中的其他组件之间传输数据信号。
在至少一个实施例中，处理器902可以包括但不限于1级(“L1”)内部高速缓存存储器(“cache”)904。在至少一个实施例中，处理器902可以具有单个内部高速缓存或多级内部高速缓存。在至少一个实施例中，高速缓存存储器可以驻留在处理器902的外部。取决于特定的实现方式和需求，其他实施例还可以包括内部和外部高速缓存的组合。在至少一个实施例中，寄存器文件906可以在各种寄存器中存储不同类型的数据，包括但不限于整数寄存器、浮点寄存器、状态寄存器和指令指针寄存器。
在至少一个实施例中，包括但不限于执行整数和浮点运算的逻辑的执行单元908也位于处理器902中。在至少一个实施例中，处理器902还可以包括微代码(“ucode”)只读存储器(“ROM”)，其存储某些宏指令的微代码。在至少一个实施例中，执行单元908可以包括用于处理打包指令集909的逻辑。在至少一个实施例中，通过将打包指令集909包括在通用处理器以及要执行指令的关联电路的指令集中，可以使用处理器902中的打包数据来执行由许多多媒体应用程序使用的操作。在至少一个实施例中，可以通过使用处理器的数据总线的全宽度对打包数据执行操作来更高效地加速和执行许多多媒体应用程序，这可以消除在该处理器的数据总线上传输较小的数据单元以一次对一个数据元素执行一个或更多个操作的需求。
在至少一个实施例中，执行单元908还可以用在微控制器、嵌入式处理器、图形设备、DSP和其他类型的逻辑电路中。在至少一个实施例中，计算机系统900可以包括但不限于存储器920。在至少一个实施例中，存储器920可以是动态随机存取存储器(“DRAM”)设备、静态随机存取存储器(“SRAM”)设备、闪存设备或其他存储器设备。在至少一个实施例中，存储器920可以存储由处理器902可以执行的数据信号表示的一个或更多个指令919和/或数据921。
在至少一个实施例中，系统逻辑芯片可以耦合到处理器总线910和存储器920。在至少一个实施例中，系统逻辑芯片可以包括但不限于存储器控制器集线器(“MCH”)916，并且处理器902可以经由处理器总线910与MCH 916通信。在至少一个实施例中，MCH 916可以提供到存储器920的高带宽存储器路径918，以用于指令和数据存储以及用于图形命令、数据和纹理的存储。在至少一个实施例中，MCH 916可以在处理器902、存储器920和计算机系统900中的其他组件之间引导数据信号，并且在处理器总线910、存储器920和系统I/O接口922之间桥接数据信号。在至少一个实施例中，系统逻辑芯片可以提供用于耦合到图形控制器的图形端口。在至少一个实施例中，MCH 916可以通过高带宽存储器路径918耦合到存储器920，并且图形/视频卡912可以通过加速图形端口(“AGP”)互连914耦合到MCH 916。
在至少一个实施例中，计算机系统900可以使用系统I/O接口922作为专有集线器接口总线来将MCH 916耦合到I/O控制器集线器(“ICH”)930。在至少一个实施例中，ICH 930可以经由本地I/O总线提供与某些I/O设备的直接连接。在至少一个实施例中，本地I/O总线可以包括但不限于用于将外围设备连接到存储器920、芯片组和处理器902的高速I/O总线。示例可以包括但不限于音频控制器929、固件集线器(“闪存BIOS”)928、无线收发器926、数据存储924、包含用户输入和键盘接口925的传统I/O控制器923、串行扩展端口927(诸如通用串行总线(“USB”)端口)和网络控制器934。在至少一个实施例中，数据存储924可以包括硬盘驱动器、软盘驱动器、CD-ROM设备、闪存设备或其他大容量存储设备。
在至少一个实施例中，图9示出了包括互连的硬件设备或“芯片”的系统，而在其他实施例中，图9可以示出示例性SoC。在至少一个实施例中，图9中示出的设备可以利用专有互连、标准化互连(例如，PCIe)或其某种组合进行互连。在至少一个实施例中，计算机系统900的一个或更多个组件使用计算快速链路(CXL)互连来进行互连。
推理和/或训练逻辑615用于执行与一个或更多个实施例相关联的推理和/或训练操作。本文结合图6A和/或图6B提供关于推理和/或训练逻辑615的细节。在至少一个实施例中，推理和/或训练逻辑615可以在图9的系统中使用，用于至少部分地基于使用本文所述的神经网络训练操作、神经网络函数和/或架构、或神经网络用例计算的权重参数来进行推理或预测操作。
在至少一个实施例中，推理和/或训练逻辑615的一个或更多个神经网络可以结合图9的特征使用，并且可以被配置为从多个传感器接收传感器输入并且可以被训练为推理冷却剂需求。在至少一个实施例中，推理和/或训练逻辑615可能够使用来自历史冷却需求和历史传感器输入的信息来推理这一点。在至少一个实施例中，推理和/或训练逻辑615可以推理冷却需求的变化。在至少一个实施例中，传感器输入可以与不同传感器输入中的每一个的不同冷却需求的类别相关。在至少一个实施例中，在这样的不同的传感器输入的类别内分类的新的传感器输入可以指示冷却需求或其变化。
图10是示出根据至少一个实施例的用于利用处理器1010的电子设备1000的框图。在至少一个实施例中，电子设备1000可以是，例如但不限于，笔记本电脑、塔式服务器、机架服务器、刀片服务器、膝上型计算机、台式计算机、平板电脑、移动设备、电话、嵌入式计算机或任何其他合适的电子设备。
在至少一个实施例中，电子设备1000可以包括但不限于通信地耦合到任何合适数量或种类的组件、外围设备、模块或设备的处理器1010。在至少一个实施例中，处理器1010使用总线或接口耦合，诸如I2C总线、系统管理总线(“SMBus”)、低引脚计数(LPC)总线、串行外围接口(“SPI”)、高清音频(“HDA”)总线、串行高级技术附件(“SATA”)总线、通用串行总线(“USB”)(1、2、3版等)或通用异步接收器/发送器(“UART”)总线。在至少一个实施例中，图10示出了系统，该系统包括互连的硬件设备或“芯片”，而在其他实施例中，图10可以示出示例性SoC。在至少一个实施例中，图10中所示的设备可以利用专有互连、标准化互连(例如，PCIe)或其某种组合进行互连。在至少一个实施例中，图10的一个或更多个组件使用计算快速链路(CXL)互连进行互连。
在至少一个实施例中，图10可以包括显示器1024、触摸屏1025、触摸板1030、近场通信单元(“NFC”)1045、传感器集线器1040、热传感器1046、快速芯片组(“EC”)1035、受信平台模块(“TPM”)1038、BIOS/固件/闪存(“BIOS，FW Flash”)1022、DSP 1060、驱动器1020(诸如固态磁盘(“SSD”)或硬盘驱动器(“HDD”))、无线局域网单元(“WLAN”)1050、蓝牙单元1052、无线广域网单元(“WWAN”)1056、全球定位系统(GPS)单元1055、相机(“USB 3.0相机”)1054(诸如USB 3.0相机)和/或以例如LPDDR3标准实现的低功耗双倍数据速率(“LPDDR”)存储器单元(“LPDDR3”)1015。这些组件可以各自以任何合适的方式实现。
在至少一个实施例中，其他组件可以通过本文所述的组件通信地耦合到处理器1010。在至少一个实施例中，加速度计1041、环境光传感器(“ALS”)1042、罗盘1043和陀螺仪1044可以通信地耦合到传感器集线器1040。在至少一个实施例中，热传感器1039、风扇1037、键盘1036和触摸板1030可以通信地耦合到EC 1035。在至少一个实施例中，扬声器1063、耳机1064和麦克风(“mic”)1065可以通信地耦合到音频单元(“音频编解码器和D类放大器”)1062，其又可以通信地耦合到DSP 1060。在至少一个实施例中，音频单元1062可以包括例如但不限于音频编码器/解码器(“编解码器”)和D类放大器。在至少一个实施例中，SIM卡(“SIM”)1057可以通信地耦合到WWAN单元1056。在至少一个实施例中，组件(诸如WLAN单元1050和蓝牙单元1052以及WWAN单元1056)可以被实现为下一代形式因子(“NGFF”)。
推理和/或训练逻辑615用于执行与一个或更多个实施例相关联的推理和/或训练操作。本文结合图6A和/或图6B提供关于推理和/或训练逻辑615的细节。在至少一个实施例中，推理和/或训练逻辑615可以在图10的系统中使用，用于至少部分地基于使用本文所述的神经网络训练操作、神经网络函数和/或架构、或神经网络用例计算的权重参数来进行推理或预测操作。
在至少一个实施例中，推理和/或训练逻辑615的一个或更多个神经网络可以结合图10的特征使用，并且可以被配置为从多个传感器接收传感器输入并且可以被训练为推理冷却剂需求。在至少一个实施例中，推理和/或训练逻辑615可能够使用来自历史冷却需求和历史传感器输入的信息来推理这一点。在至少一个实施例中，推理和/或训练逻辑615可以推理冷却需求的变化。在至少一个实施例中，传感器输入可以与不同传感器输入中的每一个的不同冷却需求的类别相关。在至少一个实施例中，在这样的不同的传感器输入的类别内分类的新的传感器输入可以指示冷却需求或其变化。
图11示出了根据至少一个实施例的计算机系统1100。在至少一个实施例中，计算机系统1100配置为实现贯穿本公开描述的各种过程和方法。
在至少一个实施例中，计算机系统1100包括但不限于至少一个中央处理单元(“CPU”)1102，其连接到使用任何合适协议实现的通信总线1110，诸如PCI(“外围组件互连”)、外围组件互连快速(“PCI-Express”)、AGP(“加速图形端口”)、超传输或任何其他总线或点对点通信协议。在至少一个实施例中，计算机系统1100包括但不限于主存储器1104和控制逻辑(例如，实现为硬件、软件或其组合)，并且数据被存储在可采取随机存取存储器(“RAM”)形式的主存储器1104中。在至少一个实施例中，网络接口子系统(“网络接口”)1122提供到其他计算设备和网络的接口，用于使用计算机系统1100从其他系统接收数据以及将数据发送到其他系统。
在至少一个实施例中，计算机系统1100在至少一个实施例中包括但不限于输入设备1108、并行处理系统1112和显示设备1106，它们可以使用常规的阴极射线管(“CRT”)、液晶显示器(“LCD”)、发光二极管(“LED”)显示器、等离子显示器或其他合适的显示技术来实现。在至少一个实施例中，从输入设备1108(诸如键盘、鼠标、触摸板、麦克风等)接收用户输入。在至少一个实施例中，本文描述的每个模块可以位于单个半导体平台上以形成处理系统。
推理和/或训练逻辑615用于执行与一个或更多个实施例相关联的推理和/或训练操作。本文结合图6A和/或图6B提供关于推理和/或训练逻辑615的细节。在至少一个实施例中，推理和/或训练逻辑615可以在图11的系统中使用，以至少部分地基于使用本文所述的神经网络训练操作、神经网络函数和/或架构、或神经网络用例计算出的权重参数来进行推理或预测操作。
在至少一个实施例中，推理和/或训练逻辑615的一个或更多个神经网络可以结合图11的特征使用，并且可以被配置为从多个传感器接收传感器输入并且可以被训练为推理冷却剂需求。在至少一个实施例中，推理和/或训练逻辑615可能够使用来自历史冷却需求和历史传感器输入的信息来推理这一点。在至少一个实施例中，推理和/或训练逻辑615可以推理冷却需求的变化。在至少一个实施例中，传感器输入可以与不同传感器输入中的每一个的不同冷却需求的类别相关。在至少一个实施例中，在这样的不同的传感器输入的类别内分类的新的传感器输入可以指示冷却需求或其变化。
图12示出了根据至少一个实施例的计算机系统1200。在至少一个实施例中，计算机系统1200包括但不限于计算机1210和USB盘1220。在至少一个实施例中，计算机1210可以包括但不限于任何数量和类型的处理器(未示出)和存储器(未示出)。在至少一个实施例中，计算机1210包括但不限于服务器、云实例、膝上型计算机和台式计算机。
在至少一个实施例中，USB盘1220包括但不限于处理单元1230、USB接口1240和USB接口逻辑1250。在至少一个实施例中，处理单元1230可以是能够执行指令的任何指令执行系统、装置或设备。在至少一个实施例中，处理单元1230可以包括但不限于任何数量和类型的处理核心(未示出)。在至少一个实施例中，处理单元1230包括专用集成电路(“ASIC”)，该专用集成电路被优化为执行与机器学习相关联的任何数量和类型的操作。例如，在至少一个实施例中，处理单元1230是张量处理单元(“TPC”)，其被优化以执行机器学习推理操作。在至少一个实施例中，处理单元1230是视觉处理单元(“VPU”)，其被优化以执行机器视觉和机器学习推理操作。
在至少一个实施例中，USB接口1240可以是任何类型的USB连接器或USB插座。例如，在至少一个实施例中，USB接口1240是用于数据和电源的USB 3.0Type-C插座。在至少一个实施例中，USB接口1240是USB 3.0Type-A连接器。在至少一个实施例中，USB接口逻辑1250可以包括使处理单元1230能够经由USB连接器1240与设备(例如计算机1210)相接口的任何数量和类型的逻辑。
推理和/或训练逻辑615用于执行与一个或更多个实施例相关联的推理和/或训练操作。本文结合图6A和/或图6B提供关于推理和/或训练逻辑615的细节。在至少一个实施例中，推理和/或训练逻辑615可以在图12的系统中使用，用于至少部分地基于使用本文所述的神经网络训练操作、神经网络函数和/或架构、或神经网络用例计算出的权重参数来进行推理或预测操作。
在至少一个实施例中，推理和/或训练逻辑615的一个或更多个神经网络可以结合图12的特征使用，并且可以被配置为从多个传感器接收传感器输入并且可以被训练为推理冷却剂需求。在至少一个实施例中，推理和/或训练逻辑615可能够使用来自历史冷却需求和历史传感器输入的信息来推理这一点。在至少一个实施例中，推理和/或训练逻辑615可以推理冷却需求的变化。在至少一个实施例中，传感器输入可以与不同传感器输入中的每一个的不同冷却需求的类别相关。在至少一个实施例中，在这样的不同的传感器输入的类别内分类的新的传感器输入可以指示冷却需求或其变化。
图13A示出了示例性架构，其中多个GPU 1310(1)-1310(N)通过高速链路1340(1)-1340(N)(例如，总线、点对点互连等)通信地耦合到多个多核心处理器1305(1)-1305(M)。在至少一个实施例中，高速链路1340(1)-1340(N)支持4GB/s、30GB/s、80GB/s或更高的通信吞吐量。在至少一个实施例中，可以使用各种互连协议，包括但不限于PCIe 4.0或5.0以及NVLink 2.0。在各个图中，“N”和“M”表示正整数，其值可因图而异。在至少一个实施例中，多个GPU1310(1)-1310(N)中的一个或更多个GPU包括如图16A和图16B中所公开的一个或更多个图形核心(也被简称为“核心”)1600。在至少一个实施例中，一个或更多个图形核心1600可以被称为流式多处理器(“SM”)、流处理器(“SP”)、流处理单元(“SPU”)、计算单元(“CU”)、执行单元(“EU”)、和/或切片，其中，在本上下文中，切片可以指处理单元(例如，16个核心、光线追踪单元、线程引导器或调度器)中的处理资源的一部分。
此外，在至少一个实施例中，两个或更多个GPU 1310通过高速链路1329(1)-1329(2)互连，该高速链路可以使用与用于高速链路1340(1)-1340(N)的协议/链路类似或不同的协议/链路来实现。类似地，两个或更多个多核心处理器1305可以通过高速链路1328连接，该高速链路可以是以20GB/s、30GB/s、120GB/s或更高的速度运行的对称多处理器(SMP)总线。可替代地，可以使用类似的协议/链路(例如，通过公共互连结构)来完成图13A中所示的各种系统组件之间的所有通信。
在至少一个实施例中，每个多核心处理器1305分别经由存储器互连1326(1)-1326(M)通信地耦合到处理器存储器1301(1)-1301(M)，并且每个GPU 1310(1)-1310(N)分别通过GPU存储器互连1350(1)-1350(N)通信地耦合到GPU存储器1320(1)-1320(N)。在至少一个实施例中，存储器互连1326和1350可以利用相似或不同的存储器访问技术。作为示例而非限制，处理器存储器1301(1)-1301(M)和GPU存储器1320可以是易失性存储器，诸如动态随机存取存储器(DRAM)(包括堆叠的DRAM)、图形DDR SDRAM(GDDR)(例如GDDR5、GDDR6)，或高带宽存储器(HBM)，和/或可以是非易失性存储器，诸如3D XPoint或Nano-Ram。在至少一个实施例中，处理器存储器1301的某些部分可以是易失性存储器，而另一部分可以是非易失性存储器(例如，使用两级存储器(2LM)层次结构)。
如本文所述，尽管各个多核心处理器1305和GPU 1310可以分别物理地耦合到特定存储器1301、1320，和/或可以实现统一存储器架构，其中虚拟系统地址空间(也称为“有效地址”空间)分布在各个物理存储器之间。例如，处理器存储器1301(1)-1301(M)可以各自包括64GB的系统存储器地址空间，并且GPU存储器1320(1)-1320(N)可以各自包括32GB的系统存储器地址空间，从而当M＝2且N＝4时，导致总计256GB的可寻址存储器。N和M的其他值是可能的。
图13B示出了根据一个示例性实施例的用于多核心处理器1307和图形加速模块1346之间的互连的附加细节。在至少一个实施例中，图形加速模块1346可以包括集成在线路卡上的一个或更多个GPU芯片，该线路卡经由高速链路1340(例如，PCIe总线、NVLink等)耦合到处理器1307。在至少一个实施例中，图形加速模块1346可以替代地集成在具有处理器1307的封装或芯片上。
在至少一个实施例中，处理器1307包括多个核心1360A-1360D(其可被称为“执行单元”)，每个核心都具有转换后备缓冲区(“TLB”)1361A-1361D和一个或更多个高速缓存1362A-1362D。在至少一个实施例中，核心1360A-1360D可以包括未示出的用于执行指令和处理数据的各种其他组件。在至少一个实施例中，高速缓存1362A-1362D可以包括1级(L1)和2级(L2)高速缓存。此外，一个或更多个共享高速缓存1356可以被包括在高速缓存1362A-1362D中，并且由各组核心1360A-1360D共享。例如，处理器1307的一个实施例包括24个核心，每个核心具有其自己的L1高速缓存，12个共享的L2高速缓存，和12个共享的L3高速缓存。在该实施例中，两个相邻核心共享一个或更多个L2和L3高速缓存。在至少一个实施例中，处理器1307和图形加速模块1346与系统存储器1314连接，该系统存储器1314可以包括图13A中的处理器存储器1301(1)-1301(M)。
在至少一个实施例中，通过一致性总线1364经由核心间通信为存储在各个高速缓存1362A-1362D、1356和系统存储器1314中的数据和指令维护一致性。在至少一个实施例中，例如，每个高速缓存可以具有与其相关联的高速缓存一致性逻辑/电路，以响应于检测到对特定高速缓存行的读取或写入通过一致性总线1364进行通信。在至少一个实施例中，通过一致性总线1364实现高速缓存监听协议，以监听(snoop)高速缓存访问。
在至少一个实施例中，代理电路1325将图形加速模块1346通信地耦合到一致性总线1364，从而允许图形加速模块1346作为核心1360A-1360D的对等方参与高速缓存一致性协议。特别地，在至少一个实施例中，接口1335通过高速链路1340提供到代理电路1325的连接，并且接口1337将图形加速模块1346连接到高速链路1340。
在至少一个实施例中，加速器集成电路1336代表图形加速模块1346的多个图形处理引擎1331(1)-1331(N)提供高速缓存管理、存储器访问、上下文管理和中断管理服务。在至少一个实施例中，图形处理引擎1331(1)-1331(N)可各自包括单独的图形处理单元(GPU)。在至少一个实施例中，图形加速模块1346的多个图形处理引擎1331(1)-1331(N)包括如结合图16A和16B所讨论的一个或更多个图形核心1600。在至少一个实施例中，图形处理引擎1331(1)-1331(N)替代地可以包括GPU内的不同类型的图形处理引擎，诸如图形执行单元、媒体处理引擎(例如，视频编码器/解码器)、采样器和区块搬运(blit)引擎。在至少一个实施例中，图形加速模块1346可以是具有多个图形处理引擎1331(1)-1331(N)的GPU，或者图形处理引擎1331(1)-1331(N)可以是集成在通用封装、线路卡或芯片上的各个GPU。
在至少一个实施例中，加速器集成电路1336包括用于执行各种存储器管理功能(诸如虚拟到物理存储器转换(也称为有效到真实存储器转换))的内存管理单元(MMU)1339，还包括用于访问系统存储器1314的存储器访问协议。在至少一个实施例中，MMU 1339还可包括转换后备缓冲区(“TLB”)(未示出)，用于高速缓存虚拟/有效到物理/真实地址转换。在至少一个实施例中，高速缓存1338可以存储用于图形处理引擎1331(1)-1331(N)高效地访问的命令和数据。在至少一个实施例中，可能使用获取单元1344，将存储在高速缓存1338和图形存储器1333(1)-1333(M)中的数据与核心高速缓存1362A-1362D、1356和系统存储器1314保持一致。如前所述，这可以代表高速缓存1338和存储器1333(1)-1333(M)经由代理电路1325来实现(例如，将与处理器高速缓存1362A-1362D、1356上的高速缓存行的修改/访问有关的更新发送到高速缓存1338，并从高速缓存1338接收更新)。
在至少一个实施例中，一组寄存器1345存储由图形处理引擎1331(1)-1331(N)执行的线程的上下文数据，并且上下文管理电路1348管理线程上下文。例如，上下文管理电路1348可以执行保存和恢复操作，以在上下文切换期间保存和恢复各个线程的上下文(例如，其中保存第一线程并且存储第二线程，以便可以由图形处理引擎执行第二线程)。例如，上下文管理电路1348在上下文切换时，可以将当前寄存器值存储到存储器中的(例如，由上下文指针标识的)指定区域。然后，当返回到上下文时可以恢复寄存器值。在至少一个实施例中，中断管理电路1347接收并处理从系统设备接收的中断。
在至少一个实施例中，MMU 1339将来自图形处理引擎1331的虚拟/有效地址转换为系统存储器1314中的真实/物理地址。在至少一个实施例中，加速器集成电路1336支持多个(例如，4、8、16个)图形加速器模块1346和/或其他加速器设备。在至少一个实施例中，图形加速器模块1346可以专用于在处理器1307上执行的单个应用程序，或者可以在多个应用程序之间共享。在至少一个实施例中，呈现了虚拟化的图形执行环境，其中图形处理引擎1331(1)-1331(N)的资源与多个应用程序或虚拟机(VM)共享。在至少一个实施例中，可以基于与VM和/或应用程序相关联的处理要求和优先级，将资源细分为“切片(slice)”，其被分配给不同的VM和/或应用程序。
在至少一个实施例中，加速器集成电路1336作为图形加速模块1346的系统的桥来执行，并提供地址转换和系统存储器高速缓存服务。另外，在至少一个实施例中，加速器集成电路1336可以为主机处理器提供虚拟化设施，以管理图形处理引擎1331(1)-1331(N)的虚拟化、中断和存储器管理。
在至少一个实施例中，由于图形处理引擎1331(1)-1331(N)的硬件资源被明确地映射到主机处理器1307看到的真实地址空间，因此任何主机处理器都可以使用有效地址值直接寻址这些资源。在至少一个实施例中，加速器集成电路1336的一个功能是图形处理引擎1331(1)-1331(N)的物理分离，使得它们在系统看来为独立的单元。
在至少一个实施例中，一个或更多个图形存储器1333(1)-1333(M)分别耦合到每个图形处理引擎1331(1)-1331(N)，且N＝M。在至少一个实施例中，图形存储器1333(1)-1333(M)存储正在由每个图形处理引擎1331(1)-1331(N)处理的指令和数据。在至少一个实施例中，图形存储器1333(1)-1333(M)可以是易失性存储器，诸如DRAM(包括堆叠的DRAM)、GDDR存储器(例如，GDDR5、GDDR6)或HBM，和/或可以是非易失性存储器，诸如3D XPoint或Nano-Ram。
在至少一个实施例中，为了减少高速链路1340上的数据流量，可使用偏置技术来确保存储在图形存储器1333(1)-1333(M)中的数据是图形处理引擎1331(1)-1331(N)最常使用的，并且优选地是核心1360A-1360D不使用(至少不经常使用)的数据。类似地，在至少一个实施例中，偏置机制试图将核心需要的(并且优选地，图形处理引擎1331(1)-1331(N)不需要的)数据保持在高速缓存1362A-1362D、1356和系统存储器1314中。
图13C示出了另一个示例性实施例，其中加速器集成电路1336被集成在处理器1307内。在该实施例中，图形处理引擎1331(1)-1331(N)经由接口1337和接口1335(同样，其可以是任何形式的总线或接口协议)通过高速链路1340直接与加速器集成电路1336通信。在至少一个实施例中，加速器集成电路1336可以执行与关于图13B描述的操作类似的操作，但是由于它紧密靠近一致性总线1364和高速缓存1362A-1362D、1356，可能具有更高的吞吐量。在至少一个实施例中，加速器集成电路支持不同的编程模型，该编程模型包括进程专用的编程模型(无图形加速模块虚拟化)和共享编程模型(具有虚拟化)，所述编程模型可以包括由加速器集成电路1336控制的编程模型和由图形加速模块1346控制的编程模型。
在至少一个实施例中，图形处理引擎1331(1)-1331(N)专用于单个操作系统下的单个应用程序或进程。在至少一个实施例中，单个应用程序可以将其他应用程序请求汇聚(funnel)到图形处理引擎1331(1)-1331(N)，从而在VM/分区内提供虚拟化。
在至少一个实施例中，图形处理引擎1331(1)-1331(N)可以由多个VM/应用程序分区共享。在至少一个实施例中，共享模型可以使用系统管理程序(hypervisor)来虚拟化图形处理引擎1331(1)-1331(N)，以允许每个操作系统进行访问。在至少一个实施例中，对于没有管理程序的单分区系统，操作系统拥有图形处理引擎1331(1)-1331(N)。在至少一个实施例中，操作系统可以虚拟化图形处理引擎1331(1)-1331(N)，以提供对每个进程或应用程序的访问。
在至少一个实施例中，图形加速模块1346或个体图形处理引擎1331(1)-1331(N)使用进程句柄(handle)来选择进程元素。在至少一个实施例中，进程元素被存储在系统存储器1314中，并且可使用本文所述的有效地址到真实地址转换技术来寻址。在至少一个实施例中，进程句柄可以是特定于实现方式的值，其在向图形处理引擎1331(1)-1331(N)注册其上下文时被提供给主机进程(即，调用系统软件以将进程元素添加到进程元素链接列表)。在至少一个实施例中，进程句柄的较低16位可以是进程元素在进程元素链接列表中的偏移量。
图13D示出了示例性加速器集成切片1390。在至少一个实施例中，“切片”包括加速器集成电路1336的处理资源的指定部分。在至少一个实施例中，应用程序是系统存储器1314中的有效地址空间1382，其存储进程元素1383。在至少一个实施例中，响应于来自在处理器1307上执行的应用程序1380的GPU调用1381，存储进程元素1383。在至少一个实施例中，进程元素1383包含对应的应用程序1380的进程状态。在至少一个实施例中，包含在进程元素1383中的工作描述符(WD)1384可以是由应用程序请求的单个作业，或者可以包含指向作业队列的指针。在至少一个实施例中，WD 1384是指向应用程序的有效地址空间1382中的作业请求队列的指针。
在至少一个实施例中，图形加速模块1346和/或各个图形处理引擎1331(1)-1331(N)可以由系统中的所有进程或进程子集共享。在至少一个实施例中，可以包括用于设置进程状态并将WD 1384发送到图形加速模块1346以在虚拟化环境中开始作业的基础设施。
在至少一个实施例中，进程专用的编程模型是特定于实现方式的。在至少一个实施例中，在该模型中，单个进程拥有图形加速模块1346或个体图形处理引擎1331。在至少一个实施例中，当图形加速模块1346由单个进程拥有时，管理程序初始化用于所拥有的分区的加速器集成电路1336，当指派了图形加速模块1346时，操作系统初始化用于所拥有的进程的加速器集成电路1336。
在至少一个实施例中，在操作中，加速器集成切片1390中的WD获取单元1391获取下一个WD 1384，其包括要由图形加速模块1346的一个或更多个图形处理引擎完成的工作的指示。在至少一个实施例中，来自WD 1384的数据可以存储在寄存器1345中，并由MMU1339、中断管理电路1347和/或上下文管理电路1348使用，如图所示。例如，MMU 1339的一个实施例包括用于访问OS虚拟地址空间1385内的段/页表1386的段/页面漫游(walk)电路。在至少一个实施例中，中断管理电路1347可以处理从图形加速模块1346接收的中断事件1392。在至少一个实施例中，当执行图形操作时，由图形处理引擎1331(1)-1331(N)生成的有效地址1393被MMU 1339转换为真实地址。
在至少一个实施例中，为每个图形处理引擎1331(1)-1331(N)和/或图形加速模块1346复制寄存器1345，并且该寄存器1345可以由管理程序或操作系统初始化。在至少一个实施例中，这些复制的寄存器中的每一个可以被包括在加速器集成切片1390中。可以由管理程序初始化的示例性寄存器在表1中示出。
表1–管理程序初始化的寄存器
表2中示出了可由操作系统初始化的示例性寄存器。
表2–操作系统初始化的寄存器
在至少一个实施例中，每个WD 1384特定于特定的图形加速模块1346和/或图形处理引擎1331(1)-1331(N)。在至少一个实施例中，它包含图形处理引擎1331(1)-1331(N)完成工作所需的所有信息，或者它可以是指向存储器位置的指针，在该存储器位置应用程序已经设置了要完成的工作的命令队列。
图13E示出了共享模型的一个示例性实施例的附加细节。该实施例包括管理程序真实地址空间1398，其中存储了进程元素列表1399。在至少一个实施例中，可经由管理程序1396来访问管理程序真实地址空间1398，所述管理程序1396虚拟化用于操作系统1395的图形加速模块引擎。
在至少一个实施例中，共享编程模型允许来自系统中的所有分区或分区子集的所有进程或进程子集使用图形加速模块1346。在至少一个实施例中，存在两种编程模型，其中图形加速模块1346由多个进程和分区共享，即时间切片共享和图形定向共享。
在至少一个实施例中，在该模型中，系统管理程序1396拥有图形加速模块1346，并使其功能可用于所有操作系统1395。在至少一个实施例中，对于图形加速模块1346通过系统管理程序1396支持虚拟化，图形加速模块1346可以遵守某些要求，诸如(1)应用程序的作业请求必须是自主的(即，不需要在作业之间保持状态)，或者图形加速模块1346必须提供上下文保存和恢复机制，(2)图形加速模块1346保证应用程序的作业请求在指定的时间量内完成，包括任何转换错误，或者图形加速模块1346提供了抢占(preempt)作业处理的能力，并且(3)在有向共享编程模型中进行操作时，必须确保图形加速模块1346在进程之间的公平性。
在至少一个实施例中，需要应用程序1380使用图形加速模块类型、工作描述符(WD)、权限屏蔽寄存器(AMR)值和上下文保存/恢复区域指针(CSRP)进行操作系统1395系统调用。在至少一个实施例中，图形加速模块类型描述了用于系统调用的目标加速功能。在至少一个实施例中，图形加速模块类型可以是特定于系统的值。在至少一个实施例中，WD是专门为图形加速模块1346格式化的，并且可以采用图形加速模块1346命令、指向用户定义的结构的有效地址指针、指向命令队列的有效地址指针的形式，或描述要由图形加速模块1346完成的工作的任何其他数据结构的形式。
在至少一个实施例中，AMR值是用于当前进程的AMR状态。在至少一个实施例中，传递给操作系统的值与设置AMR的应用程序类似。在至少一个实施例中，如果加速器集成电路1336(未示出)和图形加速模块1346的实现不支持用户权限屏蔽覆写寄存器(UAMOR)，则在管理程序调用中传递AMR之前，操作系统可以将当前UAMOR值应用于AMR值。在至少一个实施例中，管理程序1396可以在将AMR放入进程元素1383中之前选择性地应用当前权限屏蔽覆写寄存器(AMOR)值。在至少一个实施例中，CSRP是寄存器1345中的一个，所述寄存器包含应用程序的有效地址空间1382中的区域的有效地址，以供图形加速模块1346保存和恢复上下文状态。在至少一个实施例中，如果不需要在作业之间保存状态或者当作业被抢占时，则该指针是可选的。在至少一个实施例中，上下文保存/恢复区域可以是固定的系统存储器。
在接收到系统调用时，操作系统1395可以验证应用程序1380已经注册并且被授予使用图形加速模块1346的权限。然后，在至少一个实施例中，操作系统1395使用表3中所示的信息来调用管理程序1396。
表3–操作系统到管理程序的调用参数
在至少一个实施例中，在接收到管理程序调用时，管理程序1396验证操作系统1395已注册并被授予使用图形加速模块1346的权限。然后，在至少一个实施例中，管理程序1396将进程元素1383放入对应的图形加速模块1346类型的进程元素链接列表中。在至少一个实施例中，进程元素可以包括表4中所示的信息。
表4–进程元素信息
在至少一个实施例中，管理程序初始化多个加速器集成切片1390寄存器1345。
如图13F所示，在至少一个实施例中，使用统一存储器，所述统一存储器可经由用于访问物理处理器存储器1301(1)-1301(N)和GPU存储器1320(1)-1320(N)的公共虚拟存储器地址空间来寻址。在该实现方式中，在GPU 1310(1)-1310(N)上执行的操作利用相同的虚拟/有效存储器地址空间来访问处理器存储器1301(1)-1301(M)，反之亦然，从而简化了可编程性。在至少一个实施例中，虚拟/有效地址空间的第一部分被分配给处理器存储器1301(1)，第二部分被分配给第二处理器存储器1301(N)，第三部分被分配给GPU存储器1320(1)，以此类推。在至少一个实施例中，由此整个虚拟/有效存储器空间(有时称为有效地址空间)分布在处理器存储器1301和GPU存储器1320中的每一个上，从而允许任何处理器或GPU采用映射到任何物理存储器的虚拟地址来访问该存储器。
在至少一个实施例中，一个或更多个MMU 1339A-1339E内的偏置/一致性管理电路1394A-1394E确保一个或更多个主机处理器(例如，1305)与GPU 1310的高速缓存之间的高速缓存一致性，并实现指示应在其中存储某些类型的数据的物理存储器的偏置技术。在至少一个实施例中，虽然在图13F中示出了偏置/一致性管理电路1394A-1394E的多个实例，但可以在一个或更多个主机处理器1305的MMU内和/或在加速器集成电路1336内实现偏置/一致性电路。
一个实施例允许将GPU存储器1320映射为系统存储器的一部分，并使用共享虚拟存储器(SVM)技术进行访问，但不会遭受与全系统高速缓存一致性相关联的性能缺陷。在至少一个实施例中，GPU存储器1320作为系统存储器被访问而无需繁重的高速缓存一致性开销的能力为GPU卸载提供了有利的操作环境。在至少一个实施例中，该布置允许主机处理器1305的软件设置操作数并访问计算结果，而没有传统的I/O DMA数据复制的开销。在至少一个实施例中，这样的传统复制包括驱动程序调用、中断和存储器映射I/O(MMIO)访问，相对于简单的存储器访问而言，这些访问的效率均较低。在至少一个实施例中，在没有高速缓存一致性开销的情况下访问GPU存储器1320的能力对于卸载的计算的执行时间而言可能是关键的。在至少一个实施例中，例如，在具有大量流式写入存储器流量的情况下，高速缓存一致性开销可以显著降低GPU 1310所看到的有效写入带宽。在至少一个实施例中，操作数设置的效率、结果访问的效率和GPU计算的效率可能会在确定GPU卸载的有效性方面发挥作用。
在至少一个实施例中，GPU偏置和主机处理器偏置的选择由偏置跟踪器数据结构驱动。在至少一个实施例中，例如，可以使用偏置表，所述偏置表可以是页面粒度结构(例如，以内存页的粒度来控制)，该页面粒度结构包括每GPU附加的内存页1或2位。在至少一个实施例中，在GPU 1310中具有或不具有偏置高速缓存(例如，用于高速缓存偏置表的频繁/最近使用的条目)的情况下，可以在一个或更多个GPU存储器1320的被盗(stolen)存储器范围中实现偏置表。替代地，在至少一个实施例中，可以在GPU内维护整个偏置表。
在至少一个实施例中，在实际访问GPU存储器之前，访问与对GPU附加存储器1320的每次访问相关联的偏置表条目，从而引起以下操作。在至少一个实施例中，来自GPU 1310的在GPU偏置中找到其页面的本地请求被直接转发到对应的GPU存储器1320。在至少一个实施例中，来自GPU的在主机偏置中找到其页面的本地请求被转发至处理器1305(例如，通过本文所述的高速链路)。在至少一个实施例中，来自处理器1305的在主机处理器偏置中找到所请求页面的请求完成了与正常存储器读取类似的请求。替代地，可以将指向GPU偏置页面的请求转发到GPU 1310。在至少一个实施例中，如果GPU当前不使用页面，则GPU可将页面迁移到主机处理器偏置。在至少一个实施例中，页面的偏置状态可以通过基于软件的机制、基于硬件辅助的软件的机制、或者在有限组的情况下通过纯粹基于硬件的机制来改变。
在至少一个实施例中，一种用于改变偏置状态的机制采用API调用(例如OpenCL)，所述API调用又调用GPU的设备驱动程序，所述设备驱动程序又发送消息(或使命令描述符入队)到GPU，引导GPU改变偏置状态，并在某些迁移中在主机中执行高速缓存刷新操作。在至少一个实施例中，高速缓存刷新操作用于从主机处理器1305偏置迁移到GPU偏置，但是不用于相反的迁移。
在至少一个实施例中，高速缓存一致性是通过暂时渲染主机处理器1305无法高速缓存的GPU偏置页面来维护的。在至少一个实施例中，为了访问这些页面，处理器1305可以请求来自GPU 1310的访问，GPU 1310可以或可以不立即授予访问权限。因此，在至少一个实施例中，为了减少处理器1305和GPU 1310之间的通信，确保GPU偏置页面是GPU所需的页面而不是主机处理器1305所需的页面是有益的，反之亦然。
一个或更多个硬件结构615用于执行一个或更多个实施例。在本文中可以结合图6A和/或图6B提供关于一个或更多个硬件结构615的细节。
图14示出了根据本文所述的各个实施例的示例性集成电路和关联的图形处理器，其可以使用一个或更多个IP核心来制造。除了图示的之外，在至少一个实施例中还可以包括其他逻辑和电路，包括附加的图形处理器/核心、外围接口控制器或通用处理器核心。
图14是示出根据至少一个实施例的可使用一个或更多个IP核心制造的芯片集成电路1400上的示例性系统的框图。在至少一个实施例中，集成电路1400包括一个或更多个应用程序处理器1405(例如，CPU)、至少一个图形处理器1410，并且可以另外包括图像处理器1415和/或视频处理器1420，其中任意一个可以是模块化IP核心。在至少一个实施例中，集成电路1400包括外围或总线逻辑，其包括USB控制器1425、UART控制器1430、SPI/SDIO控制器1435和I2S/I2C控制器1440。在至少一个实施例中，集成电路1400可以包括耦合到高清多媒体接口(HDMI)控制器1450和移动工业处理器接口(MIPI)显示接口1455中的一个或更多个的显示设备1445。在至少一个实施例中，存储可以由闪存子系统1460提供，该闪存子系统包括闪存和闪存控制器。在至少一个实施例中，可以经由存储器控制器1465提供存储器接口以用于访问SDRAM或SRAM存储器设备。在至少一个实施例中，一些集成电路还包括嵌入式安全引擎1470。
推理和/或训练逻辑615用于执行与一个或更多个实施例相关联的推理和/或训练操作。本文结合图6A和/或图6B提供关于推理和/或训练逻辑615的细节。在至少一个实施例中，推理和/或训练逻辑615可以在集成电路1400中用于至少部分地基于使用本文描述的神经网络训练操作、神经网络函数和/或架构、或神经网络用例计算的权重参数来推理或预测操作。
在至少一个实施例中，推理和/或训练逻辑615的一个或更多个神经网络可以结合图14的特征使用，并且可以被配置为从多个传感器接收传感器输入并且可以被训练为推理冷却剂需求。在至少一个实施例中，推理和/或训练逻辑615可能够使用来自历史冷却需求和历史传感器输入的信息来推理这一点。在至少一个实施例中，推理和/或训练逻辑615可以推理冷却需求的变化。在至少一个实施例中，传感器输入可以与不同传感器输入中的每一个的不同冷却需求的类别相关。在至少一个实施例中，在这样的不同的传感器输入的类别内分类的新的传感器输入可以指示冷却需求或其变化。
图15A-15B示出了根据本文所述的各个实施例的示例性集成电路和关联的图形处理器，其可以使用一个或更多个IP核心来制造。除了图示的之外，在至少一个实施例中可以包括其他逻辑和电路，包括附加的图形处理器/核心、外围接口控制器或通用处理器核心。
图15A-15B是示出根据本文描述的实施例的在SoC内使用的示例性图形处理器的框图。图15A示出了根据至少一个实施例的片上系统集成电路的示例性图形处理器1510，其可以使用一个或更多个IP核心来制造。图15B示出了根据至少一个实施例的片上系统集成电路的附加示例性图形处理器1540，其可以使用一个或更多个IP核心来制造。在至少一个实施例中，图15A的图形处理器1510是低功率图形处理器核心。在至少一个实施例中，图15B的图形处理器1540是更高性能的图形处理器核心。在至少一个实施例中，每个图形处理器1510、1540可以是图14的图形处理器1410的变体。
在至少一个实施例中，图形处理器1510包括顶点处理器1505和一个或更多个片段处理器1515A-1515N(例如1515A、1515B、1515C、1515D至1515N-1和1515N)。在至少一个实施例中，图形处理器1510可以经由单独的逻辑来执行不同的着色器程序，使得顶点处理器1505被优化以执行针对顶点着色器程序的操作，而一个或更多个片段处理器1515A-1515N执行针对片段或像素着色器程序的片段(例如，像素)着色操作。在至少一个实施例中，顶点处理器1505执行3D图形管线的顶点处理阶段并生成图元和顶点数据。在至少一个实施例中，一个或更多个片段处理器1515A-1515N使用由顶点处理器1505生成的图元和顶点数据来产生在显示设备上显示的帧缓冲区。在至少一个实施例中，一个或更多个片段处理器1515A-1515N被优化以执行如在OpenGL API中所提供的片段着色器程序，该OpenGL API可以用于执行与在Direct 3D API中所提供的像素着色器程序类似的操作。
在至少一个实施例中，图形处理器1510附加地包括一个或更多个内存管理单元(MMU)1520A-1520B、一个或更多个高速缓存1525A-1525B和一个或更多个电路互连1530A-1530B。在至少一个实施例中，一个或更多个MMU 1520A-1520B为图形处理器1510(包括为顶点处理器1505和/或片段处理器1515A-1515N)提供虚拟到物理地址映射，除了存储在一个或更多个高速缓存1525A-1525B中的顶点或图像/纹理数据之外，其还可以引用存储在存储器中的顶点或图像/纹理数据。在至少一个实施例中，一个或更多个MMU 1520A-1520B可以与系统内的其他MMU同步，包括与图14的一个或更多个应用程序处理器1405、图像处理器1415和/或视频处理器1420相关联的一个或更多个MMU，使得每个处理器1405-1420可以参与共享或统一的虚拟存储器系统。在至少一个实施例中，一个或更多个电路互连1530A-1530B使图形处理器1510能够经由SoC的内部总线或经由直接连接与SoC内的其他IP核心相接口。
在至少一个实施例中，图形处理器1540包括如图15B所示的一个或更多个着色器核心1555A-1555N(例如，1555A、1555B、1555C、1555D、1555E、1555F到1555N-1和1555N)，其提供了统一的着色器核心架构，其中单个核心或类型或核心可以执行所有类型的可编程着色器代码，包括用于实现顶点着色器、片段着色器和/或计算着色器的着色器程序代码。在至少一个实施例中，着色器核心的数量可以改变。在至少一个实施例中，图形处理器1540包括核心间任务管理器1545，其充当线程分派器，用于将执行线程分派给一个或更多个着色器核心1555A-1555N和分块单元1558，以加速基于图块的渲染的分块操作，其中在图像空间中细分了场景的渲染操作，例如，以利用场景内的局部空间一致性或优化内部高速缓存的使用。
在至少一个实施例中，推理和/或训练逻辑615的一个或更多个神经网络可以结合图15A、图15B的特征使用，并且可以被配置为从多个传感器接收传感器输入并且可以被训练为推理冷却剂需求。在至少一个实施例中，推理和/或训练逻辑615可能够使用来自历史冷却需求和历史传感器输入的信息来推理这一点。在至少一个实施例中，推理和/或训练逻辑615可以推理冷却需求的变化。在至少一个实施例中，传感器输入可以与不同传感器输入中的每一个的不同冷却需求的类别相关。在至少一个实施例中，在这样的不同的传感器输入的类别内分类的新的传感器输入可以指示冷却需求或其变化。
图16A-16B示出了根据本文描述的实施例的附加示例性图形处理器逻辑。在至少一个实施例中，图16A示出了可以包括在图14的图形处理器1410内的图形核心1600，并且在至少一个实施例中，其可以是如图15B所示的统一着色器核心1555A-1555N。图16B示出了在至少一个实施例中的适合于在多芯片模块上部署的高度并行的通用图形处理单元(“GPGPU”)1630。
在至少一个实施例中，图形核心1600包括共享指令高速缓存1602、纹理单元1618和高速缓存/共享存储器1620(例如，包括L1、L2、L3，最后一级高速缓存，或其他高速缓存)，它们对于图形核心1600内的执行资源是共用的。在至少一个实施例中，图形核心1600可包括多个切片1601A-1601N或每个核心的分区，并且图形处理器可包括图形核心1600的多个实例。在至少一个实施例中，每个切片1601A-1601N指图形核心1600。在至少一个实施例中，切片1601A-1601N具有子切片，这些子切片是切片1601A-1601N的一部分。在至少一个实施例中，切片1601A-1601N独立于其他切片或取决于其他切片。在至少一个实施例中，切片1601A-1601N可包括支持逻辑，所述支持逻辑包括本地指令高速缓存1604A-1604N、线程调度器(定序器)1606A-1606N、线程分派器1608A-1608N和一组寄存器1610A-1610N。在至少一个实施例中，切片1601A-1601N可以包括一组附加功能单元(AFU 1612A-1612N)、浮点单元(FPU 1614A-1614N)、整数算术逻辑单元(ALU 1616A-1616N)、地址计算单元(ACU 1613A-1613N)、双精度浮点单元(DPFPU 1615A-1615N)和矩阵处理单元(MPU 1617A-1617N)。
在至少一个实施例中，每个切片1601A-1601N包括用于浮点和整数向量操作的一个或更多个引擎以及用于加速AI、机器学习或大数据集工作负荷中的卷积和矩阵操作的一个或更多个引擎。在至少一个实施例中，一个或更多个切片1601A-1601N包括用于计算向量(例如，计算向量的数学运算)的一个或更多个向量引擎。在至少一个实施例中，向量引擎可以在16位浮点(也称为“FP16”)、32位浮点(也称为“FP32”)或64位浮点(也称为“FP64”)中计算向量运算。在至少一个实施例中，一个或更多个切片1601A-1601N包括与16个矩阵数学单元配对以计算矩阵/张量运算的16个向量引擎，其中，向量引擎和数学单元通过矩阵扩展来示出。在至少一个实施例中，对处理单元的处理资源的指定部分(例如，16个核心和光线追踪单元或8个核心)、线程调度器、线程调度器和处理器的附加功能单元进行切片。在至少一个实施例中，图形核心1600包括用于例如在计算张量操作时计算矩阵操作的一个或更多个矩阵引擎。
在至少一个实施例中，一个或更多个切片1601A-1601N包括用于计算光线跟踪操作的一个或更多个光线跟踪单元(例如，每个切片16个光线跟踪单元切片1601A-1601N)。在至少一个实施例中，光线追踪单元计算光线遍历、三角形相交、边界框相交或其他光线追踪操作。
在至少一个实施例中，一个或更多个切片1601A-1601N包括对数据进行编码、解码和/或转码的媒体切片；对数据进行缩放和/或格式转换；和/或对视频数据执行视频质量操作。
在至少一个实施例中，一个或更多个片1601A-1601N链接至L2高速缓存和存储器结构、链接连接器、高带宽存储器(HBM)(例如，HBM2e、HDMI3)栈和媒体引擎。在至少一个实施例中，一个或更多个切片1601A-1601N包括多个核心(例如，16个核心)以及与每个核心配对的多个光线追踪单元(例如，16)。在至少一个实施例中，一个或更多个切片1601A-1601N具有一个或更多个L1高速缓存。在至少一个实施例中，一个或更多个切片1601A-1601N包括一个或更多个向量引擎；用于存储指令的一个或更多个指令缓存；用于缓存数据的一个或更多个L1高速缓存；用于存储例如对应于指令的数据的一个或更多个共享本地存储器(SLM)；用于对数据进行采样的一个或更多个采样器；用于执行光线跟踪操作的一个或更多个光线跟踪单元；一个或更多个几何体，用于在几何流水线中执行操作和/或将几何变换应用于顶点或多边形；一个或更多个光栅化器，用于描述具有向量图形格式(例如，形状)的图像并将其转换成光栅图像(例如，一系列像素、点或线，其在一起显示时创建由形状表示的图像)；一个或更多个分层深度缓冲器(Hiz)，用于缓冲数据；和/或一个或更多个像素后端。在至少一个实施例中，切片1601A-1601N包括存储器结构，例如，L2高速缓存。
在至少一个实施例中，FPU 1614A-1614N可以执行单精度(32位)和半精度(16位)浮点运算，而DPFPU 1615A-1615N执行双精度(64位)浮点运算。在至少一个实施例中，ALU1616A-1616N可以以8位、16位和32位精度执行可变精度整数运算，并且可以被配置用于混合精度运算。在至少一个实施例中，MPU 1617A-1617N还可被配置用于混合精度矩阵运算，包括半精度浮点运算和8位整数运算。在至少一个实施例中，MPU 1617A-1617N可以执行各种矩阵运算以加速机器学习应用程序框架，包括使得能够支持加速的通用矩阵到矩阵乘法(GEMM)。在至少一个实施例中，AFU 1612A-1612N可以执行浮点单元或整数单元不支持的附加逻辑运算，包括三角函数运算(例如，正弦、余弦)。推理和/或训练逻辑615用于执行与一个或更多个实施例相关联的推理和/或训练操作。本文结合图6A和/或图6B提供关于推理和/或训练逻辑615的细节。在至少一个实施例中，推理和/或训练逻辑615可以在图形核心1600中使用，用于至少部分地基于使用本文所述的神经网络训练操作、神经网络函数和/或架构、或神经网络用例计算的权重参数来进行推理或预测操作。
在至少一个实施例中，图形核心1600包括附接至交换机和GPU-GPU桥接器的互连和链接结构子层，该交换机和GPU-GPU桥接器使多个图形处理器1600(例如，8)能够通过跨多个图形处理器1600的加载/存储单元(LSU)、数据传送单元和同步语义在不粘合的情况下彼此互连。在至少一个实施例中，互连包括标准化互连(例如，PCIe)或其一些组合。
在至少一个实施例中，图形核心1600包括多个分块。在至少一个实施例中，图块是单独的管芯或者一个或更多个管芯，其中，单独的管芯可以与互连(例如，嵌入式多管芯互连桥(EMIB))连接。在至少一个实施例中，图形核心1600包括计算图块、存储器图块(例如，其中存储器图块可由不同图块或不同芯片组(诸如Rambo图块)排他地访问)、基板图块、基础图块、HMB图块、链路图块和EMIB图块，其中所有图块一起封装在图形核心1600中作为GPU的一部分。在至少一个实施例中，图形核心1600可以在单个封装(也称为“多图块封装”)中包括多个图块。在至少一个实施例中，计算图块可以具有8个图形核心1600、L1高速缓存；并且基础图块可以具有与PCIe 5.0、HBM2e、MDFI和EMIB的主机接口、具有8条链路的链路图块、具有嵌入式交换机的8个端口。在至少一个实施例中，图块通过细间距的36微米微凸块(例如，铜柱)与面对面(F2F)芯片上芯片键合连接。在至少一个实施例中，图形核心1600包括存储器结构，该存储器结构包括存储器，并且是可由多个图块访问的图块。在至少一个实施例中，图形核心1600将其自身的硬件上下文存储、访问或加载到存储器中，其中硬件上下文是在进程恢复之前从寄存器加载的一组数据，并且其中硬件上下文可以指示硬件的状态(例如，GPU的状态)。
在至少一个实施例中，图形核心1600包括串行器/解串器(SERDES)电路，该电路将串行数据流转换成并行数据流，或将并行数据流转换成串行数据流。
在至少一个实施例中，图形核心1600包括高速相干统一结构(GPU到GPU)、加载/存储单元、批量数据传输和同步语义、以及通过嵌入式交换机连接的GPU，其中GPU-GPU桥由控制器控制。
在至少一个实施例中，图形核心1600执行API，其中，所述API抽象图形核心1600的硬件并使用指令来访问库以执行数学操作(例如，数学内核库)、深度神经网络操作(例如，深度神经网络库)、向量操作、集体通信、线程构建块、视频处理、数据分析库、和/或光线跟踪操作。
在至少一个实施例中，推理和/或训练逻辑615的一个或更多个神经网络可以结合图16A的特征使用，并且可以被配置为从多个传感器接收传感器输入并且可以被训练为推理冷却剂需求。在至少一个实施例中，推理和/或训练逻辑615可能够使用来自历史冷却需求和历史传感器输入的信息来推理这一点。在至少一个实施例中，推理和/或训练逻辑615可以推理冷却需求的变化。在至少一个实施例中，传感器输入可以与不同传感器输入中的每一个的不同冷却需求的类别相关。在至少一个实施例中，在这样的不同的传感器输入的类别内分类的新的传感器输入可以指示冷却需求或其变化。
图16B示出了在至少一个实施例中的通用处理单元(GPGPU)1630，其可以被配置为使得高度并行的计算操作能够由图形处理单元的阵列来执行。在至少一个实施例中，GPGPU1630可以直接链接到GPGPU 1630的其他实例，以创建多GPU集群，以提高用于深度神经网络的训练速度。在至少一个实施例中，GPGPU 1630包括主机接口1632，用于实现与主机处理器的连接。在至少一个实施例中，主机接口1632是PCI Express接口。在至少一个实施例中，主机接口1632可以是厂商专用的通信接口或通信结构。在至少一个实施例中，GPGPU 1630接收来自主机处理器的命令，并使用全局调度器1634(其可以被称为线程定序器和/或异步计算引擎)将与那些命令相关联的执行线程分配给一组计算集群1636A-1636H。在至少一个实施例中，计算集群1636A-1636H共享高速缓存存储器1638。在至少一个实施例中，高速缓存存储器1638可以用作计算集群1636A-1636H内的高速缓存存储器的更高级别的高速缓存。
在至少一个实施例中，GPGPU 1630包括存储器1644A-1644B，其经由一组存储器控制器1642A-1642B(例如，HBM2e的一个或更多个控制器)与计算集群1636A-1636H耦合。在至少一个实施例中，存储器1644A-1644B可以包括各种类型的存储器设备，其包括动态随机存取存储器(DRAM)或图形随机存取存储器，诸如同步图形随机存取存储器(SGRAM)，其包括图形双倍数据速率(GDDR)存储器。
在至少一个实施例中，计算集群1636A-1636H每个都包括一组图形核心，诸如图16A的图形核心1600，该图形核心可以包括多种类型的整数和浮点逻辑单元，这些逻辑单元可以在包括适用于机器学习计算的精度范围上执行计算操作。例如，在至少一个实施例中，每个计算集群1636A-1636H中的浮点单元的至少子集可以被配置为执行16位或32位浮点运算，而浮点单元的不同子集可以被配置为执行64位浮点运算。
在至少一个实施例中，GPGPU 1630的多个实例可以被配置为操作为计算集群。在至少一个实施例中，计算集群1636A-1636H用于同步和数据交换的通信在实施例之间改变。在至少一个实施例中，GPGPU 1630的多个实例通过主机接口1632进行通信。在至少一个实施例中，GPGPU 1630包括I/O集线器1639，其将GPGPU 1630与GPU链路1640耦合，该GPU链路1640实现到GPGPU 1630的其他实例的直接连接。在至少一个实施例中，GPU链路1640耦合到专用GPU到GPU桥，该桥实现GPGPU 1630的多个实例之间的通信和同步。在至少一个实施例中，GPU链路1640与高速互连耦合，以向其他GPGPU或并行处理器发送和接收数据。在至少一个实施例中，GPGPU 1630的多个实例位于单独的数据处理系统中，并且经由可经由主机接口1632访问的网络设备进行通信。在至少一个实施例中，除主机接口1632之外或作为其替代，GPU链路1640也可被配置为实现到主机处理器的连接。
在至少一个实施例中，GPGPU 1630可以被配置为训练神经网络。在至少一个实施例中，可以在推理平台内使用GPGPU 1630。在至少一个实施例中，在使用GPGPU 1630进行推理的情况下，相对于使用GPGPU 1630训练神经网络时，GPGPU 1630可以包括更少的计算集群1636A-1636H。在至少一个实施例中，与存储器1644A-1644B相关联的存储器技术可以在推理和训练配置之间有所不同，其中更高带宽的存储器技术专用于训练配置。在至少一个实施例中，GPGPU 1630的推理配置可以支持推理特定指令。例如，在至少一个实施例中，推理配置可以提供对一个或更多个8位整数点积指令的支持，该指令可以在部署的神经网络的推理操作期间使用。
推理和/或训练逻辑615用于执行与一个或更多个实施例相关联的推理和/或训练操作。本文结合图6A和/或图6B提供关于推理和/或训练逻辑615的细节。在至少一个实施例中，推理和/或训练逻辑615可以在GPGPU 1630中使用，用于至少部分地基于使用本文所述的神经网络训练操作、神经网络函数和/或架构、或神经网络用例计算的权重参数来进行推理或预测操作。
在至少一个实施例中，推理和/或训练逻辑615的一个或更多个神经网络可以结合图16B的特征使用，并且可以被配置为从多个传感器接收传感器输入并且可以被训练为推理冷却剂需求。在至少一个实施例中，推理和/或训练逻辑615可能够使用来自历史冷却需求和历史传感器输入的信息来推理这一点。在至少一个实施例中，推理和/或训练逻辑615可以推理冷却需求的变化。在至少一个实施例中，传感器输入可以与不同传感器输入中的每一个的不同冷却需求的类别相关。在至少一个实施例中，在这样的不同的传感器输入的类别内分类的新的传感器输入可以指示冷却需求或其变化。
图17是示出了根据至少一个实施例的计算系统1700的框图。在至少一个实施例中，计算系统1700包括具有经由可包括存储器集线器1705的互连路径通信的一个或更多个处理器1702和系统存储器1704的处理子系统1701。在至少一个实施例中，存储器集线器1705可以是芯片组组件内的单独组件，或者可以集成在一个或更多个处理器1702内。在至少一个实施例中，存储器集线器1705经由通信链路1706与I/O子系统1711耦合。在至少一个实施例中，I/O子系统1711包括I/O集线器1707，所述I/O集线器可以使计算系统1700能够接收来自一个或更多个输入设备1708的输入。在至少一个实施例中，I/O集线器1707可以使显示控制器能够向一个或更多个显示设备1710A提供输出，所述显示控制器可以包括在一个或更多个处理器1702中。在至少一个实施例中，与I/O集线器1707耦合的一个或更多个显示设备1710A可以包括本地、内部或嵌入式显示设备。
在至少一个实施例中，处理子系统1701包括经由总线或其他通信链路1713耦合到存储器集线器1705的一个或更多个并行处理器1712。在至少一个实施例中，通信链路1713可以使用基于通信链路技术或协议(诸如但不限于PCI Express)的任何数量的标准之一，或者可以是特定于供应商的通信接口或通信结构。在至少一个实施例中，一个或更多个并行处理器1712形成计算集中的并行或向量处理系统，所述系统可以包括大量处理核心和/或处理集群，诸如集成众核(MIC)处理器。在至少一个实施例中，一个或更多个并行处理器1712中的一些或全部并行处理器形成图形处理子系统，所述图形处理子系统可以将像素输出到经由I/O集线器1707耦合的一个或更多个显示设备1710A之一。在至少一个实施例中，一个或更多个并行处理器1712还可以包括显示控制器和显示接口(未示出)，用于实现到一个或更多个显示设备1710B的直接连接。在至少一个实施例中，并行处理器1712包括一个或更多个核心，例如在此讨论的图形核心1600。
在至少一个实施例中，系统存储单元1714可以连接到I/O集线器1707，以提供用于计算系统1700的存储机制。在至少一个实施例中，I/O交换机1716可以用于提供接口机制，用于实现I/O集线器1707与其他组件之间的连接，该其他组件例如可以集成到平台中的网络适配器1718和/或无线网络适配器1719，以及可以经由一个或更多个附加设备1720添加的各种其他设备。在至少一个实施例中，网络适配器1718可以是以太网适配器或另一有线网络适配器。在至少一个实施例中，无线网络适配器1719可以包括Wi-Fi、蓝牙、近场通信(NFC)或包括一个或更多个无线电设备的其他网络设备中的一个或更多个。
在至少一个实施例中，计算系统1700可以包括也可连接到I/O集线器1707的未明确示出的其他组件，所述其他组件包括USB或其他端口连接、光学存储驱动器、视频捕获设备等。在至少一个实施例中，可以使用任何合适的协议(诸如基于PCI(外围组件互连)的协议(例如PCI-Express)或其他总线或点对点通信接口和/或协议(诸如NV-Link高速互连或互连协议)来实现互连图17中各个组件的通信路径。
在至少一个实施例中，一个或更多个并行处理器1712包括为图形和视频处理而优化的电路，所述电路包括例如视频输出电路，并构成图形处理单元(GPU)，例如，并行处理器1712包括图形核心1600。在至少一个实施例中，一个或更多个并行处理器1712包括为通用处理而优化的电路。在至少一个实施例中，计算系统1700的组件可以与单个集成电路上的一个或更多个其他系统元件集成。例如，在至少一个实施例中，一个或更多个并行处理器1712、存储器集线器1705、一个或更多个处理器1702和I/O集线器1707，可以被集成到片上系统(SoC)集成电路中。在至少一个实施例中，计算系统1700的组件可以被集成到单个封装中，以形成系统级封装(SIP)配置。在至少一个实施例中，计算系统1700的组件的至少一部分可以被集成到多芯片模块(MCM)中，所述多芯片模块可以与其他多芯片模块一起互连到模块化计算系统中。
推理和/或训练逻辑615用于执行与一个或更多个实施例相关联的推理和/或训练操作。本文结合图6A和/或图6B提供关于推理和/或训练逻辑615的细节。在至少一个实施例中，推理和/或训练逻辑615可以在图17的系统1700中使用，以用于至少部分地基于使用本文所述的神经网络训练操作、神经网络函数和/或架构、或神经网络用例计算的权重参数来进行推理或预测操作。
处理器
图18A示出了根据至少一个实施例的并行处理器1800。在至少一个实施例中，并行处理器1800的各个组件可以使用一个或更多个集成电路设备来实现，诸如可编程处理器、专用集成电路(ASIC)或现场可编程门阵列(FPGA)。在至少一个实施例中，所示的并行处理器1800是根据示例性实施例的图17所示的一个或更多个并行处理器1712的变体。在至少一个实施例中，并行处理器1800包括一个或更多个图形核心1600。
在至少一个实施例中，并行处理器1800包括并行处理单元1802。在至少一个实施例中，并行处理单元1802包括I/O单元1804，其使得能够与其他设备进行通信，包括并行处理单元1802的其他实例。在至少一个实施例中，I/O单元1804可以直接连接到其他设备。在至少一个实施例中，I/O单元1804经由使用集线器或交换机接口(例如，存储器集线器1805)与其他设备连接。在至少一个实施例中，存储器集线器1805与I/O单元1804之间的连接形成通信链路1813。在至少一个实施例中，I/O单元1804与主机接口1806和存储器交叉开关1816连接，其中主机接口1806接收用于执行处理操作的命令，而存储器交叉开关1816接收用于执行存储器操作的命令。
在至少一个实施例中，当主机接口1806经由I/O单元1804接收命令缓冲区时，主机接口1806可以将用于执行那些命令的工作操作引导到前端1808。在至少一个实施例中，前端1808与调度器1810(其可以被称为定序器)耦合，调度器1810被配置成将命令或其他工作项分配给处理集群阵列1812。在至少一个实施例中，调度器1810确保在将任务分配给处理集群阵列1812中的集群之前，处理集群阵列1812被正确地配置并且处于有效状态。在至少一个实施例中，调度器1810经由在微控制器上执行的固件逻辑来实现。在至少一个实施例中，微控制器实现的调度器1810可被配置成以粗粒度和细粒度执行复杂的调度和工作分配操作，从而实现对在处理集群阵列1812上执行的线程的快速抢占和上下文切换。在至少一个实施例中，主机软件可以证明用于经由多个图形处理路径之一在处理集群阵列1812上进行调度的工作负载。在至少一个实施例中，工作负载然后可以由包括调度器1810的微控制器内的调度器1810逻辑在处理集群阵列1812上自动分配。
在至少一个实施例中，处理集群阵列1812可以包括多达“N”个处理集群(例如，集群1814A、集群1814B到集群1814N)，其中“N”代表正整数(其可以是与其他图中使用的整数不同的整数“N”)。在至少一个实施例中，处理集群阵列1812的每个集群1814A-1814N可以执行大量并发线程。在至少一个实施例中，调度器1810可以使用各种调度和/或工作分配算法将工作分配给处理集群阵列1812中的集群1814A-1814N，这些算法可以根据针对每种类型的程序或计算产生的工作负载而改变。在至少一个实施例中，调度可以由调度器1810动态地处理，或者可以在配置为由处理集群阵列1812执行的程序逻辑的编译期间部分地由编译器逻辑来辅助。在至少一个实施例中，处理集群阵列1812中的不同集群1814A-1814N可被分配用于处理不同类型的程序或用于执行不同类型的计算。
在至少一个实施例中，处理集群阵列1812可以被配置成执行各种类型的并行处理操作。在至少一个实施例中，处理集群阵列1812被配置成执行通用并行计算操作。例如，在至少一个实施例中，处理集群阵列1812可以包括用于执行处理任务的逻辑，该处理任务包括对视频和/或音频数据的过滤，执行建模操作，包括物理操作以及执行数据转换。
在至少一个实施例中，处理集群阵列1812被配置成执行并行图形处理操作。在至少一个实施例中，处理集群阵列1812可以包括用于支持这种图形处理操作的执行的附加逻辑，包括但不限于执行纹理操作的纹理采样逻辑，以及曲面细分逻辑和其他顶点处理逻辑。在至少一个实施例中，处理集群阵列1812可以被配置成执行与图形处理有关的着色器程序，诸如但不限于顶点着色器、曲面细分着色器、几何着色器和像素着色器。在至少一个实施例中，并行处理单元1802可以经由I/O单元1804从系统存储器传送数据以进行处理。在至少一个实施例中，在处理期间，可以在处理期间将传送的数据存储到片上存储器(例如，并行处理器存储器1822)，然后将其写回到系统存储器。
在至少一个实施例中，当并行处理单元1802用于执行图形处理时，调度器1810可以被配置成将处理工作负载划分为近似相等大小的任务，以更好地实现将图形处理操作分配给处理集群阵列1812中的多个集群1814A-1814N。在至少一个实施例中，处理集群阵列1812的各部分可以被配置成执行不同类型的处理。例如，在至少一个实施例中，第一部分可以被配置成执行顶点着色和拓扑生成，第二部分可以被配置成执行曲面细分和几何着色，并且第三部分可以被配置成执行像素着色或其他屏幕空间操作，以产生用于显示的渲染图像。在至少一个实施例中，可以将由集群1814A-1814N中的一个或更多个产生的中间数据存储在缓冲区中，以允许在集群1814A-1814N之间传送中间数据以供进一步处理。
在至少一个实施例中，处理集群阵列1812可以经由调度器1810接收要执行的处理任务，该调度器1810从前端1808接收定义处理任务的命令。在至少一个实施例中，处理任务可以包括要处理的数据的索引，例如，表面(补丁)数据、原始数据、顶点数据和/或像素数据，以及状态参数和定义如何处理数据的命令(例如，要执行什么程序)。在至少一个实施例中，调度器1810可以被配置成获取与任务相对应的索引，或者可以从前端1808接收索引。在至少一个实施例中，前端1808可以被配置成确保在启动由传入命令缓冲区(例如，批缓冲区(batch-buffer)、推送缓冲区等)指定的工作负载之前，处理集群阵列1812被配置成处于有效状态。
在至少一个实施例中，并行处理单元1802的一个或更多个实例中的每一个可以与并行处理器存储器1822耦合。在至少一个实施例中，可以经由存储器交叉开关1816访问并行处理器存储器1822，所述存储器交叉开关1816可以接收来自处理集群阵列1812以及I/O单元1804的存储器请求。在至少一个实施例中，存储器交叉开关1816可以经由存储器接口1818访问并行处理器存储器1822。在至少一个实施例中，存储器接口1818可以包括多个分区单元(例如，分区单元1820A、分区单元1820B到分区单元1820N)，其可各自耦合至并行处理器存储器1822的一部分(例如，存储器单元)。在至少一个实施例中，分区单元1820A-1820N的数量被配置为等于存储器单元的数量，使得第一分区单元1820A具有对应的第一存储器单元1824A，第二分区单元1820B具有对应的第二存储器单元1824B，第N分区单元1820N具有对应的第N存储器单元1824N。在至少一个实施例中，分区单元1820A-1820N的数量可以不等于存储器单元的数量。
在至少一个实施例中，存储器单元1824A-1824N可以包括各种类型的存储器设备，包括动态随机存取存储器(DRAM)或图形随机存取存储器，诸如同步图形随机存取存储器(SGRAM)，包括图形双倍数据速率(GDDR)存储器。在至少一个实施例中，存储器单元1824A-1824N还可包括3D堆叠存储器，包括但不限于高带宽存储器(HBM、HBM2e或HDM3)。在至少一个实施例中，可以跨存储器单元1824A-1824N来存储诸如帧缓冲区或纹理映射之类的渲染目标，从而允许分区单元1820A-1820N并行地写入每个渲染目标的各部分，以高效地使用并行处理器存储器1822的可用带宽。在至少一个实施例中，可以排除并行处理器存储器1822的本地实例，以有利于利用系统存储器以及本地高速缓存存储器的统一存储器设计。
在至少一个实施例中，处理集群阵列1812中的集群1814A-1814N中的任何一个都可以处理将被写入并行处理器存储器1822内的任何存储器单元1824A-1824N中的数据。在至少一个实施例中，存储器交叉开关1816可以被配置为将每个集群1814A-1814N的输出传输到任何分区单元1820A-1820N或另一个集群1814A-1814N，另一个集群1814A-1814N可以对输出执行附加处理操作。在至少一个实施例中，每个集群1814A-1814N可以通过存储器交叉开关1816与存储器接口1818通信，以从各种外部存储器设备读取或写入各种外部存储器设备。在至少一个实施例中，存储器交叉开关1816具有用于与I/O单元1804通信的到存储器接口1818的连接，以及到并行处理器存储器1822的本地实例的连接，其使得不同处理集群1814A-1814N内的处理单元能够与系统存储器或不是并行处理单元1802本地的其他存储器进行通信。在至少一个实施例中，存储器交叉开关1816可以使用虚拟通道来分离集群1814A-1814N和分区单元1820A-1820N之间的业务流。
在至少一个实施例中，可以在单个附加卡上提供并行处理单元1802的多个实例，或者可以将多个附加卡互连。在至少一个实施例中，并行处理单元1802的不同实例可以被配置成相互操作，即使不同实例具有不同数量的处理核心、不同数量的本地并行处理器存储器和/或其他配置差异。例如，在至少一个实施例中，并行处理单元1802的一些实例可以包括相对于其他实例而言更高精度的浮点单元。在至少一个实施例中，包含并行处理单元1802或并行处理器1800的一个或更多个实例的系统可以以各种配置和形式因子来实现，包括但不限于台式计算机、膝上型计算机或手持式个人计算机、服务器、工作站、游戏控制台和/或嵌入式系统。
图18B是根据至少一个实施例的分区单元1820的框图。在至少一个实施例中，分区单元1820是图18A的分区单元1820A-1820N之一的实例。在至少一个实施例中，分区单元1820包括L2高速缓存1821、帧缓冲区接口1825和ROP 1826(光栅操作单元)。在至少一个实施例中，L2高速缓存1821是读/写高速缓存，其被配置成执行从存储器交叉开关1816和ROP1826接收的加载和存储操作。在至少一个实施例中，L2高速缓存1821将读取未命中和紧急回写请求输出到帧缓冲区接口1825以进行处理。在至少一个实施例中，还可以经由帧缓冲区接口1825将更新发送到帧缓冲区以进行处理。在至少一个实施例中，帧缓冲区接口1825与并行处理器存储器中的存储器单元(诸如图18A的存储器单元1824A-1824N(例如，在并行处理器存储器1822内))之一相接合。
在至少一个实施例中，ROP 1826是处理单元，其执行光栅操作，诸如模版、z测试、混合等。在至少一个实施例中，ROP 1826然后输出存储在图形存储器中的经处理的图形数据。在至少一个实施例中，ROP 1826包括压缩逻辑，用于压缩被写入存储器的深度或颜色数据并解压缩从存储器读取的深度或颜色数据。在至少一个实施例中，压缩逻辑可以是利用多种压缩算法中的一种或更多种的无损压缩逻辑。在至少一个实施例中，ROP 1826执行的压缩的类型可以基于要压缩的数据的统计特性而改变。例如，在至少一个实施例中，基于每图块对深度和颜色数据执行增量颜色压缩。
在至少一个实施例中，ROP 1826包括在每个处理集群内(例如，图18A的集群1814A-1814N)，而不是在分区单元1820内。在至少一个实施例中，通过存储器交叉开关1816传送对像素数据而不是像素片段数据的读取和写入请求。在至少一个实施例中，经处理的图形数据可以在显示设备(诸如图17的一个或更多个显示设备1710之一)上显示，由处理器1702路由以供进一步处理，或者由图18A的并行处理器1800内的处理实体之一路由以供进一步处理。
图18C是根据至少一个实施例的并行处理单元内的处理集群1814的框图。在至少一个实施例中，处理集群是图18A的处理集群1814A-1814N之一的实例。在至少一个实施例中，处理集群1814可以被配置成并行执行许多线程，其中“线程”是指在特定的一组输入数据上执行的特定程序的实例。在至少一个实施例中，单指令多数据(SIMD)指令发布技术用于支持大量线程的并行执行而无需提供多个独立的指令单元。在至少一个实施例中，使用单指令多线程(SIMT)技术来支持使用公共指令单元对大量通常同步的线程的并行执行，该公共指令单元被配置成向每个处理集群内的一组处理引擎发出指令。
在至少一个实施例中，可以经由将处理任务分配给SIMT并行处理器的管线管理器1832来控制处理集群1814的操作。在至少一个实施例中，管线管理器1832从图18A的调度器1810接收指令，并且经由图形多处理器1834和/或纹理单元1836管理这些指令的执行。在至少一个实施例中，图形多处理器1834是SIMT并行处理器的示例性实例。然而，在至少一个实施例中，处理集群1814内可以包括不同架构的各种类型的SIMT并行处理器。在至少一个实施例中，处理集群1814内可以包括图形多处理器1834的一个或更多个实例。在至少一个实施例中，图形多处理器1834可以处理数据，并且数据交叉开关1840可以用于将经处理的数据分配到多个可能的目的地(包括其他着色器单元)之一。在至少一个实施例中，管线管理器1832可以通过指定要经由数据交叉开关1840分配的经处理的数据的目的地来促进对经处理的数据的分配。
在至少一个实施例中，处理集群1814内的每个图形多处理器1834可以包括相同的一组功能执行逻辑(例如，算术逻辑单元、加载-存储单元等)。在至少一个实施例中，可以以管线化方式配置功能执行逻辑，其中可以在先前的指令完成之前发出新的指令。在至少一个实施例中，功能执行逻辑支持各种操作，包括整数和浮点算术、比较操作、布尔运算、比特移位和各种代数函数的计算。在至少一个实施例中，可以利用相同的功能单元硬件来执行不同的操作，并且可以存在功能单元的任何组合。
在至少一个实施例中，传送到处理集群1814的指令构成线程。在至少一个实施例中，跨一组并行处理引擎执行的一组线程是线程组。在至少一个实施例中，线程组对不同的输入数据执行通用程序。在至少一个实施例中，线程组内的每个线程可被指派给图形多处理器1834内的不同处理引擎。在至少一个实施例中，线程组可包括比图形多处理器1834内的处理引擎的数量更少的线程。在至少一个实施例中，当线程组包括的线程数少于处理引擎的数量时，一个或更多个处理引擎在正在处理该线程组的循环期间可以是空闲的。在至少一个实施例中，线程组还可以包括比图形多处理器1834内的处理引擎的数量更多的线程。在至少一个实施例中，当线程组包括比图形多处理器1834内的处理引擎的数量更多的线程时，可以在连续的时钟周期内执行处理。在至少一个实施例中，可以在图形多处理器1834上并发地执行多个线程组。
在至少一个实施例中，图形多处理器1834包括内部高速缓存存储器，用于执行加载和存储操作。在至少一个实施例中，图形多处理器1834可以放弃内部高速缓存并使用处理集群1814内的高速缓存存储器(例如，L1高速缓存1848)。在至少一个实施例中，每个图形多处理器1834还可以访问分区单元(例如，图18A的分区单元1820A-1820N)内的L2高速缓存，这些分区单元在所有处理集群1814之间共享并且可以用于在线程之间传输数据。在至少一个实施例中，图形多处理器1834还可以访问片外全局存储器，其可以包括本地并行处理器存储器和/或系统存储器中的一个或更多个。在至少一个实施例中，并行处理单元1802外部的任何存储器都可以用作全局存储器。在至少一个实施例中，处理集群1814包括图形多处理器1834的多个实例，它们可以共享可以存储在L1高速缓存1848中的公共指令和数据。
在至少一个实施例中，每个处理集群1814可以包括被配置成将虚拟地址映射到物理地址的内存管理单元(“MMU”)1845。在至少一个实施例中，MMU 1845的一个或更多个实例可以驻留在图18A的存储器接口1818内。在至少一个实施例中，MMU 1845包括一组页表条目(PTE)，其用于将虚拟地址映射到图块的物理地址以及可选地映射到高速缓存行索引。在至少一个实施例中，MMU 1845可以包括地址转换后备缓冲区(TLB)或可以驻留在图形多处理器1834或L1高速缓存1848或处理集群1814内的高速缓存。在至少一个实施例中，物理地址被处理以分配表面数据访问局部性，以在分区单元之间进行高效的请求交错。在至少一个实施例中，高速缓存行索引可以用于确定对高速缓存行的请求是命中还是未命中。
在至少一个实施例中，可以配置处理集群1814，使得每个图形多处理器1834耦合到纹理单元1836，以执行纹理映射操作，该纹理映射操作确定纹理样本位置、读取纹理数据以及过滤纹理数据。在至少一个实施例中，根据需要，从内部纹理L1高速缓存(未示出)或从图形多处理器1834内的L1高速缓存中读取纹理数据，并从L2高速缓存、本地并行处理器存储器或系统存储器中获取纹理数据。在至少一个实施例中，每个图形多处理器1834将经处理的任务输出到数据交叉开关1840，以将经处理的任务提供给另一处理集群1814以进行进一步处理，或将经处理的任务存储在L2高速缓存、本地并行处理器存储器中，或经由存储器交叉开关1816存储在系统存储器中。在至少一个实施例中，preROP 1842(预光栅操作单元)被配置成从图形多处理器1834接收数据，并将数据引导至ROP单元，该ROP单元可以与本文所述的分区单元(例如，图18A的分区单元1820A-1820N)一起定位。在至少一个实施例中，PreROP 1842单元可以执行针对颜色混合、组织像素颜色数据以及执行地址转换的优化。
推理和/或训练逻辑615用于执行与一个或更多个实施例相关联的推理和/或训练操作。本文结合图6A和/或图6B提供关于推理和/或训练逻辑615的细节。在至少一个实施例中，推理和/或训练逻辑615可以在图形处理集群1814中使用，用于至少部分地基于使用本文描述的神经网络训练操作、神经网络函数和/或架构、或神经网络用例计算的权重参数来进行推理或预测操作。
在至少一个实施例中，推理和/或训练逻辑615的一个或更多个神经网络可以结合图18A-18C的特征使用，并且可以被配置为从多个传感器接收传感器输入并且可以被训练为推理冷却剂需求。在至少一个实施例中，推理和/或训练逻辑615可能够使用来自历史冷却需求和历史传感器输入的信息来推理这一点。在至少一个实施例中，推理和/或训练逻辑615可以推理冷却需求的变化。在至少一个实施例中，传感器输入可以与不同传感器输入中的每一个的不同冷却需求的类别相关。在至少一个实施例中，在这样的不同的传感器输入的类别内分类的新的传感器输入可以指示冷却需求或其变化。
图18D示出了根据至少一个实施例的图形多处理器1834。在至少一个实施例中，图形多处理器1834与处理集群1814的管线管理器1832耦合。在至少一个实施例中，图形多处理器1834具有执行管线，该执行管线包括但不限于指令高速缓存1852、指令单元1854、地址映射单元1856、寄存器文件1858、一个或更多个通用图形处理单元(GPGPU)核心1862和一个或更多个加载/存储单元1866，其中一个或更多个加载/存储单元1866可以执行加载/存储操作来加载/存储与执行操作相对应的指令。在至少一个实施例中，GPGPU核心1862和加载/存储单元1866经由存储器和高速缓存互连1868与高速缓存存储器1872和共享存储器1870耦合。
在至少一个实施例中，指令高速缓存1852从管线管理器1832接收要执行的指令流。在至少一个实施例中，指令被高速缓存在指令高速缓存1852中并且被分派以供指令单元1854执行。在至少一个实施例中，指令单元1854可以分派指令作为线程组(例如，线程束、波前、波)，其中线程组中的每个线程被指派给GPGPU核心1862内的不同执行单元。在至少一个实施例中，指令可以通过在统一地址空间内指定地址来访问任何本地、共享或全局地址空间。在至少一个实施例中，地址映射单元1856可以用于将统一地址空间中的地址转换成可以由加载/存储单元1866访问的不同的存储器地址。
在至少一个实施例中，寄存器文件1858为图形多处理器1834的功能单元提供了一组寄存器。在至少一个实施例中，寄存器文件1858为连接到图形多处理器1834的功能单元(例如，GPGPU核心1862、加载/存储单元1866)的数据路径的操作数提供了临时存储。在至少一个实施例中，在每个功能单元之间划分寄存器文件1858，使得为每个功能单元分配寄存器文件1858的专用部分。在至少一个实施例中，寄存器文件1858在图形多处理器1834正在执行的不同线程束(其可以被称为波前和/或波)之间划分。
在至少一个实施例中，GPGPU核心1862可以各自包括用于执行图形多处理器1834的指令的浮点单元(FPU)和/或整数算术逻辑单元(ALU)。在至少一个实施例中，各个GPGPU核心1862的架构可以相似或架构可以不同。在至少一个实施例中，GPGPU核心1862的第一部分包括单精度FPU和整数ALU，而GPGPU核心的第二部分包括双精度FPU。在至少一个实施例中，FPU可以实现用于浮点算法的IEEE 754-2008标准或启用可变精度浮点算法。在至少一个实施例中，图形多处理器1834可以附加地包括一个或更多个固定功能或特殊功能单元，用于执行特定功能，诸如复制矩形或像素混合操作。在至少一个实施例中，GPGPU核心1862中的一个或更多个也可以包括固定或特殊功能逻辑。
在至少一个实施例中，GPGPU核心1862包括能够对多组数据执行单个指令的SIMD逻辑。在至少一个实施例中，GPGPU核心1862可以物理地执行SIMD4、SIMD8和SIMD16指令，并且在逻辑上执行SIMD1、SIMD2和SIMD32指令。在至少一个实施例中，用于GPGPU核心的SIMD指令可以在编译时由着色器编译器生成，或者在执行针对单程序多数据(SPMD)或SIMT架构编写和编译的程序时自动生成。在至少一个实施例中，可以经由单个SIMD指令来执行为SIMT执行模型配置的程序的多个线程。例如，在至少一个实施例中，可以经由单个SIMD8逻辑单元并行执行实施相同或相似操作的八个SIMT线程。
在至少一个实施例中，存储器和高速缓存互连1868是将图形多处理器1834的每个功能单元连接到寄存器文件1858和共享存储器1870的互连网络。在至少一个实施例中，存储器和高速缓存互连1868是交叉开关互连，其允许加载/存储单元1866在共享存储器1870和寄存器文件1858之间实现加载和存储操作。在至少一个实施例中，寄存器文件1858可以以与GPGPU核心1862相同的频率操作，从而在GPGPU核心1862和寄存器文件1858之间进行数据传输的延时非常低。在至少一个实施例中，共享存储器1870可以用于实现在图形多处理器1834内的功能单元上执行的线程之间的通信。在至少一个实施例中，高速缓存存储器1872可以用作例如数据高速缓存，用于高速缓存在功能单元和纹理单元1836之间通信的纹理数据。在至少一个实施例中，共享存储器1870也可以用作程序管理的高速缓存。在至少一个实施例中，除了存储在高速缓存存储器1872中的自动高速缓存的数据之外，在GPGPU核心1862上执行的线程还可以以编程方式将数据存储在共享存储器中。
在至少一个实施例中，如本文所述的并行处理器或GPGPU通信地耦合到主机/处理器核心，以加速图形操作、机器学习操作、图案分析操作以及各种通用GPU(GPGPU)功能。在至少一个实施例中，GPU可以通过总线或其他互连(例如，诸如PCIe或NVLink之类的高速互连)通信地耦合到主机处理器/核心。在至少一个实施例中，GPU可以与核心集成在封装或芯片上，并通过封装或芯片内部的内部处理器总线/互连通信地耦合到核心。在至少一个实施例中，不管GPU连接的方式如何，处理器核心都可以以工作描述符中包含的命令/指令序列的形式向该GPU分配工作。在至少一个实施例中，该GPU然后使用专用电路/逻辑来高效地处理这些命令/指令。
推理和/或训练逻辑615用于执行与一个或更多个实施例相关联的推理和/或训练操作。本文结合图6A和/或图6B提供关于推理和/或训练逻辑615的细节。在至少一个实施例中，推理和/或训练逻辑615可以在图形多处理器1834中使用，用于至少部分地基于使用本文描述的神经网络训练操作、神经网络函数和/或架构、或神经网络用例计算的权重参数来进行推理或预测操作。
在至少一个实施例中，推理和/或训练逻辑615的一个或更多个神经网络可以结合图18D的特征使用，并且可以被配置为从多个传感器接收传感器输入并且可以被训练为推理冷却剂需求。在至少一个实施例中，推理和/或训练逻辑615可能够使用来自历史冷却需求和历史传感器输入的信息来推理这一点。在至少一个实施例中，推理和/或训练逻辑615可以推理冷却需求的变化。在至少一个实施例中，传感器输入可以与不同传感器输入中的每一个的不同冷却需求的类别相关。在至少一个实施例中，在这样的不同的传感器输入的类别内分类的新的传感器输入可以指示冷却需求或其变化。
图19示出了根据至少一个实施例的多GPU计算系统1900。在至少一个实施例中，多GPU计算系统1900可以包括经由主机接口交换机1904耦合到多个通用图形处理单元(GPGPU)1906A-D的处理器1902。在至少一个实施例中，主机接口交换机1904是将处理器1902耦合到PCI Express总线的PCI Express交换机设备，处理器1902可以通过PCIExpress总线与GPGPU 1906A-D通信。在至少一个实施例中，GPGPU 1906A-D可以经由一组高速P2P(点对点)GPU到GPU链路1916进行互连。在至少一个实施例中，GPU到GPU链路1916经由专用GPU链路连接到GPGPU 1906A-D中的每一个。在至少一个实施例中，P2P GPU链路1916使得能够在每个GPGPU 1906A-D之间进行直接通信，而无需通过处理器1902所连接的主机接口总线1904进行通信。在至少一个实施例中，在GPU到GPU业务被定向到P2P GPU链路1916的情况下，主机接口总线1904保持可用于系统存储器访问或例如经由一个或更多个网络设备与多GPU计算系统1900的其他实例进行通信。虽然在至少一个实施例中，GPGPU 1906A-D经由主机接口交换机1904连接到处理器1902，但是在至少一个实施例中，处理器1902包括对P2P GPU链路1916的直接支持，并且可以直接连接到GPGPU 1906A-D。
推理和/或训练逻辑615用于执行与一个或更多个实施例相关联的推理和/或训练操作。本文结合图6A和/或图6B提供关于推理和/或训练逻辑615的细节。在至少一个实施例中，推理和/或训练逻辑615可以在多GPU计算系统1900中使用，用于至少部分地基于使用本文描述的神经网络训练操作、神经网络函数和/或架构、或神经网络用例计算的权重参数来进行推理或预测操作。
在至少一个实施例中，多GPU计算系统1900包括一个或更多个图形核心1600。
在至少一个实施例中，推理和/或训练逻辑615的一个或更多个神经网络可以结合图19的特征使用，并且可以被配置为从多个传感器接收传感器输入并且可以被训练为推理冷却剂需求。在至少一个实施例中，推理和/或训练逻辑615可能够使用来自历史冷却需求和历史传感器输入的信息来推理这一点。在至少一个实施例中，推理和/或训练逻辑615可以推理冷却需求的变化。在至少一个实施例中，传感器输入可以与不同传感器输入中的每一个的不同冷却需求的类别相关。在至少一个实施例中，在这样的不同的传感器输入的类别内分类的新的传感器输入可以指示冷却需求或其变化。
图20是根据至少一个实施例的图形处理器2000的框图。在至少一个实施例中，图形处理器2000包括环形互连2002、管线前端2004、媒体引擎2037和图形核心2080A-2080N。在至少一个实施例中，环形互连2002将图形处理器2000耦合到其他处理单元，所述处理单元包括其他图形处理器或一个或更多个通用处理器核心。在至少一个实施例中，图形处理器2000是集成在多核心处理系统内的许多处理器之一。在至少一个实施例中，图形处理器2000包括图形核心1600。
在至少一个实施例中，图形处理器2000经由环形互连2002接收多批命令。在至少一个实施例中，输入的命令由管线前端2004中的命令流转化器(streamer)2003解释。在至少一个实施例中，图形处理器2000包括可扩展执行逻辑，用于经由图形核心2080A-2080N执行3D几何处理和媒体处理。在至少一个实施例中，对于3D几何处理命令，命令流转化器2003将命令提供给几何管线2036。在至少一个实施例中，对于至少一些媒体处理命令，命令流转化器2003将命令提供给视频前端2034，该视频前端与媒体引擎2037耦合。在至少一个实施例中，媒体引擎2037包括用于视频和图像后处理的视频质量引擎(VQE)2030，以及用于提供硬件加速的媒体数据编码和解码的多格式编码/解码(MFX)2033引擎。在至少一个实施例中，几何管线2036和媒体引擎2037各自生成用于由至少一个图形核心2080提供的线程执行资源的执行线程。
在至少一个实施例中，图形处理器2000包括具有(featuring)图形核心2080A-2080N(其可以是模块化的并且有时被称为核心切片)特征的可扩展线程执行资源，每个图形核心具有多个子核心2050A-2050N，2060A-2060N(有时称为核心子切片)。在至少一个实施例中，图形处理器2000可以具有任意数量的图形核心2080A。在至少一个实施例中，图形处理器2000包括具有至少第一子核心2050A和第二子核心2060A的图形核心2080A。在至少一个实施例中，图形处理器2000是具有单个子核心(例如2050A)的低功率处理器。在至少一个实施例中，图形处理器2000包括多个图形核心2080A-2080N，每个图形核心包括一组第一子核心2050A-2050N和一组第二子核心2060A-2060N。在至少一个实施例中，第一子核心2050A-2050N中的每个子核心至少包括第一组执行单元2052A-2052N和媒体/纹理采样器2054A-2054N。在至少一个实施例中，第二子核心2060A-2060N中的每个子核心至少包括第二组执行单元2062A-2062N和采样器2064A-2064N。在至少一个实施例中，每个子核心2050A-2050N、2060A-2060N共享一组共享资源2070A-2070N。在至少一个实施例中，共享资源包括共享高速缓存存储器和像素操作逻辑。在至少一个实施例中，图形处理器2000包括管道前端2004中的加载/存储单元。
推理和/或训练逻辑615用于执行与一个或更多个实施例相关联的推理和/或训练操作。本文结合图6A和/或图6B提供关于推理和/或训练逻辑615的细节。在至少一个实施例中，推理和/或训练逻辑615可以在图形处理器2000中使用，用于至少部分地基于使用本文描述的神经网络训练操作、神经网络函数和/或架构、或神经网络用例计算的权重参数来进行推理或预测操作。
在至少一个实施例中，推理和/或训练逻辑615的一个或更多个神经网络可以结合图20的特征使用，并且可以被配置为从多个传感器接收传感器输入并且可以被训练为推理冷却剂需求。在至少一个实施例中，推理和/或训练逻辑615可能够使用来自历史冷却需求和历史传感器输入的信息来推理这一点。在至少一个实施例中，推理和/或训练逻辑615可以推理冷却需求的变化。在至少一个实施例中，传感器输入可以与不同传感器输入中的每一个的不同冷却需求的类别相关。在至少一个实施例中，在这样的不同的传感器输入的类别内分类的新的传感器输入可以指示冷却需求或其变化。
图21是根据至少一个实施例的示出用于处理器2100的微架构的框图，该处理器2100可以包括用于执行指令的逻辑电路。在至少一个实施例中，处理器2100可以执行指令，包括x86指令、ARM指令、用于专用集成电路(ASIC)的专用指令等。在至少一个实施例中，处理器2100可以包括用于存储打包数据的寄存器，诸如用加利福尼亚州圣克拉拉市的英特尔公司的MMX技术实现的微处理器中的64位宽MMXTM寄存器。在至少一个实施例中，整数和浮点数形式两者可用的MMX寄存器可以与打包数据元素一起操作，所述打包数据元素伴随单指令多数据(“SIMD”)和流式SIMD扩展(“SSE”)指令。在至少一个实施例中，与SSE2、SSE3、SSE4、AVX或更高版本(beyond)(通常称为“SSEx”)技术有关的128位宽XMM寄存器可以保存此类打包数据操作数。在至少一个实施例中，处理器2100可以执行加速机器学习或深度学习算法、训练或推理的指令。
在至少一个实施例中，处理器2100包括有序前端(“前端”)2101，用于提取要执行的指令并准备稍后在处理器管线中使用的指令。在至少一个实施例中，前端2101可以包括若干单元。在至少一个实施例中，指令预取器2126从存储器中获取指令并将指令馈送给指令解码器2128，指令解码器2128又对指令进行解码或解释。例如，在至少一个实施例中，指令解码器2128将接收到的指令解码为机器可执行的所谓的“微操作”或“微指令”(也称为“micro ops”或“uops”或“μ-ops”)的一个或更多个操作。在至少一个实施例中，指令解码器2128将指令解析为操作码和相应的数据以及控制字段，其可以由微架构使用以根据至少一个实施例来执行操作。在至少一个实施例中，跟踪高速缓存2130可以将解码的微操作组装成微操作队列2134中的程序有序的序列或跟踪以供执行。在至少一个实施例中，当跟踪高速缓存2130遇到复杂指令时，微代码ROM 2132提供完成操作所需的微操作。
在至少一个实施例中，可以将一些指令转换成单个微操作，而另一些指令则需要若干微操作来完成全部操作。在至少一个实施例中，如果需要多于四个微操作来完成一条指令，则指令解码器2128可以访问微代码ROM 2132以执行该指令。在至少一个实施例中，可以将指令解码为少量的微操作以在指令解码器2128处进行处理。在至少一个实施例中，如果需要多个微操作来完成该操作，则可以将指令存储在微代码ROM 2132中。在至少一个实施例中，跟踪高速缓存2130参考入口点可编程逻辑阵列(“PLA”)以确定正确的微指令指针，用于根据至少一个实施例从微代码ROM 2132读取微代码序列以完成一个或更多个指令。在至少一个实施例中，在微代码ROM 2132完成对指令的微操作进行序列化之后，机器的前端2101可以恢复从跟踪高速缓存2130获取微操作。
在至少一个实施例中，乱序执行引擎(“乱序引擎”)2103可以准备指令以供执行。在至少一个实施例中，乱序执行逻辑具有多个缓冲区，以使指令流平滑并重新排序，以在指令流沿管线向下走并被调度用于执行时优化性能。在至少一个实施例中，乱序执行引擎2103包括但不限于分配器/寄存器重命名器2140、存储器微操作队列2142、整数/浮点微操作队列2144、存储器调度器2146、快速调度器2102、慢速/通用浮点调度器(“慢速/通用FP调度器”)2104和简单浮点调度器(“简单FP调度器”)2106。在至少一个实施例中，快速调度器2102、慢速/通用浮点调度器2104和简单浮点调度器2106在本文中也统称为“微操作调度器2102、2104、2106”。在至少一个实施例中，分配器/寄存器重命名器2140分配每个微操作为了执行所需要的机器缓冲区和资源。在至少一个实施例中，分配器/寄存器重命名器2140将逻辑寄存器重命名为寄存器文件中的条目。在至少一个实施例中，分配器/寄存器重命名器2140还为两个微操作队列之一中的每个微操作分配条目，在存储器调度器2146和微操作调度器2102、2104、2106的前面，存储器微操作队列2142用于存储器操作和整数/浮点微操作队列2144用于非存储器操作。在至少一个实施例中，微操作调度器2102、2104、2106基于它们的从属输入寄存器操作数源的就绪性和微操作完成其操作所需的执行资源的可用性来确定何时准备好执行微操作。在至少一个实施例中，快速调度器2102可以在主时钟周期的每个一半上调度，而慢速/通用浮点调度器2104和简单浮点调度器2106可以在每主处理器时钟周期调度一次。在至少一个实施例中，微操作调度器2102、2104、2106对分派端口进行仲裁，以调度微操作以供执行。
在至少一个实施例中，执行块2111包括但不限于整数寄存器文件/旁路网络2108、浮点寄存器文件/旁路网络(“FP寄存器文件/旁路网络”)2110、地址生成单元(“AGU”)2112和2114、快速算术逻辑单元(ALU)(“快速ALU”)2116和2118、慢速算术逻辑单元(“慢速ALU”)2120、浮点ALU(“FP”)2122和浮点移动单元(“FP移动”)2124。在至少一个实施例中，整数寄存器文件/旁路网络2108和浮点寄存器文件/旁路网络2110在本文中也称为“寄存器文件2108、2110”。在至少一个实施例中，AGU 2112和2114、快速ALU 2116和2118、慢速ALU 2120、浮点ALU 2122和浮点移动单元2124在本文中也称为“执行单元2112、2114、2116、2118、2120、2122和2124”。在至少一个实施例中，执行块2111可以包括但不限于以任何组合的任意数量(包括零)和类型的寄存器文件、旁路网络、地址生成单元和执行单元。
在至少一个实施例中，寄存器网络2108、2110可以布置在微操作调度器2102、2104、2106与执行单元2112、2114、2116、2118、2120、2122和2124之间。在至少一个实施例中，整数寄存器文件/旁路网络2108执行整数运算。在至少一个实施例中，浮点寄存器文件/旁路网络2110执行浮点运算。在至少一个实施例中，寄存器网络2108、2110中的每一个可以包括但不限于旁路网络，该旁路网络可以绕过尚未写入寄存器文件中的刚刚完成的结果或将其转发到新的相关微操作。在至少一个实施例中，寄存器网络2108、2110可以彼此通信数据。在至少一个实施例中，整数寄存器文件/旁路网络2108可以包括但不限于两个单独的寄存器文件，一个寄存器文件用于低阶32位数据，另一个寄存器文件用于高阶32位数据。在至少一个实施例中，浮点寄存器文件/旁路网络2110可以包括但不限于128位宽的条目，因为浮点指令通常具有宽度为64位至128位的操作数。
在至少一个实施例中，执行单元2112、2114、2116、2118、2120、2122、2124可以执行指令。在至少一个实施例中，寄存器网络2108、2110存储微指令需要执行的整数和浮点数据操作数值。在至少一个实施例中，处理器2100可以包括但不限于任何数量的执行单元2112、2114、2116、2118、2120、2122、2124及其组合。在至少一个实施例中，浮点ALU 2122和浮点移动单元2124，可以执行浮点、MMX、SIMD、AVX和SSE或其他操作，包括专门的机器学习指令。在至少一个实施例中，浮点ALU 2122可以包括但不限于64位乘64位浮点除法器，用于执行除法、平方根和余数微操作。在至少一个实施例中，可以用浮点硬件来处理涉及浮点值的指令。在至少一个实施例中，可以将ALU操作传递给快速ALU 2116、2118。在至少一个实施例中，快速ALU 2116、2118可以以半个时钟周期的有效延时执行快速操作。在至少一个实施例中，大多数复杂的整数运算进入慢速ALU 2120，因为慢速ALU 2120可以包括但不限于用于长延时类型操作的整数执行硬件，诸如乘法器、移位、标志逻辑和分支处理。在至少一个实施例中，存储器加载/存储操作可以由AGU 2112、2114执行。在至少一个实施例中，快速ALU2116、快速ALU 2118和慢速ALU 2120可以对64位数据操作数执行整数运算。在至少一个实施例中，可以实现快速ALU 2116、快速ALU 2118和慢速ALU 2120以支持包括十六、三十二、128、256等的各种数据位大小。在至少一个实施例中，浮点ALU 2122和浮点移动单元2124可以实现为支持具有各种宽度的位的一定范围的操作数，诸如结合SIMD和多媒体指令支持128位宽打包数据操作数。
在至少一个实施例中，微操作调度器2102、2104、2106在父加载已完成执行之前分派相关(dependent)操作。在至少一个实施例中，由于可以在处理器2100中推测性地调度和执行微操作，因此处理器2100还可以包括用于处理存储器未命中的逻辑。在至少一个实施例中，如果数据高速缓存中的数据加载未命中，则可能在管线中存在正在运行的相关操作，其使调度器暂时没有正确的数据。在至少一个实施例中，一种重放(replay)机制跟踪并重新执行使用不正确数据的指令。在至少一个实施例中，可能需要重放相关操作并且可以允许完成独立操作。在至少一个实施例中，处理器的至少一个实施例的调度器和重放机制也可以设计为捕获用于文本串比较操作的指令序列。
在至少一个实施例中，“寄存器”可以指代可以用作识别操作数的指令的一部分的机载处理器存储位置。在至少一个实施例中，寄存器可以是那些可以从处理器外部使用的寄存器(从程序员的角度来看)。在至少一个实施例中，寄存器可能不限于特定类型的电路。相反，在至少一个实施例中，寄存器可以存储数据、提供数据并执行本文描述的功能。在至少一个实施例中，本文描述的寄存器可以由处理器内的电路使用任何数量的不同技术来实现，诸如专用物理寄存器、使用寄存器重命名的动态分配的物理寄存器、专用和动态分配的物理寄存器的组合等。在至少一个实施例中，整数寄存器存储32位整数数据。至少一个实施例的寄存器文件还包含八个用于打包数据的多媒体SIMD寄存器。
在至少一个实施例中，处理器2100或处理器2100的每个核心包括一个或更多个预取器、一个或更多个提取器、一个或更多个预解码器、用于解码数据(例如，指令)的一个或更多个解码器，用于处理指令(例如，对应于操作或API调用)的一个或更多个指令队列、用于存储μOP的一个或更多个微操作(μOP)高速缓存、一个或更多个微操作(μOP)队列，有序执行引擎、一个或更多个加载缓冲器、一个或更多个存储缓冲器、一个或更多个重排序缓冲器、一个或更多个填充缓冲器、无序执行引擎，一个或更多个端口、一个或更多个移位和/或移位器单元、一个或更多个融合乘法累加(FMA)单元、用于执行与加载/存储数据(例如，指令)相对应的存储操作的加载的一个或更多个加载和存储单元(“LSU”)以执行操作(例如，执行API、API调用)，一或多个矩阵乘法累加(MMA)单元，和/或一或多个混洗单元，用以执行本文关于所述处理器2100进一步描述的任何功能。在至少一个实施例中，处理器2100可以访问、使用、执行或执行与调用API相对应的指令。
在至少一个实施例中，处理器2100包括一个或更多个超路径互连(UPI)，例如，该UPI是点对点处理器互连；一个或更多个PCIe；用于加速计算或操作的一个或更多个加速器；和/或一个或更多个存储器控制器。在至少一个实施例中，处理器2100包括耦合到一个或更多个存储器控制器的共享末级高速缓存(LLC)，其可以使能跨处理器核的共享存储器访问。
在至少一个实施例中，处理器2100或处理器2100的核心具有网格架构，其中处理器核心、片上高速缓存、存储器控制器和I/O控制器被组织成行和列，导线和开关在每个交叉点处连接它们以允许转弯。在至少一个实施例中，处理器2100具有一个或更多个更高的存储器带宽(HMB，例如，HMBe)以便例如在双倍数据速率5同步动态随机存取存储器(DDR5SDRAM)中存储数据或高速缓存数据。在至少一个实施例中，处理器2100的一个或更多个组件使用计算快速链路(CXL)互连被互连。在至少一个实施例中，存储器控制器使用“最近最少使用”(LRU)方法来确定什么存储在高速缓存中。在至少一个实施例中，处理器2100包括一个或更多个PCIe(例如，PCIe 5.0)。
推理和/或训练逻辑615用于执行与一个或更多个实施例相关联的推理和/或训练操作。本文结合图6A和/或图6B提供关于推理和/或训练逻辑615的细节。在至少一个实施例中，可以将推理和/或训练逻辑615的部分或全部并入执行块2111以及示出或未示出的其他存储器或寄存器。例如，在至少一个实施例中，本文描述的训练和/或推理技术可以使用执行块2111中示出的一个或更多个ALU。此外，权重参数可以存储在片上或片外存储器和/或寄存器(示出或未示出)中，其配置执行块2111的ALU以执行一种或更多种本文所述的机器学习算法、神经网络架构、用例或训练技术。
在至少一个实施例中，推理和/或训练逻辑615的一个或更多个神经网络可以结合图21的特征使用，并且可以被配置为从多个传感器接收传感器输入并且可以被训练为推理冷却剂需求。在至少一个实施例中，推理和/或训练逻辑615可能够使用来自历史冷却需求和历史传感器输入的信息来推理这一点。在至少一个实施例中，推理和/或训练逻辑615可以推理冷却需求的变化。在至少一个实施例中，传感器输入可以与不同传感器输入中的每一个的不同冷却需求的类别相关。在至少一个实施例中，在这样的不同的传感器输入的类别内分类的新的传感器输入可以指示冷却需求或其变化。
图22示出了根据至少一个实施例的深度学习应用程序处理器2200。在至少一个实施例中，深度学习应用程序处理器2200使用指令，该指令如果由深度学习应用程序处理器2200执行，则使深度学习应用程序处理器2200执行贯穿本公开描述的一些或全部过程和技术。在至少一个实施例中，深度学习应用程序处理器2200是专用集成电路(ASIC)。在至少一个实施例中，作为执行一个或更多个指令或两者的结果，应用程序处理器2200执行矩阵乘法运算或者“硬连线”到硬件中。在至少一个实施例中，深度学习应用程序处理器2200包括但不限于处理集群2210(1)-2210(12)、芯片间链路(“ICL”)2220(1)-2220(12)、芯片间控制器(“ICC”)2230(1)-2230(2)、第二代高带宽存储器(“HBM2”)2240(1)-2240(4)、存储器控制器(“Mem Ctrlr”)2242(1)-2242(4)、高带宽存储器物理层(“HBM PHY”)2244(1)-2244(4)、管理控制器中央处理单元(“管理控制器CPU”)2250、串行外围设备接口、内部集成电路和通用输入/输出块(“SPI、I2C、GPIO”)2260、外围组件互连快速控制器和直接存储器访问块(“PCIe控制器和DMA”)2270、以及十六通道外围组件互连快速端口(“PCI Express x 16”)2280。
在至少一个实施例中，处理集群2210可以执行深度学习操作，包括基于一种或更多种训练技术(包括本文所述的那些技术)计算的权重参数的推理或预测操作。在至少一个实施例中，每个处理集群2210可以包括但不限于任何数量和类型的处理器。在至少一个实施例中，深度学习应用程序处理器2200可以包括任何数量和类型的处理集群2200。在至少一个实施例中，芯片间链路2220是双向的。在至少一个实施例中，芯片间链路2220和芯片间控制器2230使多个深度学习应用程序处理器2200能够交换信息，包括从执行一个或更多个神经网络中体现的一种或更多种机器学习算法而产生的激活信息。在至少一个实施例中，深度学习应用程序处理器2200可以包括任意数量(包括零)和类型的ICL 2220和ICC 2230。
在至少一个实施例中，HBM2 2240提供总共32GB的存储器。在至少一个实施例中，HBM2 2240(i)与存储器控制器2242(i)和HBM PHY 2244(i)两者相关联，其中“i”是任意整数。在至少一个实施例中，任何数量的HBM2 2240可以提供任何类型和总量的高带宽存储器，并且可以与任何数量(包括零)和类型的存储器控制器2242和HBM PHY 2244相关联。在至少一个实施例中，可以用以任何技术上可行的方式实现任何数量和类型的通信标准的任何数量和类型的块替换SPI、I2C、GPIO 2260、PCIe控制器和DMA 2270和/或PCIe 2280。
推理和/或训练逻辑615用于执行与一个或更多个实施例相关联的推理和/或训练操作。本文结合图6A和/或图6B提供关于推理和/或训练逻辑615的细节。在至少一个实施例中，深度学习应用程序处理器用于训练机器学习模型(诸如神经网络)，以预测或推理提供给深度学习应用程序处理器2200的信息。在至少一个实施例中，深度学习应用程序处理器2200用于基于已经由另一处理器或系统或由深度学习应用程序处理器2200训练的经训练的机器学习模型(例如，神经网络)来推理或预测信息。在至少一个实施例中，处理器2200可以用于执行本文所述的一个或更多个神经网络用例。
在至少一个实施例中，推理和/或训练逻辑615的一个或更多个神经网络可以结合图22的特征使用，并且可以被配置为从多个传感器接收传感器输入并且可以被训练为推理冷却剂需求。在至少一个实施例中，推理和/或训练逻辑615可能够使用来自历史冷却需求和历史传感器输入的信息来推理这一点。在至少一个实施例中，推理和/或训练逻辑615可以推理冷却需求的变化。在至少一个实施例中，传感器输入可以与不同传感器输入中的每一个的不同冷却需求的类别相关。在至少一个实施例中，在这样的不同的传感器输入的类别内分类的新的传感器输入可以指示冷却需求或其变化。
图23是根据至少一个实施例的神经形态处理器2300的框图。在至少一个实施例中，神经形态处理器2300可以从神经形态处理器2300外部的源接收一个或更多个输入。在至少一个实施例中，这些输入可以被传送到神经形态处理器2300内的一个或更多个神经元2302。在至少一个实施例中，可以使用包括一个或更多个算术逻辑单元(ALU)的电路或逻辑来实现神经元2302及其组件。在至少一个实施例中，神经形态处理器2300可以包括但不限于数千或数百万个神经元2302的实例，但是可以使用任何合适数量的神经元2302。在至少一个实施例中，神经元2302的每个实例可以包括神经元输入2304和神经元输出2306。在至少一个实施例中，神经元2302可以生成可以传送到神经元2302的其他实例的输入的输出。例如，在至少一个实施例中，神经元输入2304和神经元输出2306可以经由突触2308互连。
在至少一个实施例中，神经元2302和突触2308可以互连，使得神经形态处理器2300操作以处理或分析由神经形态处理器2300接收的信息。在至少一个实施例中，当通过神经元输入2304接收到的输入超过阈值时，神经元2302可以发送输出脉冲(或“放电(fire)”或“尖峰(spike)”)。在至少一个实施例中，神经元2302可以对在神经元输入2304处接收到的信号进行求和或积分。例如，在至少一个实施例中，神经元2302可以实现为有泄漏的整合放电(leaky integrate-and-fire)神经元，其中如果求和(称为“膜电位”)超过阈值，则神经元2302可以使用诸如sigmoid或阈值函数之类的传递函数来产生输出(或“放电”)。在至少一个实施例中，有泄漏的整合放电神经元可以将在神经元输入2304处接收到的信号求和成膜电位，并且还可以应用衰减因子(或泄漏)以减小膜电位。在至少一个实施例中，如果在神经元输入2304处接收到足够快以超过阈值的多个输入信号(即，在膜电位衰减得太低而不能放电之前)，则有泄漏的整合放电神经元可能会放电。在至少一个实施例中，神经元2302可以使用接收输入、将输入积分成膜电位、以及衰减膜电位的电路或逻辑来实现。在至少一个实施例中，可以对输入求平均，或者可以使用任何其他合适的传递函数。此外，在至少一个实施例中，神经元2302可以包括但不限于当将传递函数应用于神经元输入2304的结果超过阈值时在神经元输出2306处产生输出尖峰的比较器电路或逻辑。在至少一个实施例中，一旦神经元2302放电，它可以通过例如将膜电位复位为0或另一合适的默认值来忽略先前接收的输入信息。在至少一个实施例中，一旦膜电位被重置为0，则神经元2302可以在合适的时间段(或不应期)之后恢复正常操作。
在至少一个实施例中，神经元2302可以通过突触2308互连。在至少一个实施例中，突触2308可以操作以将来自第一神经元2302的输出的信号发送到第二神经元2302的输入。在至少一个实施例中，神经元2302可以在突触2308的一个以上的实例上传送信息。在至少一个实施例中，神经元输出2306的一个或更多个实例可以经由突触2308的实例连接到同一神经元2302中神经元输入2304的实例。在至少一个实施例中，相对于突触2308的实例，产生要在突触2308的该实例上传送的输出的神经元2302的实例可以被称为“突触前神经元”。在至少一个实施例中，相对于突触2308的实例，接收通过突触2308的该实例传送的输入的神经元2302的实例可以被称为“突触后神经元”。在至少一个实施例中，相对于突触2308的各个实例，因为神经元2302的实例可以接收来自突触2308的一个或更多个实例的输入，并且还可以通过突触2308的一个或更多个实例传送输出，因此神经元2302的单个实例可以既是“突触前神经元”又是“突触后神经元”。
在至少一个实施例中，神经元2302可以被组织成一个或更多个层。在至少一个实施例中，神经元2302的每个实例可以具有一个神经元输出2306，该神经元输出2306可以通过一个或更多个突触2308扇出到一个或更多个神经元输入2304。在至少一个实施例中，第一层2310中的神经元2302的神经元输出2306可以连接到第二层2312中的神经元2302的神经元输入2304。在至少一个实施例中，层2310可以被称为“前馈层”。在至少一个实施例中，第一层2310的实例中神经元2302的每个实例可以扇出到第二层2312中的神经元2302的每个实例。在至少一个实施例中，第一层2310可以被称为“全连接的前馈层”。在至少一个实施例中，第二层2312的实例中的神经元2302的每个实例可以扇出到第三层2314中的神经元2302的少于所有实例。在至少一个实施例中，第二层2312可以被称为“稀疏连接的前馈层”。在至少一个实施例中，第二层2312中的神经元2302可以扇出到多个其他层中的神经元2302，包括扇出到也在第二层2312中的神经元2302。在至少一个实施例中，第二层2312可以被称为“循环层”。在至少一个实施例中，神经形态处理器2300可以包括但不限于循环层和前馈层的任何合适的组合，包括但不限于稀疏连接的前馈层和全连接的前馈层。
在至少一个实施例中，神经形态处理器2300可以包括但不限于可重新配置的互连架构或专用硬连线互连，用于将突触2308连接到神经元2302。在至少一个实施例中，神经形态处理器2300可以包括但不限于电路或逻辑，其允许基于神经网络拓扑结构和神经元扇入/扇出根据需要将突触分配给不同神经元2302。例如，在至少一个实施例中，可以使用互连结构(诸如片上网络)或利用专用连接将突触2308连接到神经元2302。在至少一个实施例中，可以使用电路或逻辑来实现突触互连及其组件。
在至少一个实施例中，推理和/或训练逻辑615的一个或更多个神经网络可以结合图23的特征使用，并且可以被配置为从多个传感器接收传感器输入并且可以被训练为推理冷却剂需求。在至少一个实施例中，推理和/或训练逻辑615可能够使用来自历史冷却需求和历史传感器输入的信息来推理这一点。在至少一个实施例中，推理和/或训练逻辑615可以推理冷却需求的变化。在至少一个实施例中，传感器输入可以与不同传感器输入中的每一个的不同冷却需求的类别相关。在至少一个实施例中，在这样的不同的传感器输入的类别内分类的新的传感器输入可以指示冷却需求或其变化。
图24是根据至少一个实施例的处理系统。在至少一个实施例中，系统2400包括一个或更多个处理器2402和一个或更多个图形处理器2408，并且可以是单处理器台式机系统、多处理器工作站系统或具有大量处理器2402或处理器核心2407的服务器系统。在至少一个实施例中，系统2400是包含在片上系统(SoC)集成电路内的处理平台，以在移动、手持或嵌入式设备中使用。在至少一个实施例中，一个或更多个图形处理器2408包括一个或更多个图形核心1600。
在至少一个实施例中，系统2400可以包括或结合在基于服务器的游戏平台、包括游戏和媒体控制台的游戏控制台、移动游戏控制台、手持游戏控制台或在线游戏控制台中。在至少一个实施例中，系统2400是移动电话、智能电话、平板计算设备或移动互联网设备。在至少一个实施例中，处理系统2400还可包括与可穿戴设备耦合或集成在可穿戴设备中，诸如智能手表可穿戴设备、智能眼镜设备、增强现实设备或虚拟现实设备。在至少一个实施例中，处理系统2400是电视或机顶盒设备，其具有一个或更多个处理器2402以及由一个或更多个图形处理器2408生成的图形界面。
在至少一个实施例中，一个或更多个处理器2402的每个都包括一个或更多个处理器核心2407，用于处理指令，该指令在被执行时执行针对系统和用户软件的操作。在至少一个实施例中，一个或更多个处理器核心2407中的每一个被配置为处理特定指令序列2409。在至少一个实施例中，指令序列2409可以促进复杂指令集计算(CISC)、精简指令集计算(RISC)、或经由超长指令字(VLIW)的计算。在至少一个实施例中，处理器核心2407可以各自处理不同的指令序列2409，该指令序列可以包括有助于仿真其他指令序列的指令。在至少一个实施例中，处理器核心2407还可以包括其他处理设备，诸如数字信号处理器(DSP)。
在至少一个实施例中，处理器2402包括高速缓存存储器2404。在至少一个实施例中，处理器2402可以具有单个内部高速缓存或更多个级别的内部高速缓存。在至少一个实施例中，高速缓存存储器在处理器2402的各个组件之间共享。在至少一个实施例中，处理器2402还使用外部高速缓存(例如，三级(L3)高速缓存或最后一级高速缓存(LLC))(未示出)，可以使用已知的高速缓存一致性技术在处理器核心2407之间共享该外部高速缓存。在至少一个实施例中，处理器2402中附加地包括寄存器文件2406，该寄存器文件可以包括用于存储不同类型的数据的不同类型的寄存器(例如，整数寄存器、浮点寄存器、状态寄存器和指令指针寄存器)。在至少一个实施例中，寄存器文件2406可以包括通用寄存器或其他寄存器。
在至少一个实施例中，一个或更多个处理器2402与一个或更多个接口总线2410耦合，以在处理器2402与系统2400中的其他组件之间传送通信信号，诸如地址、数据或控制信号。在至少一个实施例中，接口总线2410可以是处理器总线，诸如直接媒体接口(DMI)总线的版本。在至少一个实施例中，接口总线2410不限于DMI总线，并且可以包括一个或更多个外围组件互连总线(例如，PCI、PCI Express)、存储器总线或其他类型的接口总线。在至少一个实施例中，一个或更多个处理器2402包括集成存储器控制器2416和平台控制器集线器2430。在至少一个实施例中，存储器控制器2416促进存储器设备与系统2400的其他组件之间的通信，而平台控制器集线器(PCH)2430经由本地I/O总线提供到I/O设备的连接。
在至少一个实施例中，存储器设备2420可以是动态随机存取存储器(DRAM)设备、静态随机存取存储器(SRAM)设备、闪存设备、相变存储器设备或具有适当的性能以用作处理器存储器的一些其他存储器设备。在至少一个实施例中，存储器设备2420可以操作为系统2400的系统存储器，用于存储数据2422和指令2421，以在一个或更多个处理器2402执行应用程序或过程时使用。在至少一个实施例中，存储器控制器2416还与可选的外部图形处理器2412耦合，该外部图形处理器可以与处理器2402中的一个或更多个图形处理器2408通信以执行图形和媒体操作。在至少一个实施例中，显示设备2411可以连接至一个或更多个处理器2402。在至少一个实施例中，显示设备2411可以包括内部显示设备中的一个或更多个，例如在移动电子设备或膝上型设备或经由显示器接口(例如显示端口(DisplayPort)等)附接的外部显示设备中。在至少一个实施例中，显示设备2411可以包括头戴式显示器(HMD)，诸如用于虚拟现实(VR)应用或增强现实(AR)应用中的立体显示设备。
在至少一个实施例中，平台控制器集线器2430使外围设备能够经由高速I/O总线连接到存储器设备2420和处理器2402。在至少一个实施例中，I/O外围设备包括但不限于音频控制器2446、网络控制器2434、固件接口2428、无线收发器2426、触摸传感器2425、数据存储设备2424(例如，硬盘驱动器、闪存等)。在至少一个实施例中，数据存储设备2424可以经由存储接口(例如，SATA)或经由外围总线来连接，诸如外围组件互连总线(例如，PCI、PCIe)。在至少一个实施例中，触摸传感器2425可以包括触摸屏传感器、压力传感器或指纹传感器。在至少一个实施例中，无线收发器2426可以是Wi-Fi收发器、蓝牙收发器或移动网络收发器，诸如3G、4G或长期演进(LTE)收发器。在至少一个实施例中，固件接口2428使能与系统固件的通信，并且可以是例如统一可扩展固件接口(UEFI)。在至少一个实施例中，网络控制器2434可以实现到有线网络的网络连接。在至少一个实施例中，高性能网络控制器(未示出)与接口总线2410相耦合。在至少一个实施例中，音频控制器2446是多通道高清音频控制器。在至少一个实施例中，系统2400包括可选的传统(legacy)I/O控制器2440，用于将传统(例如，个人系统2(PS/2))设备耦合到系统2400。在至少一个实施例中，平台控制器集线器2430还可以连接到一个或更多个通用串行总线(USB)控制器2442，其连接输入设备，诸如键盘和鼠标2443组合、相机2444或其他USB输入设备。
在至少一个实施例中，存储器控制器2416和平台控制器集线器2430的实例可以集成到分立的外部图形处理器中，诸如外部图形处理器2412。在至少一个实施例中，平台控制器集线器2430和/或存储器控制器2416可以在一个或更多个处理器2402的外部。例如，在至少一个实施例中，系统2400可以包括外部存储器控制器2416和平台控制器集线器2430，其可以配置成在与一个或更多个处理器2402通信的系统芯片组中的存储器控制器集线器和外围控制器集线器。
推理和/或训练逻辑615用于执行与一个或更多个实施例相关联的推理和/或训练操作。本文结合图6A和/或图6B提供关于推理和/或训练逻辑615的细节。在至少一个实施例中，部分或全部推理和/或训练逻辑615可以结合到图形处理器2408中。例如，在至少一个实施例中，本文描述的训练和/或推理技术可以使用一个或更多个ALU，所述ALU体现在3D管线中。此外，在至少一个实施例中，本文描述的推理和/或训练操作可以使用除图6A或图6B所示的逻辑之外的逻辑来完成。在至少一个实施例中，权重参数可以存储在片上或片外存储器和/或寄存器(示出或未示出)中，其配置图形处理器2408的ALU，以执行本文所述的一种或更多种机器学习算法、神经网络架构、用例或训练技术。
在至少一个实施例中，推理和/或训练逻辑615的一个或更多个神经网络可以结合图24的特征使用，并且可以被配置为从多个传感器接收传感器输入并且可以被训练为推理冷却剂需求。在至少一个实施例中，推理和/或训练逻辑615可能够使用来自历史冷却需求和历史传感器输入的信息来推理这一点。在至少一个实施例中，推理和/或训练逻辑615可以推理冷却需求的变化。在至少一个实施例中，传感器输入可以与不同传感器输入中的每一个的不同冷却需求的类别相关。在至少一个实施例中，在这样的不同的传感器输入的类别内分类的新的传感器输入可以指示冷却需求或其变化。
图25是根据至少一个实施例的具有一个或更多个处理器核心2502A-2502N、集成存储器控制器2514和集成图形处理器2508的处理器2500的框图。在至少一个实施例中，处理器2500可以包括附加核心，多达并包括以虚线框表示的附加核心2502N。在至少一个实施例中，每个处理器核心2502A-2502N包括一个或更多个内部高速缓存单元2504A-2504N。在至少一个实施例中，每个处理器核心还可以访问一个或更多个共享高速缓存单元2506。在至少一个实施例中，图形处理器2508包括一个或更多个图形核心1600。
在至少一个实施例中，内部高速缓存单元2504A-2504N和共享高速缓存单元2506表示处理器2500内的高速缓存存储器层次结构。在至少一个实施例中，高速缓存存储器单元2504A-2504N可以包括每个处理器核心内的至少一级指令和数据高速缓存以及一级或更多级共享中级高速缓存，诸如2级(L2)、3级(L3)、4级(L4)或其他级别的高速缓存，其中将外部存储器之前的最高级别的高速缓存归类为LLC。在至少一个实施例中，高速缓存一致性逻辑维持各个高速缓存单元2506和2504A-2504N之间的一致性。
在至少一个实施例中，处理器2500还可包括一组一个或更多个总线控制器单元2516和系统代理核心2510。在至少一个实施例中，总线控制器单元2516管理一组外围总线，诸如一个或更多个PCI或PCIe总线。在至少一个实施例中，系统代理核心2510为各个处理器组件提供管理功能。在至少一个实施例中，系统代理核心2510包括一个或更多个集成存储器控制器2514，用于管理对各种外部存储器设备(未示出)的访问。
在至少一个实施例中，一个或更多个处理器核心2502A-2502N包括对同时多线程处理的支持。在至少一个实施例中，系统代理核心2510包括用于在多线程处理期间协调和操作核心2502A-2502N的组件。在至少一个实施例中，系统代理核心2510可以另外包括电源控制单元(PCU)，该电源控制单元包括用于调节处理器核心2502A-2502N和图形处理器2508的一个或更多个电源状态的逻辑和组件。
在至少一个实施例中，处理器2500还包括用于执行图形处理操作的图形处理器2508。在至少一个实施例中，图形处理器2508与共享高速缓存单元2506和包括一个或更多个集成存储器控制器2514的系统代理核心2510耦合。在至少一个实施例中，系统代理核心2510还包括用于驱动图形处理器输出到一个或更多个耦合的显示器的显示器控制器2511。在至少一个实施例中，显示器控制器2511还可以是经由至少一个互连与图形处理器2508耦合的独立模块，或者可以集成在图形处理器2508内。
在至少一个实施例中，基于环的互连单元2512用于耦合处理器2500的内部组件。在至少一个实施例中，可以使用替代性互连单元，诸如点对点互连、交换互连或其他技术。在至少一个实施例中，图形处理器2508经由I/O链路2513与环形互连2512耦合。
在至少一个实施例中，I/O链路2513代表多种I/O互连中的至少一种，包括促进各个处理器组件与高性能嵌入式存储器模块2518(诸如eDRAM模块)之间的通信的封装I/O互连。在至少一个实施例中，处理器核心2502A-2502N和图形处理器2508中的每一个使用嵌入式存储器模块2518作为共享的最后一级高速缓存。
在至少一个实施例中，处理器核心2502A-2502N是执行公共指令集架构的同质核心。在至少一个实施例中，处理器核心2502A-2502N在指令集架构(ISA)方面是异构的，其中一个或更多个处理器核心2502A-2502N执行公共指令集，而处理器核心2502A-2502N中的一个或更多个其他核心执行公共指令集的子集或不同指令集。在至少一个实施例中，就微架构而言，处理器核心2502A-2502N是异构的，其中具有相对较高功耗的一个或更多个核心与具有较低功耗的一个或更多个功率核心相耦合。在至少一个实施例中，处理器2500可以在一个或更多个芯片上实现或被实现为SoC集成电路。
推理和/或训练逻辑615用于执行与一个或更多个实施例相关联的推理和/或训练操作。本文结合图6A和/或图6B提供关于推理和/或训练逻辑615的细节。在至少一个实施例中，部分或全部推理和/或训练逻辑615可以结合到图形处理器2508中。例如，在至少一个实施例中，本文描述的训练和/或推理技术可以使用一个或更多个ALU，所述ALU体现在图25中的3D管线、图形核心2502、共享功能逻辑，或其他逻辑中。此外，在至少一个实施例中，本文描述的推理和/或训练操作可以使用除图6A或图6B所示的逻辑之外的逻辑来完成。在至少一个实施例中，权重参数可以存储在片上或片外存储器和/或寄存器(示出或未示出)中，其配置处理器2500的ALU以执行本文所述的一种或更多种机器学习算法、神经网络架构、用例或训练技术。
在至少一个实施例中，推理和/或训练逻辑615的一个或更多个神经网络可以结合图25的特征使用，并且可以被配置为从多个传感器接收传感器输入并且可以被训练为推理冷却剂需求。在至少一个实施例中，推理和/或训练逻辑615可能够使用来自历史冷却需求和历史传感器输入的信息来推理这一点。在至少一个实施例中，推理和/或训练逻辑615可以推理冷却需求的变化。在至少一个实施例中，传感器输入可以与不同传感器输入中的每一个的不同冷却需求的类别相关。在至少一个实施例中，在这样的不同的传感器输入的类别内分类的新的传感器输入可以指示冷却需求或其变化。
图26是图形处理器2600的框图，该图形处理器可以是分立的图形处理单元，或者可以是与多个处理核心集成的图形处理器。在至少一个实施例中，图形处理器2600经由存储器映射的I/O接口与图形处理器2600上的寄存器以及放置在存储器中的命令进行通信。在至少一个实施例中，图形处理器2600包括用于访问存储器的存储器接口2614。在至少一个实施例中，存储器接口2614是到本地存储器、一个或更多个内部高速缓存、一个或更多个共享的外部高速缓存和/或到系统存储器的接口。在至少一个实施例中，图形处理器2600包括图形核心1600。
在至少一个实施例中，图形处理器2600还包括用于将显示输出数据驱动到显示设备2620的显示控制器2602。在至少一个实施例中，显示控制器2602包括用于显示设备2620的一个或更多个覆盖平面的硬件以及多层视频或用户接口元素的组合。在至少一个实施例中，显示设备2620可以是内部或外部显示设备。在至少一个实施例中，显示设备2620是头戴式显示设备，诸如虚拟现实(VR)显示设备或增强现实(AR)显示设备。在至少一个实施例中，图形处理器2600包括视频编解码器引擎2606，以将媒体编码、解码或转码为一种或更多种媒体编码格式，从一种或更多种媒体编码格式编码、解码或转码，或在一种或更多种媒体编码格式之间进行编码、解码或转码，所述媒体编码格式包括但不限于运动图像专家组(MPEG)格式(诸如MPEG-2)，高级视频编码(AVC)格式(诸如H.264/MPEG-4AVC)，以及美国电影电视工程师协会(SMPTE)421M/VC-1和联合图像专家组(JPEG)格式(诸如JPEG)和MotionJPEG(MJPEG)格式。
在至少一个实施例中，图形处理器2600包括块图像传输(BLIT)引擎2604，用于执行二维(2D)光栅化器操作，包括例如位边界块传输。然而，在至少一个实施例中，使用图形处理引擎(GPE)2610的一个或更多个组件来执行2D图形操作。在至少一个实施例中，GPE2610是用于执行图形操作(包括三维(3D)图形操作和媒体操作)的计算引擎。
在至少一个实施例中，GPE 2610包括用于执行3D操作的3D管线2612，例如使用对3D图元形状(例如，矩形、三角形等)进行操作的处理函数来渲染三维图像和场景。在至少一个实施例中，3D管线2612包括执行各种任务和/或产生到3D/媒体子系统2615的执行线程的可编程和固定功能元素。虽然3D管线2612可用于执行媒体操作，但是在至少一个实施例中，GPE 2610还包括媒体管线2616，其用于执行媒体操作，诸如视频后处理和图像增强。
在至少一个实施例中，媒体管线2616包括固定功能或可编程逻辑单元，用于代替或代表视频编解码器引擎2606执行一种或更多种专门的媒体操作，诸如视频解码加速、视频去隔行和视频编码加速。在至少一个实施例中，媒体管线2616还包括线程产生单元，用于产生线程以在3D/媒体子系统2615上执行。在至少一个实施例中，产生的线程在3D/媒体子系统2615中包括的一个或更多个图形执行单元上执行针对媒体操作的计算。
在至少一个实施例中，3D/媒体子系统2615包括用于执行3D管线2612和媒体管线2616产生的线程的逻辑。在至少一个实施例中，3D管线2612和媒体管线2616将线程执行请求发送到3D/媒体子系统2615，其包括用于仲裁各种请求并将其分派给可用的线程执行资源的线程分派逻辑。在至少一个实施例中，执行资源包括用于处理3D和媒体线程的图形执行单元的阵列。在至少一个实施例中，3D/媒体子系统2615包括用于线程指令和数据的一个或更多个内部高速缓存。在至少一个实施例中，子系统2615还包括共享存储器，其包括寄存器和可寻址存储器，用于在线程之间共享数据并存储输出数据。
推理和/或训练逻辑615用于执行与一个或更多个实施例相关联的推理和/或训练操作。本文结合图6A和/或图6B提供关于推理和/或训练逻辑615的细节。在至少一个实施例中，可以将推理和/或训练逻辑615的各部分或全部合并到图形处理器2600中。例如，在至少一个实施例中，本文描述的训练和/或推理技术可以使用3D管线2612中包含的一个或更多个ALU。此外，在至少一个实施例中，本文描述的推理和/或训练操作可以使用除图6A或图6B所示的逻辑以外的逻辑来完成。在至少一个实施例中，权重参数可以存储在片上或片外存储器和/或寄存器(示出或未示出)中，其配置图形处理器2600的ALU以执行本文所述的一种或更多种机器学习算法、神经网络架构、用例或训练技术。
在至少一个实施例中，推理和/或训练逻辑615的一个或更多个神经网络可以结合图26的特征使用，并且可以被配置为从多个传感器接收传感器输入并且可以被训练为推理冷却剂需求。在至少一个实施例中，推理和/或训练逻辑615可能够使用来自历史冷却需求和历史传感器输入的信息来推理这一点。在至少一个实施例中，推理和/或训练逻辑615可以推理冷却需求的变化。在至少一个实施例中，传感器输入可以与不同传感器输入中的每一个的不同冷却需求的类别相关。在至少一个实施例中，在这样的不同的传感器输入的类别内分类的新的传感器输入可以指示冷却需求或其变化。
图27是根据至少一个实施例的图形处理器的图形处理引擎2710的框图。在至少一个实施例中，图形处理引擎(GPE)2710是图26中所示的GPE 2610的版本。在至少一个实施例中，媒体管线2716是可选的，并且可以不显式地包括在GPE 2710中。在至少一个实施例中，单独的媒体和/或图像处理器被耦合到GPE 2710。
在至少一个实施例中，GPE 2710耦合到或包括命令流转化器2703，其向3D管线2712和/或媒体管线2716提供命令流。在至少一个实施例中，命令流转化器2703耦合到存储器，所述存储器可以是系统存储器，也可以是内部高速缓存存储器和共享高速缓存存储器中的一个或更多个。在至少一个实施例中，命令流转化器2703从存储器接收命令，并且将命令发送到3D管线2712和/或媒体管线2716。在至少一个实施例中，命令是从环形缓冲区中获取的指令、基元或微操作，该环形缓冲区存储用于3D管线2712和媒体管线2716的命令。在至少一个实施例中，环形缓冲区还可以包括存储各批多个命令的批命令缓冲区。在至少一个实施例中，用于3D管线2712的命令还可以包括对存储在存储器中的数据的引用，例如但不限于用于3D管线2712的顶点和几何数据和/或用于媒体管线2716的图像数据和存储器对象。在至少一个实施例中，3D管线2712和媒体管线2716通过执行操作或通过将一个或更多个执行线程分派到图形核心阵列2714来处理命令和数据。在至少一个实施例中，图形核心阵列2714包括一个或更多个图形核心块(例如，一个或更多个图形核心2715A、一个或更多个图形核心2715B)，每个块包括一个或更多个图形核心。在至少一个实施例中，图形核心2715A、2715B可被称为执行单元(“EU”)。在至少一个实施例中，每个图形核心包括一组图形执行资源，所述图形执行资源包括用于执行图形和计算操作的通用和图形特定的执行逻辑以及固定功能纹理处理和/或机器学习和人工智能加速逻辑，其包括图6A和图6B中的推理和/或训练逻辑615。
在至少一个实施例中，3D管线2712包括固定功能和可编程逻辑，用于通过处理指令并将执行线程分派到图形核心阵列2714，来处理一个或更多个着色器程序，诸如顶点着色器、几何着色器、像素着色器、片段着色器、计算着色器或其他着色器程序。在至少一个实施例中，图形核心阵列2714提供统一的执行资源块，以供在处理着色器程序中使用。在至少一个实施例中，在图形核心阵列2714的一个或更多个图形核心2715A-2715B内的多用途执行逻辑(例如，执行单元)包括对各种3D API着色器语言的支持，并且可以执行与多个着色器相关联的多个同时执行线程。
在至少一个实施例中，图形核心阵列2714还包括执行逻辑，用于执行媒体功能，诸如视频和/或图像处理。在至少一个实施例中，除了图形处理操作之外，执行单元还包括可编程以执行并行通用计算操作的通用逻辑。
在至少一个实施例中，由在图形核心阵列2714上执行的线程生成的输出数据可以将数据输出到统一返回缓冲区(URB)2718中的存储器。在至少一个实施例中，URB 2718可以存储多个线程的数据。在至少一个实施例中，URB 2718可以用于在图形核心阵列2714上执行的不同线程之间发送数据。在至少一个实施例中，URB 2718还可用于图形核心阵列2714上的线程与共享功能逻辑2720内的固定功能逻辑之间的同步。
在至少一个实施例中，图形核心阵列2714是可扩展的，以使得图形核心阵列2714包括可变数量的图形核心，每个图形核心具有基于GPE 2710的目标功率和性能水平的可变数量的执行单元。在至少一个实施例中，执行资源是动态可扩展的，使得执行资源可以根据需要被启用或禁用。
在至少一个实施例中，图形核心阵列2714耦合到共享功能逻辑2720，该共享功能逻辑包括在图形核心阵列2714中的图形核心之间共享的多个资源。在至少一个实施例中，由共享功能逻辑2720执行的共享功能体现在向图形核心阵列2714提供专门的补充功能的硬件逻辑单元中。在至少一个实施例中，共享功能逻辑2720包括但不限于采样器单元2721、数学单元2722和线程间通信(ITC)逻辑2723。在至少一个实施例中，一个或更多个高速缓存2725被包括在或耦合到共享功能逻辑2720中。
在至少一个实施例中，如果对专用功能的需求不足以包含在图形核心阵列2714中，则使用共享功能。在至少一个实施例中，专用功能的单个实例化在共享功能逻辑2720中使用，并且在图形核心阵列2714内的其他执行资源之间共享。在至少一个实施例中，在图形核心阵列2714广泛使用的共享功能逻辑2720内的特定共享功能可以包括在图形核心阵列2714内的共享功能逻辑2726内。在至少一个实施例中，图形核心阵列2714内的共享功能逻辑2726可包括共享功能逻辑2720内的一些或全部逻辑。在至少一个实施例中，共享功能逻辑2720内的所有逻辑元件可在图形核心阵列2714的共享功能逻辑2726内复制。在至少一个实施例中，排除共享功能逻辑2720，以支持图形核心阵列2714内的共享功能逻辑2726。
推理和/或训练逻辑615用于执行与一个或更多个实施例相关联的推理和/或训练操作。本文结合图6A和/或图6B提供关于推理和/或训练逻辑615的细节。在至少一个实施例中，推理和/或训练逻辑615的各部分或全部可以结合到图形处理器2710中。例如，在至少一个实施例中，本文描述的训练和/或推理技术可以使用一个或更多个ALU，所述ALU体现在3D管线2712、一个或更多个图形核心2715、共享功能逻辑2726、共享功能逻辑2720或图27中的其他逻辑中。此外，在至少一个实施例中，本文描述的推理和/或训练操作可以使用除图6A或图6B所示的逻辑之外的逻辑来完成。在至少一个实施例中，权重参数可以存储在片上或片外存储器和/或寄存器(示出或未示出)中，其配置图形处理器2710的ALU，以执行本文所述的一种或更多种机器学习算法、神经网络架构、用例或训练技术。
在至少一个实施例中，推理和/或训练逻辑615的一个或更多个神经网络可以结合图27的特征使用，并且可以被配置为从多个传感器接收传感器输入并且可以被训练为推理冷却剂需求。在至少一个实施例中，推理和/或训练逻辑615可能够使用来自历史冷却需求和历史传感器输入的信息来推理这一点。在至少一个实施例中，推理和/或训练逻辑615可以推理冷却需求的变化。在至少一个实施例中，传感器输入可以与不同传感器输入中的每一个的不同冷却需求的类别相关。在至少一个实施例中，在这样的不同的传感器输入的类别内分类的新的传感器输入可以指示冷却需求或其变化。
图28是根据本文所述的至少一个实施例的图形处理器核心2800的硬件逻辑的框图。在至少一个实施例中，图形处理器核心2800包括图形核心1600。在至少一个实施例中，图形处理器核心2800被包括在图形核心阵列内。在至少一个实施例中，图形处理器核心2800(有时称为核心切片)可以是模块化图形处理器内的一个或更多个图形核心。在至少一个实施例中，图形处理器核心2800是一个图形核心切片的示例，并且本文所述的图形处理器可以基于目标功率和性能包络包括多个图形核心切片。在至少一个实施例中，每个图形核心2800可以包括与多个子核心2801A-2801F(也称为子切片)耦合的固定功能块2830，其包括通用和固定功能逻辑的模块化块。
在至少一个实施例中，固定功能块2830包括几何和固定功能管线2836，例如，在较低性能和/或较低功率的图形处理器实现方式中，该几何和固定功能管线可以由图形处理器2800中的所有子核心共享。在至少一个实施例中，几何和固定功能管线2836包括3D固定功能管线、视频前端单元，线程产生器和线程分派器以及管理统一返回缓冲区的统一返回缓冲区管理器。
在至少一个实施例中，固定功能块2830还包括图形SoC接口2837、图形微控制器2838和媒体管线2839。在至少一个实施例中，图形SoC接口2837提供了图形核心2800以及片上系统集成电路中的其他处理器核心之间的接口。在至少一个实施例中，图形微控制器2838是可编程子处理器，其可配置为管理图形处理器2800的各种功能，包括线程分派、调度和抢占。在至少一个实施例中，媒体管线2839包括促进对包括图像和视频数据的多媒体数据进行解码、编码、预处理和/或后处理的逻辑。在至少一个实施例中，媒体管线2839经由对子核心2801-2801F内的计算或采样逻辑的请求来实现媒体操作。
在至少一个实施例中，SoC接口2837使图形核心2800能够与通用应用程序处理器核心(例如，CPU)和/或SoC内的其他组件通信，包括存储器层次结构元素，诸如共享的最后一级高速缓存存储器、系统RAM和/或嵌入式片上或封装上DRAM。在至少一个实施例中，SoC接口2837还可以使得能够与SoC内的固定功能设备(例如，相机成像管线)进行通信，并且使得能够使用和/或实现可以在SoC内的图形核心2800和CPU之间共享的全局存储器原子(atomic)。在至少一个实施例中，图形SoC接口2837还可以实现用于图形处理器核心2800的电源管理控件，并且实现(enable)图形处理器核心2800的时钟域与SoC内的其他时钟域之间的接口。在至少一个实施例中，SoC接口2837使得能够从命令流转化器和全局线程分派器接收命令缓冲区，该全局线程分派器被配置为向图形处理器内的一个或更多个图形核心中的每一个提供命令和指令。在至少一个实施例中，当要执行媒体操作时，可以将命令和指令分派给媒体管线2839，或者当要执行图形处理操作时，可以将命令和指令分派给几何和固定功能管线(例如，几何和固定功能管线2836，和/或几何和固定功能管线2814)。
在至少一个实施例中，图形微控制器2838可以配置为对图形核心2800执行各种调度和管理任务。在至少一个实施例中，图形微控制器2838可以在子核心2801A-2801F中的执行单元(EU)阵列2802A-2802F、2804A-2804F内的各个图形并行引擎上执行图形和/或计算工作负载调度。在至少一个实施例中，在包括图形核心2800的SoC的CPU核心上执行的主机软件可以向多个图形处理器路径之一提交工作负载，其调用适当的图形引擎上的调度操作。在至少一个实施例中，调度操作包括确定接下来要运行哪个工作负载、将工作负载提交给命令流转化器、抢占在引擎上运行的现有工作负载、监控工作负载的进度以及在工作负载完成时通知主机软件。在至少一个实施例中，图形微控制器2838还可以促进图形核心2800的低功率或空闲状态，从而为图形核心2800提供在图形核心2800内独立于操作系统和/或系统上的图形驱动程序软件的跨低功率状态转换的保存和恢复寄存器的能力。
在至少一个实施例中，图形核心2800可以具有比所示的子核心2801A-2801F多或少达N个模块化子核心。对于每组N个子核心，在至少一个实施例中，图形核心2800还可以包括共享功能逻辑2810、共享和/或高速缓存存储器2812、几何/固定功能管线2814以及附加的固定功能逻辑2816，用于加速各种图形和计算处理操作。在至少一个实施例中，共享功能逻辑2810可以包括可由图形核心2800内的每个N个子核心共享的逻辑单元(例如，采样器、数学和/或线程间通信逻辑)。在至少一个实施例中，共享和/或高速缓存存储器2812可以是图形核心2800内的N个子核心2801A-2801F的最后一级高速缓存，并且还可以用作可由多个子核心访问的共享存储器。在至少一个实施例中，可以包括几何/固定功能管线2814来代替固定功能块2830内的几何/固定功能管线2836，并且可以包括相似的逻辑单元。
在至少一个实施例中，图形核心2800包括附加的固定功能逻辑2816，其可以包括供图形核心2800使用的各种固定功能加速逻辑。在至少一个实施例中，附加的固定功能逻辑2816包括用于在仅位置着色中使用的附加的几何管线。在仅位置着色中，存在至少两个几何管线，即在几何和固定功能管线2814、2836内的全(full)几何管线和剔除管线，其是可以包括在附加的固定功能逻辑2816中的附加几何管线。在至少一个实施例中，剔除管线是全几何管线的修剪版。在至少一个实施例中，全管线和剔除管线可以执行应用程序的不同实例，每个实例具有单独的上下文。在至少一个实施例中，仅位置着色可以隐藏被丢弃的三角形的长剔除运行，从而在某些情况下实现更早地完成着色。例如，在至少一个实施例中，附加的固定功能逻辑2816中的剔除管线逻辑可以与主应用程序并行地执行位置着色器，并且通常比全管线更快地生成临界(critical)结果，因为剔除管线获取顶点的位置属性并对其进行着色(shade)，无需执行光栅化和将像素渲染到帧缓冲区。在至少一个实施例中，剔除管线可以使用生成的临界结果来计算所有三角形的可见性信息，而与这些三角形是否被剔除无关。在至少一个实施例中，全管线(在这种情况下其可以称为重放管线)可以消耗可见性信息来跳过剔除的三角形以仅对最终传递到光栅化阶段的可见三角形进行着色。
在至少一个实施例中，附加的固定功能逻辑2816还可包括机器学习加速逻辑，诸如固定功能矩阵乘法逻辑，用于包括针对机器学习训练或推理的优化的实现方式。
在至少一个实施例中，在每个图形子核心2801A-2801F内包括一组执行资源，其可用于响应于图形管线、媒体管线或着色器程序的请求来执行图形、媒体和计算操作。在至少一个实施例中，图形子核心2801A-2801F包括多个EU阵列2802A-2802F、2804A-2804F，线程分派和线程间通信(TD/IC)逻辑2803A-2803F，3D(例如，纹理)采样器2805A-2805F，媒体采样器2806A-2806F，着色器处理器2807A-2807F和共享本地存储器(SLM)2808A-2808F。在至少一个实施例中，EU阵列2802A-2802F、2804A-2804F每个都包括多个执行单元，这些执行单元是能够服务于图形、媒体或计算操作(包括图形、媒体或计算着色器程序)而执行浮点和整数/定点逻辑运算的通用图形处理单元。在至少一个实施例中，TD/IC逻辑2803A-2803F为子核心内的执行单元执行本地线程分派和线程控制操作，并促进在子核心的执行单元上执行的线程之间的通信。在至少一个实施例中，3D采样器2805A-2805F可以将与纹理或其他3D图形相关的数据读取到存储器中。在至少一个实施例中，3D采样器可以基于配置的样本状态和与给定纹理相关联的纹理格式来不同地读取纹理数据。在至少一个实施例中，媒体采样器2806A-2806F可以基于与媒体数据相关联的类型和格式来执行类似的读取操作。在至少一个实施例中，每个图形子核心2801A-2801F可以可替代地包括统一的3D和媒体采样器。在至少一个实施例中，在每个子核心2801A-2801F内的执行单元上执行的线程可以利用每个子核心内的共享本地存储器2808A-2808F，以使在线程组内执行的线程能够使用片上存储器的公共池来执行。
推理和/或训练逻辑615用于执行与一个或更多个实施例相关联的推理和/或训练操作。本文结合图6A和/或图6B提供关于推理和/或训练逻辑615的细节。在至少一个实施例中，推理和/或训练逻辑615的部分或全部可以被合并到图形处理器2800中。例如，在至少一个实施例中，本文描述的训练和/或推理技术可以使用在3D管线、图形微控制器2838、几何和固定功能管线2814和2836或图28中的其他逻辑中体现的一个或更多个ALU。此外，在至少一个实施例中，本文描述的推理和/或训练操作可以使用除图6A或图6B所示的逻辑以外的逻辑来完成。在至少一个实施例中，权重参数可以存储在片上或片外存储器和/或寄存器(示出或未示出)中，其配置图形处理器2800的ALU以执行本文所述的一种或更多种机器学习算法、神经网络架构、用例或训练技术。
在至少一个实施例中，推理和/或训练逻辑615的一个或更多个神经网络可以结合图28的特征使用，并且可以被配置为从多个传感器接收传感器输入并且可以被训练为推理冷却剂需求。在至少一个实施例中，推理和/或训练逻辑615可能够使用来自历史冷却需求和历史传感器输入的信息来推理这一点。在至少一个实施例中，推理和/或训练逻辑615可以推理冷却需求的变化。在至少一个实施例中，传感器输入可以与不同传感器输入中的每一个的不同冷却需求的类别相关。在至少一个实施例中，在这样的不同的传感器输入的类别内分类的新的传感器输入可以指示冷却需求或其变化。
图29A-29B示出了根据至少一个实施例的包括图形处理器核心的处理元件的阵列的线程执行逻辑2900。图29A示出了至少一个实施例，其中使用了线程执行逻辑2900。图29B示出了根据至少一个实施例的图形执行单元2908的示例性内部细节。
如图29A中所示，在至少一个实施例中，线程执行逻辑2900包括着色器处理器2902、线程分派器2904、指令高速缓存2906、包括多个执行单元2907A-2907N和2908A-2908N的可扩展执行单元阵列、采样器2910、数据高速缓存2912和数据端口2914。在至少一个实施例中，可扩展执行单元阵列可以例如基于工作负载的计算要求，通过启用或禁用一个或更多个执行单元(例如，执行单元2908A-N或2907A-N中的任意一个)来动态地扩展。在至少一个实施例中，可扩展执行单元经由链接到每个执行单元的互连结构进行互连。在至少一个实施例中，线程执行逻辑2900包括通过指令高速缓存2906、数据端口2914、采样器2910和执行单元2907或2908中的一个或更多个到存储器(诸如系统存储器或高速缓存存储器)的一个或更多个连接。在至少一个实施例中，每个执行单元(例如2907A)是独立的可编程通用计算单元，其能够执行多个同时的硬件线程，同时针对每个线程并行处理多个数据元素。在至少一个实施例中，执行单元2907和/或2908的阵列可扩展以包括任意数量的各个执行单元。
在至少一个实施例中，执行单元2907和/或2908主要用于执行着色器程序。在至少一个实施例中，着色器处理器2902可以处理各种着色器程序并经由线程分派器2904来分派与着色器程序相关联的执行线程。在至少一个实施例中，线程分派器2904包括用于仲裁来自图形和媒体管线的线程初始化请求以及在执行单元2907和/或2908中的一个或更多个执行单元上实例化所请求的线程的逻辑。例如，在至少一个实施例中，几何管线可以将顶点、曲面细分或几何着色器分派到线程执行逻辑以进行处理。在至少一个实施例中，线程分派器2904还可以处理来自执行的着色器程序的运行时线程产生请求。
在至少一个实施例中，执行单元2907和/或2908支持一指令集，该指令集包括对许多标准3D图形着色器指令的本机支持，从而使来自图形库(例如Direct 3D和OpenGL)的着色器程序只需最少的转换即可被执行。在至少一个实施例中，执行单元支持顶点和几何处理(例如，顶点程序、几何程序、和/或顶点着色器)、像素处理(例如，像素着色器、片段着色器)和通用处理(例如，计算和媒体着色器)。在至少一个实施例中，每个执行单元2907和/或2908(其包括一个或更多个算术逻辑单元(ALU))能够执行多发出单指令多数据(SIMD)，并且多线程操作实现了高效的执行环境，尽管存储器访问的延时更高。在至少一个实施例中，每个执行单元内的每个硬件线程具有专用的高带宽寄存器文件和关联的独立线程状态。在至少一个实施例中，执行是到管线的每时钟多发出，管线能够进行整数、单精度和双精度浮点运算、SIMD分支功能、逻辑运算、超越运算(transcendental operation)和其他杂运算(miscellaneous operation)。在至少一个实施例中，在等待来自存储器或共享功能之一的数据时，执行单元2907和/或2908内的依赖性逻辑使等待线程休眠，直到返回了所请求的数据。在至少一个实施例中，在等待线程正在休眠时，硬件资源可以专用于处理其他线程。例如，在至少一个实施例中，在与顶点着色器操作相关联的延迟期间，执行单元可以对像素着色器、片段着色器或另一类型的着色器程序(包括不同的顶点着色器)执行操作。
在至少一个实施例中，执行单元2907和/或2908中的每一个执行单元在数据元素的阵列上进行操作。在至少一个实施例中，数据元素的数量是“执行大小”或指令的通道数。在至少一个实施例中，执行通道是用于指令内的数据元素访问、屏蔽和流控制的逻辑执行单元。在至少一个实施例中，通道数可以与特定图形处理器的物理算术逻辑单元(ALU)或浮点单元(FPU)的数量无关。在至少一个实施例中，执行单元2907和/或2908支持整数和浮点数据类型。
在至少一个实施例中，执行单元指令集包括SIMD指令。在至少一个实施例中，各个数据元素可以作为打包数据类型存储在寄存器中，并且执行单元将基于那些元素的数据大小来处理各个元素。例如，在至少一个实施例中，当对256位宽的向量进行操作时，将256位的向量存储在寄存器中，并且执行单元对作为四个单独的64位打包数据元素(四字(QW)大小数据元素)、八个单独的32位打包数据元素(双字(DW)大小数据元素)、十六个单独的16位打包数据元素(字(W)大小数据元素)或三十二个单独的8位数据元素(字节(B)大小的数据元素)的向量进行操作。然而，在至少一个实施例中，不同的向量宽度和寄存器大小是可能的。
在至少一个实施例中，一个或更多个执行单元可以被组合成具有融合EU共用的线程控制逻辑(2911A-2911N)的融合执行单元2909A-2909N，诸如将执行单元2907A与执行单元2908A融合为融合执行单元2909A。在至少一个实施例中，可以将多个EU融合成EU组。在至少一个实施例中，融合EU组中的每个EU可以被配置为执行单独的SIMD硬件线程，其中融合EU组中的EU的数量可能根据各个实施例而改变。在至少一个实施例中，每EU可以执行各种SIMD宽度，包括但不限于SIMD8、SIMD16和SIMD32。在至少一个实施例中，每个融合图形执行单元2909A-2909N包括至少两个执行单元。例如，在至少一个实施例中，融合执行单元2909A包括第一EU 2907A、第二EU 2908A以及第一EU 2907A和第二EU 2908A共用的线程控制逻辑2911A。在至少一个实施例中，线程控制逻辑2911A控制在融合图形执行单元2909A上执行的线程，从而允许融合执行单元2909A-2909N内的每个EU使用公共指令指针寄存器来执行。
在至少一个实施例中，一个或更多个内部指令高速缓存(例如，2906)被包括在线程执行逻辑2900中以高速缓存用于执行单元的线程指令。在至少一个实施例中，包括一个或更多个数据高速缓存(例如，2912)以在线程执行期间高速缓存线程数据。在至少一个实施例中，包括采样器2910以提供用于3D操作的纹理采样和用于媒体操作的媒体采样。在至少一个实施例中，采样器2910包括专门的纹理或媒体采样功能，以在将采样数据提供给执行单元之前在采样过程中处理纹理或媒体数据。
在执行期间，在至少一个实施例中，图形和媒体管线经由线程产生和分派逻辑将线程发起请求发送到线程执行逻辑2900。在至少一个实施例中，一旦一组几何对象已经被处理并光栅化成像素数据，则着色器处理器2902内的像素处理器逻辑(例如，像素着色器逻辑、片段着色器逻辑等)被调用以进一步计算输出信息并且使得将结果写入输出表面(例如，颜色缓冲区、深度缓冲区、模板缓冲区等)。在至少一个实施例中，像素着色器或片段着色器计算要在光栅化对象上插值的各个顶点属性的值。在至少一个实施例中，然后着色器处理器2902内的像素处理器逻辑执行应用程序编程接口(API)提供的像素或片段着色器程序。在至少一个实施例中，为了执行着色器程序，着色器处理器2902经由线程分派器2904将线程分派到执行单元(例如，2908A)。在至少一个实施例中，着色器处理器2902使用采样器2910中的纹理采样逻辑来访问存储在存储器中的纹理映射中的纹理数据。在至少一个实施例中，对纹理数据和输入几何数据的算术运算为每个几何片段计算像素颜色数据，或者丢弃一个或更多个像素以不进行进一步处理。
在至少一个实施例中，数据端口2914提供了一种用于线程执行逻辑2900的存储器访问机制，以将处理后的数据输出到存储器以在图形处理器输出管线上进行进一步处理。在至少一个实施例中，数据端口2914包括或耦合到一个或更多个高速缓存存储器(例如，数据高速缓存2912)，用于高速缓存数据以经由数据端口进行存储器访问。
如图29B所示，在至少一个实施例中，图形执行单元2908可以包括指令获取单元2937、通用寄存器文件阵列(GRF)2924、架构寄存器文件阵列(ARF)2926、线程仲裁器2922、发送单元2930、分支单元2932、一组SIMD浮点单元(FPU)2934，以及一组专用整数SIMD ALU2935。在至少一个实施例中，GRF 2924和ARF 2926包括与在图形执行单元2908中可以是活动的每个同时硬件线程相关联的一组通用寄存器文件和架构寄存器文件。在至少一个实施例中，在ARF 2926中维护每线程架构状态，而在线程执行期间使用的数据被存储在GRF2924中。在至少一个实施例中，每个线程的执行状态，包括每个线程的指令指针，可以被保存在ARF 2926中的线程特定的寄存器中。
在至少一个实施例中，图形执行单元2908具有一种架构，该架构是同时多线程(SMT)和细粒度交错多线程(IMT)的组合。在至少一个实施例中，架构具有模块化配置，该模块化配置可以在设计时基于同时线程的目标数量和每执行单元的寄存器数量来进行微调，其中执行单元资源在用于执行多个同时线程的逻辑上被划分。
在至少一个实施例中，图形执行单元2908可以共同发布多个指令，每个指令可以是不同的指令。在至少一个实施例中，图形执行单元线程2908的线程仲裁器2922可以将指令分派到发送单元2930、分支单元2932或SIMD FPU 2934之一以供执行。在至少一个实施例中，每个执行线程可以访问GRF 2924中的128个通用寄存器，其中每个寄存器可以存储32个字节，可以作为32位数据元素的SIMD 8元素向量进行访问。在至少一个实施例中，每个执行单元线程可以访问GRF 2924中的4KB，但是实施例不限于此，并且在其他实施例中可以提供更多或更少的寄存器资源。在至少一个实施例中，尽管每执行单元的线程数量也可以根据实施例而改变，但是可以同时执行多达七个线程。在至少一个实施例中，其中七个线程可以访问4KB，GRF 2924可以存储总共28KB。在至少一个实施例中，灵活的寻址模式可以允许寄存器一起被寻址以有效地建立更宽的寄存器或表示跨步的矩形块数据结构。
在至少一个实施例中，经由由传递到发送单元2930的消息执行的“发送”指令来分派存储器操作、采样器操作和其他更长延时的系统通信。在至少一个实施例中，分支指令被分派到分支单元2932以促进SIMD发散和最终收敛。
在至少一个实施例中，图形执行单元2908包括一个或更多个SIMD浮点单元(FPU)2934，用于执行浮点操作。在至少一个实施例中，一个或更多个FPU 2934还支持整数计算。在至少一个实施例中，一个或更多个FPU 2934可以SIMD执行多达M个32位浮点(或整数)运算，或者SIMD执行多达2M 16位整数或16位浮点运算。在至少一个实施例中，至少一个FPU提供扩展的数学能力以支持高吞吐量的超越数学函数和双精度64位浮点。在至少一个实施例中，还存在一组8位整数SIMD ALU 2935，并且其可以被专门优化以执行与机器学习计算相关联的操作。
在至少一个实施例中，可以在图形子核心分组(例如，子切片)中实例化图形执行单元2908的多个实例的阵列。在至少一个实施例中，执行单元2908可以跨多个执行通道执行指令。在至少一个实施例中，在图形执行单元2908上执行的每个线程在不同的通道上执行。
推理和/或训练逻辑615用于执行与一个或更多个实施例相关联的推理和/或训练操作。下面结合图6A和/或图6B提供关于推理和/或训练逻辑615的细节。在至少一个实施例中，推理和/或训练逻辑615的部分或全部可以被结合到线程执行逻辑2900中。此外，在至少一个实施例中，可以使用除了图6A或图6B中所示的逻辑之外的逻辑来完成本文描述的推理和/或训练操作。在至少一个实施例中，权重参数可以存储在片上或片外存储器和/或寄存器(示出或未示出)中，其配置线程执行逻辑2900的ALU以执行本文所述的一种或更多种机器学习算法、神经网络架构、用例或训练技术。
在至少一个实施例中，推理和/或训练逻辑615的一个或更多个神经网络可以结合图29A、图29B的特征使用，并且可以被配置为从多个传感器接收传感器输入并且可以被训练为推理冷却剂需求。在至少一个实施例中，推理和/或训练逻辑615可能够使用来自历史冷却需求和历史传感器输入的信息来推理这一点。在至少一个实施例中，推理和/或训练逻辑615可以推理冷却需求的变化。在至少一个实施例中，传感器输入可以与不同传感器输入中的每一个的不同冷却需求的类别相关。在至少一个实施例中，在这样的不同的传感器输入的类别内分类的新的传感器输入可以指示冷却需求或其变化。
图30示出了根据至少一个实施例的并行处理单元(“PPU”)3000。在至少一个实施例中，PPU 3000配置有机器可读代码，该机器可读代码如果由PPU 3000执行，则使得PPU3000执行贯穿本公开描述的一些或全部过程和技术。在至少一个实施例中，PPU 3000是在一个或更多个集成电路设备上实现的并且利用多线程作为延迟隐藏技术的多线程处理器，该延迟隐藏技术被设计为在多个线程上并行处理计算机可读指令(也称为机器可读指令或简单地称为指令)。在至少一个实施例中，PPU 3000包括一个或更多个图形核心1600。在至少一个实施例中，线程是指执行线程，并且是被配置为由PPU 3000执行的一组指令的实例化。在至少一个实施例中，PPU 3000是图形处理单元(“GPU”)，其被配置为实现用于处理三维(“3D”)图形数据的图形渲染管线，以便生成用于在显示设备(诸如液晶显示器(“LCD”)设备)上显示的二维(“2D”)图像数据。在至少一个实施例中，PPU 3000用于执行计算，诸如线性代数运算和机器学习运算。图30仅出于说明性目的示出了示例并行处理器，并且应被解释为在本公开的范围内设想的处理器架构的非限制性示例，并且可以采用任何适当的处理器来对其进行补充和/或替代。
在至少一个实施例中，一个或更多个PPU 3000被配置成加速高性能计算(“HPC”)、数据中心和机器学习应用程序。在至少一个实施例中，PPU 3000被配置成加速深度学习系统和应用程序，包括以下非限制性示例：自主汽车平台、深度学习、高精度语音、图像、文本识别系统、智能视频分析、分子模拟、药物发现、疾病诊断、天气预报、大数据分析、天文学、分子动力学模拟、财务建模、机器人技术、工厂自动化、实时语言翻译、在线搜索优化以及个性化用户推荐等。
在至少一个实施例中，PPU 3000包括但不限于输入/输出(“I/O”)单元3006、前端单元3010、调度器(定序器)单元3012、工作分配单元3014、集线器3016、交叉开关(“Xbar”)3020、一个或更多个通用处理集群(“GPC”)3018和一个或更多个分区单元(“存储器分区单元”)3022。在至少一个实施例中，PPU 3000经由一个或更多个高速GPU互连(“GPU互连”)3008连接到主机处理器或其他PPU 3000。在至少一个实施例中，PPU 3000经由系统总线3002连接到主机处理器或其他外围设备。在至少一个实施例中，PPU 3000连接到包括一个或更多个存储器设备(“存储器”)3004的本地存储器。在至少一个实施例中，存储器设备3004包括但不限于一个或更多个动态随机存取存储器(“DRAM”)设备。在至少一个实施例中，一个或更多个DRAM设备被配置和/或可配置为高带宽存储器(“HBM”)子系统，并且在每个设备内堆叠有多个DRAM管芯。
在至少一个实施例中，高速GPU互连3008可以指代基于线的多通道通信链路，系统使用其来进行扩展，并包括与一个或更多个中央处理单元(“CPU”)结合的一个或更多个PPU3000，支持PPU 3000和CPU之间的高速缓存一致性以及CPU主控。在至少一个实施例中，高速GPU互连3008通过集线器3016将数据和/或命令传送到PPU 3000的其他单元或从其他单元传送数据和/或命令，所述其他单元诸如一个或更多个复制引擎、视频编码器、视频解码器、电源管理单元和/或在图30中可能未明确示出的其他组件。
在至少一个实施例中，I/O单元3006被配置为通过系统总线3002从主机处理器(图30中未示出)发送和接收通信(例如，命令、数据)。在至少一个实施例中，I/O单元3006直接经由系统总线3002或通过一个或更多个中间设备(诸如，内存桥)与主机处理器进行通信。在至少一个实施例中，I/O单元3006可以经由系统总线3002与一个或更多个其他处理器(诸如一个或更多个PPU 3000)进行通信。在至少一个实施例中，I/O单元3006实现外围组件互连快速(“PCIe”)接口，用于通过PCIe总线进行通信。在至少一个实施例中，I/O单元3006实现用于与外部设备进行通信的接口。
在至少一个实施例中，I/O单元3006对经由系统总线3002接收的分组(packet)进行解码。在至少一个实施例中，至少一些分组表示被配置为使PPU 3000执行各种操作的命令。在至少一个实施例中，I/O单元3006如命令所指定的那样将解码的命令传送到PPU 3000的各个其他单元。在至少一个实施例中，命令被传送到前端单元3010和/或被传送到集线器3016或PPU 3000的其他单元，诸如一个或更多个复制引擎、视频编码器、视频解码器、电源管理单元等(图30中未明确示出)。在至少一个实施例中，I/O单元3006被配置为在PPU 3000的各个逻辑单元之间和之中路由通信。
在至少一个实施例中，由主机处理器执行的程序对缓冲区中的命令流进行编码，该缓冲区将工作负载提供给PPU 3000以进行处理。在至少一个实施例中，工作负载包括指令和要由那些指令处理的数据。在至少一个实施例中，缓冲区是可由主机处理器和PPU3000两者访问(例如，读/写)的存储器中的区域—主机接口单元可以被配置为经由存储器请求访问连接到系统总线3002的系统存储器中的该缓冲区，该存储器请求由I/O单元3006通过系统总线3002传送。在至少一个实施例中，主机处理器将命令流写入缓冲区，然后将指向命令流开始的指针发送至PPU 3000，使得前端单元3010接收指向一个或更多个命令流的指针并管理一个或更多个命令流，从命令流中读取命令并将命令转发到PPU 3000的各个单元。
在至少一个实施例中，前端单元3010耦合到调度器单元3012，该调度器单元3012(其可以被称为定序器单元、线程定序器和/或异步计算引擎)配置各个GPC 3018以处理由一个或更多个命令流定义的任务。在至少一个实施例中，调度器单元3012被配置为跟踪与调度器单元3012管理的各种任务有关的状态信息，其中状态信息可以指示任务被分配给哪个GPC 3018，任务是活动的还是不活动的，与任务相关联的优先级等等。在至少一个实施例中，调度器单元3012管理多个任务在一个或更多个GPC 3018上的执行。
在至少一个实施例中，调度器单元3012耦合到工作分配单元3014，该工作分配单元3014被配置为分派任务以在GPC 3018上执行。在至少一个实施例中，工作分配单元3014跟踪从调度器单元3012接收到的多个调度任务并且工作分配单元3014管理每个GPC 3018的待处理(pending)任务池和活动任务池。在至少一个实施例中，待处理任务池包括多个时隙(例如32个时隙)，这些时隙包含被分配以由特定GPC 3018处理的任务；活动任务池可包括用于由GPC 3018主动处理的任务的多个时隙(例如4个时隙)，使得随着GPC 3018之一完成任务的执行，则该任务将从GPC 3018的活动任务池中被逐出，并且从待处理任务池中选择另一个任务，并且其被调度以在GPC 3018上执行。在至少一个实施例中，如果活动任务在GPC 3018上是空闲的，诸如在等待数据依赖性被解决时，则该活动任务从GPC3018中被逐出并返回到该待处理任务池，同时选择该待处理任务池中的另一个任务并且其被调度以在GPC 3018上执行。
在至少一个实施例中，工作分配单元3014经由XBar 3020与一个或更多个GPC3018进行通信。在至少一个实施例中，XBar 3020是互连网络，其将PPU 3000的许多单元耦合到PPU 3000的其他单元，并且可以被配置为将工作分配单元3014耦合到特定GPC 3018。在至少一个实施例中，PPU 3000的一个或更多个其他单元也可以经由集线器3016连接到XBar 3020。
在至少一个实施例中，任务由调度器单元3012管理，并由工作分配单元3014分派给GPC 3018之一。在至少一个实施例中，GPC 3018被配置为处理任务并生成结果。在至少一个实施例中，结果可以由GPC 3018中的其他任务消耗，经由XBar 3020路由到不同的GPC3018或存储在存储器3004中。在至少一个实施例中，结果可以经由分区单元3022写到存储器3004中，该分区单元实现了用于向存储器3004写入数据或从存储器3004读取数据的存储器接口。在至少一个实施例中，结果可以经由高速GPU互连3008被传送到另一PPU或CPU。在至少一个实施例中，PPU 3000包括但不限于数量为U个分区单元3022，其等于耦合到PPU3000的分开且不同的存储器设备3004的数量，如本文结合图32更详细地描述的。
在至少一个实施例中，主机处理器执行驱动程序内核，该驱动程序内核实现应用程序编程接口(API)，该API使在主机处理器上执行的一个或更多个应用程序能够调度操作以在PPU 3000上执行。在至少一个实施例中，多个计算应用程序由PPU 3000同时执行，并且PPU 3000为多个计算应用程序提供隔离、服务质量(“QoS”)和独立的地址空间。在至少一个实施例中，应用程序生成指令(例如，以API调用的形式)，该指令使驱动程序内核生成一个或更多个任务以由PPU 3000执行，并且驱动程序内核将任务输出至由PPU 3000正在处理的一个或更多个流。在至少一个实施例中，每个任务包括一个或更多个相关线程组，其可以被称为线程束(warp)、波前和/或波。在至少一个实施例中，线程束、波前和/或波包括可以并行执行的多个相关线程(例如，32个线程)。在至少一个实施例中，协作线程可以指代多个线程，包括用于执行任务并且通过共享存储器交换数据的指令。在至少一个实施例中，结合图32更详细地描述了线程和协作线程。
推理和/或训练逻辑615用于执行与一个或更多个实施例相关联的推理和/或训练操作。本文结合图6A和/或图6B提供关于推理和/或训练逻辑615的细节。在至少一个实施例中，深度学习应用程序处理器用于训练机器学习模型(诸如神经网络)，以预测或推理提供给PPU 3000的信息。在至少一个实施例中，深度学习应用程序处理器用于基于已由另一处理器或系统或由PPU 3000训练过的经训练的机器学习模型(例如，神经网络)来推理或预测信息。在至少一个实施例中，PPU 3000可用于执行本文所述的一个或更多个神经网络用例。
在至少一个实施例中，推理和/或训练逻辑615的一个或更多个神经网络可以结合图30的特征使用，并且可以被配置为从多个传感器接收传感器输入并且可以被训练为推理冷却剂需求。在至少一个实施例中，推理和/或训练逻辑615可能够使用来自历史冷却需求和历史传感器输入的信息来推理这一点。在至少一个实施例中，推理和/或训练逻辑615可以推理冷却需求的变化。在至少一个实施例中，传感器输入可以与不同传感器输入中的每一个的不同冷却需求的类别相关。在至少一个实施例中，在这样的不同的传感器输入的类别内分类的新的传感器输入可以指示冷却需求或其变化。
图31示出了根据至少一个实施例的通用处理集群(“GPC”)3100。在至少一个实施例中，GPC 3100是图30的GPC 3018。在至少一个实施例中，每个GPC 3100包括但不限于用于处理任务的多个硬件单元，并且每个GPC 3100包括但不限于管线管理器3102、预光栅操作单元(“preROP”)3104、光栅引擎3108、工作分配交叉开关(“WDX”)3116、内存管理单元(“MMU”)3118、一个或更多个数据处理集群(“DPC”)3106，以及部件的任何合适组合。
在至少一个实施例中，GPC 3100的操作由管线管理器3102控制。在至少一个实施例中，管线管理器3102管理一个或更多个DPC 3106的配置，以处理分配给GPC 3100的任务。在至少一个实施例中，管线管理器3102配置一个或更多个DPC 3106中的至少一个以实现图形渲染管线的至少一部分。在至少一个实施例中，DPC 3106被配置为在可编程流式多处理器(“SM”)3114上执行顶点着色器程序。在至少一个实施例中，管线管理器3102被配置为将从工作分配单元接收的分组路由到GPC 3100内的适当逻辑单元，以及在至少一个实施例中，可以将一些分组路由到preROP3104和/或光栅引擎3108中的固定功能硬件单元，而可以将其他分组路由到DPC 3106以由图元引擎3112或SM 3114进行处理。在至少一个实施例中，管线管理器3102配置DPC 3106中的至少一个以实现神经网络模型和/或计算管线。
在至少一个实施例中，preROP单元3104被配置为在至少一个实施例中将由光栅引擎3108和DPC 3106生成的数据路由到上面结合图30更详细地描述的分区单元3022中的光栅操作(“ROP”)单元。在至少一个实施例中，preROP单元3104被配置为执行针对颜色混合的优化、组织像素数据、执行地址转换等等。在至少一个实施例中，光栅引擎3108包括但不限于被配置为执行各个光栅操作的多个固定功能硬件单元，并且在至少一个实施例中，光栅引擎3108包括但不限于设置引擎、粗光栅引擎、剔除引擎、裁剪引擎、精细光栅引擎、图块聚合引擎及其任意合适的组合。在至少一个实施例中，设置引擎接收变换后的顶点并生成与由顶点定义的几何图元相关联的平面方程；平面方程式被传送到粗光栅引擎以生成图元的覆盖信息(例如，图块的x、y覆盖掩模)；粗光栅引擎的输出被传送到剔除引擎，在剔除引擎中，与z测试失败的图元相关联的片段被剔除，并被传送到裁剪引擎，在裁剪引擎中，裁剪掉位于视锥体之外的片段。在至少一个实施例中，经过裁剪和剔除后留下来的片段被传递给精细光栅引擎，以基于设置引擎生成的平面方程生成像素片段的属性。在至少一个实施例中，光栅引擎3108的输出包括将由任何合适的实体(例如，由在DPC 3106内实现的片段着色器)处理的片段。
在至少一个实施例中，包括在GPC 3100中的每个DPC 3106包括但不限于M管道控制器(“MPC”)3110；图元引擎3112；一个或更多个SM 3114；及其任何合适的组合。在至少一个实施例中，MPC 3110控制DPC 3106的操作，将从管线管理器3102接收的分组路由到DPC3106中的适当单元。在至少一个实施例中，与顶点相关联的分组被路由到图元引擎3112，图元引擎3112被配置为从存储器中获取与顶点相关联的顶点属性；相反，可以将与着色器程序相关联的分组传送到SM 3114。
在至少一个实施例中，SM 3114包括但不限于可编程流式处理器，其被配置为处理由多个线程表示的任务。在至少一个实施例中，SM 3114是多线程的并且被配置为并发地执行来自特定线程组的多个线程(例如32个线程)，并且实现单指令、多数据(“SIMD”)架构，其中一组线程(例如，线程束、波前、波)中的每个线程被配置为基于相同的指令集来处理不同的数据集。在至少一个实施例中，线程组中的所有线程执行通用指令集。在至少一个实施例中，SM 3114实现单指令、多线程(“SIMT”)架构，其中线程组中的每个线程被配置为基于公共指令集来处理不同的数据集，但是其中线程组中的各个线程允许在执行期间发散。在至少一个实施例中，为每个线程束(其可以被称为波前和/或波)维护程序计数器、调用栈和执行状态，从而当线程束中的线程发散时，实现线程束和线程束内的串行执行之间的并发性。在另一个实施例中，为每个个体线程维护程序计数器、调用栈和执行状态，从而实现线程束内的和线程束之间的所有线程之间的相等的并发性。在至少一个实施例中，为每个个体线程维护执行状态，并且执行公共指令的线程可以被收敛且并行地执行以提高效率。本文更详细地描述SM 3114的至少一个实施例。
在至少一个实施例中，MMU 3118在GPC 3100和存储器分区单元(例如，图30的分区单元3022)之间提供接口，并且MMU 3118提供虚拟地址到物理地址的转换、存储器保护以及对存储器请求的仲裁。在至少一个实施例中，MMU 3118提供一个或更多个转换后备缓冲区(“TLB”)，用于执行虚拟地址到存储器中的物理地址的转换。
推理和/或训练逻辑615用于执行与一个或更多个实施例相关联的推理和/或训练操作。本文结合图6A和/或图6B提供关于推理和/或训练逻辑615的细节。在至少一个实施例中，深度学习应用程序处理器用于训练机器学习模型(诸如神经网络)，以预测或推理提供给GPC 3100的信息。在至少一个实施例中，GPC 3100用于基于已由另一处理器或系统或GPC3100训练过的经训练的机器学习模型(例如，神经网络)来推理或预测信息。在至少一个实施例中，GPC 3100可用于执行本文所述的一个或更多个神经网络用例。
在至少一个实施例中，推理和/或训练逻辑615的一个或更多个神经网络可以结合图31的特征使用，并且可以被配置为从多个传感器接收传感器输入并且可以被训练为推理冷却剂需求。在至少一个实施例中，推理和/或训练逻辑615可能够使用来自历史冷却需求和历史传感器输入的信息来推理这一点。在至少一个实施例中，推理和/或训练逻辑615可以推理冷却需求的变化。在至少一个实施例中，传感器输入可以与不同传感器输入中的每一个的不同冷却需求的类别相关。在至少一个实施例中，在这样的不同的传感器输入的类别内分类的新的传感器输入可以指示冷却需求或其变化。
图32示出了根据至少一个实施例的并行处理单元(“PPU”)的存储器分区单元3200。在至少一个实施例中，存储器分区单元3200包括但不限于光栅操作(“ROP”)单元3202；二级(“L2”)高速缓存3204；存储器接口3206；及其任何合适的组合。在至少一个实施例中，存储器接口3206耦合到存储器。在至少一个实施例中，存储器接口3206可以实现32、64、128、1024位数据总线等以用于高速数据传输。在至少一个实施例中，PPU包括U个存储器接口3206，其中U是正整数，每对分区单元3200一个存储器接口3206，其中每对分区单元3200连接到对应的存储器设备。例如，在至少一个实施例中，PPU可以连接至多达Y个存储器设备，诸如高带宽存储器堆叠或图形双倍数据速率版本5同步动态随机存取存储器(“GDDR5SDRAM”)。
在至少一个实施例中，存储器接口3206实现第二代高带宽存储器(“HBM2”)存储器接口，并且Y等于U的一半。在至少一个实施例中，HBM2存储器堆叠与PPU一起位于物理封装上，与常规的GDDR5 SDRAM系统相比，这可提供大量功率和面积节省。在至少一个实施例中，每个HBM2堆叠包括但不限于四个存储器管芯，且Y＝4，其中每个HBM2堆叠包括两个每管芯128位通道，总共8个通道和1024位的数据总线宽度。在至少一个实施例中，存储器支持单纠错双检错(“SECDED”)纠错码(“ECC”)，用于保护数据。在至少一个实施例中，ECC可以为对数据损坏敏感的计算应用程序提供更高的可靠性。
在至少一个实施例中，PPU实现了多级存储器层次结构。在至少一个实施例中，存储器分区单元3200支持统一存储器，用于为中央处理单元(“CPU”)和PPU存储器提供单个统一虚拟地址空间，从而实现虚拟存储器系统之间的数据共享。在至少一个实施例中，跟踪PPU对位于其他处理器上的内存的访问频率，以确保内存页被移动到更频繁地访问页面的PPU的物理存储器。在至少一个实施例中，高速GPU互连3008支持地址转换服务，其允许PPU直接访问CPU的页表，并提供PPU对CPU存储器的完全访问。
在至少一个实施例中，复制引擎在多个PPU之间或在PPU与CPU之间传输数据。在至少一个实施例中，复制引擎可以为未被映射到页表中的地址生成页面错误，并且然后存储器分区单元3200为页面错误提供服务，将地址映射到页表中，之后复制引擎执行传输。在至少一个实施例中，为多个处理器之间的多个复制引擎操作固定(即不可分页)存储器，从而显著减少可用存储器。在至少一个实施例中，在硬件页面故障的情况下，可以将地址传递给复制引擎，而无需考虑是否驻留内存页，并且复制过程是透明的。
根据至少一个实施例，来自图30的存储器3004或其他系统存储器的数据由存储器分区单元3200获取，并将其存储在L2高速缓存3204中，L2高速缓存3204位于芯片上并且在各个GPC之间共享。在至少一个实施例中，每个存储器分区单元3200包括但不限于与对应的存储器设备相关联的L2高速缓存的至少一部分。在至少一个实施例中，在GPC内的各个单元中实现较低级别的高速缓存。在至少一个实施例中，图31的每个SM 3114可以实现一级(“L1”)高速缓存，其中L1高速缓存是专用于特定SM 3114的私有存储器，并且从L2高速缓存3204中获取数据并将其存储在每个L1高速缓存中，用于在SM 3114的功能单元中进行处理。在至少一个实施例中，L2高速缓存3204耦合到存储器接口3206和图30所示的XBar 3020。
在至少一个实施例中，ROP单元3202执行与像素颜色有关的图形光栅操作，诸如颜色压缩、像素混合等。在至少一个实施例中，ROP单元3202结合光栅引擎3108实现深度测试，从光栅引擎3108的剔除引擎接收与像素片段相关联的样本位置的深度。在至少一个实施例中，相对于用于与片段关联的样本位置的深度缓冲区中的对应深度测试深度。在至少一个实施例中，如果该片段通过了针对该样本位置的该深度测试，则ROP单元3202更新深度缓冲区，并将该深度测试的结果传送至光栅引擎3108。将理解，分区单元3200的数量可以不同于GPC的数量，因此，在至少一个实施例中，每个ROP单元3202可以被耦合到每个GPC。在至少一个实施例中，ROP单元3202跟踪从不同GPC接收的分组，并且确定ROP单元3202生成的结果是否要通过XBar 3020路由到。
图33示出了根据至少一个实施例的流式多处理器(“SM”)3300。在至少一个实施例中，SM 3300是图31的SM。在至少一个实施例中，SM 3300包括但不限于指令高速缓存3302；一个或更多个调度器单元3304(其可以被称为定序器单元)；寄存器文件3308；一个或更多个处理核心(“核心”)3310；一个或更多个特殊功能单元(“SFU”)3312；一个或更多个加载/存储单元(“LSU”)3314；互连网络3316；共享存储器/一级(“L1”)高速缓存3318；和/或其任何合适的组合。在至少一个实施例中，LSU 3314执行与加载/存储数据(例如，指令)对应的存储操作的加载以执行操作(例如，执行API、API调用)。
在至少一个实施例中，工作分配单元分派任务以在并行处理单元(“PPU”)的通用处理集群(“GPC”)上执行，并且每个任务被分配给GPC内的特定数据处理集群(“DPC”)，并且如果任务与着色器程序相关联，则该任务被分配给SM 3300(其可被称为CU和/或切片)之一。在至少一个实施例中，调度器单元3304(其可以被称为定序器和/或异步计算引擎)从工作分配单元接收任务并管理指派给SM 3300的一个或更多个线程块的指令调度。在至少一个实施例中，调度器单元3304调度线程块以作为并行线程的线程束(其可以被称为波前和/或波)来执行，其中每个线程块被分配至少一个线程束。在至少一个实施例中，每个线程束执行线程。在至少一个实施例中，调度器单元3304管理多个不同的线程块，将线程束分配给不同的线程块，然后在每个时钟周期内将来自多个不同的协作组的指令分派给各个功能单元(例如，处理核心3310、SFU 3312和LSU 3314)。
在至少一个实施例中，协作组(其也可以被称为波前和/或波)可以指用于组织通信线程组的编程模型，其允许开发者表达线程正在通信的粒度，从而实现更丰富的表达、更高效的并行分解。在至少一个实施例中，协作启动API支持线程块之间的同步以执行并行算法。在至少一个实施例中，常规编程模型的应用提供了用于同步协作线程的单一、简单的构造：跨线程块的所有线程的屏障(例如，syncthreads()函数)。然而，在至少一个实施例中，程序员可以以小于线程块的粒度来定义线程组，并在所定义的组内进行同步，以实现更高的性能、设计灵活性以及以集合组范围功能接口的形式实现软件重用。在至少一个实施例中，协作组使程序员能够以子块(即，小到单个线程)和多块粒度明确定义线程组，并执行集合操作，诸如对协作组中的线程进行同步。在至少一个实施例中，该编程模型支持跨软件边界的干净组合，从而库和效用函数可以在其本地上下文中安全地同步，而不必进行关于收敛的假设。在至少一个实施例中，协作组图元实现协作并行的新模式，包括但不限于生产者-消费者并行，机会并行以及整个线程块网格上的全局同步。
在至少一个实施例中，分派单元3306被配置为将指令传送到一个或更多个功能单元，并且调度器单元3304包括但不限于两个分派单元3306，该两个分派单元3306使得来自共同线程束的两个不同指令能够在每个时钟周期内被分派。在至少一个实施例中，每个调度器单元3304包括单个分派单元3306或附加分派单元3306。
在至少一个实施例中，每个SM 3300(其可被称为CU和/或切片)在至少一个实施例中包括但不限于寄存器文件3308，该寄存器文件3308为SM 3300的功能单元提供了一组寄存器。在至少一个实施例中，寄存器文件3308在每个功能单元之间划分，从而为每个功能单元分配寄存器文件3308的专用部分。在至少一个实施例中，寄存器文件3308在由SM 3300正在执行的不同线程束之间划分，并且寄存器文件3308为连接到功能单元的数据路径的操作数提供临时存储。在至少一个实施例中，每个SM 3300包括但不限于多个L个处理核心3310，其中L是正整数。在至少一个实施例中，SM 3300包括但不限于大量(例如128个或更多)不同的处理核心3310。在至少一个实施例中，每个处理核心3310包括但不限于全管线、单精度、双精度和/或混合精度处理单元，其包括但不限于浮点算术逻辑单元和整数算术逻辑单元。在至少一个实施例中，浮点算术逻辑单元实现用于浮点算术的IEEE 754-2008标准。在至少一个实施例中，处理核心3310包括但不限于64个单精度(32位)浮点核心、64个整数核心、32个双精度(64位)浮点核心和8个张量核心。
根据至少一个实施例，张量核心被配置为执行矩阵运算。在至少一个实施例中，一个或更多个张量核心被包括在处理核心3310中。在至少一个实施例中，张量核心被配置为执行深度学习矩阵算术，诸如用于神经网络训练和推理的卷积运算。在至少一个实施例中，每个张量核心在4×4矩阵上操作并且执行矩阵乘法和累加运算D＝A×B+C，其中A、B、C和D是4×4矩阵。
在至少一个实施例中，矩阵乘法输入A和B是16位浮点矩阵，并且累加矩阵C和D是16位浮点矩阵或32位浮点矩阵。在至少一个实施例中，张量核心对16位浮点输入数据进行32位浮点累加运算。在至少一个实施例中，16位浮点乘法使用64个运算，并得到全精度乘积，然后使用32位浮点加法与其他中间乘积累加，以进行4x4x4矩阵乘法。在至少一个实施例中，张量核心用于执行由这些较小元素构成的更大的二维或更高维度的矩阵运算。在至少一个实施例中，API(诸如CUDA 9C++API)公开专门的矩阵加载、矩阵乘法和累加以及矩阵存储操作，以高效地使用来自CUDA-C++程序的张量核心。在至少一个实施例中，在CUDA级别，线程束级接口假定跨越线程束(其可以被称为波前和/或波)的所有32个线程的16×16大小的矩阵。
在至少一个实施例中，每个SM 3300包括但不限于执行特殊功能(例如，属性评估、倒数平方根等)的M个SFU 3312。在至少一个实施例中，SFU 3312包括但不限于被配置为遍历层次树数据结构的树遍历单元。在至少一个实施例中，SFU 3312包括但不限于被配置为执行纹理映射过滤操作的纹理单元。在至少一个实施例中，纹理单元被配置为从存储器中加载纹理映射(例如，纹理像素的2D阵列)以及对纹理映射进行采样以产生采样的纹理值，以在由SM 3300执行的着色器程序中使用。在至少一个实施例中，纹理映射被存储在共享存储器/L1高速缓存3318中。在至少一个实施例中，根据至少一个实施例，纹理单元使用mip映射(mip-map)(例如，不同细节级别的纹理映射)来实现纹理操作(诸如过滤操作)。在至少一个实施例中，每个SM 3300包括但不限于两个纹理单元。
在至少一个实施例中，每个SM 3300包括但不限于实现共享存储器/L1高速缓存3318与寄存器文件3308之间的加载和存储操作的N个LSU 3314。在至少一个实施例中，互连网络3316将每个功能单元连接到寄存器文件3308，并且将LSU 3314连接到寄存器文件3308和共享存储器/L1高速缓存3318。在至少一个实施例中，互连网络3316是交叉开关，其可以被配置为将任何功能单元连接到寄存器文件3308中的任何寄存器，并且将LSU 3314连接到寄存器文件3308和共享存储器/L1高速缓存3318中的存储器位置。
在至少一个实施例中，共享存储器/L1高速缓存3318是片上存储器的阵列，其在至少一个实施例中允许SM 3300与图元引擎之间以及SM 3300中的线程之间的数据存储和通信。在至少一个实施例中，共享存储器/L1高速缓存3318包括但不限于128KB的存储容量，并且位于从SM 3300到分区单元的路径中。在至少一个实施例中，共享存储器/L1高速缓存3318在至少一个实施例中用于高速缓存读取和写入。在至少一个实施例中，共享存储器/L1高速缓存3318、L2高速缓存和存储器中的一个或更多个是备用存储。
在至少一个实施例中，将数据高速缓存和共享存储器功能组合到单个存储器块中为两种类型的存储器访问提供了改进的性能。在至少一个实施例中，容量由不使用共享存储器的程序使用或将其用作高速缓存，诸如如果共享存储器被配置为使用一半容量，而纹理和加载/存储操作可以使用剩余容量。根据至少一个实施例，在共享存储器/L1高速缓存3318内的集成使共享存储器/L1高速缓存3318能够用作用于流传输数据的高吞吐量管道，同时提供对频繁重用的数据的高带宽和低延时访问。在至少一个实施例中，当被配置用于通用并行计算时，与图形处理相比，可以使用更简单的配置。在至少一个实施例中，绕过固定功能图形处理单元，从而创建了更加简单的编程模型。在至少一个实施例中，在通用并行计算配置中，工作分配单元直接将线程的各个块指派和分配给DPC。在至少一个实施例中，块中的线程执行公共程序，在计算中使用唯一的线程ID以确保每个线程生成唯一的结果，使用SM 3300执行程序并执行计算，使用共享存储器/L1高速缓存3318在线程之间进行通信，以及使用LSU 3314通过共享存储器/L1高速缓存3318和存储器分区单元来读取和写入全局存储器。在至少一个实施例中，当被配置用于通用并行计算时，SM 3300写入调度器单元3304可以使用其来在DPC上启动新工作的命令。
在至少一个实施例中，PPU被包括在台式计算机、膝上型计算机、平板电脑、服务器、超级计算机、智能电话(例如，无线、手持设备)、个人数字助理(“PDA”)、数码相机、车辆、头戴式显示器、手持式电子设备等中或与之耦合。在至少一个实施例中，PPU被实现在单个半导体基板上。在至少一个实施例中，PPU与一个或更多个其他设备(例如附加的PPU、存储器、精简指令集计算机(“RISC”)CPU，内存管理单元(“MMU”)、数模转换器(“DAC”)等)一起被包括在片上系统(“SoC”)中。
在至少一个实施例中，PPU可以被包括在包括一个或更多个存储器设备的图形卡上。在至少一个实施例中，该图形卡可以被配置为与台式计算机主板上的PCIe插槽相接合。在至少一个实施例中，该PPU可以是包括在主板的芯片组中的集成图形处理单元(“iGPU”)。
推理和/或训练逻辑615用于执行与一个或更多个实施例相关联的推理和/或训练操作。本文结合图6A和/或图6B提供关于推理和/或训练逻辑615的细节。在至少一个实施例中，深度学习应用程序处理器用于训练机器学习模型(诸如神经网络)，以预测或推理提供给SM 3300的信息。在至少一个实施例中，SM 3300用于基于已由另一处理器或系统或由SM3300训练过的经训练的机器学习模型(例如，神经网络)来推理或预测信息。在至少一个实施例中，SM 3300可用于执行本文所述的一个或更多个神经网络用例。
在至少一个实施例中，推理和/或训练逻辑615的一个或更多个神经网络可以结合图33的特征使用，并且可以被配置为从多个传感器接收传感器输入并且可以被训练为推理冷却剂需求。在至少一个实施例中，推理和/或训练逻辑615可能够使用来自历史冷却需求和历史传感器输入的信息来推理这一点。在至少一个实施例中，推理和/或训练逻辑615可以推理冷却需求的变化。在至少一个实施例中，传感器输入可以与不同传感器输入中的每一个的不同冷却需求的类别相关。在至少一个实施例中，在这样的不同的传感器输入的类别内分类的新的传感器输入可以指示冷却需求或其变化。
公开了实施例，其涉及用于高级计算的虚拟化计算平台，诸如医疗应用程序中的图像推理和图像处理。实施例可以包括但不限于射线照相、磁共振成像(MRI)、核医学、超声、超声检查、弹性成像、光声成像、断层扫描、超声心动图、功能近红外光谱和磁粒子成像，或其组合。在至少一个实施例中，本文所述的虚拟化计算平台和相关过程可以附加地或替代地用于但不限于法医科学分析、地下探测和成像(例如，石油勘探、考古学、古生物学等)、地形学、海洋学、地质学、骨学、气象学、智能区域或目标跟踪和监测、传感器数据处理(例如雷达、声呐、激光雷达等)和/或基因组学和基因测序。
参考图34，图34是根据至少一个实施例的用于生成和部署图像处理和推理管线的过程3400的示例数据流图。在至少一个实施例中，过程3400可以被部署用于成像设备、处理设备、基因组学设备、基因测序设备、放射设备和/或一个或更多个设施3402处的其他设备类型，该设施诸如医疗设施、医院、医疗机构、诊所、研究或诊断实验室等。在至少一个实施例中，过程3400可以被部署为对测序数据进行基因组学分析和推理。可以使用本文所述的系统和过程来执行基因组学分析的示例，所述基因组学分析的示例包括但不限于识别变体、突变检测和基因表达量化。
在至少一个实施例中，过程3400可以在训练系统3404和/或部署系统3406内执行。在至少一个实施例中，训练系统3404可以用于执行机器学习模型(例如，神经网络、对象检测算法、计算机视觉算法等)的训练、部署和实现，以用于部署系统3406。在至少一个实施例中，部署系统3406可以被配置为在分布式计算环境中卸载处理和计算资源，以减少设施3402处的基础设施需求。在至少一个实施例中，部署系统3406可以提供流线型平台，用于选择、定制和实现虚拟仪器，以在设施3402处与成像设备(例如MRI、CT扫描、X射线、超声波等)或测序设备一起使用。在至少一个实施例中，虚拟仪器可以包括用于针对由成像设备、测序设备、放射设备和/或其他设备类型生成的成像数据执行一个或更多个处理操作的软件定义的应用程序。在至少一个实施例中，管线中的一个或更多个应用程序在应用程序执行期间，可以使用或调用部署系统3406的服务(例如，推理、可视化、计算、AI等)。
在至少一个实施例中，在高级处理和推理管线中使用的一些应用程序可以使用机器学习模型或其他AI来执行一个或更多个处理步骤。在至少一个实施例中，可以使用在设施3402处生成(并存储在设施3402处的一个或更多个图片存档和通信系统(PACS)服务器上)的数据3408(例如成像数据)在设施3402处训练机器学习模型，可以使用来自另一个或更多个设施(例如，不同的医院、实验室、诊所等)的成像或测序数据3408来训练机器学习模型，或其组合。在至少一个实施例中，训练系统3404可以用于提供应用程序、服务和/或其他资源，以生成用于部署系统3406的工作的、可部署的机器学习模型。
在至少一个实施例中，模型注册表3424可以由对象存储支持，该对象存储可以支持版本控制和对象元数据。在至少一个实施例中，可以从云平台内通过例如云存储(例如，图35的云3526)兼容的应用程序编程接口(API)来访问对象存储。在至少一个实施例中，模型注册表3424内的机器学习模型可以由与API交互的系统的开发者或合作伙伴上传、列出、修改或删除。在至少一个实施例中，API可以提供对方法的访问，所述方法允许具有适当凭证的用户将模型与应用程序相关联，使得模型可以作为应用程序的容器化实例化的执行的一部分而被执行。
在至少一个实施例中，训练管线3504(图35)可以包括以下情形：其中设施3402正在训练它们自己的机器学习模型，或者具有需要优化或更新的现有机器学习模型。在至少一个实施例中，可以接收由一个或更多个成像设备、测序设备和/或其他类型设备生成的成像数据3408。在至少一个实施例中，一旦接收到成像数据3408，AI辅助注释3410就可以用于辅助生成与成像数据3408相对应的注释，以用作机器学习模型的真值数据。在至少一个实施例中，AI辅助注释3410可以包括一个或更多个机器学习模型(例如，卷积神经网络(CNN))，该机器学习模型可以被训练，以生成对应于某些类型的成像数据3408(例如，来自某些设备)和/或成像数据3408中某些类型的异常的注释。在至少一个实施例中，然后AI辅助注释3410可以被直接使用，或者可以使用注释工具(例如，由研究人员、临床医生、医生、科学家等)进行调整或微调，以生成真值数据。在至少一个实施例中，在一些示例中，标记的临床数据3412(例如，由临床医生、医生、科学家、技术人员等提供的注释)可以用作训练机器学习模型的真值数据。在至少一个实施例中，AI辅助注释3410、标记的临床数据3412或其组合可以用作训练机器学习模型的真值数据。在至少一个实施例中，经训练的机器学习模型可以被称为输出模型3416，并且可以由部署系统3406使用，如本文所述。
在至少一个实施例中，训练管线3504(图35)可以包括以下情形：其中设施3402需要机器学习模型，以用于执行用于部署系统3406中的一个或更多个应用程序的一个或更多个处理任务，但是设施3402当前可能没有这种机器学习模型(或者可能没有为此目的而优化的、高效的或有效的模型)。在至少一个实施例中，可以从模型注册表3424中选择现有的机器学习模型。在至少一个实施例中，模型注册表3424可以包括机器学习模型，其被训练为对成像数据执行各种不同的推理任务。在至少一个实施例中，可以已经在来自与设施3402不同的设施(例如，位于远处的设施)的成像数据上训练了模型注册表3424中的机器学习模型。在至少一个实施例中，机器学习模型可能已经在来自一个位置、两个位置或任意数量的位置的成像数据上被训练了。在至少一个实施例中，当在来自特定位置的成像数据上进行训练时，可以在该位置处进行训练，或者至少以保护成像数据的机密性或限制成像数据从场外传输的方式进行训练(例如，以遵守HIPAA法规、隐私法规等)。在至少一个实施例中，一旦在一个位置处训练了模型或部分地训练了模型，则可以将机器学习模型添加到模型注册表3424。在至少一个实施例中，然后可以在任意数量的其他设施处对机器学习模型进行重新训练或更新，经重新训练或更新的模型可以在模型注册表3424得到。在至少一个实施例中，然后可以从模型注册表3424中选择机器学习模型(并称为输出模型3416)，并且可以在部署系统3406中使用，以执行用于部署系统的一个或更多个应用程序的一个或更多个处理任务。
在至少一个实施例中，训练管线3504(图35)可用于包括设施3402的场景中，所述设施需要机器学习模型，以用于执行用于部署系统3406中的一个或更多个应用程序的一个或更多个处理任务，但是设施3402当前可能没有这样的机器学习模型(或者可能没有优化的、高效的或有效的模型)。在至少一个实施例中，由于用于训练机器学习模型的训练数据的种群差异、遗传变异、稳健性，训练数据异常的多样性，和/或训练数据的其他问题，从模型注册表3424中选择的机器学习模型可能不会针对在设施3402处生成的成像数据3408进行微调或优化。在至少一个实施例中，AI辅助注释3410可以用于辅助生成与成像数据3408相对应的注释，以用作重新训练或更新机器学习模型的真值数据。在至少一个实施例中，标记的临床数据3412(例如，由临床医生、医生、科学家等提供的注释)可以用作训练机器学习模型的真值数据。在至少一个实施例中，重新训练或更新机器学习模型可以称为模型训练3414。在至少一个实施例中，模型训练3414(例如AI辅助注释3410，标记的临床数据3412或其组合)可以用作重新训练或更新机器学习模型的真值数据。
在至少一个实施例中，部署系统3406可以包括软件3418、服务3420、硬件3422和/或其他组件、特征和功能。在至少一个实施例中，部署系统3406可以包括软件“栈”，以使软件3418可以构建在服务3420的顶部上，并且可以使用服务3420来执行一些或全部处理任务，并且服务3420和软件3418可以构建在硬件3422的顶部上，并使用硬件3422来执行部署系统3406的处理、存储和/或其他计算任务。
在至少一个实施例中，软件3418可以包括任意数量的不同容器，其中每个容器可以执行应用程序的实例化。在至少一个实施例中，每个应用程序可以在高级处理和推理管线中执行一个或更多个处理任务(例如，推理、对象检测、特征检测、分割、图像增强、配准等)。在至少一个实施例中，对于每种类型的成像设备(例如，CT、MRI、X射线、超声、超声检查、超声心动图等)、测序设备、放射设备、基因组学设备等，可能有任意数量的容器，其可以对由设备生成的成像数据3408(或其他数据类型，诸如本文所述的数据类型)执行数据处理任务。在至少一个实施例中，除了接收和配置成像数据以供每个容器使用和/或在通过管线处理后由设施3402使用的容器以外，还可以基于对处理成像数据3408想要的或所需的不同容器的选择来定义高级处理和推理管线(例如，以将输出转换回可用的数据类型，诸如医学数字成像和通信(DICOM)数据、放射信息系统(RIS)数据、临床信息系统(CIS)数据、远程过程调用(RPC)数据、基本上符合表述性状态传输(REST)接口的数据、基本上符合基于文件接口的数据、和/或原始数据，以在设施3402处进行存储和显示)。在至少一个实施例中，软件3418内的容器的组合(例如，其构成管线)可以被称为虚拟仪器(如本文中更详细地描述的)，并且虚拟仪器可以利用服务3420和硬件3422来执行在容器中实例化的应用程序的部分或全部处理任务。
在至少一个实施例中，数据处理管线可以响应于推理请求(例如，来自部署系统3406的用户(例如临床医生、医生、放射科医生等)的请求)接收DICOM、RIS、CIS、符合REST(REST compliant)、RPC、原始、和/或其他格式的输入数据(例如，成像数据3408)。在至少一个实施例中，输入数据可以代表由一个或更多个成像设备、测序设备、放射设备、基因组学设备和/或其他设备类型生成的一个或更多个图像、视频和/或其他数据表示。在至少一个实施例中，数据可以作为数据处理管线的一部分而经受预处理，以准备数据用于由一个或更多个应用程序进行处理。在至少一个实施例中，可以对管线的一个或更多个推理任务或其他处理任务的输出执行后处理，以准备下一个应用程序的输出数据，和/或准备输出数据以供用户传输和/或使用(例如作为对推理请求的响应)。在至少一个实施例中，推理任务可以由一个或更多个机器学习模型(诸如经训练或经部署的神经网络)执行，所述机器学习模型可以包括训练系统3404的输出模型3416。
在至少一个实施例中，数据处理管线的任务可以封装在一个或更多个容器中，每个容器表示能够引用机器学习模型的应用程序和虚拟化计算环境的分立的全功能实例化。在至少一个实施例中，容器或应用程序可被发布到(本文更详细地描述的)容器注册表的私有(例如，受限访问)区域中，并且经训练或经部署的模型可被存储在模型注册表3424中，并与一个或更多个应用程序相关联。在至少一个实施例中，应用程序的图像(例如，容器图像)可在容器注册表中得到，并且一旦用户从容器注册表中选择了图像以部署在管线中，则该图像可用于生成用于应用程序的实例化的容器，以供用户的系统使用。
在至少一个实施例中，开发者(例如，软件开发者、临床医生、医生等)可以开发、发布和存储应用程序(例如，存储为容器)，用于对所提供的数据执行图像处理和/或推理。在至少一个实施例中，可以使用与系统相关联的软件开发工具包(SDK)来执行开发、发布和/或存储(例如，以确保开发的应用程序和/或容器符合系统或与系统兼容)。在至少一个实施例中，所开发的应用程序可以使用SDK在本地测试(例如，在第一设施处，对来自第一设施的数据进行测试)，所述SDK作为系统(例如图35中的系统3500)可以支持至少某些服务3420。在至少一个实施例中，由于DICOM对象可包含一到数百个图像或其他数据类型，并且由于数据的改变，因此开发者可负责管理(例如，设置构造，用于将预处理构建到应用程序中等)传入的DICOM数据的提取和准备。在至少一个实施例中，一旦由系统3500进行了验证(例如，为了准确性、安全性、患者隐私等)，应用程序就可以在容器注册表中得到，以供用户(例如，医院、诊所、实验室、医疗保健提供者等)选择和/或实现，以对用户的设施(例如第二设施)处的数据执行一个或更多个处理任务。
在至少一个实施例中，开发者随后可以通过网络共享应用程序或容器，以供系统(例如，图35的系统3500)的用户访问和使用。在至少一个实施例中，可以将完成并经过验证的应用程序或容器存储在容器注册表中，并且可以将关联的机器学习模型存储在模型注册表3424中。在至少一个实施例中，请求实体(例如，医疗机构的用户)(其提供推理或图像处理请求)可以浏览容器注册表和/或模型注册表3424，以获得应用程序、容器、数据集、机器学习模型等，选择所需的元素组合以包含在数据处理管线中，以及提交图像处理请求。在至少一个实施例中，请求可以包括执行请求所必需的输入数据(在一些示例中，以及关联的患者数据)，和/或可以包括对在处理请求时要执行的一个或更多个应用程序和/或机器学习模型的选择。在至少一个实施例中，然后可以将请求传递到部署系统3406的一个或更多个组件(例如，云)，以执行数据处理管线的处理。在至少一个实施例中，由部署系统3406进行的处理可以包括引用从容器注册表和/或模型注册表3424中选择的元素(例如，应用程序、容器、模型等)。在至少一个实施例中，一旦管线生成结果，则结果可被返回给用户以供参考(例如，用于在本地的本地部署工作站或终端上执行的查看应用程序套件中进行查看)。在至少一个实施例中，放射科医生可以从数据处理管线接收结果，所述数据处理管线包括任意数量的应用程序和/或容器，其中结果可以包括X射线、CT扫描、MRI等中的异常检测。
在至少一个实施例中，为了辅助在管线中处理或执行应用程序或容器，可以利用服务3420。在至少一个实施例中，服务3420可以包括计算服务、人工智能(AI)服务、可视化服务和/或其他服务类型。在至少一个实施例中，服务3420可以提供软件3418中的一个或更多个应用程序所共有的功能，因此可以将功能抽象为可以由应用程序调用或利用的服务。在至少一个实施例中，由服务3420提供的功能可以动态且更高效地运行，同时还可以通过允许应用程序并行地处理数据(例如，使用图35中的并行计算平台3530)来很好地扩展。在至少一个实施例中，不是要求共享服务3420提供的相同功能的每个应用程序都必须具有服务3420的相应实例，而是可以在各个应用程序之间和之中共享服务3420。在至少一个实施例中，作为非限制性示例，服务可包括可用于执行检测或分割任务的推理服务器或引擎。在至少一个实施例中，可以包括模型训练服务，其可以提供机器学习模型训练和/或重新训练能力。在至少一个实施例中，可以还包括数据增强服务，其可以提供GPU加速的数据(例如，DICOM、RIS、CIS、符合REST、RPC、原始等)提取、调整大小、缩放和/或其他增强。在至少一个实施例中，可以使用可视化服务，其可以添加图像渲染效果(诸如光线跟踪、光栅化、去噪、锐化等)，以向二维(2D)和/或三维(3D)模型添加真实感。在至少一个实施例中，可以包括虚拟仪器服务，其为虚拟仪器的管线内的其他应用程序提供波束赋形、分割、推理、成像和/或支持。
在至少一个实施例中，在服务3420包括AI服务(例如，推理服务)的情况下，作为应用程序执行的一部分，可以通过调用(例如，作为API调用)推理服务(例如，推理服务器)以执行一个或更多个机器学习模型或其处理，来执行与用于异常检测(例如，肿瘤、生长异常、瘢痕形成等)的应用程序相关联的一个或更多个机器学习模型。在至少一个实施例中，在另一应用程序包括用于分割任务的一个或更多个机器学习模型的情况下，应用程序可以调用推理服务来执行机器学习模型，以用于执行与分割任务相关联的一个或更多个处理操作。在至少一个实施例中，实现高级处理和推理管线的软件3418(其包括分割应用程序和异常检测应用程序)可以被流线化，因为每个应用程序可以调用相同的推理服务来执行一个或更多个推理任务。
在至少一个实施例中，硬件3422可包括GPU、CPU、图形卡、AI/深度学习系统(例如，AI超级计算机，诸如NVIDIA的DGX超级计算机系统)、云平台或其组合。在至少一个实施例中，可以使用不同类型的硬件3422，以为部署系统3406中的软件3418和服务3420提供高效的、专门构建的支持。在至少一个实施例中，可以实现使用GPU处理来在AI/深度学习系统内、云系统中、和/或部署系统3406的其他处理组件中进行本地处理(例如，在设施3402处)，以提高图像处理、图像重建、分割、MRI检查、中风或心脏病发作检测(例如，实时地)、渲染的图像质量等的效率、准确性和效能。在至少一个实施例中，设施可包括成像设备、基因组学设备、测序设备、和/或本地部署的其他设备类型，其可以利用GPU生成代表受试者解剖结构的成像数据。
在至少一个实施例中，作为非限制性示例，关于深度学习、机器学习和/或高性能计算，可以针对GPU处理优化软件3418和/或服务3420。在至少一个实施例中，部署系统3406和/或训练系统3404的计算环境中的至少一些可以在具有GPU优化的软件(例如，NVIDIADGX系统的硬件和软件组合)的数据中心、一个或更多个超级计算机或高性能计算机系统中执行。在至少一个实施例中，数据中心可以符合HIPAA的规定，使得关于患者数据的隐私性安全地处理成像数据和/或其他患者数据的接收、处理和传输。在至少一个实施例中，如本文所述，硬件3422可包括任意数量的GPU，所述GPU可被调用以并行执行数据处理。在至少一个实施例中，云平台还可包括用于深度学习任务的GPU优化的执行、机器学习任务或其他计算任务的GPU处理。在至少一个实施例中，可以使用AI/深度学习超级计算机和/或GPU优化的软件(例如，如在NVIDIA的DGX系统上提供的)作为硬件抽象和扩展平台，来执行云平台(例如，NVIDIA的NGC)。在至少一个实施例中，云平台可以在多个GPU上集成应用程序容器聚类系统或协调系统(例如，KUBERNETES)，以实现无缝扩展和负载均衡。
在至少一个实施例中，推理和/或训练逻辑615的一个或更多个神经网络可以结合图34的特征使用，并且可以被配置为从多个传感器接收传感器输入并且可以被训练为推理冷却剂需求。在至少一个实施例中，推理和/或训练逻辑615可能够使用来自历史冷却需求和历史传感器输入的信息来推理这一点。在至少一个实施例中，推理和/或训练逻辑615可以推理冷却需求的变化。在至少一个实施例中，传感器输入可以与不同传感器输入中的每一个的不同冷却需求的类别相关。在至少一个实施例中，在这样的不同的传感器输入的类别内分类的新的传感器输入可以指示冷却需求或其变化。
图35是根据至少一个实施例的用于生成和部署成像部署管线的示例系统3500的系统图。在至少一个实施例中，系统3500可以用于实现图34的过程3400和/或其他过程，包括高级处理和推理管线。在至少一个实施例中，系统3500可以包括训练系统3404和部署系统3406。在至少一个实施例中，可以使用软件3418、服务3420和/或硬件3422，来实现训练系统3404和部署系统3406，如本文所述。
在至少一个实施例中，系统3500(例如，训练系统3404和/或部署系统3406)可以在云计算环境中(例如，使用云3526)实现。在至少一个实施例中，系统3500可以在本地实现(关于医疗服务设施)，或者作为云计算资源和本地计算资源的组合来实现。在至少一个实施例中，在实现云计算的实施例中，患者数据可以与系统3500的一个或更多个组件分离，或者未由系统3500的一个或更多个组件处理，这将导致处理不符合HIPAA和/或其他数据处理和隐私法规或法律。在至少一个实施例中，可以通过制定安全措施或协议，将对云3526中的API的访问权限制为被授权用户。在至少一个实施例中，安全协议可以包括网络令牌，其可以由认证(例如，AuthN、AuthZ、Gluecon等)服务签名，并且可以携带适当的授权。在至少一个实施例中，(本文中描述的)虚拟仪器的API或系统3500的其他实例可以被限制为已被审核或授权用于交互的一组公共IP。
在至少一个实施例中，系统3500的各个组件可以使用各种不同网络类型中的任何一种在彼此之间和之中进行通信，所述不同网络类型包括但不限于经由有线和/或无线通信协议的局域网(LAN)和/或广域网(WAN)。在至少一个实施例中，系统3500的设施和组件之间的通信(例如，用于发送推理请求、用于接收推理请求的结果等)可以通过一个或更多个数据总线、无线数据协议(Wi-Fi)、有线数据协议(例如以太网)等进行传送。
在至少一个实施例中，类似于本文关于图34所描述的，训练系统3404可以执行训练管线3504。在至少一个实施例中，其中部署系统3406将在部署管线3510中使用一个或更多个机器学习模型，训练管线3504可用于训练或重新训练一个或更多个(例如，经预训练的)模型，和/或实现一个或更多个经预训练的模型3506(例如，无需重新训练或更新)。在至少一个实施例中，作为训练管线3504的结果，可以生成一个或更多个输出模型3416。在至少一个实施例中，训练管线3504可以包括任意数量的处理步骤，诸如但不限于成像数据(或其他输入数据)的转换或适配(例如，使用DICOM适配器3502A将DICOM图像转换为适合于由相应机器学习模型处理的另一种格式，诸如Neuroimaging信息技术倡议(NIfTI)格式)，AI辅助注释3410，成像数据3408的标记或注释(用于生成标记的临床数据3412)，从模型注册表中选择模型，模型训练3414、训练、重新训练或更新模型，和/或其他处理步骤。在至少一个实施例中，对于由部署系统3406使用的不同的机器学习模型，可以使用不同的训练管线3504。在至少一个实施例中，类似于关于图34描述的第一示例的训练管线3504可用于第一机器学习模型，类似于关于图34描述的第二示例的训练管线3504可用于第二机器学习模型，类似于关于图34描述的第三示例的训练管线3504可用于第三机器学习模型。在至少一个实施例中，可以根据每个相应机器学习模型的要求来使用训练系统3404内任务的任何组合。在至少一个实施例中，一个或更多个机器学习模型可能已经被训练并准备好用于部署，因此机器学习模型可能不经受训练系统3404对其的任何处理，并且机器学习模型可以由部署系统3406来实现。
在至少一个实施例中，根据实现方式或实施例，一个或更多个输出模型3416和/或经预训练的模型3506可包括任何类型的机器学习模型。在至少一个实施例中并且不限于此，系统3500使用的机器学习模型可以包括使用线性回归、逻辑回归、决策树、支持向量机(SVM)、朴素贝叶斯、k-最近邻(Knn)、k均值聚类、随机森林、降维算法、梯度提升算法、神经网络(例如，自动编码器、卷积、循环、感知器、长/短期记忆(LSTM)、Hopfield、Boltzmann、深度信念、反卷积、生成对抗、液体状态机等)的一个或更多个机器学习模型，和/或其他类型的机器学习模型。
在至少一个实施例中，训练管线3504可以包括AI辅助注释，如本文关于至少图36B更详细描述的。在至少一个实施例中，可以通过任何数量的技术来生成标记的临床数据3412(例如，传统注释)。在至少一个实施例中，在一些示例中，可以在绘图程序(例如，注释程序)、计算机辅助设计(CAD)程序、标记程序、适用于生成真值的注释或标签的另一类型的程序中、和/或可以手绘地，生成标签或其他注释。在至少一个实施例中，真值数据可以被合成地产生(例如，从计算机模型或渲染生成)、真实产生(例如，从真实世界数据设计和产生)、机器自动产生(例如，使用特征分析和学习从数据中提取特征，然后生成标签)、人工注释(例如，标记器或注释专家，定义的标签位置)和/或其组合。在至少一个实施例中，对于成像数据3408(或机器学习模型使用的其他数据类型)的每个实例，可以存在由训练系统3404生成的相应的真值数据。在至少一个实施例中，除了在训练管线3504中包括AI辅助注释之外，或者代替在训练管线3504中包括AI辅助注释，还可以作为部署管线3510的一部分执行AI辅助注释。在至少一个实施例中，系统3500可以包括多层平台，所述多层平台可以包括诊断应用程序(或其他应用程序类型)的软件层(例如，软件3418)，其可以执行一个或更多个医学成像和诊断功能。在至少一个实施例中，系统3500可以通信地耦合到(例如，经由加密链路)一个或更多个设施的PACS服务器网络。在至少一个实施例中，系统3500可被配置为从PACS服务器(例如，经由DICOM适配器3502或诸如RIS、CIS、符合REST、RPC、原始等的另一数据类型适配器)访问和引用数据(例如，DICOM数据、RIS数据、原始数据、CIS数据、符合REST的数据、RPC、原始数据等)，以执行操作，诸如训练机器学习模型、部署机器学习模型、图像处理、推理和/或其他操作。
在至少一个实施例中，软件层可以被实现为安全的、加密的和/或经认证的API，通过所述API可以从一个或更多个外部环境(例如，设施3402)调用(invoke)(例如，调用(call))应用程序或容器。在至少一个实施例中，应用程序随后可以调用或执行一个或更多个服务3420，以执行与相应的应用程序相关联的计算、AI或可视化任务，并且软件3418和/或服务3420可以利用硬件3422以有效且高效的方式执行处理任务。
在至少一个实施例中，部署系统3406可以执行部署管线3510。在至少一个实施例中，部署管线3510可以包括任意数量的应用程序，所述应用程序可以是顺序的、非顺序的、或者以其他方式应用于成像数据(和/或其他数据类型)-包括AI辅助注释，所述成像数据由成像设备、测序设备、基因组学设备等生成，如上所述。在至少一个实施例中，如本文所述，用于个体设备的部署管线3510可以被称为设备的虚拟仪器(例如，虚拟超声仪、虚拟CT扫描仪、虚拟测序仪等)。在至少一个实施例中，对于单个设备，可以存在不止一个部署管线3510，这取决于设备生成的数据所期望的信息。在至少一个实施例中，在期望从MRI机器检测到异常的情况下，可以存在第一部署管线3510，并且在期望从MRI机器的输出进行图像增强的情况下，可以存在第二部署管线3510。
在至少一个实施例中，可用于部署管线3510的应用程序可包括可用于对成像数据或来自设备的其他数据执行处理任务的任何应用程序。在至少一个实施例中，不同的应用程序可负责图像增强、分割、重建、异常检测、对象检测、特征检测、治疗规划、剂量测定、波束规划(或其他辐射治疗程序)和/或其他分析、图像处理或推理任务。在至少一个实施例中，部署系统3406可以为每个应用程序定义构造，使得部署系统3406(例如，医疗设施、实验室、诊所等)的用户可以理解构造并将应用程序适配为在其相应的设施内实现。在至少一个实施例中，可以选择用于图像重建的应用程序，以包括在部署管线3510中，但是由成像设备生成的数据类型可以与在应用程序内使用的数据类型不同。在至少一个实施例中，可以在部署管线3510内使用DICOM适配器3502B(和/或DICOM读取器)或另一数据类型的适配器或读取器(例如，RIS、CIS、符合REST、RPC、原始等)，以将数据转换为可由部署系统3406内的应用程序使用的形式。在至少一个实施例中，对DICOM、RIS、CIS、符合REST、RPC、原始和/或其他数据类型库的访问可以被累积和预处理，包括解码数据、提取数据和/或对数据执行任何卷积、颜色校正、锐化、gamma和/或其他增强。在至少一个实施例中，DICOM、RIS、CIS、符合REST、RPC和/或原始数据可以是无序的，并且可以执行预传递以组织所收集的数据或对所收集的数据进行排序。在至少一个实施例中，由于各种应用程序可以共享公共图像操作，因此在一些实施例中，可以使用数据增强库(例如，作为服务3420之一)来加速这些操作。在至少一个实施例中，为了避免依赖于CPU处理的常规处理方法的瓶颈，并行计算平台3530可用于这些处理任务的GPU加速。
在至少一个实施例中，图像重建应用程序可包括处理任务，该处理任务包括使用机器学习模型。在至少一个实施例中，用户可能希望使用他们自己的机器学习模型，或者从模型注册表3424中选择机器学习模型。在至少一个实施例中，用户可以实现他们自己的机器学习模型或选择机器学习模型，以包括在执行处理任务的应用程序中。在至少一个实施例中，应用程序可以是可选择的和可定制的，并且通过定义应用程序的构造，针对特定用户的应用程序的部署和实现被呈现为更加无缝的用户体验。在至少一个实施例中，通过利用系统3500的其他特征(诸如服务3420和硬件3422)，部署管线3510可以更加用户友好，提供更容易的集成，并且产生更准确、高效和及时的结果。
在至少一个实施例中，部署系统3406可以包括用户接口3514(例如，图形用户界面、web接口等)，该用户接口可以被用于选择要包括在一个或更多个部署管线3510中的应用程序、布置应用程序、修改或改变应用程序或其参数或构造、在设置和/或部署期间使用一个或更多个部署管线3510以及与其交互，和/或以其他方式与部署系统3406交互。在至少一个实施例中，尽管没有关于训练系统3404示出，但是用户接口3514(或不同的用户接口)可用于选择在部署系统3406中使用的模型、用于选择用于在训练系统3404中训练或重新训练的模型，和/或用于以其他方式与训练系统3404交互。
在至少一个实施例中，除了应用程序协调系统3528之外，还可以使用管线管理器3512来管理一个或更多个部署管线3510的应用程序或容器与服务3420和/或硬件3422之间的交互。在至少一个实施例中，管线管理器3512可以被配置为促进从应用程序到应用程序、从应用程序到服务3420、和/或从应用程序或服务到硬件3422的交互。在至少一个实施例中，尽管示出为包括在软件3418中，这并不旨在进行限制，并且在一些示例中(例如，如图36所示)，管线管理器3512可以被包括在服务3420中。在至少一个实施例中，应用程序协调系统3528(例如，Kubernetes、DOCKER等)可以包括容器协调系统，其可以将应用程序分组到容器中，作为用于协调、管理、扩展和部署的逻辑单元。在至少一个实施例中，通过将来自一个或更多个部署管线3510的应用程序(例如，重建应用程序、分割应用程序等)与各个容器相关联，每个应用程序可以在自包含的环境(例如，在内核级)中执行，以提高速度和效率。
在至少一个实施例中，每个应用程序和/或容器(或其映像)可以被分别开发、修改和部署(例如，第一用户或开发者可以开发、修改和部署第一应用程序，第二用户或开发者可以开发、修改和部署与第一用户或开发者分开的第二应用程序)，这可以允许关注并专注单个应用程序和/或容器的任务，而不受其他应用程序或容器的任务的阻碍。在至少一个实施例中，管线管理器3512和应用程序协调系统3528可以辅助不同容器或应用程序之间的通信和协作。在至少一个实施例中，只要每个容器或应用程序的预期输入和/或输出是系统已知的(例如，基于应用程序或容器的构造)，则应用程序协调系统3528和/或管线管理器3512可以促进每个应用程序或容器之间和之中的通信以及资源的共享。在至少一个实施例中，由于一个或更多个部署管线3510中的一个或更多个应用程序或容器可以共享相同的服务和资源，因此应用程序协调系统3528可以在各个应用程序或容器之间和之中进行协调、负载均衡，以及确定服务或资源的共享。在至少一个实施例中，调度器可用于跟踪应用程序或容器的资源需求、这些资源的当前使用或计划使用，以及资源可用性。因此，在至少一个实施例中，考虑到系统的需求和可用性，调度器可以将资源分配给不同的应用程序，并在应用程序之间和之中分配资源。在一些示例中，调度器(和/或应用程序协调系统3528(诸如定序器和/或异步计算引擎)的其他组件)可以基于施加在系统上的约束(例如，用户约束)，诸如服务质量(QoS)、对数据输出的需求的迫切性等，来确定资源可用性和分布(例如，以确定是执行实时处理还是延迟处理)。
在至少一个实施例中，由部署系统3406中的应用程序或容器利用并由其共享的服务3420可以包括计算服务3516、AI服务3518、可视化服务3520和/或其他服务类型。在至少一个实施例中，应用程序可以调用(例如，执行)一个或更多个服务3420，以执行针对应用程序的处理操作。在至少一个实施例中，应用程序可以利用计算服务3516来执行超级计算或其他高性能计算(HPC)任务。在至少一个实施例中，可以利用一个或更多个计算服务3516来执行并行处理(例如，使用并行计算平台3530)，以通过一个或更多个应用程序和/或单个应用程序的一个或更多个任务来基本上同时地处理数据。在至少一个实施例中，并行计算平台3530(例如，NVIDIA的CUDA)可以在GPU(例如，GPU 3522)上实现通用计算(GPGPU)。在至少一个实施例中，并行计算平台3530的软件层可以提供对GPU的虚拟指令集和并行计算元素的访问，以执行计算内核。在至少一个实施例中，并行计算平台3530可以包括存储器，并且在一些实施例中，可以在多个容器之间和之中、和/或在单个容器内的不同处理任务之间和之中共享存储器。在至少一个实施例中，可以为多个容器和/或容器内的多个进程生成进程间通信(IPC)调用，以使用来自并行计算平台3530的共享存储器段的相同数据(例如，其中一应用程序或更多个应用程序的多个不同阶段正在处理相同的信息)。在至少一个实施例中，不是复制数据并将数据移动到存储器中的不同位置(例如，读/写操作)，而是可以将存储器的相同位置中的相同数据用于任何数量的处理任务(例如，在同一时间、不同时间等)。在至少一个实施例中，由于作为处理的结果数据被用于生成新数据，因此数据的新位置的该信息可以被存储并在各个应用程序之间共享。在至少一个实施例中，数据的位置以及经更新或修改的数据的位置可以是如何理解有效负载处于容器中的定义的一部分。
在至少一个实施例中，可以利用AI服务3518来执行推理服务，该推理服务用于执行与应用程序相关联的一个或更多个机器学习模型(例如，任务为执行应用程序的一个或更多个处理任务)。在至少一个实施例中，AI服务3518可以利用AI系统3524来执行一个或更多个机器学习模型(例如，诸如CNN之类的神经网络)以用于分割、重建、对象检测、特征检测、分类和/或其他推理任务。在至少一个实施例中，一个或更多个部署管线3510的应用程序可以使用来自训练系统3404的一个或更多个输出模型3416和/或应用程序的其他模型，来对成像数据(例如，DICOM数据、RIS数据、CIS数据、符合REST的数据、RPC数据、原始数据等)执行推理。在至少一个实施例中，使用应用程序协调系统3528(例如，调度器、定序器、和/或异步计算引擎)进行推理的两个或更多个示例可以是可用的。在至少一个实施例中，第一类别可以包括高优先级/低延时路径，其可以实现更高服务水平协议，例如用于在紧急情况下对紧急请求执行推理，或者在诊断过程中用于放射科医生。在至少一个实施例中，第二类别可以包括标准优先级路径，其可用于可能不紧急的请求或者可以在稍后的时间执行分析的情况。在至少一个实施例中，应用程序协调系统3528可以基于优先级路径来分配资源(例如，服务3420和/或硬件3422)，以用于AI服务3518的不同推理任务。
在至少一个实施例中，共享存储可以被安装到系统3500中的AI服务3518。在至少一个实施例中，共享存储可以操作为高速缓存(或其他存储设备类型)，并且可以用于处理来自应用程序的推理请求。在至少一个实施例中，当提交推理请求时，部署系统3406的一组API实例可以接收请求，并且可以选择一个或更多个实例(例如，为了最佳拟合、为了负载均衡等)来处理请求。在至少一个实施例中，为了处理请求，可以将请求输入到数据库中，如果尚未在高速缓存中，则可以从模型注册表3424定位机器学习模型，验证步骤可以确保将适当的机器学习模型加载到高速缓存中(例如，共享存储)，和/或可以将模型的副本保存到高速缓存中。在至少一个实施例中，如果应用程序尚未运行或没有足够的应用程序实例，则可使用调度器(例如，管线管理器3512的调度器)来启动在请求中引用的应用程序。在至少一个实施例中，如果尚未启动推理服务器来执行模型，则可以启动推理服务器。在至少一个实施例中，每模型可以启动任意数量的推理服务器。在至少一个实施例中，在将推理服务器聚类的拉(pull)模型中，每当负载均衡有利时，就可以将模型高速缓存。在至少一个实施例中，推理服务器可以静态加载到相应的分布式服务器中。
在至少一个实施例中，可以使用在容器中运行的推理服务器来执行推理。在至少一个实施例中，推理服务器的实例可以与模型(并且可选地与模型的多个版本)相关联。在至少一个实施例中，如果在接收到对模型执行推理的请求时推理服务器的实例不存在，则可以加载新实例。在至少一个实施例中，当启动推理服务器时，可以将模型传递到推理服务器，使得可以使用相同的容器来服务不同的模型，只要推理服务器作为不同的实例运行即可。
在至少一个实施例中，在应用程序执行期间，可以接收对给定应用程序的推理请求，并且可以加载(如果尚未加载的话)容器(例如，托管推理服务器的实例的容器)，以及可以调用启动程序。在至少一个实施例中，容器中的预处理逻辑可以(例如，使用CPU和/或GPU)对传入的数据进行加载、解码和/或执行任何附加的预处理。在至少一个实施例中，一旦数据准备好进行推理，容器就可以根据需要对数据执行推理。在至少一个实施例中，这可以包括对一个图像(例如，手部X射线)的单个推理调用，或可要求对数百个图像(例如，胸部CT)进行推理。在至少一个实施例中，应用程序可在完成之前总结结果，其可以包括但不限于单个置信度得分、像素级分割、体素级分割、生成可视化或生成文本以总结结果。在至少一个实施例中，可以为不同的模型或应用程序分配不同的优先级。例如，一些模型可具有实时(TAT小于1分钟)优先级，而其他模型可具有较低的优先级(例如，TAT小于10分钟)。在至少一个实施例中，模型执行时间可以从请求机构或实体进行测量，并且可以包括合作伙伴网络遍历时间以及推理服务的执行时间。
在至少一个实施例中，请求在服务3420和推理应用程序之间的传送可以隐藏在软件开发工具包(SDK)后面，并且可以通过队列提供鲁棒的传输。在至少一个实施例中，将经由API将请求放置在队列中，以用于个体应用程序/租户ID组合，并且SDK将从队列中拉取请求并将请求提供给应用程序。在至少一个实施例中，在SDK将从中拾取队列的环境中，可以提供队列的名称。在至少一个实施例中，通过队列的异步通信可能有用，因为它可以允许应用程序的任何实例在其可用时拾取工作。在至少一个实施例中，可以通过队列将结果传送回去，以确保没有数据丢失。在至少一个实施例中，队列还可以提供对工作进行分割的能力，因为最高优先级的工作可以进入与应用程序的大多数实例连接的队列，而最低优先级的工作可以进入与单个实例连接的队列，所述实例按照接收到的顺序处理任务。在至少一个实施例中，应用程序可以在GPU加速的实例上运行，所述实例在云3526中生成，并且推理服务可以在GPU上执行推理。
在至少一个实施例中，可以利用可视化服务3520来生成用于查看应用程序和/或一个或更多个部署管线3510的输出的可视化。在至少一个实施例中，可视化服务3520可以利用GPU 3522来生成可视化。在至少一个实施例中，可视化服务3520可以实现诸如光线追踪之类的渲染效果，以生成更高质量的可视化。在至少一个实施例中，可视化可以包括但不限于2D图像渲染、3D体渲染、3D体重建、2D层析切片、虚拟现实显示、增强现实显示等。在至少一个实施例中，可以使用虚拟化环境来生成虚拟交互显示或环境(例如，虚拟环境)，以供系统用户(例如，医生、护士、放射科医生等)进行交互。在至少一个实施例中，可视化服务3520可以包括内部可视化器、电影和/或其他渲染或图像处理能力或功能(例如，光线追踪、光栅化、内部光学器件等)。
在至少一个实施例中，硬件3422可以包括GPU 3522、AI系统3524、云3526和/或用于执行训练系统3404和/或部署系统3406的任何其他硬件。在至少一个实施例中，GPU 3522(例如，NVIDIA的TESLA和/或QUADRO GPU)可包括可用于执行计算服务3516、AI服务3518、可视化服务3520、其他服务和/或软件3418的任何特征或功能的处理任务的任意数量的GPU。例如，对于AI服务3518，GPU 3522可用于对成像数据(或机器学习模型使用的其他数据类型)执行预处理，对机器学习模型的输出执行后处理和/或执行推理(例如以执行机器学习模型)。在至少一个实施例中，云3526、AI系统3524和/或系统3500的其他组件可以使用GPU3522。在至少一个实施例中，云3526可以包括用于深度学习任务的GPU优化的平台。在至少一个实施例中，AI系统3524可以使用GPU，并且可以使用一个或更多个AI系统3524来执行云3526(或者任务为深度学习或推理的至少部分)。这样，尽管硬件3422被示出为分立组件，但这并不意图是限制，并且硬件3422的任何组件可以与硬件3422的任何其他组件进行组合，或由硬件3422的任何其他组件利用。
在至少一个实施例中，AI系统3524可包括专门构建的计算系统(例如，超级计算机或HPC)，该计算系统被配置用于推理、深度学习、机器学习和/或其他人工智能任务。在至少一个实施例中，除了CPU、RAM、存储和/或其他组件、特征或功能之外，AI系统3524(例如，NVIDIA的DGX)还可以包括可以使用多个GPU 3522来执行的GPU优化的软件(例如，软件栈)。在至少一个实施例中，可以在云3526中(例如，在数据中心中)实现一个或更多个AI系统3524，以执行系统3500的一些或全部基于AI的处理任务。
在至少一个实施例中，云3526可以包括GPU加速的基础设施(例如，NVIDIA的NGC)，其可以提供用于执行系统3500的处理任务的GPU优化的平台。在至少一个实施例中，云3526可以包括一个或更多个AI系统3524，其用于执行系统3500的一个或更多个基于AI的任务(例如，作为硬件抽象和扩展平台)。在至少一个实施例中，云3526可以与利用多个GPU的应用程序协调系统3528集成，以实现应用程序和服务3420之间和之中的无缝扩展和负载均衡。在至少一个实施例中，如本文所述，云3526的任务可以是执行系统3500的至少一些服务3420，包括计算服务3516、AI服务3518和/或可视化服务3520。在至少一个实施例中，云3526可以执行大小批的推理(例如，执行NVIDIA的TENSOR RT)，提供加速的并行计算API和平台3530(例如，NVIDIA的CUDA)，执行应用程序协调系统3528(例如，KUBERNETES)，提供图形渲染API和平台(例如，用于光线追踪，2D图形、3D图形和/或其他渲染技术以产生更高质量的电影效果)，和/或可以为系统3500提供其他功能。
在至少一个实施例中，为了保护患者的机密性(例如，在非现场(off-premise)使用患者数据或记录的情况下)，云3526可以包括注册表-例如深度学习容器注册表。在至少一个实施例中，注册表可以存储用于实例化应用程序的容器，所述应用程序可以对患者数据执行预处理、后处理或其他处理任务。在至少一个实施例中，云3526可接收数据，所述数据包括患者数据以及容器中的传感器数据，仅对那些容器中的传感器数据执行所请求的处理，然后将结果输出和/或可视化转发给适当的各方和/或设备(例如用于可视化或诊断的本地部署的医疗设备)，它们均而无需提取、存储或以其他方式访问患者数据。在至少一个实施例中，根据HIPAA和/或其他数据规定来保留患者数据的机密性。
在至少一个实施例中，推理和/或训练逻辑615的一个或更多个神经网络可以结合图35的特征使用，并且可以被配置为从多个传感器接收传感器输入并且可以被训练为推理冷却剂需求。在至少一个实施例中，推理和/或训练逻辑615可能够使用来自历史冷却需求和历史传感器输入的信息来推理这一点。在至少一个实施例中，推理和/或训练逻辑615可以推理冷却需求的变化。在至少一个实施例中，传感器输入可以与不同传感器输入中的每一个的不同冷却需求的类别相关。在至少一个实施例中，在这样的不同的传感器输入的类别内分类的新的传感器输入可以指示冷却需求或其变化。
图36A示出了根据至少一个实施例的用于训练、重新训练或更新机器学习模型的过程3600的数据流图。在至少一个实施例中，可以使用作为非限制性示例的图35的系统3500来执行过程3600。在至少一个实施例中，过程3600可以利用系统3500的服务3420和/或硬件3422，如本文所述。在至少一个实施例中，由过程3600生成的精炼(refined)模型3612可以由部署系统3406针对部署管线3510中的一个或更多个容器化的应用程序执行。
在至少一个实施例中，模型训练3414可包括使用新的训练数据(例如，新的输入数据(诸如客户数据集3606)，和/或与输入数据相关联的新的真值数据)重新训练或更新初始模型3604(例如，经预训练的模型)。在至少一个实施例中，为了重新训练或更新初始模型3604，初始模型3604的一个或更多个输出或损失层可以被重置或删除，和/或用经更新的或新的输出或损失层代替。在至少一个实施例中，初始模型3604可以具有从先前的训练中保留下来的先前精细调整的参数(例如，权重和/或偏差)，因此训练或重新训练3414可能不需要花费与从头开始训练模型一样长的时间或不需要那么多的处理。在至少一个实施例中，在模型训练3414期间，通过重置或替换初始模型3604的一个或更多个输出或损失层，在新的客户数据集3606(例如图34的图像数据3408)上生成预测时，可以基于与一个或更多个输出或损失层的精度相关联的损失计算，来更新和重新调整新数据集的参数。
在至少一个实施例中，可以将经预训练的模型3506存储在数据存储或注册表(例如，图34的模型注册表3424)中。在至少一个实施例中，经预训练的模型3506可能已经至少部分地在除了执行过程3600的设施之外的一个或更多个设施处被训练。在至少一个实施例中，为了保护患者、受试者或不同设施的客户端的隐私和权利，经预训练的模型3506可能已经使用本地生成的客户或患者数据在本地进行了训练。在至少一个实施例中，可以使用云3526和/或其他硬件3422来训练经预训练的模型3506，但是机密的、受隐私保护的患者数据可以不被传送到云3526的任何组件(或其他非本地硬件)、不由其使用或不由其访问。在至少一个实施例中，在使用来自不止一个设施的患者数据来训练经预训练的模型3506的情况下，则在来自另一设施的患者或客户数据上进行训练之前，经预训练的模型3506可能已经针对每个设施分别进行了训练。在至少一个实施例中，诸如在客户或患者数据已发布隐私问题(例如，通过免责声明(by waiver)，用于实验用途等)，或者在客户或患者数据包括在公共数据集中的情况下，来自任意数量的设施的客户或患者数据可以用于在本地和/或非本地训练经预训练的模型3506，例如在数据中心中或其他云计算基础设施中。
在至少一个实施例中，在选择应用程序以在部署管线3510中使用时，用户还可以选择要用于特定应用程序的机器学习模型。在至少一个实施例中，用户可能没有模型以使用，因此用户可以选择要与应用程序一起使用的经预训练的模型3506。在至少一个实施例中，经预训练的模型3506可能没有被优化用于在用户设施的客户数据集3606上生成准确的结果(例如，基于患者多样性、人口统计、所使用的医学成像设备的类型等)。在至少一个实施例中，在将经预训练的模型3506部署到部署管线3510中以与一个或更多个应用程序一起使用之前，经预训练的模型3506可以被更新、重新训练和/或微调，以用于在相应设施处使用。
在至少一个实施例中，用户可以选择要更新、重新训练和/或微调的经预训练的模型3506，并且经预训练的模型3506可以称为过程3600中训练系统3404的初始模型3604。在至少一个实施例中，客户数据集3606(例如，成像数据、基因组数据、测序数据或由设施处的设备生成的其他数据类型)可用于对初始模型3604执行模型训练3414(其可包括但不限于迁移学习)，以生成精炼模型3612。在至少一个实施例中，可以由训练系统3404生成与客户数据集3606相对应的真值数据。在至少一个实施例中，可以至少部分地由临床医生、科学家、医生、从业者在设施处生成真值数据(例如，如图34中的标记的临床数据3412)。
在至少一个实施例中，在一些示例中可以使用AI辅助注释3410来生成真值数据。在至少一个实施例中，AI辅助注释3410(例如，使用AI辅助注释SDK实现)可以利用机器学习模型(例如，神经网络)来生成用于客户数据集的建议或预测的真值数据。在至少一个实施例中，用户3610可以在计算设备3608上的用户界面(图形用户界面(GUI))内使用注释工具。
在至少一个实施例中，用户3610可以经由计算设备3608与GUI交互，以编辑或微调注释或自动注释。在至少一个实施例中，多边形编辑特征可以用于将多边形的顶点移动到更精确或经微调的位置。
在至少一个实施例中，一旦客户数据集3606具有关联的真值数据，则真值数据(例如，来自AI辅助注释、手动标记的等)可以在模型训练3414期间使用以生成精炼模型3612。在至少一个实施例中，客户数据集3606可以被应用于初始模型3604任意次数，并且真值数据可以用于更新初始模型3604的参数，直到对于精炼模型3612达到可接受的精度水平为止。在至少一个实施例中，一旦生成精炼模型3612，就可以在设施处的一个或更多个部署管线3510内部署精炼模型3612，以用于执行关于医学成像数据的一个或更多个处理任务。
在至少一个实施例中，可以将精炼模型3612上传到模型注册表3424中的经预训练的模型3506，以由另一设施选择。在至少一个实施例中，它的过程可以在任意数量的设施处完成，使得可以在新数据集上对精炼模型3612进一步精炼任意次数，以生成更通用的模型。
在至少一个实施例中，推理和/或训练逻辑615的一个或更多个神经网络可以结合图36A的特征使用，并且可以被配置为从多个传感器接收传感器输入并且可以被训练为推理冷却剂需求。在至少一个实施例中，推理和/或训练逻辑615可能够使用来自历史冷却需求和历史传感器输入的信息来推理这一点。在至少一个实施例中，推理和/或训练逻辑615可以推理冷却需求的变化。在至少一个实施例中，传感器输入可以与不同传感器输入中的每一个的不同冷却需求的类别相关。在至少一个实施例中，在这样的不同的传感器输入的类别内分类的新的传感器输入可以指示冷却需求或其变化。
图36B是根据至少一个实施例的用于利用经预训练的注释模型来增强注释工具的客户端-服务器架构3632的示例图示。在至少一个实施例中，可以基于客户端-服务器架构3632来实例化AI辅助注释工具3636。在至少一个实施例中，成像应用程序中的注释工具3636可以帮助放射科医生，例如识别器官和异常。在至少一个实施例中，成像应用程序可以包括软件工具，作为非限制性示例，所述软件工具帮助用户3610识别原始图像3634中(例如，3D MRI或CT扫描中)的特定感兴趣器官上的几个极值点，并接收特定器官的所有2D切片的自动注释结果。在至少一个实施例中，结果可以作为训练数据3638存储在数据存储中，并且用作(例如但不限于)用于训练的真值数据。在至少一个实施例中，当计算设备3608发送用于AI辅助注释3410的极值点时，例如，深度学习模型可以接收该数据作为输入并返回分割器官或异常的推理结果。在至少一个实施例中，预实例化的注释工具(诸如图36B中的AI辅助注释工具3636B)可以通过对服务器(诸如注释助手服务器3640)进行API调用(例如，API调用3644)来增强，注释助手服务器3640可包括存储在例如注释模型注册表中的一组经预训练的模型3642。在至少一个实施例中，注释模型注册表可以存储经预训练的模型3642(例如，机器学习模型，诸如深度学习模型)，其被预训练以对特定器官或异常执行AI辅助注释。在至少一个实施例中，可以通过使用训练管线3504来进一步更新这些模型。在至少一个实施例中，随着添加新的标记的临床数据3412，可以随时间改进预安装的注释工具。
推理和/或训练逻辑615用于执行与一个或更多个实施例相关联的推理和/或训练操作。本文结合图6A和/或图6B提供关于推理和/或训练逻辑615的细节。
在至少一个实施例中，推理和/或训练逻辑615的一个或更多个神经网络可以结合图36B的特征使用，并且可以被配置为从多个传感器接收传感器输入并且可以被训练为推理冷却剂需求。在至少一个实施例中，推理和/或训练逻辑615可能够使用来自历史冷却需求和历史传感器输入的信息来推理这一点。在至少一个实施例中，推理和/或训练逻辑615可以推理冷却需求的变化。在至少一个实施例中，传感器输入可以与不同传感器输入中的每一个的不同冷却需求的类别相关。在至少一个实施例中，在这样的不同的传感器输入的类别内分类的新的传感器输入可以指示冷却需求或其变化。
在至少一个实施例中，单个半导体平台可以指唯一的单一基于半导体的集成电路或芯片。在至少一个实施例中，可以使用具有增加的连接性的多芯片模块，其模拟芯片上的操作，并且相对于利用常规的中央处理单元(“CPU”)和总线实现方式进行了实质性的改进。在至少一个实施例中，根据用户的需求，各种模块也可以单独放置或以半导体平台的各种组合放置。
在至少一个实施例中，返回参考图11，机器可读的可执行代码或计算机控制逻辑算法形式的计算机程序被存储在主存储器1104和/或辅助存储中。根据至少一个实施例，计算机程序如果由一个或更多个处理器执行，则使系统1100能够执行各种功能。在至少一个实施例中，存储器1104、存储和/或任何其他存储是计算机可读介质的可能示例。在至少一个实施例中，辅助存储可以指代任何合适的存储设备或系统，诸如硬盘驱动器和/或可移除存储驱动器，其代表软盘驱动器、磁带驱动器、光盘驱动器、数字多功能盘(“DVD”)驱动器、记录设备、通用串行总线(“USB”)闪存等。在至少一个实施例中，各个先前附图的架构和/或功能是在CPU 1102、并行处理系统1112、能够具有两个CPU 1102的至少部分能力的集成电路、并行处理系统1112、芯片组(例如，被设计成作为执行相关功能的单元工作并出售的一组集成电路等)、和/或一个或更多个集成电路的任何适当组合的上下文中实现的。
在至少一个实施例中，各个先前附图的架构和/或功能在通用计算机系统、电路板系统、专用于娱乐目的的游戏控制台系统、专用系统等的上下文中实现。在至少一个实施例中，计算机系统1100可以采取台式计算机、膝上型计算机、平板电脑、服务器、超级计算机、智能电话(例如，无线、手持设备)、个人数字助理(“PDA”)、数码相机、车辆、头戴式显示器、手持式电子设备、移动电话设备、电视、工作站、游戏控制台、嵌入式系统和/或任何其他类型的逻辑的形式。
在至少一个实施例中，并行处理系统1112包括但不限于多个并行处理单元(“PPU”)1114和关联的存储器1116。在至少一个实施例中，PPU1114经由互连1118和交换机1120或多路复用器连接到主机处理器或其他外围设备。在至少一个实施例中，并行处理系统1112在可并行化的PPU 1114上分配计算任务，例如，作为跨多个图形处理单元(“GPU”)线程块的计算任务分配的一部分。在至少一个实施例中，在PPU 1114中的一些或全部之间共享和访问存储器(例如，用于读取和/或写入访问)，但是这种共享存储器可能引发相对于使用本地存储器和驻留在PPU 1114上的寄存器的性能惩罚。在至少一个实施例中，通过使用命令(诸如__syncthreads())来同步PPU 1114的操作，其中块中的所有线程(例如，跨多个PPU 1114执行)在进行之前到达某个代码执行点。
在至少一个实施例中，本文描述的一种或更多种技术利用oneAPI编程模型。在至少一个实施例中，oneAPI编程模型是指用于与各种计算加速器架构交互的编程模型。在至少一个实施例中，oneAPI指的是被设计用于与各种计算加速器架构交互的应用程序编程接口(API)。在至少一个实施例中，oneAPI编程模型利用DPC++编程语言。在至少一个实施例中，DPC++编程语言是指用于获得数据并行编程生产力的高级语言。在至少一个实施例中，DPC++编程语言至少部分地基于C和/或C++编程语言。在至少一个实施例中，oneAPI编程模型是诸如由加利福尼亚州圣克拉拉市的英特尔公司开发的那些编程模型之类的编程模型。
在至少一个实施例中，oneAPI和/或oneAPI编程模型用于与各种加速器、GPU、处理器和/或其变体、架构交互。在至少一个实施例中，oneAPI包括实现各种功能的一组库。在至少一个实施例中，oneAPI至少包括oneAPI DPC++库、oneAPI数学内核库、oneAPI数据分析库、oneAPI深度神经网络库、oneAPI集体通信库、oneAPI线程构建块库、oneAPI视频处理库和/或其变体。
在至少一个实施例中，oneAPI DPC++库，也被称为oneDPL，是实现算法和函数以加速DPC++内核编程的库。在至少一个实施例中，oneDPL实现一个或更多个标准模板库(STL)函数。在至少一个实施例中，oneDPL实现一个或更多个并行STL功能。在至少一个实施例中，oneDPL提供一组库类和函数，诸如并行算法、迭代器、函数对象类、基于范围的API和/或其变体。在至少一个实施例中，oneDPL实现了C++标准库的一个或更多个类和/或函数。在至少一个实施例中，oneDPL实现一个或更多个随机数生成器函数。
在至少一个实施例中，oneAPI数学内核库，也被称为oneMKL，是为各种数学函数和/或运算实现各种优化和并行化例程的库。在至少一个实施例中，oneMKL实现一个或更多个基本线性代数子程序(BLAS)和/或线性代数包(LAPACK)密集线性代数例程。在至少一个实施例中，oneMKL实现一个或更多个稀疏BLAS线性代数例程。在至少一个实施例中，oneMKL实现一个或更多个随机数生成器(RNG)。在至少一个实施例中，oneMKL实现了一个或更多个向量数学(VM)例程，用于对向量进行数学运算。在至少一个实施例中，oneMKL实现一个或更多个快速傅里叶变换(FFT)函数。
在至少一个实施例中，oneAPI数据分析库，也被称为oneDAL，是实现各种数据分析应用和分布式计算的库。在至少一个实施例中，oneDAL以批处理、在线和分布式计算处理模式实现用于数据分析的预处理、转换、分析、建模、验证和决策制定的各种算法。在至少一个实施例中，oneDAL实现了各种C++和/或Java API以及到一个或更多个数据源的各种连接器。在至少一个实施例中，oneDAL实现了对传统C++接口的DPC++API扩展，并使GPU能够用于各种算法。
在至少一个实施例中，oneAPI深度神经网络库，也被称为oneDNN，是实现各种深度学习功能的库。在至少一个实施例中，oneDNN实现了各种神经网络、机器学习和深度学习功能、算法和/或其变体。
在至少一个实施例中，oneAPI集体通信库，也被称为oneCCL，是实现用于深度学习和机器学习工作负载的各种应用的库。在至少一个实施例中，oneCCL建立在诸如消息传递接口(MPI)和libfabrics之类的较低级别的通信中间件上。在至少一个实施例中，oneCCL启用一组深度学习特定优化，诸如优先级、持久操作、乱序执行和/或其变体。在至少一个实施例中，oneCCL实现各种CPU和GPU功能。
在至少一个实施例中，oneAPI线程构建块库，也被称为oneTBB，是为各种应用程序实现各种并行化进程的库。在至少一个实施例中，oneTBB用于主机上基于任务的共享并行编程。在至少一个实施例中，oneTBB实现通用并行算法。在至少一个实施例中，oneTBB实现并发容器。在至少一个实施例中，oneTBB实现了可扩展的内存分配器。在至少一个实施例中，oneTBB实现工作窃取任务调度器。在至少一个实施例中，oneTBB实现低级同步原语。在至少一个实施例中，oneTBB独立于编译器并且可用于各种处理器，诸如GPU、PPU、CPU和/或其变体。
在至少一个实施例中，oneAPI视频处理库，也被称为oneVPL，是用于在一个或更多个应用程序中加速视频处理的库。在至少一个实施例中，oneVPL实现各种视频解码、编码和处理功能。在至少一个实施例中，oneVPL为CPU、GPU和其他加速器上的媒体管线实现各种功能。在至少一个实施例中，oneVPL在媒体中心和视频分析工作负载中实现设备发现和选择。在至少一个实施例中，oneVPL实现了用于零拷贝缓冲区共享的API原语。
在至少一个实施例中，oneAPI编程模型利用DPC++编程语言。在至少一个实施例中，DPC++编程语言是一种编程语言，其包括但不限于功能相似的CUDA机制版本，用于定义设备代码和区分设备代码和主机代码。在至少一个实施例中，DPC++编程语言可以包括CUDA编程语言的功能子集。在至少一个实施例中，一个或更多个CUDA编程模型操作是使用DPC++编程语言的oneAPI编程模型来执行的。
在至少一个实施例中，在此描述的任何应用程序编程接口(API)由编译器、解释器、或其他软件工具编译成一个或更多个指令、操作、或任何其他信号。在至少一个实施例中，编译包括从源代码生成一个或更多个机器可执行指令、操作或其他信号。在至少一个实施例中，被编译成一个或更多个指令、操作、或其他信号的API当被执行时使得一个或更多个处理器(如图形处理器2600、图形核心1600、并行处理器1800、处理器2100、处理器核2100、或在此进一步描述的任何其他逻辑电路)执行一个或更多个计算操作。
应当注意，虽然本文描述的示例实施例可以涉及CUDA编程模型，但是本文描述的技术可以与任何合适的编程模型一起使用，诸如HIP、oneAPI和/或其变体。
其他变型在本公开的精神内。因此，尽管所公开的技术易于进行各种修改和替代构造，但是某些示出的其实施例在附图中示出并且已经在上面进行了详细描述。然而，应理解，无意将公开内容限制为所公开的一种或更多种特定形式，而是相反，其意图是涵盖落入如所附权利要求所定义的本公开内容的精神和范围内的所有修改、替代构造和等同物。
除非另有说明或显然与上下文矛盾，否则在描述所公开的实施例的上下文中(特别是在所附权利要求的上下文中)，术语“一”和“一个”和“该”以及类似指代词的使用应被解释为涵盖单数和复数，而不是作为术语的定义。除非另有说明，否则术语“包括”、“具有”、“包含”和“含有”应被解释为开放式术语(意味着“包括但不限于”)。术语“连接”(在未经修改时，其指的是物理连接)应解释为部分或全部包含在内、附接到或连接在一起，即使有某些介入物。除非本文另外指出，否则本文中对数值范围的引用仅旨在用作分别指代落入该范围内的每个单独值的简写方法，并且每个单独值都被并入说明书中，就如同其在本文中被单独叙述一样。在至少一个实施例中，除非另外指出或与上下文矛盾，否则术语“集”(例如“项目集”)或“子集”的使用应解释为包括一个或更多个成员的非空集合。此外，除非另外指出或与上下文矛盾，否则术语相应集的“子集”不一定表示对应集的适当子集，而是子集和对应集可以相等。
除非以其他方式明确指出或与上下文明显矛盾，否则诸如“A，B和C中的至少一个”或“A，B与C中的至少一个”形式的短语之类的连接语在上下文中理解为通常用来表示项目(item)、术语(term)等，其可以是A或B或C，也可以是A和B和C集的任何非空子集。例如，在具有三个成员的集的说明性示例中，连接短语“A，B和C中的至少一个”和“A，B与C中的至少一个”是指以下任意集：{A}，{B}，{C}，{A，B}，{A，C}，{B，C}，{A，B，C}。因此，这种连接语言通常不旨在暗示某些实施例要求存在A中的至少一个，B中的至少一个和C中的至少一个中的每一个。另外，除非另有说明或与上下文矛盾，否则术语“多个”指示复数的状态(例如，“多个项目”指示多个项目)。在至少一个实施例中，多个项目中项目的数量至少为两个，但如果明确指示或通过上下文指示，则可以更多。此外，除非另有说明或从上下文中可以清楚得知，否则短语“基于”是指“至少部分地基于”而不是“仅基于”。
除非本文另外指出或与上下文明显矛盾，否则本文描述的过程的操作可以任何合适的顺序执行。在至少一个实施例中，诸如本文所述的那些过程(或其变形和/或其组合)之类的过程在配置有可执行指令的一个或更多个计算机系统的控制下执行，并且被实现为代码(例如，可执行指令，一个或更多个计算机程序或一个或更多个应用程序)，该代码由硬件或其组合在一个或更多个处理器上共同执行。在至少一个实施例中，代码以例如计算机程序的形式存储在计算机可读存储介质上，该计算机程序包括可由一个或更多个处理器执行的多个指令。在至少一个实施例中，计算机可读存储介质是非暂时性计算机可读存储介质，其排除了暂时性信号(例如，传播的瞬态电或电磁传输)，但包括暂时性信号的收发器内的非暂时性数据存储电路(例如，缓冲区、高速缓存和队列)。在至少一个实施例中，代码(例如，可执行代码或源代码)被存储在其上存储有可执行指令的一组一种或更多种非暂时性计算机可读存储介质(或用于存储可执行指令的其他存储器)上，该可执行指令在由计算机系统的一个或更多个处理器执行时(即，作为被执行的结果)，使得计算机系统执行本文所述的操作。在至少一个实施例中，一组非暂时性计算机可读存储介质包括多个非暂时性计算机可读存储介质，并且多个非暂时性计算机可读存储介质中的各个非暂时性存储介质中的一个或更多个缺少全部代码，而是多个非暂时性计算机可读存储介质共同存储全部代码。在至少一个实施例中，可执行指令被执行，以使得不同的指令由不同的处理器执行，例如，非暂时性计算机可读存储介质存储指令，并且主中央处理单元(“CPU”)执行一些指令，而图形处理单元(“GPU”)执行其他指令。在至少一个实施例中，计算机系统的不同组件具有单独的处理器，并且不同的处理器执行指令的不同子集。
在至少一个实施例中，算术逻辑单元是一组组合逻辑电路，其采用一个或更多个输入来产生结果。在至少一个实施例中，处理器使用算术逻辑单元来实现数学运算，诸如加法、减法或乘法。在至少一个实施例中，算术逻辑单元用于实现逻辑运算，例如逻辑AND/OR或XOR。在至少一个实施例中，算术逻辑单元是无状态的，并且由物理开关元件(诸如布置为形成逻辑门的半导体晶体管)制成。在至少一个实施例中，算术逻辑单元可以在内部作为具有关联时钟的有状态逻辑电路来操作。在至少一个实施例中，算术逻辑单元可以被构造为异步逻辑电路，其内部状态未保持在相关联的寄存器组中。在至少一个实施例中，处理器使用算术逻辑单元来组合存储在处理器的一个或更多个寄存器中的操作数并产生可由处理器存储在另一寄存器或存储器位置中的输出。
在至少一个实施例中，作为处理由处理器检索的指令的结果，处理器将一个或更多个输入或操作数呈现给算术逻辑单元，使算术逻辑单元至少部分地基于提供给算术逻辑单元的输入的指令代码产生结果。在至少一个实施例中，由处理器提供给ALU的指令代码至少部分地基于由处理器执行的指令。在至少一个实施例中，ALU中的组合逻辑处理输入并产生输出，该输出放置在处理器内的总线上。在至少一个实施例中，处理器在输出总线上选择目的地寄存器、存储器位置、输出设备或输出存储位置，从而对处理器进行时钟控制，使得由ALU产生的结果被发送到期望的位置。
在本申请的范围内，术语算术逻辑单元或ALU用于指代处理操作数以产生结果的任何计算逻辑电路。例如，在本文档中，术语ALU可以指浮点单元、DSP、张量核、着色器核、协处理器或CPU。
因此，在至少一个实施例中，计算机系统被配置为实现单独地或共同地执行本文所述的过程的操作的一个或更多个服务，并且这样的计算机系统被配置有使能执行操作的适用的硬件和/或软件。此外，实现本公开的至少一个实施例的计算机系统是单个设备，并且在另一实施例中是分布式计算机系统，其包括不同地操作的多个设备，使得分布式计算机系统执行本文所述的操作，并且使得单个设备不执行所有操作。
本文提供的任何和所有示例或示例性语言(例如，“诸如”)的使用仅旨在更好地阐明本公开的实施例，并且不对公开的范围施加限制，除非另有要求。说明书中的任何语言都不应被解释为指示任何未要求保护的要素对于实践公开内容是必不可少的。
本文引用的所有参考文献，包括出版物、专利申请和专利，均通过引用并入本文，其程度就如同每个参考文献被单独且具体地指示为通过引用并入本文并且其全部内容在本文中阐述一样。
在说明书和权利要求中，可以使用术语“耦合”和“连接”以及它们的派生词。应当理解，这些术语可能不旨在作为彼此的同义词。相反，在特定示例中，“连接”或“耦合”可用于指示两个或更多个元素彼此直接或间接物理或电接触。“耦合”也可能意味着两个或更多个元素彼此不直接接触，但仍彼此协作或交互。
除非另有明确说明，否则可以理解，在整个说明书中，诸如“处理”、“计算”、“运算”、“确定”等之类的术语，是指计算机或计算系统或类似的电子计算设备的动作和/或过程，其将计算系统的寄存器和/或存储器中表示为物理量(例如电子量)的数据操纵和/或转换为类似地表示为计算系统的存储器、寄存器或其他此类信息存储、传输或显示设备中的物理量的其他数据。
以类似的方式，术语“处理器”可以指处理来自寄存器和/或存储器的电子数据并将该电子数据转换成可以存储在寄存器和/或存储器中的其他电子数据的任何设备或设备的一部分。作为非限制性示例，“处理器”可以是CPU或GPU。“计算平台”可以包括一个或更多个处理器。如本文所使用的，“软件”进程可以包括例如随时间执行工作的软件和/或硬件实体，诸如任务、线程和智能代理。同样，每个进程可以指代多个进程，以顺序地或并行地、连续地或间歇地执行指令。在至少一个实施例中，术语“系统”和“方法”在本文中可以互换使用，只要系统可以体现一种或更多种方法，并且方法可以被认为是系统。
在本文档中，可以参考获得、获取、接收模拟或数字数据或将模拟或数字数据输入子系统、计算机系统或计算机实现的机器中。在至少一个实施例中，可以通过各种方式来完成获得、获取、接收或输入模拟和数字数据的过程，诸如通过接收作为函数调用或对应用程序编程接口的调用的参数的数据。在至少一个实施例中，可以通过经由串行或并行接口传输数据来完成获得、获取、接收或输入模拟或数字数据的过程。在至少一个实施例中，可以通过经由计算机网络将数据从提供实体传输到获取实体来完成获得、获取、接收或输入模拟或数字数据的过程。在至少一个实施例中，也可以参考提供、输出、传送、发送或呈现模拟或数字数据。在各种示例中，提供、输出、传送、发送或呈现模拟或数字数据的过程可以通过将数据作为函数调用的输入或输出参数、应用程序编程接口或进程间通信机制的参数进行传输来实现。
虽然本文的描述阐述了所描述的技术的示例实现，但是其他架构可以用于实现所描述的功能，并且旨在落入本公开的范围内。此外，尽管出于描述的目的在上面定义了具体的职责分配，但是根据情况，可以以不同的方式分配和划分各种功能和职责。
此外，尽管已经用特定于结构特征和/或方法动作的语言描述了主题，但是应当理解，所附权利要求所要求保护的主题不必限于所描述的特定特征或动作。而是，公开了特定的特征和动作作为实现权利要求的示例性形式。
Claims (20)
1.一种数据中心冷却系统，包括：
主冷却回路，其包括至少一个主流量控制器，用于控制主冷却剂以主流速流动到冷却剂分配单元(CDU)，所述主流速部分地基于将由辅助冷却剂解决的从一个或更多个计算设备产生的热量来确定，所述辅助冷却剂将在所述CDU中由所述主冷却剂以所述至少一个主流量控制器实现的所述主流速来冷却。
2.如权利要求1所述的数据中心冷却系统，还包括：
至少一个处理器，用于部分地基于所述一个或更多个计算设备的工作负载来确定所述辅助冷却剂的一个或更多个辅助流速，并且部分地基于所述一个或更多个辅助流速来实现所述主冷却剂的所述主流速。
3.如权利要求1所述的数据中心冷却系统，还包括：
至少一个处理器，用于确定所述一个或更多个计算设备的工作负载，以部分地基于所述工作负载来确定所述辅助冷却剂的一个或更多个辅助流速，以及部分地基于所述一个或更多个辅助流速来实现所述主冷却剂的所述主流速。
4.如权利要求1所述的数据中心冷却系统，其中还包括：
至少一个处理器，用于确定解决所产生的所述热量的所述辅助冷却剂的辅助流速是低于所述CDU的额定最大值的阈值，并且部分地基于所述辅助流速来确定所述主流速，以及部分地基于所述辅助流速来实现所述主流速。
5.如权利要求1所述的数据中心冷却系统，其中还包括：
至少一个处理器，用于部分地基于与所述一个或更多个计算设备相关联的辅助工作负载与第一温度和第二温度之差的比值来确定所述主流速，所述第一温度与所述主冷却剂相关联，所述第二温度与来自所述CDU的额定最大温度的阈值相关联。
6.如权利要求1所述的数据中心冷却系统，其中还包括：
至少一个处理器，用于部分地基于所述主冷却剂的第一回流温度和所述辅助冷却剂的第二回流温度来确定所述主流速。
7.如权利要求1所述的数据中心冷却系统，其中还包括：
至少一个处理器，用于将辅助冷却剂的压力变化确定为与从所述一个或更多个计算设备产生的所述热量的变化相关联，并且部分地基于所述压力变化来确定所述主流速。
8.如权利要求1所述的数据中心冷却系统，其中还包括：
传感器，用于向处理器提供与从一个或更多个计算设备产生的所述热量相关联的输入；以及
所述处理器，用于实现所述主冷却剂的所述主流速。
9.如权利要求8所述的数据中心冷却系统，其中还包括：
一个或更多个神经网络，用于接收来自传感器的传感器输入，以使用所述传感器输入推理从一个或更多个计算设备产生的所述热量，以及实现所述主冷却剂的所述主流速。
10.一种处理器，包括一个或更多个电路并且与主冷却回路相关联，所述主冷却回路包括至少一个主流量控制器，所述一个或更多个电路部分地基于将由CDU中的辅助冷却剂解决的从一个或更多个计算设备产生的热量来确定用于冷却所述辅助冷却剂的主冷却剂的主流速，所述处理器用于向所述至少一个主流量控制器提供输入，以实现将被提供给所述CDU的所述主冷却剂的所述主流速。
11.如权利要求10所述的处理器，还包括：
所述一个或更多个电路的输出，其耦合到所述至少一个主流量控制器，用于向所述至少一个主流量控制器提供第一信号，以使所述主流速的所述主冷却剂被提供给所述CDU。
12.如权利要求10所述的处理器，还包括：
输入，其适于接收来自传感器的传感器输入，以使得所述处理器能够确定从一个或更多个计算设备产生的所述热量。
13.如权利要求10所述的处理器，还包括：
一个或更多个神经网络，其适于接收来自传感器的传感器输入，以使用所述传感器输入来推理从一个或更多个计算设备产生的所述热量，以及使得所述处理器能够引起所述主冷却剂的所述主流速。
14.如权利要求10所述的处理器，还包括：
至少一个逻辑单元，用于基于从与所述CDU中的所述辅助冷却剂或所述一个或更多个计算设备相关联的传感器接收的传感器输入来确定用于冷却所述辅助冷却剂的所述主冷却剂的所述主流速。
15.一种用于数据中心冷却系统的方法，包括：
提供主冷却回路，所述主冷却回路包括至少一个主流量控制器，用于控制主冷却剂流动到冷却剂分配单元(CDU)；
部分地基于将由辅助冷却剂解决的从一个或更多个计算设备产生的热量来确定所述主冷却剂的主流速；
使用所述至少一个流量控制器来实现所述主冷却剂的所述主流速；以及
由所述主冷却剂以为所述主冷却剂实现的所述主流速来冷却所述CDU中的所述辅助冷却剂。
16.如权利要求15所述的方法，还包括：
部分地基于所述主冷却剂的第一回流温度和所述辅助冷却剂的第二回流温度来确定所述主流速。
17.如权利要求15所述的方法，还包括：
将辅助冷却剂的压力变化确定为与从所述一个或更多个计算设备产生的热量的变化相关联；以及
部分地基于所述压力变化来确定所述主流速。
18.如权利要求15所述的方法，还包括：
由传感器向处理器提供与从所述一个或更多个计算设备产生的所述热量相关联的输入；以及
由所述处理器实现所述主冷却剂的所述主流速。
19.如权利要求18所述的方法，还包括：
使得一个或更多个神经网络能够接收来自传感器的传感器输入，并使用所述传感器输入来推理从一个或更多个计算设备产生的所述热量；以及
使得处理器能够引起所述主冷却剂的所述主流速。
20.如权利要求15所述的方法，还包括：
使用至少一个处理器来确定所述一个或更多个计算设备的工作负载；
部分地基于所述工作负载来确定所述辅助冷却剂的一个或更多个辅助流速；以及
部分地基于所述一个或更多个辅助流速来实现所述主冷却剂的所述主流速。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US17/741,108 US20230371212A1 (en) | 2022-05-10 | 2022-05-10 | Primary cooling loop control to address fluctuation demands on secondary cooling loops for datacenter cooling systems |
| US17/741,108 | 2022-05-10 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117042385A true CN117042385A (zh) | 2023-11-10 |
Family
ID=88510546
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310506038.5A Pending CN117042385A (zh) | 2022-05-10 | 2023-05-06 | 用于解决辅助冷却回路上的波动需求的主冷却回路控制 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US20230371212A1 (zh) |
| CN (1) | CN117042385A (zh) |
| DE (1) | DE102023111576A1 (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US12089378B2 (en) * | 2022-04-15 | 2024-09-10 | Nvidia Corporation | Integrated server flow-through fixture with state sensor for datacenter cooling systems |
| US11991866B2 (en) * | 2022-10-13 | 2024-05-21 | Hewlett Packard Enterprise Development Lp | Adaptive cascade cooling method for datacenters |
-
2022
- 2022-05-10 US US17/741,108 patent/US20230371212A1/en active Pending
-
2023
- 2023-05-04 DE DE102023111576.6A patent/DE102023111576A1/de active Pending
- 2023-05-06 CN CN202310506038.5A patent/CN117042385A/zh active Pending
Also Published As
| Publication number | Publication date |
|---|---|
| DE102023111576A1 (de) | 2023-11-16 |
| US20230371212A1 (en) | 2023-11-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20210334955A1 (en) | Image annotation using one or more neural networks | |
| CN113034698A (zh) | 使用一个或更多个神经网络生成全景图 | |
| US20210406642A1 (en) | Anomaly characterization using one or more neural networks | |
| US20210390778A1 (en) | Environment generation using one or more neural networks | |
| CN116342372A (zh) | 使用一个或更多个神经网络的图像生成 | |
| US11832416B1 (en) | Motile tracking of datacenter components | |
| US20230069310A1 (en) | Object classification using one or more neural networks | |
| US20230371212A1 (en) | Primary cooling loop control to address fluctuation demands on secondary cooling loops for datacenter cooling systems | |
| CN116806340A (zh) | 确定用于对象分类的一个或更多个神经网络 | |
| WO2023009558A1 (en) | Conditional image generation using one or more neural networks | |
| US20240096074A1 (en) | Identifying objects using neural network-generated descriptors | |
| US20220108421A1 (en) | Image generation using one or more neural networks | |
| CN117279306A (zh) | 用于数据中心冷却系统的现场可维修的冷却剂分配单元 | |
| CN116723667A (zh) | 用于数据中心冷却系统的接口流量控制器 | |
| US20230403829A1 (en) | Hybrid thermal test vehicles for datacenter cooling systems | |
| WO2023141336A1 (en) | Three-way flow controller paths for single-phase and two-phase cooling in datacenter cooling systems | |
| US12114469B2 (en) | Adjustable fluid coupling in datacenter cooling systems | |
| US20240045418A1 (en) | Predictive maintenance recommendation through component condition data monitoring | |
| US20230162021A1 (en) | Text classification using one or more neural networks | |
| CN116109665A (zh) | 使用一个或更多个神经网络生成对象运动的图像 | |
| US20220351392A1 (en) | Object tracking using optical flow | |
| CN117616466A (zh) | 使用一个或更多个神经网络的图像注释 | |
| US12127381B2 (en) | Outlet quality factor stabilization for datacenter cooling systems | |
| US12127374B2 (en) | Staged commissioning for datacenter cooling systems | |
| US12089378B2 (en) | Integrated server flow-through fixture with state sensor for datacenter cooling systems |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |