ES2939271T3 - Ejecución de cómputo y comunicación de grano fino para estructuras de aprendizaje profundo - Google Patents

Ejecución de cómputo y comunicación de grano fino para estructuras de aprendizaje profundo Download PDF

Info

Publication number
ES2939271T3
ES2939271T3 ES18170151T ES18170151T ES2939271T3 ES 2939271 T3 ES2939271 T3 ES 2939271T3 ES 18170151 T ES18170151 T ES 18170151T ES 18170151 T ES18170151 T ES 18170151T ES 2939271 T3 ES2939271 T3 ES 2939271T3
Authority
ES
Spain
Prior art keywords
data
graphics
memory
processor
operations
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
ES18170151T
Other languages
English (en)
Inventor
Srinivas Sridharan
Dheevatsa Mudigere
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intel Corp
Original Assignee
Intel Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intel Corp filed Critical Intel Corp
Application granted granted Critical
Publication of ES2939271T3 publication Critical patent/ES2939271T3/es
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/54—Interprogram communication
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/005—General purpose rendering architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/50—Lighting effects
    • G06T15/80—Shading
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/10—Constructive solid geometry [CSG] using solid primitives, e.g. cylinders, cubes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • Neurology (AREA)
  • Computer Graphics (AREA)
  • Image Generation (AREA)
  • Image Processing (AREA)
  • Combined Controls Of Internal Combustion Engines (AREA)
  • Electrically Operated Instructional Devices (AREA)

Abstract

Una realización proporciona un sistema para configurar el entrenamiento distribuido de una red neuronal. El sistema incluye memoria para almacenar una biblioteca para facilitar la transmisión de datos durante el entrenamiento distribuido de la red neuronal; una interfaz de red para transmitir y recibir datos de gradiente asociados con los parámetros entrenables; un procesador de uso general para ejecutar instrucciones proporcionadas por la biblioteca, las instrucciones para hacer que el procesador de uso general configure la interfaz de red para transmitir y recibir los datos de gradiente asociados con los parámetros entrenables durante un flujo de trabajo de un marco de aprendizaje automático; y un procesador de gráficos para realizar operaciones de cómputo asociadas con el flujo de trabajo del marco de aprendizaje automático para generar los datos de gradiente asociados con los parámetros entrenables, en donde, (Traducción automática con Google Translate, sin valor legal)

Description

DESCRIPCIÓN
Ejecución de cómputo y comunicación de grano fino para estructuras de aprendizaje profundo
Campo
Las realizaciones se refieren generalmente a un método, medio y sistema para realizar un entrenamiento distribuido de una red neuronal usando múltiples nodos de trabajo interconectados de una red de entrenamiento distribuida como se define en las reivindicaciones independientes.
Antecedentes de la descripción
El procesamiento de datos de gráficos paralelo actual incluye sistemas y métodos desarrollados para realizar operaciones específicas sobre datos de gráficos, tales como, por ejemplo, interpolación lineal, teselación, rasterización, correlación de textura, prueba de profundidad, etc. De manera tradicional, los procesadores de gráficos usan unidades computacionales de función fija para procesar datos de gráficos; sin embargo, más recientemente, porciones de procesadores de gráficos se han hecho programables, habilitando que tales procesadores soporten una gama más amplia de operaciones para procesar datos de vértice y de fragmento.
Para aumentar adicionalmente el desempeño, los procesadores de gráficos habitualmente implementan técnicas de procesamiento tales como encauzamiento en canalizaciones, que intentan procesar, en paralelo, tantos datos de gráficos como sea posible a lo largo de todas las diferentes partes de la canalización de gráficos. Los procesadores de gráficos paralelos con arquitecturas de múltiples hilos y única instrucción (SIMT) están diseñados para maximizar la cantidad de procesamiento paralelo en la canalización de gráficos. En una arquitectura de SIMT, grupos de hilos paralelos intentan ejecutar instrucciones de programa de manera síncrona conjuntamente tan a menudo como sea posible para aumentar la eficiencia de procesamiento. Se puede hallar una vista global general de software y hardware para arquitecturas de SIMT en Shane Cook, CUDA Programming, capítulo 3, páginas 37-51 (2013) y/o Nicholas Wilt, CUDA Handbook, A Comprehensiva Guide to GPU Programming, secciones 2.6.2 a 3.1.2 (junio de 2013).
El documento US 2005/0125369 A1 divulga el procesamiento de técnicas de aprendizaje automático, incluyendo redes neuronales, y otras aplicaciones no gráficas usando una GPU para acelerar y optimizar el procesamiento. Una arquitectura que se puede usar para una amplia diversidad de técnicas de aprendizaje automático se transfiere desde la CPU a la GPU.
El documento US 2016/0224889 A1 divulga redes neurosinápticas de múltiples núcleos. Un sistema comprende múltiples circuitos de red, en donde cada circuito de red tiene una pluralidad de circuitos de núcleo neurosinápticos. Cada circuito de núcleo incluye además múltiples neuronas electrónicas interconectadas con múltiples axones electrónicos a través de una pluralidad de dispositivos de sinapsis electrónicos. Un tejido de interconexión acopla los circuitos de red. Cada circuito de red tiene al menos una interfaz de red que habilita el intercambio de datos entre el circuito de red y otro circuito de red etiquetando paquetes de datos desde el circuito de red con información de encaminamiento correspondiente.
El documento US 2009/0201303 A1 divulga un sistema para representar imágenes. El sistema incluye procesadores de datos digitales de cliente y un procesador de datos digitales de servidor que acopla los uno o más procesadores de datos digitales de cliente. El procesador de datos digitales del servidor tiene unas GPU y un módulo de servidor de representación que acopla las GPU. El módulo de servidor de representación emite un comando en respuesta a una solicitud desde un procesador de datos digital de cliente. Las unidades de procesamiento de gráficos en el procesador de datos digitales de servidor procesan simultáneamente datos de imagen en respuesta a comandos intercalados desde el módulo de servidor de representación en nombre del procesador de datos digitales de cliente, y una o más solicitudes desde el módulo de servidor de representación en nombre de otros procesadores de datos digitales de cliente y otra funcionalidad en el procesador de datos digital de servidor.
Sumario
La invención se define por las reivindicaciones independientes. Se describen realizaciones preferidas en las reivindicaciones dependientes.
Breve descripción de los dibujos
De modo que las características de la presente memoria descriptiva se puedan entender con detalle, se puede tener una descripción más particular de la memoria descriptiva por referencia a ejemplos, algunas de las cuales se ilustran en los dibujos adjuntos. Sin embargo, se ha de observar que los dibujos adjuntos solo ilustran ejemplos habituales y, por lo tanto, no han de considerarse limitantes del alcance de todos los ejemplos.
La Figura 1 es un diagrama de bloques que ilustra un sistema informático configurado para implementar uno o más aspectos de los ejemplos descritos en el presente documento;
las Figuras 2A-2D ilustran componentes de procesador paralelo, de acuerdo con un ejemplo;
las Figuras 3A-3B son diagramas de bloques de multiprocesadores de gráficos, de acuerdo con ejemplos; las Figuras 4A-4F ilustran una arquitectura ilustrativa en la que una pluralidad de GPU están acopladas de manera comunicativa a una pluralidad de procesadores de múltiples núcleos;
la Figura 5 ilustra una canalización de procesamiento de gráficos, de acuerdo con un ejemplo;
la Figura 6 ilustra una pila de software de aprendizaje automático, de acuerdo con un ejemplo;
la Figura 7 ilustra una unidad de procesamiento de gráficos de propósito general altamente paralela, de acuerdo con un ejemplo;
la Figura 8 ilustra un sistema informático de múltiples GPU, de acuerdo con un ejemplo;
las Figuras 9A-9B ilustran capas de redes neuronales profundas ilustrativas;
la Figura 10 ilustra una red neuronal recurrente ilustrativa;
la Figura 11 ilustra el entrenamiento y despliegue de una red neuronal profunda;
la Figura 12 es un diagrama de bloques que ilustra un aprendizaje distribuido;
la Figura 13 ilustra un sistema en un chip (SOC) de inferenciación ilustrativo adecuado para realizar una inferenciación usando un modelo entrenado;
las Figuras 14A-14E ilustran patrones de comunicación usados durante operaciones de cómputo de aprendizaje automático distribuidas realizadas a lo largo de múltiples nodos de cómputo, de acuerdo con ejemplos descritos en el presente documento;
las Figuras 15A-15C ilustran detalles arquitectónicos de la biblioteca de ajuste a escala de aprendizaje automático proporcionada por realizaciones descritas en el presente documento;
las Figuras 16A-16B ilustran un entrenamiento de aprendizaje automático distribuido habilitado por ejemplos descritos en el presente documento;
la Figura 16C ilustra una comunicación entre nodos usando primitivas de punto a punto, de acuerdo con una realización;
la Figura 17A ilustra un sistema informático de múltiples nodos, de acuerdo con una realización;
la Figura 17B ilustra una red de punto a punto que tiene direcciones virtuales distribuidas, de acuerdo con una realización;
la Figura 18 ilustra una arquitectura de MLSL alternativa, de acuerdo con un ejemplo;
la Figura 19A ilustra una operación de cómputo de tensor adecuada para la superposición de cómputo y de comunicación de grano fino;
la Figura 19B ilustra un acceso a memoria sincronizado entre un sistema de múltiples nodos, de acuerdo con un ejemplo;
la Figura 19C ilustra una semántica de comunicación de memoria ampliada para habilitar una coherencia de caché de grano grueso para datos de memoria caché;
las Figuras 20A-20B ilustran diagramas de flujo que describen operaciones para habilitar un aprendizaje automático distribuido a través de la API de MLSL;
las Figuras 21A-21B ilustran métodos para realizar un entrenamiento distribuido de una red neuronal, de acuerdo con realizaciones descritas en el presente documento;
la Figura 22 es un diagrama de bloques de un sistema de procesamiento de datos, de acuerdo con realizaciones descritas en el presente documento;
la Figura 23 es un diagrama de bloques de un sistema de procesamiento, de acuerdo con un ejemplo;
la Figura 24 es un diagrama de bloques de un procesador de acuerdo con un ejemplo;
la Figura 25 es un diagrama de bloques de un procesador de gráficos, de acuerdo con un ejemplo;
la Figura 26 es un diagrama de bloques de un motor de procesamiento de gráficos de un procesador de gráficos de acuerdo con algunos ejemplos;
la Figura 27 es un diagrama de bloques de un procesador de gráficos proporcionado por un ejemplo adicional; la Figura 28 ilustra una lógica de ejecución de hilos que incluye una matriz de elementos de procesamiento empleados en algunos ejemplos;
la Figura 29 es un diagrama de bloques que ilustra unos formatos de instrucción de procesador de gráficos de acuerdo con algunos ejemplos;
la Figura 30 es un diagrama de bloques de un procesador de gráficos de acuerdo con otro ejemplo;
las Figuras 31A-31B ilustran un formato de comando de procesador de gráficos y una secuencia de comandos, de acuerdo con algunos ejemplos;
la Figura 32 ilustra una arquitectura de software de gráficos ilustrativa para un sistema de procesamiento de datos de acuerdo con algunos ejemplos;
la Figura 33 es un diagrama de bloques que ilustra un sistema de desarrollo de núcleo de IP, de acuerdo con un ejemplo;
la Figura 34 es un diagrama de bloques que ilustra un circuito integrado de sistema en un chip ilustrativo, de acuerdo con un ejemplo;
la Figura 35 es un diagrama de bloques que ilustra un procesador de gráficos adicional, de acuerdo con un ejemplo; y
la Figura 36 es un diagrama de bloques que ilustra un procesador de gráficos ilustrativo adicional de un circuito integrado de sistema en un chip, de acuerdo con un ejemplo.
Descripción detallada
En algunos ejemplos, una unidad de procesamiento de gráficos (GPU) está acoplada de manera comunicativa a núcleos de anfitrión/procesador para acelerar operaciones de gráficos, operaciones de aprendizaje automático, operaciones de análisis de patrones y diversas funciones de GPU de propósito general (GPGPU). La GPU se puede acoplar de manera comunicativa al procesador/núcleos de anfitrión a través de un bus u otra interconexión (por ejemplo, una interconexión de alta velocidad tal como PCIe o NVLink). En otros ejemplos, la GPU se puede integrar en el mismo paquete o chip que los núcleos y estar acoplada de manera comunicativa a los núcleos a través de un bus/interconexión de procesador interno (es decir, internamente al paquete o chip). Independientemente de la manera en la que esté conectada la GPU, los núcleos de procesador pueden asignar trabajo a la GPU en forma de secuencias de comandos/instrucciones contenidas en un descriptor de trabajo. La GPU usa entonces circuitería/lógica dedicada para procesar de manera eficiente estos comandos/instrucciones.
En la descripción siguiente, se exponen numerosos detalles específicos para proporcionar un entendimiento más minucioso. Sin embargo, será evidente para un experto en la materia que los ejemplos descritos en el presente documento se pueden poner en práctica sin uno o más de estos detalles específicos. En otras instancias, no se han descrito características bien conocidas para evitar complicar los detalles de los presentes ejemplos.
La siguiente descripción detallada comprende ejemplos, que son simplemente ejemplos de información útil para entender la invención, y una descripción de realizaciones de la presente invención.
Vista global de sistema
La Figura 1 es un diagrama de bloques que ilustra un sistema informático 100 configurado para implementar uno o más aspectos de los ejemplos descritos en el presente documento. El sistema informático 100 incluye un subsistema de procesamiento 101 que tiene uno o más procesadores 102 y una memoria de sistema 104 que se comunica a través de una ruta de interconexión que puede incluir un concentrador de memoria 105. El concentrador de memoria 105 puede ser un componente separado dentro de un componente de conjunto de chips o se puede integrar dentro de los uno o más procesadores 102. El concentrador de memoria 105 se acopla con un subsistema de E/S 111 a través de un enlace de comunicación 106. El subsistema de E/S 111 incluye un concentrador de E/S 107 que puede habilitar que el sistema informático 100 reciba una entrada desde uno o más dispositivos de entrada 108. Adicionalmente, el concentrador de E/S 107 puede habilitar que un controlador de visualización, que se puede incluir en los uno o más procesadores 102, proporcione salidas a uno o más dispositivos de visualización 110A. En un ejemplo, los uno o más dispositivos de visualización 110A acoplados con el concentrador de E/S 107 pueden incluir un dispositivo de visualización local, interno o embebido.
En un ejemplo, el subsistema de procesamiento 101 incluye uno o más procesadores paralelos 112 acoplados al concentrador de memoria 105 a través de un bus u otro enlace de comunicación 113. El enlace de comunicación 113 puede ser uno de cualquier número de tecnologías o protocolos de enlace de comunicación basados en normas, tales como, pero sin limitación, PCI Express, o puede ser una interfaz de comunicaciones o tejido de comunicaciones específico de distribuidor. En un ejemplo, los uno o más procesadores paralelos 112 forman un sistema de procesamiento paralelo o vectorial de enfoque computacional que incluye un gran número de núcleos de procesamiento y/o agrupaciones de procesamiento, tal como un procesador de muchos núcleos integrados (MIC). En un ejemplo, los uno o más procesadores paralelos 112 forman un subsistema de procesamiento de gráficos que puede emitir píxeles a uno de los uno o más dispositivos de visualización 110A acoplados a través del concentrador de E/S 107. Los uno o más procesadores paralelos 112 pueden incluir también un controlador de visualización y una interfaz de visualización (no mostrados) para habilitar una conexión directa a uno o más dispositivos de visualización 110B.
Dentro del subsistema de E/S 111, una unidad de almacenamiento de sistema 114 se puede conectar al concentrador de E/S 107 para proporcionar un mecanismo de almacenamiento para el sistema informático 100. Se puede usar un conmutador de E/S 116 para proporcionar un mecanismo de interfaz para habilitar conexiones entre el concentrador de E/S 107 y otros componentes, tales como un adaptador de red 118 y/o un adaptador de red inalámbrico 119 que se pueden integrar en la plataforma, y diversos otros dispositivos que se pueden añadir a través de uno o más dispositivos de complemento 120. El adaptador de red 118 puede ser un adaptador de Ethernet u otro adaptador de red cableado. El adaptador de red inalámbrico 119 puede incluir uno o más de un dispositivo de red de Wi-Fi, de Bluetooth, de comunicación de campo cercano (NFC) o de otro tipo que incluye una o más radios inalámbricas.
El sistema informático 100 puede incluir otros componentes no explícitamente mostrados, incluyendo USB u otras conexiones de puerto, unidades de almacenamiento óptico, dispositivos de captura de vídeo, y similares, se puede conectar también al concentrador de E/S 107. Las rutas de comunicación que interconectan los diversos componentes en la Figura 1 se pueden implementar usando cualquier protocolo adecuado, tal como protocolos basados en PCI (Interconexión de Componentes Periféricos) (por ejemplo, PCI-Express), o cualesquiera otras interfaces y/o protocolo o protocolos de comunicación de bus o de punto a punto, tales como la interconexión de alta velocidad NV-Link, o protocolos de interconexión conocidos en la técnica.
En un ejemplo, los uno o más procesadores paralelos 112 incorporan circuitería optimizada para procesamiento de gráficos y de vídeo, incluyendo, por ejemplo, circuitería de salida de vídeo, y constituye una unidad de procesamiento de gráficos (GPU). En otro ejemplo, los uno o más procesadores paralelos 112 incorporan circuitería optimizada para procesamiento de propósito general, mientras conservan la arquitectura computacional subyacente, descrita con mayor detalle en el presente documento. En otro ejemplo más, componentes del sistema informático 100 se pueden integrar con otros uno o más elementos de sistema en un único circuito integrado. Por ejemplo, los uno o más procesadores paralelos 112, el concentrador de memoria 105, el procesador o procesadores 102 y el concentrador de E/S 107 se pueden integrar en un circuito integrado de sistema en chip (SoC). Como alternativa, los componentes del sistema informático 100 se pueden integrar en un único paquete para formar una configuración de sistema en paquete (SIP). En un ejemplo, al menos una porción de los componentes del sistema informático 100 se puede integrar en un módulo de múltiples chips (MCM), que se puede interconectar con otros módulos de múltiples chips para dar un sistema informático modular.
Se apreciará que el sistema informático 100 mostrado en el presente documento es ilustrativo y que son posibles variaciones y modificaciones. La topología de conexión, incluyendo el número y disposición de puentes, el número del procesador o procesadores 102, y el número del procesador o procesadores paralelos 112, se puede modificar como se desee. Por ejemplo, en algunos ejemplos, la memoria de sistema 104 está conectada al procesador o procesadores 102 directamente en lugar de a través de un puente, mientras que otros dispositivos se comunican con la memoria de sistema 104 a través del concentrador de memoria 105 y el procesador o procesadores 102. En otras topologías alternativas, el procesador o procesadores paralelos 112 están conectados al concentrador de E/S 107 o directamente a uno de los uno o más procesadores 102, en lugar de al concentrador de memoria 105. En otros ejemplos, el concentrador de E/S 107 y el concentrador de memoria 105 se pueden integrar en un único chip. Algunos ejemplos pueden incluir dos o más conjuntos del procesador o procesadores 102 anexados a través de múltiples zócalos, que se pueden acoplar con dos o más instancias del procesador o procesadores paralelos 112.
Algunos de los componentes particulares mostrados en el presente documento son opcionales y pueden no incluirse en todas las implementaciones del sistema informático 100. Por ejemplo, se puede soportar cualquier número de tarjetas o periféricos de complemento, o se pueden eliminar algunos componentes. Además, algunas arquitecturas pueden usar terminología diferente para componentes similares a los ilustrados en la Figura 1. Por ejemplo, el concentrador de memoria 105 se puede denominar puente norte en algunas arquitecturas, mientas que el concentrador de E/S 107 se puede denominar puente sur.
La Figura 2A ilustra un procesador paralelo 200, de acuerdo con un ejemplo. Los diversos componentes del procesador paralelo 200 se pueden implementar usando uno o más dispositivos de circuito integrado, tales como procesadores programables, circuitos integrados específicos de la aplicación (ASIC) o matrices de puertas programables en campo (FPGA). El procesador paralelo 200 ilustrado es una variante de los uno o más procesadores paralelos 112 mostrados en la Figura 1, de acuerdo con un ejemplo.
En un ejemplo, el procesador paralelo 200 incluye una unidad de procesamiento paralelo 202. La unidad de procesamiento paralelo incluye una unidad de E/S 204 que habilita la comunicación con otros dispositivos, incluyendo otras instancias de la unidad de procesamiento paralelo 202. La unidad de E/S 204 se puede conectar directamente a otros dispositivos. En un ejemplo, la unidad de E/S 204 se conecta con otros dispositivos a través del uso de una interfaz de concentrador o de conmutador, tal como un concentrador de memoria 105. Las conexiones entre el concentrador de memoria 105 y la unidad de E/S 204 forman un enlace de comunicación 113. Dentro de la unidad de procesamiento paralelo 202, la unidad de E/S 204 se conecta con una interfaz de anfitrión 206 y una barra transversal de memoria 216, en donde la interfaz de anfitrión 206 recibe comandos dirigidos a realizar operaciones de procesamiento y la barra transversal de memoria 216 recibe comandos dirigidos a realizar operaciones de memoria.
Cuando la interfaz de anfitrión 206 recibe una memoria intermedia de comandos a través de la unidad de E/S 204, la interfaz de anfitrión 206 puede dirigir operaciones de trabajo para realizar esos comandos a un extremo frontal 208. En un ejemplo, el extremo frontal 208 se acopla con un planificador 210, que está configurado para distribuir comandos u otros elementos de trabajo a una matriz de agrupaciones de procesamiento 212. En un ejemplo, el planificador 210 garantiza que la matriz de agrupaciones de procesamiento 212 está configurada apropiadamente y en un estado válido antes de que las tareas se distribuyan a las agrupaciones de procesamiento de la matriz de agrupaciones de procesamiento 212. En un ejemplo, el planificador 210 se implementa a través de lógica de firmware que se ejecuta en un microcontrolador. El planificador implementado por microcontrolador 210 se puede configurar para realizar operaciones de planificación y de distribución de trabajo complejas con granularidad gruesa y fina, lo que habilita un rápido otorgamiento de prioridad y conmutación de contexto de hilos que se ejecutan en la matriz de procesamiento 212. En un ejemplo, el software de anfitrión puede probar cargas de trabajo para su planificación en la matriz de procesamiento 212 a través de uno de múltiples llamadores de procesamiento de gráficos. Las cargas de trabajo se pueden distribuir entonces automáticamente a lo largo de la matriz de procesamiento 212 por la lógica del planificador 210 dentro del microcontrolador de planificador.
La matriz de agrupaciones de procesamiento 212 puede incluir hasta "N" agrupaciones de procesamiento (por ejemplo, de la agrupación 214A, la agrupación 214B a la agrupación 214N). Cada agrupación 214A-214N de la matriz de agrupaciones de procesamiento 212 puede ejecutar un gran número de hilos concurrentes. El planificador 210 puede asignar trabajo a las agrupaciones 214A-214N de la matriz de agrupaciones de procesamiento 212 usando diversos algoritmos de planificación y/o de distribución de trabajo, que pueden variar dependiendo de la carga de trabajo que surja para cada tipo de programa o cómputo. La planificación puede ser manejada dinámicamente por el planificador 210, o puede ser asistida, en parte, por lógica de compilador durante la compilación de lógica de programa configurada para su ejecución por la matriz de agrupaciones de procesamiento 212. En un ejemplo, se pueden asignar diferentes agrupaciones 214A-214N de la matriz de agrupaciones de procesamiento 212 para procesar diferentes tipos de programas o para realizar diferentes tipos de cómputos.
La matriz de agrupaciones de procesamiento 212 se puede configurar para realizar diversos tipos de operaciones de procesamiento paralelo. En un ejemplo, la matriz de agrupaciones de procesamiento 212 está configurada para realizar operaciones de cómputo paralelo de propósito general. Por ejemplo, la matriz de agrupaciones de procesamiento 212 puede incluir lógica para ejecutar tareas de procesamiento, incluyendo filtración de datos de vídeo y/o de audio, realizar operaciones de modelado, incluyendo operaciones de física y realizar transformaciones de datos.
En un ejemplo, la matriz de agrupaciones de procesamiento 212 está configurada para realizar operaciones de procesamiento de gráficos paralelo. En ejemplos en los que el procesador paralelo 200 está configurado para realizar operaciones de procesamiento de gráficos, la matriz de agrupaciones de procesamiento 212 puede incluir lógica adicional para soportar la ejecución de tales operaciones de procesamiento de gráficos, incluyendo, pero sin limitación, lógica de muestreo de textura para realizar operaciones de textura, así como lógica de teselación y otra lógica de procesamiento de vértices. Adicionalmente, la matriz de agrupaciones de procesamiento 212 se puede configurar para ejecutar programas de sombreado relacionados con el procesamiento de gráficos tales como, pero sin limitación, sombreadores de vértices, sombreadores de teselación, sombreadores de geometría y sombreadores de píxeles. La unidad de procesamiento paralelo 202 puede transferir datos desde memoria de sistema a través de la unidad de E/S 204 para su procesamiento. Durante el procesamiento, los datos transferidos se pueden almacenar en memoria en chip (por ejemplo, la memoria de procesador paralelo 222) durante el procesamiento y, entonces, escribirse en diferido en memoria de sistema.
En un ejemplo, cuando se usa la unidad de procesamiento paralelo 202 para realizar un procesamiento de gráficos, el planificador 210 se puede configurar para dividir la carga de trabajo de procesamiento en tareas de un tamaño aproximadamente igual, para habilitar mejor la distribución de las operaciones de procesamiento de gráficos a múltiples agrupaciones 214A-214N de la matriz de agrupaciones de procesamiento 212. En algunos ejemplos, porciones de la matriz de agrupaciones de procesamiento 212 se pueden configurar para realizar diferentes tipos de procesamiento. Por ejemplo, una primera porción se puede configurar para realizar un sombreado de vértices y una generación de topología, una segunda porción se puede configurar para realizar sombreado de teselación y de geometría, y una tercera porción se puede configurar para realizar sombreado de píxeles u otras operaciones de espacio de pantalla, para producir una imagen representada para su visualización. Datos intermedios producidos por una o más de las agrupaciones 214A-214N se pueden almacenar en memorias intermedias para permitir que los datos intermedios se transmitan entre las agrupaciones 214A-214N para su procesamiento adicional.
Durante el funcionamiento, la matriz de agrupaciones de procesamiento 212 puede recibir tareas de procesamiento a ejecutar a través del planificador 210, que recibe comandos que definen tareas de procesamiento desde el extremo frontal 208. Para operaciones de procesamiento de gráficos, las tareas de procesamiento pueden incluir índices de datos a procesar, por ejemplo, datos de superficie (parche), datos de primitiva, datos de vértice y/o datos de píxel, así como parámetros de estado y comandos que definen cómo se han de procesar los datos (por ejemplo, qué programa se va a ejecutar). El planificador 210 se puede configurar para extraer los índices que corresponden a las tareas o puede recibir los índices desde el extremo frontal 208. El extremo frontal 208 se puede configurar para garantizar que la matriz de agrupaciones de procesamiento 212 está configurada en un estado válido antes de que se inicie la carga de trabajo especificada por memorias intermedias de comando de entrada (por ejemplo, memorias intermedias de lotes, memorias intermedias de inserción, etc.).
Cada una de las una o más instancias de la unidad de procesamiento paralelo 202 se puede acoplar con la memoria de procesador paralelo 222. Se puede acceder a la memoria de procesador paralelo 222 a través de la barra transversal de memoria 216, que puede recibir solicitudes de memoria desde la matriz de agrupaciones de procesamiento 212, así como la unidad de E/S 204. La barra transversal de memoria 216 puede acceder a la memoria de procesador paralelo 222 a través de una interfaz de memoria 218. La interfaz de memoria 218 puede incluir múltiples unidades de subdivisión (por ejemplo, de la unidad de subdivisión 220A, la unidad de subdivisión 220B a la unidad de subdivisión 220N), cada una de las cuales se puede acoplar a una porción (por ejemplo, unidad de memoria) de la memoria de procesador paralelo 222. En una implementación, el número de unidades de subdivisión 220A-220N está configurado para que sea igual al número de unidades de memoria, de manera que una primera unidad de subdivisión 220A tiene una primera unidad de memoria 224A correspondiente, una segunda unidad de subdivisión 220B tiene una unidad de memoria 224B correspondiente y una N-ésima unidad de subdivisión 220N tiene una N-ésima unidad de memoria 224N correspondiente. En otros ejemplos, el número de unidades de subdivisión 220A-220N puede no ser igual al número de dispositivos de memoria.
En diversos ejemplos, las unidades de memoria 224A-224N pueden incluir diversos tipos de dispositivos de memoria, incluyendo memoria de acceso aleatorio dinámica (DRAM) o memoria de acceso aleatorio de gráficos, tal como memoria de acceso aleatorio de gráficos síncrona (SGRAM), incluyendo memoria de tasa de datos doble de gráficos (GDDR). En un ejemplo, las unidades de memoria 224A-224N pueden incluir también memoria apilada 3D, incluyendo, pero sin limitación, memoria de ancho de banda alto (HBM). Los expertos en la materia apreciarán que la implementación específica de las unidades de memoria 224A-224N puede variar, y se puede seleccionar de uno de diversos diseños convencionales. Se pueden almacenar objetivos de representación, tales como memorias intermedias de tramas o correlaciones de textura a lo largo de las unidades de memoria 224A-224N, permitiendo que las unidades de subdivisión 220A-220N escriban porciones de cada objetivo de representación en paralelo para usar de manera eficiente el ancho de banda disponible de la memoria de procesador paralelo 222. En algunos ejemplos, se puede excluir una instancia local de la memoria de procesador paralelo 222 en favor de un diseño de memoria unificado que utiliza memoria de sistema junto con memoria caché local.
En un ejemplo, una cualquiera de las agrupaciones 214A-214N de la matriz de agrupaciones de procesamiento 212 puede procesar datos que se escribirán en cualquiera de las unidades de memoria 224A-224N dentro de la memoria de procesador paralelo 222. La barra transversal de memoria 216 se puede configurar para transferir la salida de cada agrupación 214A-214N a cualquier unidad de subdivisión 220A-220N o a otra agrupación 214A-214N, que puede realizar operaciones de procesamiento adicionales sobre la salida. Cada agrupación 214A-214N se puede comunicar con la interfaz de memoria 218 a través de la barra transversal de memoria 216 para leer desde o escribir en diversos dispositivos de memoria externos. En un ejemplo, la barra transversal de memoria 216 tiene una conexión a la interfaz de memoria 218 para comunicarse con la unidad de E/S 204, así como una conexión a una instancia local de la memoria de procesador paralelo 222, habilitando que las unidades de procesamiento dentro de las diferentes agrupaciones de procesamiento 214A-214N se comuniquen con memoria de sistema u otra memoria que no sea local a la unidad de procesamiento paralelo 202. En un ejemplo, la barra transversal de memoria 216 puede usar canales virtuales para separar flujos de tráfico entre las agrupaciones 214A-214N y las unidades de subdivisión 220A-220N.
Aunque se ilustra una única instancia de la unidad de procesamiento paralelo 202 dentro del procesador paralelo 200, se puede incluir cualquier número de instancias de la unidad de procesamiento paralelo 202. Por ejemplo, se pueden proporcionar múltiples instancias de la unidad de procesamiento paralelo 202 en una única tarjeta de complemento, o se pueden interconectar múltiples tarjetas de complemento. Las diferentes instancias de la unidad de procesamiento paralelo 202 se pueden configurar para interoperar incluso si las diferentes instancias tienen diferentes números de núcleos de procesamiento, diferentes cantidades de memoria de procesador paralelo local y/u otras diferencias de configuración. Por ejemplo, y en un ejemplo, algunas instancias de la unidad de procesamiento paralelo 202 pueden incluir unidades de coma flotante de precisión superior en relación con otras instancias. Los sistemas que incorporan una o más instancias de la unidad de procesamiento paralelo 202 o el procesador paralelo 200 se pueden implementar en una diversidad de configuraciones y factores de forma, incluyendo, pero sin limitación, ordenadores personales de sobremesa, portátiles o de mano, servidores, estaciones de trabajo, consolas de juegos y/o sistemas integrados.
La Figura 2B es un diagrama de bloques de una unidad de subdivisión 220, de acuerdo con un ejemplo. En un ejemplo, la unidad de subdivisión 220 es una instancia de una de las unidades de subdivisión 220A-220N de la Figura 2A. Como se ilustra, la unidad de subdivisión 220 incluye una caché de L2221, una interfaz de memoria intermedia de tramas 225 y una ROP 226 (unidad de operaciones de rasterización). La caché de L2221 es una caché de lectura/escritura que está configurada para realizar operaciones de carga y de almacenamiento recibidas desde la barra transversal de memoria 216 y la ROP 226. Los desaciertos de lectura y las solicitudes de escritura diferida urgente son emitidas por la caché de L2221 a la interfaz de memoria intermedia de tramas 225 para su procesamiento. También se pueden enviar actualizaciones a la memoria intermedia de tramas a través de la interfaz de memoria intermedia de tramas 225 para su procesamiento. En un ejemplo, la interfaz de memoria intermedia de tramas 225 interacciona con una de las unidades de memoria en memoria de procesador paralelo, tales como las unidades de memoria 224A-224N de la Figura 2 (por ejemplo, dentro de la memoria de procesador paralelo 222).
En aplicaciones de gráficos, la ROP 226 es una unidad de procesamiento que realiza operaciones de rasterización tales como estarcido, prueba z, mezcla y similares. La ROP 226 emite entonces datos de gráficos procesados que se almacenan en memoria de gráficos. En algunos ejemplos, la ROP 226 incluye lógica de compresión para comprimir datos de profundidad o de color que se escriben en memoria y descomprimir datos de profundidad o de color que se leen desde memoria. La lógica de compresión puede ser lógica de compresión sin pérdidas que hace uso de uno o más de múltiples algoritmos de compresión. El tipo de compresión que es realizado por la ROP 226 puede variar basándose en las características estadísticas de los datos a comprimir. Por ejemplo, en un ejemplo, se realiza una compresión de color delta sobre datos de profundidad y de color de una manera por tesela.
En algunos ejemplos, la ROP 226 se incluye dentro de cada agrupación de procesamiento (por ejemplo, la agrupación 214A-214N de la Figura 2) en lugar de dentro de la unidad de subdivisión 220. En tal ejemplo, se transmiten solicitudes de lectura y de escritura de datos de píxel a través de la barra transversal de memoria 216 en lugar de datos de fragmento de píxel. Los datos de gráficos procesados se pueden visualizar en un dispositivo de visualización, tal como uno de los uno o más dispositivos de visualización 110 de la Figura 1, encaminarse para su procesamiento adicional por el procesador o procesadores 102, o encaminarse para su procesamiento adicional por una de las entidades de procesamiento dentro del procesador paralelo 200 de la Figura 2A.
La Figura 2C es un diagrama de bloques de una agrupación de procesamiento 214 dentro de una unidad de procesamiento paralelo, de acuerdo con un ejemplo. En un ejemplo, la agrupación de procesamiento es una instancia de una de las agrupaciones de procesamiento 214A-214N de la Figura 2. La agrupación de procesamiento 214 se puede configurar para ejecutar muchos hilos en paralelo, en donde el término "hilo" se refiere a una instancia de un programa particular que se ejecuta en un conjunto particular de datos de entrada. En algunos ejemplos, se usan técnicas de emisión de instrucciones de única instrucción múltiples datos (SIMD) para soportar la ejecución paralela de un gran número de hilos sin proporcionar múltiples unidades de instrucción independientes. En otros ejemplos, se usan técnicas de única instrucción múltiples hilos (SIMT) para soportar la ejecución paralela de un gran número de hilos generalmente sincronizados, usando una unidad de instrucción común configurada para emitir instrucciones en un conjunto de motores de procesamiento dentro de cada una de las agrupaciones de procesamiento. A diferencia del régimen de ejecución de SIMD, en donde todos los motores de procesamiento ejecutan habitualmente instrucciones idénticas, la ejecución de SIMT permite que diferentes hilos sigan más fácilmente rutas de ejecución divergentes a través de un programa de hilos dado. Los expertos en la materia entenderán que un régimen de procesamiento de SIMD representa un subconjunto funcional de un régimen de procesamiento de SIMT.
El funcionamiento de la agrupación de procesamiento 214 se puede controlar a través de un gestor de canalizaciones 232 que distribuye tareas de procesamiento a procesadores paralelos de SIMT. El gestor de canalizaciones 232 recibe instrucciones desde el planificador 210 de la Figura 2 y gestiona la ejecución de esas instrucciones a través de un multiprocesador de gráficos 234 y/o una unidad de textura 236. El multiprocesador de gráficos 234 ilustrado es una instancia ilustrativa de un procesador paralelo de SIMT. Sin embargo, se pueden incluir diversos tipos de procesadores paralelos de SIMT de arquitecturas diferentes dentro de la agrupación de procesamiento 214. Se pueden incluir una o más instancias del multiprocesador de gráficos 234 dentro de una agrupación de procesamiento 214. El multiprocesador de gráficos 234 puede procesar datos y se puede usar una barra transversal de datos 240 para distribuir los datos procesados a uno de múltiples destinos posibles, incluyendo otras unidades sombreadoras. El gestor de canalizaciones 232 puede facilitar la distribución de datos procesados especificando destinos para que se distribuyan datos procesados mediante la barra transversal de datos 240.
Cada multiprocesador de gráficos 234 dentro de la agrupación de procesamiento 214 puede incluir un conjunto idéntico de lógica de ejecución funcional (por ejemplo, unidades aritméticas lógicas, unidades de carga-almacenamiento, etc.). La lógica de ejecución funcional puede configurase de una manera en canalización en la que se pueden emitir instrucciones nuevas antes de que se estén completadas instrucciones previas. La lógica de ejecución funcional soporta una diversidad de operaciones, incluyendo aritmética de números enteros y de coma flotante, operaciones de comparación, operaciones booleanas, desplazamiento de bits y cómputo de diversas funciones algebraicas. En ejemplo, se puede aprovechar el mismo hardware de unidades funcionales para realizar diferentes operaciones, y puede estar presente cualquier combinación de unidades funcionales.
Las instrucciones transmitidas a la agrupación de procesamiento 214 constituyen un hilo. Un conjunto de hilos que se ejecutan a lo largo del conjunto de motores de procesamiento paralelo es un grupo de hilos. Un grupo de hilos ejecuta el mismo programa sobre diferentes datos de entrada. Cada hilo dentro de un grupo de hilos se puede asignar a un motor de procesamiento diferente dentro de un multiprocesador de gráficos 234. Un grupo de hilos puede incluir menos hilos que el número de motores de procesamiento dentro del multiprocesador de gráficos 234. Cuando un grupo de hilos incluye menos hilos que el número de motores de procesamiento, uno o más de los motores de procesamiento se pueden encontrar inactivos durante ciclos en los que se está procesando ese grupo de hilos. Un grupo de hilos puede incluir también más hilos que el número de motores de procesamiento dentro del multiprocesador de gráficos 234. Cuando el grupo de hilos incluye más hilos que el número de motores de procesamiento dentro del multiprocesador de gráficos 234, se puede realizar un procesamiento a lo largo de ciclos de reloj consecutivos. En un ejemplo, múltiples grupos de hilos se pueden ejecutar concurrentemente en un multiprocesador de gráficos 234.
En un ejemplo, el multiprocesador de gráficos 234 incluye una memoria caché interna para realizar operaciones de carga y de almacenamiento. En un ejemplo, el multiprocesador de gráficos 234 puede renunciar a una caché interna y usar una memoria caché (por ejemplo, la caché de L1 308) dentro de la agrupación de procesamiento 214. Cada multiprocesador de gráficos 234 también tiene acceso a cachés de nivel L2 dentro de las unidades de subdivisión (por ejemplo, las unidades de subdivisión 220A-220N de la Figura 2) que se comparten entre todas las agrupaciones de procesamiento 214 y se pueden usar para transferir datos entre hilos. El multiprocesador de gráficos 234 puede acceder también a memoria global fuera de chip, que puede incluir uno o más de memoria de procesador paralelo local y/o memoria de sistema. Cualquier memoria externa a la unidad de procesamiento paralelo 202 se puede usar como memoria global. Los ejemplos en los que la agrupación de procesamiento 214 incluye múltiples instancias del multiprocesador de gráficos 234 pueden compartir instrucciones y datos comunes, que se pueden almacenar en la caché de L1 308.
Cada agrupación de procesamiento 214 puede incluir una MMU 245 (unidad de gestión de memoria) que está configurada para correlacionar direcciones virtuales en direcciones físicas. En otros ejemplos, una o más instancias de la MMU 245 pueden residir dentro de la interfaz de memoria 218 de la Figura 2. La MMU 245 incluye un conjunto de entradas de tabla de página (PTE) usadas para correlacionar una dirección virtual con una dirección física de una tesela y, opcionalmente, un índice de líneas de caché. La MMU 245 puede incluir memorias intermedias de traducción adelantada (TLB) de direcciones o cachés que pueden residir dentro del multiprocesador de gráficos 234 o la caché de L1 o la agrupación de procesamiento 214. La dirección física se procesa para distribuir la localidad de acceso de datos de superficie para permitir una intercalación de solicitud eficiente entre unidades de subdivisión. El índice de líneas de caché se puede usar para determinar si una solicitud de una línea de caché es un acierto o un desacierto.
En aplicaciones de gráficos e informáticas, una agrupación de procesamiento 214 se puede configurar de manera que cada multiprocesador de gráficos 234 está acoplado a una unidad de textura 236 para realizar operaciones de correlación de textura, por ejemplo, determinar posiciones de muestra de textura, leer datos de textura y filtrar los datos de textura. Se leen datos de textura desde una caché de L1 de textura interna (no mostrada) o, en algunos ejemplos, desde la caché de L1 dentro del multiprocesador de gráficos 234 y se extraen desde una caché de L2, memoria de procesador paralelo local o memoria de sistema, según sea necesario. Cada multiprocesador de gráficos 234 emite tareas procesadas a la barra transversal de datos 240 para proporcionar la tarea procesada a otra agrupación de procesamiento 214 para su procesamiento adicional o para almacenar la tarea procesada en una caché de L2, memoria de procesador paralelo local o memoria de sistema a través de la barra transversal de memoria 216. Una preROP 242 (unidad de operaciones prerrasterización) está configurada para recibir datos desde el multiprocesador de gráficos 234, dirigir datos a unidades de ROP, que se pueden ubicar con unidades de subdivisión como se describe en el presente documento (por ejemplo, las unidades de subdivisión 220A-220N de la Figura 2). La unidad de preROP 242 puede realizar optimizaciones para la mezcla de color, organizar datos de color de píxel y realizar traducciones de dirección.
Se apreciará que la arquitectura de núcleo descrita en el presente documento es ilustrativa y que son posibles variaciones y modificaciones. Se puede incluir cualquier número de unidades de procesamiento, por ejemplo, el multiprocesador de gráficos 234, las unidades de textura 236, las preROP 242, etc., dentro de una agrupación de procesamiento 214. Además, aunque solo se muestra una agrupación de procesamiento 214, una unidad de procesamiento paralelo como se describe en el presente documento puede incluir cualquier número de instancias de la agrupación de procesamiento 214. En un ejemplo, cada agrupación de procesamiento 214 se puede configurar para funcionar independientemente de otras agrupaciones de procesamiento 214 usando unidades de procesamiento, cachés de L1, etc., separadas y distintas.
La Figura 2D muestra un multiprocesador de gráficos 234, de acuerdo con un ejemplo. En tal ejemplo, el multiprocesador de gráficos 234 se acopla con el gestor de canalizaciones 232 de la agrupación de procesamiento 214. El multiprocesador de gráficos 234 tiene una canalización de ejecución que incluye, pero sin limitación, una caché de instrucciones 252, una unidad de instrucción 254, una unidad de correlación de direcciones 256, un archivo de registro 258, uno o más núcleos de unidad de procesamiento de gráficos de propósito general (GPGPU) 262 y una o más unidades de carga/almacenamiento 266. Los núcleos de GPGPU 262 y las unidades de carga/almacenamiento 266 están acoplados con la memoria caché 272 y la memoria compartida 270 a través de una interconexión de memoria y de caché 268.
En un ejemplo, la caché de instrucciones 252 recibe un flujo de instrucciones para ejecutarse desde el gestor de canalizaciones 232. Las instrucciones se almacenan en caché en la caché de instrucciones 252 y se despachan para su ejecución por la unidad de instrucción 254. La unidad de instrucción 254 puede despachar instrucciones como grupos de hilos (por ejemplo, urdimbres), con cada hilo del grupo de hilos asignado a una unidad de ejecución diferente dentro del núcleo de GPGPU 262. Una instrucción puede acceder a cualquiera del espacio de direcciones local, compartido o global especificando una dirección dentro de un espacio de direcciones unificado. La unidad de correlación de direcciones 256 se puede usar para traducir direcciones en el espacio de direcciones unificado a una dirección de memoria distinta a la que pueden acceder las unidades de carga/almacenamiento 266.
El archivo de registro 258 proporciona un conjunto de registros para las unidades funcionales del multiprocesador de gráficos 234. El archivo de registro 258 proporciona almacenamiento temporal para operandos conectados a las rutas de datos de las unidades funcionales (por ejemplo, los núcleos de GPGPU 262, las unidades de carga/almacenamiento 266) del multiprocesador de gráficos 234. En un ejemplo, el archivo de registro 258 se divide entre cada una de las unidades funcionales de manera que cada unidad funcional está asignada a una porción dedicada del archivo de registro 258. En un ejemplo, el archivo de registro 258 se divide entre las diferentes urdimbres que son ejecutadas por el multiprocesador de gráficos 234.
Cada uno de los núcleos de GPGPU 262 puede incluir unidades de coma flotante (FPU) y/o unidades aritméticas lógicas (ALU) de números enteros que se usan para ejecutar instrucciones del multiprocesador de gráficos 234. Los núcleos de GPGPU 262 pueden ser similares en cuanto a su arquitectura o pueden diferir en cuanto a su arquitectura, de acuerdo con ejemplos. Por ejemplo, en un ejemplo, una primera porción de los núcleos de GPGPU 262 incluye una FPU de precisión sencilla y una ALU de números enteros, mientras que una segunda porción de los núcleos de GPGPU incluye una FPU de precisión doble. En un ejemplo, las FPU pueden implementar la norma IEEE 754-2008 para aritmética de coma flotante o habilitar una aritmética de coma flotante de precisión variable. El multiprocesador de gráficos 234 puede incluir adicionalmente una o más unidades de función fija o de función especial para realizar funciones específicas tales como operaciones de copiar rectángulo o de mezcla de píxeles. En un ejemplo, uno o más de los núcleos de GPGPU pueden incluir también lógica de función fija o especial.
En un ejemplo, los núcleos de GPGPU 262 incluyen lógica de SIMD capaz de realizar una única instrucción sobre múltiples conjuntos de datos. En un ejemplo, los núcleos de GPGPU 262 pueden ejecutar físicamente instrucciones de SIMD4, de SIMD8 y de SIMD16 y ejecutar lógicamente instrucciones de SIMD1, de SIMD2 y de SIMD32. Las instrucciones de SIMD para los núcleos de GPGPU pueden ser generadas en tiempo de compilación por un compilador sombreador o se pueden generar automáticamente cuando se ejecutan programas escritos y compilados para arquitecturas de único programa-múltiples datos (SPMD) o de SIMT. Múltiples hilos de un programa configurado para el modelo de ejecución de SIMT se pueden ejecutar a través de una única instrucción de SIMD. Por ejemplo, y en un ejemplo, ocho hilos de SIMT que realizan las mismas operaciones, o unas similares, se pueden ejecutar en paralelo a través de una única unidad de lógica de SIMD8.
La interconexión de memoria y de caché 268 es una red de interconexión que conecta cada una de las unidades funcionales del multiprocesador de gráficos 234 al archivo de registro 258 y a la memoria compartida 270. En un ejemplo, la interconexión de memoria y de caché 268 es una interconexión de barra transversal que permite que la unidad de carga/almacenamiento 266 implemente operaciones de carga y de almacenamiento entre la memoria compartida 270 y el archivo de registro 258. El archivo de registro 258 puede funcionar a la misma frecuencia que los núcleos de GPGPU 262, por lo tanto, la transferencia de datos entre los núcleos de GPGPU 262 y el archivo de registro 258 es de latencia muy baja. La memoria compartida 270 se puede usar para habilitar la comunicación entre hilos que se ejecutan en las unidades funcionales dentro del multiprocesador de gráficos 234. La memoria caché 272 se puede usar como una caché de datos, por ejemplo, para almacenar en caché datos de textura comunicados entre las unidades funcionales y la unidad de textura 236. La memoria compartida 270 se puede usar también como una caché gestionada por programa. Los hilos que se ejecutan en los núcleos de GPGPU 262 pueden almacenar, de manera programática, datos dentro de la memoria compartida además de los datos almacenados automáticamente en caché que se almacenan dentro de la memoria caché 272.
Las Figuras 3A-3B ilustran multiprocesadores de gráficos adicionales, de acuerdo con ejemplos. Los multiprocesadores de gráficos 325, 350 ilustrados son variantes del multiprocesador de gráficos 234 de la Figura 2C. Los multiprocesadores de gráficos 325, 350 ilustrados se pueden configurar como un multiprocesador de transmisión por flujo continuo (SM) que puede realizar la ejecución simultánea de un gran número de hilos de ejecución.
La Figura 3A muestra un multiprocesador de gráficos 325 de acuerdo con un ejemplo adicional. El multiprocesador de gráficos 325 incluye múltiples instancias adicionales de unidades de recurso de ejecución relativas al multiprocesador de gráficos 234 de la Figura 2D. Por ejemplo, el multiprocesador de gráficos 325 puede incluir múltiples instancias de la unidad de instrucción 332A-332B, el archivo de registro 334A-334B y la unidad o unidades de textura 344A-344B. El multiprocesador de gráficos 325 también incluye múltiples conjuntos de unidades de ejecución de cómputo o de gráficos (por ejemplo, el núcleo de GPGPU 336A-336B, el núcleo de GPGPU 337A-337B, el núcleo de GPGPU 338A-338B) y múltiples conjuntos de unidades de carga/almacenamiento 340A-340B. En un ejemplo, las unidades de recurso de ejecución tienen una caché de instrucciones común 330, una memoria caché de textura y/o de datos 342 y una memoria compartida 346.
Los diversos componentes se pueden comunicar a través de un tejido de interconexión 327. En un ejemplo, el tejido de interconexión 327 incluye uno o más conmutadores de barra transversal para habilitar la comunicación entre los diversos componentes del multiprocesador de gráficos 325. En un ejemplo, el tejido de interconexión 327 es una capa de tejido de red de alta velocidad separada sobre la que se apila cada componente del multiprocesador de gráficos 325. Los componentes del multiprocesador de gráficos 325 se comunican con componentes remotos a través del tejido de interconexión 327. Por ejemplo, cada uno de los núcleos de GPGPU 336A-336B, 337A-337By 3378A-338B se puede comunicar con la memoria compartida 346 a través del tejido de interconexión 327. El tejido de interconexión 327 puede arbitrar la comunicación dentro del multiprocesador de gráficos 325 para garantizar una asignación de ancho de banda equitativa entre componentes.
La Figura 3B muestra un multiprocesador de gráficos 350 de acuerdo con un ejemplo adicional. El procesador de gráficos incluye múltiples conjuntos de recursos de ejecución 356A-356D, en donde cada conjunto de recursos de ejecución incluye múltiples unidades de instrucción, archivos de registro, núcleos de GPGPU y unidades de cargaalmacenamiento, como se ilustra en la Figura 2D y en la Figura 3A. Los recursos de ejecución 356A-356D pueden trabajar en conjunto con la unidad o unidades de textura 360A-360D para operaciones de textura, mientras comparten una caché de instrucciones 354 y una memoria compartida 362. En un ejemplo, los recursos de ejecución 356A-356D pueden compartir una caché de instrucciones 354 y una memoria compartida 362, así como múltiples instancias de una memoria de textura y/o de caché de datos 358A-358B. Los diversos componentes se pueden comunicar a través de un tejido de interconexión 352 similar al tejido de interconexión 327 de la Figura 3A.
Los expertos en la materia entenderán que la arquitectura descrita en las Figuras 1, 2A-2D y 3A-3B es descriptiva y no limitante en cuanto al alcance de los presentes ejemplos. Por lo tanto, las técnicas descritas en el presente documento se pueden implementar en cualquier unidad de procesamiento configurada apropiadamente, incluyendo, sin limitación, uno o más procesadores de aplicación móvil, una o más unidades centrales de procesamiento (CPU) de sobremesa o de servidor, incluyendo CPU de múltiples núcleos, una o más unidades de procesamiento paralelo, tales como la unidad de procesamiento paralelo 202 de la Figura 2, así como uno o más procesadores de gráficos o unidades de procesamiento de propósito especial, sin apartarse del alcance de los ejemplos descritos en el presente documento.
En algunos ejemplos, un procesador paralelo o GPGPU como se describe en el presente documento está acoplado de manera comunicativa a núcleos de anfitrión/procesador para acelerar operaciones de gráficos, operaciones de aprendizaje automático, operaciones de análisis de patrones y diversas funciones de GPU de propósito general (GPGPU). La GPU se puede acoplar de manera comunicativa al procesador/núcleos de anfitrión a través de un bus u otra interconexión (por ejemplo, una interconexión de alta velocidad tal como PCIe o NVLink). En otros ejemplos, la GPU se puede integrar en el mismo paquete o chip que los núcleos y estar acoplada de manera comunicativa a los núcleos a través de un bus/interconexión de procesador interno (es decir, internamente al paquete o chip). Independientemente de la manera en la que esté conectada la GPU, los núcleos de procesador pueden asignar trabajo a la GPU en forma de secuencias de comandos/instrucciones contenidas en un descriptor de trabajo. La GPU usa entonces circuitería/lógica dedicada para procesar de manera eficiente estos comandos/instrucciones.
Técnicas para interconexión de GPU a procesador de anfitrión
La Figura 4A ilustra una arquitectura ilustrativa en la que una pluralidad de GPU 410-413 está acoplada de manera comunicativa a una pluralidad de procesadores de múltiples núcleos 405-406 a través de los enlaces de alta velocidad 440-443 (por ejemplo, buses, interconexiones de punto a punto, etc.). En un ejemplo, los enlaces de alta velocidad 440-443 soportan un caudal de comunicación de 4 GB/s, 30 GB/s, 80 GB/s o superior, dependiendo de la implementación. Se pueden usar diversos protocolos de interconexión, incluyendo, pero sin limitación, PCIe 4.0 o 5.0 y NVLink 2.0. Sin embargo, los principios subyacentes de la tecnología no están limitados a ningún protocolo o caudal de comunicación particular.
Además, en un ejemplo, dos o más de las GPU 410-413 están interconectadas a través de los enlaces de alta velocidad 444-445, que se pueden implementar usando los mismos protocolos/enlaces que, o unos diferentes de, los usados para los enlaces de alta velocidad 440-443. De manera similar, dos o más de los procesadores de múltiples núcleos 405-406 se pueden conectar a través del enlace de alta velocidad 433, que pueden ser buses de multiprocesador simétrico (SMP) que operan a 20 GB/s, 30 GB/s, 120 GB/s o superior. Como alternativa, toda la comunicación entre los diversos componentes de sistema mostrados en la Figura 4A se puede conseguir usando los mismos protocolos/enlaces (por ejemplo, a través de un tejido de interconexión común). Sin embargo, como se menciona, los principios subyacentes de la tecnología no están limitados a ningún tipo particular de tecnología de interconexión.
En un ejemplo, cada procesador de múltiples núcleos 405-406 está acoplado de manera comunicativa a una memoria de procesador 401 -402, a través de las interconexiones de memoria 430-431, respectivamente, y cada GPU 410-413 está acoplada de manera comunicativa a la memoria de GPU 420-423 a través de las interconexiones de memoria de GPU 450-453, respectivamente. Las interconexiones de memoria 430-431 y 450-453 pueden utilizar las mismas tecnologías de acceso de memoria, o unas diferentes. A modo de ejemplo, y no de limitación, las memorias de procesador 401-402 y las memorias de GPU 420-423 pueden ser memorias volátiles, tal como memorias de acceso aleatorio dinámicas (DRAM) (incluyendo DRAM apiladas), SDRAM DDR de gráficos (GDDR) (por ejemplo, GDDR5, GDDR6), o Memoria de Ancho de Banda Alto (HBM) y/o pueden ser memorias no volátiles, tales como 3D XPoint o Nano-Ram. En un ejemplo, alguna porción de las memorias puede ser memoria volátil y otra porción puede ser memoria no volátil (por ejemplo, usando una jerarquía de memoria de dos niveles (2LM)).
Como se describe a continuación, aunque los diversos procesadores 405-406 y las diversas GPU 410-413 se pueden acoplar físicamente a una memoria 401-402, 420-423 particular, respectivamente, se puede implementar una arquitectura de memoria unificada en la que el mismo espacio de direcciones de sistema virtual (también denominado espacio "de direcciones eficaces") está distribuido entre todas las diversas memorias físicas. Por ejemplo, cada una de las memorias de procesador 401 -402 puede comprender 64 GB del espacio de direcciones de memoria de sistema y cada una de las memorias de GPU 420-423 puede comprender 32 GB del espacio de direcciones de memoria de sistema (dando como resultado un total de memoria direccionable de 256 GB en este ejemplo).
La Figura 4B ilustra detalles adicionales para una interconexión entre un procesador de múltiples núcleos 407 y un módulo de aceleración de gráficos 446 de acuerdo con un ejemplo. El módulo de aceleración de gráficos 446 puede incluir uno o más chips de GPU integrados en una tarjeta de línea que está acoplada al procesador 407 a través del enlace de alta velocidad 440. Como alternativa, el módulo de aceleración de gráficos 446 se puede integrar en el mismo paquete o chip que el procesador 407.
El procesador 407 ilustrado incluye una pluralidad de núcleos 460A-460D, cada uno con una memoria intermedia de traducción adelantada 461A-461D y una o más cachés 462A-462D. Los núcleos pueden incluir diversos otros componentes para ejecutar instrucciones y procesar datos que no se ilustran para evitar complicar los principios subyacentes de la tecnología (por ejemplo, unidades de extracción de instrucción, unidades de predicción de bifurcaciones, descodificadores, unidades de ejecución, memorias intermedias de reordenación, etc.). Las cachés 462A-462D pueden comprender cachés de nivel 1 (L1) y de nivel 2 (L2). Además, una o más cachés compartidas 426 se pueden incluir en la jerarquía de almacenamiento en caché y pueden ser compartidas por conjuntos de los núcleos 460A-460D. Por ejemplo, un ejemplo del procesador 407 incluye 24 núcleos, cada uno con su propia caché de L1, doce cachés de l2 compartidas y doce cachés de L3 compartidas. En este ejemplo, una de las cachés de L2 y de L3 es compartida por dos núcleos adyacentes. El procesador 407 y el módulo de integración de acelerador de gráficos 446 se conectan con la memoria de sistema 441, que puede incluir las memorias de procesador 401 -402
Se mantiene la coherencia para datos e instrucciones almacenados en las diversas cachés 462A-462D, 456 y la memoria de sistema 441 a través de comunicación entre núcleos a través de un bus de coherencia 464. Por ejemplo, cada caché puede tener una lógica/circuitería de coherencia de caché asociada con la misma con la que comunicarse a través del bus de coherencia 464 en respuesta a lecturas o escrituras detectadas en líneas de caché particulares. En una implementación, se implementa un protocolo de fisgoneo de caché a través del bus de coherencia 464 para fisgar accesos de caché. Las técnicas de fisgoneo/coherencia de caché son bien entendidas por los expertos en la materia y no se describirán con detalle en el presente caso para evitar complicar los principios subyacentes de la tecnología.
En un ejemplo, un circuito intermediario 425 acopla de manera comunicativa el módulo de aceleración de gráficos 446 al bus de coherencia 464, permitiendo que el módulo de aceleración de gráficos 446 participe en el protocolo de coherencia de caché como un homólogo de los núcleos. En particular, una interfaz 435 proporciona conectividad al circuito intermediario 425 a través del enlace de alta velocidad 440 (por ejemplo, un bus PCIe, NVLink, etc.) y una interfaz 437 conecta el módulo de aceleración de gráficos 446 al enlace 440.
En una implementación, un circuito de integración de acelerador 436 proporciona servicios de gestión de caché, de acceso de memoria, de gestión de contexto y de gestión de interrupciones en nombre de una pluralidad de motores de procesamiento de gráficos 431, 432, N del módulo de aceleración de gráficos 446. Cada uno de los motores de procesamiento de gráficos 431,432, N puede comprender una unidad de procesamiento de gráficos (GPU) separada. Como alternativa, los motores de procesamiento de gráficos 431, 432, N pueden comprender diferentes tipos de motores de procesamiento de gráficos dentro de una GPU, tales como unidades de ejecución de gráficos, motores de procesamiento de medios (por ejemplo, codificadores/descodificadores de vídeo), muestreadores y motores de BLIT. En otras palabras, el módulo de aceleración de gráficos puede ser una GPU con una pluralidad de motores de procesamiento de gráficos 431-432, N, o los motores de procesamiento de gráficos 431-432, N pueden ser unas GPU individuales integradas en un paquete, tarjeta de línea o chip común.
En un ejemplo, el circuito de integración de acelerador 436 incluye una unidad de gestión de memoria (MMU) 439 para realizar diversas funciones de gestión de memoria tales como traducciones de memoria virtual a física (también denominadas traducciones de memoria eficaz a real) y protocolos de acceso de memoria para acceder a la memoria de sistema 441. La MMU 439 puede incluir también una memoria intermedia de traducción adelantada (TLB) (no mostrada) para almacenar en caché las traducciones de dirección virtual/eficaz a física/real. En un ejemplo, el circuito de integración de acelerador 436 incluye una unidad de extracción 491 para extraer comandos, instrucciones, descriptores de trabajo, etc., que definen operaciones a realizar. En una implementación, una caché 438 almacena comandos y datos para un acceso eficiente por los motores de procesamiento de gráficos 431-432, N. En un ejemplo, los datos almacenados en la caché 438 y en las memorias de gráficos 433-434, N se mantienen coherentes con las cachés de núcleo 462A-462D, 456 y la memoria de sistema 411. Como se menciona, esto se puede conseguir a través del circuito intermediario 425 que toma parte en el mecanismo de coherencia de caché en nombre de la caché 438 y las memorias 433-434, N (por ejemplo, enviando actualizaciones a la caché 438 relacionadas con modificaciones/accesos de líneas de caché en las cachés de procesador 462A-462D, 456 y recibiendo actualizaciones desde la caché 438).
Un conjunto de registros 449 almacenan datos de contexto para hilos ejecutados por los motores de procesamiento de gráficos 431-432, N y un circuito de gestión de contexto 448 gestiona los contextos de hilo. Por ejemplo, el circuito de gestión de contexto 448 puede realizar operaciones de guardado y de restablecimiento para guardar y restablecer contextos de los diversos hilos durante conmutaciones de contexto (por ejemplo, en donde se guarda un primer hilo y se almacena un segundo hilo de modo que el segundo hilo puede ser ejecutado por un motor de procesamiento de gráficos). Por ejemplo, en una conmutación de contexto, el circuito de gestión de contexto 448 puede almacenar valores de registro actuales en una región designada en memoria (por ejemplo, identificada por un puntero de contexto). Este puede restablecer entonces los valores de registro cuando se vuelve al contexto. En un ejemplo, un circuito de gestión de interrupciones 447 recibe y procesa interrupciones recibidas desde dispositivos de sistema.
En una implementación, direcciones virtuales/eficaces desde un motor de procesamiento de gráficos 431 son traducidas, por la MMU 439, a direcciones reales/físicas en la memoria de sistema 411. Un ejemplo del circuito de integración de acelerador 436 soporta múltiples (por ejemplo, 4, 8, 16) módulos de acelerador de gráficos 446 y/u otros dispositivos aceleradores. El módulo acelerador de gráficos 446 se puede dedicar a una única aplicación ejecutada en el procesador 407 o se puede compartir entre múltiples aplicaciones. En un ejemplo, se presenta un entorno de ejecución de gráficos virtualizado en el que los recursos de los motores de procesamiento de gráficos 431-432, N se comparten con múltiples aplicaciones o máquinas virtuales (VM). Los recursos se pueden subdividir en "cortes" que se asignan a diferentes VM y/o aplicaciones basándose en los requisitos de procesamiento y prioridades asociados con las VM y/o las aplicaciones.
Por lo tanto, el circuito de integración de acelerador actúa como un puente al sistema para el módulo de aceleración de gráficos 446 y proporciona servicios de traducción de direcciones y de caché de memoria de sistema. Además, el circuito de integración de acelerador 436 puede proporcionar instalaciones de virtualización para que el procesador de anfitrión gestione la virtualización de los motores de procesamiento de gráficos, las interrupciones y la gestión de memoria.
Debido a que los recursos de hardware de los motores de procesamiento de gráficos 431-432, N se correlacionan explícitamente con el espacio de direcciones real observado por el procesador de anfitrión 407, cualquier procesador de anfitrión puede dirigir estos recursos directamente usando un valor de dirección eficaz. Una función del circuito de integración de acelerador 436, en un ejemplo, es la separación física de los motores de procesamiento de gráficos 431-432, N de modo que aparecen ante el sistema como unidades independientes.
Como se menciona, en el ejemplo ilustrado, una o más memorias de gráficos 433-434, M están acopladas a cada uno de los motores de procesamiento de gráficos 431-432, N, respectivamente. Las memorias de gráficos 433-434, M almacenan instrucciones y datos que son procesados por cada uno de los motores de procesamiento de gráficos 431 -432, N. Las memorias de gráficos 433-434, M pueden ser memorias volátiles, tales como DRAM (incluyendo DRAM apiladas), memoria de GDDR (por ejemplo, GDDR5, GDDR6), o HBM, y/o pueden ser memorias no volátiles, tales como 3D XPoint o Nano-Ram.
En un ejemplo, para reducir el tráfico de datos a través del enlace 440, se usan técnicas de desviación para garantizar que los datos almacenados en las memorias de gráficos 433-434, M son datos que serán usados de la manera más frecuente por los motores de procesamiento de gráficos 431 -432, N y preferiblemente no serán usados por los núcleos 460A-460D (al menos, no de manera frecuente). De manera similar, el mecanismo de desviación intenta mantener datos que son necesitados por los núcleos (y, preferiblemente, no por los motores de procesamiento de gráficos 431 -432, N) dentro de las cachés 462A-462D, 456 de los núcleos y la memoria de sistema 411.
La Figura 4C ilustra otro ejemplo en la que el circuito de integración de acelerador 436 está integrado dentro del procesador 407. En este ejemplo, los motores de procesamiento de gráficos 431-432, N se comunican directamente a través del enlace de alta velocidad 440 al circuito de integración de acelerador 436 a través de la interfaz 437 y la interfaz 435 (que, de nuevo, puede utilizar cualquier forma de protocolo de interfaz o bus). El circuito de integración de acelerador 436 puede realizar las mismas operaciones que las descritas con respecto a la Figura 4B, pero potencialmente a un caudal superior dada su proximidad estrecha al bus de coherencia 462 y a las cachés 462A-462D, 426.
Un ejemplo soporta diferentes modelos de programación que incluyen un modelo de programación de proceso dedicado (sin virtualización de módulo de aceleración de gráficos) y modelos de programación compartida (con virtualización). Este último puede incluir modelos de programación que son controlados por el circuito de integración de acelerador 436 y modelos de programación que son controlados por el módulo de aceleración de gráficos 446.
En un ejemplo del modelo de proceso dedicado, los motores de procesamiento de gráficos 431 -432, N están dedicados a una única aplicación o proceso bajo un único sistema operativo. La única aplicación puede encauzar otras solicitudes de aplicación a los motores de gráficos 431-432, N, proporcionando virtualización dentro de una VM/subdivisión.
En los modelos de programación de proceso dedicado, los motores de procesamiento de gráficos 431-432, N, pueden ser compartidos por múltiples subdivisiones de aplicación/VM. Los modelos compartidos requieren que un hipervisor de sistema virtualice los motores de procesamiento de gráficos 431-432, N para permitir el acceso por cada sistema operativo. Para sistemas de subdivisión única sin un hipervisor, los motores de procesamiento de gráficos 431-432, N son propiedad del sistema operativo. En ambos casos, el sistema operativo puede virtualizar los motores de procesamiento de gráficos 431-432, N para proporcionar acceso a cada proceso o aplicación.
Para el modelo de programación compartida, el módulo de aceleración de gráficos 446 o un motor de procesamiento de gráficos 431 -432, N individual selecciona un elemento de proceso usando un manejador de proceso. En un ejemplo, se almacenan elementos de proceso en la memoria de sistema 411, y estos son direccionables usando las técnicas de traducción de dirección eficaz a dirección real descritas en el presente documento. El manejador de proceso puede ser un valor específico de la implementación proporcionado al proceso de anfitrión cuando se registra su contexto con el motor de procesamiento de gráficos 431-432, N (es decir, llamando a software de sistema para añadir el elemento de proceso a la lista vinculada de elementos de proceso). Los 16 bits inferiores del manejador de proceso pueden ser el desplazamiento del elemento de proceso dentro de la lista vinculada de elementos de proceso.
La Figura 4D ilustra un corte de integración de acelerador 490 ilustrativo. Como se usa en el presente documento, un "corte" comprende una porción especificada de los recursos de procesamiento del circuito de integración de acelerador 436. El espacio de direcciones eficaces de aplicación 482 dentro de la memoria de sistema 411 almacena los elementos de proceso 483. En un ejemplo, los elementos de proceso 483 se almacenan en respuesta a las invocaciones de GPU 481 desde las aplicaciones 480 ejecutadas en el procesador 407. Un elemento de proceso 483 contiene el estado de proceso para la aplicación 480 correspondiente. Un descriptor de trabajo (WD) 484 contenido en el elemento de proceso 483 puede ser un único trabajo solicitado por una aplicación o puede contener un puntero a una cola de trabajos. En este último caso, el WD 484 es un puntero a la cola de solicitudes de trabajo en el espacio de direcciones 482 de la aplicación.
El módulo de aceleración de gráficos 446 y/o los motores de procesamiento de gráficos 431 -432, N individuales pueden ser compartidos por todos, o por un subconjunto de, los procesos en el sistema. Los ejemplos de la memoria descriptiva incluyen una infraestructura para establecer el estado de proceso y enviar un WD 484 a un módulo de aceleración de gráficos 446 para empezar un trabajo en un entorno virtualizado.
En una implementación, el modelo de programación de proceso dedicado es específico de la implementación. En este modelo, un único proceso es propietario del módulo de aceleración de gráficos 446 o de un motor de procesamiento de gráficos 431 individual. Debido a que el módulo de aceleración de gráficos 446 es propiedad de un único proceso, el hipervisor inicializa el circuito de integración de acelerador 436 para la subdivisión propietaria y el sistema operativo inicializa el circuito de integración de acelerador 436 para el proceso propietario en el momento en el que se asigna el módulo de aceleración de gráficos 446.
Durante el funcionamiento, una unidad de extracción de WD 491 en el corte de integración de acelerador 490 extrae el WD 484 siguiente que incluye una indicación del trabajo a hacer por uno de los motores de procesamiento de gráficos del módulo de aceleración de gráficos 446. Datos desde el WD 484 se pueden almacenar en los registros 449 y ser usados por la MMU 439, el circuito de gestión de interrupciones 447 y/o el circuito de gestión de contexto 446 como se ilustra. Por ejemplo, un ejemplo de la MMU 439 incluye circuitería de recorrido de segmentos/páginas para acceder a las tablas de segmentos/páginas 486 dentro del espacio de direcciones virtuales de SO 485. El circuito de gestión de interrupciones 447 puede procesar los eventos de interrupción 492 recibidos del módulo de aceleración de gráficos 446. Cuando se realizan operaciones de gráficos, una dirección eficaz 493 generada por un motor de procesamiento de gráficos 431-432, N es traducida a una dirección real por la MMU 439.
En un ejemplo, el mismo conjunto de registros 449 se duplica para cada motor de procesamiento de gráficos 431 -432, N y/o módulo de aceleración de gráficos 446, y puede ser inicializado por el hipervisor o el sistema operativo. Cada uno de estos registros duplicados se puede incluir en un corte de integración de acelerador 490. En la Tabla 1 se muestran registros ilustrativos que pueden ser inicializados por el hipervisor.
Tabla 1 - Registros inicializados por hipervisor
Figure imgf000014_0001
En la Tabla 2 se muestran registros ilustrativos que pueden ser inicializados por el sistema operativo.
Tabla 2 - Registros inicializados por sistema operativo
Figure imgf000014_0002
En un ejemplo, cada WD 484 es específico de un módulo de aceleración de gráficos 446 y/o de un motor de procesamiento de gráficos 431-432, N particular. Este contiene toda la información que requiere un motor de procesamiento de gráficos 431-432, N para hacer su trabajo, o puede ser un puntero a una ubicación de memoria en la que la aplicación ha establecido una cola de comandos de trabajo a completar.
La Figura 4E ilustra detalles adicionales para un ejemplo de un modelo compartido. Este ejemplo incluye un espacio de direcciones real de hipervisor 498 en el que se almacena una lista de elementos de proceso 499. El espacio de direcciones real de hipervisor 498 es accesible a través de un hipervisor 496 que virtualiza los motores de módulo de aceleración de gráficos para el sistema operativo 495.
Los modelos de programación compartida prevén que todos los procesos, o un subconjunto de los mismos, de todas las subdivisiones en el sistema, o de un subconjunto de las mismas, usen un módulo de aceleración de gráficos 446. Hay dos modelos de programación en los que el módulo de aceleración de gráficos 446 es compartido por múltiples procesos y particiones: compartido en cortes de tiempo y compartido dirigido a gráficos.
En este modelo, el hipervisor de sistema 496 es propietario del módulo de aceleración de gráficos 446 y hace que su función esté disponible para todos los sistemas operativos 495. Para que un módulo de aceleración de gráficos 446 soporte virtualización por el hipervisor de sistema 496, el módulo de aceleración de gráficos 446 puede satisfacer los requisitos siguientes: 1) La solicitud de trabajo de una aplicación ha de ser autónoma (es decir, no es necesario mantener el estado entre trabajos), o el módulo de aceleración de gráficos 446 ha de proporcionar un mecanismo de guardado y de restablecimiento de contexto. 2) Se garantiza, por el módulo de aceleración de gráficos 446, que la solicitud de trabajo de una aplicación se completa en una cantidad especificada de tiempo, incluyendo cualquier fallo de traducción, o el módulo de aceleración de gráficos 446 proporciona la capacidad de dar prioridad al procesamiento del trabajo. 3) Se ha de garantizar al módulo de aceleración de gráficos 446 la equidad entre procesos cuando se opera en el modelo de programación compartido dirigido.
En un ejemplo, para el modelo compartido, se requiere que la aplicación 480 haga una llamada de sistema al sistema operativo 495 con un tipo del módulo de aceleración de gráficos 446, un descriptor de trabajo (WD), un valor de registro de máscara de autoridad (AMR) y un puntero de área de guardado/restablecimiento de contexto (CSRP). El tipo del módulo de aceleración de gráficos 446 describe la función de aceleración seleccionada como objetivo para la llamada de sistema. El tipo del módulo de aceleración de gráficos 446 puede ser un valor específico del sistema. Al WD se le da formato específicamente para el módulo de aceleración de gráficos 446, y puede estar en forma de un comando del módulo de aceleración de gráficos 446, un puntero de dirección eficaz a una estructura definida por el usuario, un puntero de dirección eficaz a una cola de comandos, o cualquier otra estructura de datos para describir el trabajo a hacer por el módulo de aceleración de gráficos 446. En un ejemplo, el valor de AMR es el estado de AMR a usar para el proceso actual. El valor pasado al sistema operativo es similar a que una aplicación establezca el AMR. Si las implementaciones del circuito de integración de acelerador 436 y del módulo de aceleración de gráficos 446 no soportan un Registro de Anulación de Máscara de Autoridad de Usuario (UAMOR), el sistema operativo puede aplicar el valor de UAMOR actual al valor de AMR antes de pasar el AMR en la llamada de hipervisor. El hipervisor 496 puede aplicar opcionalmente el valor de registro de anulación de máscara de autoridad (AMOR) actual antes de colocar el AMR en el elemento de proceso 483. En un ejemplo, el CSRP es uno de los registros 449 que contienen la dirección eficaz de un área en el espacio de direcciones 482 de la aplicación para que el módulo de aceleración de gráficos 446 guarde y restablezca el estado de contexto. Este puntero es opcional si no se requiere que se guarde estado alguno entre trabajos o cuando se da prioridad a un trabajo. El área de guardado/restablecimiento de contexto puede ser una memoria de sistema anclada.
Tras recibir la llamada de sistema, el sistema operativo 495 puede verificar que la aplicación 480 se ha registrado y que se le ha dado la autoridad para usar el módulo de aceleración de gráficos 446. El sistema operativo 495 llama entonces al hipervisor 496 con la información mostrada en la Tabla 3.
Tabla 3 - Parámetros de llamada de SO a hipervisor
Figure imgf000015_0002
Tras recibir la llamada de hipervisor, el hipervisor 496 verifica que el sistema operativo 495 se ha registrado y que se le ha dado la autoridad para usar el módulo de aceleración de gráficos 446. El hipervisor 496 pone entonces el elemento de proceso 483 en la lista vinculada de elementos de proceso para el tipo del módulo de aceleración de gráficos 446 correspondiente. El elemento de proceso puede incluir la información mostrada en la Tabla 4.
Tabla 4 - Información de elemento de proceso
Figure imgf000015_0001
Figure imgf000016_0001
En un ejemplo, el hipervisor inicializa una pluralidad de registros 449 del corte de integración de acelerador 490.
Como se ilustra en la Figura 4F, un ejemplo de la memoria descriptiva emplea una memoria unificada direccionable a través de un espacio de direcciones de memoria virtual común usado para acceder a las memorias de procesador físico 401-402 y a las memorias de GPU 420-423. En esta implementación, operaciones ejecutadas en las GPU 410­ 413 utilizan el mismo espacio de direcciones de memoria virtual/eficaz para acceder a las memorias de procesadores 401-402, y viceversa, simplificando de ese modo la programabilidad. En un ejemplo, una primera porción del espacio de direcciones virtual/eficaz está asignada a la memoria de procesador 401, una segunda porción a la segunda memoria de procesador 402, una tercera porción a la memoria de GPU 420, y así sucesivamente. El espacio de memoria virtual/eficaz total (denominado, en ocasiones, el espacio de direcciones eficaces) está distribuido, por lo tanto, a lo largo de cada una de las memorias de procesador 401-402 y las memorias de GPU 420-423, permitiendo que cualquier procesador o GPU acceda a cualquier memoria física con una dirección virtual correlacionada con esa memoria.
En un ejemplo, la circuitería de gestión de desvío/coherencia 494A-494E dentro de una o más de las MMU 439A-439E garantiza la coherencia de caché entre las cachés de los procesadores de anfitrión (por ejemplo, 405) y las GPU 410­ 413 e implementa técnicas de desviación que indican las memorias físicas en las que deberían almacenarse ciertos tipos de datos. Aunque se ilustran múltiples instancias de la circuitería de gestión de desvío/coherencia 494A-494E en la Figura 4F, la circuitería de desvío/coherencia se puede implementar dentro de la MMU de uno o más procesadores de anfitrión 405 y/o dentro del circuito de integración de acelerador 436.
Un ejemplo permite que la memoria anexada a GPU 420-423 se correlacione como parte de memoria de sistema, y que se acceda a la misma usando tecnología de memoria virtual compartida (SVM), pero sin adolecer de las desventajas de desempeño habituales asociadas con la coherencia de caché de sistema completa. La capacidad de que se acceda a la memoria anexada a GPU 420-423 como memoria de sistema sin una tara de coherencia de caché onerosa proporciona un entorno de operación beneficioso para la descarga de GPU. Esta disposición permite que el software del procesador de anfitrión 405 establezca operandos y acceda a resultados de cómputo, sin la tara de copias de datos de DMA de E/S tradicionales. Tales copias tradicionales implican llamadas de controlador, interrupciones y accesos de E/S correlacionados con memoria (MMIO) que son, todos ellos, ineficientes en relación con accesos de memoria sencillos. Al mismo tiempo, la capacidad de acceder a la memoria anexada a GPU 420-423 sin taras de coherencia de caché puede ser crítica para el tiempo de ejecución de un cómputo descargado. En casos con tráfico de memoria de escritura de transmisión por flujo continuo sustancial, por ejemplo, la tara de coherencia de caché puede reducir significativamente el ancho de banda de escritura eficaz observado por una GPU 410-413. La eficiencia del establecimiento de operandos, la eficiencia del acceso a resultados y la eficiencia del cómputo de GPU desempeñan, todas ellas, un papel en la determinación de la eficacia de la descarga de GPU.
En una implementación, la selección entre el desvío de GPU y el desvío de procesador de anfitrión es controlada por una estructura de datos de rastreador de desvío. Se puede usar una tabla de desvíos, por ejemplo, que puede ser una estructura granular a nivel de página (es decir, controlada con la granularidad de una página de memoria) que incluye 1 o 2 bits por página de memoria anexada a GPU. La tabla de desvíos se puede implementar en un rango de memoria robado de una o más memorias anexadas a GPU 420-423, con o sin una caché de desvío en la GPU 410-413 (por ejemplo, para almacenar en caché entradas usadas de manera frecuente/reciente de la tabla de desvíos). Como alternativa, toda la tabla de desvíos se puede mantener dentro de la GPU.
En una implementación, se accede a la entrada de tabla de desvíos asociada con cada acceso a la memoria anexada a GPU 420-423 antes del acceso real a la memoria de GPU, provocando las operaciones siguientes. En primer lugar, solicitudes locales desde la GPU 410-413 que encuentran su página en el desvío de GPU se reenvían directamente a una memoria de GPU 420-423 correspondiente. Las solicitudes locales de la GPU que encuentran su página en la desviación del anfitrión se reenvían al procesador 405 (por ejemplo, a través de un enlace de alta velocidad como se ha analizado anteriormente). En un ejemplo, las solicitudes del procesador 405 que encuentran la página solicitada en una desviación de procesador de anfitrión completan la solicitud como una lectura de memoria normal. Como alternativa, solicitudes dirigidas a una página con desvío de GPU se pueden redirigir a la GPU 410-413. La GPU puede hacer entonces que la página realice una transición a una desviación de procesador de anfitrión si no está usando actualmente la página.
El estado de desvío de una página se puede cambiar mediante o bien un mecanismo basado en software, o bien un mecanismo basado en software asistido por hardware, o bien, para un conjunto limitado de casos, un mecanismo basado puramente en hardware.
Un mecanismo para cambiar el estado de desvío emplea una llamada de API (por ejemplo, OpenCL), que, a su vez, llama al controlador de dispositivos de la GPU que, a su vez, envía un mensaje a (o pone en cola un descriptor de comandos para) la GPU que le indica que cambie el estado de desvío y, para algunas transiciones, que realice una operación de vaciado de caché en el anfitrión. La operación de vaciado de caché se requiere para una transición desde un desvío del procesador de anfitrión 405 a un desvío de GPU, pero no se requiere para la transacción opuesta.
En un ejemplo, la coherencia de caché se mantiene haciendo temporalmente que las páginas con desvío de GPU no puedan ser almacenadas en caché por el procesador de anfitrión 405. Para acceder a estas páginas, el procesador 405 puede solicitar acceso desde la GPU 410 que puede conceder, o no, acceso de manera inmediata, dependiendo de la implementación. Por lo tanto, para reducir la comunicación entre el procesador 405 y la GPU 410, es beneficioso garantizar que las páginas con desvío de GPU son aquellas que son requeridas por la GPU, pero no por el procesador de anfitrión 405, y viceversa.
Canalización de procesamiento de gráficos
La Figura 5 ilustra una canalización de procesamiento de gráficos 500, de acuerdo con un ejemplo. En un ejemplo, un procesador de gráficos puede implementar la canalización de procesamiento de gráficos 500 ilustrada. El procesador de gráficos se puede incluir dentro del subsistema de procesamiento paralelos como se describe en el presente documento, tal como el procesador paralelo 200 de la Figura 2, que, en un ejemplo, es una variante del procesador o procesadores paralelos 112 de la Figura 1. Los diversos sistemas de procesamiento paralelo pueden implementar la canalización de procesamiento de gráficos 500 a través de una o más instancias de la unidad de procesamiento paralelo (por ejemplo, la unidad de procesamiento paralelo 202 de la Figura 2) como se describe en el presente documento. Por ejemplo, una unidad sombreadora (por ejemplo, el multiprocesador de gráficos 234 de la Figura 3) se puede configurar para realizar las funciones de una o más de una unidad de procesamiento de vértices 504, una unidad de procesamiento de control de teselación 508, una unidad de procesamiento de evaluación de teselación 512, una unidad de procesamiento de geometría 516 y una unidad de procesamiento de fragmentos/píxeles 524. Las funciones del ensamblador de datos 502, los ensambladores de primitivas 506, 514, 518, la unidad de teselación 510, el rasterizador 522 y la unidad de operaciones de rasterización 526 también pueden ser realizadas por otros motores de procesamiento dentro de una agrupación de procesamiento (por ejemplo, la agrupación de procesamiento 214 de la Figura 3) y una unidad de subdivisión correspondiente (por ejemplo, la unidad de subdivisión 220A-220N de la Figura 2). La canalización de procesamiento de gráficos 500 se puede implementar también usando unidades de procesamiento dedicadas para una o más funciones. En un ejemplo, una o más porciones de la canalización de procesamiento de gráficos 500 se pueden realizar mediante lógica de procesamiento paralelo dentro de un procesador de propósito general (por ejemplo, una CPU). En un ejemplo, una o más porciones de la canalización de procesamiento de gráficos 500 pueden acceder a memoria en chip (por ejemplo, la memoria de procesador paralelo 222 como en la Figura 2) a través de una interfaz de memoria 528, que puede ser una instancia de la interfaz de memoria 218 de la Figura 2. En un ejemplo, el ensamblador de datos 502 es una unidad de procesamiento que recopila datos de vértice para superficies y primitivas.
El ensamblador de datos 502 emite entonces los datos de vértice, incluyendo los atributos de vértice, a la unidad de procesamiento de vértices 504. La unidad de procesamiento de vértices 504 es una unidad de ejecución programable que ejecuta programas de sombreado de vértices, iluminando y transformando datos de vértice según sea especificado por los programas de sombreado de vértices. La unidad de procesamiento de vértices 504 lee datos que se almacenan en memoria caché, local o de sistema para su uso en el procesamiento de los datos de vértice y se puede programar para transformar los datos de vértice desde una representación de coordenadas basada en objetos a un espacio de coordenadas de espacio mundial o un espacio de coordenadas de dispositivo normalizado.
Una primera instancia de un ensamblador de primitivas 506 recibe atributos de vértice desde la unidad de procesamiento de vértices 504. El ensamblador de primitivas 506 lee atributos de vértice almacenados según sea necesario y construye primitivas de gráficos para su procesamiento por la unidad de procesamiento de control de teselación 508. Las primitivas de gráficos incluyen triángulos, segmentos de línea, puntos, parches y así sucesivamente, según sea soportado por diversas interfaces de programación de aplicaciones (API) de procesamiento de gráficos.
La unidad de procesamiento de control de teselación 508 trata los vértices de entrada como puntos de control para un parche geométrico. Los puntos de control se transforman de una representación de entrada a partir del parche (por ejemplo, las bases del parche) a una representación que es adecuada para su uso en una evaluación superficial por la unidad de procesamiento de evaluación de teselación 512. La unidad de procesamiento de control de teselación 508 también puede computar factores de teselación para bordes de parches geométricos. Un factor de teselación se aplica a un único borde y cuantifica un nivel de detalle, dependiente de la vista, asociado con el borde. Una unidad de teselación 510 está configurada para recibir los factores de teselación para bordes de un parche y para teselar el parche en múltiples primitivas geométricas, tales como primitivas de línea, de triángulo o cuadrilaterales, que se transmiten a una unidad de procesamiento de evaluación de teselación 512. La unidad de procesamiento de evaluación de teselación 512 opera sobre coordenadas parametrizadas del parche subdividido para generar una representación superficial y atributos de vértice para cada vértice asociado con las primitivas geométricas.
Una segunda instancia de un ensamblador de primitivas 514 recibe atributos de vértices desde la unidad de procesamiento de evaluación de teselación 512, leyendo atributos de vértice almacenados según sea necesario, y construye primitivas de gráficos para su procesamiento por la unidad de procesamiento de geometría 516. La unidad de procesamiento de geometría 516 es una unidad de ejecución programable que ejecuta programas de sombreado de geometría para transformar primitivas de gráficos recibidas desde el ensamblador de primitivas 514 según sea especificado por los programas de sombreado de geometría. En un ejemplo, la unidad de procesamiento de geometría 516 está programada para subdividir las primitivas de gráficos en una o más primitivas de gráficos nuevas y calcular parámetros usados para rasterizar las nuevas primitivas de gráficos.
En algunos ejemplos, la unidad de procesamiento de geometría 516 puede añadir o borrar elementos en el flujo de geometría. La unidad de procesamiento de geometría 516 emite los parámetros y vértices que especifican primitivas de gráficos nuevas al ensamblador de primitivas 518. El ensamblador de primitivas 518 recibe los parámetros y vértices desde la unidad de procesamiento de geometría 516 y construye primitivas de gráficos para su procesamiento por una unidad de escala, selección y recorte de ventana gráfica 520. La unidad de procesamiento de geometría 516 lee datos que están almacenados en memoria de procesador paralelo o memoria de sistema para su uso en el procesamiento de los datos de geometría. La unidad de escala, selección y recorte de ventana gráfica 520 realiza el recorte, la selección y el ajuste a escala de ventana gráfica y emite primitivas de gráficos procesadas a un rasterizador 522.
El rasterizador 522 puede realizar optimizaciones de selección de profundidad y otras basadas en profundidad. El rasterizador 522 también realiza una conversión de exploración sobre las nuevas primitivas de gráficos para generar fragmentos y emitir esos fragmentos y datos de cobertura asociados a la unidad de procesamiento de fragmentos/píxeles 524. La unidad de procesamiento de fragmentos/píxeles 524 es una unidad de ejecución programable que está configurada para ejecutar programas de sombreado de fragmentos o programas de sombreado de píxeles. Transformando, la unidad de procesamiento de fragmentos/píxeles 524, fragmentos o píxeles recibidos desde el rasterizador 522, según sea especificado por los programas de sombreado de fragmentos o de píxeles. Por ejemplo, la unidad de procesamiento de fragmentos/píxeles 524 se puede programar para realizar operaciones que incluyen, pero sin limitación, correlación de textura, sombreado, mezcla, corrección de textura y corrección de perspectiva para producir fragmentos o píxeles sombreados que se emiten a una unidad de operaciones de rasterización 526. La unidad de procesamiento de fragmentos/píxeles 524 puede leer datos que se almacenan o bien en la memoria de procesador paralelo o bien en la memoria de sistema para su uso cuando se procesan los datos de fragmento. Se pueden configurar programas de sombreado de fragmentos o de píxeles para sombrear con granularidades de muestra, de píxel, de tesela u otras dependiendo de las tasas de muestreo configuradas para las unidades de procesamiento.
La unidad de operaciones de rasterización 526 es una unidad de procesamiento que realiza operaciones de rasterización que incluyen, pero sin limitación estarcido, prueba z, mezcla y similares, y emite datos de píxel como datos de gráficos procesados para almacenarse en memoria de gráficos (por ejemplo, la memoria de procesador paralelo 222 como en la Figura 2, y/o la memoria de sistema 104 como en la Figura 1, para visualizarse en los uno o más dispositivos de visualización 110 o para su procesamiento adicional por uno de los uno o más procesadores 102 o procesador o procesadores paralelos 112. En algunos ejemplos, la unidad de operaciones de rasterización 526 está configurada para comprimir datos z o de color que se escriben en memoria y descomprimir datos z o de color que se leen desde memoria.
Vista global de aprendizaje automático
Un algoritmo de aprendizaje automático es un algoritmo que puede aprender basándose en un conjunto de datos. Los ejemplos de algoritmos de aprendizaje automático se pueden diseñar para modelar abstracciones de alto nivel dentro de un conjunto de datos. Por ejemplo, se pueden usar algoritmos de reconocimiento de imágenes para determinar a cuál de varias categorías pertenece una entrada dada; los algoritmos de regresión pueden emitir un valor numérico dada una entrada; y se pueden usar los algoritmos de reconocimiento de patrones para generar texto traducido o para realizar texto a habla y/o reconocimiento de habla.
Un tipo ilustrativo de algoritmo de aprendizaje automático es una red neuronal. Hay muchos tipos de redes neuronales; un tipo sencillo de red neuronal es una red de realimentación prospectiva. Una red de realimentación prospectiva se puede implementar como un grafo acíclico en el que los nodos están dispuestos en capas. Habitualmente, una topología de red de realimentación prospectiva incluye una capa de entrada y una capa de salida que están separadas por al menos una capa oculta. La capa oculta transforma la entrada recibida por la capa de entrada en una representación que es útil para generar la salida en la capa de salida. Los nodos de red están completamente conectados a través de bordes a los nodos en capas adyacentes, pero no hay bordes entre nodos dentro de cada capa. Los datos recibidos en los nodos de una capa de entrada de una red de realimentación prospectiva se propagan (es decir, "se realimentan prospectivamente") a los nodos de la capa de salida a través de una función de activación que calcula los estados de los nodos de cada capa sucesiva en la red basándose en coeficientes ("pesos") asociados, respectivamente, con cada uno de los bordes que conectan las capas. Dependiendo del modelo específico que se esté representando por el algoritmo que se está ejecutando, la salida del algoritmo de la red neuronal puede adoptar diversas formas.
Antes de que se pueda usar un algoritmo de aprendizaje automático para modelar un problema particular, se entrena el algoritmo usando un conjunto de datos de entrenamiento. Entrenar una red neuronal implica seleccionar una topología de red, usar un conjunto de datos de entrenamiento que representa un problema que es modelado por la red, y ajustar los pesos hasta que el modelo de red rinde con un error mínimo para todas las instancias del conjunto de datos de entrenamiento. Por ejemplo, durante un proceso de entrenamiento de aprendizaje supervisado para una red neuronal, la salida producida por la red en respuesta a la entrada que representa una instancia en un conjunto de datos de entrenamiento se compara con la salida etiquetada "correcta" para esa instancia, se calcula una señal de error que representa la diferencia entre la salida y la salida etiquetada, y se ajustan los pesos asociados con las conexiones para minimizar ese error a medida que la señal de error se retropropaga a través de las capas de la red. La red se considera "entrenada" cuando se minimizan los errores para cada una de las salidas generadas a partir de las instancias del conjunto de datos de entrenamiento.
La precisión de un algoritmo de aprendizaje automático se puede ver afectada significativamente por la calidad del conjunto de datos usado para entrenar el algoritmo. El proceso de entrenamiento puede ser intensivo desde el punto de vista computacional y puede requerir una cantidad de tiempo significativa en un procesador de propósito general convencional. En consecuencia, se usa hardware de procesamiento paralelo para entrenar muchos tipos de algoritmos de aprendizaje automático. Esto es particularmente útil para optimizar el entrenamiento de redes neuronales, debido a que los cómputos realizados en el ajuste de los coeficientes en redes neuronales se prestan de manera natural a implementaciones paralelas. Específicamente, muchos algoritmos de aprendizaje automático y aplicaciones de software se han adaptado para hacer uso del hardware de procesamiento paralelo dentro de dispositivos de procesamiento de gráficos de propósito general.
La Figura 6 es un diagrama generalizado de una pila de software de aprendizaje automático 600. Una aplicación de aprendizaje automático 602 se puede configurar para entrenar una red neuronal usando un conjunto de datos de entrenamiento o para usar una red neuronal profunda entrenada para implementar una inteligencia automática. La aplicación de aprendizaje automático 602 puede incluir una funcionalidad de entrenamiento y de inferencia para una red neuronal y/o software especializado que se puede usar para entrenar una red neuronal antes del despliegue. La aplicación de aprendizaje automático 602 puede implementar cualquier tipo de inteligencia automática incluyendo, pero sin limitación, reconocimiento de imágenes, correlación y localización, navegación autónoma, síntesis de habla, formación de imágenes médicas o traducción de idioma.
Se puede habilitar una aceleración de hardware para la aplicación de aprendizaje automático 602 a través de una estructura de aprendizaje automático 604. La estructura de aprendizaje automático 604 puede proporcionar una biblioteca de primitivas de aprendizaje automático. Las primitivas de aprendizaje automático son operaciones básicas que se realizan comúnmente por algoritmos de aprendizaje automático. Sin la estructura de aprendizaje automático 604, se requeriría que los desarrolladores de algoritmos de aprendizaje automático crearan y optimizaran la lógica computacional principal asociada con el algoritmo de aprendizaje automático, y que reoptimizaran entonces la lógica computacional a medida que se desarrollan nuevos procesadores paralelos. En su lugar, la aplicación de aprendizaje automático se puede configurar para realizar los cómputos necesarios usando las primitivas proporcionadas por la estructura de aprendizaje automático 604. Las primitivas ilustrativas incluyen convoluciones tensoriales, funciones de activación y agrupación, que son operaciones computacionales que se realizan mientras se entrena una red neuronal convolucional (CNN). La estructura de aprendizaje automático 604 también puede proporcionar primitivas para implementar subprogramas de álgebra lineal básicos realizados por muchos algoritmos de aprendizaje automático, tales como operaciones matriciales y vectoriales.
La estructura de aprendizaje automático 604 puede procesar datos de entrada recibidos desde la aplicación de aprendizaje automático 602 y generar la entrada apropiada a una estructura de cómputo 606. La estructura de cómputo 606 puede abstraer las instrucciones subyacentes proporcionadas al controlador de GPGPU 608 para habilitar que la estructura de aprendizaje automático 604 se aproveche de la aceleración de hardware a través del hardware de GPGPU 610 sin requerir que la estructura de aprendizaje automático 604 tenga un conocimiento íntimo de la arquitectura del hardware de GPGPU 610. Adicionalmente, la estructura de cómputo 606 puede habilitar la aceleración de hardware para la estructura de aprendizaje automático 604 a lo largo de una diversidad de tipos y generaciones del hardware de GPGPU 610.
Aceleración de aprendizaje automático de GPGPU
La Figura 7 ilustra una unidad de procesamiento de gráficos de propósito general altamente paralela 700, de acuerdo con un ejemplo. En un ejemplo, la unidad de procesamiento de propósito general (GPGPU) 700 se puede configurar para ser particularmente eficiente en el procesamiento del tipo de cargas de trabajo computacionales asociadas con el entrenamiento de redes neuronales profundas. Adicionalmente, la GPGPU 700 se puede vincular directamente a otras instancias de la GPGPU para crear una agrupación de múltiples GPU para mejorar la velocidad de entrenamiento para redes neuronales particularmente profundas.
La GPGPU 700 incluye una interfaz de anfitrión 702 para habilitar una conexión con un procesador de anfitrión. En un ejemplo, la interfaz de anfitrión 702 es una interfaz PCI Express. Sin embargo, la interfaz de anfitrión puede ser también una interfaz de comunicaciones o tejido de comunicaciones específico de proveedor. La GPGPU 700 recibe comandos desde el procesador de anfitrión y usa un planificador global 704 para distribuir hilos de ejecución asociados con esos comandos a un conjunto de agrupaciones de cómputo 706A-706H. Las agrupaciones de cómputo 706A-706H comparten una memoria caché 708. La memoria caché 708 puede servir como una caché de nivel superior para memorias caché dentro de las agrupaciones de cómputo 706A-706H.
La GPGPU 700 incluye la memoria 714A-714B acoplada con las agrupaciones de cómputo 706A-H a través de un conjunto de controladores de memoria 712A-712B. En diversos ejemplos, la memoria 714A-714B puede incluir diversos tipos de dispositivos de memoria, incluyendo memoria de acceso aleatorio dinámica (DRAM) o memoria de acceso aleatorio de gráficos, tal como memoria de acceso aleatorio de gráficos síncrona (SGRAM), incluyendo memoria de tasa de datos doble de gráficos (GDDR). En un ejemplo, las unidades de memoria 224A-224N pueden incluir también memoria apilada 3D, incluyendo, pero sin limitación, memoria de ancho de banda alto (HBM).
En un ejemplo, cada agrupación de cómputo 706A-706H incluye un conjunto de multiprocesadores de gráficos, tales como el multiprocesador de gráficos 400 de la Figura 4A. Los multiprocesadores de gráficos de la agrupación de cómputo múltiples tipos de unidades de lógica de números enteros y de coma flotante que pueden realizar operaciones computacionales con un rango de precisiones que incluyen unas adecuadas para cómputos de aprendizaje automático. Por ejemplo, y en un ejemplo, al menos un subconjunto de las unidades de coma flotante en cada una de las agrupaciones de cómputo 706A-H se puede configurar para realizar operaciones de coma flotante de 16 bits o de 32 bits, mientras que un subconjunto diferente de las unidades de coma flotante se puede configurar para realizar operaciones de coma flotante de 64 bits.
Múltiples instancias de la GPGPU 700 se pueden configurar para funcionar como una agrupación de cómputo. El mecanismo de comunicación usado por la agrupación de cómputo para la sincronización y el intercambio de datos varía a lo largo de los ejemplos. En un ejemplo, las múltiples instancias de la GPGPU 700 se comunican a través de la interfaz de anfitrión 702. En un ejemplo, la GPGPU 700 incluye un concentrador de E/S 708 que acopla la GPGPU 700 con un enlace de GPU 710 que habilita una conexión directa a otras instancias de la GPGPU. En un ejemplo, el enlace de GPU 710 está acoplado a un puente de GPU a GPU dedicado que habilita la comunicación y la sincronización entre múltiples instancias de la GPGPU 700. En un ejemplo, el enlace de GPU 710 se acopla con una interconexión de alta velocidad para transmitir y recibir datos a otras GPGPU o procesadores paralelos. En un ejemplo, las múltiples instancias de la GPGPU 700 están ubicadas en sistemas de procesamiento de datos separados y se comunican a través de un dispositivo de red que es accesible a través de la interfaz de anfitrión 702. En un ejemplo, el enlace de GPU 710 se puede configurar para habilitar una conexión a un procesador de anfitrión además de o como una alternativa a la interfaz de anfitrión 702.
Aunque la configuración ilustrada de la GPGPU 700 se puede configurar para entrenar redes neuronales, un ejemplo proporciona una configuración alternativa de la GPGPU 700 que se puede configurar para el despliegue dentro de una plataforma de inferenciación de alto desempeño o de baja potencia. En una configuración de inferenciación, la GPGPU 700 incluye menos de las agrupaciones de cómputo de las agrupaciones de cómputo 706A-H en relación con la configuración de entrenamiento. Adicionalmente, una tecnología de memoria asociada con la memoria 714A-714B puede diferir entre configuraciones de inferenciación y de entrenamiento. En un ejemplo, la configuración de inferenciación de la GPGPU 700 puede soportar instrucciones específicas de inferenciación. Por ejemplo, una configuración de inferenciación puede proporcionar soporte para una o más instrucciones de producto escalar de números enteros de 8 bits, que se usan comúnmente durante operaciones de inferenciación para redes neuronales desplegadas.
La Figura 8 ilustra un sistema informático de múltiples GPU 800, de acuerdo con un ejemplo. El sistema informático de múltiples GPU 800 puede incluir un procesador 802 acoplado a múltiples GPGPU 806A-D a través de un conmutador de interfaz de anfitrión 804. El conmutador de interfaz de anfitrión 804, en un ejemplo, es un dispositivo de conmutador de PCI express que acopla el procesador 802 a un bus de PCI express a través del que el procesador 802 se puede comunicar con el conjunto de GPGPU 806A-D. Cada una de las múltiples GPGPU 806A-806D puede ser una instancia de la GPGPU 700 de la Figura 7. Las GPGPU 806A-D se pueden interconectar a través de un conjunto de enlaces de GPU a GPU de punto a punto de alta velocidad 816. Los enlaces de GPU a GPU de alta velocidad se pueden conectar a cada una de las GPGPU 806A-806D a través de un enlace de GPU dedicado, tal como el enlace de GPU 710 como en la Figura 7. Los enlaces de GPU de P2P 816 habilitan una comunicación directa entre cada una de las GPGPU 806A-D sin requerir una comunicación a través del bus de interfaz de anfitrión al que está conectado el procesador 802. Con el tráfico de GPU a GPU dirigido a los enlaces de GPU de P2P, el bus de interfaz de anfitrión permanece disponible para el acceso de memoria de sistema o para comunicarse con otras instancias del sistema informático de múltiples GPU 800, por ejemplo, a través de uno o más dispositivos de red. Aunque, en el ejemplo ilustrado, las GPGPU 806A-D se conectan al procesador 802 a través del conmutador de interfaz de anfitrión 804, en un ejemplo, el procesador 802 incluye un soporte directo para los enlaces de GPU de P2P 816 y se puede conectar directamente a las GPGPU 806A-806D.
Implementaciones de red neuronal de aprendizaje automático
La arquitectura informática proporcionada por ejemplos descritos en el presente documento se puede configurar para realizar los tipos de procesamiento paralelo que son particularmente adecuados para entrenar y desplegar redes neuronales para un aprendizaje automático. Una red neuronal se puede generalizar como una red de funciones que tienen una relación de grafo. Como es bien conocido en la técnica, en el aprendizaje automático se usa una diversidad de tipos de implementaciones de red neuronal. Un tipo ilustrativo de red neuronal es la red de realimentación prospectiva, como se ha descrito previamente.
Un segundo tipo ilustrativo de red neuronal es la red neuronal convolucional (CNN). Una CNN es una red neuronal de realimentación prospectiva especializada para procesar datos que tienen una topología de tipo cuadrícula conocida, tales como datos de imagen. En consecuencia, las CNN se usan comúnmente para aplicaciones de reconocimiento de imágenes y de visión de cómputo, pero se pueden usar también para otros tipos de reconocimiento de patrones, tales como procesamiento de habla y de idioma. Los nodos en la capa de entrada de CNN están organizados en un conjunto de "filtros" (detectores de características inspirados por los campos receptivos encontrados en la retina), y la salida de cada conjunto de filtros se propaga a nodos en capas sucesivas de la red. Los cómputos para una CNN incluyen aplicar la operación matemática de convolución a cada filtro para producir la salida de ese filtro. La convolución es un tipo especializado de operación matemática realizada por dos funciones para producir una tercera función que es una versión modificada de una de las dos funciones originales. En la terminología de redes convolucionales, la primera función para la convolución se puede denominar entrada, mientras que la segunda función se puede denominar núcleo de convolución. La salida se puede denominar correlación de características. Por ejemplo, la entrada a una capa de convolución puede ser una matriz multidimensional de datos que definen los diversos componentes de color de una imagen de entrada. El núcleo de convolución puede ser una matriz multidimensional de parámetros, en donde los parámetros están adaptados por el proceso de entrenamiento para la red neuronal.
Las redes neuronales recurrentes (RNN) son una familia de redes neuronales de realimentación prospectiva que incluyen conexiones de realimentación entre capas. Las RNN habilitan el modelado de datos secuenciales compartiendo datos de parámetro a lo largo de diferentes partes de la red neuronal. La arquitectura para una RNN incluye ciclos. Los ciclos representan la influencia de un valor presente de una variable sobre su propio valor en un tiempo futuro, debido a que al menos una porción de los datos de salida desde la RNN se usa como realimentación para procesar una entrada subsiguiente en una secuencia. Esta característica hace que las RNN sean particularmente útiles para el procesamiento de idioma debido a la naturaleza variable en la que se pueden componer los datos de idioma.
Las figuras descritas a continuación presentan redes de realimentación prospectiva, CNN y RNN ilustrativas, así como describen un proceso general para entregar y desplegar, respectivamente, cada uno de esos tipos de redes. Se entenderá que estas descripciones son ilustrativas y no limitantes en cuanto a cualquier ejemplo específico descrito en el presente documento y los conceptos ilustrados se pueden aplicar, en general, a redes neuronales profundas y técnicas de aprendizaje automático en general.
Las redes neuronales ilustrativas descritas anteriormente se pueden usar para realizar un aprendizaje profundo. El aprendizaje profundo es un aprendizaje automático que usa redes neuronales profundas. Las redes neuronales profundas usadas en el aprendizaje profundo son redes neuronales artificiales compuestas por múltiples capas ocultas, en contraposición a redes neuronales poco profundas que solo incluyen una única capa oculta. El entrenamiento de redes neuronales más profundas es, en general, más intensivo desde el punto de vista computacional. Sin embargo, las capas ocultas adicionales de la red habilitan un reconocimiento de patrones de múltiples etapas que da como resultado un error de salida reducido en relación con técnicas de aprendizaje automático poco profundo.
Las redes neuronales profundas usadas en el aprendizaje automático incluyen habitualmente una red de extremo frontal para realizar un reconocimiento de características, acoplada a una red de extremo trasero que representa un modelo matemático que puede realizar operaciones (por ejemplo, clasificación de objetos, reconocimiento de habla, etc.) basándose en la representación de características proporcionada al modelo. Un aprendizaje profundo habilita que se realice un aprendizaje automático sin requerir que se realice una ingeniería de características artesanal para el modelo. En su lugar, las redes neuronales profundas pueden aprender características basándose en una correlación o estructura estadística dentro de los datos de entrada. Las características aprendidas se pueden proporcionar a un modelo matemático que puede correlacionar características detectadas con una salida. El modelo matemático usado por la red está especializado, en general, para la tarea específica a realizar, y se usarán diferentes modelos para realizar diferentes tareas.
Una vez que se ha estructurado la red neuronal, se puede aplicar un modelo de aprendizaje a la red para entrenar la red para realizar tareas específicas. El modelo de aprendizaje describe cómo ajustar los pesos dentro del modelo para reducir el error de salida de la red. La retropropagación de errores en un método común usado para entrenar redes neuronales. Se presenta un vector de entrada a la red para su procesamiento. La salida de la red se compara a la salida deseada usando una función de pérdida y se calcula un valor de error para cada una de las neuronas en la capa de salida. Los valores de error se retropropagan entonces hasta que cada neurona tiene un valor de error asociado que representa aproximadamente su contribución a la salida original. La red puede aprender entonces de esos errores usando un algoritmo, tal como el algoritmo de descenso de gradiente estocástico, para actualizar los pesos de la red neuronal.
Las Figuras 9A-9B ilustran una red neurona! convolucional ilustrativa. La Figura 9A ilustra diversas capas dentro de una CNN. Como se muestra en la Figura 9A, una CNN ilustrativa usada para modelar el procesamiento de imagen puede recibir la entrada 902 que describe los componentes de rojo, verde y azul (RGB) de una imagen de entrada. La entrada 902 puede ser procesada por múltiples capas convolucionales (por ejemplo, la capa convolucional 904, la capa convolucional 906). La salida desde las múltiples capas convolucionales puede ser procesada opcionalmente por un conjunto de capas completamente conectadas 908. Las neuronas en una capa completamente conectada tienen conexiones completas a todas las activaciones en la capa previa, como se ha descrito previamente para una red de realimentación prospectiva. La salida desde las capas completamente conectadas 908 se puede usar para generar un resultado de salida a partir de la red. Las activaciones dentro de las capas completamente conectadas 908 se pueden computar usando una multiplicación matricial en lugar de una convolución. No todas las implementaciones de CNN hacen uso de las capas completamente conectadas 908. Por ejemplo, en algunas implementaciones, la capa convolucional 906 puede generar una salida para la CNN
Las capas convolucionales están conectadas de manera dispersa, lo que difiere de la configuración de red neuronal tradicional encontrada en las capas completamente conectadas 908. Las capas de red neuronal tradicionales están completamente conectadas, de manera que cada unidad de salida interacciona con cada unidad de entrada. Sin embargo, las capas convolucionales están conectadas de manera dispersa debido a que se introduce la salida de la convolución de un campo (en lugar del valor de estado respectivo de cada uno de los nodos en el campo) en los nodos de la capa subsiguiente, como se ilustra. Los núcleos asociados con las capas convolucionales realizan operaciones de convolución, la salida de los cuales se envía a la capa siguiente. La reducción de dimensionalidad realizada dentro de las capas convolucionales es un aspecto que habilita que la CNN realice un ajuste a escala para procesar imágenes grandes.
La Figura 9B ilustra fases de cómputo ilustrativas dentro de una capa convolucional de una CNN. La entrada a una capa convolucional 912 de una CNN se puede procesar en tres fases de una capa convolucional 914. Las tres fases pueden incluir una fase de convolución 916, una fase de detección 918 y una fase de agrupación 920. La capa de convolución 914 puede emitir entonces datos a una capa convolucional sucesiva. La capa convolucional final de la red puede generar datos de correlación de características de salida o proporcionar una entrada a una capa completamente conectada, por ejemplo, para generar un valor de clasificación para la entrada a la CNN.
En la fase de convolución 916 se realizan varias convoluciones en paralelo para producir un conjunto de activaciones lineales. La fase de convolución 916 puede incluir una transformación afín, que es cualquier transformación que se pueda especificar como una transformación lineal más una traslación. Las transformaciones afines incluyen rotaciones, traslaciones, ajuste a escala y combinaciones de estas transformaciones. La fase de convolución computa la salida de funciones (por ejemplo, neuronas) que están conectadas a regiones específicas en la entrada, lo que se puede determinar como la región local asociada con la neurona. Las neuronas computan un producto escalar entre los pesos de las neuronas y la región en la entrada local a la que están conectadas las neuronas. La salida desde la fase de convolución 916 define un conjunto de activaciones lineales que son procesadas por fases sucesivas de la capa convolucional 914.
Las activaciones lineales pueden ser procesadas por una fase de detección 918. En la fase de detección 918, cada activación lineal es procesada por una función de activación no lineal. La función de activación no lineal aumenta las propiedades no lineales de la red global sin afectar a los campos receptivos de la capa de convolución. Se pueden usar varios tipos de funciones de activación no lineal. Un tipo particular es la unidad lineal rectificada (ReLU), que usa una función de activación definida como f(x) = máx (0, x), de manera que se fija un umbral de cero para la activación.
La fase de agrupación 920 usa una función de agrupación que sustituye la salida de la capa convolucional 906 con una estadística de resumen de las salidas cercanas. La función de agrupación se puede usar para introducir la invarianza de traslación en la red neuronal, de manera que traslaciones pequeñas a la entrada no cambian las salidas agrupadas. La invarianza a la traslación local puede ser útil en escenarios donde la presencia de una característica en los datos de entrada es más importante que la ubicación precisa de la característica. Se pueden usar diversos tipos de funciones de agrupación durante la fase de agrupación 920, incluyendo agrupación máxima, agrupación promedio y agrupación de norma 12. Adicionalmente, algunas implementaciones de CNN no incluyen una fase de agrupación. En su lugar, tales implementaciones sustituyen una fase de convolución adicional que tiene un paso aumentado en relación con fases de convolución previas.
La salida desde la capa convolucional 914 puede ser procesada entonces por la capa siguiente 922. La capa siguiente 922 puede ser una capa convolucional adicional o una de las capas completamente conectadas 908. Por ejemplo, la primera capa convolucional 904 de la Figura 9A puede emitir a la segunda capa convolucional 906, mientras que la segunda capa convolucional puede emitir a una primera capa de las capas completamente conectadas 908.
La Figura 10 ilustra una red neuronal recurrente 1000 ilustrativa. En una red neuronal recurrente (RNN), el estado previo de la red influye sobre la salida del estado actual de la red. Las RNN se pueden construir de una diversidad de maneras usando una diversidad de funciones. El uso de las RNN pivota, en general, alrededor del uso de modelos matemáticos para predecir el futuro basándose en una secuencia anterior de entradas. Por ejemplo, una RNN se puede usar para realizar un modelado de idioma estadístico para predecir una palabra venidera, dada en una secuencia previa de palabras. La RNN 1000 ilustrada se puede describir como que tiene una capa de entrada 1002 que recibe un vector de entrada, las capas ocultas 1004 para implementar una función recurrente, un mecanismo de realimentación 1005 para habilitar una 'memoria' de estados previos y una capa de salida 1006 para emitir un resultado. La RNN 1000 opera basándose en escalones de tiempo. El estado de la RNN en un escalón de tiempo dado se ve influenciado basándose en el escalón de tiempo previo a través del mecanismo de realimentación 1005. Para un escalón de tiempo dado, el estado de las capas ocultas 1004 se define por el estado previo y la entrada en el escalón de tiempo actual. Una entrada inicial (x1) en un primer escalón de tiempo puede ser procesada por la capa oculta 1004. Una segunda entrada (x2) puede ser procesada por la capa oculta 1004 usando información de estado que se determina durante el procesamiento de la entrada inicial (x1). Un estado dado se puede computar como st = f( Uxt + Wst-1), en donde U y W son matrices de parámetros. La función f es, en general, una no linealidad, tal como la función tangente hiperbólica (Tanh) o una variante de la función rectificadora f(x) = máx(0, x). Sin embargo, la función matemática específica usada en las capas ocultas 1004 puede variar dependiendo de los detalles de implementación específicos de la RNN 1000.
Además de las redes CNN y RNN básicas descritas, se pueden habilitar variaciones a esas redes. Una variante de RNN ilustrativa es la RNN de memoria a corto plazo larga (LSTM). Las RNN de LSTM son capaces de aprender dependencias a largo plazo que pueden ser necesarias para procesar secuencias de idioma más largas. Una variante de la CNN es una red de creencia profunda convolucional, que tiene una estructura similar a una CNN y se entrena de una manera similar a una red de creencia profunda. Una red de creencia profunda (DBN) es una red neuronal generativa que está compuesta por múltiples capas de variables estocásticas (aleatorias). Las DBN se pueden entrenar capa a capa usando aprendizaje no supervisado voraz. Los pesos aprendidos de la DBN pueden usase entonces para proporcionar redes neuronales de preentrenamiento determinando un conjunto inicial óptimo de pesos para la red neuronal.
La Figura 11 ilustra el entrenamiento y despliegue de una red neuronal profunda. Una vez que se ha estructurado una red dada para una tarea, la red neuronal se entrena usando un conjunto de datos de entrenamiento 1102. Se han desarrollado diversas estructuras de entrenamiento 1104 para habilitar la aceleración de hardware del proceso de entrenamiento. Por ejemplo, la estructura de aprendizaje automático 604 de la Figura 6 se puede configurar como una estructura de entrenamiento 604. La estructura de entrenamiento 604 se puede enganchar a una red neuronal no entrenada 1106 y habilitar que la red neuronal no entrenada se entrene usando los recursos de procesamiento paralelo descritos en el presente documento para generar una red neuronal entrenada 1108.
Para iniciar el proceso de entrenamiento, los pesos iniciales se pueden elegir aleatoriamente o mediante preentrenamiento usando una red de creencia profunda. El ciclo de entrenamiento se puede realizar entonces de una manera o bien supervisada o bien no supervisada.
El aprendizaje supervisado es un método de aprendizaje en el que un entrenamiento se realiza como una operación mediada, tal como cuando el conjunto de datos de entrenamiento 1102 incluye una entrada emparejada con la salida deseada para la entrada, o donde el conjunto de datos de entrenamiento incluye una entrada que tiene una salida conocida, y la salida de la red neuronal se califica manualmente. La red procesa las entradas y compara las salidas resultantes contra un conjunto de salidas esperadas o deseadas. Los errores se retropropagan entonces a través del sistema. La estructura de entrenamiento 1104 se puede ajustar para ajustar los pesos que controlan la red neuronal no entrenada 1106. La estructura de entrenamiento 1104 puede proporcionar herramientas para supervisar cómo está convergiendo de bien la red neuronal no entrenada 1106 hacia un modelo adecuado para generar respuestas correctas basándose en datos de entrada conocidos. El proceso de entrenamiento tiene lugar repetidamente a medida que se ajustan los pesos de la red para perfeccionar la salida generada por la red neuronal. El proceso de entrenamiento puede continuar hasta que la red neuronal alcanza una precisión estadísticamente deseada asociada con una red neuronal entrenada 1108. La red neuronal entrenada 1108 se puede desplegar entonces para implementar cualquier número de operaciones de aprendizaje automático.
El aprendizaje no supervisado es un método automático en el que la red intenta entrenarse a sí misma usando datos no etiquetados. Por lo tanto, para un aprendizaje no supervisado, el conjunto de datos de entrenamiento 1102 incluirá datos de entrada sin dato de salida asociado alguno. La red neuronal no entrenada 1106 puede aprender agrupamientos dentro de la entrada no etiquetada y puede determinar cómo las entradas individuales están relacionadas con el conjunto de datos global. El entrenamiento no supervisado se puede usar para generar una correlación de autoorganización, que es un tipo de red neuronal entrenada 1107 que puede realizar operaciones útiles en cuanto a la reducción de la dimensionalidad de los datos. El entrenamiento no supervisado se puede usar también para realizar una detección de anomalías, lo que permite la identificación de puntos de datos en un conjunto de datos de entrada que se desvían de los patrones normales de los datos.
También se pueden emplear variaciones al entrenamiento supervisado y no supervisado. El aprendizaje semisupervisado es una técnica en la que el conjunto de datos de entrenamiento 1102 incluye una mezcla de datos etiquetados y no etiquetados de la misma distribución. El aprendizaje incremental es una variante del aprendizaje supervisado en el que se usan continuamente datos de entrada para entrenar adicionalmente el modelo. El aprendizaje incremental habilita que la red neuronal entrenada 1108 se adapte a los datos nuevos 1112 sin olvidar el conocimiento inculcado dentro de la red durante el entrenamiento inicial.
Ya sea supervisado o no supervisado, el proceso de entrenamiento para redes neuronales particularmente profundas puede ser demasiado intensivo desde el punto de vista computacional para un único nodo de cómputo. En lugar de usar un único nodo de cómputo, se puede usar una red distribuida de nodos computacionales para acelerar el proceso de entrenamiento.
La Figura 12 es un diagrama de bloques que ilustra un aprendizaje distribuido. El aprendizaje distribuido es un modelo de entrenamiento que usa múltiples nodos informáticos distribuidos para realizar un entrenamiento supervisado o no supervisado de una red neuronal. Cada uno de los nodos computacionales distribuidos puede incluir uno o más procesadores de anfitrión y uno o más de los nodos de procesamiento de propósito general, tales como la unidad de procesamiento de gráficos de propósito general altamente paralela 700, como en la Figura 700. Como se ilustra, un aprendizaje distribuido se puede realizar con el paralelismo de modelo 1202, el paralelismo de datos 1204 o una combinación del paralelismo de modelo y de datos 1204.
En el paralelismo de modelo 1202, diferentes nodos computacionales en un sistema distribuido pueden realizar cómputos de entrenamiento para diferentes partes de una única red. Por ejemplo, cada capa de una red neuronal puede ser entrenada por un nodo de procesamiento diferente del sistema distribuido. Los beneficios del paralelismo de modelo incluyen la capacidad de ajustar a escala a modelos particularmente grandes. La división de los cómputos asociados con diferentes capas de la red neuronal habilita el entrenamiento de redes neuronales muy grandes en las que los pesos de todas las capas no encajarían en la memoria de un único nodo computacional. En algunas instancias, el paralelismo de modelo puede ser particularmente útil en la ejecución de un entrenamiento no supervisado de redes neuronales grandes. En otro ejemplo de paralelismo de modelo, el cómputo en una o más capas de un modelo de red neuronal se puede dividir a lo largo de múltiples nodos de cómputo a lo largo de la dimensión de correlación de características para reducir el tamaño de los parámetros de modelo por nodo.
En el paralelismo de datos 1204, los diferentes nodos de la red distribuida tienen una instancia completa del modelo y cada nodo recibe una porción diferente de los datos. Los resultados desde los diferentes nodos se combinan entonces. Aunque son posibles diferentes enfoques al paralelismo de datos, los enfoques de entrenamiento de datos paralelos requieren, todos ellos, una técnica de combinación de resultados y de sincronización de los parámetros de modelo entre cada nodo. Los enfoques ilustrativos a la combinación de datos incluyen promediado de parámetros y paralelismo de datos basado en actualizaciones. El promediado de parámetros entrena cada nodo en un subconjunto de los datos de entrenamiento y establece los parámetros globales (por ejemplo, pesos, desviaciones) al promedio de los parámetros desde cada nodo. El promediado de parámetros usa un servidor de parámetros central que mantiene los datos de parámetro. El paralelismo de datos basado en actualizaciones es similar al promediado de parámetros excepto en que, en lugar de transferir parámetros desde los nodos al servidor de parámetros, se transfieren las actualizaciones al modelo. Adicionalmente, el paralelismo de datos basado en actualizaciones se puede realizar de una manera descentralizada, en donde las actualizaciones se comprimen y se transfieren entre nodos.
El paralelismo de modelo y de datos 1206 combinado se puede implementar, por ejemplo, en un sistema distribuido en el que cada nodo computacional incluye múltiples GPU. Cada nodo puede tener una instancia completa del modelo con GPU separadas dentro de cada nodo que se usan para entrenar diferentes porciones del modelo.
El entrenamiento distribuido ha aumentado la tara en relación con el entrenamiento en una única máquina. Sin embargo, cada uno de los procesadores paralelos y las GPGPU descritas en el presente documento pueden implementar diversas técnicas para reducir la tara del entrenamiento distribuido, incluyendo técnicas para habilitar una transferencia de datos de GPU a GPU de alto ancho de banda y una sincronización de datos remota acelerada.
Aplicaciones de aprendizaje automático ilustrativas
El aprendizaje automático se puede aplicar a resolver una diversidad de problemas tecnológicos, incluyendo, pero sin limitación, visión por ordenador, conducción y navegación autónoma, reconocimiento de habla y procesamiento de idioma. La visión por ordenador ha sido tradicionalmente una de las áreas de investigación más activas para aplicaciones de aprendizaje automático. Las aplicaciones de visión por ordenador varían de reproducir capacidades visuales humanas, tales como reconocer caras, a crear nuevas categorías de capacidades visuales. Por ejemplo, las aplicaciones de visión por ordenador se pueden configurar para reconocer ondas de sonido de las vibraciones inducidas en los objetos visibles en un vídeo. El aprendizaje automático acelerado por procesador paralelo posibilita que se entrenen aplicaciones de visión por ordenador usando un conjunto de datos de entrenamiento significativamente más grande que el previamente factible y habilita que se desarrollen sistemas de inferenciación usando procesadores paralelos de baja potencia.
El aprendizaje automático acelerado por procesador paralelo tiene aplicaciones de conducción autónoma que incluyen reconocimiento de señales de carretera y de carril, evitación de obstáculos, navegación y control de conducción. Las técnicas de aprendizaje automático aceleradas se pueden usar para entrenar modelos de conducción basándose en conjuntos de datos que definen las respuestas apropiadas a una entrada de entrenamiento específica. Los procesadores paralelos descritos en el presente documento pueden habilitar el entrenamiento rápido de las redes neuronales cada vez más complejas usadas para soluciones de conducción autónoma y posibilita el despliegue de procesadores de inferenciación de baja potencia en una plataforma móvil adecuada para su integración en vehículos autónomos.
Las redes neuronales profundas aceleradas por procesador paralelo han habilitado enfoques de aprendizaje automático para un reconocimiento de habla automático (ASR). El ASR incluye la creación de una función que, dada una secuencia acústica de entrada, computa la secuencia lingüística más probable. El aprendizaje automático acelerado usando redes neuronales profundas ha habilitado la sustitución de los modelos ocultos de Markov (HMM) y los modelos de mezcla gaussiana (GMM) previamente usados para el ASR.
El aprendizaje automático acelerado por procesador paralelo se puede usar también para acelerar el procesamiento de lenguaje natural. Los procedimientos de aprendizaje automático pueden hacer uso de algoritmos de inferencia estadística para producir modelos que son robustos ante una entrada errónea o extraña. Las aplicaciones de procesador de lenguaje natural ilustrativas incluyen la traducción mecánica automática entre idiomas humanos.
Las plataformas de procesamiento paralelo usadas para el aprendizaje automático se pueden dividir en plataformas de entrenamiento y plataformas de despliegue. Las plataformas de entrenamiento son, en general, altamente paralelas e incluyen optimizaciones para acelerar el entrenamiento de múltiples GPU y un único nodo y el entrenamiento de múltiples nodos y múltiples GPU. Los procesadores paralelos ilustrativos adecuados para el entrenamiento incluyen la unidad de procesamiento de gráficos de propósito general altamente paralela 700 de la Figura 700 y el sistema informático de múltiples GPU 800 de la Figura 800. Por el contrario, las plataformas de aprendizaje automático desplegadas incluyen, en general, procesadores paralelos de potencia inferior adecuados para su uso en productos tales como cámaras, robots autónomos y vehículos autónomos.
La Figura 13 ilustra un sistema en un chip (SOC) de inferenciación 1300 ilustrativo adecuado para realizar una inferenciación usando un modelo entrenado. El SOC 1300 puede integrar componentes de procesamiento que incluyen un procesador de medios 1302, un procesador de visión 1304, una GPGPU 1306 y un procesador de múltiples núcleos 1308. El SOC 1300 puede incluir adicionalmente una memoria en chip 1305 que puede habilitar una agrupación de datos en chip compartida que es accesible por cada uno de los componentes de procesamiento. Los componentes de procesamiento se pueden optimizar para un funcionamiento de baja potencia para habilitar el despliegue en una diversidad de plataformas de aprendizaje automático, incluyendo vehículos autónomos y robots autónomos. Por ejemplo, una implementación del SOC 1300 se puede usar como una porción del sistema de control principal para un vehículo autónomo. Donde el SOC 1300 está configurado para su uso en vehículos autónomos, el SOC está diseñado y configurado para cumplir con las normas de seguridad funcional relevantes de la jurisdicción de despliegue.
Durante el funcionamiento, el procesador de medios 1302 y el procesador de visión 1304 pueden trabajar conjuntamente para acelerar operaciones de visión por ordenador. El procesador de medios 1302 puede habilitar la descodificación de latencia baja de múltiples flujos de vídeo de alta resolución (por ejemplo, 4K, 8K). Los flujos de vídeo descodificados se pueden escribir en una memoria intermedia en la memoria en chip 1305. El procesador de visión 1304 puede analizar entonces el vídeo descodificado y realizar operaciones de procesamiento preliminares sobre las tramas del vídeo descodificado como preparación al procesamiento de las tramas usando un modelo de reconocimiento de imágenes entrenado. Por ejemplo, el procesador de visión 1304 puede acelerar operaciones de convolución para una CNN que se usa para realizar un reconocimiento de imágenes sobre los datos de vídeo de alta resolución, mientras que los cómputos de modelo de extremo trasero son realizados por la GPGPU 1306.
El procesador de múltiples núcleos 1308 puede incluir lógica de control para asistir con la secuenciación y la sincronización de transferencias de datos y operaciones de memoria compartida realizadas por el procesador de medios 1302 y el procesador de visión 1304. El procesador de múltiples núcleos 1308 también puede funcionar como un procesador de aplicaciones para ejecutar aplicaciones de software que pueden hacer uso de la capacidad de cómputo de inferenciación de la GPGPU 1306. Por ejemplo, al menos una porción de la lógica de navegación y de conducción se puede implementar en software que se ejecuta en el procesador de múltiples núcleos 1308. Tal software puede emitir directamente cargas de trabajo computacionales a la GPGPU 1306 o las cargas de trabajo computacionales se pueden emitir al procesador de múltiples núcleos 1308, que puede descargar al menos una porción de esas operaciones a la GPGPU 1306.
La GPGPU 1306 puede incluir agrupaciones de cómputo, tales como una configuración de baja potencia de las agrupaciones de cómputo 706A-706H dentro de la unidad de procesamiento de gráficos de propósito general altamente paralela 700. Las agrupaciones de cómputo dentro de la GPGPU 1306 pueden soportar instrucciones que se optimizan específicamente para realizar cómputos de inferenciación sobre una red neuronal entrenada. Por ejemplo, la GPGPU 1306 puede soportar instrucciones para realizar cómputos de precisión baja, tales como operaciones vectoriales de números enteros de 8 bits y de 4 bits.
Capas de abstracción para un aprendizaje automático distribuido ajustable a escala
Actualmente, se requiere que los científicos de datos que desarrollan aplicaciones que hacen uso del aprendizaje profundo distribuido implementen explícitamente el sistema de comunicación entre los nodos de cómputo. La implementación del sistema de comunicaciones subyacente para un aprendizaje profundo distribuido requiere un cierto conocimiento de técnicas de comunicación de nodos de cómputo distribuidos o interconectados en red, incluyendo las bibliotecas requeridas para implementar tales técnicas. Por ejemplo, para implementar modelos de aprendizaje profundo distribuidos, tales como paralelismo de datos, paralelismo de modelo o paralelismo híbrido (paralelismo mixto de datos y de modelo), puede que se requiera que el desarrollador de aplicaciones construya explícitamente la infraestructura de comunicación usando bibliotecas de comunicación de bajo nivel, tales como la biblioteca de interfaz de paso de mensajes (MPI). Se requerirá entonces que el desarrollador de aplicaciones determine las unidades específicas de datos que transferir y los nodos específicos que estarán transmitiendo y recibiendo tal información. Debido a que los desarrolladores de aplicaciones de aprendizaje profundo pueden no ser expertos en el dominio específico de la construcción de infraestructura de cómputo distribuida, muchas mejores prácticas y optimizaciones pueden no incluirse en la implementación de comunicación desarrollada para una aplicación de aprendizaje profundo determinada.
Un aprendizaje automático distribuido se puede implementar usando una diversidad de patrones de paralelismo, tales como paralelismo de datos, paralelismo de modelo o un híbrido de paralelismo de datos y de modelo, como se ilustra en la Figura 12. Como se describe con respecto a la Figura 12, el paralelismo de datos usa el mismo modelo para cada nodo de cómputo, y procesando cada nodo diferentes porciones de los datos. El paralelismo de modelo usa los mismos datos para cada nodo de cómputo, con el modelo dividido entre nodos de cómputo.
Para habilitar la comunicación, se usan múltiples tipos de patrones de comunicación de bajo nivel para transferir datos entre nodos. Los patrones de comunicación de bajo nivel usados se ilustran en la Tabla 5 a continuación.
Tabla 5 - Operación de comunicación de bajo nivel
Figure imgf000026_0001
Las Figuras 14A-14E ilustran patrones de comunicación usados durante operaciones de cómputo de aprendizaje automático distribuidas realizadas a lo largo de múltiples nodos de cómputo, de acuerdo con ejemplos descritos en el presente documento. La Figura 14A ilustra una transferencia de datos para un cómputo de aprendizaje automático usando un paralelismo de datos. La Figura 14B ilustra una transferencia de datos para un cómputo de aprendizaje automático distribuido usando un paralelismo de modelo. La Figura 14C ilustra la subdivisión del cómputo de aprendizaje automático a lo largo de múltiples nodos usando un paralelismo híbrido. La Figura 14D ilustra un cómputo de aprendizaje automático distribuido usando un paralelismo híbrido a lo largo de múltiples nodos y a lo largo de múltiples capas. La Figura 14E ilustra un conjunto de operaciones de patrones de mensajería ilustrativas que se pueden usar para el aprendizaje automático distribuido. En cada una de las Figuras 14A-14E, los datos de entrada 1402 son procesados por un modelo de aprendizaje automático que tiene un conjunto de pesos 1404 para generar un conjunto de activaciones 1408 o activaciones parciales 1406.
Como se muestra en la Figura 14A, se puede implementar un paralelismo de datos en el que los datos de entrada 1402 se dividen a lo largo de una dimensión de minilote y el mismo modelo se replica a lo largo de los nodos. El minilote se divide a lo largo de varios nodos de cómputo, siendo responsable cada nodo de computar gradientes con respecto a todos los parámetros de modelo usando un subconjunto de las muestras en el minilote. La propagación hacia delante se realiza independientemente en cada nodo. En un ejemplo, solo se realiza una comunicación durante la pasada hacia atrás para calcular un promedio para los gradientes con respecto a parámetros que se pueden aprender. Se usa una operación ''allreduce'' 1405 para actualizar los pesos de cada capa para la siguiente pasada hacia delante. En un ejemplo, se puede habilitar una actualización de peso distribuida en la que se usa un "reduce_scatter" para calcular un promedio para los gradientes antes de que se realice un descenso de gradiente estocástico y se usa una operación "allgather" después del descenso de gradiente estocástico para sincronizar pesos a lo largo de los nodos.
Como se muestra en la Figura 14B, se puede implementar un paralelismo de modelo en el que el modelo o conjunto de pesos se divide a lo largo de múltiples nodos. En general, el paralelismo de modelo realiza diferentes porciones del cómputo de un modelo que se realizan simultáneamente en diferentes nodos para el mismo lote de ejemplos. Para el paralelismo de modelo, los datos de entrada también se dividen (por ejemplo, a lo largo de la dimensión del canal), como se muestra en la Figura 14B. Usando el enfoque ilustrado, se realiza una operación "reduce" para sumar las activaciones para obtener la salida real y dispersar entonces las activaciones para su uso en el cómputo de activaciones para la siguiente capa. Se puede realizar una operación "reduce_scatter" 1407 para transferir los datos en una única operación de comunicación. En la pasada hacia atrás, se realiza una operación "allgather" para combinar tiras de gradientes computados en cada nodo.
Como se muestra en la Figura 14C, se puede realizar un paralelismo híbrido en el que se realiza una subdivisión a lo largo de activaciones y pesos para minimizar las matrices antisimétricas. Para una capa de una red neuronal, los datos de entrada 1402, los datos de peso 1404 y/o los datos de activación 1406 se subdividen y se distribuyen a lo largo de múltiples nodos de cómputo (por ejemplo, Nodo 0-Nodo 3). El Nodo 0 recibe un primer bloque de datos de entrada 1402A y datos de peso 1404A. Se realizan operaciones de cómputo en el Nodo 0 para generar una primera activación parcial 1406A. De forma similar, el Nodo 1 recibe un segundo bloque de datos de entrada 1402B y datos de peso 1404B. Se realizan operaciones de cómputo en el Nodo 1 para generar una segunda activación parcial 1406B. El Nodo 2 puede realizar operaciones de cómputo sobre los terceros datos de entrada 1402C y datos de peso 1404C para generar una tercera activación parcial 1406C. El Nodo 3 puede realizar operaciones de cómputo sobre los cuartos datos de entrada 1402D y datos de peso 1404D para generar una cuarta activación parcial 1406D.
La Figura 14D ilustra la transferencia de los datos de activación parcial 1406A-1406B para una capa dada de una red neuronal (Capa N-1) a una capa sucesiva de la red neuronal (Capa N). A través de múltiples nodos (Nodo 0, Nodo 1), se genera un conjunto de activaciones parciales 1406A-1406B basándose en la aplicación de una operación matemática (por ejemplo, convolución) a los datos de entrada 1402A-1402B y los datos de peso 1404A-1404B. Por ejemplo, en un ejemplo, se usa una operación "reduce_scatter" 1410 que realiza una operación "reduce" en las activaciones parciales 1406A-1406B de la capa N-1 a partir de los múltiples nodos y dispersa el resultado a los múltiples nodos como activaciones para su uso en la Capa N de la red neuronal.
La Figura 14E ilustra las operaciones de comunicación ilustrativas usadas para transferir datos para el entrenamiento distribuido de una red neuronal para operaciones de aprendizaje automático. Las bibliotecas de mensajería de bajo nivel se usan para habilitar transferencias para datos de peso y de activación durante el entrenamiento distribuido de una red neuronal. Una red neuronal ilustrativa que tiene N capas 1421A, 1421B, 1421N (por ejemplo, Capa 1, Capa 2, hasta Capa N) se puede entrenar de una manera distribuida realizando operaciones de cómputo hacia delante sucesivas en las capas sucesivas para habilitar la propagación hacia delante 1426 de datos de activación a través de la red neuronal. Durante la propagación hacia delante 1426, se usa una operación de comunicación "Alltoall" 1409 para transferir datos de activación desde una primera capa 1421A a una capa sucesiva 1421B, por ejemplo, en donde la primera capa y la capa sucesiva son capas ocultas o capas no de salida. La operación "Alltoall" 1409 transfiere distintos datos desde los nodos de cómputo que generan los datos de activación o de activación parcial a todos los receptores disponibles, que usan los datos de activación como datos de entrada para operaciones en capas sucesivas. Cuando se transfieren capas finales de datos (por ejemplo, la capa N), se realiza la operación "reduce_scatter" 1410, que se describe con respecto a la Figura 14B. Durante la retropropagación 1428, se realiza un descenso de gradiente estocástico distribuido para generar datos de peso actualizados. Se realiza una operación "Allreduce" inicial 1412 para la Capa N y se realiza un conjunto de operaciones "Allreduce" 1411A, 1411B, 1411N para actualizar los pesos de cada capa para la siguiente pasada hacia delante. Las operaciones "Allreduce" son operaciones de reducción para las que los resultados se radiodifunden o se transfieren a las memorias intermedias de recepción de todos los procesos en el grupo de comunicación. La propagación hacia atrás 1428 también puede incluir operaciones de comunicación "Allgather" 1413 y "Alltoall" 1414. Para la operación "Allgather" 1413, se recopilan datos desde todas las tareas y los datos combinados se distribuyen a todas las tareas. Para la operación "Alltoall" 1414, se transfieren datos desde todos los procesos a todos los procesos.
Las transferencias de datos requeridas para realizar operaciones de cómputo distribuido para el aprendizaje automático se pueden implementar usando cualquier biblioteca de mensajería de bajo nivel, tal como MPI, gRPC o zeroMQ. Sin embargo, la implementación de las operaciones de comunicación ilustrativas puede ser difícil sin la experiencia a nivel de dominio de las bibliotecas de comunicaciones de multiprocesador. Además, ajustar a escala estas operaciones a un gran número de nodos puede ser difícil. Sin un conocimiento específico del dominio de las técnicas de computación distribuida, la implementación de un sistema de comunicación ajustable a escala para el aprendizaje automático que pueda manejar la comunicación entre cientos o miles de nodos puede ampliar significativamente el tiempo de desarrollo para las aplicaciones de aprendizaje automático.
Las realizaciones descritas en el presente documento proporcionan diversas técnicas para abstraer el detalle del sistema de comunicación distribuido para una aplicación de aprendizaje profundo. En una realización, se proporciona una biblioteca de ajuste a escala de aprendizaje automático (MLSL) que habilita que los desarrolladores de aplicaciones de aprendizaje profundo desarrollen aplicaciones de aprendizaje profundo distribuidas sin requerir conocimiento de los detalles de comunicación específicos requeridos para habilitar un aprendizaje profundo de múltiples nodos. Un desarrollador de aplicaciones para una aplicación de aprendizaje profundo puede especificar, usando terminología específica del dominio de aprendizaje profundo, el tipo de sistema de cómputo distribuido que es usado por una aplicación y las técnicas de biblioteca proporcionadas por realizaciones descritas en el presente documento pueden implementar los métodos de comunicación subyacentes específicos requeridos para habilitar el sistema de cómputo distribuido solicitado.
Las Figuras 15A-15C ilustran detalles arquitectónicos de la biblioteca de ajuste a escala de aprendizaje automático proporcionada por realizaciones descritas en el presente documento. La Figura 15A ilustra una pila de arquitectura de aprendizaje automático 1500 ilustrativa. La Figura 15B ilustra detalles de la arquitectura de MLSL 1511. La Figura 15C ilustra puntos de extremo de comunicaciones ilustrativos habilitados por realizaciones.
La Figura 15A ilustra una pila de arquitectura de aprendizaje automático 1500 ilustrativa, que puede ser una variante de la pila de software de aprendizaje automático 600 de la Figura 6. La pila de arquitectura de aprendizaje automático 1500 incluye múltiples capas de software y de hardware que varían desde los datos de entrada 1502 proporcionados por una matriz de sensores hasta elementos del hardware 1514 que realizan diversas operaciones de cómputo, de almacenamiento o de comunicación. Cada capa de la pila de arquitectura de aprendizaje automático 1500 ilustrativa puede ser una capa de abstracción opaca que oculta detalles de implementación con respecto a capas superiores, mientras se usa una funcionalidad proporcionada por capas inferiores para implementar las funciones requeridas por las capas superiores.
Los datos de entrada 1502 se proporcionan a una capa de aplicaciones 1504. En un ejemplo, los datos de entrada 1502 son entradas multimodales que incluyen, pero sin limitación, datos de vídeo y/o de imagen, datos a partir de múltiples sensores y datos de señales externas. Las aplicaciones 1504 incluyen aplicaciones de fusión multimodal y de toma de decisiones que pueden procesar la entrada para habilitar tareas de aprendizaje automático tales como comprensión de imágenes, resumen de vídeo, procesamiento de habla y de lenguaje natural, planificación de rutas, navegación o cualquier otra implementación de aprendizaje automático descrita en el presente documento. Las aplicaciones 1504 se comunican con una o más estructuras de aprendizaje automático 1506, tales como, pero sin limitación, Caffe, Theano, Torch, TensorFlow o cualquier otra estructura de aprendizaje automático basada en secuencias de comandos, para implementar operaciones específicas de aprendizaje automático. Las estructuras de aprendizaje automático 1506 pueden habilitar que se realicen operaciones de aprendizaje automático usando una de cualquier número de topologías de red neuronal 1508, que incluyen, pero sin limitación, CNN, RNN, LSTM, redes neuronales profundas genéricas y redes de aprendizaje de refuerzo. Las estructuras de aprendizaje automático 1506 implementan las topologías de red neuronal 1508 a través de uno o más bloques componentes 1510. Los bloques componentes 1510 ilustrativos incluyen el bloque de multiplicación matricial general flotante de precisión única (SGEMM), bloques componentes de convolución, bloques de transformada rápida de Fourier/Winograd, bloques de cómputo de ruta más corta de fuente única (SSSP), bloques de multiplicación de matriz-matriz dispersa (SpGEMM), y la biblioteca de ajuste a escala de aprendizaje automático (MLSL) 1511 proporcionada por realizaciones descritas en el presente documento. Cada uno de los bloques componentes 1510 puede implementar múltiples algoritmos 1512 para habilitar las operaciones de cómputo solicitadas por las estructuras 1506 para implementar las topologías de red neuronal 1508. Los algoritmos 1512 incluyen optimizaciones para potenciar la eficiencia estadística y arquitectónica, habilitar el despliegue en la nube y habilitar el ajuste a escala a un gran número de nodos. En una realización, la MLSL 1511 incluye unos algoritmos 1512 para habilitar un ajuste a escala de operaciones de aprendizaje automático a un gran número de nodos. En un ejemplo, los bloques componentes 1510 se pueden implementar a través de bibliotecas de software que pueden ser aceleradas por uno o más elementos del hardware 1514. En un ejemplo, al menos una porción de los bloques componentes 1510 se puede implementar dentro del hardware 1514. Por ejemplo, los aceleradores basados en FPGA o ASIC pueden incluir una lógica personalizada para habilitar porciones de la MLSL 1511 o una o más bibliotecas de GEMM.
Se pueden usar diversos componentes del hardware 1514 para implementar la funcionalidad de capas superiores de la pila de arquitectura de aprendizaje automático 1500. Los componentes del hardware 1514 incluyen, pero no se limitan a, una CPU u otro procesador de propósito general encargado de realizar cómputos computacionales y/o relacionados con el sistema operativo. El hardware 1514 también incluye un sistema de procesamiento paralelo de muchos núcleos integrados (MIC) o basado en GPU de propósito general. En algunos ejemplos, el hardware 1514 incluye aceleradores de aprendizaje profundo basados en FPGA o ASIC. Se usa un componente de interconexión de tejido del hardware 1514 para habilitar una comunicación de alta velocidad entre los diversos componentes y memoria volátil o no volátil de ancho de banda alto. Las tecnologías de memoria volátil pueden incluir cualquiera de las tecnologías de memoria de gráficos descritas en el presente documento, incluyendo memorias HBM y de GDDR. Las tecnologías de memoria no volátil pueden incluir memoria flash, incluyendo flash NAND 3D, u otras tecnologías de memoria tales como la memoria Xpoint 3D.
La Figura 15B ilustra detalles de la arquitectura de MLSL 1511, de acuerdo con realizaciones. La arquitectura de MLSL 1511 incluye una capa de abstracción que tiene las abstracciones específicas de aprendizaje automático 1513, así como las abstracciones específicas no de aprendizaje automático 1515. Las abstracciones interaccionan con un módulo de comunicación 1517 que acciona una biblioteca de mensajería 1519 subyacente. La biblioteca de mensajería 1519 usa rutinas de comunicación de bajo nivel optimizadas para transmitir datos a través de un tejido de comunicaciones de alto desempeño 1521.
La arquitectura de MLSL 1511 habilita que los desarrolladores de software de aprendizaje automático desarrollen aplicaciones de aprendizaje automático ajustables a escala usando las abstracciones específicas de aprendizaje automático 1513. Las abstracciones específicas de aprendizaje automático 1513 habilitan que un desarrollador de aplicaciones use conocimiento específico del dominio de aprendizaje automático para impulsar un desempeño ajustable a escala para operaciones de cómputo para capas de red neuronal. Las abstracciones de aprendizaje automático 1513 habilitan que las aplicaciones se desarrollen de una manera que es transparente para la arquitectura subyacente, habilitando que las aplicaciones de aprendizaje automático se adapten automáticamente a cualquier número de elementos del hardware 1514, incluyendo múltiples tipos de elementos de cómputo y de tejido. Además de las abstracciones específicas de aprendizaje automático 1513, también puede ser proporcionado por la arquitectura de MLSL 1511 un conjunto de abstracciones específicas no de aprendizaje automático 1515. Las abstracciones específicas no de aprendizaje automático 1515 habilitan que un desarrollador de una aplicación de aprendizaje automático defina, a un nivel más alto de abstracción, uno o más detalles no de aprendizaje automático de la aplicación, tales como uno o más detalles específicos de implementación o detalles de sistema operativo que no están relacionados con el aprendizaje automático.
En una realización, las abstracciones específicas de aprendizaje automático 1513 habilitan un soporte apropiado de capa de red neuronal para múltiples tipos de paralelismo (por ejemplo, de datos, automático, híbrido). Las abstracciones específicas de aprendizaje automático 1513 también habilitan abstracciones de comunicación de capa a capa para permitir que los desarrolladores implementen fácilmente patrones de comunicación para diferentes paralelismos y tipos de capa. Los diferentes paralelismos y tipos de capa se definen usando una terminología específica de aprendizaje automático usando las abstracciones específicas de aprendizaje automático 1513 y la comunicación para esos tipos de capa se habilita a través del módulo de comunicación 1517, la biblioteca de mensajería 1519 y el tejido de comunicaciones de alto desempeño 1521. Las abstracciones específicas de aprendizaje automático 1513 también habilitan una planificación de mensajes inteligente a lo largo de las capas de red neuronal definidas, mientras se abstraen las distribuciones y transformaciones de datos requeridas para implementar técnicas de aprendizaje automático al nivel de aplicación.
En una realización, el módulo de comunicación 1517 incluye lógica para accionar la biblioteca de mensajería 1519 subyacente. El módulo de comunicación 1517 incluye diversas optimizaciones para habilitar que la red se accione de manera eficiente mientras se transmiten datos de aprendizaje automático entre los diversos nodos de cómputo usados para realizar un aprendizaje automático distribuido. El módulo de comunicación 1517 incluye lógica para optimizar el ancho de banda de red y para habilitar las comunicaciones de baja latencia. En una realización, el módulo de comunicación 1517 incluye lógica para asignar de forma adaptativa núcleos de procesador para su uso en accionar y realizar operaciones para el módulo de comunicación 1517 y/o la biblioteca de mensajería 1519. En una realización, el módulo de comunicación 1517 puede asignar de forma adaptativa recursos de procesamiento para la comunicación sin una dirección explícita desde las abstracciones específicas de aprendizaje automático 1513 o las abstracciones específicas no de aprendizaje automático 1515. En una realización, el módulo de comunicación 1517 puede ajustar o asignar de forma adaptativa recursos de procesamiento para intentar saturar completamente los recursos de red disponibles para intentar minimizar el impacto de la latencia de la comunicación dentro del sistema distribuido. Por ejemplo, en el caso de que el módulo de comunicación 1517 determinara que el tejido de comunicación de alto desempeño 1521 no está completamente saturado con datos, se podrían asignar procesadores o núcleos de procesador adicionales para realizar tareas de red si se aumentara el caudal global del sistema de cómputo distribuido. En una realización, la cantidad de recursos informáticos asignados para accionar la biblioteca de mensajería 1519 puede variar basándose en el ancho de banda del tejido de comunicaciones de alto desempeño. Para un tejido de un ancho de banda más alto, puede que se requieran unos recursos computacionales mayores para saturar la red. El tejido de comunicaciones de alto desempeño 1521 se puede implementar a través de cualquier número de tecnologías de conexión de red de alta velocidad, incluyendo, pero sin limitación, Ethernet, InfiniBand, interconexión Omni-Path o a través de una malla de interconexiones de punto a punto, tal como NvLink.
En una realización, el módulo de comunicación 1517 incluye lógica para garantizar el progreso hacia delante de las operaciones de cómputo distribuido habilitando una comunicación asíncrona entre nodos de procesamiento. La comunicación asíncrona habilitada por el módulo de comunicación 1517 permite la superposición de operaciones de cómputo y de comunicación que se intercalan eficientemente para optimizar la eficiencia y el caudal tanto del cómputo como de la comunicación. En una realización, el módulo de comunicación 1517 también soporta canales de comunicación priorizados para habilitar una resolución priorizada de solicitudes de comunicación que compiten.
La biblioteca de mensajería 1519 usa rutinas de comunicación de bajo nivel optimizadas para transmitir datos a través de un tejido de comunicaciones de alto desempeño 1521. La arquitectura de MLSL 1511 es indiferente con respecto a la biblioteca de mensajería 1519 subyacente y el tejido de comunicaciones de alto desempeño 1521. En una realización, la biblioteca de mensajería es una biblioteca basada en MPI. En tal realización, los patrones de comunicación usados por una aplicación de aprendizaje automático se implementan usando funciones de MPI (por ejemplo, MPI_Alltoall, MPI_Allreduce, MPI_Allgather, etc.). En algunas realizaciones, se usan para la mensajería las bibliotecas gRPC o zeroMQ y funciones asociadas. En una realización, también se pueden usar rutinas de comunicaciones colectivas de NCCL. NCCL proporciona rutinas de comunicación tales como "allgather", "reduce" y "broadcast" para acelerar el entrenamiento de aprendizaje automático de múltiples GPU a lo largo de múltiples GPGPU.
La Figura 15C ilustra puntos de extremo de comunicaciones ilustrativos habilitados por realizaciones descritas en el presente documento. Los conceptos proporcionados por estas realizaciones se ilustran con respecto a la biblioteca de MPI, aunque las técnicas descritas no se limitan a implementaciones de MPI. En un comunicador convencional 1525, un proceso se asocia con un rango u otro ID de comunicación. El proceso puede soportar una comunicación para múltiples hilos, asociado cada hilo con el rango o identificador del proceso. Las realizaciones descritas en el presente documento hacen uso de puntos de extremo de red para habilitar la comunicación entre los diversos nodos de cómputo de un sistema de cómputo distribuido. Cada comunicador de puntos de extremo 1530 permite una disposición flexible entre el proceso, un rango de comunicación o ID, y los diversos hilos que usan el punto de extremo para la comunicación. El comunicador de puntos de extremo 1530 se puede configurar dinámicamente, de manera que un proceso se puede asociar con múltiples rangos y cada rango se puede asociar con un proceso separado. En tal configuración, cada hilo puede enviar datos a través del sistema de mensajería de multiprocesador sin tener en cuenta la competición de hilos entre rangos. Como alternativa, un hilo se puede asociar con múltiples rangos, habilitando que un único hilo tenga múltiples canales de comunicación.
En una realización, el número de instancias del comunicador de puntos de extremo 1530 está directamente relacionado con el número de núcleos asignados para realizar la comunicación de red. En una realización, las abstracciones específicas de aprendizaje automático 1513 habilitan que un programador especifique, usando terminología específica de aprendizaje automático, el tipo de red y el grado de paralelismo requerido y la arquitectura de MLSL 1511 puede construir dinámicamente la infraestructura de comunicaciones, incluyendo el número de núcleos asignados a operaciones de interconexión de redes y el número asociado de puntos de extremo de comunicaciones 1530.
En diversas realizaciones, el sistema de comunicaciones de la Figura 15C se puede construir usando variables definidas explícitamente por el desarrollador o se puede construir dinámicamente basándose en la infraestructura de aprendizaje automático definida por el desarrollador de aplicaciones. En una realización, una aplicación de aprendizaje automático puede definir múltiples procesos de aplicación 1536 que realizan operaciones de cómputo para la aplicación de aprendizaje automático. La MLSL 1534 puede exponer interfaces a los procesos de aplicación 1536, lo que habilita un sistema de comunicaciones que es ajustable a escala a un gran número de nodos de cómputo. En tal configuración, se soportan múltiples rangos de comunicación o identificadores para cada uno de los procesos de aplicación 1536 (por ejemplo, Proceso 0, Proceso 1, Proceso 2) que, en una realización, pueden ser procesos de MPI. Un conjunto de procesos de punto de extremo 1532 puede ser iniciado por la MLSL 1534, con un proceso de punto de extremo separado definido para soportar cada rango o identificador de los procesos dentro de los procesos de aplicación 1536. En una realización, la conciencia del dominio específico del aprendizaje automático se puede combinar con una vista global de operaciones de comunicación para determinar cuántos puntos de extremo usar. El número de procesos de punto de extremo 1532 puede ser ajustado a escala dinámicamente por la MLSL 1534 basándose en necesidades de comunicación.
Las Figuras 16A-16B ilustran un entrenamiento de aprendizaje automático distribuido habilitado por ejemplos descritos en el presente documento. La Figura 16A ilustra un proceso de entrenamiento para una red neuronal que se realiza usando múltiples nodos. Se puede usar una API de MLSL para definir un sistema de entrenamiento distribuido que incluye múltiples nodos. En un ejemplo, los múltiples nodos pueden incluir un primer nodo 1610 (Nodo 0) y un segundo nodo 1620 (Nodo 1). Cada nodo 1610, 1620 está configurado para realizar operaciones de cómputo hacia delante 1612, 1622 y operaciones de cómputo hacia atrás 1614, 1624. Para los cómputos hacia atrás 1614, 1624, se computan los deltas de peso 1616, 1626 y se realiza el descenso de gradiente estocástico 1618, 1628 para generar actualizaciones de valor de peso. Las operaciones de comunicación habilitadas por la API de MLSL se ilustran como bloques de letras/números que realizan operaciones mostradas en la Tabla 6.
Tabla 6 - Operaciones de comunicación de MLSL
Figure imgf000030_0001
Como se ilustra en la Figura 16A, la API de MLSL habilita la propagación hacia delante usando cómputos hacia delante distribuidos 1612, 1622 que son delimitados por un primer bloque de comunicación que espera a finalizar la comunicación para datos entrantes antes de comenzar las operaciones de cómputo hacia delante y un segundo bloque de comunicación que inicia la comunicación para datos computados. Por ejemplo, un desarrollador puede usar un primer comando de API de MLSL (Nodo 0 [1 b]) para configurar la operación de cómputo hacia delante 1612 para una primera capa en el primer nodo 1610 para esperar a finalizar la recepción de la comunicación de datos de activación que se usarán como datos de entrada para el cómputo hacia delante 1612. El cómputo hacia delante 1612 comienza automáticamente tras la compleción de la comunicación de los datos de activación. Tras la compleción del cómputo hacia delante 1612, se puede usar un segundo comando de API de MLSL (Nodo 0 [1 a]) para iniciar la comunicación de datos de activación. Los datos de activación comunicados emitidos desde el primer nodo 1610 son datos de activación generados por la primera capa y se usan como datos de entrada para una segunda capa que tiene un cómputo hacia delante 1622 realizado en el segundo nodo 1620. El cómputo hacia delante 1622 en el segundo nodo 1620 espera a finalizar la comunicación de datos de activación antes de comenzar operaciones de cómputo (Nodo 1 [1 b]) y, tras la compleción, inicia la comunicación de datos de activación (Nodo 1 [1 b]) generados por el cómputo hacia delante 1622.
En un ejemplo, la API de MLSL habilita la propagación hacia atrás usando los cómputos hacia atrás distribuidos 1624, 1612 que son delimitados por un tercer bloque de comunicación habilitado por API de MLSL (Nodo 1 [2b]) que espera a finalizar la comunicación para los gradientes de activación entrantes antes de comenzar el cómputo hacia atrás 1624 y un cuarto bloque de comunicación habilitado por API de MLSL (Nodo 1[2a]) que inicia la comunicación para gradientes de activación computados. De manera similar, la API de MLSL habilita la transmisión y recepción de gradientes de peso para los cómputos de delta de peso 1626, 1616 y pesos actualizados determinados a través de las actualizaciones de gradiente estocástico distribuido 1628, 1618.
Como se ilustra en la Figura 16B, cada nodo 1610, 1620 también se puede usar para realizar operaciones de cómputo para múltiples capas de una red neuronal. En un ejemplo, las operaciones de cómputo hacia delante 1612, 1622 mostradas en la Figura 16A se realizan como múltiples operaciones de cómputo 1612A-1612B, 1622A-1622B a lo largo de múltiples capas (Capa N, Capa N 1). De forma similar, las operaciones de cómputo hacia atrás 1624, 1614 mostradas en la Figura 16A se pueden realizar como múltiples operaciones de cómputo 1624A-1624B, 1614A-1614B. Para cada nodo 1610, 1620, la API de MLSL puede habilitar que las activaciones 1602, 1604 se transfieran entre las múltiples capas de red neuronal en cada nodo, mientras que los pesos actualizados 1606, 1608 se distribuyen después de las operaciones de cómputo hacia atrás 1624A-1624B, 1614A-1614B.
En un ejemplo, la API de MLSL habilita el uso de diferentes tipos de paralelización para diferentes capas de la misma red neuronal. La elección de paralelismo puede ser realizada automáticamente por la MLSL basándose en propiedades de capa, tales como el número de parámetros que se pueden aprender y el número de activaciones. Basándose en el paralelismo determinado para capas, también se puede determinar el tipo de comunicación requerida. Por ejemplo, cuando la capa previa usa un paralelismo de datos y las capas siguientes usan un paralelismo de modelo, se invoca un patrón de comunicación "all-to-all" (de todos a todos) para redistribuir los datos. En general, la varianza de escenarios y patrones de comunicación es significativa. Abstrayendo los detalles de comunicación, la API de MLSL puede simplificar significativamente la vida de los desarrolladores de estructuras de aprendizaje automático. Se pueden implementar diversas estructuras de aprendizaje automático a través de la API de MLSL.
Primitivas de punto a punto implementadas en hardware para aprendizaje automático
Las operaciones de carga y de almacenamiento son suficientes para habilitar una implementación de operaciones de memoria compartida distribuida de orden superior en software. Sin embargo, las primitivas de carga y de almacenamiento por sí solas pueden no ser suficientes para habilitar una solución de hardware apropiada para comunicaciones de punto a punto. La realización descrita en el presente documento puede ampliar las primitivas de punto a punto simples conocidas en la técnica para habilitar una semántica más rica tal como, pero sin limitación, soporte para atómica remota, llamadas a procedimiento remoto (RPC), carga con lista de recopilación, almacenamiento con lista de dispersión y almacenamiento con notificación, incluyendo sincronización con comunicación, para permitir una comunicación y una sincronización más eficientes entre nodos y entre GPGPU, MIC o tarjetas de procesadores paralelos dentro de un nodo, en particular cuando está en uso un protocolo de comunicación de punto a punto, tal como una versión del protocolo/interconexión NVLink.
La Figura 16C ilustra una comunicación entre nodos usando primitivas de punto a punto, de acuerdo con una realización. En una realización, una agrupación de cómputo 1630 puede realizar un proceso de entrenamiento de red neuronal distribuido a lo largo de múltiples nodos. Para un número P de nodos, cada nodo 1631A-1631P (por ejemplo, del Nodo 1 al Nodo P) puede realizar una propagación hacia delante y una propagación hacia atrás como se describe en el presente documento. En una realización, cada nodo procesa diversos conjuntos de capas 1632A-1632P, un conjunto por nodo, teniendo cada conjunto las capas L0 - Ln. Durante las operaciones de propagación hacia delante (FP) y propagación hacia atrás (BP) para la red neuronal, se pueden intercambiar entre nodos datos asociados con las capas 1632A-1632P. El modelo preciso de intercambio de datos puede variar basándose en el modelo de paralelismo en uso (por ejemplo, de datos, de modelo, híbrido, etc.). Por ejemplo y en una realización, cada nodo 1631A-1631P puede tener una copia del modelo de red neuronal y se pueden proporcionar diferentes datos de entrada a cada nodo. Unos deltas de peso 1634 pueden ser generados por cada nodo 1631A-1631P. En una implementación, se puede realizar una operación "allreduce" en la que una unidad de suma 1636 recibe el conjunto de deltas de peso en una memoria intermedia de recepción y genera una suma de los datos de delta de peso 1637. La unidad de suma 1636 puede ser uno cualquiera de los nodos 1631A-1631P o un nodo de control separado. Una unidad lógica de descenso de gradiente estocástico (SGD 1638) puede generar un nuevo conjunto de pesos 1640, que se transmiten entonces a cada nodo.
En una realización, para facilitar el intercambio de información entre los nodos 1631A-1631P, cada nodo puede incluir unidades de primitiva de punto a punto implementadas en hardware (PPP 1634A-1634P) para habilitar que los nodos intercambien datos de una manera sincronizada. Las técnicas de punto a punto descritas en el presente documento se implementan dentro del módulo de comunicación 1517 como en la Figura 15B, que puede estar presente dentro de cada nodo. La lógica de primitiva de punto a punto dentro de cada nodo se puede asociar con un conjunto de memorias intermedias de transmisión (TX 1641A-1641P) y memorias intermedias de recepción (RX 1642A-1642P). Para intercambiar datos entre el Nodo 11631A y el Nodo P 1631P, la unidad de primitiva de punto a punto 1643P del Nodo P puede emitir una solicitud al Nodo 1 para enviar un bloque específico de datos al Nodo P. El Nodo 11631A enviará entonces el bloque de datos al Nodo P 1631P (por ejemplo, a través de la memoria intermedia de transmisión 1641A) tan pronto como se satisfagan dependencias para el bloque de datos, tal como, por ejemplo, cuando se completan operaciones de cómputo asociadas con los datos. El Nodo P 1631P puede continuar realizando otras operaciones hasta que sea notificado por el Nodo 11631A. Tan pronto como se haya completado la operación de cómputo para los datos solicitados, el Nodo 1 1631A puede realizar una escritura remota en la memoria intermedia de recepción 1642P en el Nodo P para escribir los datos solicitados. En una realización, el Nodo 11631A puede notificar al Nodo P 163 IP que se ha completado la escritura. En una realización, el Nodo P 1631P puede supervisar la dirección de la memoria intermedia de recepción 1642P que se proporcionó al Nodo 1 1631PA en busca de actualizaciones de memoria y extraer por copia la memoria escrita una vez que el Nodo P 1631P percibe que ha tenido lugar una escritura de memoria en la memoria intermedia de recepción 1642P.
Se pueden usar diversos métodos subyacentes para habilitar la comunicación de punto a punto. En una realización, se puede usar una llamada a procedimiento remoto a un nodo para ejecutar operaciones lógicas de forma remota en un Nodo diferente. La lógica remota puede supervisar un espacio de direcciones asociado con datos requeridos por un nodo de recepción e iniciar una transferencia desde un nodo de transmisión una vez que se han completado las operaciones de cómputo. Además de tener soporte de llamadas a procedimiento remoto y almacenamiento con notificación, se pueden implementar diversas primitivas adicionales, como se ha descrito anteriormente, en donde tales primitivas incluyen, pero sin limitación, atómica remota, carga con lista de recopilación, almacenamiento con lista de dispersión y otros tipos de comunicación sincronizada.
Por ejemplo, en una realización, se puede realizar un almacenamiento atómico remoto desde el Nodo 11631A al Nodo P 1631P, de manera que los datos en memoria del Nodo 1 se almacenen en memoria en el Nodo P como una única operación indivisible. El almacenamiento atómico se puede realizar usando primitivas de hardware soportadas por la lógica de interfaz del Nodo 1 y el Nodo P. El Nodo 1 puede enviar un mensaje al Nodo P para implementar un almacenamiento atómico, que puede ser recibido por la lógica de interfaz con el Nodo P. La lógica de interfaz dentro del Nodo P puede fijar entonces una dirección de memoria dentro de la memoria del Nodo P, realizar la operación de almacenamiento y liberar la fijación en la dirección de memoria, habilitando que la memoria del Nodo P se actualice atómicamente con datos suministrados desde el Nodo 1. En una realización, tal operación se puede realizar completamente dentro de la lógica de interfaz de tejido de los nodos. En diversas realizaciones, una operación primitiva para realizar la carga con lista de recopilación, el almacenamiento con lista de recopilación u otros tipos de operaciones de comunicación sincronizada dentro de la lógica de interfaz de los nodos.
En los nodos de cómputo que están dispuestos en una malla, un toro o un hipercubo, un encaminador en cada nodo permite que los mensajes se dirijan a lo largo de la ruta más eficiente hasta el destino para mensajes entre nodos que no están conectados directamente. Las realizaciones descritas en el presente documento proporcionan una lógica de interconexión de tejido que se puede configurar para encaminar mensajes o escrituras de memoria entre nodos conectados indirectamente. En lugar de usar un identificador de nodo, en una realización, una lógica de interconexión de tejido puede encaminar datos basándose en la dirección de memoria de destino asociada con el mensaje, la escritura o el paquete a retransmitir. Tales técnicas pueden habilitar un sistema de memoria distribuida eficiente en hardware, en particular para interconexiones de tejido de punto a punto.
La Figura 17A ilustra un sistema informático de múltiples nodos 1700, de acuerdo con una realización. Cada nodo del sistema de cómputo de múltiples nodos 1700 es similar al sistema de cómputo de múltiples GPU 800 de la Figura 8. Cada una de las GPGPU 806A-806D se interconecta a través de un conjunto de enlaces de GPU de P2P 816. Cada una de las GPGPU 1706A-1706D se interconecta a través de los enlaces de GPU de P2P 1716. Cada una de las GPGPU 170A-1706D se puede comunicar con el procesador 1702 a través de un conmutador de interfaz de anfitrión 1704. Las GPGPU 806A-806D y las GPGPU 1706A-1706D no están directamente interconectadas. Sin embargo, la GPGPU 806B se puede comunicar con la GPGPU 1706A a través de un enlace de puente de GPU de P2P 1708. En algunas implementaciones existentes, para transferir datos entre GPGPU conectadas indirectamente, por ejemplo, de la GPGPU 806A a la GPGPU 1706D, se pueden requerir múltiples transferencias manuales. Las realizaciones descritas en el presente documento habilitan un encaminamiento automático de comunicaciones entre GPGPU que están conectadas a través de un enlace de punto a punto. En una realización, el encaminamiento automático se realiza correlacionando nodos con un sistema de memoria virtual distribuida.
La Figura 17B ilustra una red de punto a punto que tiene direcciones virtuales distribuidas, de acuerdo con una realización. En una realización, un conjunto de nodos 1721 (Nodo 1-3) puede participar en un entrenamiento distribuido para una red neuronal de múltiples capas 1722 (Capa 0-3). Se puede realizar una negociación de manera que una dirección de memoria dentro de cada nodo se asocia con una dirección virtual dentro de un espacio de direcciones virtuales distribuidas 1730. En una realización, un rango de direcciones físicas específico en cada nodo se correlaciona con las direcciones virtuales asociadas con el nodo, de manera que las mismas direcciones físicas en cada nodo se correlacionan con el espacio de direcciones virtuales distribuidas 1730. La correlación de direcciones virtuales distribuidas se intercambia entre nodos, de manera que cada nodo es consciente el rango de direcciones para cada uno de los otros nodos. Por ejemplo, al Nodo 1 se le puede asignar una dirección de memoria en un primer rango de direcciones de memoria 1723 ([0x1000 a 0x1500]). Al Nodo 2 se le puede asignar una dirección de memoria en un segundo rango de direcciones de memoria 1725 ([0x2000 a 0x2500]). Al Nodo 3 se le puede asignar una dirección de memoria en un tercer rango de direcciones de memoria 1727 ([0x2000 a 0x3500]). El Nodo 1 puede solicitar datos desde el Nodo 3 emitiendo una solicitud de datos al Nodo 3 y proporcionando al Nodo 3 una dirección dentro del primer rango de direcciones 1723. El Nodo 1 es consciente de que el Nodo 3 tiene un rango de direcciones de [0x3000 a 0x3500] y tiene una memoria intermedia de recepción en memoria en una dirección definida por la fórmula: dirección basada en nodo desplazamiento de memoria intermedia de recepción. El Nodo 1 puede solicitar una escritura sincronizada en la memoria intermedia de recepción en el Nodo 3, en donde la escritura es un mensaje que solicita una lectura de datos en una dirección de lectura dada dentro del espacio de direcciones del Nodo 3 (por ejemplo, el tercer rango de direcciones 1727). La interfaz de tejido en el Nodo 1 puede determinar, basándose en la dirección de escritura, que el mensaje está destinado al Nodo 3. La interfaz de tejido puede determinar entonces que, para comunicarse con el Nodo 3, el mensaje se puede encaminar a través del Nodo 2. El Nodo 1 puede solicitar entonces una retransmisión a través del Nodo 2. La interfaz de tejido en el Nodo 2, basándose en la dirección de destino, puede determinar que el mensaje está destinado al Nodo 3 y retransmitir el mensaje a la memoria intermedia de recepción en el Nodo 3. Tales técnicas pueden mejorar significativamente la eficiencia de operaciones de comunicación tales como las operaciones "allreduce" o "allgather" que implican intercambios de comunicación entre todos los nodos.
Cómputo y comunicación de grano fino
Los ejemplos descritos en el presente documento proporcionan una API unificada para expresar operaciones de cómputo y de comunicación, junto con una implementación correspondiente que habilita que operaciones de cómputo y de comunicación se superpongan de una forma de grano fino. El cómputo superpuesto de grano fino proporciona beneficios a las estructuras de cómputo de aprendizaje automático y ayuda a lograr una eficiencia más alta de cómputo y de comunicación en implementaciones de múltiples tarjetas y/o de múltiples nodos. Por ejemplo, y en un ejemplo, el paralelismo de datos se usa en la operación de actualización de peso durante la propagación hacia atrás de entrenamiento de aprendizaje profundo. La propagación hacia atrás, como se ha descrito anteriormente, por ejemplo en la Figura 16A, incluye cómputos de delta de peso, comunicación de delta de peso entre nodos/entre tarjetas y cómputo de peso actualizado usando descenso de gradiente estocástico. Las implementaciones que usan distintas implementaciones y API de cómputo y de comunicación pueden no ser capaces de lograr la cantidad máxima de paralelismo que se puede aprovechar dentro de y entre nodos de cómputo o tarjetas de procesadores paralelos, debido a que esas operaciones se ejecutan en serie en una secuencia fija y a un nivel de grano grueso. Los ejemplos descritos en el presente documento habilitan un paralelismo de cómputo y de comunicación mejorado habilitando la planificación y el desempeño de operaciones computacionales y de comunicación con un detalle de grano fino. Habilitando una ejecución de cómputo y de comunicación de grano fino, se puede lograr una superposición de cómputo y de comunicación más eficiente, habilitando un paralelismo aumentado y una utilización mejorada de los recursos tanto de cómputo como de comunicación.
La Figura 18 ilustra una arquitectura de MLSL 1811 alternativa de acuerdo con una realización. La arquitectura de MLSL alternativa 1811 es similar a la arquitectura de MLSL 1511 de la Figura 15B, excepto que las abstracciones específicas de aprendizaje automático y el módulo de comunicación 1816 se fusionan en un único módulo. La fusión de la funcionalidad de cómputo de aprendizaje automático abstracto y la funcionalidad de comunicación habilita una granularidad más fina de superposición de cómputo y de comunicación. Los hilos y/o núcleos consumidores que se bloquean en operaciones pendientes se pueden poner en suspensión y reactivarse una vez que se han completado las operaciones que los bloquean. Las operaciones de cómputo se pueden realizar en una granularidad de dependencias de datos individuales, de manera que tan pronto como se satisfagan las dependencias para una unidad de cómputo, la unidad de cómputo se puede realizar y transmitirse inmediatamente a otros nodos. Se puede proporcionar una API fusionada que combina operaciones de cómputo y de comunicación de manera que las operaciones de cómputo se puedan asociar con una operación o primitiva de comunicación o sincronización y, tan pronto como la unidad de cómputo está completa, se puedan transmitir los datos computados.
La Figura 19A ilustra una operación de cómputo de tensor adecuada para la superposición de cómputo y de comunicación de grano fino. La API de cómputo y de comunicación fusionadas descrita en el presente documento puede habilitar que una operación de cómputo más grande se subdivida en trozos más pequeños y, en lugar de esperar a que se haya completado toda la operación de comunicación antes de que los resultados se comuniquen a otros nodos, los resultados se pueden comunicar con una granularidad más fina tan pronto como se haya completado una porción individual de la operación de cómputo. Por ejemplo, la Figura 19A ilustra una operación de xGEMM de bloques de grano fino que se formula como múltiples operaciones de GEMM de bloques pequeños con paralelismo a lo largo de las dimensiones M, N y K. Un núcleo de GEMM de modo interno que está optimizado para un desempeño arquitectónico de pico se puede aplicar en paralelo a subunidades de la operación de cómputo. Por ejemplo, y en un ejemplo, una porción de una operación de cómputo se puede realizar usando un primer bloque de datos 1902 y un segundo bloque de datos 1904 para generar una porción de una matriz N x M 1906. La operación se puede realizar en el primer bloque de datos 1902 y el segundo bloque de datos 1904 y los resultados se pueden distribuir antes de que se complete toda la operación matricial. En tal ejemplo, se puede generar una salida [m, n] 1916 basándose en una colección (por ejemplo, suma) de múltiples operaciones de cómputo de grano fino entre los pesos 1912 y las entradas 1914. Tal técnica permite que las operaciones de cómputo y de comunicación se superpongan, no solo entre capas durante el entrenamiento distribuido de redes neuronales, sino también dentro de una capa. A medida que se completan las operaciones de subcómputo, esas operaciones se pueden transmitir a los nodos relevantes, por ejemplo, usando las primitivas de punto a punto descritas en el presente documento, habilitando una superposición mayor entre operaciones de cómputo y de comunicación y aumentando la eficiencia global del sistema. Esta técnica difiere de las soluciones de cómputo y de comunicación existentes que realizan un conjunto completo de operaciones de cómputo para una capa antes de transmitir los resultados a otros nodos.
La ejecución de grano fino de cómputo y de comunicación requiere mecanismos de sincronización flexibles para habilitar que un planificador orqueste un uso eficiente de recursos de cómputo y de comunicación. En un ejemplo, la ejecución y comunicación de grano fino se implementa a través de una semántica de memoria ampliada con la granularidad de tensores arbitrarios. En lugar de depender del sondeo, los hilos y/o núcleos consumidores que se bloquean en operaciones pendientes se pueden poner en suspensión y reactivarse una vez que se han completado las operaciones que los bloquean. Los bits tradicionales llenos/vacíos que se definen a la granularidad de líneas de caché/memoria son de un grano demasiado fino para ser óptimos para este fin. Otras soluciones, tales como monitor/mwait, pueden rastrear solo direcciones contiguas y cualquier escritura de memoria dentro del rango de direcciones activa al consumidor. Como una mejora a las soluciones existentes, un ejemplo proporciona un método y aparato para asociar operaciones de tensor con semántica de sincronización que permite que los hilos consumidores se activen solo cuando se han completado todas las operaciones definidas en el tensor.
La Figura 19B ilustra un acceso a memoria sincronizado dentro de un sistema de múltiples nodos 1920, de acuerdo con un ejemplo. Como se ilustra, un nodo productor 1930 y un nodo consumidor 1940 tienen, cada uno, acceso a una memoria compartida 1950, que puede ser un espacio de direcciones virtuales distribuido y compartido que se correlaciona a través de múltiples nodos. El nodo productor 1930 produce datos que serán consumidos por el nodo consumidor 1940. Cuando el nodo consumidor 1940 depende de los datos de tensor 1955 a computar por el nodo productor 1930, el nodo consumidor 1940 se puede bloquear ponerse en suspensión hasta que todos los datos de tensor 1955 requeridos se han escrito en la memoria 1950. Con la semántica existente, el nodo consumidor 1940 se puede interrumpir cuando se realiza cualquier escritura en las direcciones. Sin embargo, el uso de tal semántica puede no ser apropiado cuando el nodo consumidor 1940 depende de todos los datos a escribir. Si el nodo consumidor 1940 depende de todos los datos de tensor 1955, a diferencia de cualquier unidad dada de datos de tensor, activarse en cualquier acceso a memoria dentro de los datos de tensor 1955 dará como resultado numerosas activaciones falsas. Adicionalmente, en un ejemplo, los tensores se almacenan como matrices multidimensionales en memoria que no tienen direcciones contiguas. La semántica existente puede no ser capaz de supervisar datos que no residen dentro de un conjunto de direcciones de memoria contiguas. En consecuencia, la semántica existente, tal como la semántica de supervisión y de espera, no se puede usar fácilmente para supervisar los tensores.
Los ejemplos descritos en el presente documento prueban una técnica para habilitar que el nodo consumidor 1940 supervise un conjunto de direcciones no contiguas asociadas con tensores almacenados como matrices multidimensionales en memoria. En tales ejemplos, el nodo consumidor 1940 puede indicar que se han de supervisar los datos de tensor 1955, y todas las direcciones de memoria asociadas con los datos de tensor 1955 se pueden supervisar en busca de actualizaciones. En un ejemplo, el nodo consumidor 1940 puede solicitar que se aplique una supervisión en busca de tipos específicos de actualizaciones, tal como una escritura remota en direcciones de memoria de los datos de tensor 1955 desde el nodo productor 1930. Adicionalmente, se proporciona una semántica que permite que el nodo consumidor 1940 pueda solicitar ser notificado cuando se hayan escrito todas las direcciones supervisadas. Además, este mecanismo se puede usar para ajustar la granularidad y el mantenimiento de la coherencia de caché de hardware en las fronteras de sincronización, como se muestra en la Figura 19C.
La Figura 19C ilustra que la semántica de comunicación de memoria de la Figura 19B se puede ampliar para habilitar una coherencia de caché de grano grueso para datos de memoria caché. Debido a que los datos de tensor probablemente abarcan múltiples líneas de caché tanto en el nodo productor como en el nodo consumidor, las técnicas descritas en el presente documento pueden habilitar que la coherencia de caché se realice con la granularidad gruesa más adecuada para los datos de tensor, en lugar de la coherencia de líneas de caché usada en sistemas convencionales. Por ejemplo, en un ejemplo, el nodo productor 1930 incluye una memoria caché 1935 que puede almacenar en caché los datos de tensor 1955 generados por las agrupaciones de cómputo 1932A-1932B dentro del nodo productor 1930 antes de que los datos de tensor 1955 se almacenen en la memoria compartida 1950. Adicionalmente, el acceso de baja latencia para los datos de tensor 1955 para las agrupaciones de cómputo 1942A-1942B del nodo consumidor 1940 puede ser habilitado por la memoria caché 1945 en el nodo consumidor 1940. En lugar de mantener la coherencia de caché a la granularidad de línea de caché, las actualizaciones de coherencia entre la memoria caché 1935 del nodo productor 1930 y la memoria caché 1945 del nodo consumidor 1940 se pueden realizar a la granularidad supervisada de los datos de tensor 1955. Estas actualizaciones de coherencia por lotes pueden dar como resultado un uso más eficiente de ancho de banda de bus de memoria en el caso de uso de actualizaciones de memoria gruesas dentro de un sistema coherente de caché de múltiples nodos, tal como un sistema de múltiples GPU acoplado a través de una interconexión coherente de caché.
Las Figuras 20A-20B ilustran diagramas de flujo que describen operaciones para habilitar un aprendizaje automático distribuido a través de la API de MLSL. En la Figura 20A se ilustran operaciones generales. El establecimiento de MLSL se ilustra en la Figura 20B.
Como se muestra en la Figura 20A, las operaciones de MLSL generales incluyen operaciones para crear una vista global de las operaciones de comunicación a realizar entre múltiples nodos de cómputo de un sistema de cómputo distribuido, como se muestra en el bloque 2002. La vista global se estructura usando un lenguaje específico de aprendizaje automático que estará dentro del conocimiento del dominio de un desarrollador de aplicaciones para una aplicación de aprendizaje automático. En un ejemplo, la vista global es interna a la capa de abstracción de aprendizaje automático de MLSL y se especifica usando comandos de API proporcionados por la capa de abstracción de aprendizaje automático de MLSL. La vista global interna habilita que la MLSL realice una operación denominada introspección. La introspección habilita el uso de la vista global para obtener conclusiones acerca de las comunicaciones realizadas para la implementación de aprendizaje automático.
En un ejemplo, se usa introspección para determinar el coste de comunicación de las operaciones de comunicación en la gráfica y para rastrear la superposición de las operaciones de cómputo y de comunicación, como se muestra en el bloque 2004. En un ejemplo, la pérdida de comunicación se cuantifica en términos de una latencia de cómputo introducida por la comunicación de datos entre los nodos de cómputo. Además, la introspección realiza un seguimiento del coste de cómputo a lo largo de dos operaciones de comunicación sucesivas. Esta información se puede usar entonces para planificar operaciones de comunicación de manera eficaz. Por ejemplo, si hay un coste de cómputo grande, se pueden planificar múltiples operaciones de comunicación durante este tiempo. Para costes de cómputo más pequeños, la planificación puede elegir enviar operaciones de comunicación más cortas o dividir una operación de comunicación grande en fragmentos más pequeños que se pueden ocultar detrás de una operación de cómputo útil.
El rastreo de la superposición se puede usar para determinar el grado en el que el tiempo de comunicación se superpone con un cómputo útil. En un ejemplo, el tiempo de cómputo y de comunicación se puede obtener ejecutando la topología de aprendizaje automático real durante unas pocas épocas o usando una base de datos rellenada previamente con retardos para diferentes tamaños de mensaje y tipos de capa para esa plataforma. En un ejemplo, la superposición se cuantifica en términos de un número de ciclos de tiempo de cómputo y de comunicación superpuestas o cantidad de tiempo en el que se realizan operaciones de cómputo y de comunicación superpuestas. En algunos ejemplos, se puede realizar una combinación de tales operaciones. En un ejemplo, la capacidad de introspección se puede exponer al desarrollador de aplicaciones para habilitar la identificación de cuellos de botella en el desempeño y/o para realizar operaciones de depuración de errores.
En un ejemplo, el desarrollador de aplicaciones puede especificar explícitamente el tipo de paralelismo a usar para cada capa de la red neuronal. En un ejemplo, la vista global y la introspección se pueden usar para determinar automáticamente un tipo de paralelismo a usar para una capa dada y una plataforma dada, como se muestra en el bloque 2006. El mejor tipo de paralelismo a usar se puede determinar intentando diferentes combinaciones en tiempo de ejecución o usando heurísticas. Por ejemplo, una heurística puede indicar el uso de un paralelismo de datos cuando el tamaño de las activaciones es mayor que el tamaño de los pesos o un paralelismo de modelo cuando el tamaño de los pesos es mayor que el tamaño de las activaciones. El tamaño de los pesos o activaciones se determina en parte basándose en una comparación de las dimensiones x e y de los datos de activación y de peso. En un ejemplo, se pueden evaluar múltiples tipos de paralelismo en tiempo de ejecución para cada capa de una red neuronal durante un entrenamiento distribuido. El paralelismo a usar para la capa de red neuronal se puede determinar entonces basándose en la eficiencia de comunicación indicada por las evaluaciones de tiempo de ejecución.
En un ejemplo, la lógica de MLSL general realiza adicionalmente operaciones para determinar automáticamente la planificación y priorización de mensajes usando la vista global, como se muestra en el bloque 2008. Por ejemplo, la capacidad de introspección habilita que la lógica de MLSL realice operaciones que intentan diversas combinaciones y seleccionan la combinación óptima de planificación y priorización. Los mecanismos de planificación incluyen el uso de canales priorizados, el retardo de mensajes de prioridad baja y/o la división de mensajes grandes. Tales técnicas se pueden implementar, al menos en parte, a través de lógica de software incluida en el objeto de biblioteca MLSL. La lógica de MLSL se puede realizar, al menos en parte, en hardware, por ejemplo, dentro de un controlador de interfaz de red o una interfaz de tejido de anfitrión. Aunque algunos ejemplos habilitan una determinación automática de la planificación y la prioridad para las comunicaciones, en un ejemplo, un desarrollador de aplicaciones puede planificar y priorizar explícitamente la mensajería disponiendo operaciones de inicio y de espera de comunicación para un desempeño óptimo, debido a que la planificación y la priorización óptimas pueden variar entre plataformas y topologías de red neuronal.
En un ejemplo, la lógica de MLSL general realiza adicionalmente operaciones para determinar automáticamente el óptimo del número de puntos de extremo de red y el número de núcleos basándose en la información específica de aprendizaje automático especificada usando la API de MLSL, como se muestra en el bloque 2010. En una realización, el número de puntos de extremo y núcleos de comunicación de red se puede inferir usando una vista global de MLSL y datos de plataforma. Por ejemplo, el desempeño de comunicación puede mejorar cuando la red se acciona usando más núcleos. Sin embargo, la asignación de núcleos de red se realiza considerando la compensación recíproca entre el número de núcleos usados para el cómputo y el número de núcleos usados para la comunicación. Por lo tanto, en una realización, la introspección de MLSL permite que se equilibre el tiempo de cómputo y de comunicación para optimizar el desempeño global del sistema. Por ejemplo, el número de núcleos usados para la comunicación se puede variar dinámicamente y se puede seleccionar un número óptimo de núcleos basándose en el impacto sobre el tiempo de cómputo total. Como alternativa, se puede sortear la determinación automática y el desarrollador de aplicaciones puede especificar explícitamente el número de núcleos y el número asociado de puntos de extremo de red que usar para la comunicación.
Como se muestra en la Figura 20B, las operaciones para el establecimiento de MLSL incluyen una primera operación para inicializar la biblioteca de MLSL para habilitar el uso de la API de MLSL, como se muestra en el bloque 2012. La lógica de MLSL se puede usar entonces para crear un objeto de sesión y establecer un tamaño de minilote global, como se muestra en el bloque 2014. El tamaño de minilote global se puede determinar basándose en la suma de tamaños de lotes locales. La lógica de MLSL se puede usar entonces para crear un objeto de distribución que indica un número de subdivisiones para el paralelismo de datos y un número de subdivisiones para el paralelismo de modelo, como se muestra en el bloque 2106.
La lógica de MLSL se puede usar entonces para crear un objeto de operación para cada capa de la red neuronal, como se muestra en el bloque 2018. La creación de un objeto de operación para cada capa, en un ejemplo, incluye crear un objeto OperationRegInfo auxiliar que contiene información acerca de parámetros que se pueden aprender y formas de activaciones. Los parámetros definen una relación específica entre activaciones de entrada y de salida y parámetros de operación. La API de MLSL habilita que el desarrollador añada formas de activación de entrada/salida y formas de parámetros al objeto OperationRegInfo. Usando la API de MLSL, el desarrollador puede crear entonces un objeto de operación, borrar el objeto OperationRegInfo de borrado y establecer dependencias entre operaciones. Usando información acerca las formas y el tamaño de lote, un desarrollador puede usar entonces la API de MLSL para asignar memorias intermedias para un gradiente con respecto a parámetros, la activación de entrada y gradientes con respecto a la activación de entrada. Debido a que las operaciones vinculadas comparten activaciones comunes, las operaciones vinculadas se pueden asignar en un lado de una transacción y reutilizarse en el otro lado de la transacción (estas se deberían asignar solo en un lado y reutilizarse en el otro lado). En un ejemplo, la biblioteca MLSL proporciona un asignador dedicado que habilita optimizaciones especializadas. En un ejemplo, el objeto de sesión creado en el bloque 2014 incluye un método de confirmación que se puede usar para finalizar la creación del objeto de Operación.
La lógica de MLSL se puede usar entonces para realizar un flujo de trabajo de estructura de aprendizaje automático con porciones computacionales del flujo de trabajo envueltas con llamadas de API de MLSL, como se muestra en el bloque 2020. En un ejemplo, las llamadas de API de MLSL habilitan el intercambio automático de activaciones, gradientes con respecto a activaciones y gradientes con respecto a parámetros. La lógica de MLSL se puede usar entonces para actualizar parámetros basándose en el flujo de trabajo de estructura de aprendizaje automático realizado en el bloque 2022.
Las Figuras 21A-21B ilustran métodos para realizar un entrenamiento distribuido de una red neuronal, de acuerdo con una realización. Un entrenamiento distribuido de la red neuronal se puede realizar usando una lógica de procesamiento de gráficos como se describe en el presente documento, en donde la lógica de procesamiento de gráficos se incluye dentro de múltiples nodos de trabajo interconectados. En diversas realizaciones, los múltiples nodos de trabajo interconectados pueden estar dentro de un único chasis o dispositivo informático o se pueden distribuir a lo largo de múltiples chasis o dispositivos informáticos. Por ejemplo, los múltiples nodos de trabajo interconectados se pueden configurar de manera similar al sistema informático de múltiples nodos 1700 como en la Figura 17.
En una realización, como se muestra en la Figura 21A, un método incluye almacenar una biblioteca en memoria, en donde la biblioteca está configurada para facilitar la transmisión de datos durante el entrenamiento distribuido de la red neuronal, como se muestra en el bloque 2102. Los datos se asocian con parámetros entrenables de la red neuronal. Durante el entrenamiento, múltiples nodos transmiten y reciben datos de gradiente asociados con los parámetros entrenables a través de una interfaz de red, como se muestra en el bloque 2104. Los nodos ejecutan, a través de un procesador de propósito general, instrucciones proporcionadas por la biblioteca, como se muestra en el bloque 2106. Las instrucciones hacen que el procesador de propósito general configure la interfaz de red para transmitir y recibir los datos de gradiente asociados con los parámetros entrenables durante un flujo de trabajo de una estructura de aprendizaje automático. Adicionalmente, un nodo de trabajo realiza, a través de un procesador de gráficos, operaciones de cómputo asociadas con un flujo de trabajo de estructura de aprendizaje automático para generar los datos de gradiente asociados con los parámetros entrenables, como se muestra en el bloque 2108. Las operaciones de cómputo se intercalan con la transmisión y recepción de datos de gradiente a través de la interfaz de red. Las operaciones de cómputo intercaladas se pueden superponer, de manera que se puede transmitir una primera porción de datos mientras se realizan operaciones de cómputo para una segunda porción de datos.
La Figura 21B ilustra un método de entrenamiento distribuido para una red neuronal que se puede realizar usando una lógica de procesamiento de gráficos como se describe en el presente documento. En diversos ejemplos, los múltiples nodos de trabajo interconectados pueden estar dentro de un único chasis o dispositivo informático o se pueden distribuir a lo largo de múltiples chasis o dispositivos informáticos. El método puede ser implementado por uno o más dispositivos de procesamiento dentro de un procesador de propósito general, un procesador de gráficos o un procesador dentro de una interfaz de tejido. Las primeras o segundas instrucciones descritas a continuación pueden ser instrucciones proporcionadas por una biblioteca dentro de la arquitectura de ajuste a escala de aprendizaje automático 1511, 1811 como en la Figura 15B, la Figura 18, o una biblioteca equivalente descrita en el presente documento, tal como la biblioteca NCCL.
En un ejemplo, como se muestra en el bloque 2112, el método incluye almacenar un primer conjunto de instrucciones en una primera memoria, incluyendo el primer conjunto de instrucciones una estructura de aprendizaje automático. La primera memoria puede ser una memoria de sistema accesible por todos o la mayor parte de los componentes dentro de un sistema de procesamiento de datos. Por ejemplo, la primera memoria puede ser una memoria de sistema 104 como en la Figura 1. Como se muestra en el bloque 2114, el método incluye adicionalmente habilitar, a través de una interfaz de tejido, la transmisión y recepción de datos asociados con el conjunto de parámetros de aprendizaje automático entrenables. La transmisión y recepción de datos puede ser realizada o facilitada por una biblioteca de mensajería en comunicación con un tejido de comunicación de alto desempeño, tal como la biblioteca de mensajería 1519 y el tejido de comunicación de alto desempeño 1521 de la Figura 15B.
En un ejemplo, como se muestra en el bloque 2116, el método incluye adicionalmente ejecutar el primer conjunto de instrucciones a través de un conjunto de núcleos de procesador de propósito general. Ejecutar el primer conjunto de instrucciones incluye proporcionar un flujo de trabajo de entrenamiento para el cómputo de gradientes para los parámetros de aprendizaje automático entrenables y comunicarse con un segundo conjunto de instrucciones. El segundo conjunto de instrucciones puede facilitar la transmisión y recepción de los gradientes a través de la interfaz de tejido. Como se muestra en el bloque 2118, el método incluye adicionalmente realizar, a través de un procesador de gráficos, operaciones de cómputo asociadas con el flujo de trabajo de entrenamiento. Realizar las operaciones de cómputo puede incluir generar los gradientes para los parámetros de aprendizaje automático entrenables. En un ejemplo, los gradientes se pueden almacenar en una memoria compartida entre el procesador de gráficos y la interfaz de tejido, permitiendo que los datos de gradiente se transmitan sin requerir que los datos se almacenen en memoria de sistema antes de la transmisión.
La Figura 22 es un diagrama de bloques de un sistema de procesamiento de datos 2200, de acuerdo con realizaciones descritas en el presente documento. El sistema de procesamiento de datos 2200 es un sistema de procesamiento heterogéneo que tiene un procesador 2202, una memoria unificada 2210 y una GPGPU 2220 que incluye lógica de aceleración de aprendizaje automático. El procesador 2202 y la GPGPU 2220 pueden ser cualquiera de los procesadores y GPGPU/procesadores paralelos como se describe en el presente documento. El procesador 2202 puede ejecutar instrucciones para un compilador 2215 almacenado en la memoria de sistema 2212. El compilador 2215 se ejecuta en el procesador 2202 para compilar el código fuente 2214A para dar el código compilado 2214B. El código compilado 2214B puede incluir código que puede ser ejecutado por el procesador 2202 y/o código que puede ser ejecutado por la GPGPU 2220. Durante la compilación, el compilador 2215 puede realizar operaciones para insertar metadatos, incluyendo sugerencias en cuanto al nivel de paralelismo de datos presente en el código compilado 2214B y/o sugerencias con respecto a la localidad de datos asociada con hilos a despachar basándose en el código compilado 2214B. El compilador 2215 puede incluir la información necesaria para realizar tales operaciones o las operaciones se pueden realizar con la asistencia de una biblioteca de tiempo de ejecución 2216, tal como la biblioteca de ajuste a escala de aprendizaje automático (MLSL) descrita en el presente documento. La biblioteca de tiempo de ejecución 2216 también puede facilitar al compilador 2215 la compilación del código fuente 2214A e incluye instrucciones que están vinculadas en tiempo de ejecución con el código compilado 2214B para facilitar la ejecución de las instrucciones compiladas en la GPGPU 2220.
La memoria unificada 2210 representa un espacio de direcciones unificado al que pueden acceder el procesador 2202 y la GPGPU 2220. La memoria unificada incluye la memoria de sistema 2212 así como la memoria de GPGPU 2218. La memoria de GPGPU 2218 incluye la memoria local de GPGPU 2228 dentro de la GPGPU 2220 y también puede incluir parte de o toda la memoria de sistema 2212. Por ejemplo, el código compilado 2214B almacenado en la memoria de sistema 2212 se puede correlacionar también en la memoria de GPGPU 2218 para el acceso por la GPGPU 2220.
La GPGPU 2220 incluye múltiples bloques de cómputo 2224A-2224N, cada uno de los cuales incluye una o más de las agrupaciones de procesamiento 214A-214N o una o más instancias de la matriz de procesamiento 212 como en la figura 2. La GPGPU 2220 también incluye un conjunto de registros 2224, una memoria caché 2226 y un módulo de potencia y de desempeño 2225 que se pueden usar como recursos compartidos para los bloques de cómputo 2224A-2224N. El módulo de potencia y de desempeño 2225 se puede configurar para ajustar la entrega de potencia y las frecuencias de reloj para los bloques de cómputo 2224A-2224N para controlar por alimentación componentes en espera dentro de los bloques de cómputo 2224A-2224N bajo cargas de trabajo intensas. La GPGPU 2220 incluye la memoria local de GPGPU 2228, que es una memoria física que comparte una tarjeta de gráficos o un módulo de múltiples chips con la GPGPU 2220.
En una realización, la GPGPU 2220 incluye lógica de aceleración de gráficos y de cómputo que incluye una unidad de extracción y de descodificación de instrucciones 2221, una unidad de planificador 2222 y una unidad de función fija de aprendizaje automático 2223. La unidad de extracción y de descodificación 2221 es una unidad de extracción y de descodificación que incluye lógica para extraer y descodificar instrucciones que van a ser computadas por la GPGPU 220. En una realización, las instrucciones ejecutadas pueden secuenciar y/o serializar, a través de la unidad de planificación 2222, un conjunto de operaciones y/o microoperaciones a realizar a través del bloque de cómputo 2224A-2224N y/o la unidad de función fija de aprendizaje automático 2223.
En una realización, la unidad de función fija de aprendizaje automático 2223 es un circuito integrado específico de la aplicación configurado explícita y exclusivamente para realizar un gran número de operaciones de multiplicación matricial en paralelo. En una realización, la unidad de función fija de aprendizaje automático 2223 está configurada para realizar multiplicaciones matriciales para filtros de convolución que tienen tamaños de filtro que no son una potencia de dos. En una realización, la unidad de función fija de aprendizaje automático 2223 es una matriz de puertas programables en campo (FPGA) que proporciona una lógica de función fija que se puede actualizar entre cargas de trabajo.
En algunas realizaciones, la GPGPU 2220 incluye una interfaz de tejido integrada 2230 y una caché de interfaz de tejido 2232. En una realización, la interfaz de tejido integrada 2230 incluye adicionalmente un módulo de tejido de MLSL 2231 que habilita que la interfaz de tejido proporcione una aceleración de hardware para ciertas operaciones de MLSL. La interfaz de tejido 2230 puede habilitar la comunicación con un tejido de comunicaciones de alto desempeño, tal como el tejido de comunicaciones de alto desempeño 1521 de la Figura 15B. La interfaz de tejido 2230 tiene un espacio de direcciones que se correlaciona con al menos una porción de la memoria local de GPGPU 2228 y, en una realización, puede participar en la memoria unificada 2210 compartida por el procesador 2202 y la GPGPU 2220. La caché de interfaz de tejido 2232 se usa para almacenar en caché datos recibidos desde o a transmitir al tejido de comunicación que habilita la comunicación de datos entre nodos de cómputo. En una realización, cuando los resultados de cómputo son computados por la GPGPU 2220 y almacenados dentro de la memoria local de GPGPU 2228, la interfaz de tejido 2230 puede transmitir los datos a otros nodos de cómputo desde la memoria local de GPGPU 2228. En tal realización, no se requiere que se transmitan datos a la memoria de sistema 2212 a menos que el uso de los datos sea requerido por una aplicación que se ejecuta en el procesador 2202.
El módulo de tejido de MLSL 2231 está configurado para facilitar una transmisión de baja latencia de datos entre nodos. En diversas realizaciones, el módulo de tejido de MLSL 2231 puede ser un módulo de firmware configurado para ejecutar firmware proporcionado por la MLSL, o una biblioteca de ajuste a escala de aprendizaje automático equivalente. En una realización, el módulo de tejido de MLSL 2231 es un procesador o microcontrolador configurado para ejecutar instrucciones para habilitar primitivas de comunicación de punto a punto como se describe en el presente documento. En una realización, el módulo de tejido de MLSL 2231 puede recibir un conjunto de direcciones dentro de la memoria local de GPGPU 2228 que se asocian con objetos de datos gestionados por el tiempo de ejecución de MLSL (por ejemplo, la biblioteca de tiempo de ejecución 2216). Por ejemplo, un rango de direcciones para una memoria intermedia de salida para almacenar datos de activación a generar por la GPGPU 2220 se puede proporcionar al módulo de tejido de MLSL 2231. El módulo de tejido de MLSL 2231 se puede configurar entonces para supervisar el rango de direcciones en busca de actualizaciones. Cuando el rango de direcciones recibe una escritura de los datos de activación emitidos por la GPGPU 2220, el módulo de tejido de MLSL 2231 puede planificar una transferencia directamente a la interfaz de tejido 2230 para transferir los datos de activación de salida. El módulo de tejido de MLSL 2231 también se puede usar para implementar las técnicas de comunicación de hardware de punto a punto y de comunicación de grano fino descritas en el presente documento.
El protocolo soportado por la interfaz de tejido 2230 puede variar. En una realización, la interfaz de tejido 2230 es una interfaz de Ethernet de alta velocidad. En una realización, la interfaz de tejido 2230 es una interfaz de interconexión Omni-Path. En una realización, la interfaz de tejido 2230 es una interfaz InfiniBand. En una realización, la interfaz de tejido 2230 es una versión de la interfaz NVLink u otra interconexión basada en NVHS. También se pueden soportar otras tecnologías de interfaz de tejido.
Se ha de apreciar que se puede preferir un sistema menos o más equipado que el ejemplo descrito anteriormente para ciertas implementaciones. Por lo tanto, la configuración del sistema de procesamiento de datos 2200 puede variar entre implementaciones dependiendo de numerosos factores, tales como restricciones de precio, requisitos de desempeño, mejoras tecnológicas u otras circunstancias. Las realizaciones descritas en el presente documento pueden encontrar un amplio uso en entornos de entrenamiento de aprendizaje automático y de computación de alto desempeño. En consecuencia, la presente descripción prevé que el sistema de procesamiento de datos 2200 y otros sistemas informáticos y de procesamiento de datos descritos en el presente documento se implementen como un servidor o una matriz de servidores de alto desempeño dentro de un sistema informático distribuido. Tal sistema informático distribuido se puede implementar dentro de un centro de datos o una granja de servidores. Sin embargo, las realizaciones no se limitan a tal implementación, y las técnicas descritas en el presente documento también pueden encontrar uso en un sistema de cómputo distribuido a gran escala de dispositivos de desempeño inferior, tales como, pero sin limitación, dispositivos móviles o de mano, dispositivos informáticos de tipo tableta o dispositivos de electrónica de consumo conectados.
Sistema de procesamiento de gráficos ilustrativo adicional
Los detalles de los ejemplos descritos anteriormente se pueden incorporar dentro de sistemas y dispositivos de procesamiento de gráficos descritos a continuación. Los dispositivos y el sistema de procesamiento de gráficos de la Figura 23 a la Figura 36 ilustran hardware de procesamiento de gráficos y sistemas alternativos que pueden implementar todas y cada una de las técnicas descritas anteriormente.
Vista global de sistema de procesamiento de gráficos ilustrativa adicional
La Figura 23 es un diagrama de bloques de un sistema de procesamiento 2300, de acuerdo con un ejemplo. En diversos ejemplos, el sistema 2300 incluye uno o más procesadores 2302 y uno o más procesadores de gráficos 2308, y puede ser un sistema de sobremesa de procesador único, un sistema de estación de trabajo de multiprocesador o un sistema de servidor que tiene un gran número de procesadores 2302 o núcleos de procesador 2307. En un ejemplo, el sistema 2300 es una plataforma de procesamiento incorporada dentro de un circuito integrado de sistema en un chip (SoC) para su uso en dispositivos móviles, de mano o integrados.
Un ejemplo del sistema 2300 puede incluir, o incorporarse dentro de, una plataforma de juegos basada en servidor, una consola de juegos, incluyendo una consola de juegos y de medios, una consola de juegos móvil, una consola de juegos de mano o una consola de juegos en línea. En algunos ejemplos, el sistema 2300 es un teléfono móvil, un teléfono inteligente, un dispositivo informático de tipo tableta o un dispositivo de Internet móvil. El sistema de procesamiento de datos 2300 también puede incluir, acoplarse con o integrarse dentro de un dispositivo ponible, tal como un dispositivo ponible de reloj inteligente, un dispositivo de gafas inteligentes, un dispositivo de realidad aumentada o un dispositivo de realidad virtual. En algunos ejemplos, el sistema de procesamiento de datos 2300 es un dispositivo de televisión o de descodificador de salón que tiene uno o más procesadores 2302 y una interfaz gráfica generada por uno o más procesadores de gráficos 2308.
En algunos ejemplos, cada uno de los uno o más procesadores 2302 incluye uno o más núcleos de procesador 2307 para procesar instrucciones que, cuando se ejecutan, realizan operaciones para software de usuario y sistema. En algunos ejemplos, cada uno de los uno o más núcleos de procesador 2307 está configurado para procesar un conjunto de instrucciones 2309 específico. En algunos ejemplos, el conjunto de instrucciones 2309 puede facilitar el cómputo de conjunto de instrucciones complejo (CISC), el cómputo de conjunto de instrucciones reducido (RISC) o el cómputo a través de una palabra de instrucción muy larga (VLIW). Múltiples núcleos de procesador 2307 pueden procesar, cada uno, un conjunto de instrucciones 2309 diferente, que puede incluir instrucciones para facilitar la emulación de otros conjuntos de instrucciones. El núcleo de procesador 2307 también puede incluir otros dispositivos de procesamiento, tales como un procesador de señales digitales (DSP).
En algunos ejemplos, el procesador 2302 incluye la memoria caché 2304. Dependiendo de la arquitectura, el procesador 2302 puede tener una única caché interna o múltiples niveles de caché interna. En algunos ejemplos, la memoria caché se comparte entre diversos componentes del procesador 2302. En algunos ejemplos, el procesador 2302 también usa una caché externa (por ejemplo, una caché de nivel 3 (L3) o una caché de último nivel (LLC)) (no mostrada), que se puede compartir entre los núcleos de procesador 2307 usando técnicas de coherencia de caché conocidas. Se incluye adicionalmente, en el procesador 2302, un archivo de registro 2306 que puede incluir diferentes tipos de registros para almacenar diferentes tipos de datos (por ejemplo, registros de números enteros, registros de coma flotante, registros de estado y un registro de puntero de instrucción). Algunos registros pueden ser registros de propósito general, mientras que otros registros pueden ser específicos del diseño del procesador 2302.
En algunos ejemplos, el procesador 2302 está acoplado con un bus de procesador 2310 para transmitir señales de comunicación tales como señales de dirección, de datos o de control entre el procesador 2302 y otros componentes en el sistema 2300. En un ejemplo, el sistema 2300 usa una arquitectura de sistema de 'concentrador' ilustrativa, incluyendo un concentrador de controlador de memoria 2316 y un concentrador de controlador de entrada-salida (E/S) 2330. Un concentrador de controlador de memoria 2316 facilita la comunicación entre un dispositivo de memoria y otros componentes del sistema 2300, mientras que un concentrador de controlador de E/S (ICH) 2330 proporciona conexiones a dispositivos de E/S a través de un bus de E/S local. En un ejemplo, la lógica del concentrador de controlador de memoria 2316 está integrada dentro del procesador.
El dispositivo de memoria 2320 puede ser un dispositivo de memoria de acceso aleatorio dinámica (DRAM), un dispositivo de memoria de acceso aleatorio estática (SRAM), un dispositivo de memoria flash, un dispositivo de memoria de cambio de fase o algún otro dispositivo de memoria que tiene un desempeño adecuado para servir como memoria de proceso. En un ejemplo, el dispositivo de memoria 2320 puede funcionar como memoria de sistema para el sistema 2300, para almacenar los datos 2322 y las instrucciones 2321 para su uso cuando los uno o más procesadores 2302 ejecutan una aplicación o proceso. El concentrador de controlador de memoria 2316 también se acopla con un procesador de gráficos externo 2312 opcional, que se puede comunicar con los uno o más procesadores de gráficos 2308 en los procesadores 2302 para realizar operaciones de gráficos y de medios.
En algunos ejemplos, el ICH 2330 habilita que los periféricos se conecten al dispositivo de memoria 2320 y al procesador 2302 a través de un bus de E/S de alta velocidad. Los periféricos de E/S incluyen, pero sin limitación, un controlador de audio 2346, una interfaz de firmware 2328, un transceptor inalámbrico 2326 (por ejemplo, Wi-Fi, Bluetooth), un dispositivo de almacenamiento de datos 2324 (por ejemplo, unidad de disco duro, memoria flash, etc.) y un controlador de E/S heredado 2340 para acoplar dispositivos heredados (por ejemplo, de sistema personal 2 (PS/2)) al sistema. Uno o más controladores de bus serie universal (USB) 2342 conectan dispositivos de entrada, tales como combinaciones de teclado y de ratón 2344. Un controlador de red 2334 también se puede acoplar con el ICH 2330. En algunos ejemplos, un controlador de red de alto desempeño (no mostrado) se acopla con el bus de procesador 2310. Se apreciará que el sistema 2300 mostrado es ilustrativo y no limitante, debido a que también se pueden usar otros tipos de sistemas de procesamiento de datos que están configurados de manera diferente. Por ejemplo, el concentrador de controlador de E/S 2330 se puede integrar dentro de los uno o más procesadores 2302, o el concentrador de controlador de memoria 2316 y el concentrador de controlador de E/S 2330 se pueden integrar en un procesador de gráficos externo discreto, tal como el procesador de gráficos externo 2312.
La Figura 24 es un diagrama de bloques de un ejemplo de un procesador 2400 que tiene uno o más núcleos de procesador 2402A-2402N, un controlador de memoria integrado 2414 y un procesador de gráficos integrado 2408. Aquellos elementos de la Figura 24 que tienen los mismos números de referencia (o nombres) que los elementos de cualquier otra figura en el presente documento pueden operar o funcionar de cualquier manera similar a la descrita en cualquier otra parte en el presente documento, pero no se limitan a tal cosa. El procesador 2400 puede incluir núcleos adicionales hasta e incluyendo el núcleo adicional 2402N representado por los recuadros con línea discontinua. Cada uno de los núcleos de procesador 2402A-2402N incluye una o más unidades de caché internas 2404A-2404N. En algunos ejemplos, cada núcleo de procesador también tiene acceso a una o más unidades almacenadas en caché compartidas 2406.
Las unidades de caché internas 2404A-2404N y las unidades de caché compartidas 2406 representan una jerarquía de memoria caché dentro del procesador 2400. La jerarquía de memoria caché puede incluir al menos un nivel de caché de instrucciones y de datos dentro de cada núcleo de procesador y uno o más niveles de caché de nivel medio compartida, tal como una caché de Nivel 2 (L2), de Nivel 3 (L3), de Nivel 4 (L4) o de otros niveles, en donde el nivel más alto de caché antes de la memoria externa se clasifica como LLC. En algunos ejemplos, la lógica de coherencia de caché mantiene la coherencia entre las diversas unidades de caché 2406 y 2404A-2404N.
En algunos ejemplos, el procesador 2400 también puede incluir un conjunto de una o más unidades de controlador de bus 2416 y un núcleo de agente de sistema 2410. Las una o más unidades controladoras de bus 2416 gestionan un conjunto de buses de periféricos, tales como uno o más buses de interconexión de componentes periféricos (por ejemplo, PCI, PCI Express). El núcleo de agente de sistema 2410 proporciona funcionalidad de gestión para los diversos componentes de procesador. En algunos ejemplos, el núcleo de agente de sistema 2410 incluye uno o más controladores de memoria integrados 2414 para gestionar el acceso a diversos dispositivos de memoria externos (no mostrados).
En algunos ejemplos, uno o más de los núcleos de procesador 2402A-2402N incluyen soporte para múltiples hilos simultáneos. En tal ejemplo, el núcleo de agente de sistema 2410 incluye componentes para coordinar y hacer funcionar los núcleos 2402A-2402N durante un procesamiento de múltiples hilos. El núcleo de agente de sistema 2410 puede incluir adicionalmente una unidad de control de potencia (PCU), que incluye lógica y componentes para regular el estado de potencia de los núcleos de procesador 2402A-2402N y el procesador de gráficos 2408.
En algunos ejemplos, el procesador 2400 incluye adicionalmente un procesador de gráficos 2408 para ejecutar operaciones de procesamiento de gráficos. En algunos ejemplos, el procesador de gráficos 2408 se acopla con el conjunto de unidades de caché compartidas 2406 y el núcleo de agente de sistema 2410, incluyendo los uno o más controladores de memoria integrados 2414. En algunos ejemplos, un controlador de visualización 2411 está acoplado con el procesador de gráficos 2408 para controlar una salida de procesador de gráficos a una o más pantallas acopladas. En algunos ejemplos, el controlador de visualización 2411 puede ser un módulo separado acoplado con el procesador de gráficos a través de al menos una interconexión, o se puede integrar dentro del procesador de gráficos 2408 o el núcleo de agente de sistema 2410.
En algunos ejemplos, se usa una unidad de interconexión basada en anillo 2412 para acoplar los componentes internos del procesador 2400. Sin embargo, se puede usar una unidad de interconexión alternativa, tal como una interconexión de punto a punto, una interconexión conmutada u otras técnicas, incluyendo técnicas bien conocidas en la técnica. En algunos ejemplos, el procesador de gráficos 2408 se acopla con la interconexión en anillo 2412 a través de un enlace de E/S 2413.
El enlace de E/S ilustrativo 2413 representa al menos una de múltiples diversidades de interconexiones de E/S, incluyendo una interconexión de E/S en paquete que facilita la comunicación entre diversos componentes de procesador y un módulo de memoria integrado de alto desempeño 2418, tal como un módulo de eDRAM. En algunos ejemplos, cada uno de los núcleos de procesador 2402A-2402N y el procesador de gráficos 2408 usan módulos de memoria integrados 2418 como una caché de último nivel compartida.
En algunos ejemplos, los núcleos de procesador 2402A-2402N son núcleos homogéneos que ejecutan la misma arquitectura de conjunto de instrucciones. En otro ejemplo, los núcleos de procesador 2402A-2402N son heterogéneos en términos de arquitectura de conjunto de instrucciones (ISA), en donde uno o más de los núcleos de procesador 2402A-2402N ejecutan un primer conjunto de instrucciones, mientras que al menos uno de los otros núcleos ejecuta un subconjunto del primer conjunto de instrucciones o un conjunto de instrucciones diferente. En un ejemplo, los núcleos de procesador 2402A-2402N son heterogéneos en términos de microarquitectura, en donde uno o más núcleos que tienen un consumo de energía relativamente superior se acoplan con uno o más núcleos de potencia que tienen un consumo de energía inferior. Adicionalmente, el procesador 2400 se puede implementar en uno o más chips o como un circuito integrado de SoC que tiene los componentes ilustrados, además de otros componentes.
La Figura 25 es un diagrama de bloques de un procesador de gráficos 2500, que puede ser una unidad de procesamiento de gráficos discreta, o puede ser un procesador de gráficos integrado con una pluralidad de núcleos de procesamiento. En algunos ejemplos, el procesador de gráficos se comunica, a través de una interfaz de E/S correlacionada con memoria, con registros en el procesador de gráficos y con comandos colocados en la memoria de procesador. En algunos ejemplos, el procesador de gráficos 2500 incluye una interfaz de memoria 2514 para acceder a memoria. La interfaz de memoria 2514 puede ser una interfaz a memoria local, una o más cachés internas, una o más cachés externas compartidas y/o a memoria de sistema.
En algunos ejemplos, el procesador de gráficos 2500 también incluye un controlador de visualización 2502 para controlar unos datos de salida de visualización a un dispositivo de visualización 2520. El controlador de visualización 2502 incluye hardware para uno o más planos de superposición para la visualización y composición de múltiples capas de elementos de interfaz de usuario o de vídeo. En algunos ejemplos, el procesador de gráficos 2500 incluye un motor de códec de vídeo 2506 para codificar, descodificar o transcodificar medios a, desde o entre uno o más formatos de codificación de medios, incluyendo, pero sin limitación, formatos del Grupo de Expertos en Imágenes en Movimiento (MPEG) tales como m PeG-2, formatos de Codificación de Vídeo Avanzada (Av C) tales como H.264/MPEG-4 AVC, así como de la Sociedad de Ingenieros de Imágenes en Movimiento y de Televisión (SMPTE) 421M/VC-1 y formatos del Grupo Conjunto de Expertos en Fotografía (JPEG) tales como los formatos JPEG y Motion JPEG (MJPEG).
En algunos ejemplos, el procesador de gráficos 2500 incluye un motor de transferencia de imágenes en bloque (BLIT) 2504 para realizar operaciones de rasterizador bidimensionales (2D), incluyendo, por ejemplo, transferencias de bloque de frontera de bits. Sin embargo, en un ejemplo, se realizan operaciones de gráficos 2D usando uno o más componentes del motor de procesamiento de gráficos (GPE) 2510. En algunos ejemplos, el GPE 2510 es un motor de cómputo para realizar operaciones de gráficos, incluyendo operaciones de gráficos tridimensionales (3D) y operaciones de medios.
En algunos ejemplos, el GPE 310 incluye una canalización de 3D 2512 para realizar operaciones 3D, tales como representar imágenes y escenas tridimensionales usando funciones de procesamiento que actúan sobre formas de primitivas 3D (por ejemplo, rectángulo, triángulo, etc.). La canalización de 3D 2512 incluye elementos de función programable y fija que realizan diversas tareas dentro del elemento y/o generan hilos de ejecución en un subsistema de 3D/de medios 2515. Aunque la canalización de 3D 2512 se puede usar para realizar operaciones de medios, un ejemplo del GPE 2510 también incluye una canalización de medios 2516 que se usa específicamente para realizar operaciones de medios, tales como post-procesamiento de vídeo y potenciación de imagen.
En algunos ejemplos, la canalización de medios 2516 incluye unidades de lógica programable o de función fija para realizar una o más operaciones de medios especializadas, tales como aceleración de descodificación de vídeo, desentrelazado de vídeo y aceleración de codificación de vídeo en lugar o en nombre del motor de códec de vídeo 2506. En algunos ejemplos, la canalización de medios 2516 incluye adicionalmente una unidad de generación de hilos para generar hilos para su ejecución en el subsistema de 3D/de medios 2515. Los hilos generados realizan cómputos para las operaciones de medios en una o más unidades de ejecución de gráficos incluidas en el subsistema de 3D/de medios 2515.
En algunos ejemplos, el subsistema de 3D/de medios 2515 incluye lógica para ejecutar hilos generados por la canalización de 3D 2512 y la canalización de medios 2516. En un ejemplo, las canalizaciones envían solicitudes de ejecución de hilos al subsistema de 3D/de medios 2515, incluyendo lógica de despacho de hilos para arbitrar y despachar las diversas solicitudes a recursos de ejecución de hilos disponibles. Los recursos de ejecución incluyen una matriz de unidades de ejecución de gráficos para procesar los hilos de 3D y de medios. En algunos ejemplos, el subsistema de 3D/de medios 2515 incluye una o más cachés internas para datos e instrucciones de hilo. En algunos ejemplos, el subsistema también incluye memoria compartida, incluyendo registros y memoria direccionable, para compartir datos entre hilos y para almacenar datos de salida.
Motor de procesamiento de gráficos adicional ilustrativo
La Figura 26 es un diagrama de bloques de un motor de procesamiento de gráficos 2610 de un procesador de gráficos de acuerdo con algunos ejemplos. En un ejemplo, el motor de procesamiento de gráficos (GPE) 2610 es una versión del GPE 2510 mostrado en la Figura 25. Los elementos de la Figura 26 que tienen los mismos números de referencia (o nombres) que los elementos de cualquier otra figura en el presente documento pueden operar o funcionar de cualquier manera similar a la descrita en cualquier otra parte en el presente documento, pero no se limitan a tal cosa. Por ejemplo, se ilustran la canalización de 3D 2512 y la canalización de medios 2516 de la Figura 25. La canalización de medios 2516 es opcional en algunos ejemplos del GPE 2610 y puede no incluirse explícitamente dentro del GPE 2610. Por ejemplo, y en al menos un ejemplo, un procesador de medios y/o de imágenes separado se acopla al GPE 2610.
En algunos ejemplos, el GPE 2610 se acopla con o incluye un transmisor por flujo continuo de comandos 2603, que proporciona un flujo de comandos a la canalización de 3D 2512 y/o a las canalizaciones de medios 2516. En algunos ejemplos, el transmisor por flujo continuo de comandos 2603 está acoplado con memoria, que puede ser memoria de sistema, o una o más de memoria caché interna y memoria caché compartida. En algunos ejemplos, el transmisor por flujo continuo de comandos 2603 recibe comandos desde la memoria y envía los comandos a la canalización de 3D 2512 y/o a la canalización de medios 2516. Los comandos son directivas extraídas de una memoria intermedia en anillo, que almacena comandos para la canalización de 3D 2512 y la canalización de medios 2516. En un ejemplo, la memoria intermedia en anillo puede incluir adicionalmente memorias intermedias de comandos por lotes que almacenan lotes de múltiples comandos. Los comandos para la canalización de 3D 2512 también pueden incluir referencias a datos almacenados en memoria, tales como, pero sin limitación, datos de vértice y de geometría para la canalización de 3D 2512 y/o datos de imagen y objetos de memoria para la canalización de medios 2516. La canalización de 3D 2512 y la canalización de medios 2516 procesan los comandos y datos realizando operaciones a través de lógica dentro de las canalizaciones respectivas o despachando uno o más hilos de ejecución a una matriz de núcleo de gráficos 2614.
En diversos ejemplos, la canalización de 3D 2512 puede ejecutar uno o más programas de sombreado, tales como sombreadores de vértices, sombreadores de geometría, sombreadores de píxeles, sombreadores de fragmentos, sombreadores de cómputo u otros programas de sombreado, procesando las instrucciones y despachando hilos de ejecución a la matriz de núcleo de gráficos 2614. La matriz de núcleo de gráficos 2614 proporciona un bloque unificado de recursos de ejecución. La lógica de ejecución de múltiples propósitos (por ejemplo, unidades de ejecución) dentro de la matriz de núcleo de gráficos 2614 incluye soporte para diversos lenguajes de sombreador de API 3D y puede ejecutar múltiples hilos de ejecución simultáneos asociados con múltiples sombreadores.
En algunos ejemplos, la matriz de núcleo de gráficos 2614 también incluye lógica de ejecución para realizar funciones de medios, tales como procesamiento de vídeo y/o de imagen. En un ejemplo, las unidades de ejecución incluyen adicionalmente lógica de propósito general que es programable para realizar operaciones computacionales de propósito general paralelas, además de operaciones de procesamiento de gráficos. La lógica de propósito general puede realizar operaciones de procesamiento en paralelo o junto con lógica de propósito general dentro del núcleo o núcleos de procesador 107 de la Figura 1 o del núcleo 2402A-2402N, como en la Figura 24.
Los datos de salida generados por hilos que se ejecutan en la matriz de núcleo de gráficos 2614 pueden emitir datos a memoria en una memoria intermedia de retorno unificada (URB) 2618. La URB 2618 puede almacenar datos para múltiples hilos. En algunos ejemplos, la URB 2618 se puede usar para enviar datos entre diferentes hilos que se ejecutan en la matriz de núcleo de gráficos 2614. En algunos ejemplos, la URB 2618 se puede usar adicionalmente para la sincronización entre hilos en la matriz de núcleo de gráficos y la lógica de función fija dentro de la lógica de funciones compartidas 2620.
En algunos ejemplos, la matriz de núcleos de gráficos 2614 es ajustable a escala, de manera que la matriz incluye un número variable de núcleos de gráficos, teniendo cada uno un número variable de unidades de ejecución basándose en la potencia objetivo y en el nivel de desempeño del GPE 2610. En un ejemplo, los recursos de ejecución son dinámicamente ajustables a escala, de manera que los recursos de ejecución se pueden habilitar o deshabilitar según sea necesario.
La matriz de núcleo de gráficos 2614 se acopla con la lógica de funciones compartidas 2620 que incluye múltiples recursos que se comparten entre los núcleos de gráficos en la matriz de núcleo de gráficos. Las funciones compartidas dentro de la lógica de funciones compartidas 2620 son unidades de lógica de hardware que proporcionan una funcionalidad complementaria especializada a la matriz de núcleo de gráficos 2614. En diversos ejemplos, la lógica de funciones compartidas 2620 incluye, pero sin limitación, la lógica del muestreador 2621, del cálculo matemático 2622 y de la comunicación entre hilos (ITC) 2623. Adicionalmente, algunos ejemplos implementan una o más cachés 2625 dentro de la lógica de funciones compartidas 2620. Se implementa una función compartida donde la demanda de una función especializada dada es insuficiente para su inclusión dentro de la matriz de núcleo de gráficos 2614. En su lugar, una única instanciación de esa función especializada se implementa como una entidad autónoma en la lógica de funciones compartidas 2620 y se comparte entre los recursos de ejecución dentro de la matriz de núcleo de gráficos 2614. El conjunto preciso de funciones que se comparten entre la matriz de núcleo de gráficos 2614 y se incluyen dentro de la matriz de núcleo de gráficos 2614 varía entre ejemplos.
La Figura 27 es un diagrama de bloques de otro ejemplo de un procesador de gráficos 2700. Los elementos de la Figura 27 que tienen los mismos números de referencia (o nombres) que los elementos de cualquier otra figura en el presente documento pueden operar o funcionar de cualquier manera similar a la descrita en cualquier otra parte en el presente documento, pero no se limitan a tal cosa.
En algunos ejemplos, el procesador de gráficos 2700 incluye una interconexión en anillo 2702, un extremo frontal de canalización 2704, un motor de medios 2737 y unos núcleos de gráficos 2780A-2780N. En algunos ejemplos, la interconexión en anillo 2702 acopla el procesador de gráficos a otras unidades de procesamiento, incluyendo otros procesadores de gráficos o uno o más núcleos de procesador de propósito general. En algunos ejemplos, el procesador de gráficos es uno de muchos procesadores integrados dentro de un sistema de procesamiento de múltiples núcleos.
En algunos ejemplos, el procesador de gráficos 2700 recibe lotes de comandos a través de la interconexión en anillo 2702. Los comandos entrantes son interpretados por un transmisor por flujo continuo de comandos 2703 en el extremo frontal de canalización 2704. En algunos ejemplos, el procesador de gráficos 2700 incluye lógica de ejecución ajustable a escala para realizar un procesamiento de geometría 3D y un procesamiento de medios a través del núcleo o núcleos de gráficos 2780A-2780N. Para los comandos de procesamiento de geometría 3D, el transmisor por flujo continuo de comandos 2703 suministra comandos a la canalización de geometría 2736. Para al menos algunos comandos de procesamiento de medios, el transmisor por flujo continuo de comandos 2703 suministra los comandos a un extremo frontal de vídeo 2734, que se acopla con un motor de medios 2737. En algunos ejemplos, el motor de medios 2737 incluye un motor de calidad de vídeo (VQE) 2730 para el post-procesamiento de vídeo y de imagen y un motor de codificación/descodificación (MFX) de múltiples formatos 2733 para proporcionar una codificación y descodificación de datos de medios acelerada por hardware. En algunos ejemplos, la canalización de geometría 2736 y el motor de medios 2737 generan, cada uno, hilos de ejecución para los recursos de ejecución de hilos proporcionados por al menos un núcleo de gráficos 2780A.
En algunos ejemplos, el procesador de gráficos 2700 incluye recursos de ejecución de hilos ajustables a escala que cuentan con los núcleos modulares 2780A-2780N (denominados, en ocasiones, cortes de núcleo), teniendo cada uno múltiples subnúcleos 2750A-550N, 2760A-2760N (denominados, en ocasiones, subcortes de núcleo). En algunos ejemplos, el procesador de gráficos 2700 puede tener cualquier número de núcleos de gráficos 2780A a 2780N. En algunos ejemplos, el procesador de gráficos 2700 incluye un núcleo de gráficos 2780A que tiene al menos un primer subnúcleo 2750A y un segundo subnúcleo 2760A. En otros ejemplos, el procesador de gráficos es un procesador de baja potencia con un único subnúcleo (por ejemplo, 2750A). En algunos ejemplos, el procesador de gráficos 2700 incluye múltiples núcleos de gráficos 2780A-2780N, incluyendo cada uno un conjunto de primeros subnúcleos 2750A-2750N y un conjunto de segundos subnúcleos 2760A-2760N. Cada subnúcleo en el conjunto de primeros subnúcleos 2750A-2750N incluye al menos un primer conjunto de unidades de ejecución 2752A-2752N y muestreadores de medios/texturas 2754A-2754N. Cada subnúcleo en el conjunto de segundos subnúcleos 2760A-2760N incluye al menos un segundo conjunto de unidades de ejecución 2762A-2762N y muestreadores 2764A-2764N. En algunos ejemplos, cada subnúcleo 2750A-2750N, 2760A-2760N comparte un conjunto de recursos compartidos 2770A-2770N. En algunos ejemplos, los recursos compartidos incluyen memoria caché compartida y lógica de operación de píxel. También se pueden incluir otros recursos compartidos en los diversos ejemplos del procesador de gráficos.
Unidades de ejecución adicionales ilustrativas
La Figura 28 ilustra la lógica de ejecución de hilos 2800 que incluye una matriz de elementos de procesamiento empleados en algunos ejemplos de un GPE. Los elementos de la Figura 28 que tienen los mismos números de referencia (o nombres) que los elementos de cualquier otra figura en el presente documento pueden operar o funcionar de cualquier manera similar a la descrita en cualquier otra parte en el presente documento, pero no se limitan a tal cosa.
En algunos ejemplos, la lógica de ejecución de hilos 2800 incluye un procesador de sombreado 2802, un despachador de hilos 2804, una caché de instrucciones 2806, una matriz de unidades de ejecución ajustable a escala que incluye una pluralidad de unidades de ejecución 2808A-2808N, un muestreador 2810, una caché de datos 2812 y un puerto de datos 2814. En un ejemplo, la matriz de unidades de ejecución ajustable a escala puede realizar un ajuste a escala dinámico habilitando o deshabilitando una o más unidades de ejecución (por ejemplo, cualquiera de las unidades de ejecución 2808A, 2808B, 2808C, 2808D a 2808N-1 y 2808N) basándose en los requisitos computacionales de una carga de trabajo. En un ejemplo, los componentes incluidos están interconectados a través de un tejido de interconexión que se enlaza con cada uno de los componentes. En algunos ejemplos, la lógica de ejecución de hilos 2800 incluye una o más conexiones a memoria, tales como memoria de sistema o memoria caché, a través de una o más de la caché de instrucciones 2806, el puerto de datos 2814, el muestreador 2810 y las unidades de ejecución 2808A-2808N. En algunos ejemplos, cada unidad de ejecución (por ejemplo, 2808A) es una unidad computacional de propósito general programable autónoma que es capaz de ejecutar múltiples hilos de hardware simultáneos mientras se procesan múltiples elementos de datos en paralelo para cada hilo. En diversos ejemplos, la matriz de unidades de ejecución 2808A-2808N es ajustable a escala para incluir cualquier número de unidades de ejecución individuales.
En algunos ejemplos, las unidades de ejecución 2808A-2808N se usan principalmente para ejecutar programas de sombreado. Un procesador de sombreado 2802 puede procesar los diversos programas de sombreado y despachar hilos de ejecución asociados con los programas de sombreado a través de un despachador de hilos 2804. En un ejemplo, el despachador de hilos incluye lógica para arbitrar solicitudes de iniciación de hilo desde las canalizaciones de gráficos y de medios e instanciar los hilos solicitados en una o más unidades de ejecución en las unidades de ejecución 2808A-2808N. Por ejemplo, la canalización de geometría (por ejemplo, 2736 de la Figura 27) puede despachar sombreadores de vértices, de teselación o de geometría a la lógica de ejecución de hilos 2800 (la Figura 28) para su procesamiento. En algunos ejemplos, el despachador de hilos 2804 también puede procesar solicitudes de generación de hilos en tiempo de ejecución desde los programas de sombreado en ejecución.
En algunos ejemplos, las unidades de ejecución 2808A-2808N soportan un conjunto de instrucciones que incluye soporte nativo para muchas instrucciones de sombreador de gráficos 3D convencionales, de manera que programas de sombreado desde bibliotecas de gráficos (por ejemplo, Direct 3D y OpenGL) se ejecutan con una traducción mínima. Las unidades de ejecución soportan un procesamiento de vértices y de geometría (por ejemplo, programas de vértices, programas de geometría, sombreadores de vértices), un procesamiento de píxeles (por ejemplo, sombreadores de píxeles, sombreadores de fragmentos) y un procesamiento de propósito general (por ejemplo, sombreadores de cómputo y de medios). Cada una de las unidades de ejecución 2808A-2808N es capaz de múltiples emisiones de una ejecución de una única instrucción - múltiples datos (SIMD), y un funcionamiento de múltiples hilos habilita un entorno de ejecución eficiente frente a accesos de memoria de latencia superior. Cada hilo de hardware dentro de cada unidad de ejecución tiene un archivo de registro de ancho de banda alto dedicado y un estado de hilo independiente asociado. La ejecución es de múltiples emisiones por reloj a canalizaciones capaces de realizar operaciones de números enteros, de coma flotante de precisión sencilla y doble, capacidad de bifurcación de SIMD, operaciones lógicas, operaciones trascendentales y otras operaciones misceláneas. Mientras se esperan datos desde memoria o una de las funciones compartidas, una lógica de dependencia dentro de las unidades de ejecución 2808A-2808N hace que un hilo en espera pase a estar inactivo hasta que se hayan devuelto los datos solicitados. Mientras el hilo en espera está inactivo, se pueden dedicar recursos de hardware a procesar otros hilos. Por ejemplo, durante un retardo asociado con una operación de sombreador de vértices, una unidad de ejecución puede realizar operaciones para un sombreador de píxeles, un sombreador de fragmentos u otro tipo de programa de sombreado, incluyendo un sombreador de vértices diferente.
Cada unidad de ejecución en las unidades de ejecución 2808A-2808N opera sobre matrices de elementos de datos. El número de elementos de datos es el "tamaño de ejecución" o el número de canales para la instrucción. Un canal de ejecución es una unidad lógica de ejecución para el acceso, enmascaramiento y control de flujo de elementos de datos dentro de las instrucciones. El número de canales puede ser independiente del número de Unidades Aritméticas Lógicas (ALU) o Unidades de Coma Flotante (FPU) físicas para un procesador de gráficos particular. En algunos ejemplos, las unidades de ejecución 2808A-2808N soportan tipos de datos de números enteros y de coma flotante.
El conjunto de instrucciones de unidad de ejecución incluye instrucciones de SIMD. Los diversos elementos de datos se pueden almacenar como un tipo de datos empaquetados en un registro y la unidad de ejecución procesará los diversos elementos basándose en el tamaño de datos de los elementos. Por ejemplo, cuando se opera sobre un vector de 256 bits de ancho, los 256 bits del vector se almacenan en un registro y la unidad de ejecución opera sobre el vector como cuatro elementos de datos empaquetados de 64 bits separados (elementos de datos de tamaño de palabra cuádruple (QW)), ocho elementos de datos empaquetados de 32 bits separados (elementos de datos de tamaño de palabra doble (DW)), dieciséis elementos de datos empaquetados de 16 bits separados (elementos de datos de tamaño de palabra (W)) o treinta y dos elementos de datos de 8 bits separados (elementos de datos de tamaño de byte (B)). Sin embargo, son posibles diferentes anchuras de vector y tamaños de registro.
Una o más cachés de instrucciones internas (por ejemplo, 2806) se incluyen en la lógica de ejecución de hilos 2800 para almacenar en caché instrucciones de hilo para las unidades de ejecución. En algunos ejemplos, se incluyen una o más cachés de datos (por ejemplo, 2812) para almacenar en caché datos de hilo durante la ejecución de hilo. En algunos ejemplos, se incluye un muestreador 2810 para proporcionar un muestreo de textura para operaciones 3D y muestreo de medios para operaciones de medios. En algunos ejemplos, el muestreador 2810 incluye una funcionalidad de muestreo de textura o de medios especializada para procesar datos de textura o de medios durante el proceso de muestreo antes de proporcionar los datos muestreados a una unidad de ejecución.
Durante la ejecución, las canalizaciones de gráficos y de medios envían solicitudes de iniciación de hilo a la lógica de ejecución de hilos 2800 a través de lógica de generación y de despacho de hilos. Una vez que se ha procesado y rasterizado un grupo de objetos geométricos para dar datos de píxel, se invoca lógica de procesador de píxeles (por ejemplo, lógica de sombreado de píxeles, lógica de sombreado de fragmentos, etc.) dentro del procesador de sombreado 2802 para computar adicionalmente información de salida y hacer que se escriban resultados para emitir superficies (por ejemplo, memorias intermedias de color, memorias intermedias de profundidad, memorias intermedias de estarcido, etc.). En algunos ejemplos, un sombreador de píxeles o un sombreador de fragmentos calcula los valores de los diversos atributos de vértice que se van a interpolar a lo largo del objeto rasterizado. En algunos ejemplos, una lógica de procesador de píxeles dentro del procesador de sombreado 2802 ejecuta entonces un programa de sombreado de píxeles o de fragmentos suministrado por interfaz de programación de aplicaciones (API). Para ejecutar el programa de sombreado, el procesador de sombreado 2802 despacha hilos a una unidad de ejecución (por ejemplo, 2808A) a través del despachador de hilos 2804. En algunos ejemplos, el sombreador de píxeles 2802 usa una lógica de muestreo de textura en el muestreador 2810 para acceder a datos de textura en correlaciones de textura almacenadas en memoria. Operaciones aritméticas sobre los datos de textura y los datos de geometría de entrada computan datos de color de píxel para cada fragmento geométrico, o descartan el procesamiento adicional de uno o más píxeles.
En algunos ejemplos, el puerto de datos 2814 proporciona un mecanismo de acceso de memoria para que la lógica de ejecución de hilos 2800 emita datos procesados a memoria para su procesamiento en una canalización de salida de procesador de gráficos. En algunos ejemplos, el puerto de datos 2814 incluye o se acopla a una o más memorias caché (por ejemplo, la caché de datos 2812) para almacenar en caché datos para un acceso de memoria a través del puerto de datos.
La Figura 29 es un diagrama de bloques que ilustra unos formatos de instrucción de procesador de gráficos 2900 de acuerdo con algunos ejemplos. En uno o más ejemplos, las unidades de ejecución de procesador de gráficos soportan un conjunto de instrucciones que tiene instrucciones en múltiples formatos. Los cuadros con línea continua ilustran los componentes que se incluyen, en general, en una instrucción de unidad de ejecución, mientras que las líneas discontinuas incluyen componentes que son opcionales o que solo se incluyen en un subconjunto de las instrucciones. En algunos ejemplos, el formato de instrucción 2900 descrito e ilustrado son macro-instrucciones, en el sentido de que las mismas son instrucciones suministradas a la unidad de ejecución, en contraposición a micro-operaciones resultantes de la descodificación de instrucciones una vez que se ha procesado la instrucción.
En algunos ejemplos, las unidades de ejecución de procesador de gráficos soportan de manera nativa instrucciones en un formato de instrucción de 128 bits 2910. Un formato de instrucción compactado de 64 bits 2930 está disponible para algunas instrucciones basándose en la instrucción, las opciones de instrucción y el número de operandos seleccionados. El formato de instrucción de 128 bits nativo 710 proporciona acceso a todas las opciones de instrucción, mientras que algunas opciones y operaciones están restringidas en el formato de 64 bits 2930. Las instrucciones nativas disponibles en el formato de 64 bits 2930 varían según el ejemplo. En algunos ejemplos, la instrucción se compacta en parte usando un conjunto de valores de índice en un campo de índice 2913. El hardware de unidad de ejecución consulta un conjunto de tablas de compactación basándose en los valores de índice y usa las salidas de tabla de compactación para reconstruir una instrucción nativa en el formato de instrucción de 128 bits 2910.
Para cada formato, el código de operación de instrucción 2912 define la operación que ha de realizar la unidad de ejecución. Las unidades de ejecución ejecutan cada instrucción en paralelo a lo largo de los múltiples elementos de datos de cada operando. Por ejemplo, en respuesta a una instrucción de suma, la unidad de ejecución realiza una operación de suma simultánea a lo largo de cada canal de color que representa un elemento de textura o un elemento de imagen. Por defecto, la unidad de ejecución ejecuta cada instrucción a lo largo de todos los canales de datos de los operandos. En algunos ejemplos, el campo de control de instrucción 2914 habilita el control sobre ciertas opciones de ejecución, tales como la selección de canales (por ejemplo, predicación) y el orden de canal de datos (por ejemplo, referenciación). Para instrucciones en el formato de instrucción de 128 bits 2910, un campo de tamaño de ejecución 2916 limita el número de canales de datos que se ejecutarán en paralelo. En algunos ejemplos, el campo de tamaño de ejecución 2916 no está disponible para su uso en el formato de instrucción compacto de 64 bits 2930.
Algunas instrucciones de unidad de ejecución tienen hasta tres operandos, incluyendo dos operandos de origen, src0 2920, src1 2922 y un destino 2918. En algunos ejemplos, las unidades de ejecución soportan instrucciones de destino dual, en donde uno de los destinos está implícito. Las instrucciones de manipulación de datos pueden tener un tercer operando de origen (por ejemplo, SRC2 2924), en donde el código de operación de instrucción 2912 determina el número de operandos de origen. El último operando de origen de una instrucción puede ser un valor inmediato (por ejemplo, codificado de manera rígida) pasado con la instrucción.
En algunos ejemplos, el formato de instrucción de 128 bits 2910 incluye un campo de modo de acceso/dirección 2926 que especifica, por ejemplo, si se usa el modo de direccionamiento de registro directo o el modo de direccionamiento de registro indirecto. Cuando se usa el modo de direccionamiento de registro directo, la dirección de registro de uno o más operandos es proporcionada directamente por bits en la instrucción.
En algunos ejemplos, el formato de instrucción de 128 bits 2910 incluye un campo de modo de dirección/acceso 2926, que especifica un modo de dirección y/o un modo de acceso para la instrucción. En un ejemplo, el modo de acceso se usa para definir una alineación de acceso de datos para la instrucción. Algunos ejemplos soportan modos de acceso que incluyen un modo de acceso alineado de 16 bytes y un modo de acceso alineado de 1 byte, en donde la alineación de bytes del modo de acceso determina la alineación de acceso de los operandos de instrucción. Por ejemplo, cuando está en un primer modo, la instrucción puede usar un direccionamiento alineado por byte para los operandos de origen y de destino y, cuando está en un segundo modo, la instrucción puede usar un direccionamiento alineado por 16 bytes para todos los operandos de origen y de destino.
En un ejemplo, la porción de modo de dirección del campo de modo de acceso/dirección 2926 determina si la instrucción va a usar un direccionamiento directo o indirecto. Cuando se usa el modo de direccionamiento de registro directo, bits en la instrucción proporcionan directamente la dirección de registro de uno o más operandos. Cuando se usa un modo de direccionamiento de registro indirecto, la dirección de registro de uno o más operandos se puede computar basándose en un valor de registro de dirección y un campo inmediato de dirección en la instrucción.
En algunos ejemplos, las instrucciones se agrupan basándose en los campos de bits del código de operación 2912 para simplificar la descodificación de código de operación 2940. Para un código de operación de 8 bits, los bits 4, 5 y 6 permiten que la unidad de ejecución determine el tipo de código de operación. La agrupación de código de operación precisa mostrada es simplemente un ejemplo. En algunos ejemplos, un grupo de código de operación de movimiento y de lógica 2942 incluye instrucciones de movimiento y de lógica de datos (por ejemplo, mover (mov), comparar (cmp)). En algunos ejemplos, el grupo de movimiento y de lógica 2942 comparte los cinco bits más significativos (MSB), en donde las instrucciones de movimiento (mov) están en forma de 0000xxxxb y las instrucciones de lógica están en forma de 0001xxxxb. Un grupo de instrucciones de control de flujo 2944 (por ejemplo, llamada, salto (jmp)) incluye instrucciones en forma de 0010xxxxb (por ejemplo, 0x20). Un grupo de instrucciones misceláneas 2946 incluye una mezcla de instrucciones, incluyendo instrucciones de sincronización (por ejemplo, espera, envío) en forma de 001 1xxxxb (por ejemplo, 0x30). Un grupo de instrucciones de cálculo matemático paralelo 2948 incluye instrucciones aritméticas a nivel de componente (por ejemplo, suma, multiplicación (mul)) en forma de 0100xxxxb (por ejemplo, 0x40). El grupo de cálculo matemático paralelo 2948 realiza las operaciones aritméticas en paralelo a lo largo de canales de datos. El grupo de cálculo matemático vectorial 2950 incluye instrucciones aritméticas (por ejemplo, dp4) en forma de 0101xxxxb (por ejemplo, 0x50). El grupo de cálculo matemático vectorial realiza aritmética tal como cálculos de producto escalar sobre operandos de vectores.
Canalización de gráficos adicional ilustrativa
La Figura 30 es un diagrama de bloques de otro ejemplo de un procesador de gráficos 3000. Los elementos de la Figura 30 que tienen los mismos números de referencia (o nombres) que los elementos de cualquier otra figura en el presente documento pueden operar o funcionar de cualquier manera similar a la descrita en cualquier otra parte en el presente documento, pero no se limitan a tal cosa.
En algunos ejemplos, el procesador de gráficos 3000 incluye una canalización de gráficos 3020, una canalización de medios 3030, un motor de visualización 3040, una lógica de ejecución de hilos 3050 y una canalización de salida de representación 3070. En algunos ejemplos, el procesador de gráficos 3000 es un procesador de gráficos dentro de un sistema de procesamiento de múltiples núcleos que incluye uno o más núcleos de procesamiento de propósito general. El procesador de gráficos es controlado por escrituras de registro en uno o más registros de control (no mostrados) o a través de comandos emitidos al procesador de gráficos 3000 a través de una interconexión en anillo 3002. En algunos ejemplos, la interconexión en anillo 3002 acopla el procesador de gráficos 3000 a otros componentes de procesamiento, tales como otros procesadores de gráficos o procesadores de propósito general. Los comandos desde la interconexión en anillo 3002 son interpretados por un transmisor por flujo continuo de comandos 3003, que suministra instrucciones a componentes individuales de la canalización de gráficos 3020 o la canalización de medios 3030.
En algunos ejemplos, el transmisor por flujo continuo de comandos 3003 dirige el funcionamiento de un extractor de vértices 3005 que lee datos de vértice desde memoria y ejecuta comandos de procesamiento de vértices proporcionados por el transmisor por flujo continuo de comandos 3003. En algunos ejemplos, el extractor de vértices 3005 proporciona datos de vértice a un sombreador de vértices 3007, que realiza operaciones de transformación y de iluminación de espacio de coordenadas en cada vértice. En algunos ejemplos, el extractor de vértices 3005 y el sombreador de vértices 3007 ejecutan instrucciones de procesamiento de vértices despachando hilos de ejecución a las unidades de ejecución 3052A-3052B a través de un despachador de hilos 3031.
En algunos ejemplos, las unidades de ejecución 3052A-3052B son una matriz de procesadores de vectores que tienen un conjunto de instrucciones para realizar operaciones de gráficos y de medios. En algunos ejemplos, las unidades de ejecución 3052A-3052B tienen una caché de L1 3051 anexada que es específica para cada matriz o que se comparte entre las matrices. La caché se puede configurar como una caché de datos, una caché de instrucciones o una única caché que se subdivide para contener datos e instrucciones en diferentes subdivisiones.
En algunos ejemplos, la canalización de gráficos 3020 incluye componentes de teselado para realizar un teselado acelerado por hardware de objetos 3D. En algunos ejemplos, un sombreador de casco programable 811 configura las operaciones de teselado. Un sombreador de dominio programable 817 proporciona una evaluación de extremo trasero de la salida de teselado. Un teselador 3013 opera en la dirección del sombreador de casco 3011 y contiene una lógica de propósito especial para generar un conjunto de objetos geométricos detallados basándose en un modelo geométrico grueso que se proporciona como entrada a la canalización de gráficos 3020. En algunos ejemplos, si no se usa el teselado, se pueden sortear los componentes de teselado (por ejemplo, el sombreador de casco 3011, el teselador 3013 y el sombreador de dominio 3017).
En algunos ejemplos, objetos geométricos completos pueden ser procesados por un sombreador de geometría 3019 a través de uno o más hilos despachados a las unidades de ejecución 3052A-3052B, o puede avanzar directamente al recortador 3029. En algunos ejemplos, el sombreador de geometría opera sobre objetos geométricos enteros, en lugar de vértices o parches de vértices como en fases previas de la canalización de gráficos. Si la teselación está deshabilitada, el sombreador de geometría 3019 recibe una entrada desde el sombreador de vértices 3007. En algunos ejemplos, el sombreador de geometría 3019 se puede programar mediante un programa de sombreado de geometría para realizar un teselado de geometría si las unidades de teselado están deshabilitadas.
Antes de la rasterización, un recortador 3029 procesa datos de vértice. El recortador 3029 puede ser un recortador de función fija o un recortador programable que tiene funciones de recorte y de sombreador de geometría. En algunos ejemplos, un componente de prueba de rasterizador y de profundidad 3073 en la canalización de salida de representación 3070 despacha sombreadores de píxeles para convertir los objetos geométricos en sus representaciones por píxel. En algunos ejemplos, la lógica de sombreado de píxeles se incluye en la lógica de ejecución de hilos 3050. En algunos ejemplos, una aplicación puede sortear el componente de prueba de rasterizador y de profundidad 3073 y acceder a datos de vértice sin rasterizar a través de una unidad de salida de flujo 3023.
El procesador de gráficos 3000 tiene un bus de interconexión, un tejido de interconexión o algún otro mecanismo de interconexión que permite el paso de datos y de mensajes entre los componentes principales del procesador. En algunos ejemplos, las unidades de ejecución 3052A-3052B y la caché o cachés 3051 asociadas, el muestreador de textura y de medios 3054 y la caché de textura/muestreador 3058 se interconectan a través de un puerto de datos 3056 para realizar un acceso de memoria y comunicarse con componentes de canalización de salida de representación del procesador. En algunos ejemplos, el muestreador 3054, las cachés 3051,3058 y las unidades de ejecución 3052A-3052B tienen, cada uno, rutas de acceso de memoria separadas.
En algunos ejemplos, la canalización de salida de representación 3070 contiene un componente de prueba de rasterizador y de profundidad 3073 que convierte objetos basados en vértices en una representación basada en píxeles asociada. En algunos ejemplos, la lógica de rasterizador incluye una unidad generadora de ventanas/enmascaradora para realizar una rasterización de líneas y de triángulos de función fija. Una caché de representación 3078 y una caché de profundidad 3079 asociadas también están disponibles en algunos ejemplos. Un componente de operaciones de píxel 3077 realiza operaciones basadas en píxeles sobre los datos, aunque, en algunas instancias, las operaciones de píxel asociadas con operaciones 2D (por ejemplo, transferencias de imagen de bloque de bits con mezcla) son realizadas por el motor 2D 3041, o son sustituidas en el momento de la visualización por el controlador de visualización 3043 usando planos de visualización de superposición. En algunos ejemplos, está disponible una caché de L3 compartida 3075 para todos los componentes de gráficos, permitiendo la compartición de datos sin el uso de memoria de sistema principal.
En algunos ejemplos, la canalización de medios de procesador de gráficos 3030 incluye un motor de medios 3037 y un extremo frontal de vídeo 3034. En algunos ejemplos, el extremo frontal de vídeo 3034 recibe comandos de canalización desde el transmisor por flujo continuo de comandos 3003. En algunos ejemplos, la canalización de medios 3030 incluye un transmisor por flujo continuo de comandos separado. En algunos ejemplos, el extremo frontal de vídeo 3034 procesa comandos de medios antes de enviar el comando al motor de medios 3037. En algunos ejemplos, el motor de medios 3037 incluye una funcionalidad de generación de hilos para generar hilos para despacharlos a la lógica de ejecución de hilos 3050 a través del despachador de hilos 3031.
En algunos ejemplos, el procesador de gráficos 3000 incluye un motor de visualización 3040. En algunos ejemplos, el motor de visualización 3040 es externo al procesador de gráficos 3000 y se acopla con el procesador de gráficos a través de la interconexión en anillo 3002, o algún otro bus o tejido de interconexión. En algunos ejemplos, el motor de visualización 3040 incluye un motor 2D 3041 y un controlador de visualización 3043. En algunos ejemplos, el motor de visualización 3040 contiene una lógica de propósito especial capaz de funcionar independientemente de la canalización de 3D. En algunos ejemplos, el controlador de visualización 3043 se acopla con un dispositivo de visualización (no mostrado), que puede ser un dispositivo de visualización integrado en sistema, como en un ordenador portátil, o un dispositivo de visualización externo anexado a través de un conector de dispositivo de visualización.
En algunos ejemplos, la canalización de gráficos 3020 y la canalización de medios 3030 se pueden configurar para realizar operaciones basándose en múltiples interfaces de programación de gráficos y de medios y no son específicas de ninguna interfaz de programación de aplicaciones (API) concreta. En algunos ejemplos, software de controlador para el procesador de gráficos traduce llamadas de API que son específicas de una biblioteca de medios o de gráficos particular a comandos que pueden ser procesados por el procesador de gráficos. En algunos ejemplos, se proporciona soporte para la Biblioteca de Gráficos Abierta (OpenGL), Lenguaje Informático Abierto (OpenCL) y/o API de gráficos y de cómputo Vulkan, todas ellas del grupo Khronos. En algunos ejemplos, también se puede proporcionar soporte para la biblioteca Direct3D de Microsoft Corporation. En algunos ejemplos, se puede soportar una combinación de estas bibliotecas. También se puede proporcionar soporte para la Biblioteca de Visión por Ordenador de Código Abierto (OpenCV). También se soportaría una API futura con una canalización de 3D compatible si se puede hacer una correlación desde la canalización de la API futura a la canalización del procesador de gráficos.
Programación de canalización de gráficos
La Figura 31A es un diagrama de bloques que ilustra un formato de comando de procesador de gráficos 3100 de acuerdo con algunos ejemplos. La Figura 31B es un diagrama de bloques que ilustra una secuencia de comandos de procesador de gráficos 3110 de acuerdo con un ejemplo. Los cuadros con línea continua en la Figura 31A ilustran los componentes que se incluyen, en general, en un comando de gráficos, mientras que las líneas discontinuas incluyen componentes que son opcionales o que solo se incluyen en un subconjunto de los comandos de gráficos. El formato de comando de procesador de gráficos 3100 ilustrativo de la Figura 31A incluye campos de datos para identificar un cliente objetivo 3102 del comando, un código de operación (código de op.) de comando 3104 y los datos 3106 relevantes para el comando. También se incluyen un subcódigo de operación 3105 y un tamaño de comando 3108 en algunos comandos.
En algunos ejemplos, el cliente 3102 especifica la unidad de cliente del dispositivo de gráficos que procesa los datos de comando. En algunos ejemplos, un analizador de comandos de procesador de gráficos examina el campo de cliente de cada comando para acondicionar el procesamiento adicional del comando y encaminar los datos de comando a la unidad de cliente apropiada. En algunos ejemplos, las unidades de cliente de procesador de gráficos incluyen una unidad de interfaz de memoria, una unidad de representación, una unidad de 2D, una unidad de 3D y una unidad de medios. Cada unidad de cliente tiene una canalización de procesamiento correspondiente que procesa los comandos. Una vez que el comando ha sido recibido por la unidad de cliente, la unidad de cliente lee el código de operación 3104 y, si está presente, el subcódigo de operación 3105 para determinar la operación a realizar. La unidad de cliente realiza el comando usando información en el campo de datos 3106. Para algunos comandos, se espera que un tamaño de comando explícito 3108 especifique el tamaño del comando. En algunos ejemplos, el analizador de comandos determina automáticamente el tamaño de al menos algunos de los comandos basándose en el código de operación de comando. En algunos ejemplos, los comandos se alinean a través de múltiplos de una palabra doble.
El diagrama de flujo en la Figura 31B muestra una secuencia de comandos de procesador de gráficos 3110 ilustrativa. En algunos ejemplos, el software o firmware de un sistema de procesamiento de datos que cuenta con un ejemplo de un procesador de gráficos usa una versión de la secuencia de comandos mostrada para establecer, ejecutar y terminar un conjunto de operaciones de gráficos. Se muestra y se describe una secuencia de comandos de muestra solo con fines de ejemplo, debido a que los ejemplos no se limitan a estos comandos específicos o a esta secuencia de comandos. Además, los comandos se pueden emitir como un lote de comandos en una secuencia de comandos, de manera que el procesador de gráficos procesará la secuencia de comandos de manera al menos parcialmente concurrente.
En algunos ejemplos, la secuencia de comandos de procesador de gráficos 3110 puede comenzar con un comando de vaciado de canalización 3112 para hacer que cualquier canalización de gráficos activa complete los comandos actualmente pendientes para la canalización. En algunos ejemplos, la canalización de 3D 3122 y la canalización de medios 3124 no funcionan de manera concurrente. El vaciado de canalización se realiza para hacer que la canalización de gráficos activa complete cualquier comando pendiente. En respuesta a un vaciado de canalización, el analizador de comandos para el procesador de gráficos pausará el procesamiento de comandos hasta que los motores de dibujo activos completen las operaciones pendientes y se invaliden las cachés de lectura relevantes. Opcionalmente, cualquier dato en la caché de representación que se marque como 'sucio' se puede vaciar a memoria. En algunos ejemplos, el comando de vaciado de canalización 3112 se puede usar para la sincronización de canalización o antes de poner el procesador de gráficos en un estado de baja potencia.
En algunos ejemplos, se usa un comando de selección de canalización 3113 cuando una secuencia de comandos requiere que el procesador de gráficos conmute explícitamente entre canalizaciones. En algunos ejemplos, se requiere un comando de selección de canalización 3113 solo una vez dentro de un contexto de ejecución antes de emitir comandos de canalización, a menos que el contexto sea emitir comandos para ambas canalizaciones. En algunos ejemplos, se requiere un comando de vaciado de canalización 3112 inmediatamente antes de una conmutación de canalización a través del comando de selección de canalización 3113.
En algunos ejemplos, un comando de control de canalización 3114 configura una canalización de gráficos para su funcionamiento y se usa para programar la canalización de 3D 3122 y la canalización de medios 3124. En algunos ejemplos, el comando de control de canalización 3114 configura el estado de canalización para la canalización activa. En un ejemplo, el comando de control de canalización 3114 se usa para la sincronización de canalización y para borrar datos de una o más memorias caché dentro de la canalización activa antes de procesar un lote de comandos.
En algunos ejemplos, se usan comandos para el estado de memoria intermedia de retorno 3116 para configurar un conjunto de memorias intermedias de retorno para que las canalizaciones respectivas escriban datos. Algunas operaciones de canalización requieren la asignación, selección o configuración de una o más memorias intermedias de retorno en las que las operaciones escriben datos intermedios durante el procesamiento. En algunos ejemplos, el procesador de gráficos también usa una o más memorias intermedias de retorno para almacenar datos de salida y para realizar una comunicación a través de hilos. En algunos ejemplos, el estado de memoria intermedia de retorno 3116 incluye seleccionar el tamaño y el número de memorias intermedias de retorno a usar para un conjunto de operaciones de canalización.
Los comandos restantes en la secuencia de comandos difieren basándose en la canalización activa para las operaciones. Basándose en una determinación de canalización 3120, la secuencia de comandos se adapta a la canalización de 3D 3122 comenzando con el estado de canalización de 3D 3130, o a la canalización de medios 3124 comenzando en el estado de canalización de medios 3140.
Los comandos para configurar el estado de canalización de 3D 3130 incluyen comandos de ajuste de estado de 3D para estado de memoria intermedia de vértice, estado de elemento de vértice, estado de color constante, estado de memoria intermedia de profundidad y otras variables de estado que han de configurarse antes de que se procesen los comandos de primitiva 3D. Los valores de estos comandos se determinan, al menos en parte, basándose en la API 3D particular en uso. En algunos ejemplos, comandos del estado de canalización de 3D 3130 también son capaces de deshabilitar o sortear selectivamente ciertos elementos de canalización si esos elementos no se van a usar.
En algunos ejemplos, el comando de la primitiva 3D 3132 se usa para enviar primitivas 3D para que sean procesadas por la canalización de 3D. Los comandos y parámetros asociados que se pasan al procesador de gráficos a través del comando de la primitiva 3D 3132 se reenvían a la función de extracción de vértices en la canalización de gráficos. La función de extracción de vértices usa los datos de comando de la primitiva 3D 3132 para generar estructuras de datos de vértice. Las estructuras de datos de vértice se almacenan en una o más memorias intermedias de retorno. En algunos ejemplos, el comando de la primitiva 3D 3132 se usa para realizar operaciones de vértice sobre primitivas 3D a través de sombreadores de vértices. Para procesar sombreadores de vértices, la canalización de 3D 3122 despacha hilos de ejecución de sombreador a unidades de ejecución de procesador de gráficos.
En algunos ejemplos, la canalización de 3D 3122 se desencadena a través de un comando o evento de la ejecución 3134. En algunos ejemplos, una escritura de registro desencadena una ejecución de comando. En algunos ejemplos, la ejecución se desencadena a través de un comando 'ir' o 'poner en marcha' en la secuencia de comandos. En un ejemplo, la ejecución de comando se desencadena usando un comando de sincronización de canalización para vaciar la secuencia de comandos a través de la canalización de gráficos. La canalización de 3D realizará un procesamiento de geometría para las primitivas 3D. Una vez que se han completado las operaciones, los objetos geométricos resultantes se rasterizan y el motor de píxeles da color a los píxeles resultantes. También se pueden incluir comandos adicionales para controlar el sombreado de píxeles y las operaciones de extremo trasero de píxeles para esas operaciones.
En algunos ejemplos, la secuencia de comandos de procesador de gráficos 3110 sigue la ruta de la canalización de medios 3124 cuando se realizan operaciones de medios. En general, el uso específico y manera específicos de la programación para la canalización de medios 3124 depende de las operaciones de medios o de cómputo a realizar. Operaciones de descodificación de medios específicas se pueden descargar a la canalización de medios durante la descodificación de medios. En algunos ejemplos, la canalización de medios también se puede sortear y la descodificación de medios se puede realizar, en su totalidad o en parte, usando recursos proporcionados por uno o más núcleos de procesamiento de propósito general. En un ejemplo, la canalización de medios también incluye elementos para operaciones de unidad de procesador de gráficos de propósito general (GPGPU), en donde el procesador de gráficos se usa para realizar operaciones vectoriales de SIMD usando programas de sombreado computacional que no están relacionados explícitamente con la representación de primitivas de gráficos.
En algunos ejemplos, la canalización de medios 3124 se configura de una manera similar a la de la canalización de 3D 3122. Un conjunto de comandos para configurar el estado de canalización de medios 3140 se despachan o se colocan en una cola de comandos antes de los comandos de objeto de medios 3142. En algunos ejemplos, los comandos de estado de canalización de medios 3140 incluyen datos para configurar los elementos de canalización de medios que se usarán para procesar los objetos de medios. Esto incluye datos para configurar la lógica de descodificación de vídeo y de codificación de vídeo dentro de la canalización de medios, tal como el formato de codificación o de descodificación. En algunos ejemplos, los comandos para configurar el estado de canalización de medios 3140 también soportan el uso de uno o más punteros a elementos de estado "indirectos" que contienen un lote de ajustes de estado.
En algunos ejemplos, los comandos de objeto de medios 3142 suministran punteros a objetos de medios para su procesamiento por la canalización de medios. Los objetos de medios incluyen memorias intermedias de memoria que contienen datos de vídeo a procesar. En algunos ejemplos, todos los estados de canalización de medios han de ser válidos antes de emitir un comando de objeto de medios 3142. Una vez que se ha configurado el estado de canalización y los comandos de objeto de medios 3142 se han puesto en cola, la canalización de medios 3124 se desencadena a través de un comando de ejecución 3144 o un evento de ejecución equivalente (por ejemplo, una escritura de registro). La salida desde la canalización de medios 3124 se puede post-procesar entonces mediante operaciones proporcionadas por la canalización de 3D 3122 o la canalización de medios 3124. En algunos ejemplos, las operaciones de GPGPU se configuran y se ejecutan de una manera similar a la de las operaciones de medios.
Arquitectura de software de gráficos
La Figura 32 ilustra una arquitectura de software de gráficos ilustrativa para un sistema de procesamiento de datos 3200 de acuerdo con algunos ejemplos. En algunos ejemplos, la arquitectura de software incluye una aplicación de gráficos 3D 3210, un sistema operativo 3220 y al menos un procesador 3230. En algunos ejemplos, el procesador 3230 incluye un procesador de gráficos 3232 y uno o más núcleos de procesador de propósito general 3234. La aplicación de gráficos 3210 y el sistema operativo 3220 se ejecutan, cada uno, en la memoria de sistema 3250 del sistema de procesamiento de datos.
En algunos ejemplos, la aplicación de gráficos 3D 3210 contiene uno o más programas de sombreado que incluyen las instrucciones de sombreador 3212. Las instrucciones de lenguaje de sombreador pueden estar en un lenguaje de sombreador de alto nivel, tal como el lenguaje de sombreador de alto nivel (HLSL) o el lenguaje de sombreador de OpenGL (GLSL). La aplicación también incluye las instrucciones ejecutables 3214 en un lenguaje máquina adecuado para su ejecución por el núcleo de procesador de propósito general 3234. La aplicación también incluye los objetos de gráficos 3216 definidos por datos de vértice.
En algunos ejemplos, el sistema operativo 3220 es un sistema operativo Microsoft® Windows® de Microsoft Corporation, un sistema operativo de tipo UNIX de propiedad exclusiva o un sistema operativo de tipo UNIX de código abierto que usa una variante del núcleo de Linux. El sistema operativo 3220 puede soportar una API de gráficos 3222 tal como la API de Direct3D, la API de OpenGL o la API de Vulkan. Cuando está en uso la API de Direct3D, el sistema operativo 3220 usa un compilador de sombreador de extremo frontal 3224 para compilar cualquier instrucción de sombreador 3212 en HLSL a un lenguaje de sombreador de nivel inferior. La compilación puede ser una compilación justo a tiempo (JIT) o la aplicación puede realizar una precompilación de sombreador. En algunos ejemplos, sombreadores de alto nivel se compilan a sombreadores de bajo nivel durante la compilación de la aplicación de gráficos 3D 3210. En algunos ejemplos, las instrucciones de sombreador 3212 se proporcionan en una forma intermedia, tal como una versión de la representación intermedia portátil convencional (SPIR) usada por la API de Vulkan.
En algunos ejemplos, el controlador de gráficos de modo de usuario 3226 contiene un compilador de sombreador de extremo trasero 3227 para convertir las instrucciones de sombreador 3212 en una representación específica de hardware. Cuando está en uso la API de OpenGL, las instrucciones de sombreador 3212 en el lenguaje de alto nivel GLSL se pasan a un controlador de gráficos de modo de usuario 3226 para su compilación. En algunos ejemplos, el controlador de gráficos de modo de usuario 3226 usa las funciones de modo de núcleo de sistema operativo 3228 para comunicarse con un controlador de gráficos de modo de núcleo 3229. En algunos ejemplos, el controlador de gráficos de modo de núcleo 3229 se comunica con el procesador de gráficos 3232 para despachar comandos e instrucciones.
Implementaciones de núcleo de IP
Uno o más aspectos de al menos un ejemplo se pueden implementar mediante un código representativo almacenado en un medio legible por máquina que representa y/o define una lógica dentro de un circuito integrado tal como un procesador. Por ejemplo, el medio legible por máquina puede incluir instrucciones que representan una lógica diversa dentro del procesador. Cuando son leídas por una máquina, las instrucciones pueden hacer que la máquina fabrique la lógica para realizar las técnicas descritas en el presente documento. Tales representaciones, conocidas como "núcleos de IP", son unidades reutilizables de lógica para un circuito integrado que se pueden almacenar en un medio legible por máquina tangible como un modelo de hardware que describe la estructura del circuito integrado. El modelo de hardware se puede suministrar a diversos clientes o instalaciones de fabricación, que cargan el modelo de hardware en máquinas de fabricación que fabrican el circuito integrado. El circuito integrado se puede fabricar de manera que el circuito realiza operaciones descritas en asociación con cualquiera de los ejemplos descritos en el presente documento.
La Figura 33 es un diagrama de bloques que ilustra un sistema de desarrollo de núcleo de IP 3300 que se puede usar para fabricar un circuito integrado para realizar operaciones de acuerdo con un ejemplo. El sistema de desarrollo de núcleo de IP 3300 se puede usar para generar diseños reutilizables modulares que se pueden incorporar en un diseño más grande o usarse para construir todo un circuito integrado (por ejemplo, un circuito integrado de SoC). Una instalación de diseño 3330 puede generar una simulación de software 3310 de un diseño de núcleo de IP en un lenguaje de programación de alto nivel (por ejemplo, C/C++). El software de simulación 3310 se puede usar para diseñar, someter a prueba y verificar el comportamiento del núcleo de IP usando un modelo de simulación 3312. El modelo de simulación 3312 puede incluir simulaciones funcionales, de comportamiento y/o de temporización. Se puede crear o sintetizar entonces un diseño de nivel de transferencia de registro (RTL) 3315 a partir del modelo de simulación 3312. El diseño de RTL 3315 es una abstracción del comportamiento del circuito integrado que modela el flujo de señales digitales entre registros de hardware, incluyendo la lógica asociada realizada usando las señales digitales modeladas. Además de un diseño de RTL 3315, también se pueden crear, diseñar o sintetizar diseños de nivel inferior a nivel de lógica o a nivel de transistores. Por lo tanto, los detalles particulares del diseño y simulación inicial pueden variar.
El diseño de RTL 3315, o un equivalente, puede ser sintetizado adicionalmente por la instalación de diseño para dar un modelo de hardware 3320, que puede estar en un lenguaje de descripción de hardware (HDL) o alguna otra representación de datos de diseño físico. El HDL se puede simular o someter a prueba adicionalmente para verificar el diseño de núcleo de IP. El diseño de núcleo de IP se puede almacenar para su entrega a una instalación de fabricación de terceros 3365 usando la memoria no volátil 3340 (por ejemplo, disco duro, memoria flash o cualquier medio de almacenamiento no volátil). Como alternativa, el diseño de núcleo de IP se puede transmitir (por ejemplo, a través de Internet) a través de una conexión cableada 3350 o una conexión inalámbrica 3360. La instalación de fabricación 3365 puede fabricar entonces un circuito integrado que se basa, al menos en parte, en el diseño de núcleo de IP. El circuito integrado fabricado se puede configurar para realizar operaciones de acuerdo con al menos un ejemplo descrito en el presente documento.
Circuito integrado de sistema en un chip ilustrativo
Las Figuras 34-36 ilustran circuitos integrados ilustrativos y procesadores de gráficos asociados que se pueden fabricar usando uno o más núcleos de IP, de acuerdo con diversos ejemplos descritos en el presente documento. Además de lo que se ilustra, se pueden incluir otros circuitos y lógica, incluyendo procesadores/núcleos de gráficos adicionales, controladores de interfaz de periféricos o núcleos de procesador de propósito general.
La Figura 34 es un diagrama de bloques que ilustra un circuito integrado de sistema en un chip ilustrativo 3400 que se puede fabricar usando uno o más núcleos de IP, de acuerdo con un ejemplo. El circuito integrado 3400 ilustrativo incluye uno o más procesadores de aplicaciones 3405 (por ejemplo, unas CPU), al menos un procesador de gráficos 3410, y puede incluir adicionalmente un procesador de imágenes 3415 y/o un procesador de vídeo 3420, cualquiera de los cuales puede ser un núcleo de IP modular desde las mismas o múltiples instalaciones de diseño diferentes. El circuito integrado 3400 incluye lógica de bus o de periféricos que incluye un controlador de USB 3425, un controlador de UART 3430, un controlador de SPI/SDIO 3435 y un controlador de I2S/I2C 3440. Adicionalmente, el circuito integrado puede incluir un dispositivo de visualización 3445 acoplado a uno o más de un controlador de interfaz multimedios de alta definición (HDMI) 3450 y una interfaz de visualización de interfaz de procesador de industria móvil (MIPI) 3455. El almacenamiento puede ser proporcionado por un subsistema de memoria flash 3460 que incluye memoria flash y un controlador de memoria flash. La interfaz de memoria se puede proporcionar a través de un controlador de memoria 3465 para el acceso a dispositivos de memoria SDRAM o SRAM. Algunos circuitos integrados incluyen adicionalmente un motor de seguridad integrado 3470.
La Figura 35 es un diagrama de bloques que ilustra un procesador de gráficos 3510 ilustrativo de un circuito integrado de sistema en un chip que se puede fabricar usando uno o más núcleos de IP, de acuerdo con un ejemplo. El procesador de gráficos 3510 puede ser una variante del procesador de gráficos 3410 de la Figura 34. El procesador de gráficos 3510 incluye un procesador de vértices 3505 y uno o más procesadores de fragmentos 3515A-3515N (por ejemplo, 3515A, 3515B, 3515C, 3515D a 3515N-1 y 3515N). El procesador de gráficos 3510 puede ejecutar diferentes programas de sombreado a través de lógica separada, de manera que el procesador de vértices 3505 se optimiza para ejecutar operaciones para programas de sombreado de vértices, mientras que los uno o más procesadores de fragmentos 3515A-3515N ejecutan operaciones de sombreado de fragmentos (por ejemplo, píxeles) para programas de sombreado de fragmentos o de píxeles. El procesador de vértices 3505 realiza la fase de procesamiento de vértices de la canalización de gráficos 3D y genera primitivas y datos de vértice. El procesador o procesadores de fragmentos 3515A-3515N usan los datos de primitiva y de vértice generados por el procesador de vértices 3505 para producir una memoria intermedia de tramas que se visualiza en un dispositivo de visualización. En un ejemplo, el procesador o procesadores de fragmentos 3515A-3515N se optimizan para ejecutar programas de sombreado de fragmentos según lo previsto en la API de OpenGL, que se pueden usar para realizar operaciones similares como un programa de sombreado de píxeles según lo previsto en la API de Direct 3D.
El procesador de gráficos 3510 incluye adicionalmente una o más unidades de gestión de memoria (MMU) 3520A-3520B, caché o cachés 3525A-3525B e interconexión o interconexiones de circuito 3530A-3530B. Las una o más MMU 3520A-3520B prevén una correlación de dirección virtual a física para el procesador de gráficos 3510, incluyendo para el procesador de vértices 3505 y/o el procesador o procesadores de fragmentos 3515A-3515N, que pueden hacer referencia a datos de vértice o de imagen/textura almacenados en memoria, además de datos de vértice o de imagen/textura almacenados en las una o más cachés 3525A-3525B. En un ejemplo, una o más MMU 3520A-3520B se pueden sincronizar con otras MMU dentro del sistema, incluyendo una o más MMU asociadas con uno o más procesadores de aplicaciones 3405, procesadores de imágenes 3415 y/o procesador de vídeo 3420 de la Figura 34, de manera que cada procesador 3405-3420 puede participar en un sistema de memoria virtual compartida o unificada. Las una o más interconexiones de circuito 3530A-3530B habilitan que el procesador de gráficos 3510 interaccione con otros núcleos de IP dentro del SoC, o bien a través de un bus interno del SoC o bien a través de una conexión directa, de acuerdo con ejemplos.
La Figura 36 es un diagrama de bloques que ilustra un procesador de gráficos 3610 ilustrativo adicional de un circuito integrado de sistema en un chip que se puede fabricar usando uno o más núcleos de IP, de acuerdo con un ejemplo. El procesador de gráficos 3610 puede ser una variante del procesador de gráficos 3410 de la Figura 34. El procesador de gráficos 3610 incluye las una o más MMU 3620A-3620B, cachés 3625A-3625B e interconexiones de circuito 3630A-3630B del circuito integrado 3600 de la Figura 36.
El procesador de gráficos 3610 incluye uno o más núcleos de sombreador 3615A-3615N (por ejemplo, 3615A, 3615B, 3615C, 3615D, 3615E, 3615F a 3615N-1 y 3615N), lo que prevé una arquitectura de núcleo de sombreador unificada en la que un único núcleo o tipo o núcleo puede ejecutar todos los tipos de código de sombreado programable, incluyendo código de programa de sombreado para implementar sombreadores de vértices, sombreadores de fragmentos y/o sombreadores de cómputo. El número exacto de núcleos de sombreador presentes puede variar entre ejemplos e implementaciones. Adicionalmente, el procesador de gráficos 3610 incluye un gestor de tareas entre núcleos 3605, que actúa como un despachador de hilos para despachar hilos de ejecución a uno o más núcleos de sombreador 3615A-3615N y una unidad de teselado 3618 para acelerar operaciones de teselado para una representación basada en teselas, en la que operaciones de representación para una escena se subdividen en el espacio de imágenes, por ejemplo, para aprovechar la coherencia espacial local dentro de una escena o para optimizar el uso de cachés internas.
Los ejemplos descritos en el presente documento se pueden implementar como uno cualquiera o una combinación de: uno o más microchips o circuitos integrados interconectados usando una placa base, lógica cableada, software almacenado por un dispositivo de memoria y ejecutado por un microprocesador, firmware, un circuito integrado específico de la aplicación (ASIC) y/o una matriz de puertas programables en campo (FPGA). El término "lógica" puede incluir, a modo de ejemplo, software o hardware y/o combinaciones de software y hardware.
Se pueden proporcionar ejemplos, por ejemplo, como un producto de programa informático que puede incluir uno o más medios legibles por máquina que tienen, almacenadas en los mismos, instrucciones ejecutables por máquina que, cuando son ejecutadas por una o más máquinas tales como un ordenador, una red de ordenadores u otros dispositivos electrónicos, pueden dar como resultado que las una o más máquinas lleven a cabo operaciones de acuerdo con ejemplos descritos en el presente documento. Un medio legible por máquina puede incluir, pero sin limitación, disquetes flexibles, discos ópticos, CD-ROM (disco compacto-memoria de solo lectura) y discos magnetoópticos, ROM, RAM, EPROM (memorias de solo lectura programables y borrables), EEPROM (memorias de solo lectura programables y borrables eléctricamente), tarjetas magnéticas u ópticas, memoria flash u otro tipo de medio legible por máquina no transitorio adecuado para almacenar instrucciones ejecutables por máquina.

Claims (8)

REIVINDICACIONES
1. Un método para realizar un entrenamiento distribuido de una red neuronal usando múltiples nodos de trabajo interconectados de una red de entrenamiento distribuida, estando interconectados los múltiples nodos de trabajo de la red de entrenamiento distribuida a través de un tejido de comunicación y comprendiendo cada uno una interfaz de tejido configurada para conectarse al tejido de comunicación, comprendiendo el método:
almacenar (2102) una biblioteca en memoria, siendo la biblioteca para facilitar la transmisión de datos durante el entrenamiento distribuido de la red neuronal, estando los datos asociados con parámetros entrenables de la red neuronal,
en cada nodo de trabajo:
transmitir y recibir (2104) datos de gradiente asociados con los parámetros entrenables a través de la interfaz de tejido del nodo de trabajo, en donde, durante el entrenamiento, el nodo de trabajo transmite y recibe los datos de gradiente asociados con los parámetros entrenables a través de la interfaz de tejido;
ejecutar (2106), a través de un procesador de propósito general del nodo de trabajo, instrucciones proporcionadas por la biblioteca, siendo las instrucciones para hacer que el procesador de propósito general configure la interfaz de tejido para transmitir y recibir los datos de gradiente asociados con los parámetros entrenables durante un flujo de trabajo de una estructura de aprendizaje automático; y
realizar (2108), a través de al menos un procesador de gráficos del nodo de trabajo, operaciones de cómputo asociadas con el flujo de trabajo de estructura de aprendizaje automático para generar los datos de gradiente asociados con los parámetros entrenables, estando las operaciones de cómputo intercaladas con la transmisión y recepción de datos de gradiente a través de la interfaz de tejido;
en donde el al menos un procesador de gráficos incluye la interfaz de tejido y el tejido de comunicación es una malla de interconexiones de punto a punto entre los múltiples nodos de trabajo, en donde la interfaz de tejido comprende una lógica de primitiva de punto a punto para habilitar el intercambio de datos con otros nodos de trabajo de una manera sincronizada,
en donde la biblioteca es una biblioteca de ajuste a escala de aprendizaje automático, MLSL, que habilita que un desarrollador de aplicaciones desarrolle una aplicación de aprendizaje automático ajustable a escala, incluyendo la MLSL algoritmos para habilitar el ajuste a escala de una operación de aprendizaje automático a una pluralidad de nodos de trabajo,
en donde la MLSL incluye unas abstracciones específicas de aprendizaje automático (1513) y un módulo de comunicación (1517), en donde las abstracciones específicas de aprendizaje automático (1513) habilitan que el desarrollador de aplicaciones use conocimiento específico del dominio de aprendizaje automáti
un desempeño ajustable a escala para las operaciones de cómputo de la red neuronal y el módulo de comunicación (1517) interacciona con las abstracciones específicas de aprendizaje automático (1513), está configurado para accionar una biblioteca de mensajería (1519) subyacente que usa una o más rutinas de comunicación de bajo nivel para transmitir datos a través del tejido de comunicación (1521) e incluye lógica para optimizar el ancho de banda de red, habilitar comunicaciones de baja latencia y asignar de forma adaptativa uno o más núcleos de procesador para su uso en accionar y realizar operaciones para el módulo de comunicación (1517) y/o la biblioteca de mensajería (1519).
2. El método según la reivindicación 1, que comprende adicionalmente configurar al menos una de dichas operaciones de cómputo para superponerse con una operación de comunicación para enviar o recibir datos de gradiente a través de la interfaz de tejido.
3. El método según la reivindicación 2, que comprende adicionalmente realizar, a través del al menos un procesador de gráficos, una operación de cómputo asociada con una primera porción de una primera capa de la red neuronal, en donde, en respuesta a una notificación de compleción de la operación de cómputo asociada con la primera porción de la primera capa de la red neuronal, hacer, a través de la biblioteca, que la interfaz de tejido transmita un resultado de la operación de cómputo.
4. El método según la reivindicación 3, que comprende adicionalmente transmitir el resultado de acuerdo con un patrón de comunicación para mensajes a transmitir entre los nodos de trabajo durante el entrenamiento distribuido de la red neuronal.
5. El método según la reivindicación 4, en donde el patrón de comunicación es un "gather", "scatter", "allgather", "alltoall", "reduce", "reduce_scatter" o "allreduce".
6. El método según la reivindicación 1, en donde la interfaz de tejido es una interfaz NVLink.
7. Un medio legible por máquina no transitorio que almacena instrucciones que, cuando son ejecutadas por uno o más procesadores, hacen que los uno o más procesadores realicen operaciones que comprenden un método según una cualquiera de las reivindicaciones 1-6.
8. Un sistema de procesamiento de datos que comprende uno o más procesadores configurados para realizar el método según una cualquiera de las reivindicaciones 1 a 6.
ES18170151T 2017-05-05 2018-04-30 Ejecución de cómputo y comunicación de grano fino para estructuras de aprendizaje profundo Active ES2939271T3 (es)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201762502453P 2017-05-05 2017-05-05
US15/869,502 US20180322386A1 (en) 2017-05-05 2018-01-12 Fine-grain compute communication execution for deep learning frameworks

Publications (1)

Publication Number Publication Date
ES2939271T3 true ES2939271T3 (es) 2023-04-20

Family

ID=62196323

Family Applications (1)

Application Number Title Priority Date Filing Date
ES18170151T Active ES2939271T3 (es) 2017-05-05 2018-04-30 Ejecución de cómputo y comunicación de grano fino para estructuras de aprendizaje profundo

Country Status (5)

Country Link
US (1) US20180322386A1 (es)
EP (2) EP3399418B1 (es)
CN (1) CN108805798A (es)
ES (1) ES2939271T3 (es)
PL (1) PL3399418T3 (es)

Families Citing this family (96)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6832050B2 (ja) * 2017-02-23 2021-02-24 セレブラス システムズ インク． 加速化ディープラーニング
US10425707B2 (en) 2017-03-29 2019-09-24 Fungible, Inc. Non-blocking, full-mesh data center network having optical permutors
WO2018183553A1 (en) 2017-03-29 2018-10-04 Fungible, Inc. Non-blocking any-to-any data center network having multiplexed packet spraying within access node groups
CN110731070A (zh) 2017-03-29 2020-01-24 芬基波尔有限责任公司 通过多个交替数据路径进行分组喷射的无阻塞的任意到任意数据中心网络
US11037330B2 (en) 2017-04-08 2021-06-15 Intel Corporation Low rank matrix compression
US10565112B2 (en) 2017-04-10 2020-02-18 Fungible, Inc. Relay consistent memory management in a multiple processor system
US10579762B2 (en) * 2017-05-15 2020-03-03 LegUp Computing Inc. High-level synthesis (HLS) method and apparatus to specify pipeline and spatial parallelism in computer hardware
CN110915173B (zh) 2017-07-10 2022-04-29 芬基波尔有限责任公司 用于计算节点和存储节点的数据处理单元
CN117348976A (zh) 2017-07-10 2024-01-05 微软技术许可有限责任公司 用于流处理的数据处理单元
CN111149329A (zh) 2017-09-29 2020-05-12 芬基波尔有限责任公司 通过多个备用数据路径进行分组喷射的数据中心网络的结构控制协议
WO2019068017A1 (en) 2017-09-29 2019-04-04 Fungible, Inc. RESILIENT NETWORK COMMUNICATION USING SELECTIVE PULVER FLOW SPRAY BY MULTIPATH PATH
WO2019104090A1 (en) 2017-11-21 2019-05-31 Fungible, Inc. Work unit stack data structures in multiple core processor system for stream data processing
WO2019152063A1 (en) 2018-02-02 2019-08-08 Fungible, Inc. Efficient work unit processing in a multicore system
US11630994B2 (en) * 2018-02-17 2023-04-18 Advanced Micro Devices, Inc. Optimized asynchronous training of neural networks using a distributed parameter server with eager updates
US10713021B2 (en) * 2018-03-05 2020-07-14 Apple Inc. Geometric 64-bit capability pointer
US11514371B2 (en) * 2018-03-13 2022-11-29 Woven Planet North America, Inc. Low latency image processing using byproduct decompressed images
US11568227B1 (en) 2018-04-20 2023-01-31 Perceive Corporation Neural network inference circuit read controller with multiple operational modes
US11886979B1 (en) 2018-04-20 2024-01-30 Perceive Corporation Shifting input values within input buffer of neural network inference circuit
US11586910B1 (en) 2018-04-20 2023-02-21 Perceive Corporation Write cache for neural network inference circuit
US11783167B1 (en) 2018-04-20 2023-10-10 Perceive Corporation Data transfer for non-dot product computations on neural network inference circuit
US12093696B1 (en) 2018-04-20 2024-09-17 Perceive Corporation Bus for transporting output values of a neural network layer to cores specified by configuration data
US11205115B1 (en) * 2018-04-20 2021-12-21 Perceive Corporation Neural network inference circuit
US10977338B1 (en) 2018-04-20 2021-04-13 Perceive Corporation Reduced-area circuit for dot product computation
US20200125958A1 (en) * 2018-10-19 2020-04-23 Preferred Networks, Inc. Training apparatus, training method, inference apparatus, inference method, and non-transitory computer readable medium
CN111078291B (zh) * 2018-10-19 2021-02-09 中科寒武纪科技股份有限公司 运算方法、系统及相关产品
US10929175B2 (en) 2018-11-21 2021-02-23 Fungible, Inc. Service chaining hardware accelerators within a data stream processing integrated circuit
US11922314B1 (en) * 2018-11-30 2024-03-05 Ansys, Inc. Systems and methods for building dynamic reduced order physical models
US11521067B2 (en) * 2018-11-30 2022-12-06 International Business Machines Corporation Decentralized distributed deep learning
US11995533B1 (en) 2018-12-05 2024-05-28 Perceive Corporation Executing replicated neural network layers on inference circuit
CN113841165A (zh) * 2018-12-17 2021-12-24 芯成半导体(开曼)有限公司 用于训练人工神经网络的系统和方法
CN111381979B (zh) * 2018-12-29 2023-05-23 杭州海康威视数字技术股份有限公司 神经网络的开发验证方法、装置、系统及存储介质
US11093438B2 (en) * 2019-01-07 2021-08-17 International Business Machines Corporation Pipelining multi-directional reduction
EP3881245B1 (en) * 2019-01-14 2024-09-18 Siemens Aktiengesellschaft Hardware accelerator extension to transfer learning - extending/finishing training to the edge
CN109783412B (zh) * 2019-01-18 2022-04-22 电子科技大学 一种深度强化学习加速训练的方法
CN109919322B (zh) * 2019-02-01 2022-01-28 京微齐力(北京)科技有限公司 一种测试系统芯片上的人工智能模块的方法和系统芯片
CN111526169B (zh) * 2019-02-01 2022-06-14 阿里巴巴集团控股有限公司 通过网络发送数据的方法、介质、服务器和计算机设备
US11748599B2 (en) * 2019-02-21 2023-09-05 Texas Instruments Incorporated Super-tiling in neural network processing to enable analytics at lower memory speed
US11036545B2 (en) * 2019-03-15 2021-06-15 Intel Corporation Graphics systems and methods for accelerating synchronization using fine grain dependency check and scheduling optimizations based on available shared memory space
CN111722937B (zh) * 2019-03-21 2024-05-10 阿里巴巴集团控股有限公司 深度学习权重更新方法、装置
CN110096356B (zh) * 2019-03-22 2022-06-03 北京达佳互联信息技术有限公司 资源调度方法、装置、电子设备及存储介质
US11783176B2 (en) * 2019-03-25 2023-10-10 Western Digital Technologies, Inc. Enhanced storage device memory architecture for machine learning
US10996976B2 (en) * 2019-04-05 2021-05-04 Alibaba Group Holding Limited Systems and methods for scheduling neural networks by varying batch sizes
CN110008028B (zh) * 2019-04-10 2021-08-06 北京旷视科技有限公司 计算资源分配方法、装置、计算机设备和存储介质
US11868901B1 (en) 2019-05-21 2024-01-09 Percieve Corporation Compiler for optimizing memory allocations within cores
US11256624B2 (en) 2019-05-28 2022-02-22 Micron Technology, Inc. Intelligent content migration with borrowed memory
US11061819B2 (en) 2019-05-28 2021-07-13 Micron Technology, Inc. Distributed computing based on memory as a service
US20200379809A1 (en) * 2019-05-28 2020-12-03 Micron Technology, Inc. Memory as a Service for Artificial Neural Network (ANN) Applications
KR102351087B1 (ko) * 2019-06-04 2022-01-14 주식회사 딥엑스 인공신경망의 데이터 로컬리티 기반의 데이터 캐슁을 이용하여 고속의 인공신경망 오퍼레이션을 지원하는 데이터 관리 장치
US11016775B2 (en) * 2019-06-26 2021-05-25 Amazon Technologies, Inc. Neural network operation reordering for parallel execution
US20210117806A1 (en) * 2019-06-27 2021-04-22 Advanced Micro Devices, Inc. Composable neural network kernels
US20200410330A1 (en) * 2019-06-27 2020-12-31 Advanced Micro Devices, Inc. Composable neural network kernels
US11054997B2 (en) * 2019-08-12 2021-07-06 Micron Technology, Inc. Artificial neural networks in memory
US12061971B2 (en) 2019-08-12 2024-08-13 Micron Technology, Inc. Predictive maintenance of automotive engines
US20210073066A1 (en) * 2019-09-05 2021-03-11 Micron Technology, Inc. Temperature based Optimization of Data Storage Operations
CN110618870B (zh) * 2019-09-20 2021-11-19 广东浪潮大数据研究有限公司 一种深度学习训练任务的工作方法及装置
US11443243B2 (en) * 2019-10-10 2022-09-13 Baidu Usa Llc Method and system for artificial intelligence model training using a watermark-enabled kernel for a data processing accelerator
CN110990323B (zh) * 2019-10-17 2023-09-15 尧芯微半导体(重庆)有限公司 一种优化的xhci调度方法
CN110837891B (zh) * 2019-10-23 2022-05-17 南京大学 基于simd架构的自组织映射方法及系统
US12020149B2 (en) * 2019-10-28 2024-06-25 Micron Technology, Inc. Distributed neural network processing on an intelligent image sensor stack
CN110826609B (zh) * 2019-10-29 2023-03-24 华中科技大学 一种基于强化学习的双流特征融合图像识别方法
CN111027671B (zh) * 2019-11-12 2023-07-04 华中科技大学 一种基于模型结构特性的分布式深度学习通信方法和系统
CN110866610A (zh) * 2019-11-20 2020-03-06 苏州浪潮智能科技有限公司 一种深度学习模型分布式运算的方法及装置
WO2021097784A1 (en) * 2019-11-22 2021-05-27 Huawei Technologies Co., Ltd. Method and system for constructing compiler intermediate representations from tensorflow graph
CN114761952B (zh) * 2019-12-03 2023-10-27 维萨国际服务协会 提供安全联合机器学习的技术
CN111062473B (zh) * 2019-12-16 2023-05-23 腾讯科技（深圳）有限公司 神经网络模型中的数据计算方法、图像处理方法及装置
US11442631B2 (en) * 2019-12-26 2022-09-13 Micron Technology, Inc. Memory operations with consideration for wear leveling
GB2591106B (en) * 2020-01-15 2022-02-23 Graphcore Ltd Control of data transfer between processors
US11521007B2 (en) 2020-02-17 2022-12-06 International Business Machines Corporation Accelerator resource utilization by neural networks
CN110955530A (zh) * 2020-02-25 2020-04-03 深圳鲲云信息科技有限公司 深度学习引擎并行处理数据方法、装置、设备及储存介质
US20210303743A1 (en) * 2020-03-24 2021-09-30 Protolabs, Inc. Methods and systems for generating an instant design for manufacturability of a part at a computing device
US11610128B2 (en) * 2020-03-31 2023-03-21 Amazon Technologies, Inc. Neural network training under memory restraint
GB2593756B (en) * 2020-04-02 2022-03-30 Graphcore Ltd Control of data transfer between processing nodes
CN111558937B (zh) * 2020-04-07 2023-03-24 向仲宇 基于深度学习的机器人运动控制方法
CN111488211A (zh) * 2020-04-09 2020-08-04 北京嘀嘀无限科技发展有限公司 基于深度学习框架的任务处理方法、装置、设备及介质
CN113556242B (zh) * 2020-04-24 2023-01-17 中科寒武纪科技股份有限公司 一种基于多处理节点来进行节点间通信的方法和设备
US11605228B2 (en) 2020-06-26 2023-03-14 Nxp Usa, Inc. System and method for sensor fusion system having distributed convolutional neural network
CN111770173B (zh) * 2020-06-29 2022-09-06 中国人民解放军国防科技大学 一种基于网络控制器的归约方法及系统
CN111782905B (zh) * 2020-06-29 2024-02-09 中国工商银行股份有限公司 一种数据组包方法和装置、终端设备和可读存储介质
CN111984679B (zh) * 2020-07-02 2021-06-04 中科驭数（北京）科技有限公司 硬件加速数据库的访问方法、装置、主机、系统及介质
EP3944153A1 (en) * 2020-07-24 2022-01-26 GrAl Matter Labs S.A.S. Message based multi-processor system and method of operating the same
CN112395272B (zh) * 2021-01-20 2021-07-13 鹏城实验室 通信算法数据库构建方法、分布式机器装置和存储介质
CN113157953B (zh) * 2021-02-24 2022-04-29 山东大学 一种跨终端图片传输方法及系统
US11675965B2 (en) * 2021-04-07 2023-06-13 At&T Intellectual Property I, L.P. Converting text to a numerical vector by mapping to a hypercube
US11269632B1 (en) 2021-06-17 2022-03-08 International Business Machines Corporation Data conversion to/from selected data type with implied rounding mode
US11693692B2 (en) 2021-06-17 2023-07-04 International Business Machines Corporation Program event recording storage alteration processing for a neural network accelerator instruction
US11734013B2 (en) 2021-06-17 2023-08-22 International Business Machines Corporation Exception summary for invalid values detected during instruction execution
US11669331B2 (en) 2021-06-17 2023-06-06 International Business Machines Corporation Neural network processing assist instruction
US11797270B2 (en) 2021-06-17 2023-10-24 International Business Machines Corporation Single function to perform multiple operations with distinct operation parameter validation
US12079658B2 (en) 2021-06-17 2024-09-03 International Business Machines Corporation Detection of invalid machine-specific data types during data conversion
US11675592B2 (en) 2021-06-17 2023-06-13 International Business Machines Corporation Instruction to query for model-dependent information
TWI820704B (zh) * 2022-05-12 2023-11-01 財團法人工業技術研究院 聲音訊號的分析方法及裝置、晶片的設計方法及裝置
US20240036834A1 (en) * 2022-08-01 2024-02-01 Bank Of America Corporation Unified Desktop Computing System
WO2024065826A1 (en) * 2022-09-30 2024-04-04 Intel Corporation Accelerate deep learning with inter-iteration scheduling
CN115994567B (zh) * 2022-12-28 2024-03-22 兰州交通大学 一种深度神经网络模型并行计算任务异步调度方法
WO2024158588A1 (en) * 2023-01-23 2024-08-02 SiMa Technologies, Inc. Allocation of computations to synchronized, interconnected processing elements for implementing machine learning networks
CN115809092B (zh) * 2023-02-13 2023-04-28 湖南大学 基于mt3000异构处理器的深度学习计算库实现方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7219085B2 (en) * 2003-12-09 2007-05-15 Microsoft Corporation System and method for accelerating and optimizing the processing of machine learning techniques using a graphics processing unit
US8319781B2 (en) * 2007-11-23 2012-11-27 Pme Ip Australia Pty Ltd Multi-user multi-GPU render server apparatus and methods
US9390461B1 (en) * 2012-05-08 2016-07-12 Apple Inc. Graphics hardware mode controls
US9924490B2 (en) * 2013-10-09 2018-03-20 International Business Machines Corporation Scaling multi-core neurosynaptic networks across chip boundaries
US10783437B2 (en) * 2017-03-05 2020-09-22 International Business Machines Corporation Hybrid aggregation for deep learning neural networks

Also Published As

Publication number Publication date
US20180322386A1 (en) 2018-11-08
EP3399418A1 (en) 2018-11-07
EP3399418B1 (en) 2022-12-07
EP4089537A1 (en) 2022-11-16
PL3399418T3 (pl) 2023-04-17
CN108805798A (zh) 2018-11-13

Similar Documents

Publication Publication Date Title
ES2939271T3 (es) Ejecución de cómputo y comunicación de grano fino para estructuras de aprendizaje profundo
ES2964969T3 (es) Gestión de memoria de múltiples teselas para detectar un acceso trans-tesela, proporcionar un ajuste a escala de inferencia de múltiples teselas y proporcionar una migración de página óptima
US11798120B2 (en) Abstraction layers for scalable distributed machine learning
US20220366526A1 (en) Data parallelism and halo exchange for distributed machine learning
US11488008B2 (en) Hardware implemented point to point communication primitives for machine learning
CN108694694B (zh) 用于使得能够进行可扩展分布式机器学习的抽象库
ES2960064T3 (es) Unidad de cálculo de gráficos de fin general y método para ejecutar instrucciones de precisión mixta
ES2930550T3 (es) Métodos y aparatos para canalización de ejecución de red de aprendizaje profundo en plataforma multiprocesador
WO2020190371A1 (en) Local memory sharing between kernels
CN116362310A (zh) 在推断期间中对图形处理器的协调和增加利用
JP2021077343A (ja) 画像のノイズ除去のための、適応型変形可能カーネル予測ネットワーク
US20230177328A1 (en) Hardware implemented point to point communication primitives for machine learning
ES2963941T3 (es) Ahorro de memoria de GPU compartiendo la memoria intermedia entre instancias similares en la misma GPU
CN110546680A (zh) 用于对物理交互进行建模的高级人工智能代理
WO2020190457A2 (en) Systems and methods for synchronization of multi-thread lanes
CN113837919A (zh) 用于基于着色速率来编码的方法和装置
CN114693850A (zh) 用于图像和视频处理的条件核预测网络和自适应深度预测
CN112785482A (zh) 用于将可执行对象适配到处理单元的系统和方法
CN115526760A (zh) 用于动态地改变高速缓存中的数据优先级的方法和装置
CN112785481A (zh) 动态分割激活和核以提高存储器效率
CN113256745A (zh) 用于基于重要度值来编码的方法和装置
CN114693501A (zh) 用于图像处理的引导式神经网络模型的装置和方法
CN114677258A (zh) 用于视觉渲染和合成的空间稀疏卷积模块的方法和设备
ES2934735T3 (es) Sistemas y métodos para generar números aleatorios gaussianos con aceleración por hardware
CN114155133A (zh) 用于确定正面身体朝向的方法和装置