ES2963941T3

ES2963941T3 - Ahorro de memoria de GPU compartiendo la memoria intermedia entre instancias similares en la misma GPU

Info

Publication number: ES2963941T3
Application number: ES20211416T
Authority: ES
Inventors: Zhifang Long; Yejun Guo; Jiang Ji
Original assignee: Intel Corp
Current assignee: Intel Corp
Priority date: 2020-04-02
Filing date: 2020-12-03
Publication date: 2024-04-03
Anticipated expiration: 2040-12-03
Also published as: US20210312585A1; US11574381B2; CN113495793A; EP3889788A1; EP3889788B1; US20230267568A1; PL3889788T3

Abstract

Las realizaciones generalmente están dirigidas a métodos y aparatos para compartir memoria intermedia. Una realización de un método comprende: recibir una pluralidad de datos gráficos que comprenden primeros datos gráficos, cada uno de la pluralidad de datos gráficos asignados a un búfer correspondiente en una memoria de la Unidad de procesamiento de gráficos (GPU), en donde los primeros datos gráficos están asignados a una primer búfer en la memoria de la GPU; recibir unos segundos datos gráficos asignados a una segunda memoria intermedia en la memoria de la GPU; comparar la primera memoria intermedia asignada por los primeros datos gráficos con la segunda memoria intermedia asignada por los segundos datos gráficos; y reasignar los segundos datos gráficos a la primera memoria intermedia si la primera memoria intermedia es idéntica a la segunda memoria intermedia. (Traducción automática con Google Translate, sin valor legal)

Description

DESCRIPCIÓN

Ahorro de memoria de GPU compartiendo la memoria intermedia entre instancias similares en la misma GPU Campo técnico

Las realizaciones se refieren generalmente al procesamiento de datos y más particularmente a la compartición de memoria intermedia entre diferentes instancias.

Antecedentes de la descripción

El procesamiento de datos de gráficos paralelo actual incluye sistemas y métodos desarrollados para realizar operaciones específicas sobre datos de gráficos, tales como, por ejemplo, interpolación lineal, teselación, rasterización, mapeo de textura, prueba de profundidad, etc. Tradicionalmente, los procesadores de gráficos usan unidades computacionales de función fija para procesar datos de gráficos; sin embargo, más recientemente, porciones de procesadores de gráficos se han hecho programables, lo que permite que tales procesadores soporten una gama más amplia de operaciones para procesar datos de vértice y de fragmento.

Para aumentar adicionalmente el rendimiento, los procesadores de gráficos típicamente implementan técnicas de procesamiento, tales como canalizaciones, que intentan procesar, en paralelo, tantos datos de gráficos como sea posible a lo largo de todas las diferentes partes de la canalización de gráficos. Los procesadores de gráficos paralelos con arquitecturas de múltiples hilos y única instrucción (SIMT) están diseñados para maximizar la cantidad de procesamiento paralelo en la canalización de gráficos. En una arquitectura de SIMT, grupos de hilos paralelos intentan ejecutar conjuntamente instrucciones de programa de manera sincrónica tan a menudo como sea posible para aumentar la eficiencia de procesamiento. Puede encontrar una descripción general del software y hardware para arquitecturas SIMT en Shane Cook, CUDA Programming capítulo 3, páginas 37-51 (2013).

El documento CN 109872402 A se refiere a un método y dispositivo de procesamiento de modelos 3D, a un equipo informático y a un medio de almacenamiento.

El documento CN 109684284 A se refiere a la deduplicación de datos y, particularmente, se refiere a un método de eliminación de datos de duplicación de bloques deslizantes basado en el cálculo de bordes.

Sumario de la invención

La invención se define en las reivindicaciones independientes. En las reivindicaciones dependientes se exponen modificaciones ventajosas.

Breve descripción de los dibujos

Para que la forma en que las características citadas anteriormente de las presentes realizaciones puedan entenderse en detalle, se puede obtener una descripción más particular de las realizaciones, brevemente resumida anteriormente, con referencia a las realizaciones, algunas de las cuales se ilustran en los dibujos adjuntos. Sin embargo, se ha de observar que los dibujos adjuntos ilustran únicamente realizaciones típicas y, por lo tanto, no han de considerarse limitantes de su alcance.

LaFigura 1es un diagrama de bloques que ilustra un sistema informático configurado para implementar uno o más aspectos de las realizaciones descritas en el presente documento;

LasFiguras 2A-2Dilustran componentes de procesador paralelo, de acuerdo con una realización;

LasFiguras 3A-3Cson diagramas de bloques de multiprocesadores de gráficos y GPU basadas en multiprocesadores, de acuerdo con realizaciones;

LasFiguras 4A-4Filustran una arquitectura ilustrativa en la que una pluralidad de GPU está acoplada de manera comunicativa a una pluralidad de procesadores de múltiples núcleos;

LaFigura 5ilustra una canalización de procesamiento de gráficos, de acuerdo con una realización;

LaFigura 6ilustra una pila de software de aprendizaje automático, de acuerdo con una realización;

LaFigura 7ilustra una unidad de procesamiento de gráficos de propósito general, de acuerdo con una realización;

LaFigura 8ilustra un sistema informático de múltiples GPU, de acuerdo con una realización;

LasFiguras 9A-9Bilustran capas de redes neuronales profundas ilustrativas;

LaFigura 10ilustra una red neuronal recurrente ilustrativa;

LaFigura 11ilustra el entrenamiento y despliegue de una red neuronal profunda;

LaFigura 12es un diagrama de bloques que ilustra un aprendizaje distribuido;

LaFigura 13ilustra un sistema en un chip (SOC) de inferencia ilustrativo adecuado para realizar la inferencia usando un modelo entrenado;

LaFigura 14es un diagrama de bloques de un sistema de procesamiento, de acuerdo con una realización; LasFiguras 15A-15Cilustran sistemas informáticos y procesadores gráficos proporcionados por las realizaciones descritas en el presente documento;

LasFiguras 16A-16Cilustran diagramas de bloques de arquitecturas de procesadores de gráficos y aceleradores de cálculo adicionales proporcionadas por las realizaciones descritas en el presente documento;

LaFigura 17es un diagrama de bloques de un motor de procesamiento de gráficos de un procesador de gráficos de acuerdo con algunas realizaciones;

LasFiguras 18A-18Bilustran la lógica de ejecución de hilos que incluye una matriz de elementos de procesamiento empleados en un núcleo de procesador de gráficos de acuerdo con realizaciones descritas en el presente documento;

LaFigura 19ilustra una unidad de ejecución adicional, de acuerdo con una realización;

LaFigura 20es un diagrama de bloques que ilustra unos formatos de instrucción de procesador de gráficos de acuerdo con algunas realizaciones;

LaFigura 21es un diagrama de bloques de un procesador de gráficos de acuerdo con otra realización; Las Figuras 22A-22B ilustran un formato de comando de procesador de gráficos y una secuencia de comandos, de acuerdo con algunas realizaciones;

LaFigura 23ilustra una arquitectura de software de gráficos ilustrativa para un sistema de procesamiento de datos de acuerdo con algunas realizaciones;

LaFigura 24Aes un diagrama de bloques que ilustra un sistema de desarrollo de núcleo de IP, de acuerdo con una realización;

LaFigura 24Bilustra una vista lateral en sección transversal de un conjunto de paquete de circuito integrado, de acuerdo con algunas realizaciones descritas en el presente documento;

LaFigura 24Cilustra un conjunto de paquete que incluye múltiples unidades de chips lógicos de hardware conectados a un sustrato (por ejemplo, chip de base);

LaFigura 24Dilustra un conjunto de paquete que incluye chiplet intercambiables, de acuerdo con una realización;

LaFigura 25es un diagrama de bloques que ilustra un sistema ilustrativo en un circuito de chip integrado, de acuerdo con una realización;

LasFiguras 26A-26Bson diagramas de bloques que ilustran procesadores gráficos ilustrativos para su uso dentro de un SoC, de acuerdo con realizaciones descritas en el presente documento;

LaFigura 27es un diagrama de bloques de un sistema de procesamiento de la técnica anterior;

LaFigura 28ilustra un mapeo entre una pluralidad de datos de gráficos y memorias intermedias en un sistema de procesamiento de la técnica anterior;

LaFigura 29Aes un diagrama de bloques de un sistema de procesamiento, de acuerdo con una realización; LaFigura 29Bes un diagrama de bloques de un sistema de procesamiento, de acuerdo con una realización; LaFigura 29Ces un diagrama de bloques de un sistema de procesamiento, de acuerdo con una realización;

LaFigura 29Des un diagrama de bloques de un sistema de procesamiento, de acuerdo con una realización;

LaFigura 30ilustra un mapeo entre una pluralidad de datos de gráficos y memorias intermedias en un sistema de procesamiento, de acuerdo con una realización;

LaFigura 31ilustra un método de compartición de memoria intermedia, de acuerdo con una realización; y

LaFigura 32ilustra un método de compartición de memoria intermedia, de acuerdo con una realización.

Descripción detallada

En algunas realizaciones, una unidad de procesamiento de gráficos (GPU) está acoplada de manera comunicativa a núcleos de anfitrión/procesador para acelerar operaciones de gráficos, operaciones de aprendizaje automático, operaciones de análisis de patrones y diversas funciones de GPU de propósito general (GPGPU). La GPU puede acoplarse de manera comunicativa al procesador/núcleos de anfitrión a través de un bus u otra interconexión (por ejemplo, una interconexión de alta velocidad tal como PCIe o NVLink). En otras realizaciones, la GPU puede integrarse en el mismo paquete o chip que los núcleos y estar acoplada de manera comunicativa a los núcleos a través de un bus/interconexión de procesador interno (es decir, internamente al paquete o chip). Independientemente de la manera en la que esté conectada la GPU, los núcleos de procesador pueden asignar trabajo a la GPU en forma de secuencias de comandos/instrucciones contenidas en un descriptor de trabajo. La GPU, a continuación, usa circuitería/lógica especializada para el procesamiento de manera efectiva de estos comandos/instrucciones.

En la siguiente descripción, se exponen numerosos detalles específicos para proporcionar un entendimiento más minucioso. Sin embargo, será evidente para un experto en la materia que las realizaciones descritas en el presente documento pueden ponerse en práctica sin uno o más de estos detalles específicos. En otros casos, no se han descrito características bien conocidas para evitar oscurecer los detalles de las presentes realizaciones.

Vista general del sistema

LaFigura 1es un diagrama de bloques que ilustra un sistema informático 100 configurado para implementar uno o más aspectos de las realizaciones descritas en el presente documento. El sistema informático 100 incluye un subsistema de procesamiento 101 que tiene uno o más procesadores 102 y una memoria de sistema 104 que se comunica mediante una ruta de interconexión que puede incluir un concentrador de memoria 105. El concentrador de memoria 105 puede ser un componente separado dentro de un componente de conjunto de chips o puede estar integrado dentro del uno o más procesador o procesadores 102. El concentrador de memoria 105 se acopla con un subsistema de E/S 111 mediante un enlace de comunicación 106. El subsistema de E/S 111 incluye un concentrador de E/S 107 que puede permitir que el sistema informático 100 reciba una entrada desde uno o más dispositivos de entrada 108. Adicionalmente, el concentrador de E/S 107 puede habilitar a un controlador de visualización, que puede incluirse en los uno o más procesadores 102, para que proporcione salidas a uno o más dispositivos de visualización 110A. En una realización, el uno o más dispositivos de visualización 110A acoplados con el concentrador de E/S 107 pueden incluir un dispositivo de visualización local, interno o integrado.

En una realización, el subsistema de procesamiento 101 incluye uno o más procesadores paralelos 112 acoplados al concentrador de memoria 105 mediante un bus u otro enlace de comunicación 113. El enlace de comunicación 113 puede ser uno de cualquier número de tecnologías o protocolos de enlace de comunicación basados en normas, tales como, pero sin limitación, PCI Express, o puede ser una interfaz de comunicaciones o tejido de comunicaciones específico del proveedor. En una realización, el uno o más procesadores paralelos 112 forman un sistema de procesamiento paralelo o vectorial de enfoque computacional que puede incluir un gran número de núcleos de procesamiento y/o agrupaciones de procesamiento, tal como un procesador de muchos núcleos integrados (MIC). En una realización, el uno o más procesadores paralelos 112 forman un subsistema de procesamiento de gráficos que puede emitir píxeles a uno de los uno o más o dispositivos de visualización 110A acoplados mediante el concentrador de E/S 107. El uno o más procesadores paralelos 112 pueden incluir también un controlador de visualización e interfaz de visualización (no mostrados) para permitir una conexión directa a uno o más dispositivos de visualización 110B.

Dentro del subsistema de E/S 111, una unidad de almacenamiento de sistema 114 puede conectarse al concentrador de E/S 107 para proporcionar un mecanismo de almacenamiento para el sistema informático 100. Puede usarse un conmutador de E/S 116 para proporcionar un mecanismo de interfaz para permitir conexiones entre el concentrador de E/S 107 y otros componentes, tales como un adaptador de red 118 y/o un adaptador de red inalámbrico 119 que pueden integrarse en la plataforma, y diversos otros dispositivos que pueden añadirse mediante uno o más dispositivos de adición 120. El adaptador de red 118 puede ser un adaptador de Ethernet u otro adaptador de red alámbrica. El adaptador de red inalámbrica 119 puede incluir uno o más de un dispositivo de Wi-Fi, Bluetooth, de comunicación de campo cercano (NFC) u otra red que incluye una o más radios inalámbricas.

El sistema informático 100 puede incluir otros componentes no explícitamente mostrados, que incluyen USB u otras conexiones de puerto, unidades de almacenamiento óptico, dispositivos de captura de vídeo y similares que también puede conectarse al concentrador de E/S 107. Las rutas de comunicación que interconectan los diversos componentes de la Figura 1 pueden implementarse usando cualquier protocolo adecuado, tal como protocolos basados en PCI (Interconexión de Componentes Periféricos) (por ejemplo, PCI-Express), o cualesquiera otras interfaces y/o protocolo o protocolos de comunicación de bus o de punto a punto, tales como la interconexión de alta velocidad NV-Link, o protocolos de interconexión conocidos en la técnica.

En una realización, el uno o más procesadores paralelos 112 incorporan circuitería optimizada para procesamiento de gráficos y de vídeo, incluyendo, por ejemplo, circuitería de salida de vídeo y constituye una unidad de procesamiento de gráficos (GPU). En otra realización, el uno o más procesadores paralelos 112 incorporan circuitería optimizada para procesamiento de propósito general, mientras conservan la arquitectura computacional subyacente, descrita en mayor detalle en el presente documento. En otra realización más, los componentes del sistema informático 100 pueden estar integrados con uno o más otros elementos de sistema en un único circuito integrado. Por ejemplo, el uno o más procesadores paralelos 112, el concentrador de memoria 105, el procesador o procesadores 102 y el concentrador de E/S 107 pueden integrarse en un circuito integrado de sistema en chip (SoC). Como alternativa, los componentes del sistema informático 100 pueden estar integrados en un único paquete para formar una configuración de sistema en paquete (SIP). En una realización, al menos una porción de los componentes del sistema informático 100 puede estar integrada en un módulo de múltiples chips (MCM), que puede estar interconectado con otros módulos de múltiples chips en un sistema informático modular.

Se apreciará que el sistema informático 100 mostrado en el presente documento es ilustrativo y que son posibles variaciones y modificaciones. La topología de conexión, que incluye el número y disposición de puentes, el número de procesador o procesadores 102, y el número de procesador o procesadores paralelos 112, puede modificarse según se desee. Por ejemplo, en algunas realizaciones, la memoria de sistema 104 está conectada al procesador o procesadores 102 directamente en lugar de a través de un puente, mientras que otros dispositivos se comunican con la memoria de sistema 104 mediante el concentrador de memoria 105 y el procesador o procesadores 102. En otras topologías alternativas, el procesador o procesadores paralelos 112 están conectados al concentrador de E/S 107 o directamente a uno del uno o más procesador o procesadores 102, en lugar de al concentrador de memoria 105. En otras realizaciones, el concentrador de E/S 107 y el concentrador de memoria 105 pueden estar integrados en un único chip. Algunas realizaciones pueden incluir dos o más conjuntos del procesador o procesadores 102 adjuntos mediante múltiples zócalos, que pueden acoplarse con dos o más instancias del procesador o procesadores paralelos 112.

Alguno de los componentes particulares mostrados en el presente documento es opcional y puede no estar incluido en todas las implementaciones del sistema informático 100. Por ejemplo, puede soportarse cualquier número de tarjetas o periféricos de adición, o pueden eliminarse algunos componentes. Además, algunas arquitecturas pueden usar diferente terminología para componentes similares a aquellos ilustrados en la Figura 1. Por ejemplo, el concentrador de memoria 105 puede denominarse un puente norte en algunas arquitecturas, mientras que el concentrador de E/S 107 puede denominarse un puente sur.

LaFigura2A ilustra un procesador paralelo 200, de acuerdo con una realización. Los diversos componentes del procesador paralelo 200 pueden implementarse usando uno o más dispositivos de circuito integrado, tales como procesadores programables, circuitos integrados específicos de la aplicación (ASIC) o matrices de puertas programables en campo (FPGA). El procesador paralelo 200 ilustrado es una variante del uno o más procesador o procesadores paralelos 112 mostrados en la Figura 1, de acuerdo con una realización.

En una realización, el procesador paralelo 200 incluye una unidad de procesamiento paralelo 202. La unidad de procesamiento paralelo incluye una unidad de E/S 204 que permite la comunicación con otros dispositivos, incluyendo otras instancias de la unidad de procesamiento paralelo 202. La unidad de E/S 204 puede estar conectada directamente a otros dispositivos. En una realización, la unidad de E/S 204 se conecta con otros dispositivos mediante el uso de una interfaz de concentrador o de conmutador, tal como un concentrador de memoria 105. Las conexiones entre el concentrador de memoria 105 y la unidad de E/S 204 forman un enlace de comunicación 113. Dentro de la unidad de procesamiento paralelo 202, la unidad de E/S 204 se conecta con una interfaz de anfitrión 206 y una barra transversal de memoria 216, donde la interfaz de anfitrión 206 recibe comandos dirigidos a realizar las operaciones de procesamiento y la barra transversal de memoria 216 recibe comandos dirigidos a realizar operaciones de memoria.

Cuando la interfaz de anfitrión 206 recibe una memoria intermedia de comando mediante la unidad de E/S 204, la interfaz de anfitrión 206 puede dirigir operaciones de trabajo para realizar aquellos comandos a un extremo frontal 208. En una realización, el extremo frontal 208 se acopla con un planificador 210, que está configurado para distribuir comandos u otros elementos de trabajo a una matriz de agrupación de procesamiento 212. En una realización, el planificador 210 garantiza que la matriz de agrupación de procesamiento 212 está configurada apropiadamente y en un estado válido antes de que se distribuyan las tareas a las agrupaciones de procesamiento de la matriz de agrupación de procesamiento 212. En una realización, el planificador 210 se implementa mediante lógica de firmware que se ejecuta en un microcontrolador. El planificador implementado por microcontrolador 210 puede configurarse para realizar operaciones de planificación compleja y distribución de trabajo en granularidad basta y precisa, lo que permite dar prioridad de manera rápida y la conmutación de contexto de hilos que se ejecutan en la matriz de procesamiento 212. En una realización, el software de anfitrión puede demostrar cargas de trabajo para la planificación en la matriz de procesamiento 212 mediante uno de múltiples timbres de procesamiento de tráfico. Las cargas de trabajo, a continuación, pueden distribuirse automáticamente a través de la matriz de procesamiento 212 por la lógica del planificador 210 dentro del microcontrolador planificador.

La matriz de agrupación de procesamiento 212 puede incluir hasta "N" agrupaciones de procesamiento (por ejemplo, la agrupación 214A, la agrupación 214B a la agrupación 214N). Cada agrupación 214A-214N de la matriz de agrupación de procesamiento 212 puede ejecutar un gran número de hilos concurrentes. El planificador 210 puede asignar trabajo a las agrupaciones 214A-214N de la matriz de agrupación de procesamiento 212 usando diversos algoritmos de planificación y/o distribución de trabajo, que pueden variar dependiendo de la carga de trabajo que surge para cada tipo de programa o cálculo. La planificación puede manejarse dinámicamente por el planificador 210, o puede ser ayudada, en parte, por lógica de compilador durante la compilación de la lógica de programa configurada para la ejecución por la matriz de agrupación de procesamiento 212. En una realización, pueden asignarse diferentes agrupaciones 214A-214N de la matriz de agrupación de procesamiento 212 para procesar diferentes tipos de programas o para realizar diferentes tipos de cálculos.

La matriz de agrupación de procesamiento 212 puede configurarse para realizar diversos tipos de operaciones de procesamiento paralelo. En una realización, la matriz de agrupación de procesamiento 212 está configurada para realizar operaciones de cálculo paralelo de propósito general. Por ejemplo, la matriz de agrupación de procesamiento 212 puede incluir lógica para ejecutar tareas de procesamiento que incluye filtración de datos de vídeo y/o de audio, realización de operaciones de modelado, que incluye operaciones físicas y realización de transformaciones de datos.

En una realización, la matriz de agrupación de procesamiento 212 está configurada para realizar operaciones de procesamiento de gráficos en paralelo. En realizaciones en las que el procesador paralelo 200 está configurado para realizar operaciones de procesamiento de gráficos, la matriz de agrupación de procesamiento 212 puede incluir una lógica adicional para soportar la ejecución de tales operaciones de procesamiento de gráficos, incluyendo, pero sin limitación, una lógica de muestreo de textura para realizar operaciones de textura, así como una lógica de teselación y otra lógica de procesamiento de vértices. Adicionalmente, la matriz de agrupaciones de procesamiento 212 puede configurarse para ejecutar programas sombreadores relacionados con el procesamiento de gráficos tales como, pero sin limitación, programas sombreadores de vértices, programas sombreadores de teselación, programas sombreadores de geometría y programas sombreadores de píxeles. La unidad de procesamiento paralelo 202 puede transferir datos desde la memoria de sistema mediante la unidad de E/S 204 para su procesamiento. Durante el procesamiento, los datos transferidos pueden almacenarse en memoria en chip (por ejemplo, memoria de procesador paralelo 222) durante el procesamiento y, a continuación, escribirse de vuelta en memoria de sistema.

En una realización, cuando se usa la unidad de procesamiento paralelo 202 para realizar el procesamiento de gráficos, el planificador 210 puede estar configurado para dividir la carga de trabajo de procesamiento en tareas de tamaño aproximadamente igual, para permitir mejor la distribución de las operaciones de procesamiento de gráficos a múltiples agrupaciones 214A-214N de la matriz de agrupación de procesamiento 212. En algunas realizaciones, porciones de la matriz de agrupación de procesamiento 212 se pueden configurar para realizar diferentes tipos de procesamiento. Por ejemplo, una primera porción puede estar configurada para realizar sombrado de vértices y generación de topología, una segunda porción puede estar configurada para realizar teselación y sombreado de geometría, y una tercera porción puede estar configurada para realizar sombreado de píxeles u otras operaciones de espacio de pantalla, para producir una imagen representada para su visualización. Los datos intermedios producidos por una o más de las agrupaciones 214A-214N pueden almacenarse en memorias intermedias para permitir que se transmitan los datos intermedios entre las agrupaciones 214A-214N para su procesamiento adicional.

Durante la operación, la matriz de agrupación de procesamiento 212 puede recibir tareas de procesamiento para que se ejecuten mediante el planificador 210, que recibe comandos que definen tareas de procesamiento desde el extremo frontal 208. Para operaciones de procesamiento gráfico, las tareas de procesamiento pueden incluir índices de datos que van a procesarse, por ejemplo, datos de superficie (parche), datos de primitivas, datos de vértices y/o datos de píxeles, así como parámetros de estado y comandos que definen cómo han de procesarse los datos (por ejemplo, qué programa ha de ejecutarse). El planificador 210 puede estar configurado para extraer los índices que corresponden a las tareas o puede recibir los índices desde el extremo frontal 208. El extremo frontal 208 puede estar configurado para garantizar que la matriz de agrupación de procesamiento 212 está configurada en un estado válido antes de que se inicie la carga de trabajo especificada por las memorias intermedias de comando de entrada (por ejemplo, memorias intermedias de lote, memorias intermedias de inserción, etc.).

Cada una de la una o más instancias de la unidad de procesamiento paralelo 202 puede acoplarse con la memoria de procesador paralelo 222. Puede accederse a la memoria de procesador paralelo 222 mediante la barra transversal de memoria 216, que puede recibir solicitudes de memoria desde la matriz de agrupación de procesamiento 212, así como de la unidad de E/S 204. La barra transversal de memoria 216 puede acceder a la memoria de procesador paralelo 222 mediante una interfaz de memoria 218. La interfaz de memoria 218 puede incluir múltiples unidades de subdivisión (por ejemplo, de la unidad de subdivisión 220A, la unidad de subdivisión 220B a la unidad de subdivisión 220N), cada una de las cuales puede acoplarse a una porción (por ejemplo, unidad de memoria) de la memoria de procesador paralelo 222. En una implementación, el número de unidades de subdivisión 220A-220N está configurado para que sea igual al número de unidades de memoria, de tal forma que una primera unidad de subdivisión 220A tiene una correspondiente primera unidad de memoria 224A, una segunda unidad de subdivisión 220B tiene una correspondiente unidad de memoria 224B y una unidad de subdivisión de orden N 220N tiene una correspondiente unidad de memoria de orden N 224N. En otras realizaciones, el número de unidades de subdivisión 220A-220N puede no ser igual al número de dispositivos de memoria.

En diversas realizaciones, las unidades de memoria 224A-224N pueden incluir diversos tipos de dispositivos de memoria, que incluyen memoria de acceso aleatorio dinámica (DRAM) o memoria de acceso aleatorio de gráficos, tal como la memoria de acceso aleatorio de gráficos síncrona (SGRAM), que incluye la memoria de tasa de datos doble de gráficos (GDDR). En una realización, las unidades de memoria 224A-224N pueden incluir también memoria 3D apilada, que incluye, pero sin limitación, memoria de ancho de banda alto (HBM). Los expertos en la materia apreciarán que la implementación específica de las unidades de memoria 224A-224N puede variar, y puede seleccionarse de uno de diversos diseños convencionales. Los objetivos de representación, tales como las memorias intermedias de fotograma o los mapas de textura pueden almacenarse a través de las unidades de memoria 224A-224N, permitiendo que las unidades de subdivisión 220A-220N escriban porciones de cada objetivo de representación en paralelo para usar de manera efectiva el ancho de banda disponible de la memoria de procesador paralelo 222. En algunas realizaciones, puede excluirse una instancia local de la memoria de procesador paralelo 222 en favor de un diseño de memoria unificado que utiliza memoria de sistema en conjunto con memoria caché local.

En una realización, una cualquiera de las agrupaciones 214A-214N de la matriz de agrupaciones de procesamiento 212 puede procesar datos que se escribirán en cualquiera de las unidades de memoria 224A-224N dentro de la memoria de procesador paralelo 222. La barra transversal de memoria 216 puede configurarse para transferir la salida de cada agrupación 214A-214N a cualquier unidad de subdivisión 220A-220N o a otra agrupación 214A-214N, que puede realizar operaciones de procesamiento adicionales sobre la salida. Cada agrupación 214A-214N puede comunicarse con la interfaz de memoria 218 a través de la barra transversal de memoria 216 para leer desde o escribir en diversos dispositivos de memoria externos. En una realización, la barra transversal de memoria 216 tiene una conexión a la interfaz de memoria 218 para comunicarse con la unidad de E/S 204, así como una conexión a una instancia local de la memoria de procesador paralelo 222, lo que posibilita que las unidades de procesamiento dentro de las diferentes agrupaciones de procesamiento 214A-214N se comuniquen con la memoria de sistema u otra memoria que no sea local a la unidad de procesamiento paralelo 202. En una realización, la barra transversal de memoria 216 puede usar canales virtuales para separar flujos de tráfico entre las agrupaciones 214A-214N y las unidades de subdivisión 220A-220N.

Aunque se ilustra una única instancia de la unidad de procesamiento paralelo 202 dentro del procesador paralelo 200, puede incluirse cualquier número de instancias de la unidad de procesamiento paralelo 202. Por ejemplo, pueden proporcionarse múltiples instancias de la unidad de procesamiento paralelo 202 en una única tarjeta de adición, o pueden interconectarse múltiples tarjetas de adición. Las diferentes instancias de la unidad de procesamiento paralelo 202 pueden estar configuradas para interoperar incluso si las diferentes instancias tienen diferentes números de núcleos de procesamiento, diferentes cantidades de memoria de procesador paralelo local y/u otras diferencias de configuración. Por ejemplo, en una realización, algunas instancias de la unidad de procesamiento paralelo 202 pueden incluir unidades de coma flotante de precisión más alta con relación a otras instancias. Los sistemas que incorporan una o más instancias de la unidad de procesamiento paralelo 202 o el procesador paralelo 200 pueden implementarse en una diversidad de configuraciones y factores de forma, incluyendo, pero sin limitación, ordenadores personales de sobremesa, portátiles o de mano, servidores, estaciones de trabajo, consolas de juegos y/o sistemas integrados.

LaFigura 2Bes un diagrama de bloques de una unidad de subdivisión 220, de acuerdo con una realización. En una realización, la unidad de subdivisión 220 es una instancia de una de las unidades de subdivisión 220A-220N de la Figura 2A. Como se ilustra, la unidad de subdivisión 220 incluye una caché L2221, una interfaz de memoria intermedia de fotograma 225 y una ROP 226 (unidad de operaciones de rasterización). La caché L2 221 es una caché de lectura/escritura que está configurada para realizar operaciones de carga y almacenamiento recibidas desde la barra transversal de memoria 216 y la ROP 226. Los fallos de lectura y las solicitudes de escritura urgentes se emiten por la caché L2 221 a la interfaz de memoria intermedia de fotograma 225 para su procesamiento. Pueden enviarse también las actualizaciones a la memoria intermedia de fotograma mediante la interfaz de memoria intermedia de fotograma 225 para su procesamiento. En una realización, la interfaz de memoria intermedia de fotograma 225 interconecta con una de las unidades de memoria en la memoria de procesador paralelo, tal como las unidades de memoria 224A-224N de la Figura 2A (por ejemplo, dentro de la memoria de procesador paralelo 222).

En las aplicaciones de gráficos, la ROP 226 es una unidad de procesamiento que realiza operaciones de rasterización tales como estarcido, prueba z, mezcla y similares. La ROP 226 a continuación emite los datos de gráficos procesados que se almacenan en la memoria de gráficos. En algunas realizaciones, la ROP 226 incluye lógica de compresión para comprimir datos de profundidad o de color que se escriben en memoria y descomprimir datos de profundidad o de color que se leen desde la memoria. La lógica de compresión puede ser lógica de compresión sin pérdidas, que hace uso de uno o más de múltiples algoritmos de compresión. El tipo de compresión que se realiza por la ROP 226 puede variar basándose en las características estadísticas de los datos que van a comprimirse. Por ejemplo, en una realización, se realiza compresión de color delta en datos de profundidad y de color en una base por mosaico.

En algunas realizaciones, la ROP 226 está incluida dentro de cada agrupación de procesamiento (por ejemplo, la agrupación 214A-214N de la Figura 2A) en lugar de dentro de la unidad de subdivisión 220. En tal realización, las solicitudes de lectura y escritura de datos de píxeles se transmiten a través de la barra transversal de memoria 216 en lugar de datos de fragmentos de píxeles. Los datos de gráficos procesados pueden visualizarse en un dispositivo de visualización, tal como uno del uno o más dispositivos de visualización 110 de la Figura 1, encaminarse para su procesamiento adicional por el procesador o procesadores 102, o encaminarse para su procesamiento adicional por una de las entidades de procesamiento dentro del procesador paralelo 200 de la Figura 2A.

LaFigura 2Ces un diagrama de bloques de una agrupación de procesamiento 214 dentro de una unidad de procesamiento paralelo, de acuerdo con una realización. En una realización, la agrupación de procesamiento es una instancia de una de las agrupaciones de procesamiento 214A-214N de la Figura 2A. La agrupación de procesamiento 214 puede estar configurada para ejecutar muchos hilos en paralelo, donde el término "hilo" se refiere a una instancia de un programa particular que se ejecuta en un conjunto particular de datos de entrada. En algunas realizaciones, se usan técnicas de emisión de instrucción de única instrucción de múltiples datos (SIMD) para soportar la ejecución paralela de un gran número de hilos sin proporcionar múltiples unidades de instrucción independientes. En otras realizaciones, se usan técnicas de única instrucción de múltiples hilos (SIMT) para soportar la ejecución paralela de un gran número de hilos generalmente sincronizados, usando una unidad de instrucción común configurada para emitir instrucciones en un conjunto de motores de procesamiento dentro de cada una de las agrupaciones de procesamiento. A diferencia del régimen de ejecución de SIMD, donde todos los motores de procesamiento ejecutan habitualmente instrucciones idénticas, la ejecución de SIMT permite que diferentes hilos sigan más fácilmente rutas de ejecución divergentes a través de un programa de hilos dado. Los expertos en la materia entenderán que un régimen de procesamiento de SIMD representa un subconjunto funcional de un régimen de procesamiento de SIMT.

La operación de la agrupación de procesamiento 214 puede controlarse mediante un gestor de canalizaciones 232 que distribuye las tareas de procesamiento a procesadores paralelos de SIMT. El gestor de canalizaciones 232 recibe instrucciones desde el planificador 210 de la Figura 2A y gestiona la ejecución de estas instrucciones mediante un multiprocesador de gráficos 234 y/o una unidad de texturas 236. El multiprocesador de gráficos 234 ilustrado es una instancia ilustrativa de un procesador paralelo de SIMT. Sin embargo, pueden incluirse diversos tipos de procesadores paralelos de SIMT de arquitecturas diferentes dentro de la agrupación de procesamiento 214. Puede incluirse una o más instancias del multiprocesador de gráficos 234 dentro de una agrupación de procesamiento 214. El multiprocesador de gráficos 234 puede procesar datos y puede usarse una barra transversal de datos 240 para distribuir los datos procesados a uno de múltiples posibles destinos, que incluyen otras unidades sombreadoras. El gestor de canalizaciones 232 puede facilitar la distribución de datos procesados especificando destinos para que se distribuyan datos procesados mediante la barra transversal de datos 240.

Cada multiprocesador de gráficos 234 dentro de la agrupación de procesamiento 214 puede incluir un conjunto idéntico de lógica de ejecución funcional (por ejemplo, unidades aritmético-lógicas, unidades de carga-almacén, etc.). La lógica de ejecución funcional puede configurarse de una manera canalizada en la que pueden emitirse instrucciones nuevas antes de que se hayan completado instrucciones previas. La lógica de ejecución funcional soporta una diversidad de operaciones que incluyen aritmética de números enteros y de coma flotante, operaciones de comparación, operaciones booleanas, desplazamiento de bits y del cálculo de diversas funciones algebraicas. En una realización, puede aprovecharse el mismo hardware funcional-unitario para realizar diferentes operaciones y puede estar presente cualquier combinación de unidades funcionales.

Las instrucciones transmitidas a la agrupación de procesamiento 214 constituyen un hilo. Un conjunto de hilos que se ejecutan a través del conjunto de motores de procesamiento paralelo es un grupo de hilos. Un grupo de hilos ejecuta el mismo programa en diferentes datos de entrada. Cada hilo dentro de un grupo de hilos puede asignarse a un motor de procesamiento diferente dentro de un multiprocesador de gráficos 234. Un grupo de hilos puede incluir menos hilos que el número de motores de procesamiento dentro del multiprocesador de gráficos 234. Cuando un grupo de hilos incluye menos hilos que el número de motores de procesamiento, uno o más de los motores de procesamiento pueden encontrarse en espera durante ciclos en los que se está procesando ese grupo de hilos. Un grupo de hilos puede incluir también más hilos que el número de motores de procesamiento dentro del multiprocesador de gráficos 234. Cuando el grupo de hilos incluye más hilos que el número de motores de procesamiento dentro del multiprocesador de gráficos 234, puede realizarse el procesamiento a través de ciclos de reloj consecutivos. En una realización, pueden ejecutarse múltiples grupos de hilos concurrentemente en un multiprocesador de gráficos 234.

En una realización, el multiprocesador de gráficos 234 incluye una memoria caché interna para realizar operaciones de carga y almacenamiento. En una realización, el multiprocesador de gráficos 234 puede prescindir de una caché interna y usar una memoria caché (por ejemplo, la caché L1248) dentro de la agrupación de procesamiento 214. Cada multiprocesador de gráficos 234 también tiene acceso a cachés L2 dentro de las unidades de subdivisión (por ejemplo, las unidades de subdivisión 220A-220N de la Figura 2A) que se comparten entre todas las agrupaciones de procesamiento 214 y pueden usarse para transferir datos entre hilos. El multiprocesador de gráficos 234 puede acceder también a una memoria global fuera de chip, que puede incluir una o más de una memoria de procesador paralelo local y/o una memoria de sistema. Puede usarse cualquier memoria externa a la unidad de procesamiento paralelo 202 como memoria global. Las realizaciones en las que la agrupación de procesamiento 214 incluye múltiples instancias del multiprocesador de gráficos 234 pueden compartir instrucciones y datos comunes, que pueden almacenarse en la caché L1 248.

Cada agrupación de procesamiento 214 puede incluir una MMU 245 (unidad de gestión de memoria) que está configurada para mapear direcciones virtuales en direcciones físicas. En otras realizaciones, una o más instancias de la MMU 245 pueden residir dentro de la interfaz de memoria 218 de la Figura 2A. La MMU 245 incluye un conjunto de entradas de tabla de página (PTE) usadas para mapear una dirección virtual con una dirección física de un mosaico y, opcionalmente, un índice de líneas de caché. La MMU 245 puede incluir memorias intermedias de traducción adelantada (TLB) de direcciones o cachés que pueden residir dentro del multiprocesador de gráficos 234 o la caché de L1 o la agrupación de procesamiento 214. La dirección física se procesa para distribuir la localidad de acceso de datos de superficie para permitir una intercalación de solicitud eficiente entre unidades de subdivisión. El índice de líneas de caché puede usarse para determinar si una solicitud de una línea de caché es un acierto o un fallo.

En aplicaciones de gráficos e informáticas, una agrupación de procesamiento 214 puede configurarse de manera que cada multiprocesador de gráficos 234 está acoplado a una unidad de texturas 236 para realizar operaciones de mapeo de textura, por ejemplo, determinar posiciones de muestra de textura, leer datos de textura y filtrar los datos de textura. Los datos de textura se leen desde una caché L1 de textura interna (no mostrada) o, en algunas realizaciones, desde la caché L1 dentro del multiprocesador de gráficos 234 y se extraen desde una caché L2, memoria de procesador paralelo local o memoria de sistema, según sea necesario. Cada multiprocesador de gráficos 234 emite tareas procesadas a la barra transversal de datos 240 para proporcionar la tarea procesada a otra agrupación de procesamiento 214 para su procesamiento adicional o para almacenar la tarea procesada en una caché L2, memoria de procesador paralelo local o memoria de sistema mediante la barra transversal de memoria 216. Una preROP 242 (unidad de operaciones previas a la rasterización) está configurada para recibir datos desde el multiprocesador de gráficos 234, dirigir datos a las unidades de ROP, que pueden estar ubicadas con unidades de subdivisión como se describe en el presente documento (por ejemplo, las unidades de subdivisión 220A-220N de la Figura 2A). La unidad preROP 242 puede realizar optimizaciones para la mezcla de color, organizar datos de color de píxel y realizar traducciones de dirección.

Se apreciará que la arquitectura de núcleo descrita en el presente documento es ilustrativa y que son posibles variaciones y modificaciones. Puede incluirse cualquier número de unidades de procesamiento, por ejemplo, el multiprocesador de gráficos 234, las unidades de texturas 236, las preROP 242, etc., dentro de una agrupación de procesamiento 214. Además, aunque únicamente se muestra una agrupación de procesamiento 214, la unidad de procesamiento paralelo, como se describe en el presente documento, puede incluir cualquier número de instancias de la agrupación de procesamiento 214. En una realización, cada agrupación de procesamiento 214 puede estar configurada para operar independientemente de otras agrupaciones de procesamiento 214 usando unidades de procesamiento separadas y distintas, cachés L1, etc.

La Figura 2D muestra un multiprocesador de gráficos 234, de acuerdo con una realización. En tal realización, el multiprocesador de gráficos 234 se acopla con el gestor de canalizaciones 232 de la agrupación de procesamiento 214. El multiprocesador de gráficos 234 tiene una canalización de ejecución que incluye, pero sin limitación, una caché de instrucciones 252, una unidad de instrucciones 254, una unidad de mapeo de direcciones 256, un archivo de registro 258, uno o más núcleos de unidad de procesamiento de gráficos de propósito general (GPGPU) 262 y una o más unidades de carga/almacenamiento 266. Los núcleos de GPGPU 262 y las unidades de carga/almacén 266 están acoplados con la memoria caché 272 y a la memoria compartida 270 mediante una interconexión de memoria y caché 268. En una realización, el multiprocesador de gráficos 234 incluye adicionalmente núcleos tensores y/o de trazado de rayos 263 que incluyen lógica de hardware para acelerar las operaciones matriciales y/o de trazado de rayos.

En una realización, la caché de instrucciones 252 recibe un flujo de instrucciones para ejecutarse desde el gestor de canalizaciones 232. Las instrucciones se almacenan en caché en la caché de instrucciones 252 y se despachan para su ejecución por la unidad de instrucciones 254. La unidad de instrucciones 254 puede despachar instrucciones como grupos de hilos (por ejemplo, envolventes), con cada hilo del grupo de hilos asignado a una unidad de ejecución diferente dentro del núcleo de la GPGPU 262. Una instrucción puede acceder a cualquiera del espacio de direcciones local, compartido o global, especificando una dirección dentro de un espacio de direcciones unificado. La unidad de mapeo de direcciones 256 puede usarse para traducir direcciones en el espacio de direcciones unificado en una dirección de memoria distinta a la que puede accederse por las unidades de carga/almacén 266.

El archivo de registro 258 proporciona un conjunto de registros para las unidades funcionales del multiprocesador de gráficos 234. El archivo de registro 258 proporciona almacenamiento temporal para operandos conectados a las rutas de datos de las unidades funcionales (por ejemplo, los núcleos de GPGPU 262, las unidades de carga/almacén 266) del multiprocesador de gráficos 234. En una realización, el archivo de registro 258 se divide entre cada una de las unidades funcionales de manera que cada unidad funcional está asignada a una porción especializada del archivo de registro 258. En una realización, el archivo de registro 258 se divide entre las diferentes envolventes que se ejecutan por el multiprocesador de gráficos 234.

Los núcleos de GPGPU 262 puede cada uno incluir unidades de coma flotante (FPU) y/o unidades aritmético-lógicas (ALU) de números enteros que se usan para ejecutar instrucciones del multiprocesador de gráficos 234. Los núcleos de GPGPU 262 pueden ser similares en arquitectura o pueden diferir en arquitectura, de acuerdo con las realizaciones. Por ejemplo, y en una realización, una primera porción de los núcleos de GPGPU 262 incluye una FPU de precisión sencilla y una ALU de números enteros, mientras que una segunda porción de los núcleos de GPGPU incluye una FPU de precisión doble. En una realización, las FPU pueden implementar la norma IEEE 754-2008 para aritmética de coma flotante o posibilitar aritmética de coma flotante de precisión variable. El multiprocesador de gráficos 234 puede incluir adicionalmente una o más unidades de función fija o de función especial para realizar funciones específicas, tales como operaciones de copia de rectángulo o de mezcla de píxeles. En una realización, uno o más de los núcleos de GPGPU pueden incluir también una lógica de función fija o especial.

En una realización, los núcleos de GPGPU 262 incluyen lógica de SIMD que puede realizar una única instrucción en múltiples conjuntos de datos. En una realización, los núcleos de GPGPU 262 pueden ejecutar físicamente instrucciones de SIMD4, de SIMD8 y de SIMD16 y ejecutar lógicamente instrucciones de SIMD1, SIMD2 y SIMD32. Las instrucciones de SIMD para los núcleos de GPGPU pueden generarse en el momento de compilación por un compilador de sombreador o generarse automáticamente cuando se ejecutan programas escritos y compilados para arquitecturas de datos de múltiples programas sencillos (SPMD) o SIMT. Múltiples hilos de un programa configurado para el modelo de ejecución de SIMT pueden ejecutarse mediante una única instrucción de SIMD. Por ejemplo, y en una realización, ocho hilos de SIMT que realizan las mismas operaciones o similares, pueden ejecutarse en paralelo mediante una única unidad de lógica de SIMD8.

La interconexión de memoria y caché 268 es una red de interconexión que conecta cada una de las unidades funcionales del multiprocesador de gráficos 234 al archivo de registro 258 y a la memoria compartida 270. En una realización, la interconexión de memoria y caché 268 es una interconexión de barra transversal que permite que la unidad de carga/almacén 266 implemente operaciones de carga y almacén entre la memoria compartida 270 y el archivo de registro 258. El archivo de registro 258 puede funcionar a la misma frecuencia que los núcleos de GPGPU 262, por lo tanto, la transferencia de datos entre los núcleos de GPGPU 262 y el archivo de registro 258 tiene una latencia muy baja. La memoria compartida 270 puede usarse para permitir la comunicación entre hilos que se ejecutan en las unidades funcionales dentro del multiprocesador de gráficos 234. La memoria caché 272 puede usarse como una caché de datos, por ejemplo, para almacenar en caché datos de textura comunicados entre las unidades funcionales y la unidad de textura 236. La memoria compartida 270 puede usarse también como un programa gestionado almacenado en caché. Los hilos que se ejecutan en los núcleos de GPGPU 262 pueden almacenar datos mediante programación dentro de la memoria compartida además de los datos almacenados automáticamente en caché que se almacenan dentro de la memoria caché 272.

LasFiguras3A-3C ilustran multiprocesadores de gráficos adicionales, de acuerdo con las realizaciones. Las Figuras 3A-3B ilustran multiprocesadores de gráficos 325, 350, que son variantes del multiprocesador de gráficos 234 de la Figura 2C. La Figura 3C ilustra una unidad de procesamiento de gráficos (GPU) 380 que incluye conjuntos especializados de recursos de procesamiento de gráficos dispuestos en grupos de múltiples núcleos 365A-365N. Los multiprocesadores de gráficos ilustrados 325, 350 y los grupos de múltiples núcleos 365A-365N pueden ser un multiprocesador de envío por flujo continuo (SM) que puede ejecutar simultáneamente un gran número de hilos de ejecución.

La Figura 3A muestra un multiprocesador de gráficos 325 de acuerdo con una realización adicional. El multiprocesador de gráficos 325 incluye múltiples instancias adicionales de unidades de recurso de ejecución relativas al multiprocesador de gráficos 234 de la Figura 2D. Por ejemplo, el multiprocesador de gráficos 325 puede incluir múltiples instancias de la unidad de instrucciones 332A-332B, el archivo de registro 334A-334B y la unidad o unidades de textura 344A-344B. El multiprocesador de gráficos 325 también incluye múltiples conjuntos de unidades de ejecución de cálculo o de gráficos (por ejemplo, el núcleo de GPGPU 336A-336B, el núcleo de tensor 337A-337B, el núcleo de trazado de rayos 338A-338B) y múltiples conjuntos de unidades de carga/almacén 340A-340B. En una realización, las unidades de recurso de ejecución tienen una caché de instrucciones común 330, memoria caché de textura y/o datos 342 y memoria compartida 346.

Los diversos componentes pueden comunicarse mediante un tejido de interconexión 327. En una realización, el tejido de interconexión 327 incluye uno o más conmutadores de barra transversal para permitir la comunicación entre los diversos componentes del multiprocesador de gráficos 325. En una realización, el tejido de interconexión 327 es una capa de tejido de red de alta velocidad separada en la que se apila cada componente del multiprocesador de gráficos 325. Los componentes del multiprocesador de gráficos 325 se comunican con componentes remotos mediante el tejido de interconexión 327. Por ejemplo, cada uno de los núcleos de GPGPU 336A-336B, 337A-337B y 3378A-338B puede comunicarse con la memoria compartida 346 mediante el tejido de interconexión 327. El tejido de interconexión 327 puede arbitrar la comunicación dentro del multiprocesador de gráficos 325 para garantizar una asignación de ancho de banda equitativa entre componentes.

La Figura 3B muestra un multiprocesador de gráficos 350 de acuerdo con una realización adicional. El procesador de gráficos incluye múltiples conjuntos de recursos de ejecución 356A-356D, donde cada conjunto de recursos de ejecución incluye múltiples unidades de instrucciones, archivos de registro, núcleos de GPGPU y unidades de cargaalmacén, como se ilustra en la Figura 2D y en la Figura 3A. Los recursos de ejecución 356A-356D pueden funcionar en conjunto con la unidad o unidades de textura 360A-360D para operaciones de textura, mientras que comparten una caché de instrucciones 354 y la memoria compartida 353. En una realización, los recursos de ejecución 356A-356D pueden compartir una caché de instrucciones 354 y una memoria compartida 353, así como múltiples instancias de una memoria de textura y/o de caché de datos 358A-358B. Los diversos componentes pueden comunicarse mediante un tejido de interconexión 352 similar al tejido de interconexión 327 de la Figura 3A.

Los expertos en la materia entenderán que la arquitectura descrita en las Figuras 1, 2A-2D y 3A-3B es descriptiva y no limitante en cuanto al alcance de las presentes realizaciones. Por lo tanto, las técnicas descritas en el presente documento pueden implementarse en cualquier unidad de procesamiento configurada apropiadamente, incluyendo, sin limitación, uno o más procesadores de aplicaciones móviles, una o más unidades centrales de procesamiento (CPU) de sobremesa o de servidor, incluyendo CPU de múltiples núcleos, una o más unidades de procesamiento paralelo, tales como la unidad de procesamiento paralelo 202 de la Figura 2A, así como uno o más procesadores de gráficos o unidades de procesamiento de propósito especial, sin apartarse del alcance de las realizaciones descritas en el presente documento.

En algunas realizaciones, un procesador paralelo o GPGPU como se describe en el presente documento está acoplado de manera comunicativa a núcleos de anfitrión/procesador para acelerar operaciones de gráficos, operaciones de aprendizaje automático, operaciones de análisis de patrones y diversas funciones de GPU de propósito general (GPGPU). La GPU puede estar acoplada de manera comunicativa al procesador/núcleos de anfitrión a través de un bus u otra interconexión (por ejemplo, una interconexión de alta velocidad tal como PCIe o NVLink). En otras realizaciones, la GPU puede integrarse en el mismo paquete o chip que los núcleos y estar acoplada de manera comunicativa a los núcleos a través de un bus/interconexión de procesador interno (es decir, internamente al paquete o chip). Independientemente de la manera en la que esté conectada la GPU, los núcleos de procesador pueden asignar trabajo a la GPU en forma de secuencias de comandos/instrucciones contenidas en un descriptor de trabajo. La GPU, a continuación, usa circuitería/lógica especializada para el procesamiento de manera efectiva de estos comandos/instrucciones.

LaFigura 3Cilustra una unidad de procesamiento de gráficos (GPU) 380 que incluye conjuntos especializados de recursos de procesamiento de gráficos dispuestos en grupos de múltiples núcleos 365A-N. Si bien se proporcionan los detalles de un único grupo de múltiples núcleos 365A, se apreciará que los otros grupos de múltiples núcleos 365B-365N pueden estar equipados con conjuntos iguales o similares de recursos de procesamiento de gráficos.

Como se ilustra, un grupo de múltiples núcleos 365A puede incluir un conjunto de núcleos de gráficos 370, un conjunto de núcleos tensores 371 y un conjunto de núcleos de trazado de rayos 372. Un planificador/despachador 368 planifica y distribuye los hilos de gráficos para su ejecución en los diversos núcleos 370, 371,372. Un conjunto de archivos de registro 369 almacena valores de operandos usados por los núcleos 370, 371, 372 cuando se ejecutan los hilos de gráficos. Estos pueden incluir, por ejemplo, registros de números enteros para almacenar valores de números enteros, registros de coma flotante para almacenar valores de coma flotante, registros vectoriales para almacenar elementos de datos empaquetados (elementos de datos de números enteros y/o de coma flotante) y registros de mosaico para almacenar valores de tensor/matriz. En una realización, los registros de mosaico se implementan como conjuntos combinados de registros vectoriales.

Una o más cachés combinadas de nivel 1 (L1) y unidades de memoria compartida 373 almacenan datos de gráficos tales como datos de textura, datos de vértices, datos de píxeles, datos de rayos, datos de volumen delimitador, etc., localmente dentro de cada grupo de múltiples núcleos 365A. También se pueden usar una o más unidades de texturas 374 para realizar operaciones de texturizado, tales como mapeo y muestreo de textura. Una caché de nivel 2 (L2) 375 compartida por todos o un subconjunto de los grupos de múltiples núcleos 365A-365N almacena datos de gráficos y/o instrucciones para múltiples hilos gráficos simultáneos. Como se ilustra, la caché L2375 puede compartirse entre una pluralidad de grupos de múltiples núcleos 365A-365N. Uno o más controladores de memoria 367 acoplan la GPU 380 a una memoria 366 que puede ser una memoria de sistema (por ejemplo, DRAM) y/o una memoria de gráficos especializada (por ejemplo, memoria GDDR6).

El circuito de entrada/salida (E/S) 363 acopla la GPU 380 a uno o más dispositivos de E/S 362, tales como procesadores de señales digitales (DSP), controladores de red o dispositivos de entrada de usuario. Se puede usar una interconexión en chip para acoplar los dispositivos de E/S 362 a la GPU 380 y a la memoria 366. Una o más unidades de gestión de memoria de E/S (IOMMU) 364 de la circuitería de E/S 363 acoplan los dispositivos de E/S 362 directamente a la memoria del sistema 366. En una realización, la IOMMU 364 gestiona múltiples conjuntos de tablas de páginas para asignar direcciones virtuales a direcciones físicas en la memoria de sistema 366. En esta realización, los dispositivos de E/S 362, la o las CPU 361 y la o las GPU 380 pueden compartir el mismo espacio de direcciones virtuales.

En una implementación, la IOMMU 364 soporta virtualización. En este caso, puede gestionar un primer conjunto de tablas de páginas para mapear direcciones virtuales de invitados/gráficos a direcciones físicas de invitados/gráficos y un segundo conjunto de tablas de páginas para asignar las direcciones físicas de invitados/gráficos a direcciones físicas de sistema/anfitrión (por ejemplo, dentro de la memoria de sistema 366). Las direcciones base de cada uno del primer y segundo conjuntos de tablas de páginas pueden almacenarse en registros de control e intercambiarse en un cambio de contexto (por ejemplo, para que se proporcione al nuevo contexto acceso al conjunto relevante de tablas de páginas). Aunque no se ilustra en la Figura 3C, cada uno de los núcleos 370, 371,372 y/o los grupos de múltiples núcleos 365A-365N pueden incluir memorias intermedias de traducción adelantada (TLB) para almacenar en caché las traducciones de virtual de invitado a físico de invitado, traducciones de físico de invitado a físico de anfitrión y traducciones de virtual de invitado a físico de anfitrión.

En una realización, la o las CPU 361, la o las GPU 380 y los dispositivos de E/S 362 están integrados en un único chip semiconductor y/o paquete de chip. La memoria ilustrada 366 puede integrarse en el mismo chip o puede acoplarse a los controladores de memoria 367 a través de una interfaz fuera del chip. En una implementación, la memoria 366 comprende una memoria GDDR6 que comparte el mismo espacio de direcciones virtuales que otras memorias físicas a nivel de sistema, aunque los principios subyacentes de la invención no se limitan a esta implementación específica.

En una realización, los núcleos tensores 371 incluyen una pluralidad de unidades de ejecución diseñadas específicamente para realizar operaciones matriciales, que son la operación de cálculo fundamental usada para realizar operaciones de aprendizaje profundo. Por ejemplo, pueden usarse operaciones de multiplicación de matrices simultáneas para el entrenamiento y la inferencia de redes neuronales. Los núcleos tensores 371 pueden realizar procesamiento matricial usando una diversidad de precisiones de operandos que incluyen coma flotante de precisión sencilla (por ejemplo, 32 bits), coma flotante de media precisión (por ejemplo, 16 bits), palabras enteras (16 bits), bytes (8 bits) y medios bytes (4 bits). En una realización, una implementación de red neuronal extrae características de cada escena representada, combinando potencialmente detalles de múltiples fotogramas, para construir una imagen final de alta calidad.

En implementaciones de aprendizaje profundo, se puede planificar el trabajo de multiplicación de matrices paralelas para su ejecución en los núcleos tensores 371. El entrenamiento de redes neuronales, en particular, requiere un número significativo de operaciones de productos escalares de matrices. Para procesar una formulación de producto interno de una matriz N x N x N multiplicada, los núcleos tensores 371 pueden incluir al menos N elementos de procesamiento de producto escalar. Antes de que comience la multiplicación de la matriz, se carga una matriz completa en registros de mosaicos y se carga al menos una columna de una segunda matriz en cada ciclo durante N ciclos. En cada ciclo, se procesan N productos escalares.

Los elementos de la matriz se pueden almacenar con diferentes precisiones de acuerdo con la implementación particular, que incluye palabras de 16 bits, bytes de 8 bits (por ejemplo, INT8) y medios bytes de 4 bits (por ejemplo, INT4). Se pueden especificar diferentes modos de precisión para los núcleos tensores 371 para garantizar que se use la precisión más eficiente para diferentes cargas de trabajo (por ejemplo, tales como cargas de trabajo de inferencia que pueden tolerar la cuantificación a bytes y medios bytes).

En una realización, los núcleos de trazado de rayos 372 aceleran las operaciones de trazado de rayos tanto para implementaciones de trazado de rayos en tiempo real como para implementaciones de trazado de rayos en tiempo no real. En particular, los núcleos de trazado de rayos 372 incluyen circuitería de cruce/intersección de rayos para realizar el cruce de rayos usando jerarquías de volúmenes delimitadores (BVH) e identificar intersecciones entre rayos y primitivas encerradas dentro de los volúmenes de BVH. Los núcleos de trazado de rayos 372 también pueden incluir circuitería para realizar pruebas de profundidad y selección

(por ejemplo, usando una memoria intermedia Z o una disposición similar). En una implementación, los núcleos de trazado de rayos 372 realizan operaciones de cruce e intersección en conjunto con las técnicas de eliminación de ruido de imágenes descritas en el presente documento, al menos una porción de las que se puede ejecutar en los núcleos tensores 371. Por ejemplo, en una realización, los núcleos tensores 371 implementan una red neuronal de aprendizaje profundo para realizar la eliminación de ruido de fotogramas generados por los núcleos de trazado de rayos 372. Sin embargo, la o las CPU 361, los núcleos de gráficos 370 y/o los núcleos de trazado de rayos 372 también pueden implementar todos o una porción de los algoritmos de eliminación de ruido y/o aprendizaje profundo.

Además, como se describió anteriormente, se puede emplear un enfoque distribuido para la eliminación de ruido en el que la GPU 380 está en un dispositivo informático acoplado a otros dispositivos informáticos a través de una red o interconexión de alta velocidad. En esta realización, los dispositivos informáticos interconectados comparten datos de aprendizaje/entrenamiento de redes neuronales para mejorar la velocidad con la que el sistema general aprende a realizar la eliminación de ruido para diferentes tipos de fotogramas de imágenes y/o diferentes aplicaciones de gráficos.

En una realización, los núcleos de trazado de rayos 372 procesan todos los cruces de BVH y las intersecciones primitivas de rayos, evitando que los núcleos de gráficos 370 se sobrecarguen con miles de instrucciones por rayo. En una realización, cada núcleo de trazado de rayos 372 incluye un primer conjunto de circuitería especializada para realizar pruebas de cajas delimitadoras (por ejemplo, para operaciones de cruce) y un segundo conjunto de circuitería especializada para realizar las pruebas de intersección de triángulos de rayos (por ejemplo, rayos que se cruzan que han sido cruzados). Por lo tanto, en una realización, el grupo de múltiples núcleos 365A puede simplemente lanzar una sonda de rayos, y los núcleos de trazado de rayos 372 realizan de forma independiente cruce e intersección de rayos y devuelven datos de acierto (por ejemplo, un acierto, ningún acierto, múltiples aciertos, etc.) al contexto del hilo. Los otros núcleos 370, 371 quedan libres para realizar otros gráficos o trabajos de cálculo mientras que los núcleos de trazado de rayos 372 realizan las operaciones de cruce e intersección.

En una realización, cada núcleo de trazado de rayos 372 incluye una unidad transversal para realizar operaciones de prueba de BVH y una unidad de intersección que realiza pruebas de intersección primitivas de rayos. La unidad de intersección genera una respuesta de "acierto", "ningún acierto" o "múltiples aciertos", que proporciona al hilo apropiado. Durante las operaciones de cruce e intersección, los recursos de ejecución de los otros núcleos (por ejemplo, núcleos de gráficos 370 y núcleos tensores 371) se liberan para realizar otras formas de trabajo de gráficos.

En una realización particular que se describe a continuación, se usa un enfoque híbrido de rasterización/trazado de rayos en el que el trabajo se distribuye entre los núcleos de gráficos 370 y los núcleos de trazado de rayos 372.

En una realización, los núcleos de trazado de rayos 372 (y/u otros núcleos 370, 371) incluyen soporte de hardware para un conjunto de instrucciones de trazado de rayos tal como el trazado de rayos de DirectX (DXR) de Microsoft que incluye un comando DispatchRays, así como sombreadores de generación de rayos, de acierto cercano, de cualquier acierto y pérdida, que permiten la asignación de conjuntos únicos de sombreadores y texturas para cada objeto. Otra plataforma de trazado de rayos que puede ser compatible con los núcleos de trazado de rayos 372, los núcleos de gráficos 370 y los núcleos tensores 371 es Vulkan 1.1.85. Sin embargo, obsérvese que los principios subyacentes de la invención no se limitan a ninguna ISA de trazado de rayos particular.

En general, los diversos núcleos 372, 371,370 pueden soportar un conjunto de instrucciones de trazado de rayos que incluye instrucciones/funciones para generación de rayos, acierto más cercano, cualquier acierto, intersección de primitivas de rayos, construcción de cuadro delimitador jerárquico y por primitiva, fallo, visita y excepciones. Más específicamente, una realización incluye instrucciones de trazado de rayos para realizar las siguientes funciones:

Generación de rayos - las instrucciones de generación de rayos se pueden ejecutar para cada píxel, muestra u otra asignación de trabajo definida por el usuario.

Acierto más cercano - se puede ejecutar una instrucción de acierto más cercano para ubicar el punto de intersección más cercano de un rayo con primitivas dentro de una escena.

Cualquier acierto - una instrucción de cualquier acierto identifica múltiples intersecciones entre un rayo y primitivas dentro de una escena, potencialmente para identificar un nuevo punto de intersección más cercano.

Intersección - una instrucción de intersección realiza una prueba de intersección primitiva de rayos y genera un resultado.

Construcción del cuadro delimitador por primitiva - esta instrucción crea un cuadro delimitador alrededor de una primitiva o grupo de primitivas dado (por ejemplo, cuando se construye un nuevo BVH u otra estructura de datos de aceleración).

Pérdida - indica que un rayo omite toda la geometría dentro de una escena o una región especificada de una escena.

Visita - indica los volúmenes hijos que cruzará un rayo.

Excepciones - incluye diversos tipos de manejadores de excepciones (por ejemplo, invocados para diversas condiciones de error).

Técnicas para interconexión de GPU a procesador de anfitrión

LaFigura 4Ailustra una arquitectura ilustrativa en la que una pluralidad de GPU 410-413 están acopladas de manera comunicativa a una pluralidad de procesadores de múltiples núcleos 405-406 a través de enlaces de alta velocidad 440A-440D (por ejemplo, buses, interconexiones de punto a punto, etc.). En una realización, los enlaces de alta velocidad 440A-440D soportan un caudal de comunicación de 4 GB/s, 30 GB/s, 80 GB/s o mayor, dependiendo de la implementación. Pueden usarse diversos protocolos de interconexión, incluyendo, pero sin limitación, PCIe 4.0 o 5.0 y NVLink 2.0. Sin embargo, los principios subyacentes de la invención no están limitados a ningún protocolo o caudal de comunicación particular.

Además, en una realización, dos o más de las GPU 410-413 están interconectadas a través de los enlaces de alta velocidad 442A-442B, que pueden implementarse usando los mismos protocolos/enlaces que, o unos diferentes, los usados para los enlaces de alta velocidad 440A-440D. De manera similar, dos o más de los procesadores de múltiples núcleos 405-406 pueden conectarse a través del enlace de alta velocidad 443 que pueden ser buses de múltiples procesadores simétricos (SMP) que operan a 20 GB/s, 30 GB/s, 120 GB/s o más. Como alternativa, toda la comunicación entre los diversos componentes de sistema mostrados en laFigura 4Apuede conseguirse usando los mismos protocolos/enlaces (por ejemplo, a través de un tejido de interconexión común). Sin embargo, como se ha mencionado, los principios subyacentes de la invención no están limitados a ningún tipo particular de tecnología de interconexión.

En una realización, cada procesador de múltiples núcleos 405-406 está acoplado de manera comunicativa a una memoria de procesador 401-402, mediante las interconexiones de memoria 430A-430B, respectivamente, y cada GPU 410-413 está acoplada de manera comunicativa a la memoria de la GPU 420-423 a través de las interconexiones de memoria de GPU 450A-450D, respectivamente. Las interconexiones de memoria 430A-430B y 450A-450D pueden utilizar las mismas tecnologías de acceso de memoria o diferentes. A modo de ejemplo, y no como limitación, las memorias de procesador 401-402 y las memorias de GPU 420-423 pueden ser memorias volátiles, tal como memorias de acceso aleatorio dinámicas (DRAM) (que incluyen DRAM apiladas), SDRAM DDR de gráficos (GDDR) (por ejemplo, GDDR5, GDDR6), o memoria de ancho de banda alto (HBM) y/o pueden ser memorias no volátiles, tales como 3D XPoint o Nano-Ram. En una realización, alguna porción de las memorias puede ser memoria volátil y otra porción puede ser memoria no volátil (por ejemplo, usando una jerarquía de memoria de dos niveles (2LM)).

Como se describe a continuación, aunque los diversos procesadores 405-406 y las GPU 410-413 pueden estar físicamente acoplados a una memoria particular 401-402, 420-423, respectivamente, puede implementarse una arquitectura de memoria unificada en la que el mismo espacio de direcciones de sistema virtual (también denominado espacio "de direcciones eficaces") está distribuido entre todas las diversas memorias físicas. Por ejemplo, cada una de las memorias de procesador 401 -402 puede comprender 64 GB del espacio de direcciones de memoria de sistema y cada una de las memorias de GPU 420-423 puede comprender 32 GB del espacio de direcciones de memoria de sistema (dando como resultado un total de memoria direccionable de 256 GB en este ejemplo).

LaFigura 4Bilustra detalles adicionales para una interconexión entre un procesador de múltiples núcleos 407 y un módulo de aceleración de gráficos 446 de acuerdo con una realización. El módulo de aceleración de gráficos 446 puede incluir uno o más chips de GPU integrados en una tarjeta de línea que está acoplada al procesador 407 mediante el enlace de alta velocidad 440. Como alternativa, el módulo de aceleración de gráficos 446 puede estar integrado en el mismo paquete o chip que el procesador 407.

El procesador ilustrado 407 incluye una pluralidad de núcleos 460A-460D, cada uno con una memoria intermedia de traducción adelantada 461A-461D y una o más cachés 462A-462D. Los núcleos pueden incluir diversos otros componentes para ejecutar instrucciones y procesar datos, que no se han ilustrado para evitar oscurecer los principios subyacentes de la invención, (por ejemplo, unidades de extracción de instrucción, unidades de predicción de ramal, decodificadores, unidades de ejecución, memorias intermedias de reordenación, etc.). Las cachés 462A-462D pueden comprender cachés de nivel 1 (L1) y de nivel 2 (L2). Además, pueden incluirse una o más cachés compartidas 456 en la jerarquía de almacenamiento en caché y compartirse por conjuntos de los núcleos 460A-460D. Por ejemplo, una realización del procesador 407 incluye 24 núcleos, cada uno con su propia caché L1, doce cachés L2 compartidas y doce cachés L3 compartidas. En esta realización, una de las cachés L2 y L3 está compartida por dos núcleos adyacentes. El procesador 407 y el módulo de integración de acelerador de gráficos 446 se conectan con la memoria de sistema 441, que puede incluir las memorias de procesador 401 -402.

Se mantiene la coherencia para los datos e instrucciones almacenados en las diversas cachés 462A-462D, 456 y en la memoria de sistema 441 mediante la comunicación inter-núcleo a través de un bus de coherencia 464. Por ejemplo, cada caché puede tener una lógica/circuitería de coherencia de caché asociada con la misma para comunicarse a través del bus de coherencia 464 en respuesta a lecturas o escrituras detectadas en líneas de caché particulares. En una implementación, se implementa un protocolo de monitorización de caché a través del bus de coherencia 464 para monitorizar los accesos de caché. Las técnicas de monitorización/coherencia de caché son bien entendidas por los expertos en la materia y no se describirán en detalle en este punto para evitar oscurecer los principios subyacentes de la invención.

En una realización, un circuito de intermediario 425 se acopla de manera comunicativa al módulo de aceleración de gráficos 446 al bus de coherencia 464, lo que permite que el módulo de aceleración de gráficos 446 participe en el protocolo de coherencia de caché como un par de los núcleos. En particular, una interfaz 435 proporciona conectividad al circuito de intermediario 425 a través del enlace de alta velocidad 440 (por ejemplo, un bus PCIe, NVLink, etc.) y una interfaz 437 conecta el módulo de aceleración de gráficos 446 al enlace de alta velocidad 440.

En una implementación, un circuito de integración de acelerador 436 proporciona servicios de gestión de caché, acceso a memoria, gestión de contexto y gestión de interrupción en nombre de una pluralidad de motores de procesamiento de gráficos 431, 432, N del módulo de aceleración de gráficos 446. Cada uno de los motores de procesamiento de gráficos 431,432, N puede comprender una unidad de procesamiento de gráficos (GPU) separada. Como alternativa, los motores de procesamiento de gráficos 431,432, N pueden comprender diferentes tipos de motor de procesamiento de gráficos dentro de una GPU, tal como las unidades de ejecución de gráficos, los motores de procesamiento de medios (por ejemplo, codificadores/decodificadores de vídeo), muestreadores y motores blit. En otras palabras, el módulo de aceleración de gráficos puede ser una GPU con una pluralidad de motores de procesamiento de gráficos 431-432, N o los motores de procesamiento de gráficos 431-432, N pueden ser GPU individuales integradas en un paquete, tarjeta de línea o chip común.

En una realización, el circuito de integración de acelerador 436 incluye una unidad de gestión de memoria (MMU) 439 para realizar diversas funciones de gestión de memoria tales como traducciones de memoria virtual a física (también denominadas traducciones de memoria efectiva a real) y protocolos de acceso de memoria para acceder a la memoria de sistema 441. La MMU 439 puede incluir también una memoria intermedia de traducción adelantada (TLB) (no mostrada) para almacenar en caché las traducciones de dirección virtual/efectiva a física/real. En una implementación, una caché 438 almacena comandos y datos para un acceso eficiente por los motores de procesamiento de gráficos 431-432, N. En una realización, los datos almacenados en la caché 438 y en las memorias de gráficos 433-434, N se mantienen coherentes con las cachés de núcleo 462A-462D, 456 y la memoria de sistema 411. Como se ha mencionado, esto puede conseguirse mediante el circuito de intermediario 425 que toma parte en el mecanismo de coherencia de caché en nombre de la caché 438 y las memorias 433-434, M (por ejemplo, enviando actualizaciones a la caché 438 relacionadas con las modificaciones/accesos de líneas de caché en las cachés del procesador 462A-462D, 456 y recibiendo actualizaciones de la caché 438).

Un conjunto de registros 445 almacenan datos de contexto para hilos ejecutados por los motores de procesamiento de gráficos 431 -432, N y un circuito de gestión de contexto 448 gestiona los contextos de hilo. Por ejemplo, el circuito de gestión de contexto 448 puede realizar operaciones de grabación y restauración para grabar y restaurar contextos de los diversos hilos durante cambios de contexto (por ejemplo, cuando se graba un primer hilo y se almacena un segundo hilo de modo que el segundo hilo puede ejecutarse por un motor de procesamiento de gráficos). Por ejemplo, en un cambio de contexto, el circuito de gestión de contexto 448 puede almacenar valores de registro actuales en una región designada en memoria (por ejemplo, identificada por un puntero de contexto). A continuación, puede restablecer los valores de registro cuando se vuelve al contexto. En una realización, un circuito de gestión de interrupciones 447 recibe y procesa interrupciones recibidas desde los dispositivos de sistema.

En una implementación, las direcciones virtuales/efectivas de un motor de procesamiento de gráficos 431 se traducen a direcciones reales/físicas en memoria de sistema 411 por la MMU 439. Una realización del circuito de integración de acelerador 436 soporta múltiples (por ejemplo, 4, 8, 16) módulos de acelerador de gráficos 446 y/u otros dispositivos aceleradores. El módulo de acelerador de gráficos 446 puede estar especializado en una única aplicación ejecutada en el procesador 407 o puede compartirse entre múltiples aplicaciones. En una realización, se presenta un entorno de ejecución de gráficos virtualizado en el que los recursos de los motores de procesamiento de gráficos 431-432, N se comparten con múltiples aplicaciones o máquinas virtuales (VM). Los recursos pueden subdividirse en "cortes" que se asignan a diferentes VM y/o aplicaciones basándose en los requisitos de procesamiento y las propiedades asociadas con las VM y/o las aplicaciones.

Por lo tanto, el circuito de integración de acelerador actúa como un puente al sistema para el módulo de aceleración de gráficos 446 y proporciona servicios de traducción de direcciones y de caché de memoria de sistema. Además, el circuito de integración de acelerador 436 puede proporcionar instalaciones de virtualización para que el procesador de anfitrión gestione la virtualización de los motores de procesamiento de gráficos, las interrupciones y la gestión de memoria.

Debido a que los recursos de hardware de los motores de procesamiento de gráficos 431-432, N se mapean explícitamente al espacio de direcciones real observado por el procesador de anfitrión 407, cualquier procesador de anfitrión puede dirigir estos recursos directamente usando un valor de dirección eficaz. Una función del circuito de integración de acelerador 436, en una realización, es la separación física de los motores de procesamiento de gráficos 431 -432, N de modo que aparecen al sistema como unidades independientes.

Como se ha mencionado, en la realización ilustrada, una o más memorias de gráficos 433-434, M están acopladas a cada uno de los motores de procesamiento de gráficos 431-432, N, respectivamente. Las memorias de gráficos 433 434, M almacenan instrucciones y datos que se procesan por cada uno de los motores de procesamiento de gráficos 431-432, N. Las memorias de gráficos 433-434, M pueden ser memorias volátiles, tales como DRAM (incluyendo DRAM apiladas), memoria de GDDR (por ejemplo, GDDR5, GDDR6), o HBM, y/o pueden ser memorias no volátiles, tales como 3D XPoint o Nano-Ram.

En una realización, para reducir el tráfico de datos a través del enlace de alta velocidad 440, se usan técnicas de desvío para garantizar que los datos almacenados en las memorias de gráficos 433-434, M son datos que serán usados de manera más frecuente por los motores de procesamiento de gráficos 431-432, N y, preferentemente, no serán usados por los núcleos 460A-460D (al menos, no con frecuencia). De manera similar, el mecanismo de desvío intenta mantener datos que necesitan los núcleos (y, preferentemente, no los motores de procesamiento de gráficos 431 -432, N) dentro de las cachés 462A-462D, 456 de los núcleos y la memoria de sistema 411.

LaFigura 4Cilustra otra realización en la que el circuito de integración de acelerador 436 está integrado dentro del procesador 407. En esta realización, los motores de procesamiento de gráficos 431 -432, N se comunican directamente a través del enlace de alta velocidad 440 al circuito de integración de acelerador 436 mediante la interfaz 437 y la interfaz 435 (que, de nuevo, puede utilizar cualquier forma de bus o protocolo de interfaz). El circuito de integración de acelerador 436 puede realizar las mismas operaciones que aquellas descritas con respecto a laFigura 4B,pero potencialmente a un caudal superior dada su proximidad cercana al bus de coherencia 464 y a las cachés 462A-462D, 456.

Una realización soporta diferentes modelos de programación que incluyen un modelo de programación de proceso especializado (sin virtualización de módulo de aceleración de gráficos) y modelos de programación compartida (con virtualización). El último puede incluir modelos de programación que se controlan por el circuito de integración de acelerador 436 y modelos de programación que se controlan por el módulo de aceleración de gráficos 446.

En una realización del modelo de proceso especializado, los motores de procesamiento de gráficos 431-432, N están especializados en una única aplicación o proceso bajo un único sistema operativo. La única aplicación puede canalizar otras solicitudes de aplicación a los motores de gráficos 431-432, N, lo que proporciona virtualización dentro de una VM/subdivisión.

En los modelos de programación de proceso especializado, los motores de procesamiento de gráficos 431-432, N, pueden compartirse por múltiples VM/subdivisiones de aplicación. Los modelos compartidos requieren un sistema hipervisor para virtualizar los motores de procesamiento de gráficos 431 -432, N para permitir acceso por cada sistema operativo. Para sistemas de subdivisión única sin un hipervisor, los motores de procesamiento de gráficos 431-432, N son de propiedad del sistema operativo. En ambos casos, el sistema operativo puede virtualizar los motores de procesamiento de gráficos 431-432, N para proporcionar acceso a cada proceso o aplicación.

Para el modelo de programación compartida, el módulo de aceleración de gráficos 446 o un motor de procesamiento de gráficos individual 431-432, N selecciona un elemento de proceso usando un manejador de proceso. En una realización, los elementos de proceso se almacenan en memoria de sistema 411 y son direccionables usando las técnicas de traducción de dirección eficaz a dirección real descritas en el presente documento. El manejador de proceso puede ser un valor específico de la implementación proporcionado al proceso de anfitrión cuando registra su contexto con el motor de procesamiento de gráficos 431 -432, N (es decir, solicitando que el software de sistema añada el elemento de proceso a la lista de elementos de proceso vinculados). Los 16 bits inferiores del manejador de proceso pueden ser el desplazamiento del elemento de proceso dentro de la lista de elementos de proceso vinculados.

LaFigura 4Dilustra un corte de integración del acelerador 490 ilustrativo. Como se usa en el presente documento, un "corte" comprende una porción específica de los recursos de procesamiento del circuito de integración de acelerador 436. El espacio de direcciones efectivo 482 de la aplicación dentro de la memoria de sistema 411 almacena elementos de proceso 483. En una realización, los elementos de proceso 483 se almacenan en respuesta a invocaciones de GPU 481 desde las aplicaciones 480 ejecutadas en el procesador 407. Un elemento de proceso 483 contiene el estado de proceso para la correspondiente aplicación 480. Un descriptor de trabajo (WD) 484 contenido en el elemento de proceso 483 puede ser un único trabajo solicitado por una aplicación o puede contener un puntero a una cola de trabajos. En el último caso, el WD 484 es un puntero a la cola de solicitudes de trabajo en el espacio de direcciones de la aplicación 482.

El módulo de aceleración de gráficos 446 y/o los motores de procesamiento de gráficos individuales 431 -432, N pueden compartirse por todos o un subconjunto de los procesos en el sistema. Las realizaciones de la invención incluyen una infraestructura para configurar el estado de proceso y enviar un WD 484 a un módulo de aceleración de gráficos 446 para empezar un trabajo en un entorno virtualizado.

En una implementación, el modelo de programación de proceso especializado es específico de la implementación. En este modelo, un único proceso posee el módulo de aceleración de gráficos 446 o un motor de procesamiento de gráficos individual 431. Debido a que el módulo de aceleración de gráficos 446 es propiedad de un único proceso, el hipervisor inicializa el circuito de integración de acelerador 436 para la subdivisión propietaria y el sistema operativo inicializa el circuito de integración de acelerador 436 para el proceso propietario en el momento en el que se asigna el módulo de aceleración de gráficos 446.

En la operación, una unidad de extracción de WD 491 en el corte de integración de acelerador 490 extrae el siguiente WD 484 que incluye una indicación del trabajo que va a hacerse por uno de los motores de procesamiento de gráficos del módulo de aceleración de gráficos 446. Los datos del WD 484 pueden almacenarse en los registros 445 y usarse por la MMU 439, el circuito de gestión de interrupciones 447 y/o el circuito de gestión de contexto 448 como se ilustra. Por ejemplo, una realización de la MMU 439 incluye circuitería de recorrido de páginas/segmentos para acceder a las tablas de segmentos/páginas 486 dentro del espacio de direcciones virtual del SO 485. El circuito de gestión de interrupciones 447 puede procesar eventos de interrupción 492 recibidos del módulo de aceleración de gráficos 446. Cuando se realizan operaciones de gráficos, se traduce una dirección efectiva 493 generada por un motor de procesamiento de gráficos 431-432, N a una dirección real por la MMU 439.

En una realización, se duplica el mismo conjunto de registros 445 para cada motor de procesamiento de gráficos 431 -432, N y/o módulo de aceleración de gráficos 446 y puede inicializarse por el hipervisor o el sistema operativo. Cada uno de estos registros duplicados puede incluirse en un corte de integración de acelerador 490. Se muestran los registros ilustrativos que pueden inicializarse por el hipervisor en laTabla 1.

Tabla 1- Re istros inicializados por el hipervisor

Se muestran los registros ilustrativos que pueden inicializarse por el sistema operativo en laTabla 2.

Tabla 2- Re istros inicializados por sistema operativo

En una realización, cada WD 484 es específico a un módulo de aceleración de gráficos particular 446 y/o al motor de procesamiento de gráficos 431-432, N. Contiene toda la información que requiere un motor de procesamiento de gráficos 431 -432, N para hacer su trabajo o puede ser un puntero a una ubicación de memoria donde la aplicación ha establecido una cola de comandos de trabajo para que se complete.

LaFigura 4Eilustra detalles adicionales para una realización de un modelo compartido. Esta realización incluye un espacio de direcciones real del hipervisor 498 en el que se almacena una lista de elementos de proceso 499. El espacio de direcciones real de hipervisor 498 es accesible mediante un hipervisor 496 que virtualiza los motores de módulo de aceleración de gráficos para el sistema operativo 495.

Los modelos de programación compartidos permiten que todos o un subconjunto de procesos de todas o un subconjunto de las subdivisiones en el sistema usen un módulo de aceleración de gráficos 446. Hay dos modelos de programación donde el módulo de aceleración de gráficos 446 se comparte por múltiples procesos y subdivisiones: compartido en cortes de tiempo y compartido dirigido a gráficos.

En este modelo, el hipervisor de sistema 496 tiene propiedad del módulo de aceleración de gráficos 446 y hace que su función esté disponible para todos los sistemas operativos 495. Para que un módulo de aceleración de gráficos 446 soporte una virtualización por el hipervisor de sistema 496, el módulo de aceleración de gráficos 446 puede satisfacer los siguientes requisitos: 1) Una solicitud de trabajo de la aplicación debe ser autónoma (es decir, el estado no necesita mantenerse entre trabajos), o el módulo de aceleración de gráficos 446 debe proporcionar un mecanismo de grabación y restauración de contexto. 2) Se garantiza, por medio del módulo de aceleración de gráficos 446, que la solicitud de trabajo de una aplicación se completa en una cantidad de tiempo especificada, incluyendo cualquier fallo de traducción o el módulo de aceleración de gráficos 446 proporciona la capacidad de dar prioridad al procesamiento del trabajo. 3) El módulo de aceleración de gráficos 446 debe garantizar equidad entre procesos cuando opera en el modelo de programación compartido dirigido.

En una realización, para el modelo compartido, se requiere que la aplicación 480 haga una llamada de sistema al sistema operativo 495 con un tipo de módulo de aceleración de gráficos 446, un descriptor de trabajo (WD), un valor de registro de máscara de autoridad (AMR) y un puntero de área de grabación/restauración de contexto (CSRP). El tipo del módulo de aceleración de gráficos 446 describe la función de aceleración dirigida como objetivo para la llamada de sistema. El tipo del módulo de aceleración de gráficos 446 puede ser un valor específico de sistema. El WD se formatea específicamente para el módulo de aceleración de gráficos 446 y puede estar en forma de un comando de módulo de aceleración de gráficos 446, un puntero de dirección eficaz a una estructura definida por el usuario, un puntero de dirección eficaz a una cola de comandos o cualquier otra estructura de datos para describir el trabajo que va a hacerse por el módulo de aceleración de gráficos 446. En una realización, el valor de AMR es el estado de AMR para su uso para el proceso actual. El valor pasado al sistema operativo es similar a una aplicación que configura el AMR. Si las implementaciones del circuito de integración de acelerador 436 y del módulo de aceleración de gráficos 446 no soportan un registro de anulación de máscara de autoridad de usuario (UAMOR), el sistema operativo puede aplicar el valor de UAMOR actual al valor de AMR antes de pasar el AMR en la llamada de hipervisor. El hipervisor 496 puede aplicar opcionalmente el valor de registro de anulación de máscara de autoridad (AMOR) actual antes de colocar el AMR en el elemento de proceso 483. En una realización, el CSRP es uno de los registros 445 que contiene la dirección eficaz de un área en el espacio de direcciones de la aplicación 482 para que el módulo de aceleración de gráficos 446 grabe y restaure el estado de contexto. Este puntero es opcional si no se requiere que se grabe estado entre trabajos o cuando se da prioridad a un trabajo. El área de grabación/restauración de contexto puede estar fijada en la memoria de sistema.

Después de recibir la llamada de sistema, el sistema operativo 495 puede verificar que se ha registrado la aplicación 480 y que se le ha dado la autoridad para usar el módulo de aceleración de gráficos 446. El sistema operativo 495, a continuación, llama al hipervisor 496 con la información mostrada en laTabla 3.

Tabla 3- Parámetros de llamada de SO a hipervisor

Después de recibir la llamada del hipervisor, el hipervisor 496 verifica que se ha registrado el sistema operativo 495 y se le ha dado la autoridad para usar el módulo de aceleración de gráficos 446. El hipervisor 496 pone, a continuación, el elemento de proceso 483 en la lista de elementos de proceso vinculados para el tipo de módulo de aceleración de gráficos 446 correspondiente. El elemento de proceso puede incluir la información mostrada en laTabla 4.

Tabla 4- Información de elemento de proceso

En una realización, el hipervisor inicializa una pluralidad de registros 445 de corte de integración de acelerador 490.

Como se ilustra en laFigura 4F,una realización de la invención emplea una memoria unificada direccionable mediante un espacio de direcciones virtual de memoria común usado para acceder a las memorias de procesador físico 401 -402 y a las memorias de GPU 420-423. En esta implementación, las operaciones ejecutadas en las GPU 410-413 utilizan el mismo espacio de direcciones de memoria virtual/efectivo para acceder a las memorias de procesador 401 -402 y viceversa, simplificando de esta manera la programabilidad. En una realización, una primera porción del espacio de direcciones virtual/efectivo está asignada a la memoria de procesador 401, una segunda porción a la segunda memoria de procesador 402, una tercera porción a la memoria de GPU 420 y así sucesivamente. El espacio de memoria virtual/eficaz total (en ocasiones denominado el espacio de direcciones eficaz) está distribuido, de esta manera, a través de cada una de las memorias de procesador 401-402 y de las memorias de GPU 420-423, permitiendo que cualquier procesador o GPU acceda a cualquier memoria física con una dirección virtual mapeada a esa memoria.

En una realización, la circuitería de gestión de desvío/coherencia 494A-494E dentro de una o más de las MMU 439A-439E garantiza la coherencia de caché entre las cachés de los procesadores de anfitrión (por ejemplo, 405) y las GPU 410-413 e implementa técnicas de desvío que indican las memorias físicas en las que deben almacenarse ciertos tipos de datos. Aunque se ilustran múltiples casos de circuitería de gestión de desvío/coherencia 494A-494E en laFigura 4F,la circuitería de desvío/coherencia puede implementarse dentro de la MMU de uno o más procesadores de anfitrión 405 y/o dentro del circuito de integración de acelerador 436.

Una realización permite que la memoria anexada a GPU 420-423 se mapee como parte de la memoria de sistema, y que se acceda a la misma usando tecnología de memoria virtual compartida (SVM), pero sin sufrir de las desventajas de rendimiento típicas asociadas con la coherencia de caché de sistema completa. La capacidad para acceder a la memoria anexada a GPU 420-423 como memoria de sistema sin una onerosa sobrecarga de coherencia de la caché proporciona un entorno de operación beneficioso para la descarga de GPU. Esta disposición permite que el software del procesador de anfitrión 405 establezca operandos y acceda a resultados de cálculo, sin la sobrecarga de las copias de datos de DMA de E/S tradicionales. Tales copias tradicionales implican llamadas de controlador, interrupciones y accesos de E/S de memoria mapeada (MMIO) que son todos ineficaces con relación a los accesos de memoria sencillos. Al mismo tiempo, la capacidad de acceder a la memoria anexada a GPU 420-423 sin sobrecargas de coherencia de la caché puede ser crítica para el tiempo de ejecución de un cálculo descargado. En casos con tráfico de memoria de escritura de envío por flujo continuo sustancial, por ejemplo, la sobrecarga de coherencia de caché puede reducir significativamente el ancho de banda de escritura eficaz observado por una GPU 410-413. La eficiencia de la configuración del operando, la eficiencia del acceso a los resultados y la eficiencia del cálculo de GPU, todos desempeñan un papel al determinar la efectividad de la descarga de la GPU.

En una implementación, la selección entre el desvío de GPU y el desvío de procesador de anfitrión se controla por una estructura de datos del rastreador de desvío. Puede usarse una tabla de desvío, por ejemplo, que puede ser una estructura de página granular (es decir, controlada a la granularidad de una página de memoria) que incluye 1 o 2 bits por página de memoria anexada a la GPU. La tabla de desvío puede implementarse en un intervalo de memoria robado de una o más memorias anexadas a GPU 420-423, con o sin una caché de desvío en la GPU 410-413 (por ejemplo, para almacenar en caché entradas usadas de manera frecuente/reciente de la tabla de desvío). Como alternativa, toda la tabla de desvío puede mantenerse dentro de la GPU.

En una implementación, se accede a la entrada de tabla de desvío asociada con cada acceso a la memoria adjunta a la GPU 420-423 antes del acceso real a la memoria de GPU, provocando las siguientes operaciones. En primer lugar, las solicitudes locales de la GPU 410-413 que encuentran su página en el desvío de GPU se reenvían directamente a una correspondiente memoria de GPU 420-423. Las solicitudes locales de la GPU que encuentran su página en el desvío de anfitrión se reenvían al procesador 405 (por ejemplo, a través de un enlace de alta velocidad como se ha analizado anteriormente). En una realización, las solicitudes del procesador 405 que encuentran la página solicitada en el desvío de procesador de anfitrión completan la solicitud como una lectura de memoria normal. Como alternativa, las solicitudes dirigidas a una página con desvío de GPU pueden redirigirse a la GPU 410-413. La GPU puede pasar, a continuación, la página a un desvío de procesador de anfitrión si no está usando actualmente la página.

El estado de desvío de una página puede cambiarse mediante un mecanismo basado en software, mediante un mecanismo basado en software asistido por hardware, o, para un conjunto limitado de casos, mediante un mecanismo basado puramente en hardware.

Un mecanismo para cambiar el estado de desvío emplea una llamada API (por ejemplo, OpenCL), que, a su vez, llama al controlador del dispositivo de la GPU que, a su vez, envía un mensaje (o pone en cola un descriptor de comandos) a la GPU que la dirige para cambiar el estado de desvío y, para algunas transiciones, realiza una operación de vaciado de caché en el anfitrión. Se requiere la operación de vaciado de caché para una transición desde un desvío del procesador de anfitrión 405 a un desvío de GPU, pero no se requiere para la transacción opuesta.

En una realización, se mantiene la coherencia de caché representando temporalmente las páginas con desvío de GPU que no pueden almacenare en caché por el procesador de anfitrión 405. Para acceder a estas páginas, el procesador 405 puede solicitar acceso desde la GPU 410 que puede conceder o no el acceso de inmediato, dependiendo de la implementación. Por lo tanto, para reducir la comunicación entre el procesador de anfitrión 405 y la GPU 410, es beneficioso garantizar que las páginas con desvío de GPU sean aquellas que se requieren por la GPU, pero no por el procesador de anfitrión 405 y viceversa.

Canalización de procesamiento de gráficos

LaFigura 5ilustra una canalización de procesamiento de gráficos 500, de acuerdo con una realización. En una realización, un procesador de gráficos puede implementar la canalización de procesamiento de gráficos 500 ilustrada. El procesador de gráficos puede estar incluido dentro de los subsistemas de procesamiento paralelo como se describe en el presente documento, tal como el procesador paralelo 200 de la Figura 2A, que, en una realización, es una variante del procesador o procesadores paralelos 112 de la Figura 1. Los diversos sistemas de procesamiento paralelo pueden implementar la canalización de procesamiento de gráficos 500 mediante una o más instancias de la unidad de procesamiento paralelo (por ejemplo, la unidad de procesamiento paralelo 202 de la Figura 2A) como se describe en el presente documento. Por ejemplo, una unidad sombreadora (por ejemplo, el multiprocesador de gráficos 234 de la Figura 2C) puede configurarse para realizar las funciones de una o más de una unidad de procesamiento de vértices 504, una unidad de control de proceso de teselación 508, una unidad de procesamiento de evaluación de teselación 512, una unidad de procesamiento de geometría 516 y una unidad de procesamiento de fragmentos/píxeles 524. Las funciones del ensamblador de datos 502, los ensambladores de primitivas 506, 514, 518, la unidad de teselación 510, el rasterizador 522, y la unidad de operaciones de rasterización 526 pueden realizarse también por otros motores de procesamiento dentro de una agrupación de procesamiento (por ejemplo, la agrupación de procesamiento 214 de la Figura 2A) y una unidad de subdivisión correspondiente (por ejemplo, la unidad de subdivisión 220A-220N de la Figura 2A). La canalización de procesamiento de gráficos 500 puede implementarse también usando unidades de procesamiento especializadas para una o más funciones. En una realización, pueden realizarse una o más porciones de la canalización de procesamiento de gráficos 500 mediante lógica de procesamiento paralelo dentro de un procesador de propósito general (por ejemplo, la CPU). En una realización, una o más porciones de la canalización de procesamiento de gráficos 500 pueden acceder a una memoria en chip (por ejemplo, la memoria de procesador paralelo 222 como en la Figura 2A) mediante una interfaz de memoria 528, que puede ser una instancia de la interfaz de memoria 218 de la Figura 2A.

En una realización, el ensamblador de datos 502 es una unidad de procesamiento que recopila datos de vértices para superficies y primitivas. El ensamblador de datos 502, a continuación, emite los datos de vértices, que incluyen los atributos de vértices, a la unidad de procesamiento de vértices 504. La unidad de procesamiento de vértices 504 es una unidad de ejecución programable que ejecuta programas sombreadores de vértices, iluminando y transformando datos de vértice según lo especificado por los programas sombreadores de vértices. La unidad de procesamiento de vértices 504 lee datos que se almacenan en memoria caché, local o de sistema para su uso en el procesamiento de los datos de vértices y puede programarse para transformar los datos de vértices desde una representación de coordenadas basada en objetos hasta un espacio de coordenadas de espacio mundial o un espacio de coordenadas de dispositivo normalizado.

Una primera instancia de un ensamblador de primitivas 506 recibe atributos de vértice desde la unidad de procesamiento de vértices 504. El ensamblador de primitivas 506 lee atributos de vértices almacenados según sea necesario y construye primitivas de gráficos para su procesamiento por la unidad de procesamiento de control de teselación 508. Las primitivas de gráficos incluyen triángulos, segmentos de línea, puntos, parches y así sucesivamente, según son soportados por diversas interfaces de programación de aplicación (API) de procesamiento de gráficos.

La unidad de procesamiento de control de teselación 508 trata los vértices de entrada como puntos de control para un parche geométrico. Los puntos de control se transforman desde una representación de entrada desde el parche (por ejemplo, las bases del parche) a una representación que es adecuada para su uso en la evaluación superficial por la unidad de procesamiento de evaluación de teselación 512. La unidad de procesamiento de control de teselación 508 también puede calcular factores de teselación para bordes de parches geométricos. Se aplica un factor de teselación a un único borde y cuantifica un nivel dependiente de la vista del detalle asociado con el borde. Una unidad de teselación 510 está configurada para recibir los factores de teselación para bordes de un parche y para teselar el parche en múltiples primitivas geométricas, tales como una línea, triángulo o primitivas cuadrilaterales, que se transmiten a una unidad de procesamiento de evaluación de teselación 512. La unidad de procesamiento de evaluación de teselación 512 opera en coordenadas parametrizadas del parche subdividido para generar una representación superficial y atributos de vértices para cada vértice asociado con las primitivas geométricas.

Una segunda instancia de un ensamblador de primitivas 514 recibe atributos de vértices desde la unidad de procesamiento de evaluación de teselación 512, leyendo atributos de vértice almacenados según sea necesario, y construye primitivas de gráficos para su procesamiento por la unidad de procesamiento de geometría 516. La unidad de procesamiento de geometría 516 es una unidad de ejecución programable que ejecuta programas sombreadores de geometría para transformar primitivas de gráficos recibidas desde el ensamblador de primitivas 514 según se especifica por los programas sombreadores de geometría. En una realización, la unidad de procesamiento de geometría 516 está programada para subdividir las primitivas de gráficos en una o más primitivas de gráficos nuevas y calcular parámetros usados para rasterizar las nuevas primitivas de gráficos.

En algunas realizaciones, la unidad de procesamiento de geometría 516 puede añadir o borrar elementos en el flujo de geometría. La unidad de procesamiento de geometría 516 emite los parámetros y vértices que especifican nuevas primitivas de gráficos al ensamblador de primitivas 518. El ensamblador de primitivas 518 recibe los parámetros y vértices desde la unidad de procesamiento de geometría 516 y construye primitivas de gráficos para su procesamiento por una unidad de escala, selección y recorte de ventana gráfica 520. La unidad de procesamiento de geometría 516 lee datos que están almacenados en la memoria de procesador paralelo o en la memoria de sistema para su uso al procesar los datos de geometría. La unidad de escala, selección y recorte de ventana gráfica 520 realiza recorte, selección y escalado de ventana gráfica y emite primitivas de gráficos procesadas a un rasterizador 522.

El rasterizador 522 puede realizar optimizaciones de selección de profundidad y otras basadas en profundidad. El rasterizador 522 también realiza la conversión de exploración en las nuevas primitivas de gráficos para generar fragmentos y emitir aquellos fragmentos y datos de cobertura asociados a la unidad de procesamiento de fragmentos/píxeles 524. La unidad de procesamiento de fragmentos/píxeles 524 es una unidad de ejecución programable que está configurada para ejecutar programas sombreadores de fragmentos o programas sombreadores de píxeles. Transformando la unidad de procesamiento de fragmentos/píxeles 524 fragmentos o píxeles recibidos desde el rasterizador 522, como se especifica por los programas sombreadores de fragmentos o de píxeles. Por ejemplo, la unidad de procesamiento de fragmentos/píxeles 524 puede estar programada para realizar operaciones que incluyen, pero sin limitación, mapeo de textura, sombreado, mezcla, corrección de textura y corrección de perspectiva para producir fragmentos o píxeles sombreados que se emiten a una unidad de operaciones de rasterización 526. La unidad de procesamiento de fragmentos/píxeles 524 puede leer datos que se almacenan en cualquiera de la memoria de procesador paralelo o la memoria de sistema para su uso cuando se procesan los datos de fragmento. Los programas sombreadores de fragmentos o de píxeles pueden estar configurados para sombrear a granularidad de muestra, de píxel, de mosaico u otras dependiendo de la tasa de muestreo configurada para las unidades de procesamiento.

La unidad de operaciones de rasterización 526 es una unidad de procesamiento que realiza operaciones de rasterización que incluyen, pero sin limitación, estarcido, prueba z, mezcla y similares, y emite datos de píxeles como datos de gráficos procesados para que se almacenen en la memoria de gráficos (por ejemplo, la memoria de procesador paralelo 222 como en la Figura 2A, y/o la memoria de sistema 104 como en la Figura 1), para que se visualicen en el uno o más dispositivo o dispositivos de visualización 110 o para su procesamiento adicional por uno del uno o más procesador o procesadores 102 o procesador o procesadores paralelos 112. En algunas realizaciones, la unidad de operaciones de rasterización 526 está configurada para comprimir datos z o de color que se escriben en memoria y descomprimir datos z o de color que se leen desde la memoria.

Vista general de aprendizaje automático

La arquitectura descrita anteriormente se puede aplicar para realizar operaciones de entrenamiento e inferencia usando modelos de aprendizaje automático. El aprendizaje automático ha tenido éxito en la resolución de muchos tipos de tareas. Los cálculos que surgen cuando se entrenan y usan algoritmos de aprendizaje automático (por ejemplo, redes neuronales) se prestan naturalmente a implementaciones paralelas eficientes. En consecuencia, los procesadores paralelos, tales como las unidades de procesamiento de gráficos de propósito general (GPGPU), han desempeñado un papel importante en la implementación práctica de redes neuronales profundas. Los procesadores de gráficos paralelos con arquitecturas de múltiples hilos y única instrucción (SIMT) están diseñados para maximizar la cantidad de procesamiento paralelo en la canalización de gráficos. En una arquitectura de SIMT, grupos de hilos paralelos intentan ejecutar conjuntamente instrucciones de programa de manera sincrónica tan a menudo como sea posible para aumentar la eficiencia de procesamiento. La eficiencia proporcionada por las implementaciones paralelas de algoritmos de aprendizaje automático permite el uso de redes de alta capacidad y permite que esas redes se entrenen en conjuntos de datos más grandes.

Un algoritmo de aprendizaje automático es un algoritmo que puede aprender basándose en un conjunto de datos. Las realizaciones de los algoritmos de aprendizaje automático pueden estar diseñadas para modelar abstracciones de alto nivel dentro de un conjunto de datos. Por ejemplo, pueden usarse algoritmos de reconocimiento de imágenes para determinar a cuál de varias categorías pertenece una entrada dada; los algoritmos de regresión pueden emitir un valor numérico dada una entrada; y pueden usarse los algoritmos de reconocimiento de patrones para generar texto traducido o para convertir texto en habla y/o reconocimiento de habla.

Un tipo ilustrativo de algoritmo de aprendizaje automático es una red neuronal. Hay muchos tipos de redes neuronales; un tipo sencillo de red neuronal es una red de realimentación prospectiva. Una red de realimentación prospectiva puede implementarse como un grafo acíclico en el que los nodos están dispuestos en capas. Típicamente, una topología de red de realimentación prospectiva incluye una capa de entrada y una capa de salida que están separadas por al menos una capa oculta. La capa oculta transforma la entrada recibida por la capa de entrada en una representación que es útil para generar la salida en la capa de salida. Los nodos de red están completamente conectados mediante bordes a los nodos en capas adyacentes, pero no hay bordes entre nodos dentro de cada capa. Los datos recibidos en los nodos de una capa de entrada de una red de realimentación prospectiva se propagan (es decir, "se realimentan prospectivamente") a los nodos de la capa de salida mediante una función de activación que calcula los estados de los nodos de cada capa sucesiva en la red basándose en coeficientes ("pesos") asociados, respectivamente, con cada uno de los bordes que conectan las capas. Dependiendo del modelo específico que se esté representando por el algoritmo que se está ejecutando, la salida del algoritmo de la red neuronal puede tomar diversas formas.

Antes de que pueda usarse un algoritmo de aprendizaje automático para modelar un problema particular, se entrena el algoritmo usando un conjunto de datos de entrenamiento. Entrenar una red neuronal implica seleccionar una topología de red, usar un conjunto de datos de entrenamiento que representa un problema que es modelado por la red, y ajustar los pesos hasta que el modelo de red rinde con un error mínimo para todas las instancias del conjunto de datos de entrenamiento. Por ejemplo, durante un proceso de entrenamiento de aprendizaje supervisado para una red neuronal, la salida producida por la red en respuesta a la entrada que representa una instancia en un conjunto de datos de entrenamiento se compara con la salida etiquetada "correcta" para esa instancia, se calcula una señal de error que representa la diferencia entre la salida y la salida etiquetada, y se ajustan los pesos asociados con las conexiones para minimizar ese error a medida que la señal de error se retropropaga a través de las capas de la red. La red se considera "entrenada" cuando se minimizan los errores para cada una de las salidas generadas a partir de las instancias del conjunto de datos de entrenamiento.

La precisión de un algoritmo de aprendizaje automático puede verse afectada significativamente por la calidad del conjunto de datos usado para entrenar el algoritmo. El proceso de entrenamiento puede ser computacionalmente intensivo y puede requerir una cantidad de tiempo significativa en un procesador de propósito general convencional. Por consiguiente, se usa hardware de procesamiento paralelo para entrenar muchos tipos de algoritmos de aprendizaje automático. Esto es particularmente útil para optimizar el entrenamiento de redes neuronales, ya que los cálculos realizados al ajustar los coeficientes en las redes neuronales se prestan de manera natural a implementaciones paralelas. Específicamente, muchos algoritmos de aprendizaje automático y aplicaciones de software se han adaptado a hacer uso del hardware de procesamiento paralelo dentro de dispositivos de procesamiento de gráficos de propósito general.

LaFigura 6es un diagrama generalizado de una pila de software de aprendizaje automático 600. Una aplicación de aprendizaje automático 602 puede estar configurada para entrenar una red neuronal usando un conjunto de datos de entrenamiento o para usar una red neuronal profunda entrenada para implementar la inteligencia automática. La aplicación de aprendizaje automático 602 puede incluir funcionalidad de entrenamiento e inferencia para una red neuronal y/o software especializado que puede usarse para entrenar una red neuronal antes del despliegue. La aplicación de aprendizaje automático 602 puede implementar cualquier tipo de inteligencia automática incluyendo, pero sin limitación, reconocimiento de imágenes, mapeo y localización, navegación autónoma, síntesis de habla, formación de imágenes médicas o traducción de idioma.

Puede habilitarse una aceleración de hardware para la aplicación de aprendizaje automático 602 mediante una estructura de aprendizaje automático 604. La estructura de aprendizaje automático 604 puede proporcionar una biblioteca de primitivas de aprendizaje automático. Las primitivas de aprendizaje automático son operaciones básicas que se realizan comúnmente por algoritmos de aprendizaje automático. Sin la estructura de aprendizaje automático 604, se requeriría que los desarrolladores de algoritmos de aprendizaje automático crearan y optimizaran la lógica computacional principal asociada con el algoritmo de aprendizaje automático, y volvieran a optimizar a continuación la lógica computacional a medida que se desarrollaran nuevos procesadores paralelos. En su lugar, la aplicación de aprendizaje automático puede estar configurada para realizar los cálculos necesarios usando las primitivas proporcionadas por la estructura de aprendizaje automático 604. Las primitivas ilustrativas incluyen convoluciones de tipo tensor, funciones de activación y agrupamiento, que son operaciones computacionales que se realizan mientras se entrena una red neuronal convolucional (CNN). La estructura de aprendizaje automático 604 puede proporcionar también primitivas para implementar subprogramas de álgebra lineal básicos realizados por muchos algoritmos de aprendizaje automático, tales como operaciones matriciales y vectoriales.

La estructura de aprendizaje automático 604 puede procesar datos de entrada recibidos de la aplicación de aprendizaje automático 602 y genera la entrada apropiada a una estructura de cálculo 606. La estructura de cálculo 606 puede abstraer las instrucciones subyacentes proporcionadas al controlador de la GPGPU 608 para posibilitar que la estructura de aprendizaje automático 604 se aproveche de la aceleración de hardware mediante el hardware de GPGPU 610 sin requerir que la estructura de aprendizaje automático 604 tenga conocimiento íntimo de la arquitectura del hardware de GPGPU 610. Adicionalmente, la estructura de cálculo 606 puede posibilitar la aceleración de hardware para la estructura de aprendizaje automático 604 a través de una diversidad de tipos y generaciones del hardware de GPGPU 610.

Aceleración de aprendizaje automático de GPGPU

LaFigura 7ilustra una unidad de procesamiento de gráficos de propósito general 700, de acuerdo con una realización. En una realización, la unidad de procesamiento de propósito general (GPGPU) 700 puede estar configurada para ser particularmente eficiente al procesar el tipo de cargas de trabajo computacionales asociadas con el entrenamiento de las redes neuronales profundas. Adicionalmente, la GPGPU 700 puede estar vinculada directamente a otras instancias de la GPGPU para crear una agrupación de múltiples GPU para mejorar la velocidad de entrenamiento para redes neuronales particularmente profundas.

La GPGPU 700 incluye una interfaz de anfitrión 702 para posibilitar una conexión con un procesador de anfitrión. En una realización, la interfaz de anfitrión 702 es una interfaz PCI Express. Sin embargo, la interfaz de anfitrión puede ser también una interfaz de comunicaciones o tejido de comunicaciones específico de proveedor. La GPGPU 700 recibe comandos desde el procesador de anfitrión y usa un planificador global 704 para distribuir hilos de ejecución asociados con estos comandos a un conjunto de agrupaciones de cálculo 706A-706H. Las agrupaciones de cálculo 706A-706H comparten una memoria caché 708. La memoria caché 708 puede servir como una caché de nivel superior para memorias de caché dentro de las agrupaciones de cálculo 706A-706H.

La GPGPU 700 incluye la memoria 714A-B acoplada con las agrupaciones de cómputo 706A-H mediante un conjunto de controladores de memoria 712A-712B. En diversas realizaciones, la memoria 714A-714B puede incluir diversos tipos de dispositivos de memoria, que incluyen memoria de acceso aleatorio dinámica (DRAM) o memoria de acceso aleatorio de gráficos, tal como memoria de acceso aleatorio de gráficos síncrona (SGRAM), que incluye memoria de tasa de datos doble de gráficos (GDDR). En una realización, la memoria 714A-714N pueden incluir también memoria 3D apilada, que incluye, pero sin limitación, memoria de ancho de banda alto (HBM).

En una realización, cada una de las agrupaciones de cálculo 706A-706H incluye un conjunto de multiprocesadores de gráficos, tales como el multiprocesador de gráficos 400 de la Figura 4A. Los multiprocesadores de gráficos de la agrupación de cálculo agrupan múltiples tipos de unidades de lógica de enteros y de coma flotante que pueden realizar operaciones computacionales con un rango de precisiones que incluyen unas adecuadas para cálculos de aprendizaje automático. Por ejemplo, y en una realización, al menos un subconjunto de las unidades de coma flotante en cada una de las agrupaciones de cálculo 706A-H puede estar configurado para realizar operaciones de coma flotante de 16 bits o de 32 bits, mientras que un subconjunto diferente de las unidades de coma flotante puede estar configurado para realizar operaciones de coma flotante de 64 bits.

Múltiples instancias de la GPGPU 700 pueden configurarse para funcionar como una agrupación de cálculo. El mecanismo de comunicación usado por la agrupación de cálculo para la sincronización y el intercambio de datos varía a través de las realizaciones. En una realización, las múltiples instancias de la GPGPU 700 se comunican a través de la interfaz de anfitrión 702. En una realización, la GPGPU 700 incluye un concentrador de E/S 709 que acopla la GPGPU 700 con un enlace de GPU 710 que posibilita una conexión directa a otras instancias de la GPGPU. En una realización, el enlace de la GPU 710 está acoplado a un puente de GPU a GPU especializado que posibilita la comunicación y sincronización entre múltiples instancias de la GPGPU 700. En una realización, el enlace de la GPU 710 se acopla con una interconexión de alta velocidad para transmitir y recibir datos a otras GPGPU o procesadores paralelos. En una realización, las múltiples instancias de la GPGPU 700 están ubicadas en sistemas de procesamiento de datos separados y se comunican mediante un dispositivo de red que es accesible mediante la interfaz de anfitrión 702. En una realización, el enlace de la GPU 710 puede estar configurado para posibilitar una conexión a un procesador de anfitrión además de o como una alternativa a la interfaz de anfitrión 702.

Aunque la configuración ilustrada de la GPGPU 700 puede configurarse para entrenar redes neuronales, una realización proporciona una configuración alternativa de la GPGPU 700 que puede configurarse para el despliegue dentro de una plataforma de inferencia de alto rendimiento o de baja potencia. En una configuración de inferencia, la GPGPU 700 incluye menos de las agrupaciones de cálculo 706A-706H con relación a la configuración de entrenamiento. Adicionalmente, una tecnología de memoria asociada con la memoria 714A-714B puede diferir entre las configuraciones de inferencia y de entrenamiento. En una realización, la configuración de inferencia de la GPGPU 700 puede soportar las instrucciones específicas de inferencia. Por ejemplo, una configuración de inferencia puede proporcionar soporte para una o más instrucciones de producto vectorial de números enteros de 8 bits, que se usan comúnmente durante las operaciones de inferencia para redes neuronales desplegadas.

LaFigura 8ilustra un sistema informático de múltiples GPU 800, de acuerdo con una realización. El sistema informático de múltiples GPU 800 puede incluir un procesador 802 acoplado a múltiples GPGPU 806A-806D mediante un conmutador de interfaz de anfitrión 804. El conmutador de interfaz de anfitrión 804, en una realización, es un dispositivo de conmutador de PCI express que acopla el procesador 802 a un bus de PCI express a través del cual el procesador 802 puede comunicarse con el conjunto de GPGPU 806A-806D. Cada una de las múltiples GPGPU 806A-806D puede ser una instancia de la GPGPU 700 de la Figura 7. Las GPGPU 806A-806D pueden interconectarse mediante un conjunto de enlaces de GPU a GPU de punto a punto de alta velocidad 816. Los enlaces de GPU a GPU de alta velocidad pueden conectarse a cada una de las GPGPU 806A-806D mediante un enlace de GPU especializado, tal como el enlace de GPU 710 como en la Figura 7. Los enlaces de GPU de P2P 816 posibilitan la comunicación directa entre cada una de las GPGPU 806A-806D sin requerir la comunicación a través del bus de interfaz de anfitrión a la que está conectado el procesador 802. Con el tráfico de GPU a GPU dirigido a los enlaces de GPU de P2P, el bus de interfaz de anfitrión permanece disponible para el acceso a memoria de sistema o para comunicarse con otras instancias del sistema informático de múltiples GPU 800, por ejemplo, mediante uno o más dispositivos de red. Aunque en la realización ilustrada las GPGPU 806A-D se conectan al procesador 802 mediante el conmutador de interfaz de anfitrión 804, en una realización, el procesador 802 incluye el soporte directo para los enlaces de GPU de P2P 816 y puede conectarse directamente a las GPGPU 806A-806D.

Implementaciones de red neuronal de aprendizaje automático

La arquitectura informática proporcionada por las realizaciones descritas en el presente documento puede estar configurada para realizar los tipos de procesamiento paralelo que son particularmente adecuados para entrenar y desplegar redes neuronales para aprendizaje automático. Una red neuronal puede generalizarse como una red de funciones que tienen una relación de grafo. Como es bien conocido en la técnica, hay una diversidad de tipos de implementaciones de red neuronal usadas en el aprendizaje automático. Un tipo ilustrativo de red neuronal es la red de realimentación prospectiva, como se ha descrito anteriormente.

Un segundo tipo ilustrativo de red neuronal es la red neuronal convolucional (CNN). Una CNN es una red neuronal de realimentación prospectiva especializada para procesar datos que tienen una topología similar a cuadrícula conocida, tal como datos de imagen. En consecuencia, las CNN se usan comúnmente para aplicaciones de reconocimiento de imágenes y de visión de cálculo, pero también pueden usarse para otros tipos de reconocimiento de patrones, tales como procesamiento de habla y de idioma. Los nodos en la capa de entrada de CNN están organizados en un conjunto de "filtros" (detectores de característica inspirados por los campos receptivos encontrados en la retina), y la salida de cada conjunto de filtros se propaga a los nodos en capas sucesivas de la red. Los cálculos para una CNN incluyen aplicar la operación matemática convolucional a cada filtro para producir la salida de ese filtro. La convolución es una clase especializada de operación matemática realizada por dos funciones para producir una tercera función que es una versión modificada de una de las dos funciones originales. En la terminología de red convolucional, la primera función a la convolución puede denominarse la entrada, mientras que la segunda función puede denominarse el núcleo de convolución. La salida puede denominarse el mapa de características. Por ejemplo, la entrada a una capa de convolución puede ser una matriz multidimensional de datos que definen los diversos componentes de color de una imagen de entrada. El núcleo de convolución puede ser una matriz multidimensional de parámetros, donde los parámetros están adaptados por el proceso de entrenamiento para la red neuronal.

Las redes neuronales recurrentes (RNN) son una familia de las redes neuronales de realimentación prospectiva que incluyen conexiones de realimentación entre capas. Las RNN posibilitan el modelado de datos secuenciales compartiendo datos de parámetros a través de diferentes partes de la red neuronal. La arquitectura para una RNN incluye ciclos. Los ciclos representan la influencia de un valor presente de una variable de su propio valor en un tiempo futuro, ya que se usan al menos una porción de los datos de salida de la RNN como realimentación para su procesamiento de entrada posterior en una secuencia. Esta característica hace a las RNN particularmente útiles para procesamiento de idioma debido a la naturaleza variable en la que pueden estar compuestos los datos de idioma.

Las figuras descritas a continuación presentan redes de realimentación prospectiva, CNN y RNN ilustrativas, así como describen un proceso general para entrenar y desplegar respectivamente cada uno de estos tipos de redes. Se entenderá que estas descripciones son ilustrativas y no limitantes en cuanto a cualquier realización específica descrita en el presente documento y los conceptos ilustrados pueden aplicarse, de manera general, a redes neuronales profundas y técnicas de aprendizaje automático en general.

Las redes neuronales ilustrativas descritas anteriormente pueden usarse para realizar un aprendizaje profundo. El aprendizaje profundo es un aprendizaje automático que usa redes neuronales profundas. Las redes neuronales profundas usadas en aprendizaje profundo son redes neuronales artificiales compuestas de múltiples capas ocultas, a diferencia de redes neuronales poco profundas que incluyen únicamente una sola capa oculta. El entrenamiento de redes neuronales más profundas es, en general, más intensivo desde el punto de vista computacional. Sin embargo, las capas ocultas adicionales de la red posibilitan un reconocimiento de patrón de múltiples etapas que da como resultado un error de salida reducido con relación a técnicas de aprendizaje automático poco profundo.

Las redes neuronales profundas usadas en aprendizaje automático incluyen típicamente una red de extremo frontal para realizar un reconocimiento de características acoplada a una red de extremo trasero que representa un modelo matemático que puede realizar operaciones (por ejemplo, clasificación de objetos, reconocimiento de habla, etc.) basándose en la representación de característica proporcionada en el modelo. El aprendizaje profundo posibilita que se realice el aprendizaje automático sin requerir que se realice ingeniería de características artesanal para el modelo. En su lugar, las redes neuronales profundas pueden aprender características basándose en una correlación o estructura estadística dentro de los datos de entrada. Las características aprendidas pueden proporcionarse en un modelo matemático que puede mapear características detectadas a una salida. El modelo matemático usado por la red está especializado, en general, para la tarea específica que va a realizarse, y se usarán diferentes modelos para realizar diferentes tareas.

Una vez que está estructurada la red neuronal, puede aplicarse un modelo de aprendizaje a la red para entrenar la red para realizar tareas específicas. El modelo de aprendizaje describe cómo ajustar los pesos dentro del modelo para reducir el error de salida de la red. La retropropagación de errores es un método común usado para entrenar redes neuronales. Se presenta un vector de entrada a la red para su procesamiento. La salida de la red se compara con la salida deseada usando una función de pérdida y se calcula un valor de error para cada una de las neuronas en la capa de salida. Los valores de error se propagan, a continuación, hacia atrás hasta que cada neurona tenga un valor de error asociado que representa aproximadamente su contribución a la salida original. La red puede aprender, a continuación, a partir de estos errores usando un algoritmo, tal como el algoritmo de gradiente descendente estocástico, para actualizar los pesos de la red neuronal.

LasFiguras 9A-9Bilustran una red neuronal convolucional ilustrativa. La Figura 9A ilustra diversas capas dentro de una CNN. Como se muestra en la Figura 9A, una CNN ilustrativa usada para modelar el procesamiento de imagen puede recibir la entrada 902 que describe los componentes de rojo, verde y azul (RGB) de una imagen de entrada. La entrada 902 puede procesarse por múltiples capas convolucionales (por ejemplo, la capa convolucional 904, la capa convolucional 906). La salida de las múltiples capas convolucionales puede procesarse opcionalmente por un conjunto de capas completamente conectadas 908. Las neuronas en una capa completamente conectada tienen conexiones completas a todas las activaciones en la capa previa, como se ha descrito previamente para una red de realimentación prospectiva. La salida desde las capas completamente conectadas 908 puede usarse para generar un resultado de salida a partir de la red. Las activaciones dentro de las capas completamente conectadas 908 pueden calcularse usando una multiplicación matricial en lugar de la convolución. No todas las implementaciones de CNN hacen uso de capas completamente conectadas 908. Por ejemplo, en algunas implementaciones, la capa convolucional 906 puede generar la salida de la CNN.

Las capas convolucionales están conectadas de manera dispersa, lo que difiere de la configuración de red neuronal tradicional encontrada en las capas completamente conectadas 908. Las capas de red neuronal tradicionales están completamente conectadas, de manera que cada unidad de salida interactúa con cada unidad de entrada. Sin embargo, las capas convolucionales están conectadas de manera dispersa debido a que se introduce la salida de la convolución de un campo (en lugar del valor de estado respectivo de cada uno de los nodos en el campo) en los nodos de la capa subsiguiente, como se ilustra. Los núcleos asociados con las capas convolucionales realizan operaciones convolucionales, cuya salida se envía a la siguiente capa. La reducción de la dimensionalidad realizada dentro de las capas convolucionales es un aspecto que posibilita que la CNN escale para procesar imágenes grandes.

La Figura 9B ilustra etapas de cálculo ilustrativas dentro de una capa convolucional de una CNN. La entrada a una capa convolucional 912 de una CNN puede procesarse en tres etapas de una capa convolucional 914. Las tres etapas pueden incluir una etapa de convolución 916, una etapa de detector 918 y una etapa de agrupamiento 920. La capa de convolución 914 puede emitir a continuación datos a una capa convolucional sucesiva. La capa convolucional final de la red puede generar datos de mapeo de características de salida o proporcionar entrada a una capa completamente conectada, por ejemplo, para generar un valor de clasificación para la entrada a la CNN.

En la etapa de convolución 916 se realizan varias convoluciones en paralelo para producir un conjunto de activaciones lineales. La etapa de convolución 916 puede incluir una transformación afín, que es cualquier transformación que puede especificarse como una transformación lineal más una traducción. Las transformaciones afines incluyen rotaciones, traducciones, escalamiento y combinaciones de estas transformaciones. La etapa de convolución calcula la salida de funciones (por ejemplo, neuronas) que están conectadas a regiones específicas en la entrada, que puede determinarse como la región local asociada con la neurona. Las neuronas calculan un producto vectorial entre los pesos de las neuronas y la región en la entrada local a la que están conectadas las neuronas. La salida de la etapa de convolución 916 define un conjunto de activaciones lineales que se procesan por etapas sucesivas de la capa convolucional 914.

Las activaciones lineales pueden procesarse por una etapa de detector 918. En la etapa de detector 918, cada activación lineal se procesa por una función de activación no lineal. La función de activación no lineal aumenta las propiedades no lineales de la red global sin afectar a los campos receptivos de la capa de convolución. Pueden usarse varios tipos de funciones de activación no lineal. Un tipo particular es la unidad lineal rectificada (ReLU), que usa una función de activación definida como f(x) = máx(0, x), de manera que la activación tiene un umbral de cero.

La etapa de agrupación 920 usa una función de agrupación que sustituye la salida de la capa convolucional 906 con un sumario estadístico de las salidas cercanas. La función de agrupación puede usarse para introducir la invarianza de traslación en la red neuronal, de manera que traslaciones pequeñas en la entrada no cambian las salidas agrupadas. La invarianza a la traducción local puede ser útil en situaciones donde la presencia de una característica en los datos de entrada es más importante que la ubicación precisa de la característica. Pueden usarse diversos tipos de funciones de agrupación durante la fase de agrupación 920, que incluye agrupación máxima, agrupación promedio y agrupación de norma l2. Adicionalmente, algunas implementaciones de CNN no incluyen una fase de agrupación. En su lugar, tales implementaciones sustituyen una etapa de convolución adicional que tiene un paso mayor en relación con las etapas de convolución anteriores.

La salida de la capa convolucional 914 puede procesarse a continuación por la siguiente capa 922. La siguiente capa 922 puede ser una capa convolucional adicional o una de las capas completamente conectadas 908. Por ejemplo, la primera capa convolucional 904 de la Figura 9A puede emitirse a la segunda capa convolucional 906, mientras que la segunda capa convolucional puede emitirse a una primera capa de las capas completamente conectadas 908.

LaFigura 10ilustra una red neuronal recurrente 1000 ilustrativa. En una red neuronal recurrente (RNN), el estado previo de la red influye sobre la salida del estado actual de la red. Las RNN pueden crearse en una diversidad de maneras usando una diversidad de funciones. El uso de las RNN en general gira entorno al uso de modelos matemáticos para predecir el futuro basándose en una secuencia de entradas anterior. Por ejemplo, puede usarse una RNN para realizar modelado de idioma estadístico para predecir una palabra próxima dada en una secuencia de palabras anterior. La RNN 1000 ilustrada puede describirse como que tiene una capa de entrada 1002 que recibe un vector de entrada, las capas ocultas 1004 para implementar una función recurrente, un mecanismo de realimentación 1005 para posibilitar una 'memoria' de estados anteriores y una capa de salida 1006 para emitir un resultado. La RNN 1000 opera basándose en pasos de tiempo. El estado de la RNN en un paso de tiempo dado se ve influenciado basándose en el paso de tiempo anterior mediante el mecanismo de realimentación 1005. Para un paso de tiempo dado, se define el estado de las capas ocultas 1004 por el estado anterior y la entrada en el paso de tiempo actual. Puede procesarse una entrada inicial (x<1>) en un primer paso de tiempo por la capa oculta 1004. Puede procesarse una segunda entrada (x<2>) por la capa oculta 1004 usando información de estado que se determina durante el procesamiento de la entrada inicial (x<1>). Un estado dado puede calcularse comost=f(üxt+ Wst-<1>), dondeUyWson matrices de parámetros. La funciónfes, en general, una no linealidad, tal como la función tangente hiperbólica (Tanh) o una variante de la función rectificadora f(x) = máx(0,<x>). Sin embargo, la función matemática específica usada en las capas ocultas 1004 puede variar dependiendo de los detalles de la implementación específica de la RNN 1000.

Además de las redes CNN y RNN básicas descritas, pueden posibilitarse variaciones en estas redes. Una variante de RNN ilustrativa es la RNN de memoria a corto plazo larga (LSTM). Las RNN de LSTM son aptas de dependencias a largo plazo de aprendizaje que pueden ser necesarias para el procesamiento de secuencias de idioma más largas. Una variante en la CNN es una red de creencia profunda convolucional, que tiene una estructura similar a una CNN y se entrena de una manera similar a una red de creencia profunda. Una red de creencia profunda (DBN) es una red neuronal generativa que está compuesta de múltiples capas de variables estocásticas (aleatorias). Las DBN pueden entrenarse capa a capa usando aprendizaje no supervisado voraz. Los pesos aprendidos de la DBN pueden usarse, a continuación, para proporcionar redes neuronales de preentrenamiento determinando un conjunto inicial óptimo de pesos para la red neuronal.

LaFigura 11ilustra el entrenamiento y despliegue de una red neuronal profunda. Una vez que se ha estructurado una red dada para una tarea, se entrena la red neuronal usando un conjunto de datos de entrenamiento 1102. Se han desarrollado diversas estructuras de entrenamiento 1104 para posibilitar la aceleración de hardware del proceso de entrenamiento. Por ejemplo, la estructura de aprendizaje automático 604 de la Figura 6 puede estar configurada como una estructura de entrenamiento 604. La estructura de entrenamiento 604 puede engancharse a una red neuronal no entrenada 1106 y posibilita que se entrene la red neuronal no entrenada usando los recursos de procesamiento paralelo descritos en el presente documento para generar una red neuronal entrenada 1108.

Para iniciar el proceso de entrenamiento, pueden elegirse los pesos iniciales aleatoriamente o mediante entrenamiento previo usando una red de creencia profunda. El ciclo de entrenamiento puede realizarse a continuación de una manera supervisada o no supervisada.

El aprendizaje supervisado es un método de aprendizaje en el que se realiza entrenamiento como una operación mediada, tal como cuando el conjunto de datos de entrenamiento 1102 incluye la entrada emparejada con la salida deseada para la entrada, o cuando el conjunto de datos de entrenamiento incluye la entrada que tiene la salida conocida y se clasifica manualmente la salida de la red neuronal. La red procesa las entradas y compara las salidas resultantes contra un conjunto de salidas esperadas o deseadas. Los errores a continuación se propagan de vuelta a través del sistema. La estructura de entrenamiento 1104 puede ajustar los pesos que controlan la red neuronal no entrenada 1106. La estructura de entrenamiento 1104 puede proporcionar herramientas para monitorizar cómo está convergiendo de bien la red neuronal no entrenada 1106 hacia un modelo adecuado para generar respuestas correctas basándose en datos de entrada conocidos. El proceso de entrenamiento tiene lugar de manera repetitiva a medida que se ajustan los pesos de la red para perfeccionar la salida generada por la red neuronal. El proceso de entrenamiento puede continuar hasta que la red neuronal alcanza una precisión estadísticamente deseada asociada con una red neuronal entrenada 1108. La red neuronal entrenada 1108 puede a continuación desplegarse para implementar cualquier número de operaciones de aprendizaje automático para generar un resultado de inferencia 1114 basándose en la entrada de nuevos datos 1112.

El aprendizaje no supervisado es un método automático en el que la red intenta entrenarse a sí misma usando datos no etiquetados. Por lo tanto, para un aprendizaje no supervisado, el conjunto de datos de entrenamiento 1102 incluirán datos de entrada sin ningún dato de salida asociado. La red neuronal no entrenada 1106 puede aprender agrupamientos dentro de la entrada no etiquetada y puede determinar cómo las entradas individuales están relacionadas con el conjunto de datos global. El entrenamiento no supervisado puede usarse para generar un mapa de autoorganización, que es un tipo de red neuronal entrenada 1108 que puede realizar operaciones útiles al reducir la dimensionalidad de los datos. El entrenamiento no supervisado puede usarse también para realizar detección de anomalías, que permite la identificación de puntos de datos en un conjunto de datos de entrada que se desvían de los patrones normales de los datos.

Pueden emplearse también variaciones en el entrenamiento supervisado y no supervisado. El aprendizaje semisupervisado es una técnica en la que el conjunto de datos de entrenamiento 1102 incluye una mezcla de datos etiquetados y no etiquetados de la misma distribución. El aprendizaje incremental es una variante de aprendizaje supervisado en el que se usan continuamente los datos de entrada para entrenar adicionalmente el modelo. El aprendizaje incremental posibilita que la red neuronal entrenada 1108 se adapte a los nuevos datos 1112 sin olvidar el conocimiento inculcado dentro de la red durante el entrenamiento inicial.

Ya esté supervisado o no supervisado, el proceso de entrenamiento para redes neuronales particularmente profundas puede ser demasiado computacionalmente intensivo para un único nodo de cálculo. En lugar de usar un único nodo de cálculo, puede usarse una red distribuida de nodos computacionales para acelerar el proceso de entrenamiento.

LaFigura 12es un diagrama de bloques que ilustra un aprendizaje distribuido. El aprendizaje distribuido es un modelo de entrenamiento que usa múltiples nodos informáticos distribuidos para realizar entrenamiento supervisado o no supervisado de una red neuronal. Cada uno de los nodos computacionales distribuidos puede incluir uno o más procesadores de anfitrión y uno o más de los nodos de procesamiento de propósito general, tales como la unidad de procesamiento de gráficos de propósito general altamente paralela 700 como en la Figura 700. Como se ilustra, el aprendizaje distribuido puede realizarse en el paralelismo de modelo 1202, el paralelismo de datos 1204 o una combinación del paralelismo de modelo y de datos 1204.

En el paralelismo de modelo 1202, diferentes nodos computacionales en un sistema distribuido pueden realizar cálculos de entrenamiento para diferentes partes de una única red. Por ejemplo, cada capa de una red neuronal puede entrenarse por un nodo de procesamiento diferente del sistema distribuido. Los beneficios del paralelismo de modelo incluyen la capacidad de escalar a modelos particularmente grandes. La división de los cálculos asociados con diferentes capas de la red neuronal posibilita el entrenamiento de redes neuronales muy grandes en las que los pesos para todas las capas no se ajustarían en la memoria de un único nodo computacional. En algunos casos, el paralelismo de modelo puede ser particularmente útil al realizar entrenamiento no supervisado de redes neuronales grandes.

En el paralelismo de datos 1204, los diferentes nodos de la red distribuida tienen una instancia completa del modelo y cada nodo recibe una porción diferente de los datos. Los resultados de los diferentes nodos a continuación se combinan. Aunque son posibles diferentes enfoques al paralelismo de datos, los enfoques de entrenamiento de datos paralelos todos requieren una técnica de combinación de resultados y de sincronización de los parámetros de modelo entre cada nodo. Los enfoques ilustrativos para combinar datos incluyen promedio de parámetros y paralelismo de datos basado en actualización. El promedio de parámetros entrena cada nodo en un subconjunto de los datos de entrenamiento y establece los parámetros globales (por ejemplo, pesos, desvíos) al promedio de los parámetros de cada nodo. El promedio de parámetros usa un servidor de parámetros central que mantiene los datos de parámetros. El paralelismo de datos basado en la actualización es similar al promedio de parámetros excepto que, en lugar de transferir parámetros desde los nodos al servidor de parámetros, se transfieren las actualizaciones al modelo. Adicionalmente, el paralelismo de datos basado en la actualización puede realizarse de una manera descentralizada, donde se comprimen las actualizaciones y se transfieren entre nodos.

El paralelismo de modelo y de datos combinado 1206 puede implementarse, por ejemplo, en un sistema distribuido en el que cada nodo computacional incluye múltiples GPU. Cada nodo puede tener una instancia completa del modelo con GPU separadas dentro de cada nodo que se usan para entrenar diferentes porciones del modelo.

El entrenamiento distribuido ha aumentado la sobrecarga con relación al entrenamiento en una única máquina. Sin embargo, los procesadores paralelos y las GPGPU descritas en el presente documento pueden cada uno implementar diversas técnicas para reducir la sobrecarga del entrenamiento distribuido, incluyendo técnicas para posibilitar transferencia de datos de GPU a GPU de alto ancho de banda y una sincronización de datos remota acelerada.

Aplicaciones de aprendizaje automático ilustrativas

El aprendizaje automático puede aplicarse para resolver una diversidad de problemas tecnológicos, incluyendo, pero sin limitación, visión informática, conducción y navegación autónoma, reconocimiento del habla y procesamiento del idioma. La visión informática ha sido tradicionalmente una de las áreas de investigación más activas para aplicaciones de aprendizaje automático. Las aplicaciones de visión informática varían de reproducir capacidades visuales humanas, tales como reconocer caras, a crear nuevas categorías de capacidades visuales. Por ejemplo, las aplicaciones de visión informática pueden configurarse para reconocer ondas de sonido de las vibraciones inducidas en los objetos visibles en un vídeo. El aprendizaje automático acelerado por procesador paralelo posibilita que se entrenen aplicaciones de visión informática usando un conjunto de datos de entrenamiento significativamente mayor que el previamente factible y posibilita que se desarrollen sistemas de inferencia usando procesadores paralelos de baja potencia.

El aprendizaje automático acelerado por procesador paralelo tiene aplicaciones de conducción autónoma que incluyen el reconocimiento de señales de carril y carretera, evitación de obstáculos, navegación y control de conducción. Las técnicas de aprendizaje automático aceleradas pueden usarse para entrenar modelos de conducción basándose en conjuntos de datos que definen las respuestas apropiadas a entrada de entrenamiento específica. Los procesadores paralelos descritos en el presente documento pueden posibilitar el entrenamiento rápido de las redes neuronales cada vez más complejas usadas para las soluciones de conducción autónoma y posibilitan el despliegue de procesadores de inferencia de baja potencia en una plataforma móvil adecuada para la integración en vehículos autónomos.

Las redes neuronales profundas aceleradas por procesador paralelo han posibilitado enfoques de aprendizaje automático para un reconocimiento de habla automático (ASR). El ASR incluye la creación de una función que calcula la secuencia lingüística más probable dada una secuencia acústica de entrada. El aprendizaje automático acelerado usando redes neuronales profundas ha posibilitado la sustitución de los modelos ocultos de Markov (HMM) y los modelos de mezcla gaussiana (GMM) previamente usados para el ASR.

El aprendizaje automático acelerado por procesador paralelo puede usarse también para acelerar el procesamiento del lenguaje natural. Los procedimientos de aprendizaje automático pueden hacer uso de algoritmos de inferencia estadística para producir modelos que son robustos ante una entrada errónea o no familiar. Las aplicaciones de procesador de lenguaje natural ilustrativas incluyen traducción de máquina automática entre idiomas humanos.

Las plataformas de procesamiento paralelo usadas para aprendizaje automático pueden dividirse en plataformas de entrenamiento y plataformas de despliegue. Las plataformas de entrenamiento son, en general, altamente paralelas e incluyen optimizaciones para acelerar el entrenamiento de nodo sencillo de múltiples GPU y entrenamiento de múltiples nodos de múltiples GPU. Los procesadores paralelos ilustrativos adecuados para entrenamiento incluyen la unidad de procesamiento de gráficos de propósito general 700 de la Figura 700 y el sistema informático de múltiples GPU 800 de la Figura 800. Por el contrario, las plataformas de aprendizaje automático desplegadas incluyen, en general, procesadores paralelos de potencia inferior adecuados para su uso en productos tales como cámaras, robots autónomos y vehículos autónomos.

LaFigura 13ilustra un sistema en un chip (SOC) de inferencia 1300 ilustrativo adecuado para realizar la inferencia usando un modelo entrenado. El SOC 1300 puede integrar componentes de procesamiento que incluyen un procesador de medios 1302, un procesador de visión 1304, una GPGPU 1306 y un procesador de múltiples núcleos 1308. El SOC 1300 puede incluir adicionalmente memoria en el chip 1305 que puede posibilitar una agrupación de datos en chip compartida que es accesible por cada uno de los componentes de procesamiento. Los componentes de procesamiento pueden optimizarse para la operación de baja potencia para posibilitar el despliegue a una diversidad de plataformas de aprendizaje automático, que incluyen vehículos autónomos y robots autónomos. Por ejemplo, puede usarse una implementación del SOC 1300 como una porción del sistema de control principal para un vehículo autónomo. Donde el SOC 1300 está configurado para su uso en vehículos autónomos, el SOC está diseñado y configurado para su cumplimiento con las normas de seguridad funcionales relevantes de la jurisdicción de despliegue.

Durante la operación, el procesador de medios 1302 y el procesador de visión 1304 pueden funcionar en conjunto para acelerar operaciones de visión informática. El procesador de medios 1302 puede posibilitar la decodificación de baja latencia de múltiples flujos de vídeo de alta resolución (por ejemplo, 4K, 8K). Los flujos de vídeo decodificados pueden escribirse en una memoria intermedia en la memoria en el chip 1305. El procesador de visión 1304 puede a continuación analizar el vídeo decodificado y realizar de manera preliminar las operaciones de procesamiento en los fotogramas del vídeo decodificado en preparación del procesamiento de los fotogramas usando un modelo de reconocimiento de imagen entrenado. Por ejemplo, el procesador de visión 1304 puede acelerar las operaciones convolucionales para una CNN que se usa para realizar el reconocimiento de imagen en los datos de vídeo de alta resolución, mientras se realizan cálculos de modelo de extremo trasero por la GPGPU 1306.

El procesador de múltiples núcleos 1308 puede incluir lógica de control para ayudar con la secuenciación y sincronización de transferencias de datos y operaciones de memoria compartida realizadas por el procesador de medios 1302 y el procesador de visión 1304. El procesador de múltiples núcleos 1308 puede funcionar también como un procesador de aplicación para ejecutar aplicaciones de software que pueden hacer uso de la capacidad de cálculo de inferencia de la GPGPU 1306. Por ejemplo, puede implementarse al menos una porción de la lógica de navegación y de conducción en software que se ejecuta en el procesador de múltiples núcleos 1308. Tal software puede emitir directamente cargas de trabajo computacionales a la GPGPU 1306 o pueden emitirse las cargas de trabajo computacionales al procesador de múltiples núcleos 1308, que puede descargar al menos una porción de estas operaciones a la GPGPU 1306.

La GPGPU 1306 puede incluir agrupaciones de cómputo, tal como una configuración de baja potencia de las agrupaciones de cómputo 706A-706H dentro de la unidad de procesamiento de gráficos de propósito general 700. Las agrupaciones de cálculo dentro de la GPGPU 1306 pueden soportar instrucciones que están optimizadas específicamente para realizar cálculos de inferencia en una red neuronal entrenada. Por ejemplo, la GPGPU 1306 puede soportar instrucciones para realizar cálculos de baja precisión tales como operaciones vectoriales de números enteros de 8 bits y 4 bits.

Vista general del sistema

LaFigura 14es un diagrama de bloques de un sistema de procesamiento 1400, de acuerdo con una realización. El sistema 1400 se puede usar en un sistema de sobremesa con un único procesador, un sistema de estación de trabajo multiprocesador o un sistema de servidor que tiene un gran número de procesadores 1402 o núcleos de procesador 1407. En una realización, el sistema 1400 es una plataforma de procesamiento incorporada dentro de un circuito integrado de sistema en un chip (SoC) para su uso en dispositivos móviles, portátiles o integrados, tales como dentro de dispositivos del Internet de las cosas (IoT) con conectividad alámbrica o inalámbrica a una red de área local o extensa.

En una realización, el sistema 1400 puede incluir, acoplarse con, o estar integrado dentro de: una plataforma de juegos basada en servidor, una consola de juegos, que incluye una consola de juegos y medios, una consola de juegos móvil, una consola de juegos portátil o una consola de juegos en línea. En algunas realizaciones, el sistema 1400 es parte de un teléfono móvil, teléfono inteligente, dispositivo informático de tableta o dispositivo móvil conectado a Internet, tal como un ordenador portátil con baja capacidad de almacenamiento interno. El sistema de procesamiento 1400 también puede incluir, acoplarse con o estar integrado en: un dispositivo llevable, tal como un dispositivo llevable de reloj inteligente; gafas o prendas inteligentes mejoradas con funciones de realidad aumentada (RA) o realidad virtual (RV) para proporcionar resultados visuales, de audio o táctiles para complementar las experiencias visuales, de audio o táctiles del mundo real o proporcionar de otro modo texto, audio, gráficos, vídeo, imágenes holográficas o vídeo o retroalimentación táctil; otro dispositivo de realidad aumentada (RA); u otro dispositivo de realidad virtual (RV). En algunas realizaciones, el sistema de procesamiento 1400 incluye o es parte de un televisor o dispositivo de decodificador de salón. En una realización, el sistema 1400 puede incluir, acoplarse o estar integrado en un vehículo autónomo tal como un autobús, un remolque de tractor, un automóvil, una bicicleta con motor o eléctrica, un avión o un planeador (o cualquier combinación de los mismos). El vehículo autónomo puede usar el sistema 1400 para procesar el entorno detectado alrededor del vehículo.

En algunas realizaciones, cada uno del uno o más procesadores 1402 incluye uno o más núcleos de procesador 1407 para procesar instrucciones que, cuando se ejecutan, realizan operaciones para el sistema o el software de usuario. En algunas realizaciones, al menos uno del uno o más núcleos de procesador 1407 está configurado para procesar un conjunto de instrucciones específico 1409. En algunas realizaciones, el conjunto de instrucciones 1409 puede facilitar el cálculo de conjunto de instrucciones complejo (CISC), el cálculo de conjunto de instrucciones reducido (RISC) o el cálculo mediante una palabra de instrucción muy larga (VLIW). Uno o más núcleos de procesador 1407 pueden procesar un conjunto de instrucciones diferente 1409, que puede incluir instrucciones para facilitar la emulación de otros conjuntos de instrucciones. El núcleo de procesador 1407 puede incluir también otros dispositivos de procesamiento, tal como un procesador de señales digitales (DSP).

En algunas realizaciones, el procesador 1402 incluye memoria caché 1404. Dependiendo de la arquitectura, el procesador 1402 puede tener una única caché interna o múltiples niveles de caché interna. En algunas realizaciones, la memoria caché se comparte entre diversos componentes del procesador 1402. En algunas realizaciones, el procesador 1402 también usa una caché externa (por ejemplo, una caché de nivel 3 (L3) o caché de último nivel (LLC)) (no mostrada), que puede compartirse entre núcleos de procesador 1407 usando técnicas de coherencia de caché conocidas. Un archivo de registro 1406 puede incluirse adicionalmente en el procesador 1402 y puede incluir diferentes tipos de registros para almacenar diferentes tipos de datos (por ejemplo, registros de números enteros, registros de coma flotante, registros de estado y un registro de puntero de instrucción). Algunos registros pueden ser registros de propósito general, mientras que otros registros pueden ser específicos al diseño del procesador 1402.

En algunas realizaciones, uno o más procesador o procesadores 1402 están acoplados con uno o más bus o buses de interfaz 1410 para transmitir señales de comunicación tales como señales de direcciones, de datos o de control entre el procesador 1402 y otros componentes en el sistema 1400. El bus de interfaz 1410, en una realización, puede ser un bus de procesador, tal como una versión del bus de interfaz de medios directos (DMI). Sin embargo, los buses de procesador no están limitados al bus DMI y pueden incluir uno o más buses de interconexión de componentes periféricos (por ejemplo, PCI, PCI express), buses de memoria u otros tipos de buses de interfaz. En una realización, el procesador o procesadores 1402 incluyen un controlador de memoria integrado 1416 y un concentrador de controlador de plataforma 1430. El controlador de memoria 1416 facilita la comunicación entre un dispositivo de memoria y otros componentes del sistema 1400, mientras que, el concentrador de controlador de plataforma (PCH) 1430 proporciona conexiones a dispositivos de E/S a través de un bus de E/S local.

El dispositivo de memoria 1420 puede ser un dispositivo de memoria de acceso aleatorio dinámica (DRAM), un dispositivo de memoria de acceso aleatorio estática (SRAM), dispositivo de memoria flash, dispositivo de memoria de cambio de fase o algún otro dispositivo de memoria que tiene un rendimiento adecuado para dar servicio como una memoria de proceso. En una realización, el dispositivo de memoria 1420 puede operar como memoria de sistema para el sistema 1400, para almacenar datos 1422 e instrucciones 1421 para su uso cuando el uno o más procesadores 1402 ejecutan una aplicación o proceso. El controlador de memoria 1416 también se acopla con un procesador de gráficos externo opcional 1418, que puede comunicarse con el uno o más procesadores de gráficos 1408 en los procesadores 1402 para realizar operaciones de gráficos y de medios. En algunas realizaciones, las operaciones de gráficos, de medios y/o de cálculo pueden ser asistidas por un acelerador 1412 que es un coprocesador que puede configurarse para realizar un conjunto especializado de gráficos, medios u operaciones de cálculo. Por ejemplo, en una realización, el acelerador 1412 es un acelerador de multiplicación matricial usado para optimizar el aprendizaje automático u operaciones de cálculo. En una realización, el acelerador 1412 es un acelerador de trazado de rayos que se puede usar para realizar operaciones de trazado de rayos junto con el procesador de gráficos 1408. En una realización, se puede usar un acelerador externo 1419 en lugar de o junto con el acelerador 1412.

En algunas realizaciones, un dispositivo de visualización 1411 se puede conectar al procesador o procesadores 1402. El dispositivo de visualización 1411 puede ser uno o más de un dispositivo de visualización interno, como en un dispositivo electrónico móvil o un dispositivo portátil o un dispositivo de visualización externo conectado a través de una interfaz de visualización (por ejemplo, DisplayPort, etc.). En una realización, el dispositivo de visualización 1411 puede ser una pantalla montada en la cabeza (HMD), tal como un dispositivo de visualización estereoscópico para su uso en aplicaciones de realidad virtual (RV) o aplicaciones de realidad aumentada (RA).

En algunas realizaciones, el concentrador de controlador de plataforma 1430 posibilita que los periféricos se conecten al dispositivo de memoria 1420 y al procesador 1402 a través de un bus de E/S de alta velocidad. Los periféricos de E/S incluyen, pero sin limitación, un controlador de audio 1446, un controlador de red 1434, una interfaz de firmware 1428, un transceptor inalámbrico 1426, sensores táctiles 1425, un dispositivo de almacenamiento de datos 1424 (por ejemplo, memoria no volátil, memoria volátil, unidad de disco duro, memoria flash, NAND, 3D NAND, 3D XPoint, etc.). El dispositivo de almacenamiento de datos 1424 se puede conectar a través de una interfaz de almacenamiento (por ejemplo, SATA) o a través de un bus periférico, tal como un bus de interconexión de componentes periféricos (por ejemplo, PCI, PCI express). Los sensores táctiles 1425 pueden incluir sensores de pantalla táctil, sensores de presión o sensores de huellas digitales. El transceptor inalámbrico 1426 puede ser un transceptor wifi, un transceptor Bluetooth o un transceptor de red móvil tal como un transceptor 3G, 4G, 5G o de la evolución a largo plazo (LTE). La interfaz de firmware 1428 permite la comunicación con el firmware del sistema y puede ser, por ejemplo, una interfaz de firmware extensible unificada (UEFI). El controlador de red 1434 puede posibilitar una conexión de red a una red alámbrica. En algunas realizaciones, un controlador de red de alto rendimiento (no mostrado) se acopla con el bus de interfaz 1410. El controlador de audio 1446, en una realización, es un controlador de audio de alta definición de múltiples canales. En una realización, el sistema 1400 incluye un controlador de E/S heredado opcional 1440 para acoplar dispositivos heredados (por ejemplo, de sistema personal 2 (PS/2)) al sistema. El concentrador de controlador de plataforma 1430 también puede conectarse a uno o más controladores de bus serie universal (USB) 1442 para conectar dispositivos de entrada, tales como combinaciones de teclado y ratón 1443, una cámara 1444 u otros dispositivos de entrada USB.

Se apreciará que el sistema 1400 mostrado es ilustrativo y no limitante, debido a que también pueden usarse otros tipos de sistemas de procesamiento de datos que están configurados de manera diferente. Por ejemplo, una instancia del controlador de memoria 1416 y del concentrador de controlador de plataforma 1430 puede integrarse en un procesador de gráficos externo discreto, tal como el procesador de gráficos externo 1418. En una realización, el concentrador de controlador de plataforma 1430 y/o el controlador de memoria 1416 pueden ser externos al uno o más procesador o procesadores 1402. Por ejemplo, el sistema 1400 puede incluir un controlador de memoria externo 1416 y un concentrador de controlador de plataforma 1430, que puede configurarse como un concentrador de controlador de memoria y un concentrador de controlador periférico dentro de un conjunto de chips del sistema que está en comunicación con el procesador o procesadores 1402.

Por ejemplo, se pueden usar placas de circuito ("trineos") en las que se colocan componentes tales como CPU, memoria y otros componentes diseñados para un mayor rendimiento térmico. En algunos ejemplos, los componentes de procesamiento, tales como los procesadores, están ubicados en un lado superior de un trineo, mientras que las memorias cercanas, tales como los DIMM, están ubicadas en el lado inferior del trineo. Como resultado del flujo de aire mejorado que proporciona este diseño, los componentes pueden operar a frecuencias y niveles de potencia más altos que en los sistemas típicos, aumentando de esta manera el rendimiento. Además, los trineos están configurados para acoplarse ciegamente con cables de comunicación de datos y alimentación en un bastidor, mejorando de esta manera su capacidad de eliminarse, actualizarse, reinstalarse y/o reemplazarse rápidamente. De manera similar, los componentes individuales ubicados en los trineos, tales como procesadores, aceleradores, memoria y unidades de almacenamiento de datos, están configurados para actualizarse fácilmente debido a su mayor espacio entre sí. En la realización ilustrativa, los componentes incluyen adicionalmente características de certificación de hardware para demostrar su autenticidad.

Un centro de datos puede utilizar una única arquitectura de red ("tejido") que soporta muchas otras arquitecturas de red, incluyendo Ethernet y Omni-Path. Los trineos se pueden acoplar a conmutadores a través de fibras ópticas, que proporcionan un mayor ancho de banda y una menor latencia que el cableado de par trenzado típico (por ejemplo, Categoría 5, Categoría 5e, Categoría 6, etc.). Debido al alto ancho de banda, a las interconexiones de baja latencia y a la arquitectura de red, el centro de datos puede, en uso, agrupar recursos, tales como memoria, aceleradores (por ejemplo, GPU, aceleradores de gráficos, FPGA, ASIC, redes neuronales y/o aceleradores de inteligencia artificial, etc.), y unidades de almacenamiento de datos que están físicamente desagregadas, y proporcionarlos a los recursos de cálculo (por ejemplo, procesadores) según sea necesario, permitiendo que los recursos de cálculo accedan a los recursos agrupados como si fueran locales.

Una fuente o fuente de alimentación puede proporcionar tensión y/o corriente al sistema 1400 o cualquier componente o sistema descrito en el presente documento. En un ejemplo, la fuente de alimentación incluye un adaptador de CA a CC (corriente alterna a corriente continua) para enchufarlo a un enchufe de pared. Tal energía de CA puede ser una fuente de energía de energía renovable (por ejemplo, energía solar). En un ejemplo, la fuente de energía incluye una fuente de energía de CC, tal como un convertidor de CA a CC externo. En un ejemplo, la fuente de energía o fuente de alimentación incluye hardware de carga inalámbrica para cargar mediante la proximidad a un campo de carga. En un ejemplo, la fuente de energía puede incluir una batería interna, un suministro de corriente alterna, un suministro de energía basado en movimiento, un suministro de energía solar o una fuente de celda de combustible.

LasFiguras 15A-15Cilustran sistemas informáticos y procesadores gráficos proporcionados por las realizaciones descritas en el presente documento. Los elementos de las Figuras 15A-15C que tienen los mismos números (o nombres) de referencia que los elementos de cualquier otra figura en el presente documento pueden operar o funcionar de cualquier manera similar a la descrita en cualquier otra parte en el presente documento, pero sin limitación a esto.

LaFigura 15Aes un diagrama de bloques de una realización de un procesador 1500 que tiene uno o más núcleos de procesador 1502A-1502N, un controlador de memoria integrado 1514 y un procesador de gráficos integrado 1508. El procesador 1500 puede incluir núcleos adicionales hasta e incluyendo el núcleo adicional 1502N representado por los recuadros con línea discontinua. Cada uno de los núcleos de procesador 1502A-1502N incluye una o más unidades de caché internas 1504A-1504N. En algunas realizaciones, cada núcleo de procesador también tiene acceso a una o más unidades almacenadas en caché compartidas 1506. Las unidades de caché internas 1504A-1504N y las unidades de caché compartidas 1506 representan una jerarquía de memoria caché dentro del procesador 1500. La jerarquía de memoria caché puede incluir al menos un nivel de caché de instrucciones y de datos dentro de cada núcleo de procesador y uno o más niveles de caché de nivel medio compartida, tal como una caché de nivel 15 (L2), de nivel 3 (L3), de nivel 4 (L4) u otros niveles, donde el nivel más alto de caché antes de la memoria externa se clasifica como la LLC. En algunas realizaciones, la lógica de coherencia de caché mantiene la coherencia entre las diversas unidades de caché 1506 y 1504A-1504N.

En algunas realizaciones, el procesador 1500 puede incluir también un conjunto de una o más unidades de controlador de bus 1616 y un núcleo de agente de sistema 1510. La una o más unidades de controlador de bus 1616 gestionan un conjunto de buses periféricos, tal como uno o más buses PCI p PCI Express. El núcleo de agente de sistema 1510 proporciona funcionalidad de gestión para los diversos componentes de procesador. En algunas realizaciones, el núcleo de agente de sistema 1510 incluye uno o más controladores de memoria integrados 1514 para gestionar el acceso a diversos dispositivos de memoria externa (no mostrados).

En algunas realizaciones, uno o más de los núcleos de procesador 1502A-1502N incluyen el soporte para múltiples hilos simultáneos. En una realización de este tipo, el núcleo de agente de sistema 1510 incluye componentes para coordinar y operar los núcleos 1502A-1502N durante el procesamiento de múltiples hilos. El núcleo de agente de sistema 1510 puede incluir adicionalmente una unidad de control de energía (PCU), que incluye lógica y componentes para regular el estado de energía de los núcleos de procesador 1502A-1502N y el procesador de gráficos 1508.

En algunas realizaciones, el procesador 1500 incluye adicionalmente el procesador de gráficos 1508 para ejecutar las operaciones de procesamiento de gráficos. En algunas realizaciones, el procesador de gráficos 1508 se acopla con el conjunto de unidades de caché compartidas 1506 y el núcleo de agente de sistema 1510, que incluye el uno o más controladores de memoria integrados 1514. En algunas realizaciones, el núcleo de agente de sistema 1510 también incluye un controlador de visualización 1511 para controlar la salida del procesador de gráficos a una o más pantallas acopladas. En algunas realizaciones, el controlador de visualización 1511 puede ser un módulo separado acoplado con el procesador de gráficos mediante al menos una interconexión, o puede estar integrado dentro del procesador de gráficos 1508.

En algunas realizaciones, se usa una unidad de interconexión basada en anillo 1512 para acoplar los componentes internos del procesador 1500. Sin embargo, puede usarse una unidad de interconexión alternativa, tal como una interconexión de punto a punto, una interconexión conmutada u otras técnicas, que incluyen técnicas bien conocidas en la técnica. En algunas realizaciones, el procesador de gráficos 1508 se acopla con el anillo de interconexión 1512 mediante un enlace de E/S 1513.

El enlace de E/S 1513 ilustrativo representa al menos una de múltiples diversidades de interconexiones de E/S, que incluyen una interconexión de E/S de paquete, que facilita la comunicación entre diversos componentes de procesador y un módulo de memoria integrado de alto rendimiento 1518, tal como un módulo de eDRAM. En algunas realizaciones, cada uno de los núcleos de procesador 1502A-1502N y del procesador de gráficos 1508 puede usar módulos de memoria integrados 1518 tal como una caché de último nivel compartida.

En algunas realizaciones, los núcleos de procesador 1502A-1502N son núcleos homogéneos que ejecutan la misma arquitectura de conjunto de instrucciones. En otra realización, los núcleos de procesador 1502A-1502N son heterogéneos en términos de arquitectura de conjunto de instrucciones (ISA), donde uno o más de los núcleos de procesador 1502A-1502N ejecutan un primer conjunto de instrucciones, mientras que al menos uno de los otros núcleos ejecuta un subconjunto del primer conjunto de instrucciones o un conjunto de instrucciones diferente. En una realización, los núcleos de procesador 1502A-1502N son heterogéneos en términos de microarquitectura, donde uno o más núcleos que tienen un consumo de energía relativamente más alto se acoplan con uno o más núcleos de energía que tienen un consumo de energía más bajo. En una realización, los núcleos de procesador 1502A-1502N son heterogéneos en términos de capacidad computacional. Adicionalmente, el procesador 1500 puede implementarse en uno o más chips o como un circuito de SoC integrado que tiene los componentes ilustrados, además de otros componentes.

LaFigura 15Bes un diagrama de bloques de la lógica de hardware de un núcleo de procesador de gráficos 1519, de acuerdo con algunas realizaciones descritas en el presente documento. Los elementos de la Figura15Bque tienen los mismos números (o nombres) de referencia que los elementos de cualquier otra figura en el presente documento pueden operar o funcionar de cualquier manera similar a la descrita en cualquier otra parte en el presente documento, pero sin limitación a esto. El núcleo de procesador de gráficos 1519, en ocasiones denominado segmento de núcleo, puede ser uno o múltiples núcleos de gráficos dentro de un procesador de gráficos modular. El núcleo de procesador de gráficos 1519 es un ejemplo de un segmento de núcleo de gráficos, y un procesador de gráficos como se describe en el presente documento puede incluir múltiples segmentos de núcleo de gráficos basándose en la energía objetivo y las envolventes de rendimiento. Cada núcleo de procesador de gráficos 1519 puede incluir un bloque de función fija 1530 acoplado con múltiples subnúcleos 1521A-1521F, también denominados sub-segmentos, que incluyen bloques modulares de lógica de función fija y de propósito general.

En algunas realizaciones, el bloque de función fija 1530 incluye una canalización de geometría/función fija 1531 que puede compartirse por todos los subnúcleos en el núcleo de procesador de gráficos 1519, por ejemplo, en implementaciones de procesador de gráficos de menor rendimiento y/o menor potencia. En diversas realizaciones, la canalización de geometría/función fija 1531 incluye una canalización de función fija 3D (por ejemplo, la canalización 3D 1612 como en la Figura 16 que se describe a continuación), una unidad de extremo frontal de vídeo, un generador de hilos y un despachador de hilos, y un gestor de memoria intermedia de retorno unificada, que gestiona memorias intermedias de retorno unificadas (por ejemplo, la memoria intermedia de retorno unificada 1718 en la Figura 17, como se describe a continuación).

En una realización, el bloque de función fija 1530 también incluye una interfaz de SoC de gráficos 1532, un microcontrolador de gráficos 1533 y una canalización de medios 1534. La interfaz de SoC de gráficos 1532 proporciona una interfaz entre el núcleo de procesador de gráficos 1519 y otros núcleos de procesador dentro de un sistema en un circuito integrado de chip. El microcontrolador de gráficos 1533 es un subprocesador programable que se puede configurar para gestionar diversas funciones del núcleo de procesador de gráficos 1519, incluyendo el despacho de hilos, la planificación y la prioridad. La canalización de medios 1534 (por ejemplo, la canalización de medios 1616 de la Figura 16 y la Figura 17) incluye lógica para facilitar la decodificación, codificación, preprocesamiento y/o posprocesamiento de datos multimedia, que incluyen datos de imágenes y de vídeos. La canalización de medios 1534 implementa operaciones de medios a través de solicitudes para calcular o lógica de muestreo dentro de los subnúcleos 1521 -1521F.

En una realización, la interfaz de SoC 1532 permite que el núcleo de procesador de gráficos 1519 se comunique con núcleos de procesador de aplicaciones de propósito general (por ejemplo, CPU) y/u otros componentes dentro de un SoC, incluyendo elementos de jerarquía de memoria tales como una memoria caché de último nivel compartida, la RAM de sistema y/o DRAM integrada en chip o en paquete. La interfaz de SoC 1532 también puede permitir la comunicación con dispositivos de función fija dentro del SoC, tales como canalizaciones de formación de imágenes de cámara, y permite el uso y/o implementa atómicas de memoria global que pueden compartirse entre el núcleo de procesador de gráficos 1519 y las CPU dentro del SoC. La interfaz de SoC 1532 también puede implementar controles de gestión de energía para el núcleo de procesador de gráficos 1519 y habilitar una interfaz entre un dominio de reloj del núcleo gráfico 1519 y otros dominios de reloj dentro del SoC. En una realización, la interfaz de SoC 1532 permite la recepción de memorias intermedias de comandos desde un emisor de flujo continuo de comandos y un despachador de hilos global que están configurados para proporcionar comandos e instrucciones a cada uno de uno o más núcleos de gráficos dentro de un procesador de gráficos. Los comandos e instrucciones pueden enviarse a la canalización de medios 1534, cuando se van a realizar operaciones de medios, o a una canalización de geometría y función fijas (por ejemplo, canalización de geometría y función fija 1531, canalización de geometría y función fija 1537) cuando se van a realizar operaciones de procesamiento de gráficos.

El microcontrolador de gráficos 1533 se puede configurar para realizar diversas tareas de planificación y gestión para el núcleo de procesador de gráficos 1519. En una realización, el microcontrolador de gráficos 1533 puede realizar planificación de carga de trabajo de gráficos y/o de cálculo en los diversos motores de gráficos paralelos dentro de las matrices de unidades de ejecución (EU) 1522A-1522F, 1524A-1524F dentro de los subnúcleos 1521A-1521F. En este modelo de planificación, el software anfitrión que se ejecuta en un núcleo de CPU de un SoC que incluye el núcleo de procesador de gráficos 1519 puede enviar cargas de trabajo a uno de los múltiples timbres de procesador de gráficos, lo que invoca una operación de planificación en el motor de gráficos apropiado. Las operaciones de planificación incluyen determinar qué carga de trabajo ejecutar a continuación, emitir una carga de trabajo a un emisor por flujo continuo de comandos, dar preferencia a las cargas de trabajo existentes que se ejecutan en un motor, monitorizar el progreso de una carga de trabajo y notificar al software de anfitrión cuándo está completada una carga de trabajo. En una realización, el microcontrolador de gráficos 1533 también puede facilitar estados de baja energía o inactivos para el núcleo de procesador de gráficos 1519, proporcionando al núcleo de procesador de gráficos 1519 la capacidad de grabar y restaurar registros dentro del núcleo de procesador de gráficos 1519 a través de transiciones de estado de baja energía de forma independiente desde el sistema operativo y/o el software de controlador de gráficos del sistema.

El núcleo de procesador de gráficos 1519 puede tener más o menos que los subnúcleos ilustrados 1521A-1521F, hastaNsubnúcleos modulares. Para cada conjunto deNsubnúcleos, el núcleo de procesador de gráficos 1519 también puede incluir lógica de función compartida 1535, memoria compartida y/o caché 1536, una canalización de geometría/función fija 1537, así como lógica de función fija adicional 1538 para acelerar diversas operaciones de gráficos y de procesamiento de cálculo. La lógica de función compartida 1535 puede incluir unidades lógicas asociadas con la lógica de función compartida 1720 de la Figura 17 (por ejemplo, lógica del muestreador, matemática y/o de comunicación inter-hilo) que puede compartirse por cada N subnúcleos dentro del núcleo de procesador de gráficos 1519. La memoria compartida y/o caché 1536 puede ser una caché de último nivel para el conjunto de N subnúcleos 1521A-1521F dentro del núcleo de procesador de gráficos 1519, y también puede servir como memoria compartida a la que pueden acceder múltiples subnúcleos. La canalización de geometría/función fija 1537 se puede incluir en lugar de la canalización de geometría/función fija 1531 dentro del bloque de función fija 1530 y puede incluir las mismas unidades lógicas o similares.

En una realización, el núcleo de procesador de gráficos 1519 incluye una lógica de función fija adicional 1538 que puede incluir diversa lógica de aceleración de función fija para su uso por el núcleo de procesador de gráficos 1519.

En una realización, la lógica de función fija adicional 1538 incluye una canalización de geometría adicional para su uso en sombreado únicamente de posición. En el sombreado únicamente de posición, existen dos canalizaciones de geometría, la canalización de geometría completa dentro de la canalización de geometría/función fija 1538, 1531, y una canalización de selección, que es una canalización de geometría adicional que puede incluirse dentro de la lógica de función fija adicional 1538. En una realización, la canalización de selección es una versión recortada de la canalización de geometría completa. La canalización completa y la canalización de selección pueden ejecutar diferentes instancias de la misma aplicación, teniendo cada instancia un contexto separado. El sombreado únicamente de posición puede ocultar largos tramos de selección de triángulos descartados, lo que permite completar el sombreado antes en algunos casos. Por ejemplo, y en una realización, la lógica de canalización de selección dentro de la lógica de función fija adicional 1538 puede ejecutar sombreadores de posición en paralelo con la aplicación principal y generalmente genera resultados críticos más rápido que la canalización completa, ya que la canalización de selección extrae y sombrea únicamente el atributo de posición de los vértices, sin realizar la rasterización y representación de los píxeles en la memoria intermedia de fotogramas. La canalización de selección puede usar los resultados críticos generados para calcular la información de visibilidad de todos los triángulos sin tener en cuenta si esos triángulos están seleccionados. La canalización completa (que en este caso puede denominarse canalización de reproducción) puede consumir la información de visibilidad para omitir los triángulos seleccionados y sombrear únicamente los triángulos visibles que finalmente pasan a la fase de rasterización.

En una realización, la lógica de función fija adicional 1538 también puede incluir lógica de aceleración de aprendizaje automático, tal como lógica de multiplicación matricial de función fija, para implementaciones que incluyen optimizaciones para entrenamiento o inferencia de aprendizaje automático.

Dentro de cada subnúcleo de gráficos, 1521A-1521F incluye un conjunto de recursos de ejecución que pueden usarse para realizar operaciones de gráficos, medios y cálculo en respuesta a solicitudes por la canalización de gráficos, la canalización de medios o los programas sombreadores. Los subnúcleos de gráficos 1521A-1521F incluyen múltiples matrices EU 1522A-1522F, 1524A-1524F, lógica de despacho de hilos y comunicación inter-hilo (TD/IC) 1523A-1523F, un muestreador 3D (por ejemplo, de textura) 1525A-1525F, un muestreador de medios 1506A-1506F, un procesador sombreador 1527A-1527F y memoria local compartida (SLM) 1528A-1528F. Cada una de las matrices EU 1522A-1522F, 1524A-1524F incluye múltiples unidades de ejecución, que son unidades de procesamiento de gráficos de propósito general que pueden realizar operaciones lógicas de coma flotante y número entero/coma fija al servicio de una operación de gráficos, de medios o de cálculo, incluyendo programas de gráficos, de medios o sombreadores de cálculo. La lógica TD/IC 1523A-1523F realiza operaciones de control de hilo y despacho de hilo local para las unidades de ejecución dentro de un subnúcleo y facilita la comunicación entre hilos que se ejecutan en las unidades de ejecución del subnúcleo. El muestreador 3D 1525A-1525F puede leer texturas u otros datos relacionados con gráficos 3D en la memoria. El muestreador 3D puede leer datos de textura de manera diferente de acuerdo con el estado de muestra configurado y el formato de textura asociado con una textura dada. El muestreador de medios 1506A-1506F puede realizar operaciones de lectura similares de acuerdo con el tipo y formato asociado con los datos de medios. En una realización, cada subnúcleo de gráficos 1521A-1521F puede incluir, como alternativa, un muestreador de 3D y de medios unificado. Los hilos que se ejecutan en las unidades de ejecución dentro de cada uno de los subnúcleos 1521A-1521F pueden hacer uso de la memoria local compartida 1528A-1528F dentro de cada subnúcleo, para permitir que los hilos que se ejecutan dentro de un grupo de hilos se ejecuten usando una agrupación común de memoria en chip.

LaFigura 15Ces un diagrama de bloques de la unidad de procesamiento de gráficos de propósito general (GPGPU) 1570 que se puede configurar como un procesador de gráficos y/o acelerador de cálculo, de acuerdo con las realizaciones descritas en el presente documento. La GPGPU 1570 puede interconectarse con procesadores de anfitrión (por ejemplo, una o más CPU 1546) y la memoria 1571, 1572 a través de uno o más buses de sistema y/o memoria. En una realización, la memoria 1571 es memoria de sistema que puede compartirse con la una o más CPU 1546, mientras que la memoria 1572 es memoria del dispositivo que está especializada a la GPGPU 1570. En una realización, los componentes dentro de la GPGPU 1570 y la memoria de dispositivo 1572 pueden asignarse a direcciones de memoria que son accesibles para la una o más CPU 1546. El acceso a la memoria 1571 y 1572 puede facilitarse a través de un controlador de memoria 1568. En una realización, el controlador de memoria 1568 incluye un controlador de acceso a memoria directo (DMA) interno 1569 o puede incluir lógica para realizar operaciones que, de otra manera, se realizarían por un controlador DMA.

La GPGPU 1570 incluye múltiples memorias caché, incluyendo una caché L2 1553, una caché L1 1554, una caché de instrucciones 1555 y una memoria compartida 1556, al menos una porción de la que también puede subdividirse como una memoria caché. La GPGPU 1570 también incluye múltiples unidades de cálculo 1560A-1560N. Cada unidad de cálculo 1560A-1560N incluye un conjunto de registros de vectores 1561, registros de escalares 1562, unidades lógicas de vectores 1563 y unidades lógicas de escalares 1564. Las unidades de cálculo 1560A-1560N también pueden incluir memoria compartida local 1565 y un contador de programa 1566. Las unidades de cálculo 1560A-1560N pueden acoplarse con un caché constante 1567, que puede usarse para almacenar datos constantes, que son datos que no cambiarán durante la ejecución del núcleo o programa sombreador que se ejecuta en la GPGPU 1570. En una realización, la caché constante 1567 es una caché de datos escalar y los datos almacenados en caché se pueden recuperar directamente en los registros escalares 1562.

Durante la operación, la una o más CPU 1546 pueden escribir comandos en registros o memoria en la GPGPU 1570 que se ha mapeado en un espacio de direcciones accesible. Los procesadores de comandos 1557 pueden leer los comandos desde los registros o la memoria y determinar cómo se procesarán esos comandos dentro de la GPGPU 1570. A continuación, se puede usar un despachador de hilos 1558 para enviar hilos a las unidades de cálculo 1560A-1560N para realizar esos comandos. Cada unidad de cálculo 1560A-1560N puede ejecutar hilos independientemente de las otras unidades de cálculo. Además, cada unidad de cálculo 1560A-1560N se puede configurar de forma independiente para el cálculo condicional y puede emitir condicionalmente los resultados del cálculo a la memoria. Los procesadores de comandos 1557 pueden interrumpir la una o más CPU 1546 cuando se completan los comandos enviados.

LasFiguras 16A-16Cilustran diagramas de bloques de arquitecturas de procesadores de gráficos y aceleradores de cálculo adicionales proporcionadas por las realizaciones descritas en el presente documento. Los elementos de las Figuras 16A-16C que tienen los mismos números (o nombres) de referencia que los elementos de cualquier otra figura en el presente documento pueden operar o funcionar de cualquier manera similar a la descrita en cualquier otra parte en el presente documento, pero sin limitación a esto.

LaFigura 16Aes un diagrama de bloques de un procesador de gráficos 1600, que puede ser una unidad de procesamiento de gráficos discreta, o puede ser un procesador de gráficos integrado con una pluralidad de núcleos de procesamiento, u otros dispositivos semiconductores tales como, pero sin limitación, dispositivos de memoria o interfaces de red. En algunas realizaciones, el procesador de gráficos se comunica mediante una interfaz de E/S de memoria mapeada a registros en el procesador de gráficos y con comandos colocados en la memoria de procesador. En algunas realizaciones, el procesador de gráficos 1600 incluye una interfaz de memoria 1614 para acceder a memoria. La interfaz de memoria 1614 puede ser una interfaz a memoria local, a una o más cachés internas, a una o más cachés externas compartidas y/o a memoria de sistema.

En algunas realizaciones, el procesador de gráficos 1600 también incluye un controlador de visualización 1602 para controlar unos datos de salida de visualización a un dispositivo de visualización 1618. El controlador de visualización 1602 incluye hardware para uno o más planos de superposición para la visualización y la composición de múltiples capas de vídeo o elementos de interfaz de usuario. El dispositivo de visualización 1618 puede ser un dispositivo de visualización interno o externo. En una realización, el dispositivo de visualización 1618, es un dispositivo de visualización montado en la cabeza, como un dispositivo de visualización de realidad virtual (RV) o un dispositivo de visualización de realidad aumentada (RA). En algunas realizaciones, el procesador de gráficos 1600 incluye un motor de códec de vídeo 1606 para codificar, decodificar o transcodificar medios a, desde o entre uno o más formatos de codificación de medios, que incluyen, pero sin limitación formatos del Grupo de Expertos de Imágenes en Movimiento (MPEG) tales como m PEg -2, formatos de Codificación de Vídeo Avanzada (AVC) tales como H.264/MPEG-4 AVC, H.265/HEVC, Alianza para los Medios Abiertos (AOMedia) VP8, VP9, así como de la Sociedad de Ingenieros de Imágenes en Movimiento y Televisión (SMPTE) 421M/VC-1 y formatos del Grupo Mixto de Expertos en Fotografía (JPEG), tal como los formatos JPEG y Motion JPEG (MJPEG).

En algunas realizaciones, el procesador de gráficos 1600 incluye un motor de transferencia de imagen de bloque (BLIT) 1604 para realizar operaciones de rasterizador bidimensionales (2D) que incluyen, por ejemplo, transferencias de bloque de límite de bit. Sin embargo, en una realización, las operaciones de gráficos 2D se realizan usando uno o más componentes del motor de procesamiento de gráficos (GPE) 1610. En algunas realizaciones, el GPE 1610 es un motor de cálculo para realizar operaciones de gráficos, que incluyen operaciones de gráficos tridimensionales (3D) y operaciones de medios.

En algunas realizaciones, el GPE 1610 incluye una canalización 16D 1612 para realizar operaciones 16D, tales como representar imágenes y escenas tridimensionales usando funciones de procesamiento que actúan sobre formas de primitivas 16D (por ejemplo, rectángulo, triángulo, etc.). La canalización 16D 1612 incluye elementos de función programable y fija que realizan diversas tareas dentro del elemento y/o generan hilos de ejecución en un subsistema 3D/de medios 1615. Aunque puede usarse la canalización 3D 1612 para realizar operaciones de medios, una realización del GPE 1610 también incluye una canalización de medios 1616 que se usa específicamente para realizar operaciones de medios, tales como post procesamiento de vídeo y mejora de imagen.

En algunas realizaciones, la canalización de medios 1616 incluye unidades de lógica de función fija o programable para realizar una o más operaciones de medios especializadas, tales como aceleración de decodificación de vídeo, desentrelazado de vídeo y aceleración de codificación de vídeo en lugar de, o en nombre del motor de códec de vídeo 1606. En algunas realizaciones, la canalización de medios 1616 incluye adicionalmente una unidad de generación de hilos para generar hilos para su ejecución en el subsistema 3D/de medios 1615. Los hilos generados realizan cálculos para las operaciones de medios en una o más unidades de ejecución de gráficos incluidas en el subsistema 3D/de medios 1615.

En algunas realizaciones, el subsistema 3D/de medios 1615 incluye una lógica para ejecutar hilos generados por la canalización 3D 1612 y la canalización de medios 1616. En una realización, las canalizaciones envían solicitudes de ejecución de hilos al subsistema 3D/de medios 1615, que incluye una lógica de despacho de hilos para arbitrar y despachar las diversas solicitudes a recursos de ejecución de hilos disponibles. Los recursos de ejecución incluyen una matriz de unidades de ejecución de gráficos para procesar los hilos 3D y de medios. En algunas realizaciones, el subsistema 3D/de medios 1615 incluye una o más cachés internas para datos e instrucciones de hilo. En algunas realizaciones, el subsistema también incluye memoria compartida, que incluye registros y memoria direccionable, para compartir datos entre hilos y para almacenar datos de salida.

LaFigura 16Bilustra un procesador de gráficos 1620 que tiene una arquitectura de mosaico, de acuerdo con las realizaciones descritas en el presente documento. En una realización, el procesador de gráficos 1620 incluye una agrupación de motores de procesamiento de gráficos 1622 que tiene múltiples instancias del motor de procesamiento de gráficos 1610 de la Figura 16A dentro de un mosaico de motor de gráficos 1610A-1610D. Cada mosaico del motor de gráficos 1610A-1610D se puede interconectar mediante un conjunto de interconexiones de mosaicos 1623A-1623F. Cada mosaico de motor de gráficos 1610A-1610D también se puede conectar a un módulo de memoria o dispositivo de memoria 1626A-1626D a través de interconexiones de memoria 1625A-1625D. Los dispositivos de memoria 1626A-1626D pueden usar cualquier tecnología de memoria de gráficos. Por ejemplo, los dispositivos de memoria 1626A-1626D pueden ser memorias de doble tasa de datos de gráficos (GDDR). Los dispositivos de memoria 1626A-1626D, en una realización, son módulos de memoria de alto ancho de banda (HBM) que pueden estar en el chip con su respectivo mosaico de motor de gráficos 1610A-1610D. En una realización, los dispositivos de memoria 1626A-1626D son dispositivos de memoria apilados que se pueden apilar en la parte superior de su respectivo mosaico de motor de gráficos 1610A-1610D. En una realización, cada mosaico de motor de gráficos 1610A-1610D y la memoria asociada 1626A-1626D residen en chiplet separados, que están unidos a un chip de base o sustrato base, como se describe con mayor detalle en las Figuras 24B-24D.

La agrupación de motores de procesamiento de gráficos 1622 se puede conectar con una interconexión de tejido en chip o en paquete 1624. La interconexión de tejido 1624 puede permitir la comunicación entre mosaicos de motor de gráficos 1610A-1610D y componentes tales como el códec de vídeo 1606 y uno o más motores de copia 1604. Los motores de copia 1604 se pueden usar para mover datos desde, hacia y entre los dispositivos de memoria 1626A-1626D y la memoria que es externa al procesador de gráficos 1620 (por ejemplo, la memoria de sistema). La interconexión de tejido 1624 también se puede usar para interconectar los mosaicos de motor de gráficos 1610A-1610D. El procesador de gráficos 1620 puede incluir opcionalmente un controlador de visualización 1602 para permitir una conexión con un dispositivo de visualización externo 1618 del dispositivo de visualización externo 1618. El procesador de gráficos también se puede configurar como un acelerador de gráficos o de cálculos. En la configuración de acelerador, se pueden omitir el controlador de visualización 1602 y el dispositivo de visualización 1618.

El procesador de gráficos 1620 puede conectarse a un sistema de anfitrión a través de una interfaz de anfitrión 1628. La interfaz de anfitrión 1628 puede posibilitar la comunicación entre el procesador de gráficos 1620, la memoria de sistema y/u otros componentes de sistema. La interfaz principal 1628 puede ser, por ejemplo, un bus PCI express u otro tipo de interfaz de sistema de anfitrión.

LaFigura 16Cilustra un acelerador de cálculos 1630, de acuerdo con las realizaciones descritas en el presente documento. El acelerador de cálculos 1630 puede incluir similitudes arquitectónicas con el procesador de gráficos 1620 de la Figura 16B y está optimizado para la aceleración los cálculos. Una agrupación de motores de cálculo 1632 puede incluir un conjunto de mosaicos de motor de cálculo 1640A-1640D que incluyen lógica de ejecución que está optimizada para operaciones de cálculo de propósito general paralelas o basadas en vectores. En algunas realizaciones, los mosaicos de motor de cálculo 1640A-1640D no incluyen lógica de procesamiento de gráficos de función fija, aunque, en una realización, uno o más de los mosaicos del motor de cálculo 1640A-1640D pueden incluir lógica para realizar aceleración de medios. Los mosaicos de motor de cálculo 1640A-1640D se pueden conectar a la memoria 1626A-1626D a través de las interconexiones de memoria 1625A-1625D. La memoria 1626A-1626D y las interconexiones de memoria 1625A-1625D pueden ser de tecnología similar que la del procesador de gráficos 1620, o pueden ser diferentes. Los mosaicos de motor de cálculo de gráficos 1640A-1640D también pueden interconectarse a través de un conjunto de interconexiones de mosaicos 1623A-1623F y pueden conectarse con y/o interconectarse mediante una interconexión de tejido 1624. En una realización, el acelerador de cálculo 1630 incluye una memoria caché L3 grande 1636 que se puede configurar como una caché para todo el dispositivo. El acelerador de cálculos 1630 también puede conectarse a un procesador de anfitrión y a una memoria a través de una interfaz de anfitrión 1628 de manera similar al procesador de gráficos 1620 de la Figura 16B.

Motor de procesamiento de gráficos

LaFigura 17es un diagrama de bloques de un motor de procesamiento de gráficos 1710 de un procesador de gráficos de acuerdo con algunas realizaciones. En una realización, el motor de procesamiento de gráficos (GPE) 1710 es una versión del GPE 1510 mostrado en laFigura 15A,y también puede representar un mosaico de motor de gráficos 1510A-1510D de la Figura 15B. Los elementos de laFigura 17que tienen los mismos números (o nombres) de referencia que los elementos de cualquier otra figura en el presente documento pueden operar o funcionar de cualquier manera similar a la descrita en cualquier otra parte en el presente documento, pero sin limitación a esto. Por ejemplo, se ilustra la canalización 3D 1612 y la canalización de medios 1616 de laFigura 15A. La canalización de medios 1616 es opcional en algunas realizaciones del GPE 1710 y puede no estar explícitamente incluida dentro del GPE 1710. Por ejemplo y, en al menos una realización, un procesador de medios y/o de imágenes separado está acoplado al GPE 1710.

En algunas realizaciones, el GPE 1710 se acopla con o incluye un emisor por flujo continuo de comandos 1703, que proporciona un flujo de comandos a la canalización de 3D 1612 y/o a las canalizaciones de medios 1616. En algunas realizaciones, el emisor por flujo continuo de comandos 1703 está acoplado con memoria, que puede ser memoria de sistema, o una o más de memoria de caché interna y memoria de caché compartida. En algunas realizaciones, el emisor por flujo continuo de comandos 1703 recibe comandos desde la memoria y envía los comandos a la canalización 3D 1612 y/o a la canalización de medios 1616. Las órdenes son directivas extraídas de una memoria intermedia en anillo, que almacena órdenes para la canalización de 3D 1612 y la canalización de medios 1616. En una realización, la memoria intermedia en anillo puede incluir adicionalmente memorias intermedias de comandos en lotes que almacenan lotes de múltiples comandos. Los comandos para la canalización de 3D 1612 pueden incluir también referencias a datos almacenados en memoria, tales como, pero sin limitación, datos de vértices y geometría para la canalización de 3D 1612 y/o datos de imagen y objetos de memoria para la canalización de medios 316. La canalización de 3D 1612 y la canalización de medios 1616 procesan los comandos y los datos realizando operaciones mediante la lógica dentro de las respectivas canalizaciones o despachando uno o más hilos de ejecución a una matriz de núcleo de gráficos 1714. En una realización, la matriz de núcleo de gráficos 1714 incluye uno o más bloques de núcleos de gráficos (por ejemplo, núcleo o núcleos de gráficos 1715A, núcleo o núcleos de gráficos 1715B), incluyendo cada bloque uno o más núcleos de gráficos. Cada núcleo de gráficos incluye un conjunto de recursos de ejecución de gráficos que incluyen lógica de ejecución de propósito general y específica de gráficos para realizar operaciones de gráficos y de cálculo, así como procesamiento de texturas de función fija y/o aprendizaje automático y lógica de aceleración de inteligencia artificial.

En diversas realizaciones, la canalización de 3D 1612 puede incluir una función fija y lógica programable para procesar uno o más programas sombreadores, tales como programas sombreadores de vértices, programas sombreadores de geometría, programas sombreadores de píxeles, programas sombreadores de fragmentos, programas sombreadores de cálculo u otros programas sombreadores, procesando las instrucciones y despachando hilos de ejecución a la matriz de núcleo de gráficos 1714. La matriz de núcleo de gráficos 1714 proporciona un bloque unificado de recursos de ejecución para su uso en el procesamiento de estos programas sombreadores. La lógica de ejecución de múltiples propósitos (por ejemplo, las unidades de ejecución) dentro del núcleo o núcleos de gráficos 1715A-1714B de la matriz de núcleo de gráficos 1714 incluye el soporte para diversos lenguajes sombreadores de API 3D y puede ejecutar múltiples hilos de ejecución simultáneos asociados con múltiples sombreadores.

En algunas realizaciones, la matriz de núcleo de gráficos 1714 incluye lógica de ejecución para realizar funciones de medios, tales como procesamiento de vídeo y/o de imagen. En una realización, las unidades de ejecución incluyen lógica de propósito general que es programable para realizar operaciones de cálculo de propósito general paralelas, además de operaciones de procesamiento de gráficos. La lógica de propósito general puede realizar operaciones de procesamiento en paralelo o en conjunto con la lógica de procesamiento general dentro del núcleo o núcleos de procesador 1407 de la Figura 14 o el núcleo 1502A-1502N como en la Figura 15A.

Los datos de salida generados por hilos que se ejecutan en la matriz de núcleo de gráficos 1714 pueden emitir datos a memoria en una memoria intermedia de retorno unificada (URB) 1718. La URB 1718 puede almacenar datos para múltiples hilos. En algunas realizaciones, la URB 1718 puede usarse para enviar datos entre diferentes hilos que se ejecutan en la matriz de núcleo de gráficos 1714. En algunas realizaciones, la URB 1718 puede usarse adicionalmente para la sincronización entre hilos en la matriz de núcleo de gráficos y la lógica de función fija dentro de la lógica de función compartida 1720.

En algunas realizaciones, la matriz de núcleo de gráficos 1714 es escalable, de manera que la matriz incluye un número variable de núcleos de gráficos, teniendo cada uno un número variable de unidades de ejecución basándose en la potencia objetivo y el nivel de rendimiento del GPE 1710. En una realización, los recursos de ejecución son dinámicamente escalables, de manera que pueden activarse o desactivarse los recursos de ejecución según sean necesarios.

La matriz de núcleo de gráficos 1714 se acopla con la lógica de función compartida 1720 que incluye múltiples recursos que se comparten entre los núcleos de gráficos en la matriz de núcleo de gráficos. Las funciones compartidas dentro de la lógica de función compartida 1720 son unidades de lógica de hardware que proporcionan funcionalidad complementaria especializada a la matriz de núcleo de gráficos 1714. En diversas realizaciones, lógica de función compartida 1720 incluye, pero sin limitación, el muestreador 1721, el cálculo matemático 1722 y la lógica de comunicación inter-hilo (ITC) 1723. Adicionalmente, algunas realizaciones implementan una o más caché o cachés 1725 dentro de la lógica de función compartida 1720.

Se implementa una función compartida donde la demanda para una función especializada dada es insuficiente para la inclusión dentro de la matriz de núcleo de gráficos 1714. En su lugar, se implementa una única instanciación de esa función especializada como una entidad autónoma en la lógica de función compartida 1720 y se comparte entre los recursos de ejecución dentro de la matriz de núcleo de gráficos 1714. El conjunto preciso de funciones que se comparten entre la matriz de núcleo de gráficos 1714 y están incluidas dentro de la matriz de núcleo de gráficos 1714 varía a través de las realizaciones. En algunas realizaciones, funciones compartidas específicas dentro de la lógica de función compartida 1720 que se usan ampliamente por la matriz de núcleo de gráficos 1714 pueden incluirse dentro de la lógica de función compartida 1716 dentro de la matriz de núcleo de gráficos 1714. En diversas realizaciones, la lógica de función compartida 1716 dentro de la matriz de núcleo de gráficos 1714 puede incluir alguna o toda la lógica dentro de la lógica de función compartida 1720. En una realización, todos los elementos lógicos dentro de la lógica de función compartida 1720 pueden duplicarse dentro de la lógica de función compartida 1716 de la matriz de núcleo de gráficos 1714. En una realización, la lógica de función compartida 1720 se excluye en favor de la lógica de función compartida 1716 dentro de la matriz de núcleo de gráficos 1714.

Unidades de ejecución

LasFiguras 18A-18Bilustran la lógica de ejecución de hilos 1800 que incluye una matriz de elementos de procesamiento empleados en un núcleo de procesador de gráficos de acuerdo con realizaciones descritas en el presente documento. Los elementos de las Figuras 18A-18B que tienen los mismos números (o nombres) de referencia que los elementos de cualquier otra figura en el presente documento pueden operar o funcionar de cualquier manera similar a la descrita en cualquier otra parte en el presente documento, pero sin limitación a esto. Las Figuras 18A-18B ilustran una descripción general de la lógica de ejecución de hilos 1800, que puede ser representativa de la lógica de hardware ilustrada con cada subnúcleo 221A-221F de la Figura 2B. La Figura 18A es representativa de una unidad de ejecución dentro de un procesador de gráficos de propósito general, mientras que la Figura 18B es representativa de una unidad de ejecución que puede usarse dentro de un acelerador de cálculos.

Como se ilustra en la Figura 18A, en algunas realizaciones, la lógica de ejecución de hilos 1800 incluye un procesador sombreador 1802, un despachador de hilos 1804, una caché de instrucciones 1806, una matriz de unidad de ejecución escalable que incluye una pluralidad de unidades de ejecución 1808A-1808N, un muestreador 1810, memoria local compartida 1811, una caché de datos 1812 y un puerto de datos 1814. En una realización, la unidad de ejecución escalable puede escalar dinámicamente activando o desactivando una o más unidades de ejecución (por ejemplo, cualquiera de las unidades de ejecución 1808A, 1808B, 1808C, 1808D, a 1808N-1 y 1808n ) basándose en los requisitos de cálculo de una carga de trabajo. En una realización, los componentes incluidos están interconectados mediante un tejido de interconexión que se enlaza a cada uno de los componentes. En algunas realizaciones, la lógica de ejecución de hilos 1800 incluye una o más conexiones a memoria, tal como la memoria de sistema o memoria caché, a través de una o más de la caché de instrucciones 1806, el puerto de datos 1814, el muestreador 1810 y las unidades de ejecución 1808A-1808N. En algunas realizaciones, cada unidad de ejecución (por ejemplo, 1808A) es una unidad computacional de propósito general programable autónoma que puede ejecutar múltiples hilos de hardware simultáneos mientras se procesan múltiples elementos de datos en paralelo para cada hilo. En diversas realizaciones, la matriz de unidades de ejecución 1808A-1808N es escalable para incluir cualquier número de unidades de ejecución individuales.

En algunas realizaciones, las unidades de ejecución 1808A-1808N se usan principalmente para ejecutar programas sombreadores. Un procesador sombreador 1802 puede procesar los diversos programas sombreadores y despachar los hilos de ejecución asociados con los programas sombreadores mediante un despachador de hilos 1804. En una realización, el despachador de hilos incluye lógica para arbitrar las solicitudes de iniciación de hilo desde las canalizaciones de gráficos y de medios e instanciar los hilos solicitados en una o más unidades de ejecución en las unidades de ejecución 1808A-1808N. Por ejemplo, la canalización de geometría puede despachar sombreadores de vértices, de teselación o de geometría a la lógica de ejecución de hilos para su procesamiento. En algunas realizaciones, el despachador de hilos 1804 puede procesar también hilos en tiempo de ejecución que generan solicitudes desde los programas sombreadores de ejecución.

En algunas realizaciones, las unidades de ejecución 1808A-1808N soportan un conjunto de instrucciones que incluye el soporte nativo para muchas instrucciones del sombreador de gráficos de 3D convencional, de manera que se ejecutan los programas sombreadores de las bibliotecas de gráficos (por ejemplo, Direct 3D y OpenGL) con una traducción mínima. Las unidades de ejecución soportan procesamiento de vértices y de geometría (por ejemplo, programas de vértices, programas de geometría, sombreadores de vértices), procesamiento de píxeles (por ejemplo, sombreadores de píxeles, sombreadores de fragmentos) y procesamiento de propósito general (por ejemplo, sombreadores de cálculo y de medios). Cada una de las unidades de ejecución 1808A-1808N puede emitir de manera múltiple la ejecución de única instrucción de múltiples datos (SIMD) y la operación de múltiples hilos posibilita un entorno de ejecución eficiente frente a los accesos a memoria de latencia más alta. Cada hilo de hardware dentro de cada unidad de ejecución tiene un archivo de registro de ancho de banda alto especializado y un estado de hilo independiente asociado. La ejecución es de múltiples emisiones por reloj a canalizaciones que pueden realizar operaciones de números enteros, de coma flotante de precisión sencilla y doble, de capacidad de ramificación de SIMD, operaciones lógicas, operaciones trascendentales y otras operaciones misceláneas. Mientras se esperan los datos de la memoria o una de las funciones compartidas, la lógica de dependencia dentro de las unidades de ejecución 1808A-1808N hace que un hilo en espera pase a inactividad hasta que se devuelvan los datos solicitados. Mientras el hilo en espera estaba en inactividad, los recursos de hardware pueden dedicarse a procesar otros hilos. Por ejemplo, durante un retardo asociado con una operación de sombreador de vértices, una unidad de ejecución puede realizar operaciones para un programa sombreador de píxeles, programa sombreador de fragmentos u otro tipo de programa sombreador, que incluye un programa sombreador de vértices diferente. Se pueden aplicar diversas realizaciones para usar la ejecución mediante el uso de múltiples hilos y única instrucción (SIMT) como alternativa al uso de SIMD o además del uso de SIMD. La referencia a un núcleo u operación de SIMD puede aplicarse también a SIMT o aplicarse a SIMD en combinación con SIMT.

Cada unidad de ejecución en las unidades de ejecución 1808A-1808N opera en matrices de elementos de datos. El número de elementos de datos es el "tamaño de ejecución", o el número de canales para la instrucción. Un canal de ejecución es una unidad lógica de ejecución para el acceso, enmascaramiento y control de flujo de elementos de datos dentro de las instrucciones. El número de canales puede ser independiente del número de Unidades Aritmético-Lógicas (ALU) o Unidades de Coma Flotante (FPU) físicas para un procesador de gráficos particular. En algunas realizaciones, las unidades de ejecución 1808A-1808N soportan tipos de datos de números enteros y de coma flotante.

El conjunto de instrucciones de la unidad de ejecución incluye instrucciones de SIMD. Los diversos elementos de datos pueden almacenarse como un tipo de datos empaquetado en un registro y la unidad de ejecución procesará los diversos elementos basándose en el tamaño de datos de los elementos. Por ejemplo, cuando se opera sobre un vector de 256 bits de ancho, los 256 bits del vector se almacenan en un registro y la unidad de ejecución opera sobre el vector como cuatro elementos de datos empaquetados de 184 bits separados (elementos de datos de tamaño de palabra cuádruple (QW)), ocho elementos de datos empaquetados de 32 bits separados (elementos de datos de tamaño de palabra doble (DW)), dieciséis elementos de datos empaquetados de 16 bits separados (elementos de datos de tamaño de palabra (W)) o treinta y dos elementos de datos de 8 bits separados (elementos de datos de tamaño de byte (B)). Sin embargo, son posibles diferentes anchuras de vector y tamaños de registro.

En una realización, una o más unidades de ejecución se pueden combinar en una unidad de ejecución fusionada 1809A-1809N que tiene una lógica de control de hilos (1807A-1807N) que es común a los EU fusionados. Se pueden fusionar múltiples EU en un grupo de EU. Cada EU del grupo de EU fusionado se puede configurar para ejecutar un hilo de hardware de SIMD separado. El número de EU en un grupo de EU fusionado puede variar de acuerdo con las realizaciones. Además, se pueden realizar diversas anchuras de SIMD por EU, que incluyen, pero sin limitación, SIMD8, SIMD16 y SIMD32. Cada unidad de ejecución de gráficos fusionada 1809A-1809N incluye al menos dos unidades de ejecución. Por ejemplo, la unidad de ejecución fusionada 1809A incluye una primera EU 1808A, una segunda EU 1808B y una lógica de control de hilos 1807A que es común a la primera EU 1808A y a la segunda EU 1808B. La lógica de control de hilos 1807A controla los hilos ejecutados en la unidad de ejecución de gráficos fusionada 1809A, permitiendo que cada EU dentro de las unidades de ejecución fusionadas 1809A-1809N se ejecute usando un registro de puntero de instrucción común.

Una o más cachés de instrucción internas (por ejemplo, 1806) están incluidas en la lógica de ejecución de hilos 1800 a las instrucciones de hilos de caché para las unidades de ejecución. En algunas realizaciones, una o más cachés de datos (por ejemplo, 1812) están incluidas en datos de hilo de caché durante la ejecución de hilo. Los hilos que se ejecutan en la lógica de ejecución 1800 también pueden almacenar datos gestionados explícitamente en la memoria local compartida 1811. En algunas realizaciones, se incluye un muestreador 1810 para proporcionar un muestreo de textura para operaciones 3D y muestreo de medios para operaciones de medios. En algunas realizaciones, el muestreador 1810 incluye funcionalidad de textura especializada o muestreo de medios para procesar los datos de textura o de medios durante el proceso de muestreo antes de proporcionar los datos muestreados a una unidad de ejecución.

Durante la ejecución, las canalizaciones de gráficos y de medios envían solicitudes de iniciación de hilo a la lógica de ejecución de hilo 1800 mediante lógica de generación y despacho de hilos. Una vez que se ha procesado y rasterizado un grupo de objetos geométricos en datos de píxeles, se invoca la lógica de procesador de píxel (por ejemplo, lógica de sombreador de píxeles, lógica de sombreador de fragmentos, etc.) dentro del procesador de sombreador 1802 para calcular adicionalmente información de salida y hace que se escriban los resultados para emitir superficies (por ejemplo, memorias intermedias de color, memorias intermedias de profundidad, memorias intermedias de estarcido, etc.). En algunas realizaciones, un sombreador de píxeles o sombreador de fragmentos calcula los valores de los diversos atributos de vértice que han de interpolarse a través del objeto rasterizado. En algunas realizaciones, la lógica de procesador de píxeles dentro del procesador de sombreador 1802 ejecuta a continuación un píxel suministrado por la interfaz de programación de aplicación (API) o programa sombreador de fragmentos. Para ejecutar el programa sombreador, el procesador de sombreador 1802 despacha hilos a una unidad de ejecución (por ejemplo, 1808A) mediante el despachador de hilos 1804. En algunas realizaciones, el procesador de sombreador 1802 usa la lógica de muestreo de textura en el muestreador 1810 para acceder a datos de textura en mapas de textura almacenados en memoria. Las operaciones aritméticas en los datos de textura y los datos de geometría de entrada calculan datos de color de píxel para cada fragmento geométrico, o descartan uno o más píxeles de su procesamiento adicional.

En algunas realizaciones, el puerto de datos 1814 proporciona un mecanismo de acceso a memoria para que la lógica de ejecución de hilos 1800 emita datos procesados a memoria para su procesamiento adicional en una canalización de salida de procesador de gráficos. En algunas realizaciones, el puerto de datos 1814 incluye o se acopla a una o más memorias de caché (por ejemplo, la caché de datos 1812) para almacenar en caché datos para el acceso a memoria mediante el puerto de datos.

En una realización, la lógica de ejecución 1800 también puede incluir un trazador de rayos 1805 que puede proporcionar funcionalidad de aceleración de trazado de rayos. El trazador de rayos 1805 puede soportar un conjunto de instrucciones de trazado de rayos que incluye instrucciones/funciones para la generación de rayos. El conjunto de instrucciones de trazado de rayos puede ser similar o diferente del conjunto de instrucciones de trazado de rayos soportado por los núcleos de trazado de rayos 245 en la Figura 2C.

La Figura 18B ilustra detalles internos ilustrativos de una unidad de ejecución 1808, de acuerdo con las realizaciones. Una unidad de ejecución de gráficos 1808 puede incluir una unidad de extracción de instrucciones 1837, una matriz de archivo de registro general (GRF) 1824, una matriz de archivo de registro arquitectónico (ARF) 1826, un árbitro de hilos 1822, una unidad de envío 1830, una unidad de bifurcación 1832, un conjunto de unidades de coma flotante (FPU) de SIMD 1834 y, en una realización, un conjunto de ALU de SIMD de números enteros especializadas 1835. El GRF 1824 y el ARF 1826 incluyen el conjunto de archivos de registro generales y archivos de registro de arquitectura asociados con cada hilo de hardware simultáneo que puede estar activo en la unidad de ejecución de gráficos 1808. En una realización, el estado arquitectónico por hilo se mantiene en el ARF 1826, mientras que los datos utilizados durante la ejecución del hilo se almacenan en el GRF 1824. El estado de ejecución de cada hilo, incluyendo los punteros de instrucción para cada hilo, se puede mantener en registros específicos de hilo en el ARF 1826.

En una realización, la unidad de ejecución de gráficos 1808 tiene una arquitectura que es una combinación de múltiples hilos simultáneos (SMT) y múltiples hilos entrelazados de precisión (IMT). La arquitectura tiene una configuración modular que se puede ajustar con precisión en el momento de diseño basándose en un número objetivo de hilos simultáneos y un número de registros por unidad de ejecución, donde los recursos de la unidad de ejecución se dividen a través de la lógica usada para ejecutar múltiples hilos simultáneos. El número de hilos lógicos que puede ejecutar la unidad de ejecución de gráficos 1808 no está limitado al número de hilos de hardware, y se pueden asignar múltiples hilos lógicos a cada hilo de hardware.

En una realización, la unidad de ejecución de gráficos 1808 puede emitir conjuntamente múltiples instrucciones, cada una de las cuales puede ser instrucciones diferentes. El árbitro de hilos 1822 del hilo de la unidad de ejecución de gráficos 1808 puede despachar las instrucciones a una de la unidad de envío 1830, la unidad de bifurcación 1832 o la o las FPU de SIMD 1834 para su ejecución. Cada hilo de ejecución puede acceder a 128 registros de propósito general dentro del GRF 1824, donde cada registro puede almacenar 32 bytes, accesibles como un vector de SIMD de 8 elementos de datos de 32 bits. En una realización, cada hilo de unidad de ejecución tiene acceso a 4 Kbytes dentro del GRF 1824, aunque las realizaciones no están así limitadas y, en otras realizaciones, se pueden proporcionar más o menos recursos de registro. En una realización, la unidad de ejecución de gráficos 1808 está subdividida en siete hilos de hardware que pueden realizar operaciones computacionales de forma independiente, aunque el número de hilos por unidad de ejecución también puede variar de acuerdo con las realizaciones. Por ejemplo, en una realización se soportan hasta 16 hilos de hardware. En una realización en la que siete hilos pueden acceder a 4 Kbytes, el GRF 1824 puede almacenar un total de 28 Kbytes. Cuando 16 hilos pueden acceder a 4 Kbytes, el GRF 1824 puede almacenar un total de 64 Kbytes. Los modos de direccionamiento flexibles pueden permitir que los registros se direccionen juntos para crear registros más amplios de manera efectiva o representar estructuras de datos de bloques rectangulares escalonados.

En una realización, las operaciones de memoria, operaciones de muestreo y otras comunicaciones del sistema de latencia más larga se despachan a través de instrucciones de "envío" que se ejecutan mediante la unidad de envío de paso de mensajes 1830. En una realización, las instrucciones de bifurcación se despachan a una unidad de bifurcación especializada 1832 para facilitar la divergencia de SIMD y la eventual convergencia.

En una realización, la unidad de ejecución de gráficos 1808 incluye una o más unidades de SIMD de coma flotante (la o las FPU) 1834 para realizar operaciones de coma flotante. En una realización, la o las FPU 1834 también soportan el cálculo de números enteros. En una realización, la o las FPU 1834 pueden ejecutar SIMD hasta un número M de operaciones de coma flotante (o de números enteros) de 32 bits, o ejecutar SIMD hasta 2M operaciones de coma flotante de 16 bits o de números enteros de16 bits. En una realización, al menos una de la o las FPU proporciona capacidad matemática extendida para soportar funciones matemáticas trascendentales de alto rendimiento y coma flotante de 184 bits de doble precisión. En algunas realizaciones, también está presente un conjunto de ALU de SIMD 1835 de números enteros de 8 bits, y puede optimizarse específicamente para realizar operaciones asociadas con cálculos de aprendizaje automático.

En una realización, se pueden crear instancias de matrices de múltiples instancias de la unidad de ejecución de gráficos 1808 en una agrupación de subnúcleos de gráficos (por ejemplo, un subsegmento). Para lograr escalabilidad, los arquitectos de producto pueden elegir el número exacto de unidades de ejecución por agrupamiento de subnúcleos. En una realización, la unidad de ejecución 1808 puede ejecutar instrucciones a través de una pluralidad de canales de ejecución. En una realización adicional, cada hilo ejecutado en la unidad de ejecución de gráficos 1808 se ejecuta en un canal diferente.

LaFigura 19ilustra una unidad de ejecución adicional 1900, de acuerdo con una realización. La unidad de ejecución 1900 puede ser una unidad de ejecución optimizada para cálculo para su uso en, por ejemplo, un mosaico de motor de cálculo 1540A-1540D como en la Figura 15C, pero no está limitada como tal. También se pueden usar variantes de la unidad de ejecución 1900 en un mosaico de motor de gráfico 1510A-1510D como en la Figura 15B. En una realización, la unidad de ejecución 1900 incluye una unidad de control de hilos 1901, una unidad de estado de hilos 1902, una unidad de extracción/extracción previa de instrucciones 1903 y una unidad de decodificación de instrucciones 1904. La unidad de ejecución 1900 incluye adicionalmente un archivo de registro 1906 que almacena registros que pueden asignarse a hilos de hardware dentro de la unidad de ejecución. La unidad de ejecución 1900 incluye adicionalmente una unidad de envío 1907 y una unidad de bifurcación 1908. En una realización, la unidad de envío 1907 y la unidad de bifurcación 1908 pueden operar de manera similar a la unidad de envío 1830 y una unidad de bifurcación 1832 de la unidad de ejecución de gráficos 1808 de la Figura 18B.

La unidad de ejecución 1900 también incluye una unidad de cálculo 1910 que incluye múltiples tipos diferentes de unidades funcionales. En una realización, la unidad de cálculo 1910 incluye una unidad de ALU 1911 que incluye una matriz de unidades aritmético-lógicas. La unidad de ALU 1911 se puede configurar para realizar operaciones de coma flotante y de números enteros de 64 bits, 32 bits y 16 bits. Las operaciones de números enteros y de coma flotante se pueden realizar simultáneamente. La unidad de cálculo 1910 puede incluir también una matriz sistólica 1912 y una unidad matemática 1913. La matriz sistólica 1912 incluye una red de unidades de procesamiento de datos de ancho W y profundidad D que se pueden usar para realizar operaciones vectoriales u otras operaciones paralelas de datos de manera sistólica. En una realización, la matriz sistólica 1912 se puede configurar para realizar operaciones matriciales, tales como operaciones matriciales de productos escalares. En una realización, la matriz sistólica 1912 soporta operaciones de coma flotante de 16 bits, así como operaciones de números enteros de 8 y 4 bits. En una realización, la matriz sistólica 1912 se puede configurar para acelerar las operaciones de aprendizaje automático. En tales realizaciones, la matriz sistólica 1912 se puede configurar con soporte para el formato de coma flotante bfloat de 16 bits. En una realización, se puede incluir una unidad matemática 1913 para realizar un subconjunto específico de operaciones matemáticas de una manera eficiente y con menor consumo de energía que la unidad de ALU 1911. La unidad matemática 1913 puede incluir una variante de lógica matemática que se puede encontrar en la lógica de función compartida de un motor de procesamiento de gráficos proporcionado por otras realizaciones (por ejemplo, la lógica matemática 1722 de la lógica de función compartida 1720 de la Figura 17). En una realización, la unidad matemática 1913 se puede configurar para realizar operaciones de coma flotante de 32 y 64 bits.

La unidad de control de hilos 1901 incluye lógica para controlar la ejecución de hilos dentro de la unidad de ejecución. La unidad de control de hilos 1901 puede incluir lógica de arbitraje de hilos para iniciar, detener y dar prioridad a la ejecución de hilos dentro de la unidad de ejecución 1900. La unidad de estado de hilo 1902 se puede usar para almacenar el estado de hilo para hilos asignados para ejecutarse en la unidad de ejecución 1900. Almacenar el estado del hilo dentro de la unidad de ejecución 1900 permite dar prioridad de manera rápida a los hilos cuando esos hilos quedan bloqueados o inactivos. La unidad de extracción/extracción previa de instrucciones 1903 puede extraer instrucciones de una caché de instrucciones de lógica de ejecución de nivel superior (por ejemplo, la caché de instrucciones 1806 como en la Figura 18A). La unidad de extracción/extracción previa de instrucciones 1903 también puede emitir solicitudes de extracción previa para que las instrucciones se carguen en la caché de instrucciones basándose en un análisis de los hilos que se están ejecutando actualmente. La unidad de decodificación de instrucciones 1904 se puede usar para decodificar instrucciones que van a ejecutarse por las unidades de cálculo. En una realización, la unidad de decodificación de instrucciones 1904 se puede usar como un decodificador secundario para decodificar instrucciones complejas en microoperaciones constituyentes.

La unidad de ejecución 1900 incluye adicionalmente un archivo de registro 1906 que puede usarse por hilos de hardware que se ejecutan en la unidad de ejecución 1900. Los registros en el archivo de registro 1906 se pueden dividir a través de la lógica usada para ejecutar múltiples hilos simultáneos dentro de la unidad de cálculo 1910 de la unidad de ejecución 1900. El número de hilos lógicos que puede ejecutar la unidad de ejecución de gráficos 1900 no está limitado al número de hilos de hardware, y se pueden asignar múltiples hilos lógicos a cada hilo de hardware. El tamaño del archivo de registro 1906 puede variar entre realizaciones basándose en el número de hilos de hardware soportados. En una realización, se puede usar el cambio de nombre de registros para asignar dinámicamente registros a hilos de hardware.

LaFigura 20es un diagrama de bloques que ilustra unos formatos de instrucción de procesador de gráficos 2000 de acuerdo con algunas realizaciones. En una o más realizaciones, las unidades de ejecución de procesador de gráficos soportan un conjunto de instrucciones que tiene instrucciones en múltiples formatos. Los recuadros con línea continua ilustran los componentes que se incluyen en general en una instrucción de unidad de ejecución, mientras que las líneas discontinuas incluyen componentes que son opcionales o que únicamente están incluidos en un subconjunto de las instrucciones. En algunas realizaciones, el formato de instrucción 2000 descrito e ilustrado son macroinstrucciones, en el sentido de que las mismas son instrucciones suministradas a la unidad de ejecución, en contraposición a microoperaciones resultantes de la decodificación de instrucciones una vez que se ha procesado la instrucción.

En algunas realizaciones, las unidades de ejecución de procesador de gráficos soportan de manera nativa las instrucciones en un formato de instrucción de 128 bits 2010. Un formato de instrucción de 64 bits compacto 2030 está disponible para algunas instrucciones basándose en la instrucción seleccionada, las opciones de instrucción y el número de operandos. El formato de instrucción de 128 bits nativo 2010 proporciona acceso a todas las opciones de instrucción, mientras que algunas opciones y operaciones están restringidas en el formato de 64 bits 2030. Las instrucciones nativas disponibles en el formato de 64 bits 2030 varían por realización. En algunas realizaciones, la instrucción se compacta en parte usando un conjunto de valores de índice en un campo de índice 2013. El hardware de la unidad de ejecución hace referencia a un conjunto de tablas de compactación basándose en los valores de índice y usa las salidas de tabla de compactación para reconstruir una instrucción nativa en el formato de instrucción de 128 bits 2010. Se pueden usar otros tamaños y formatos de instrucción.

Para cada formato, la operación de código de instrucción 2012 define la operación que ha de realizar la unidad de ejecución. Las unidades de ejecución ejecutan cada instrucción en paralelo a través de los múltiples elementos de datos de cada operando. Por ejemplo, en respuesta a una instrucción de adición, la unidad de ejecución realiza una operación de adición simultánea a través de cada canal de color que representa un elemento de textura o elemento de imagen. Por defecto, la unidad de ejecución realiza cada instrucción a través de todos los canales de datos de los operandos. En algunas realizaciones, el campo de control de instrucción 2014 posibilita el control sobre ciertas opciones de ejecución, tales como la selección de canales (por ejemplo, predicación) y el orden de canal de datos (por ejemplo, mezcla). Para las instrucciones en el formato de instrucción de 128 bits 2010, un campo de tamaño de ejecución 2016 limita el número de canales de datos que se ejecutarán en paralelo. En algunas realizaciones, el campo de tamaño de ejecución 2016 no está disponible para su uso en el formato de instrucción compacto de 64 bits 2030.

Algunas instrucciones de la unidad de ejecución tienen hasta tres operandos, incluyendo dos operandos de origen, src0 2020, src1 2022 y un destino 2018. En algunas realizaciones, las unidades de ejecución soportan instrucciones de destino dual, donde uno de los destinos está implícito. Las instrucciones de manipulación de datos pueden tener un tercer operando de origen (por ejemplo, SRC22024), donde el código de operación de instrucción 2012 determina el número de operandos de origen. Un último operando de origen de la instrucción puede ser un valor inmediato (por ejemplo, precodificado) pasado con la instrucción.

En algunas realizaciones, el formato de instrucción de 128 bits 2010 incluye un campo de modo de acceso/dirección 2026 que especifica, por ejemplo, si se usa el modo de direccionamiento de registro directo o el modo de direccionamiento de registro indirecto. Cuando se usa el modo de direccionamiento de registro directo, la dirección de registro de uno o más operandos se proporciona directamente por los bits en la instrucción.

En algunas realizaciones, el formato de instrucción de 128 bits 2010 incluye un campo de modo de acceso/dirección 2026, que especifica un modo de dirección y/o un modo de acceso para la instrucción. En una realización, se usa el modo de acceso para definir una alineación de acceso de datos para la instrucción. Algunas realizaciones soportan modos de acceso que incluyen un modo de acceso alineado de 16 bytes y un modo de acceso alineado de 1 byte, donde la alineación de bytes del modo de acceso determina la alineación de acceso de los operandos de instrucción. Por ejemplo, cuando está en un primer modo, la instrucción puede usar un direccionamiento alineado en bytes para operandos de origen y destino y, cuando está en un segundo modo, la instrucción puede usar direccionamiento alineado de 16 bytes para todos los operandos de origen y destino.

En una realización, la porción de modo de dirección del campo de modo de acceso/dirección 2026 determina si la instrucción es para usar el direccionamiento directo o indirecto. Cuando se usa el modo de direccionamiento de registro directo, los bits en la instrucción proporcionan directamente la dirección de registro de uno o más operandos. Cuando se usa el modo de direccionamiento de registro indirecto, puede calcularse la dirección de registro de uno o más operandos basándose en un valor de registro de dirección y un campo de dirección inmediata en la instrucción.

En algunas realizaciones, las instrucciones se agrupan basándose en los campos de bits del código de operación 2012 para simplificar la decodificación del código de operación 2040. Para un código de operación de 8 bits, los bits 4, 5 y 6 permiten que la unidad de ejecución determine el tipo de código de operación. El agrupamiento del código de operación preciso mostrado es simplemente un ejemplo. En algunas realizaciones, un grupo de código de operación de movimiento y lógica 2042 incluye instrucciones de movimiento y lógica de datos (por ejemplo, mover (mov), comparar (cmp)). En algunas realizaciones, el grupo de movimiento y lógica 2042 comparte los cinco bits más significativos (MSB), donde las instrucciones mover (mov) están en forma de 0000xxxxb y las instrucciones de lógica están en forma de 0001xxxxb. Un grupo de instrucciones de control de flujo 2044 (por ejemplo, llamada, salto (jmp)) incluye instrucciones en forma de 0010xxxxb (por ejemplo, 0x20). Un grupo de instrucciones misceláneas 2046 incluye una mezcla de instrucciones, que incluye instrucciones de sincronización (por ejemplo, esperar, enviar) en forma de 0011xxxxb (por ejemplo, 0x30). Un grupo de instrucciones de cálculo matemático paralelo 2048 incluye instrucciones aritméticas a nivel de componente (por ejemplo, añadir, multiplicar (mult)) en forma de 0100xxxxb (por ejemplo, 0x40). El grupo de cálculo matemático paralelo 2048 realiza las operaciones aritméticas en paralelo a lo largo de canales de datos. El grupo de cálculo matemático vectorial 2050 incluye instrucciones aritméticas (por ejemplo, dp4) en forma de 0101xxxxb (por ejemplo, 0x50). El grupo de cálculo matemático vectorial realiza la aritmética tal como los cálculos de producto escalar en operandos vectoriales. La decodificación de código de operación 2040 ilustrada, en una realización, se puede usar para determinar qué porción de una unidad de ejecución se usará para ejecutar una instrucción decodificada. Por ejemplo, algunas instrucciones pueden designarse como instrucciones sistólicas que se realizarán por una matriz sistólica. Otras instrucciones, tales como las instrucciones de trazado de rayos (no mostradas), se pueden enrutar a un núcleo de trazado de rayos o a una lógica de trazado de rayos dentro de un segmento o subdivisión de la lógica de ejecución.

Canalización de gráficos

LaFigura 21es un diagrama de bloques de un procesador de gráficos 2100 de acuerdo con otra realización. Los elementos de laFigura 21que tienen los mismos números (o nombres) de referencia que los elementos de cualquier otra figura en el presente documento pueden operar o funcionar de cualquier manera similar a la descrita en cualquier otra parte en el presente documento, pero sin limitación a esto.

En algunas realizaciones, el procesador de gráficos 2100 incluye una canalización de geometría 2120, una canalización de medios 2130, un motor de visualización 2140, una lógica de ejecución de hilos 2150 y una canalización de salida de representación 2170. En algunas realizaciones, el procesador de gráficos 2100 es un procesador de gráficos dentro de un sistema de procesamiento de múltiples núcleos que incluye uno o más núcleos de procesamiento de propósito general. El procesador de gráficos se controla por las escrituras de registro en uno o más registros de control (no mostrados) o mediante comandos emitidos al procesador de gráficos 2100 mediante una interconexión en anillo 2102. En algunas realizaciones, la interconexión en anillo 2102 acopla el procesador de gráficos 2100 a otros componentes de procesamiento, tales como otros procesadores de gráficos o procesadores de propósito general. Los comandos desde la interconexión en anillo 2102 se interpretan por un emisor de envío por flujo continuo de comandos 2103, que suministra instrucciones a componentes individuales de la canalización de geometría 2120 o la canalización de medios 2130.

En algunas realizaciones, el emisor de envío por flujo continuo 2103 dirige la operación de un extractor de vértices 2105 que lee los datos de vértices de memoria y ejecuta comandos de procesamiento de vértices proporcionados por el emisor de envío por flujo continuo 2103. En algunas realizaciones, el extractor de vértices 2105 proporciona datos de vértice a un sombreador de vértices 2107, que realiza operaciones de transformación y de iluminación de espacio de coordenadas en cada vértice. En algunas realizaciones, el extractor de vértices 2105 y el sombreador de vértices 2107 ejecutan instrucciones de procesamiento de vértices despachando hilos de ejecución a las unidades de ejecución 2152A-2152B mediante un despachador de hilos 2131.

En algunas realizaciones, las unidades de ejecución 2152A-2152B son una matriz de procesadores de vectores que tienen un conjunto de instrucciones para realizar operaciones de gráficos y de medios. En algunas realizaciones, las unidades de ejecución 2152A-2152B tienen una caché L1 adjunta 2151 que es específica para cada matriz o está compartida entre las matrices. La caché se puede configurar como una caché de datos, una caché de instrucciones o una única caché que se subdivide para contener datos e instrucciones en diferentes subdivisiones.

En algunas realizaciones, la canalización de geometría 2120 incluye componentes de teselación para realizar teselación acelerada por hardware de objetos 3D. En algunas realizaciones, un sombreador de casco programable 2111 configura las operaciones de teselación. Un sombreador de domino programable 2117 proporciona una evaluación de extremo trasero de la salida de teselación. Un teselador 2113 opera en la dirección del sombreador de casco 2111 y contiene una lógica de propósito especial para generar un conjunto de objetos geométricos detallados basándose en un modelo geométrico aproximado que se proporciona como entrada a la canalización de geometría 2120. En algunas realizaciones, si no se usa la teselación, pueden omitirse los componentes de teselación (por ejemplo, el sombreador de casco 2111, el teselador 2113 y el sombreador de dominio 2117).

En algunas realizaciones, pueden procesarse objetos geométricos completos por un sombreador de geometría 2119 mediante uno o más hilos despachados a unidades de ejecución 2152A-2152B, o pueden continuar directamente al recortador 2129. En algunas realizaciones, el sombreador de geometría opera en objetos geométricos enteros, en lugar de en vértices o parches de vértices como en etapas anteriores de la canalización de gráficos. Si se desactiva la teselación, el sombreador de geometría 2119 recibe entrada desde el sombreador de vértices 2107. En algunas realizaciones, el sombreador de geometría 2119 es programable por un programa de sombreador de geometría para realizar teselación de geometría si las unidades de teselación están desactivadas.

Antes de la rasterización, un recortador 2129 procesa datos de vértice. El recortador 2129 puede ser un recortador de función fija o un recortador programable que tiene funciones de recortador y de sombreado de geometría. En algunas realizaciones, un componente de prueba de rasterizador y profundidad 2173 en la canalización de salida del representador 2170 despacha sombreadores de píxeles para convertir los objetos geométricos en sus representaciones por píxeles. En algunas realizaciones, la lógica de sombreador de píxeles está incluida en la lógica de ejecución de hilos 2150. En algunas realizaciones, una aplicación puede omitir el componente de prueba de rasterizador y profundidad 2173 y accede a datos de vértice no rasterizados mediante una unidad de salida de flujo 2123.

El procesador de gráficos 2100 tiene un bus de interconexión, tejido de interconexión o algún otro mecanismo de interconexión que permite que los datos y los mensajes pasen entre los componentes principales del procesador. En algunas realizaciones, las unidades de ejecución 2152A-2152B y las unidades lógicas asociadas (por ejemplo, la caché L1 2151, el muestreador 2154, la caché de textura 2158, etc.) se interconectan a través de un puerto de datos 2156 para realizar el acceso a memoria y comunicarse con los componentes de la canalización de salida del representador del procesador. En algunas realizaciones, el muestreador 2154, las cachés 2151,2158 y las unidades de ejecución 2152A-2152B cada uno tienen rutas de acceso a memoria separadas. En una realización, la caché de textura 2158 también se puede configurar como una caché de muestra.

En algunas realizaciones, la canalización de salida del representador 2170 contiene un componente de prueba de rasterizador y profundidad 2173 que convierte objetos basados en vértices en una representación basada en píxeles asociada. En algunas realizaciones, la lógica del rasterizador incluye una unidad generadora de ventanas/enmascaradora para realizar rasterización de triángulo y de línea de función fija. Una caché de representación 2178 y una caché de profundidad 2179 asociadas también están disponibles en algunas realizaciones. Un componente de operaciones de píxel 2177 realiza operaciones basadas en píxel en los datos, aunque, en algunos casos, las operaciones de píxeles asociadas con las operaciones 2D (por ejemplo, transferencias de imagen de bloque de bits con mezcla) se realizan por el motor 2D 2141, o se sustituyen en el momento de visualización por el controlador de visualización 2143 usando planos de visualización superpuestos. En algunas realizaciones, está disponible una caché L3 compartida 2175 para todos los componentes de gráficos, permitiendo la compartición de datos sin el uso de memoria de sistema principal.

En algunas realizaciones, la canalización de medios de procesador de gráficos 2130 incluye un motor de medios 2137 y un extremo frontal de vídeo 2134. En algunas realizaciones, el extremo frontal de vídeo 2134 recibe comandos de canalización desde el emisor por flujo continuo de comandos 2103. En algunas realizaciones, la canalización de medios 2130 incluye un emisor por flujo continuo de comandos separado. En algunas realizaciones, el extremo frontal de vídeo 2134 procesa comandos de medios antes de enviar el comando al motor de medios 2137. En algunas realizaciones, el motor de medios 2137 incluye funcionalidad de generación de hilos para generar hilos para despachar a la lógica de ejecución de hilos 2150 mediante el despachador de hilos 2131.

En algunas realizaciones, el procesador de gráficos 2100 incluye un motor de visualización 2140. En algunas realizaciones, el motor de visualización 2140 es externo al procesador 2100 y se acopla con el procesador de gráficos mediante el anillo de interconexión 2102, o algún otro bus o tejido de interconexión. En algunas realizaciones, el motor de visualización 2140 incluye un motor 2D 2141 y un controlador de visualización 2143. En algunas realizaciones, el motor de visualización 2140 contiene una lógica de propósito especial que puede operar independientemente de la canalización de 3D. En algunas realizaciones, el controlador de visualización 2143 se acopla con un dispositivo de visualización (no mostrado), que puede ser un dispositivo de visualización integrado en sistema, como en un ordenador portátil, o un dispositivo de visualización externo adjunto mediante un conector de dispositivo de visualización.

En algunas realizaciones, la canalización de geometría 2120 y la canalización de medios 2130 se pueden configurar para realizar operaciones basándose en múltiples interfaces de programación de gráficos y de medios y no son específicas de ninguna interfaz de programación de aplicaciones (API). En algunas realizaciones, el software del controlador para el procesador de gráficos traduce llamadas API que son específicas a gráficos o a bibliotecas de medios particulares en comandos que pueden procesarse por el procesador de gráficos. En algunas realizaciones, se proporciona soporte para la Biblioteca de Gráficos Abierta (OpenGL), Lenguaje Informático Abierto (OpenCL) y/o gráficos Vulkan y API de cálculos, todas a partir del grupo Khronos. En algunas realizaciones, puede proporcionarse también soporte para la biblioteca Direct3D de Microsoft Corporation. En algunas realizaciones, puede soportarse una combinación de estas bibliotecas. Puede proporcionarse también soporte para la Biblioteca de Visión Informática de Código Abierto (OpenCV). También se soportaría una API futura con una canalización 3D compatible si pudiera hacerse un mapeo de la canalización de la API futura a la canalización del procesador de gráficos.

Programación de canalización de gráficos

La Figura 22A es un diagrama de bloques que ilustra un formato de comando de procesador de gráficos 2200 de acuerdo con algunas realizaciones. La Figura 22B es un diagrama de bloques que ilustra una secuencia de comandos de procesador de gráficos 2210 de acuerdo con una realización. Los recuadros de línea continua en la Figura 22A ilustran los componentes que están incluidos en general en un comando de gráficos, mientras que las líneas discontinuas incluyen componentes que son opcionales o que están incluidos únicamente en un subconjunto de los comandos de gráficos. El formato de comando de procesador de gráficos 2200 ilustrativo de la Figura 22A incluye campos de datos para identificar un cliente 2202, un código de operación del comando (código de operación) 2204 y los datos 2206 para el comando. También se incluye un subcódigo de operación 2205 y un tamaño de comando 2208 en algunos comandos.

En algunas realizaciones, el cliente 2202 especifica la unidad de cliente del dispositivo de gráficos que procesa los datos de comando. En algunas realizaciones, un analizador de comandos de procesador de gráficos examina el campo de cliente de cada comando para acondicionar el procesamiento adicional del comando y encaminar los datos de comando a la unidad cliente apropiada. En algunas realizaciones, las unidades cliente de procesador de gráficos incluyen una unidad de interfaz de memoria, una unidad del representador, una unidad 2D, una unidad 3D y una unidad de medios. Cada unidad cliente tiene una canalización de procesamiento correspondiente que procesa los comandos. Una vez que se recibe el comando por la unidad de cliente, la unidad de cliente lee el código de operación 2204 y, si está presente, el subcódigo de operación 2205 para determinar la operación a realizar. La unidad cliente realiza el comando usando información en el campo de datos 2206. Para algunos comandos, se espera un tamaño de comando explícito 2208 para especificar el tamaño del comando. En algunas realizaciones, el analizador de comandos determina automáticamente el tamaño de al menos alguno de los comandos basándose en el código de operación del comando. En algunas realizaciones, se alinean los comandos mediante múltiplos de una palabra doble. Se pueden usar otros formatos de comando.

El diagrama de flujo en la Figura 22B ilustra una secuencia de comandos de procesador de gráficos 2210 ilustrativa. En algunas realizaciones, el software o firmware de un sistema de procesamiento de datos que presenta una realización de un procesador de gráficos usa una versión de la secuencia de comandos mostrada para establecer, ejecutar y terminar un conjunto de operaciones de gráficos. Se muestra una secuencia de comandos de muestra y se describe para los propósitos de ejemplo únicamente ya que las realizaciones no están limitadas a estos comandos específicos o para esta secuencia de comandos. Además, los comandos pueden emitirse como un lote de comandos en una secuencia de comandos, de modo que el procesador de gráficos procesará la secuencia de comandos de manera al menos parcialmente concurrente.

En algunas realizaciones, la secuencia de comandos de procesador de gráficos 2210 puede comenzar con un comando de vaciado de canalización 2212 para hacer que alguna canalización de gráficos activa complete los comandos actualmente pendientes para la canalización. En algunas realizaciones, la canalización 3D 2222 y la canalización de medios 2224 no operan concurrentemente. Se realiza el vaciado de la canalización para hacer que la canalización de gráficos activa complete cualquier comando pendiente. En respuesta a un vaciado de canalización, el analizador de comandos para el procesador de gráficos pausará el procesamiento de comandos hasta que los motores de dibujo activos completen las operaciones pendientes y se invaliden las cachés de lectura relevantes. Opcionalmente, cualquier dato en la caché de representación que se marque como 'sucio' se puede vaciar a memoria. En algunas realizaciones, puede usarse el comando de vaciado de canalización 2212 para la sincronización de canalización o antes de colocar el procesador de gráficos en un estado de baja potencia.

En algunas realizaciones, se usa un comando de selección de canalización 2213 cuando una secuencia de comandos requiere que el procesador de gráficos conmute explícitamente entre canalizaciones. En algunas realizaciones, se requiere únicamente un comando de selección de canalización 2213 una vez dentro de un contexto de ejecución antes de emitir comandos de canalización a menos que el contexto sea emitir comandos para ambas canalizaciones. En algunas realizaciones, se requiere un comando de vaciado de canalización 2212 inmediatamente antes de un conmutador de canalización mediante el comando de selección de canalización 2213.

En algunas realizaciones, un comando de control de canalización 2214 configura una canalización de gráficos para la operación y se usa para programar la canalización 3D 2222 y la canalización de medios 2224. En algunas realizaciones, el comando de control de canalización 2214 configura el estado de canalización para la canalización activa. En una realización, se usa el comando de control de canalización 2214 para sincronización de canalización y para limpiar datos de una o más memorias de caché dentro de la canalización activa antes de procesar un lote de comandos.

En algunas realizaciones, los comandos de estado de memoria intermedia de retorno 2216 se usan para configurar un conjunto de memorias intermedias de retorno para que las canalizaciones respectivas escriban datos. Algunas operaciones de canalización requieren la asignación, selección o configuración de una o más memorias intermedias de retorno en las que las operaciones escriben datos intermedios durante el procesamiento. En algunas realizaciones, el procesador de gráficos también usa una o más memorias intermedias de retorno para almacenar datos de salida y realizar comunicación de hilos cruzada. En algunas realizaciones, el estado de la memoria intermedia de retorno 221<6>incluye seleccionar el tamaño y número de memorias intermedias de retorno para su uso para un conjunto de operaciones de canalización.

Los comandos restantes en la secuencia de comandos difieren basándose en la canalización activa para las operaciones. Basándose en una determinación de canalización 2220, la secuencia de comandos se adapta a la canalización de 3D 2222 comenzando con el estado de canalización de 3D 2230, o a la canalización de medios 2224 comenzando en el estado de canalización de medios 2240.

Los comandos para configurar el estado de canalización de 3D 2230 incluyen los comandos de ajuste de estado 3D para el estado de memoria intermedia de vértice, estado de elemento de vértice, estado de color constante, estado de memoria intermedia de profundidad y otras variables de estado que han de configurarse antes de que se procesen los comandos de primitiva 3D. Los valores de estos comandos se determinan, al menos en parte, basándose en la API 3D particular en uso. En algunas realizaciones, los comandos de estado de canalización de 3D 2230 también pueden desactivar o desviar selectivamente ciertos elementos de canalización si esos elementos no se usarán.

En algunas realizaciones, se usa el comando de primitiva 3D 2232 para enviar primitivas 3D para su procesamiento por la canalización 3D. Los comandos y parámetros asociados que se pasan al procesador de gráficos mediante el comando de primitiva 3D 2232 se reenvían a la función de extracción de vértices en la canalización de gráficos. La función de extracción de vértices usa los datos de comando de primitiva 3D 2232 para generar estructuras de datos de vértices. Las estructuras de datos de vértices se almacenan en una o más memorias intermedias de retorno. En algunas realizaciones, se usa el comando de primitiva 3D 2232 para realizar operaciones de vértice en primitivas 3D mediante sombreadores de vértices. Para procesar sombreadores de vértices, la canalización 3D 2222 despacha hilos de ejecución de sombreador a las unidades de ejecución de procesador de gráficos.

En algunas realizaciones, se activa la canalización 3D 2222 mediante un comando o evento de ejecución 2234. En algunas realizaciones, una escritura de registro activa la ejecución de comando. En algunas realizaciones, se activa la ejecución mediante un comando 'ir' o 'disparar' en la secuencia de comandos. En una realización, se activa la ejecución de comando usando un comando de sincronización de canalización para vaciar la secuencia de comandos a través de la canalización de gráficos. La canalización 3D realizará un procesamiento de geometría para las primitivas 3D. Una vez que están completadas las operaciones, se rasterizan los objetos geométricos resultantes y los colores de motor de píxel y los píxeles resultantes. Pueden incluirse también comandos adicionales para controlar el sombreado de píxeles y las operaciones de extremo trasero de píxeles para estas operaciones.

En algunas realizaciones, la secuencia de comandos de procesador de gráficos 2210 sigue la ruta de canalización de medios 2224 cuando se realizan operaciones de medios. En general, el uso y manera específicos de la programación para la canalización de medios 2224 depende de las operaciones de medios o de cálculo que van a realizarse. Las operaciones de decodificación de medios específicas pueden descargarse en la canalización de medios durante la decodificación de medios. En algunas realizaciones, puede desviarse también la canalización de medios y puede realizarse la decodificación de medios, en su totalidad o en parte, usando recursos proporcionados por uno o más núcleos de procesamiento de propósito general. En una realización, la canalización de medios también incluye elementos para operaciones de la unidad de procesador de gráficos de propósito general (GPGPU), donde el procesador de gráficos se usa para realizar operaciones vectoriales de SIMD usando programas sombreadores computacionales que no están relacionados explícitamente con la representación de primitivas de gráficos.

En algunas realizaciones, se configura la canalización de medios 2224 de una manera similar que la canalización 3D 2222. Un conjunto de comandos para configurar el estado de canalización de medios 2240 se despacha o coloca en una cola de comandos antes de los comandos de objeto de medios 2242. En algunas realizaciones, los comandos para el estado de canalización de medios 2240 incluyen datos para configurar los elementos de canalización de medios que se usarán para procesar los objetos de medios. Esto incluye datos para configurar la lógica de decodificación de vídeo y de codificación de vídeo dentro de la canalización de medios, tal como el formato de codificación o de decodificación. En algunas realizaciones, los comandos para el estado de canalización de medios 2240 también soportan el uso de uno o más punteros a elementos de estado "indirectos" que contienen un lote de configuraciones de estado.

En algunas realizaciones, los comandos de objeto de medios 2242 suministran punteros a objetos de medios para su procesamiento por la canalización de medios. Los objetos de medios incluyen memorias intermedias que contienen datos de vídeo que van a procesarse. En algunas realizaciones, todos los estados de canalización de medios deben ser válidos antes de emitir un comando de objeto de medios 2242. Una vez que se ha configurado el estado de la canalización y los comandos de objeto de medios 2242 se han puesto en cola, se activa la canalización de medios 2224 por medio de un comando de ejecución 2244 o un evento de ejecución equivalente (por ejemplo, una escritura de registro). La salida desde la canalización de medios 2224 se puede procesar posteriormente a continuación mediante operaciones proporcionadas por la canalización de 3D 2222 o la canalización de medios 2224. En algunas realizaciones, las operaciones de GPGPU se configuran y se ejecutan de una manera similar a la de las operaciones de medios.

Arquitectura de software de gráficos

LaFigura 23ilustra una arquitectura de software de gráficos ilustrativa para un sistema de procesamiento de datos 2300 de acuerdo con algunas realizaciones. En algunas realizaciones, la arquitectura de software incluye una aplicación de gráficos 3D 2310, un sistema operativo 2320 y al menos un procesador 2330. En algunas realizaciones, el procesador 2330 incluye un procesador de gráficos 2332 y uno o más núcleo o núcleos de procesador de propósito general 2334. Cada uno de la aplicación de gráficos 2310 y el sistema operativo 2320 se ejecutan en la memoria de sistema 2350 del sistema de procesamiento de datos.

En algunas realizaciones, la aplicación de gráficos 3D 2310 contiene uno o más programas sombreadores que incluyen instrucciones de sombreador 2312. Las instrucciones de lenguaje de sombreador pueden estar en un lenguaje de sombreador de alto nivel, tal como el Lenguaje de Sombreador de Alto Nivel (HLSL) de Direct3D, el Lenguaje de Sombreador OpenGL (GLSL) y así sucesivamente. La aplicación también incluye instrucciones ejecutables 2314 en un lenguaje máquina adecuado para su ejecución por el núcleo de procesador de propósito general 2334. La aplicación también incluye los objetos de gráficos 2316 definidos por los datos de vértices.

En algunas realizaciones, el sistema operativo 2320 es un sistema operativo Microsoft® Windows® de Microsoft Corporation, un sistema operativo similar a UNIX propietario o un sistema operativo similar a UNIX de código abierto que usa una variante del núcleo Linux. El sistema operativo 2320 puede soportar una API de gráficos 2322 tal como la API Direct3D, la API OpenGL o la API Vulkan. Cuando está en uso la API Direct3D, el sistema operativo 2320 usa un compilador de sombreador de extremo frontal 2324 para compilar cualquier instrucción de sombreador 2312 en HLSL en un lenguaje de sombreador de nivel inferior. La compilación puede ser una compilación justo a tiempo (JIT) o la aplicación puede realizar una compilación previa de sombreador. En algunas realizaciones, los sombreadores de alto nivel se compilan en sombreadores de bajo nivel durante la compilación de la aplicación de gráficos 3D 2310. En algunas realizaciones, las instrucciones de sombreador 2312 se proporcionan en una forma intermedia, tal como una versión de la Representación Intermedia Portátil Convencional (SPIR) usada por la API de Vulkan.

En algunas realizaciones, el controlador de gráficos de modo de usuario 2326 contiene un compilador de sombreador de extremo trasero 2327 para convertir las instrucciones de sombreador 2312 en una representación específica de hardware. Cuando está en uso la API de OpenGL, las instrucciones de sombreador 2312 en el lenguaje de alto nivel GLSL se pasan a un controlador de gráficos de modo de usuario 2326 para su compilación. En algunas realizaciones, el controlador de gráficos de modo de usuario 2326 usa las funciones de modo de núcleo de sistema operativo 2328 para comunicarse con un controlador de gráficos de modo de núcleo 2329. En algunas realizaciones, el controlador de gráficos de modo de núcleo 2329 se comunica con el procesador de gráficos 2332 para despachar comandos e instrucciones.

Implementaciones de núcleo de IP

Uno o más aspectos de al menos una realización pueden implementarse por código representativo almacenado en un medio legible por máquina que representa y/o define lógica dentro de un circuito integrado tal como un procesador. Por ejemplo, el medio legible por máquina puede incluir instrucciones que representan diversa lógica dentro del procesador. Cuando se leen por una máquina, las instrucciones pueden hacer que la máquina fabrique la lógica para realizar las técnicas descritas en el presente documento. Tales representaciones, conocidas como "núcleos de IP", son unidades reutilizables de lógica para un circuito integrado que pueden almacenarse en un medio legible por máquina tangible como un modelo de hardware que describe la estructura del circuito integrado. El modelo de hardware puede suministrarse a diversos clientes o instalaciones de fabricación, que cargan el modelo de hardware en máquinas de fabricación que fabrican el circuito integrado. El circuito integrado puede fabricarse de manera que el circuito realiza las operaciones descritas en asociación con cualquiera de las realizaciones descritas en el presente documento.

LaFigura 24Aes un diagrama de bloques que ilustra un sistema de desarrollo de núcleo de IP 2400 que puede usarse para fabricar un circuito integrado para realizar las operaciones de acuerdo con una realización. El sistema de desarrollo de núcleo de IP 2400 puede usarse para generar diseños reutilizables modulares que pueden incorporarse en un diseño más grande o usarse para construir un circuito integrado entero (por ejemplo, un circuito de SOC integrado). Una instalación de diseño 2430 puede generar una simulación de software 2410 de un diseño de núcleo de IP en un lenguaje de programación de alto nivel (por ejemplo, C/C++). La simulación de software 2410 puede usare para diseñar, probar y verificar el comportamiento del núcleo de IP usando un modelo de simulación 2412. El modelo de simulación 2412 puede incluir simulaciones funcionales, de comportamiento y/o de temporización. A continuación, puede crearse o sintetizarse un diseño de nivel de transferencia de registro (RTL) 2415 a partir del modelo de simulación 2412. El diseño de RTL 2415 es una abstracción del comportamiento del circuito integrado que modela el flujo de señales digitales entre registros de hardware, que incluyen la lógica asociada realizada usando las señales digitales modeladas. Además de un diseño de RTL 2415, también se pueden crear, diseñar o sintetizar diseños de nivel inferior a nivel de lógica o a nivel de transistores. Por lo tanto, los detalles particulares del diseño y simulación inicial pueden variar.

El diseño de RTL 2415, o un equivalente, puede sintetizarse además por la instalación de diseño para obtener un modelo de hardware 2420, que puede estar en un lenguaje de descripción de hardware (HDL) o alguna otra representación de datos de diseño físico. El HDL puede simularse o probarse además para verificar el diseño de núcleo de IP. El diseño de núcleo de IP puede almacenarse para su entrega a una instalación de fabricación de 3os 2465 usando memoria no volátil 2440 (por ejemplo, disco duro, memoria flash o cualquier medio de almacenamiento no volátil). Como alternativa, el diseño de núcleo de IP se puede transmitir (por ejemplo, por Internet) a través de una conexión alámbrica 2450 o una conexión inalámbrica 2460. La instalación de fabricación 2465 puede a continuación fabricar un circuito integrado que está basado al menos en parte en el diseño de núcleo de IP. El circuito integrado fabricado puede estar configurado para realizar operaciones de acuerdo con al menos una realización descrita en el presente documento.

LaFigura 24Bilustra una vista lateral en sección transversal de un conjunto de paquete de circuito integrado 2470, de acuerdo con algunas realizaciones descritas en el presente documento. El conjunto de paquete de circuito integrado 2470 ilustra una implementación de uno o más dispositivos procesadores o aceleradores como se describe en el presente documento. El conjunto de paquete 2470 incluye múltiples unidades de lógica de hardware 2472, 2474 conectadas a un sustrato 2480. La lógica 2472, 2474 puede implementarse al menos parcialmente en lógica configurable o hardware de lógica de funcionalidad fija, y puede incluir una o más porciones de cualquiera del núcleo o núcleos de procesador, procesador o procesadores gráficos u otros dispositivos aceleradores descritos en el presente documento. Cada unidad de lógica 2472, 2474 puede implementarse dentro de un chip de semiconductores y acoplarse con el sustrato 2480 a través de una estructura de interconexión 2473. La estructura de interconexión 2473 puede configurarse para enrutar señales eléctricas entre la lógica 2472, 2474 y el sustrato 2480, y puede incluir interconexiones tales como, pero sin limitación, protuberancias o pilares. En algunas realizaciones, la estructura de interconexión 2473 puede configurarse para enrutar señales eléctricas tales como, por ejemplo, señales de entrada/salida (E/S) y/o señales de alimentación o de tierra asociadas con la operación de la lógica 2472, 2474. En algunas realizaciones, el sustrato 2480 es un sustrato laminado basado en epoxi. El sustrato 2480 puede incluir otros tipos adecuados de sustratos en otras realizaciones. El conjunto de paquete 2470 se puede conectar a otros dispositivos eléctricos a través de una interconexión de paquete 2483. La interconexión de paquete 2483 puede acoplarse a una superficie del sustrato 2480 para enrutar señales eléctricas a otros dispositivos eléctricos, tales como una placa madre, otro conjunto de chips o un módulo de múltiples chips.

En algunas realizaciones, las unidades de lógica 2472, 2474 están acopladas eléctricamente con un puente 2482 que está configurado para enrutar señales eléctricas entre la lógica 2472, 2474. El puente 2482 puede ser una estructura de interconexión densa que proporciona una ruta para señales eléctricas. El puente 2482 puede incluir un sustrato de puente compuesto de vidrio o un material semiconductor adecuado. Pueden formarse características de enrutamiento eléctrico en el sustrato del puente para proporcionar una conexión de chip a chip entre la lógica 2472, 2474.

Aunque se ilustran dos unidades de lógica 2472, 2474 y un puente 2482, las realizaciones descritas en el presente documento pueden incluir más o menos unidades lógicas en uno o más chips. El uno o más chips pueden estar conectados por cero o más puentes, ya que el puente 2482 puede excluirse cuando la lógica está incluida en un único chip. Como alternativa, se pueden conectar múltiples chips o unidades lógicas mediante uno o más puentes. Adicionalmente, se pueden conectar entre sí múltiples unidades lógicas, chips y puentes en otras configuraciones posibles, incluyendo configuraciones tridimensionales.

LaFigura 24Cilustra un conjunto de paquete 2490 que incluye múltiples unidades de chiplet lógicos de hardware conectados a un sustrato 2480 (por ejemplo, chip de base). Una unidad de procesamiento de gráficos, un procesador paralelo y/o un acelerador de cálculos como se describe en el presente documento pueden estar compuestos de diversos chiplet de silicio que se fabrican por separado. En este contexto, un chiplet es un circuito integrado al menos parcialmente empaquetado que incluye distintas unidades lógicas que pueden ensamblarse con otros chiplet en un paquete más grande. Se puede ensamblar en un único dispositivo un conjunto diverso de chiplet con diferente lógica de núcleo de IP. Además, los chiplet se pueden integrar en un chip de base o un chiplet de base usando tecnología de intercalación activa. Los conceptos descritos en el presente documento permiten la interconexión y comunicación entre las diferentes formas de IP dentro de la GPU. Los núcleos IP se pueden fabricar usando diferentes tecnologías de proceso y componerse durante la fabricación, lo que evita la complejidad de hacer converger múltiples IP, especialmente en un SoC grande con varias clases de IP, en el mismo proceso de fabricación. Permitir el uso de múltiples tecnologías de procesos mejora el tiempo de comercialización y proporciona una forma rentable de crear múltiples SKU de productos. Además, las IP desagregadas son más susceptibles de ser activadas de forma independiente, los componentes que no están en uso en una carga de trabajo determinada se pueden apagar, reduciendo el consumo general de energía.

Los chiplet lógicos de hardware pueden incluir chiplet lógicos de hardware de propósito especial 2472, chiplet lógicos o de E/S 2474 y/o chiplet de memoria 2475. Los chiplet lógicos de hardware 2472 y los chiplet lógicos o de E/S 2474 pueden implementarse al menos parcialmente en hardware de lógica configurable o de lógica de funcionalidad fija y pueden incluir una o más porciones de cualquiera del núcleo o núcleos de procesador, procesador o procesadores de gráficos, procesadores paralelos u otros dispositivos aceleradores descritos en el presente documento. Los chiplet de memoria 2475 pueden ser memoria DRAM (por ejemplo, GDDR, HBM) o memoria caché (SRAM).

Cada chiplet puede fabricarse como un chip de semiconductores separado y acoplarse con el sustrato 2480 a través de una estructura de interconexión 2473. La estructura de interconexión 2473 puede configurarse para enrutar señales eléctricas entre los diversos chiplet y la lógica dentro del sustrato 2480. La estructura de interconexión 2473 puede incluir interconexiones tales como, pero sin limitación, protuberancias o pilares. En algunas realizaciones, la estructura de interconexión 2473 puede configurarse para enrutar señales eléctricas tales como, por ejemplo, señales de entrada/salida (E/S) y/o señales de alimentación o de tierra asociadas con la operación de la lógica, la E/S y los chiplet de memoria.

En algunas realizaciones, el sustrato 2480 es un sustrato laminado basado en epoxi. El sustrato 2480 puede incluir otros tipos adecuados de sustratos en otras realizaciones. El conjunto de paquete 2490 se puede conectar a otros dispositivos eléctricos a través de una interconexión de paquete 2483. La interconexión de paquete 2483 puede acoplarse a una superficie del sustrato 2480 para enrutar señales eléctricas a otros dispositivos eléctricos, tales como una placa madre, otro conjunto de chips o un módulo de múltiples chips.

En algunas realizaciones, un chiplet de lógica o de E/S 2474 y un chiplet de memoria 2475 se pueden acoplar eléctricamente a través de un puente 2487 que está configurado para enrutar señales eléctricas entre el chiplet de lógica o de E/S 2474 y un chiplet de memoria 2475. El puente 2487 puede ser una estructura de interconexión densa que proporciona una ruta para señales eléctricas. El puente 2487 puede incluir un sustrato de puente compuesto de vidrio o un material semiconductor adecuado. Se pueden formar características de enrutamiento eléctrico en el sustrato del puente para proporcionar una conexión de chip a chip entre el chiplet lógico o de E/S 2474 y un chiplet de memoria 2475. El puente 2487 también puede denominarse puente de silicio o puente de interconexión. Por ejemplo, el puente 2487, en algunas realizaciones, es un puente de interconexión de múltiples chips integrado (EMIB). En algunas realizaciones, el puente 2487 puede ser simplemente una conexión directa de un chiplet a otro chiplet.

El sustrato 2480 puede incluir componentes de hardware para E/S 2491, memoria caché 2492 y otra lógica de hardware 2493. Se puede integrar un tejido 2485 en el sustrato 2480 para permitir la comunicación entre los diversos chiplet lógicos y la lógica 2491,2493 dentro del sustrato 2480. En una realización, la E/S 2491, el tejido 2485, la caché, el puente y otra lógica de hardware 2493 se pueden integrar en un chip de base que se coloca en capas en la parte superior del sustrato 2480.

En diversas realizaciones, un conjunto de paquete 2490 puede incluir un número menor o mayor de componentes y chiplet que están interconectados por un tejido 2485 o uno o más puentes 2487. Los chiplet dentro del conjunto de paquete 2490 pueden estar dispuestos en una disposición 3D o 2,5D. En general, se pueden usar estructuras de puente 2487 para facilitar una interconexión punto a punto entre, por ejemplo, chiplet de lógica o de E/S y chiplet de memoria. El tejido 2485 puede usarse para interconectar los diversos chiplet de lógica y/o de E/S (por ejemplo, chiplet 2472, 2474, 2491,2493) con otros chiplet de lógica y/o de E/S. En una realización, la memoria caché 2492 dentro del sustrato puede actuar como una memoria caché global para el conjunto de paquete 2490, parte de una caché global distribuida o como una caché especializada para el tejido 2485.

LaFigura 24Dilustra un conjunto de paquete 2494 que incluye chiplet intercambiables 2495, de acuerdo con una realización. Los chiplet intercambiables 2495 se pueden ensamblar en ranuras normalizadas en uno o más chiplet de base 2496, 2498. Los chiplet de base 2496, 2498 se pueden acoplar a través de una interconexión de puente 2497, que puede ser similar a las otras interconexiones de puente descritas en el presente documento y puede ser, por ejemplo, un EMIB. Los chiplet de memoria también se pueden conectar a chips de lógica o de E/S a través de una interconexión de puente. Los chiplet de lógica y de E/S pueden comunicarse a través de un tejido de interconexión. Cada uno de los chiplet de base puede soportar una o más ranuras en un formato normalizado para una de la lógica o E/S o memoria/caché.

En una realización, la SRAM y los circuitos de suministro de alimentación se pueden fabricar en uno o más de los chiplet de base 2496, 2498, que se pueden fabricar usando una tecnología de proceso diferente en relación con los chiplet intercambiables 2495 que se apilan en la parte superior de los chiplet de base. Por ejemplo, los chiplet de base 2496, 2498 se pueden fabricar usando una tecnología de proceso más grande, mientras que los chiplet intercambiables se pueden fabricar usando una tecnología de proceso más pequeña. Uno o más de los chiplet intercambiables 2495 pueden ser chiplet de memoria (por ejemplo, DRAM). Se pueden seleccionar diferentes densidades de memoria para el conjunto de paquete 2494 basándose en la potencia y/o el rendimiento objetivo del producto que usa el conjunto de paquete 2494. Además, se pueden seleccionar chiplet de lógica con un número diferente de tipos de unidades funcionales en el momento del ensamblaje basándose en la potencia y/o el rendimiento objetivo para el producto. Además, se pueden insertar chiplet que contienen núcleos de lógica de IP de diferentes tipos en las ranuras de chiplet intercambiables, lo que permite diseños de procesadores híbridos que pueden mezclar y combinar bloques de IP de diferentes tecnologías.

Sistema ilustrativo en un circuito de chip integrado

LasFiguras 25-26ilustran circuitos integrados ilustrativos y procesadores de gráficos asociados que pueden fabricarse usando uno o más núcleos de IP, de acuerdo con diversas realizaciones descritas en el presente documento. Además de lo que se ilustra, puede incluirse otra lógica y circuitos, que incluyen procesadores/núcleos de gráficos adicionales, controladores de interfaz periférica o núcleos de procesador de propósito general.

LaFigura 25es un diagrama de bloques que ilustra un circuito integrado de sistema en un chip ilustrativo 2500 que puede fabricarse usando uno o más núcleos de IP, de acuerdo con una realización. El circuito integrado 2500 ilustrativo incluye uno o más procesador o procesadores de aplicación 2505 (por ejemplo, las CPU), al menos un procesador de gráficos 2510, y puede incluir adicionalmente un procesador de imágenes 2515 y/o un procesador de vídeo 2520, cualquiera de los que puede ser un núcleo de IP modular desde las mismas o múltiples diferentes instalaciones de diseño. El circuito integrado 2500 incluye una lógica de bus o de periféricos que incluye un controlador de USB 2525, un controlador de UART 2530, un controlador de SPI/SDIO 2535 y un controlador de I2S/I2C 2540. Adicionalmente, el circuito integrado puede incluir un dispositivo de visualización 2545 acoplado a uno o más de un controlador de interfaz multimedia de alta definición (HDMI) 2550 y una interfaz de visualización de interfaz de procesador de industria móvil (MIPI) 2555. El almacenamiento puede proporcionarse por un subsistema de memoria flash 2560 que incluye la memoria flash y un controlador de memoria flash. La interfaz de memoria puede proporcionarse mediante un controlador de memoria 2565 para acceso a dispositivos de memoria de SDRAM o SRAM. Algunos circuitos integrados incluyen adicionalmente un motor de seguridad integrado 2570.

LasFiguras 26A-26Bson diagramas de bloques que ilustran procesadores gráficos ilustrativos para su uso dentro de un SoC, de acuerdo con realizaciones descritas en el presente documento. LaFigura 26Ailustra un procesador de gráficos 2610 ilustrativo de un circuito integrado de sistema en un chip que puede fabricarse usando uno o más núcleos de IP, de acuerdo con una realización. LaFigura 26Bilustra un procesador de gráficos 2640 ilustrativo adicional de un circuito integrado de sistema en un chip que puede fabricarse usando uno o más núcleos de IP, de acuerdo con una realización. El procesador de gráficos 2610 de la Figura 26A es un ejemplo de un núcleo de procesador de gráficos de bajo consumo. El procesador de gráficos 2640 de la Figura 26B es un ejemplo de un núcleo de procesador de gráficos de rendimiento superior. Cada uno de los procesadores gráficos 2610, 2640 puede ser variantes del procesador gráfico 2510 deFigura 25.

Como se muestra en la Figura 26A, el procesador de gráficos 2610 incluye un procesador de vértices 2605 y uno o más procesador o procesadores de fragmentos 2615A-2615N (por ejemplo, 2615A, 2615B, 2615C, 2615D a 2615N-1, y 2615N). El procesador de gráficos 2610 puede ejecutar diferentes programas sombreadores mediante lógica separada, de manera que el procesador de vértices 2605 está optimizado para ejecutar operaciones para programas de sombreador de vértices, mientras que el uno o más procesador o procesadores de fragmentos 2615A-2615N ejecutan operaciones de sombreado de fragmentos (por ejemplo, de píxeles) para programas sombreadores de fragmentos o de píxeles. El procesador de vértices 2605 realiza la etapa de procesamiento de vértices de la canalización de gráficos 3D y genera datos de primitivas y de vértices. El procesador o procesadores de fragmentos 2615A-2615N usan datos de primitiva y de vértice generados por el procesador de vértices 2605 para producir una memoria intermedia de fotograma que se visualiza en un dispositivo de visualización. En una realización, el procesador o procesadores de fragmentos 2615A-2615N están optimizados para ejecutar programas sombreadores de fragmento según se proporciona en la API de OpenGL, que pueden usarse para realizar operaciones similares como un programa sombreador de píxeles como se proporciona en la API de Direct 3D.

El procesador de gráficos 2610 incluye adicionalmente una o más unidades de gestión de memoria (MMU) 2620A-2620B, caché o cachés 2625A-2625B e interconexión o interconexiones de circuito 2630A-2630B. Las una o más MMU 2620A-2620B proporcionan un mapeo de dirección virtual a física para el procesador de gráficos 2610, incluyendo para el procesador de vértices 2605 y/o el procesador o procesadores de fragmentos 2615A-2615N, que pueden hacer referencia a datos de vértice o de imagen/textura almacenados en memoria, además de datos de vértice o de imagen/textura almacenados en la una o más caché o cachés 2625A-2625B. En una realización, la una o más MMU 2620A-2620B pueden estar sincronizadas con otras MMU dentro del sistema, que incluyen una o más MMU asociadas con el uno o más procesador o procesadores de aplicación 2505, el procesador de imágenes 2515 y/o el procesador de vídeo 2520 de laFigura 25,de manera que cada procesador 2505-2520 puede participar en un sistema de memoria virtual compartida o unificada. La una o más interconexión o interconexiones de circuito 2630A-2630B posibilitan que el procesador de gráficos 2610 interconecte con otros núcleos de IP dentro del SoC, mediante un bus interno del SoC o mediante una conexión directa, de acuerdo con las realizaciones.

Como se muestra en la Figura 26B, el procesador de gráficos 2640 incluye la una o más MMU 2620A-2620B, la caché o cachés 2625A-2625B y la interconexión o interconexiones de circuito 2630A-2630B del procesador de gráficos 2610 de laFigura 26A.El procesador de gráficos 2640 incluye uno o más núcleos sombreadores 2655A-2655N (por ejemplo, 2655A, 2655B, 2655C, 2655D, 2655E, 2655F a 2655N-1, y 2655N), que proporcionan una arquitectura de núcleo sombreador unificada en la que un único núcleo o tipo o núcleo puede ejecutar todos los tipos de código sombreador programable, que incluyen código de programa sombreador para implementar sombreadores de vértice, sombreadores de fragmento y/o sombreadores de cálculo. El número exacto de núcleos sombreadores presentes puede variar entre realizaciones e implementaciones. Adicionalmente, el procesador de gráficos 2640 incluye un gestor de tareas inter-núcleo 2645, que actúa como un despachador de hilos para despachar hilos de ejecución a uno o más núcleos sombreadores 2655A-2655N y una unidad de mosaico 2658 para acelerar las operaciones de mosaico para la representación basada en mosaico, en las que las operaciones de representación para una escena se subdividen en el espacio de imágenes, por ejemplo, para aprovechar la coherencia de espacio local dentro de una escena o para optimizar el uso de cachés internas.

LaFigura 27es un diagrama de bloques de un sistema de procesamiento de la técnica anterior 2700. El sistema de procesamiento 2700 comprende el almacenamiento de sistema 2701 y una memoria de sistema 2703 acoplada a una o más unidades centrales de procesamiento (CPU) 2702. El sistema de procesamiento 2700 comprende además una unidad de procesamiento de gráficos (GPU) 2704 acoplada a la o las CPU 2702 y una memoria de GPU 2705 acoplada a la GPU 2704. En un entorno en la nube, una aplicación de gráficos podría ejecutarse muchas veces en una única GPU 2704. Cada ejecución de la aplicación de gráficos genera una instancia en la o las CPU 2702 en un proceso, y la instancia mantiene sus datos de gráficos en una memoria intermedia correspondiente en la memoria de GPU 2705. Cuando se ejecuta una aplicación de gráficos en la GPU 2704, se genera una instancia 2710 que tiene datos de gráficos 2712 con un ID de datos única de la aplicación de gráficos en un proceso. La instancia 2710 carga un material gráfico tal como una memoria intermedia de textura, una memoria intermedia de vértices, una memoria intermedia uniforme o cualquier otro tipo de memoria intermedia correspondiente a los datos de gráficos 2712 desde el almacenamiento de sistema 2701, y asigna una memoria intermedia 2716 en la memoria de GPU 2705 a través de un controlador de GPU 2714 para la instancia 2710 en la o las CPU 2702 para contener el material de gráficos.

Cuando la aplicación de gráficos se ejecuta en la GPU 2704 por segunda vez, una instancia 2720 que tiene datos de gráficos 2722 con un ID de datos único de la aplicación de gráficos se genera de manera similar en otro proceso, y la instancia 2720 también carga un material de gráficos correspondiente a los datos de gráficos 2722 y asigna una memoria intermedia 2726 en la memoria de GPU 2705 a través de un controlador de GPU 2724 para la instancia 2720 en la o las CPU 2702 para contener el material de gráficos.

En realidad, partes de los materiales de gráficos correspondientes a los datos de gráficos 2712 y 2722 pueden permanecer sin cambios entre las instancias 2710 y 2720, lo que da como resultado datos duplicados en la memoria de GPU 2705. Los datos duplicados se convertirían en un problema grave cuando sean muy grandes.

Cada uno de los controladores de GPU 2714 y 2724 puede incluir un controlador de modo de usuario de GPU y un controlador de modo de núcleo de GPU. El controlador de modo de usuario de GPU puede ser un controlador DirectX, un controlador OpenGL, un controlador Vulkan, un controlador OpenCL o cualquier otra pila de software que proporcione capacidad de GPU a la aplicación de gráficos.

En una situación de juego en la nube, los materiales de gráficos correspondientes a los datos de gráficos 2712 y 2722, tales como la textura, pueden ser muy grandes y su contenido puede estar duplicado. Por lo tanto, la memoria de la GPU 2705 se desperdicia ya que los datos de gráficos 2712 y 2722 consumen espacio de memoria de la memoria de la GPU 2705 para los datos duplicados. Se pueden soportar más instancias de juego si los datos duplicados se pueden eliminar de la memoria de la GPU 2705, lo que mejora la utilización de la memoria de la GPU 2705.

En una situación de inteligencia artificial (IA) en la nube, los materiales de IA correspondientes a los datos de IA (correspondientes a los datos de gráficos 2712 y 2722), tales como memorias intermedias de parámetros para un modelo de red de aprendizaje profundo, pueden ser muy grandes y su contenido puede duplicarse. Por lo tanto, la memoria de la GPU 2705 se desperdicia ya que los datos de IA consumen espacio de memoria de la memoria de la GPU 2705 para los datos duplicados. Por tanto, existe redundancia en diferentes instancias 2710 y 2720 del mismo modelo.

LaFigura 28ilustra un mapeo entre una pluralidad de datos de gráficos y memorias intermedias en un sistema de procesamiento de la técnica anterior. Para una instancia 2800 que contiene una pluralidad de datos de gráficos 2802, 2804 y 2806, los datos de gráficos 2802 se asignan a una memoria intermedia 2822 en una memoria de la GPU 2820, los datos de gráficos 2804 se asignan a una memoria intermedia 2824 en la memoria de la GPU 2820, y los datos de gráficos 2806 se asignan a una memoria intermedia 2826 en la memoria de la GPU 2820. Para una instancia 2810 que contiene una pluralidad de datos de gráficos 2812, 2814 y 2816, los datos de gráficos 2812 se asignan a una memoria intermedia 2842 en la memoria de la GPU 2820, los datos de gráficos 2814 se asignan a una memoria intermedia 2844 en la memoria de la GPU 2820, y los datos de gráficos 2816 se asignan a una memoria intermedia 2846 en la memoria de la GPU 2820. La pluralidad de datos de gráficos 2802-2816 se asigna cada uno a una memoria intermedia correspondiente, aunque el contenido de la pluralidad de memorias intermedias 2822-2846 puede duplicarse y, por lo tanto, el espacio de memoria puede desperdiciarse mucho.

Para ahorrar espacio en la memoria y mejorar la utilización de la memoria de la GPU, se contempla compartir una memoria intermedia en una memoria de la GPU para datos de gráficos con el mismo material gráfico. Cuando se eliminan datos duplicados de la memoria de la GPU, se puede ahorrar espacio en la memoria para más instancias de gráficos y también se puede ahorrar ancho de banda para la transmisión para un sistema informático.

LaFigura 29Aes un diagrama de bloques de un sistema de procesamiento 2900, de acuerdo con una realización. El sistema de procesamiento 2900 comprende el sistema de almacenamiento 2901 acoplado a una unidad de procesamiento 2902. El sistema de procesamiento 2900 comprende además una memoria de GPU 2905 acoplada a la unidad de procesamiento 2902. En un entorno en la nube, una aplicación de gráficos podría ejecutarse muchas veces en la unidad de procesamiento 2902. Cada ejecución de la aplicación de gráficos genera una instancia en la unidad de procesamiento 2902 en un proceso, y la instancia mantiene sus datos de gráficos en una memoria intermedia correspondiente en la memoria de GPU 2905. Cuando se ejecuta una aplicación de gráficos en la unidad de procesamiento 2902, se genera una instancia 2910 que tiene datos de gráficos 2912 con una ID de datos única de la aplicación de gráficos en un proceso. La instancia 2910 carga un material gráfico tal como una memoria intermedia de textura, una memoria intermedia de vértices, una memoria intermedia uniforme o cualquier otro tipo de memoria intermedia correspondiente a los datos de gráficos 2912 desde el almacenamiento de sistema 2901, y asigna una memoria intermedia 2916 en la memoria de la GPU 2905 a través de una lógica de tiempo de ejecución 2914 para la instancia 2910 en la unidad de procesamiento 2902 para contener el material de gráficos.

Cuando la aplicación de gráficos se ejecuta en la unidad de procesamiento 2902 por segunda vez, una instancia de gráficos 2920 que tiene datos de gráficos 2922 con un ID de datos único de la aplicación de gráficos se genera de manera similar en otro proceso, y la instancia 2920 también carga un material de gráficos correspondiente a los datos de gráficos 2922 y asigna una memoria intermedia 2926 en la memoria de GPU 2905 a través de una lógica de tiempo de ejecución 2924 para la instancia 2920 en la unidad de procesamiento 2902 para contener el material de gráficos.

En una realización, las lógicas de tiempo de ejecución 2914 y 2924 pueden incluir cada una soporte intermedio 2915, 2925 y controladores de GPU 2917, 2927. En una realización, las lógicas de tiempo de ejecución 2914 y 2924 pueden incluir cada una controladores de GPU 2917 y 2927. Cada uno de los controladores de GPU 2917 y 2927 puede incluir un controlador de modo de usuario de GPU y un controlador de modo de núcleo de GPU. El controlador de modo de usuario de GPU puede ser un controlador DirectX, un controlador OpenGL, un controlador Vulkan, un controlador OpenCL o cualquier otra pila de software que proporcione capacidad de GPU a la aplicación de gráficos.

Una lógica de eliminación de datos 2930 implementada en la unidad de procesamiento 2902 en un proceso puede interactuar con las lógicas de tiempo de ejecución 2914 y 2924 para compartir la memoria intermedia cuando hay ancho de banda o recurso adicional para la unidad de procesamiento 2902. Para compartir memorias intermedias de GPU mapeadas por los datos de gráficos a través de diferentes procesos correspondientes a diferentes instancias, existen diferentes mecanismos de compartición para diferentes sistemas operativos, tales como un mecanismo de compartición de memoria intermedia de GPU basado en un descriptor de archivo primario, un identificador de nombre global, o un manejador de recurso global más la llamada de función OpenSharedResource() de DirectX, etc. Con el uso de un mecanismo de compartición de memoria intermedia de GPU, la lógica de eliminación de datos 2930 puede comparar la memoria intermedia 2916 con la memoria intermedia 2926. Si la lógica de eliminación de datos 2930 determina que la memoria intermedia 2916 es idéntica a la memoria intermedia 2926, la lógica de eliminación de datos 2930 puede notificar a la lógica de tiempo de ejecución 2924 que la memoria intermedia 2926 es un duplicado de la memoria intermedia 2916, por ejemplo, enviando un mensaje. A continuación, la lógica de tiempo de ejecución 2924 puede remapear los datos de gráficos 2922 a la memoria intermedia 2916, y la memoria intermedia 2926 puede eliminarse de la memoria de la GPU 2905. De esta manera, las memorias intermedias mapeadas por otros datos de gráficos pueden compararse cada una con una memoria intermedia existente mapeada por los datos de gráficos existentes y los datos de gráficos pueden remapearse si el resultado de la comparación muestra que la memoria intermedia es idéntica a la memoria intermedia existente. Dado que se elimina la memoria intermedia idéntica a la memoria intermedia existente de la memoria de la GPU, se puede ahorrar espacio de memoria.

La realización ilustrativa mostrada anteriormente es simplemente para propósitos ilustrativos, y la disposición de diversos componentes, lógicas, unidades, etc., no se limita a los mismos. El número de instancias, los datos de gráficos, las lógicas de tiempo de ejecución y las memorias intermedias en las figuras anteriores se muestran únicamente para propósitos de ejemplo, y el número de estos elementos no se limita a los mismos. En una realización, puede haber más de dos memorias intermedias en la memoria de la GPU, correspondiendo cada una de las cuales a datos de gráficos. En una realización, puede haber más de dos lógicas de tiempo de ejecución en la unidad de procesamiento, correspondiendo cada una a una instancia. En una realización, las lógicas de tiempo de ejecución y la lógica de eliminación de datos pueden implementarse mediante software, hardware o una combinación de los mismos. En una realización, las lógicas de tiempo de ejecución y la lógica de eliminación de datos pueden implementarse en una unidad de procesamiento general, un núcleo de procesamiento, una unidad central de procesamiento (CPU), un procesador de gráficos, una unidad de procesamiento de gráficos (GPU), un acelerador de hardware especializado, o un sistema informático, etc.

LaFigura 29Bes un diagrama de bloques de un sistema de procesamiento 2900, de acuerdo con una realización. Componentes similares que ya se han descrito enFigura 29Ano se detallan para mayor claridad. Dado que la comparación entre memorias intermedias daría como resultado un gran coste de cálculo, sería ventajoso transferir una porción de la comparación desde la lógica de eliminación de datos 2930 a un acelerador especializado para acelerar la comparación. Además de la lógica de eliminación de datos 2930 para comparar las memorias intermedias mapeadas por los datos de gráficos correspondientes, puede haber un acelerador de gráficos 2932 en la unidad de procesamiento 2902 para facilitar la comparación. El acelerador de gráficos 2932 puede recibir una solicitud de comparación entre las memorias intermedias 2916 y 2926 desde la lógica de eliminación de datos 2930. Después de la comparación, el acelerador de gráficos 2932 puede devolver un resultado que indica si las memorias intermedias son idénticas a la lógica de eliminación de datos 2930, transfiriendo de esta manera una porción del cálculo de la lógica de eliminación de datos 2930 al acelerador de gráficos 2932.

En una realización, el acelerador de gráficos 2932 puede ser un motor de copia o un motor blit, que puede copiar una memoria intermedia de datos desde una memoria de CPU a una memoria de GPU, o copiar una memoria intermedia de datos en una memoria de GPU de una posición a otra posición. Además de la funcionalidad de copia, el acelerador de gráficos 2932 puede lograr una comparación de la memoria intermedia de datos. Cuando el acelerador de gráficos 2932 copia los datos de gráficos 2912 a la memoria intermedia de la GPU 2916, puede generar una suma de comprobación correspondiente a la memoria intermedia 2916 para su posterior comparación. El acelerador de gráficos 2932 también puede generar una suma de comprobación correspondiente a la memoria intermedia 2926 durante la copia de los datos de gráficos 2922. Cuando el acelerador de gráficos 2932 recibe una solicitud de comparación de las memorias intermedias 2916 y 2926, puede comparar en primer lugar las sumas de comprobación de las dos memorias intermedias. Si las sumas de comprobación de las memorias intermedias 2916 y 2926 no son idénticas, el acelerador de gráficos 2932 puede devolver un resultado que indica que no es idéntico a la lógica de eliminación de datos 2930. Si las sumas de comprobación de las memorias intermedias 2916 y 2926 son idénticas, el acelerador de gráficos 2932 puede continuar comparando el contenido de las memorias intermedias 2916 y 2926, y, a continuación, devolver un resultado a la lógica de eliminación de datos 2930 que indica si las memorias intermedias 2916 y 2926 son idénticas.

Se puede generar una suma de comprobación de una memoria intermedia con los siguientes algoritmos. En una realización, la memoria intermedia se puede dividir en 32 o 16 subbloques, y se puede seleccionar un valor de posición media de cada subbloque para generar la suma de comprobación. Por ejemplo, para una memoria intermedia RGBA8888 donde cada píxel consume 4 bytes, 32 o 16 subbloques darán como resultado una suma de comprobación de 128 o 64 bytes. En otra realización, la memoria intermedia se puede dividir en 8 o 4 subbloques y se puede calcular una suma md5 de cada subbloque. Como cada md5sum es de 128 bits, es decir, 16 bytes, se obtendrá una suma de comprobación de 128 o 64 bytes. Se apreciará que los algoritmos de generación de suma de comprobación anteriores son meramente para propósitos ilustrativos, y también se pueden usar otros métodos apropiados para generar una suma de comprobación de la memoria intermedia.

La realización ilustrativa mostrada anteriormente es simplemente para propósitos ilustrativos, y la disposición de diversos componentes, lógicas, unidades, etc., no se limita a los mismos. El número de instancias, los datos de gráficos, las lógicas de tiempo de ejecución y las memorias intermedias en las figuras anteriores se muestran únicamente para propósitos de ejemplo, y el número de estos elementos no se limita a los mismos. En una realización, puede haber más de dos memorias intermedias en la memoria de la GPU, correspondiendo cada una de las cuales a datos de gráficos. En una realización, puede haber más de dos lógicas de tiempo de ejecución en la unidad de procesamiento, correspondiendo cada una a una instancia. En una realización, las lógicas de tiempo de ejecución, la lógica de eliminación de datos y el acelerador de gráficos pueden implementarse mediante software, hardware o una combinación de los mismos. En una realización, las lógicas de tiempo de ejecución, la lógica de eliminación de datos y el acelerador de gráficos pueden implementarse en una unidad de procesamiento general, un núcleo de procesamiento, una unidad central de procesamiento (CPU), un procesador de gráficos, una unidad de procesamiento de gráficos (GPU), un acelerador de hardware especializado, o un sistema informático, etc.

LaFigura 29Ces un diagrama de bloques de un sistema de procesamiento 2900, de acuerdo con una realización. El sistema de procesamiento 2900 comprende el sistema de almacenamiento 2901 acoplado a una unidad de procesamiento 2902. El sistema de procesamiento 2900 comprende además una memoria de GPU 2905 acoplada a la unidad de procesamiento 2902. En un entorno en la nube, una aplicación de gráficos podría ejecutarse muchas veces en la unidad de procesamiento 2902. Cada ejecución de la aplicación de gráficos genera una instancia en la unidad de procesamiento 2902 en un proceso, y la instancia mantiene sus datos de gráficos en una memoria intermedia correspondiente en la memoria de GPU 2905. Cuando se ejecuta una aplicación de gráficos en la unidad de procesamiento 2902, se genera una instancia 2910 que tiene datos de gráficos 2912 con una ID de datos única de la aplicación de gráficos en un proceso. La instancia 2910 carga un material gráfico tal como una memoria intermedia de textura, una memoria intermedia de vértices, una memoria intermedia uniforme o cualquier otro tipo de memoria intermedia correspondiente a los datos de gráficos 2912 desde el almacenamiento de sistema 2901, y asigna una memoria intermedia 2916 en la memoria de la GPU 2905 a través del motor de gráficos 2919 para la instancia 2910 en la unidad de procesamiento 2902 para contener el material de gráficos.

Cuando la aplicación de gráficos se ejecuta en la unidad de procesamiento 2902 por segunda vez, una instancia de gráficos 2920 que tiene datos de gráficos 2922 con un ID de datos único de la aplicación de gráficos se genera de manera similar en otro proceso, y la instancia 2920 también carga un material de gráficos correspondiente a los datos de gráficos 2922 y asigna una memoria intermedia 2926 en la memoria de GPU 2905 a través del motor de gráficos 2929 para la instancia 2920 en la unidad de procesamiento 2902 para contener el material de gráficos.

Una lógica de eliminación de datos 2930 implementada en la unidad de procesamiento 2902 en un proceso puede interactuar con los motores de gráficos 2919 y 2929 para compartir la memoria intermedia cuando hay ancho de banda o recurso adicional para la unidad de procesamiento 2902. Para compartir memorias intermedias de GPU mapeadas por los datos de gráficos a través de diferentes procesos correspondientes a diferentes instancias, existen diferentes mecanismos de compartición para diferentes sistemas operativos, tales como un mecanismo de compartición de memoria intermedia de GPU basado en un descriptor de archivo primario, un identificador de nombre global, o un manejador de recurso global más la llamada de función OpenSharedResource() de DirectX, etc. Con el uso de un mecanismo de compartición de memoria intermedia de GPU, la lógica de eliminación de datos 2930 puede comparar la memoria intermedia 2916 con la memoria intermedia 2926. Si la lógica de eliminación de datos 2930 determina que la memoria intermedia 2916 es idéntica a la memoria intermedia 2926, la lógica de eliminación de datos 2930 puede notificar al motor de gráficos 2929 que la memoria intermedia 2926 es un duplicado de la memoria intermedia 2916, por ejemplo, enviando un mensaje. A continuación, el motor de gráficos 2929 puede remapear los datos de gráficos 2922 a la memoria intermedia 2916, y la memoria intermedia 2926 puede eliminarse de la memoria de la GPU 2905. De esta manera, las memorias intermedias mapeadas por otros datos de gráficos pueden compararse cada una con una memoria intermedia existente mapeada por los datos de gráficos existentes y los datos de gráficos pueden remapearse si el resultado de la comparación muestra que la memoria intermedia es idéntica a la memoria intermedia existente. Dado que se elimina la memoria intermedia idéntica a la memoria intermedia existente de la memoria de la GPU, se puede ahorrar espacio de memoria.

La realización ilustrativa mostrada anteriormente es simplemente para propósitos ilustrativos, y la disposición de diversos componentes, lógicas, unidades, etc., no se limita a los mismos. El número de instancias, los datos de gráficos, los motores de gráficos y las memorias intermedias en las figuras anteriores se muestran únicamente para propósitos de ejemplo, y el número de estos elementos no se limita a los mismos. En una realización, puede haber más de dos memorias intermedias en la memoria de la GPU, correspondiendo cada una de las cuales a datos de gráficos. En una realización, puede haber más de dos motores de gráficos en la unidad de procesamiento, correspondiendo cada una a una instancia. En una realización, los motores de gráficos y la lógica de eliminación de datos pueden implementarse mediante software, hardware o una combinación de los mismos. En una realización, los motores de gráficos y la lógica de eliminación de datos pueden implementarse en una unidad de procesamiento general, un núcleo de procesamiento, una unidad central de procesamiento (CPU), un procesador de gráficos, una unidad de procesamiento de gráficos (GPU), un acelerador de hardware especializado, o un sistema informático, etc.

LaFigura 29Des un diagrama de bloques de un sistema de procesamiento 2900, de acuerdo con una realización. Componentes similares que ya se han descrito enFigura 29Cno se detallan para mayor claridad. Dado que la comparación entre memorias intermedias daría como resultado un gran coste de cálculo, sería ventajoso transferir una porción de la comparación desde la lógica de eliminación de datos 2930 a un acelerador especializado para acelerar la comparación. Además de la lógica de eliminación de datos 2930 para comparar las memorias intermedias mapeadas por los datos de gráficos correspondientes, puede haber un acelerador de gráficos 2932 en la unidad de procesamiento 2902 para facilitar la comparación. El acelerador de gráficos 2932 puede recibir una solicitud de comparación entre las memorias intermedias 2916 y 2926 desde la lógica de eliminación de datos 2930. Después de la comparación, el acelerador de gráficos 2932 puede devolver un resultado que indica si las memorias intermedias son idénticas a la lógica de eliminación de datos 2930, transfiriendo de esta manera una porción del cálculo de la lógica de eliminación de datos 2930 al acelerador de gráficos 2932.

La realización ilustrativa mostrada anteriormente es simplemente para propósitos ilustrativos, y la disposición de diversos componentes, lógicas, unidades, etc., no se limita a los mismos. El número de instancias, los datos de gráficos, los motores de gráficos y las memorias intermedias en las figuras anteriores se muestran únicamente para propósitos de ejemplo, y el número de estos elementos no se limita a los mismos. En una realización, puede haber más de dos memorias intermedias en la memoria de la GPU, correspondiendo cada una de las cuales a datos de gráficos. En una realización, puede haber más de dos motores de gráficos en la unidad de procesamiento, correspondiendo cada una a una instancia. En una realización, los motores de gráficos, la lógica de eliminación de datos y el acelerador de gráficos pueden implementarse mediante software, hardware o una combinación de los mismos. En una realización, los motores de gráficos, la lógica de eliminación de datos y el acelerador de gráficos pueden implementarse en una unidad de procesamiento general, un núcleo de procesamiento, una unidad central de procesamiento (CPU), un procesador de gráficos, una unidad de procesamiento de gráficos (GPU), un acelerador de hardware especializado, o un sistema informático, etc.

LaFigura 30ilustra un mapeo entre una pluralidad de datos de gráficos y memorias intermedias en un sistema de procesamiento, de acuerdo con una realización. Para una instancia 3000 que contiene una pluralidad de datos de gráficos 3002, 3004 y 3006, los datos de gráficos 3002 se asignan a una memoria intermedia 3022 en una memoria de la GPU 3020, los datos de gráficos 3004 se asignan a una memoria intermedia 3024 en la memoria de la GPU 3020, y los datos de gráficos 3006 se asignan a una memoria intermedia 3026 en la memoria de la GPU 3020. Para una instancia 3010 que contiene una pluralidad de datos de gráficos 3012, 3014 y 3016, los datos de gráficos 3012 se asignan a una memoria intermedia 3042 en la memoria de la GPU 3020, los datos de gráficos 3014 se asignan a una memoria intermedia 3044 en la memoria de la GPU 3020, y los datos de gráficos 3016 se asignan a una memoria intermedia 3046 en la memoria de la GPU 3020. Después de realizar la comparación entre la pluralidad de memorias intermedias 3022-3046, se puede determinar que la memoria intermedia 3042 es idéntica a la memoria intermedia 3022 y que la memoria intermedia 3044 es idéntica a la memoria intermedia 3024. A continuación, los datos de gráficos 3012 pueden remapearse a la memoria intermedia 3022, y los datos de gráficos 3014 pueden remapearse a la memoria intermedia 3024. En consecuencia, las memorias intermedias 3042 y 3044 se pueden eliminar de la memoria de GPU 3020. De esta manera, las memorias intermedias mapeadas por otros datos de gráficos pueden compararse cada una con una memoria intermedia existente mapeada por los datos de gráficos existentes y los datos de gráficos pueden remapearse si el resultado de la comparación muestra que la memoria intermedia es idéntica a la memoria intermedia existente. Dado que se elimina la memoria intermedia idéntica a la memoria intermedia existente de la memoria de la GPU, se puede ahorrar espacio de memoria.

Con el uso de la lógica de eliminación de datos, una pluralidad de datos de gráficos que están mapeados a las memorias intermedias de GPU con contenido duplicado se puede remapear a la misma memoria intermedia y, por lo tanto, los datos duplicados se pueden eliminar para ahorrar espacio de memoria.

LaFigura 31ilustra un método 3100 de compartición de memoria intermedia, de acuerdo con una realización. En una realización, el método 3100 puede realizarse mediante una unidad de procesamiento general, una unidad central de procesamiento (CPU), un procesador de gráficos, una unidad de procesamiento de gráficos (GPU), un acelerador de hardware especializado o un sistema informático, etc.

En el bloque 3102, una unidad de procesamiento puede recibir una pluralidad de datos de gráficos que comprenden primeros datos de gráficos. Cada uno de la pluralidad de datos de gráficos se puede mapear a una memoria intermedia correspondiente en una memoria de GPU, por ejemplo, los primeros datos de gráficos pueden mapearse a una primera memoria intermedia en la memoria de GPU.

En el bloque 3104, la unidad de procesamiento puede recibir segundos datos de gráficos y los segundos datos de gráficos pueden mapearse a una segunda memoria intermedia en la memoria de la GPU.

En el bloque 3106, la primera memoria intermedia mapeada por los primeros datos de gráficos se puede comparar, mediante una lógica de eliminación de datos, con la segunda memoria intermedia mapeada por los segundos datos de gráficos.

En el bloque 3108, la unidad de procesamiento puede reasignar los segundos datos de gráficos a la primera memoria intermedia si la primera memoria intermedia es idéntica a la segunda memoria intermedia. De esta manera, las memorias intermedias mapeadas por otros datos de gráficos pueden compararse cada una con una memoria intermedia existente mapeada por los datos de gráficos existentes y los datos de gráficos pueden remapearse si el resultado de la comparación muestra que la memoria intermedia es idéntica a la memoria intermedia existente. Dado que se elimina la memoria intermedia idéntica a la memoria intermedia existente de la memoria de la GPU, se puede ahorrar espacio de memoria.

En una realización, cada uno de la pluralidad de datos de gráficos puede tener un ID de datos correspondiente. Se pueden recibir datos de gráficos junto con un ID de datos.

En una realización, la memoria intermedia correspondiente en la memoria de la GPU mapeada por los datos de gráficos puede tener un indicador de memoria intermedio único. En una realización, el indicador de memoria intermedia puede ser un manejador de memoria intermedia para indicar una memoria intermedia única en la memoria de la GPU. En una realización, el manejador de memoria intermedia puede ser un descriptor de archivo principal. Se pueden recibir datos de gráficos junto con un indicador de memoria intermedia. En una realización, se puede enviar un mensaje para cambiar un indicador de memoria intermedia de la segunda memoria intermedia en los segundos datos de gráficos a un indicador de memoria intermedia de la primera memoria intermedia para remapear los segundos datos de gráficos a la primera memoria intermedia, en donde el indicador de memoria intermedia de la segunda memoria intermedia puede destruirse.

En una realización, un ID de datos de los segundos datos de gráficos que inicialmente está vinculado con el indicador de memoria intermedia de la segunda memoria intermedia puede vincularse con el indicador de memoria intermedia de la primera memoria intermedia después de que se cambia el indicador de memoria intermedia de la segunda memoria intermedia en los segundos datos de gráficos.

En la invención, la lógica de eliminación de datos incrementa el recuento de un indicador de memoria intermedia de la primera memoria intermedia después de que los segundos datos de gráficos se remapean a la primera memoria intermedia. El recuento del indicador de memoria intermedia de la primera memoria intermedia se reduce mediante la lógica de eliminación de datos cuando los segundos datos de gráficos se eliminan después de que los segundos datos de gráficos se remapean a la primera memoria intermedia. Cada uno de los recuentos de diferentes indicadores de memoria intermedia correspondientes a una misma instancia de una aplicación de gráficos se reduce mediante la lógica de eliminación de datos cuando la instancia finaliza después de que se remapean los segundos datos de gráficos a la primera memoria intermedia.

En una realización, la segunda memoria intermedia se puede eliminar de la memoria de la GPU.

En una realización, la primera memoria intermedia y la segunda memoria intermedia pueden ser de tamaño grande y constantes a lo largo del tiempo.

En una realización, la primera memoria intermedia puede comprender al menos una de memoria intermedia de texturas, memoria intermedia de vértices y memoria intermedia uniforme.

En una realización, la comparación se puede realizar mediante software, hardware o una combinación de los mismos.

En una realización, la unidad de procesamiento tiene una pluralidad de lógicas de tiempo de ejecución y cada una comprende al menos un controlador de GPU.

En una realización, la unidad de procesamiento tiene una pluralidad de motores de gráficos.

LaFigura 32ilustra un método 3200 de compartición de memoria intermedia, de acuerdo con una realización. En una realización, el método 3200 puede realizarse mediante una unidad de procesamiento general, una unidad central de procesamiento (CPU), un procesador de gráficos, una unidad de procesamiento de gráficos (GPU), un acelerador de hardware especializado o un sistema informático, etc.

En el bloque 3202, una unidad de procesamiento puede recibir una pluralidad de datos de gráficos que comprenden primeros datos de gráficos. Cada uno de la pluralidad de datos de gráficos se puede mapear a una memoria intermedia correspondiente en una memoria de GPU, por ejemplo, los primeros datos de gráficos pueden mapearse a una primera memoria intermedia en la memoria de GPU.

En el bloque 3204, la unidad de procesamiento puede recibir segundos datos de gráficos y los segundos datos de gráficos pueden mapearse a una segunda memoria intermedia en la memoria de la GPU.

En una realización, cada uno de la pluralidad de datos de gráficos puede tener un atributo de datos correspondiente. Se pueden recibir datos de gráficos junto con un atributo de datos. En una realización, el atributo de datos puede comprender uno o más de anchura, altura, formato, distribución, unicidad de nombre y ser de sólo lectura.

En el bloque 3206, un atributo de datos de los primeros datos de gráficos se puede comparar, mediante una lógica de eliminación de datos, con un atributo de datos de los segundos datos de gráficos.

En el bloque 3208, se puede comparar una suma de comprobación de la primera memoria intermedia, mediante la lógica de eliminación de datos, con una suma de comprobación de la segunda memoria intermedia si el atributo de datos de los primeros datos de gráficos es idéntico al atributo de datos de los segundos datos de gráficos.

En el bloque 3210, se puede comparar el contenido de la primera memoria intermedia, mediante la lógica de eliminación de datos, con el contenido de la segunda memoria intermedia si la suma de comprobación de la primera memoria intermedia es idéntica a la suma de comprobación de la segunda memoria intermedia. En una realización, se puede comparar el contenido de la primera memoria intermedia con el contenido de la segunda memoria intermedia en una base por bytes.

En el bloque 3212, la unidad de procesamiento puede reasignar los segundos datos de gráficos a la primera memoria intermedia si el contenido de la primera memoria intermedia es idéntico al contenido de la segunda memoria intermedia. De esta manera, las memorias intermedias mapeadas por otros datos de gráficos pueden compararse cada una con una memoria intermedia existente mapeada por los datos de gráficos existentes y los datos de gráficos pueden remapearse si el resultado de la comparación muestra que la memoria intermedia es idéntica a la memoria intermedia existente. Dado que se elimina la memoria intermedia idéntica a la memoria intermedia existente de la memoria de la GPU, se puede ahorrar espacio de memoria.

En una realización, la comparación del atributo de datos de los datos de gráficos, la suma de comprobación de la memoria intermedia y el contenido de la memoria intermedia se puede realizar en una unidad de procesamiento general, una CPU, una GPU, un acelerador de gráficos especializado dentro de una GPU, una Acelerador de hardware especializado fuera de una CPU o GPU, o de un sistema informático.

En una realización, la comparación de la suma de comprobación y la comparación del contenido de la primera y segunda memorias intermedias se realiza cada una mediante un acelerador de gráficos. En una realización, el acelerador de gráficos puede generar una suma de comprobación de una memoria intermedia durante la copia de la memoria intermedia a la memoria de la GPU. Después de que la lógica de eliminación de datos determina que el atributo de datos de los primeros datos de gráficos es idéntico al atributo de datos de los segundos datos de gráficos, el acelerador de gráficos puede recibir una solicitud de comparación de la primera memoria intermedia y la segunda memoria intermedia, que puede comparar las sumas de comprobación de la primera memoria intermedia y la segunda memoria intermedia. Si las sumas de comprobación de la primera memoria intermedia y la segunda memoria intermedia son idénticas, se puede comparar el contenido de la primera memoria intermedia, por el acelerador de gráficos, con el contenido de la segunda memoria intermedia. El resultado de la comparación puede devolverse por el acelerador de gráficos a la lógica de eliminación de datos.

En una realización, la lógica de eliminación de datos incrementa el recuento de un indicador de memoria intermedia de la primera memoria intermedia después de que los segundos datos de gráficos se remapean a la primera memoria intermedia. El recuento del indicador de memoria intermedia de la primera memoria intermedia puede reducirse mediante la lógica de eliminación de datos cuando los segundos datos de gráficos se eliminan después de que los segundos datos de gráficos se remapean a la primera memoria intermedia. Cada uno de los recuentos de diferentes indicadores de memoria intermedia correspondientes a una misma instancia de una aplicación de gráficos puede reducirse mediante la lógica de eliminación de datos cuando la instancia finaliza después de que se remapean los segundos datos de gráficos a la primera memoria intermedia.

En una realización, se puede proporcionar un aparato de procesamiento. El aparato de procesamiento puede comprender una primera unidad para recibir una pluralidad de datos de gráficos que comprende primeros datos de gráficos, cada uno de la pluralidad de datos de gráficos mapeado a una memoria intermedia correspondiente en una memoria de unidad de procesamiento de gráficos (GPU), en donde los primeros datos de gráficos están mapeados a una primera memoria intermedia en la memoria de la GPU. El aparato de procesamiento puede comprender además una segunda unidad para recibir unos segundos datos de gráficos mapeados a una segunda memoria intermedia en la memoria de la GPU. El aparato de procesamiento puede comprender además una lógica de eliminación de datos acoplada a la primera unidad y a la segunda unidad, la lógica de eliminación de datos para comparar la primera memoria intermedia mapeada por los primeros datos de gráficos con la segunda memoria intermedia mapeada por los segundos datos de gráficos, en donde los segundos gráficos los datos se remapean a la primera memoria intermedia por la segunda unidad si la primera memoria intermedia es idéntica a la segunda memoria intermedia.

En una realización, el aparato de procesamiento puede ser una unidad de procesamiento general, un núcleo de procesamiento, una unidad central de procesamiento (CPU), un procesador de gráficos, una unidad de procesamiento de gráficos (GPU), un acelerador de hardware especializado o un sistema informático, etc.

Se pueden proporcionar porciones de diversas realizaciones como un producto de programa informático, que puede incluir un medio legible por ordenador que tiene almacenadas en el mismo instrucciones de programa informático, que se pueden usar para programar un ordenador (u otros dispositivos electrónicos) para su ejecución por uno o más procesadores para realizar un proceso de acuerdo con ciertas realizaciones. El medio legible por ordenador puede incluir, pero sin limitación, discos magnéticos, discos ópticos, memoria de solo lectura (ROM), memoria de acceso aleatorio (RAM), memoria de solo lectura programable y borrable (EPROM), memoria de solo lectura programable y borrable eléctricamente (EEPROM), tarjetas magnéticas u ópticas, memoria flash u otro tipo de medio legible por ordenador adecuado para almacenar instrucciones electrónicas. Además, las realizaciones también pueden descargarse como un producto de programa informático, en donde el programa puede transferirse desde un ordenador remoto a un ordenador solicitante. En algunas realizaciones, un medio de almacenamiento legible por ordenador no transitorio tiene almacenados datos en el mismo que representan secuencias de instrucciones que, cuando son ejecutadas por un procesador, hacen que el procesador realice ciertas operaciones.

Muchos de los métodos se describen en su forma más básica, pero se pueden añadir o eliminar procesos de cualquiera de los métodos y se puede añadir o restar información de cualquiera de los mensajes descritos sin alejarse del alcance básico de las presentes realizaciones. Será evidente para los expertos en la técnica que se pueden realizar muchas modificaciones y adaptaciones adicionales. Las realizaciones particulares no se proporcionan para limitar el concepto sino para ilustrarlo. El alcance de las realizaciones no está determinado por los ejemplos específicos proporcionados anteriormente, sino únicamente por las reivindicaciones a continuación.

Si se dice que un elemento "A" está acoplado a o con el elemento "B", el elemento A puede estar acoplado directamente al elemento B o estar acoplado indirectamente a través de, por ejemplo, el elemento C. Cuando la memoria descriptiva o las reivindicaciones establecen que un componente, rasgo, estructura, proceso o característica A "causa" un componente, rasgo, estructura, proceso o característica B, significa que "A" es al menos una causa parcial de "B", pero que también puede haber al menos otro componente, rasgo, estructura, proceso o característica que ayuda a causar "B". Si la especificación indica que un componente, rasgo, estructura, proceso o característica "puede", "podría" o "pudiera" incluirse, no es necesario que se incluya ese componente, rasgo, estructura, proceso o característica particular. Si la memoria descriptiva o reivindicación se refiere a "un" elemento, esto no significa que exista únicamente uno de los elementos descritos.

Una realización es una implementación o ejemplo. La referencia en la memoria descriptiva a "una realización", "algunas realizaciones" u "otras realizaciones" significa que un rasgo, estructura o característica particular descrito en relación con las realizaciones está incluido en al menos algunas realizaciones, pero no necesariamente en todas las realizaciones. Las diversas apariciones de "una realización", o "algunas realizaciones" no se refieren necesariamente todas a las mismas realizaciones. Debe apreciarse que, en la descripción anterior de realizaciones ilustrativas, se agrupan en ocasiones diversas características en una única realización, figura o descripción de la misma para el propósito de simplificar la divulgación y ayudar a la comprensión de uno o más de los diversos aspectos novedosos. Sin embargo, este método de divulgación no debe interpretarse como reflejo de la intención de que las realizaciones reivindicadas requieran más características de las que se mencionan expresamente en cada reivindicación. Más bien, como reflejan las siguientes reivindicaciones, los aspectos novedosos pueden radicar en menos de todas las características de una única realización divulgada anterior. Por lo tanto, las reivindicaciones se incorporan expresamente por la presente en esta descripción, siendo cada reivindicación por sí sola una realización separada.

La descripción y los dibujos anteriores deben considerarse en un sentido ilustrativo más que restrictivo.

Claims

REIVINDICACIONES

1. Un método (3100), que comprende:

recibir (3102) una pluralidad de datos de gráficos que comprende unos primeros datos de gráficos, cada uno de la pluralidad de datos de gráficos mapeado a una memoria intermedia correspondiente en una memoria de unidad de procesamiento de gráficos, GPU, en donde los primeros datos de gráficos se mapean a una primera memoria intermedia en la memoria de la GPU;

recibir (3104) unos segundos datos de gráficos mapeados a una segunda memoria intermedia en la memoria de la GPU;

comparar (3106) la primera memoria intermedia mapeada por los primeros datos de gráficos con la segunda memoria intermedia mapeada por los segundos datos de gráficos, comprendiendo la comparación:

comparar (3206) un atributo de datos de los primeros datos de gráficos con un atributo de datos de los segundos datos de gráficos;

comparar (3208) una suma de comprobación de la primera memoria intermedia con una suma de comprobación de la segunda memoria intermedia si el atributo de datos de los primeros datos de gráficos es idéntico al atributo de datos de los segundos datos de gráficos; y

comparar (3210) el contenido de la primera memoria intermedia con el contenido de la segunda memoria intermedia si la suma de comprobación de la primera memoria intermedia es idéntica a la suma de comprobación de la segunda memoria intermedia;

remapear (3108) los segundos datos de gráficos a la primera memoria intermedia si la primera memoria intermedia es idéntica a la segunda memoria intermedia;

incrementar un recuento de un indicador de memoria intermedia de la primera memoria intermedia después del remapeo;

reducir el recuento del indicador de memoria intermedia de la primera memoria intermedia cuando los segundos datos de gráficos se eliminan después del remapeo; y

reducir cada uno de los recuentos de diferentes indicadores de memoria intermedia correspondientes a una misma instancia de una aplicación de gráficos cuando la instancia finaliza después del remapeo.

2. El método de la reivindicación 1, en donde el remapeo (3108) comprende, además:

cambiar un indicador de memoria intermedia de la segunda memoria intermedia en los segundos datos de gráficos a un indicador de memoria intermedia de la primera memoria intermedia y eliminar la segunda memoria intermedia de la memoria de GPU, en donde el indicador de memoria intermedia de la segunda memoria intermedia se destruye, un ID de datos de los segundos datos de gráficos que inicialmente está vinculado con el indicador de memoria intermedia de la segunda memoria intermedia que está vinculado con el indicador de memoria intermedia de la primera memoria intermedia después de la conmutación, y el indicador de memoria intermedia que comprende un manejador de memoria intermedia para indicar una memoria intermedia única en la memoria de la GPU.

3. Un aparato de procesamiento que comprende:

un almacenamiento de datos para almacenar una pluralidad de datos de gráficos; y

una o más unidades de procesamiento acopladas al almacenamiento de datos, la una o más unidades de procesamiento configuradas para:

recibir (3102) unos primeros datos de gráficos de la pluralidad de datos de gráficos, en donde los primeros datos de gráficos se mapean a una primera memoria intermedia en una memoria de unidad de procesamiento de gráficos, GPU; recibir (3104) unos segundos datos de gráficos de la pluralidad de datos de gráficos, en donde los segundos datos de gráficos se mapean a una segunda memoria intermedia en la memoria de la GPU;

incrementar un recuento de un indicador de memoria intermedia de la primera memoria intermedia después de que los segundos datos de gráficos se remapeen a la primera memoria intermedia;

reducir el recuento del indicador de memoria intermedia de la primera memoria intermedia cuando los segundos datos de gráficos se eliminan; y

reducir cada uno de los recuentos de diferentes indicadores de memoria intermedia correspondientes a una misma instancia de una aplicación de gráficos cuando la instancia finaliza.

4. El aparato de procesamiento de la reivindicación 3, en donde la una o más unidades de procesamiento están configuradas además para:

cambiar un indicador de memoria intermedia de la segunda memoria intermedia en los segundos datos de gráficos a un indicador de memoria intermedia de la primera memoria intermedia para remapear los segundos datos de gráficos a la primera memoria intermedia, en donde el indicador de memoria intermedia de la segunda memoria intermedia se destruye, en donde un ID de datos de los segundos datos de gráficos que inicialmente están vinculados con el indicador de memoria intermedia de la segunda memoria intermedia que se vinculan con el indicador de memoria intermedia de la primera memoria intermedia después de que se cambia el indicador de memoria intermedia de la segunda memoria intermedia en los segundos datos de gráficos, y el indicador de memoria intermedia que comprende un manejador de memoria intermedia para indicar una memoria intermedia única en la memoria de la GPU.

5. El aparato de procesamiento de una cualquiera de las reivindicaciones 3 o 4, en donde cada una de la una o más unidades de procesamiento tiene una pluralidad de lógicas de tiempo de ejecución y cada una comprende al menos un controlador de GPU.

6. El aparato de procesamiento de una cualquiera de las reivindicaciones 3-5, en donde cada una de la una o más unidades de procesamiento tiene una pluralidad de motores de gráficos.

7. El aparato de procesamiento de una cualquiera de las reivindicaciones 3-6, en donde cada una de la una o más unidades de procesamiento comprende además un acelerador de gráficos para comparar la suma de comprobación y comparar el contenido de las primeras y segundas memorias intermedias.

8. El aparato de procesamiento de una cualquiera de las reivindicaciones 3-7, en donde la segunda memoria intermedia se elimina de la memoria de la GPU.

9. Al menos un medio legible por ordenador que comprende instrucciones que, cuando se ejecutan, hacen que un dispositivo informático realice el método de cualquiera de las reivindicaciones 1 o 2.