ES3032136T3 - Power-based and target-based graphics quality adjustment - Google Patents

Power-based and target-based graphics quality adjustment

Info

Publication number
ES3032136T3
ES3032136T3 ES18167862T ES18167862T ES3032136T3 ES 3032136 T3 ES3032136 T3 ES 3032136T3 ES 18167862 T ES18167862 T ES 18167862T ES 18167862 T ES18167862 T ES 18167862T ES 3032136 T3 ES3032136 T3 ES 3032136T3
Authority
ES
Spain
Prior art keywords
graphics
processing
memory
processor
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
ES18167862T
Other languages
English (en)
Inventor
Abhishek R Appu
Stanley J Baran
Sang-Hee Lee
Atthar H Mohammed
Jong Dae Oh
Hiu-Fai R Chan
Jill M Boyce
Fangwen Fu
Satya N Yedidi
Sumit Mohan
James M Holland
Keith W Rowe
Altug Koker
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intel Corp
Original Assignee
Intel Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intel Corp filed Critical Intel Corp
Application granted granted Critical
Publication of ES3032136T3 publication Critical patent/ES3032136T3/es
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3206—Monitoring of events, devices or parameters that trigger a change in power modality
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3234—Power saving characterised by the action undertaken
    • G06F1/325—Power saving in peripheral device
    • G06F1/3265—Power saving in display device
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/60—Memory management
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/003—Details of a display terminal, the details relating to the control arrangement of the display terminal and to the interfaces thereto
    • G09G5/006—Details of the interface to the display terminal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/156—Availability of hardware or computational resources, e.g. encoding based on power-saving criteria
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3206—Monitoring of events, devices or parameters that trigger a change in power modality
    • G06F1/3212—Monitoring battery levels, e.g. power saving mode being initiated when battery voltage goes below a certain level
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/16—Indexing scheme for image data processing or generation, in general involving adaptation to the client's capabilities
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/52—Parallel processing
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2330/00—Aspects of power supply; Aspects of display protection and defect management
    • G09G2330/02—Details of power systems and of start or stop of display operation
    • G09G2330/021—Power management, e.g. power saving
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/0407—Resolution change, inclusive of the use of different resolutions for different screen areas
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Generation (AREA)
  • Image Processing (AREA)

Abstract

Una realización de un sistema de procesamiento electrónico puede incluir un procesador de aplicación, un medio de almacenamiento persistente acoplado comunicativamente al procesador de aplicación, un subsistema de gráficos acoplado comunicativamente al procesador de aplicación, un analizador de presupuesto de energía para identificar un presupuesto de energía para uno o más del procesador de aplicación, el medio de almacenamiento persistente y el subsistema de gráficos, un analizador de objetivos acoplado comunicativamente al subsistema de gráficos para identificar un objetivo para el subsistema de gráficos, y un ajustador de parámetros para ajustar uno o más parámetros del subsistema de gráficos en función de uno o más del presupuesto de energía identificado y el objetivo identificado. (Traducción automática con Google Translate, sin valor legal)

Description

DESCRIPCIÓN
Ajuste de calidad de gráficos basado en objetivo y basado en potencia
CAMPO TÉCNICO
La invención se refiere en general al procesamiento de datos y al procesamiento de gráficos a través de una unidad de procesamiento de gráficos. Más particularmente, las realizaciones de refieren ajuste de calidad de gráficos basado en objetivo y basado en potencia.
ANTECEDENTES
En arquitecturas de procesamiento de gráficos, los dispositivos fuente (p. ej., cámaras, reproductores de medios, descodificadores, consolas de juegos, etc.,) pueden codificar contenido de vídeo antes de la transmisión del contenido de vídeo sobre un enlace por cable o inalámbrico a un dispositivo disipador (p. ej., pantalla, receptor). Diferentes tipos de esquemas de codificación de tramas pueden usarse para mejorar la eficiencia de codificación (p. ej., obtener la mejor calidad de vídeo a una tasa de bits específica). Por ejemplo, pueden seleccionarse codificadores de vídeo avanzados entre el uso de tramas intracodificadas (tramas I), tramas codificadas por interpredicción (tramas P) y tramas codificadas por interpredicción bidireccional (tramas B), en función de factores tales como la existencia de cambios de escena. Se pueden aplicar varios ajustes, parámetros y configuraciones a varias operaciones de codificación/decodificación.
Los ejemplos de la técnica anterior están por ejemplo en los documentos US 2012/131362 A1, US 2005/213929 A1, WO 2011/031692 A2, JP 2008 131140 A y WO 2006/000964 A1.
BREVE DESCRIPCIÓN DE LOS DIBUJOS
Las diversas ventajas de las realizaciones se volverán evidentes para los expertos en la materia al leer la siguiente memoria descriptiva y las reivindicaciones adjuntas, y al hacer referencia a los siguientes dibujos, en los que: la Figura 1 es un diagrama de bloques que ilustra un sistema informático configurado para implementar uno o más aspectos de las realizaciones descritas en el presente documento;
las Figuras 2A-2D ilustran unos componentes de procesador paralelo, de acuerdo con una realización;
las Figuras 3A-3B son diagramas de bloques de multiprocesadores de gráficos, de acuerdo con las realizaciones; las Figuras 4A-4F ilustran una arquitectura ilustrativa en la que una pluralidad de GPU está comunicativamente acoplada a una pluralidad de procesadores de múltiples núcleos;
la Figura 5 ilustra una canalización de procesamiento de gráficos, de acuerdo con una realización;
la Figura 6 es un diagrama de bloques de un ejemplo de un sistema de procesamiento electrónico de acuerdo con una realización;
la Figura 7 es un diagrama de bloques de un ejemplo de un aparato de gráficos de acuerdo con una realización; las Figuras 8A-8C son diagramas de flujo de un ejemplo de un método de ajuste de un parámetro de gráficos de acuerdo con una realización;
la figura 8D es un gráfico ilustrativo de un ejemplo de tasa de bits frente a tiempo de codificación de trama de acuerdo con una realización;
las Figuras 8E a 8F son diagramas ilustrativos de ejemplos de una trama que incluye datos de imagen de acuerdo con una realización;
la Figura 8G es un diagrama de bloques de un ejemplo de un sistema de gráficos de acuerdo con una realización; la figura 8H es un diagrama ilustrativo de un ejemplo de un bloque para búsqueda de vectores de movimiento de acuerdo con una realización;
la Figura 9 es un diagrama de bloques de un ejemplo de un aparato de gráficos de acuerdo con una realización; la Figura 10A es un diagrama de flujo de otro ejemplo de un método de ajuste de un parámetro de gráficos de acuerdo con una realización;
las Figuras 10B a 10E son diagramas ilustrativos de ejemplos de estructuras de jerarquía temporal de acuerdo con una realización;
la Figura 10F es un diagrama de bloques de otro ejemplo de un aparato de gráficos de acuerdo con una realización; la Figura 11 es un diagrama de bloques de un ejemplo de una pantalla con capacidad de retroiluminación localizada de acuerdo con una realización;
la Figura 12A es un diagrama de bloques de un ejemplo de un dispositivo de procesamiento de datos de acuerdo con una realización;
la Figura 12B es una ilustración de un ejemplo de una determinación de distancia de acuerdo con una realización; la Figura 13 es un diagrama de bloques de un ejemplo de una arquitectura de visualización en capas de acuerdo con una realización;
la Figura 14 es un diagrama de bloques de un ejemplo de una arquitectura de visualización que incluye múltiples unidades de visualización de acuerdo con una realización;
la Figura 15 es un diagrama de bloques de un ejemplo de una arquitectura de suministro de medios asistidos por la nube de acuerdo con una realización;
las Figuras 16-18 son diagramas de bloques de un ejemplo de una vista general de un sistema de procesamiento de datos de acuerdo con una realización;
la Figura 19 es un diagrama de bloques de un ejemplo de un motor de procesamiento de gráficos de acuerdo con una realización;
las Figuras 20-22 son diagramas de bloques de ejemplos de unidades de ejecución de acuerdo con una realización; la Figura 23 es un diagrama de bloques de un ejemplo de canalización de gráficos de acuerdo con una realización; las Figuras 24A-24B son diagramas de bloques de ejemplos de programación de canalización de gráficos de acuerdo con una realización;
la Figura 25 es un diagrama de bloques de un ejemplo de una arquitectura de software de gráficos de acuerdo con una realización;
la Figura 26 es un diagrama de bloques de un ejemplo de un sistema de desarrollo central de propiedad intelectual (PI) de acuerdo con una realización; y
la Figura 27 es un diagrama de bloques de un ejemplo de un sistema en un circuito integrado de chip de acuerdo con una realización.
DESCRIPCIÓN DETALLADA
En la siguiente descripción, se exponen numerosos detalles específicos para facilitar una comprensión más completa de la presente invención. Sin embargo, será evidente para un experto en la materia que la presente invención se puede poner en práctica sin uno o más de estos detalles específicos. En otros casos, no se han descrito características bien conocidas para evitar complicar la presente invención.
Vista general del sistema
La Figura 1 es un diagrama de bloques que ilustra un sistema informático 100 configurado para implementar uno o más aspectos de las realizaciones descritas en el presente documento. El sistema informático 100 incluye un subsistema de procesamiento 101 que tiene uno o más procesadores 102 y una memoria de sistema 104 que se comunican mediante una ruta de interconexión que puede incluir un concentrador de memoria 105. El concentrador de memoria 105 puede ser un componente separado dentro de un componente de conjunto de chips o puede estar integrado dentro de uno o más procesadores 102. El concentrador de memoria 105 se acopla con un subsistema de E/S 111 a través de un enlace de comunicación 106. El subsistema de E/S 111 incluye un concentrador de E/S 107 que puede permitir que el sistema informático 100 reciba entradas de uno o más dispositivos de entrada 108. Además, el concentrador de E/S 107 puede permitir a un controlador de visualización, que puede estar incluido en uno o más procesadores 102, proporcionar salidas a uno o más dispositivos de visualización 110A. En una realización, el/los uno o más dispositivos de visualización 110A acoplados con el concentrador de E/S 107 pueden incluir un dispositivo de visualización local, interno o embebido.
En una realización, el subsistema de procesamiento 101 incluye uno o más procesadores paralelos 112 acoplados al concentrador de memoria 105 mediante un bus u otro enlace de comunicación 113. El enlace de comunicación 113 puede ser uno de cualquier número de tecnologías o protocolos de enlace de comunicación basados en normas, tales como, aunque no de forma limitativa, PCI Express, o puede ser una interfaz de comunicaciones o estructura de comunicaciones específica del proveedor. En una realización, el uno o más procesadores paralelos 112 forman un sistema de procesamiento paralelo o vectorial centrado en la computación que puede incluir una gran cantidad de núcleos de procesamiento y/o agrupaciones de procesamiento, tales como un procesador de núcleos integrados múltiples (MIC). En una realización, el uno o más procesadores paralelos 112 forman un subsistema de procesamiento de gráficos que puede enviar píxeles a uno del uno o más dispositivos de visualización 110A acoplados a través del concentrador de E/S 107. El uno o más procesadores paralelos 112 también pueden incluir un controlador de visualización y una interfaz de visualización (no se muestra) para permitir una conexión directa a uno o más dispositivos de visualización 110B.
Dentro del subsistema de E/S 111, una unidad de almacenamiento del sistema 114 puede conectarse al concentrador de E/S 107 para proporcionar un mecanismo de almacenamiento para el sistema informático 100. Se puede utilizar un conmutador de E/S 116 para proporcionar un mecanismo de interfaz para permitir conexiones entre el concentrador de E/S 107 y otros componentes, tales como un adaptador de red 118 y/o un adaptador de red inalámbrica 119 que pueden estar integrados en la plataforma, y diversos otros dispositivos que pueden añadirse mediante uno o más dispositivos complementarios 120. El adaptador de red 118 puede ser un adaptador de Ethernet u otro adaptador de red cableada. El adaptador de red inalámbrica 119 puede incluir uno o más de un dispositivo de red Wi-Fi, Bluetooth, de comunicación de campo cercano (NFC) o de otro tipo que incluye una o más radios inalámbricas.
El sistema informático 100 puede incluir otros componentes no mostrados explícitamente, incluyendo conexiones USB u otros puertos, unidades de almacenamiento óptico, dispositivos de captura de vídeo y similares, que también pueden estar conectados al concentrador de E/S 107. Las rutas de comunicación que interconectan los diversos componentes en la Figura 1 se pueden implementar usando cualquier protocolo adecuado, tal como protocolos basados en PCI (Interconexión de Componentes Periféricos) (por ejemplo, PCI-Express), o cualesquiera otras interfaces de comunicación de bus o de punto a punto y/o protocolo o protocolos, tal como la interconexión de alta velocidad NVLink o protocolos de interconexión conocidos en la técnica.
En una realización, el uno o más procesadores paralelos 112 incorporan circuitería optimizada para procesamiento de gráficos y vídeo, incluyendo, por ejemplo, circuitería de salida de vídeo, y constituyen una unidad de procesamiento de gráficos (GPU). En otra realización, el uno o más procesadores paralelos 112 incorporan circuitería optimizada para el procesamiento de propósito general, preservando la arquitectura de cálculo subyacente, descrita con mayor detalle en la presente memoria. En otra realización, los componentes del sistema informático 100 se pueden integrar con uno o más elementos del sistema en un único circuito integrado. Por ejemplo, el uno o más procesadores paralelos 112, el concentrador de memoria 105, el (los) procesador(es) 102 y el concentrador de E/S 107 se pueden integrar en un circuito integrado de sistema en chip (SoC). Alternativamente, los componentes del sistema informático 100 pueden integrarse en un solo paquete para formar una configuración de sistema en paquete (SIP). En una realización, al menos una porción de los componentes del sistema informático 100 puede integrarse en un módulo de múltiples chips (MCM), que puede interconectarse con otros módulos de múltiples chips para dar un sistema informático modular.
Se apreciará que el sistema informático 100 mostrado en el presente documento es ilustrativo y que son posibles variaciones y modificaciones. La topología de conexión, incluyendo el número y disposición de puentes, el número de procesador(es) 102, y el número de procesador(es) paralelo(s) 112, puede modificarse como se desee. Por ejemplo, en algunas realizaciones, la memoria del sistema 104 se conecta al procesador(es) 102 directamente en lugar de a través de un puente, mientras que otros dispositivos se comunican con la memoria del sistema 104 por medio del concentrador de memoria 105 y el(los) procesador(es) 102. En otras topologías alternativas, el(los) procesador(es) paralelo(s) 112 se conecta(n) al concentrador de E/S 107 o directamente a uno del uno o más procesadores 102, en lugar de al concentrador de memoria 105. En otras realizaciones, el concentrador de E/S 107 y el concentrador de memoria 105 se pueden integrar en un único chip. Algunas realizaciones pueden incluir dos o más conjuntos de procesadores 102 conectados a través de múltiples conectores, que pueden acoplarse con dos o más instancias del procesador o procesadores paralelos 112.
Algunos de los componentes que se muestran en la presente memoria son opcionales y pueden no incluirse en todas las implementaciones del sistema informático 100. Por ejemplo, puede admitirse cualquier número de tarjetas o periféricos complementarios, o se pueden eliminar algunos componentes. Además, algunas arquitecturas pueden utilizar una terminología diferente para componentes similares a los ilustrados en la Figura 1. Por ejemplo, el concentrador de memoria 105 puede denominarse Northbridge en algunas arquitecturas, mientras que el concentrador de E/S 107 puede denominarse Southbridge.
La Figura 2A ilustra un procesador paralelo 200, de acuerdo con una realización. Los diversos componentes del procesador paralelo 200 pueden implementarse utilizando uno o más dispositivos de circuito integrado, tales como procesadores programables, circuitos integrados específicos de la aplicación (ASIC) o matrices de puertas programables en campo (FPGA). El procesador paralelo 200 ilustrado es una variante del uno o más procesadores paralelos 112 mostrados en la Figura 1, de acuerdo con una realización.
En una realización, el procesador paralelo 200 incluye una unidad de procesamiento paralelo 202. La unidad de procesamiento paralelo incluye una unidad de E/S 204 que permite la comunicación con otros dispositivos, incluyendo otras instancias de la unidad de procesamiento paralelo 202. La unidad de E/S 204 puede conectarse directamente a otros dispositivos. En una realización, la unidad de E/S 204 se conecta con otros dispositivos mediante el uso de un concentrador o una interfaz de conmutación, tal como el concentrador de memoria 105. Las conexiones entre el concentrador de memoria 105 y la unidad de E/S 204 forman un enlace de comunicación 113. Dentro de la unidad de procesamiento paralelo 202, la unidad de E/S 204 se conecta con una interfaz anfitrión 206 y una barra transversal de memoria 216, donde la interfaz anfitrión 206 recibe órdenes dirigidas a llevar a cabo operaciones de procesamiento y la barra transversal de memoria 216 recibe órdenes dirigidas a llevar a cabo operaciones de memoria.
Cuando la interfaz de anfitrión 206 recibe una memoria intermedia de comandos a través de la unidad de E/S 204, la interfaz de anfitrión 206 puede dirigir las operaciones de trabajo para ejecutar esos comandos a un extremo frontal 208. En una realización, el extremo frontal 208 se acopla con un planificador 210, que está configurado para distribuir comandos u otros elementos de trabajo a una matriz de agrupaciones de procesamiento 212. En una realización, el planificador 210 garantiza que la matriz de agrupaciones de procesamiento 212 esté configurada correctamente y en un estado válido antes de que las tareas se distribuyan a las agrupaciones de procesamiento de la matriz de agrupaciones de procesamiento 212. En una realización, el planificador 210 se implementa a través de una lógica de firmware que se ejecuta en un microcontrolador. El planificador 210 implementado en el microcontrolador se puede configurar para realizar operaciones complejas de planificación y distribución de trabajo con granularidad gruesa y fina, lo que permite una rápida interrupción y cambio de contexto de los subprocesos que se ejecutan en la matriz de procesamiento 212. En una realización, el software anfitrión puede proporcionar cargas de trabajo para la planificación en la matriz de procesamiento 212 a través de uno de los múltiples timbres de procesamiento de gráficos. Las cargas de trabajo se pueden distribuir automáticamente a través de la matriz de procesamiento 212 mediante la lógica del planificador 210 dentro del microcontrolador del planificador.
La matriz de agrupaciones de procesamiento 212 puede incluir hasta "N" agrupaciones de procesamiento (por ejemplo, la agrupación 214A, la agrupación 214B, hasta la agrupación 214N). Cada agrupación 214A a 214N de la matriz de agrupaciones de procesamiento 212 puede ejecutar un gran número de subprocesos concurrentes. El planificador 210 puede asignar trabajo a las agrupaciones 214A-214N de la matriz de agrupaciones de procesamiento 212 usando diversos algoritmos de planificación y/o distribución de trabajo, que pueden variar dependiendo de la carga de trabajo que surge para cada tipo de programa o cálculo. La planificación puede ser manejada dinámicamente por el planificador 210, o puede ser asistida en parte por la lógica del compilador durante la compilación de la lógica del programa configurada para la ejecución por la matriz de agrupaciones de procesamiento 212. En una realización, se pueden asignar diferentes agrupaciones 214A-214N de la matriz de agrupaciones de procesamiento 212 para procesar diferentes tipos de programas o para llevar a cabo diferentes tipos de cálculos.
La matriz de agrupaciones de procesamiento 212 puede configurarse para realizar varios tipos de operaciones de procesamiento en paralelo. En una realización, la matriz de agrupaciones de procesamiento 212 está configurada para realizar operaciones de cálculo en paralelo de propósito general. Por ejemplo, la matriz de agrupaciones de procesamiento 212 puede incluir lógica para ejecutar tareas de procesamiento que incluyen el filtrado de datos de vídeo y/o audio, la realización de operaciones de modelado, incluidas operaciones de física, y la realización de transformaciones de datos.
En una realización, la matriz de agrupaciones de procesamiento 212 está configurada para realizar operaciones de procesamiento de gráficos en paralelo. En las realizaciones en las que el procesador paralelo 200 está configurado para realizar operaciones de procesamiento de gráficos, la matriz de agrupaciones de procesamiento 212 puede incluir lógica adicional para admitir la ejecución de dichas operaciones de procesamiento de gráficos, incluyendo, aunque no de forma limitativa, una lógica de muestreo de textura para realizar operaciones de textura, así como lógica de teselación y otra lógica de procesamiento de vértices. Además, la matriz de agrupaciones de procesamiento 212 se puede configurar para ejecutar programas de sombreador relacionados con el procesamiento de gráficos, tales como, entre otros, sombreadores de vértices, sombreadores de teselación, sombreadores de geometría y sombreadores de píxeles. La unidad de procesamiento paralelo 202 puede transferir datos desde la memoria del sistema por medio de la unidad de E/S 204 para su procesamiento. Durante el procesamiento, los datos transferidos se pueden almacenar en la memoria en chip (por ejemplo, la memoria del procesador paralelo 222) durante el procesamiento y, a continuación, escribirse de nuevo en la memoria del sistema.
En una realización, cuando la unidad de procesamiento paralelo 202 se utiliza para realizar el procesamiento de gráficos, el planificador 210 puede configurarse para dividir la carga de trabajo de procesamiento en tareas de tamaño aproximadamente igual, para permitir mejor la distribución de las operaciones de procesamiento de gráficos a múltiples agrupaciones 214A-214N de la matriz de agrupaciones de procesamiento 212. En algunas realizaciones, partes de la matriz de agrupaciones de procesamiento 212 se pueden configurar para llevar a cabo diferentes tipos de procesamiento. Por ejemplo, una primera parte puede configurarse para realizar sombreado de vértices y generación de topología, una segunda parte puede configurarse para realizar teselación y sombreado de geometría, y una tercera parte puede configurarse para realizar sombreado de píxeles u otras operaciones de espacio de pantalla, para producir una imagen renderizada para visualización. Los datos intermedios producidos por una o más de las agrupaciones 214A-214N pueden almacenarse en memorias intermedias para permitir que los datos intermedios se transmitan entre las agrupaciones 214A-214N para su posterior procesamiento.
Durante la operación, la matriz de agrupaciones de procesamiento 212 puede recibir tareas de procesamiento a ejecutar a través del planificador 210, que recibe comandos que definen tareas de procesamiento desde el extremo frontal 208. Para las operaciones de procesamiento de gráficos, las tareas de procesamiento pueden incluir índices de datos a procesar, por ejemplo, datos de superficie (parche), datos de primitivas, datos de vértice y/o datos de píxel, así como parámetros de estado y comandos que definen cómo se van a procesar los datos (por ejemplo, qué programa se va a ejecutar). El planificador 210 se puede configurar para buscar los índices correspondientes a las tareas o puede recibir los índices del extremo frontal 208. El extremo frontal 208 se puede configurar para asegurar que la matriz de agrupaciones de procesamiento 212 se configura en un estado válido antes de que se inicie la carga de trabajo especificada por las memorias intermedias de comandos entrantes (por ejemplo, memorias intermedias de lotes, memorias intermedias de empuje, etc.).
Cada una de la una o más instancias de la unidad de procesamiento paralelo 202 puede acoplarse con la memoria del procesador paralelo 222. Se puede acceder a la memoria del procesador paralelo 222 por medio de la barra transversal de memoria 216, que puede recibir solicitudes de memoria de la matriz de agrupaciones de procesamiento 212 así como de la unidad de E/S 204. La barra transversal de memoria 216 puede acceder a la memoria del procesador paralelo 222 por medio de la interfaz de memoria 218. La interfaz de memoria 218 puede incluir múltiples unidades de partición (por ejemplo, unidad de partición 220A, unidad de partición 220B, hasta la unidad de partición 220N) que se pueden acoplar, cada una, a una parte (por ejemplo, unidad de memoria) de la memoria del procesador paralelo 222. En una implementación, el número de unidades de partición 220A-220N se configura para ser igual al número de unidades de memoria, de tal forma que una primera unidad de partición 220A tenga una primera unidad de memoria 224A correspondiente, una segunda unidad de partición 220B tenga una unidad de memoria 224B correspondiente, y una N-ésima unidad de partición 220N tenga una N-ésima unidad de memoria 224N correspondiente. En otras realizaciones, el número de unidades de partición 220A-220N puede no ser igual al número de dispositivos de memoria.
En varias realizaciones, las unidades de memoria 224A-224N pueden incluir varios tipos de dispositivos de memoria, incluyendo memoria de acceso aleatorio dinámico (DRAM) o memoria de acceso aleatorio de gráficos, tales como memoria de acceso aleatorio de gráficos sincrónicos (SGRAM), incluyendo memoria de doble velocidad de datos de gráficos (GDDR). En una realización, las unidades de memoria 224A-224N también pueden incluir memoria apilada 3D, incluyendo, entre otras, memoria de ancho de banda alto (HBM). Los expertos en la técnica apreciarán que la implementación específica de las unidades de memoria 224A-224N puede variar, y se puede seleccionar a partir de uno de varios diseños convencionales. Los objetivos de renderizado, tales como memorias intermedias de tramas o mapas de textura, se pueden almacenar en las unidades de memoria 224A-224N, lo que permite que las unidades de partición 220A-220N escriban porciones de cada objetivo de renderizado en paralelo para utilizar de manera eficiente el ancho de banda disponible de la memoria del procesador paralelo 222. En algunas realizaciones, se puede excluir una instancia local de la memoria del procesador paralelo 222 en favor de un diseño de memoria unificado que utilice la memoria del sistema junto con la memoria caché local.
En una realización, una cualquiera de las agrupaciones 214A-214N de la matriz de agrupaciones de procesamiento 212 puede procesar datos que se escribirán en cualquiera de las unidades de memoria 224A-224N dentro de la memoria del procesador paralelo 222. La barra transversal de memoria 216 se puede configurar para transferir la salida de cada agrupación 214A-214N a cualquier unidad de partición 220A-220N o a otra agrupación 214A-214N, que puede llevar a cabo operaciones de procesamiento adicionales en la salida. Cada agrupación 214A-214N se puede comunicar con la interfaz de memoria 218 a través de la barra transversal de memoria 216 para leer o escribir en varios dispositivos de memoria externos. En una realización, la barra transversal de memoria 216 tiene una conexión a la interfaz de memoria 218 para comunicarse con la unidad de E/S 204, así como una conexión a una instancia local de la memoria del procesador paralelo 222, lo que permite que las unidades de procesamiento dentro de las diferentes agrupaciones de procesamiento 214A-214N se comuniquen con la memoria de sistema u otra memoria que no sea local a la unidad de procesamiento paralelo 202. En una realización, la barra transversal de memoria 216 puede utilizar canales virtuales para separar secuencias de tráfico entre las agrupaciones 214A-214N y las unidades de partición 220A-220N.
Aunque se ilustra una única instancia de la unidad de procesamiento paralelo 202 dentro del procesador paralelo 200, se puede incluir cualquier número de instancias de la unidad de procesamiento paralelo 202. Por ejemplo, se pueden proporcionar múltiples instancias de la unidad de procesamiento paralelo 202 en una única tarjeta complementaria o se pueden interconectar múltiples tarjetas complementarias. Las diferentes instancias de la unidad de procesamiento paralelo 202 se pueden configurar para interoperar incluso si las diferentes instancias tienen diferentes números de núcleos de procesamiento, diferentes cantidades de memoria del procesador paralelo local y/u otras diferencias de configuración. Por ejemplo y en una realización, algunas instancias de la unidad de procesamiento paralelo 202 pueden incluir unidades de punto flotante de mayor precisión en relación con otras instancias. Los sistemas que incorporan una o más instancias de la unidad de procesamiento paralelo 202 o el procesador paralelo 200 se pueden implementar en una variedad de configuraciones y factores de forma, incluyendo, de forma no limitativa, ordenadores personales de escritorio, portátiles o de mano, servidores, estaciones de trabajo, consolas de juegos y/o sistemas integrados.
La Figura 2B es un diagrama de bloques de una unidad de partición 220, de acuerdo con una realización. En una realización, la unidad de partición 220 es una instancia de una de las unidades de partición 220A-220N de la Figura 2A. Como se ilustra, la unidad de partición 220 incluye una memoria caché L2, 221, una interfaz de memoria intermedia de tramas 225 y una ROP 226 (unidad de operaciones de rasterización). La memoria caché L2221 es una memoria caché de lectura/escritura que se configura para llevar a cabo operaciones de carga y de almacenamiento recibidas desde la barra transversal de memoria 216 y la ROP 226. Los fallos de lectura y las solicitudes de escritura urgentes se emiten por la memoria caché L2221 a la interfaz de memoria intermedia de tramas 225 para su procesamiento. Las actualizaciones también se pueden enviar a la memoria intermedia de tramas a través de la interfaz de memoria intermedia de tramas 225 para su procesamiento. En una realización, la interfaz de memoria intermedia de tramas 225 interactúa con una de las unidades de memoria en la memoria del procesador paralelo, tal como las unidades de memoria 224A-224N de la Figura 2 (por ejemplo, dentro de la memoria del procesador paralelo 222).
En las aplicaciones de gráficos, la ROP 226 es una unidad de procesamiento que realiza operaciones de rasterización tales como estarcido, prueba z, mezcla y similares. La ROP 226 luego genera datos de gráficos procesados que se almacenan en la memoria de gráficos. En algunas realizaciones, la ROP 226 incluye lógica de compresión para comprimir datos de profundidad o color que se escriben en la memoria y descomprimir datos de profundidad o color que se leen desde la memoria. La lógica de compresión puede ser lógica de compresión sin pérdida que hace uso de uno o más de múltiples algoritmos de compresión. El tipo de compresión que es realizado por la ROP 226 puede variar en función de las características estadísticas de los datos a comprimir. Por ejemplo, en una realización, la compresión de color delta se realiza en datos de profundidad y color sobre una base por mosaico.
En algunas realizaciones, la ROP 226 está incluida dentro de cada agrupación de procesamiento (por ejemplo, la agrupación 214A-214N de la Figura 2) en lugar de dentro de la unidad de partición 220. En tal realización, se transmiten solicitudes de lectura y de escritura de datos de píxel a través de la barra transversal de memoria 216 en lugar de datos de fragmento de píxel. Los datos de gráficos procesados pueden visualizarse en un dispositivo de visualización, tal como uno del uno o más dispositivos de visualización 110 de la Figura 1, enrutarse para su posterior procesamiento por el procesador o procesadores 102, o enrutarse para su posterior procesamiento por una de las entidades de procesamiento dentro del procesador paralelo 200 de la Figura 2A.
La Figura 2C es un diagrama de bloques de una agrupación de procesamiento 214 dentro de una unidad de procesamiento paralelo, de acuerdo con una realización. En una realización, la agrupación de procesamiento es una instancia de una de las agrupaciones de procesamiento 214A-214N de la Figura 2. La agrupación de procesamiento 214 se puede configurar para ejecutar muchos subprocesos en paralelo, donde el término "subproceso" se refiere a una instancia de un programa particular que se ejecuta sobre un conjunto particular de datos de entrada. En algunas realizaciones, se utilizan técnicas de emisión de instrucciones de instrucción única, múltiples datos (SIMD) para soportar la ejecución paralela de una gran cantidad de subprocesos sin proporcionar múltiples unidades de instrucción independientes. En otras realizaciones, se utilizan técnicas de una sola instrucción, múltiples subprocesos (SIMT) para soportar la ejecución paralela de un gran número de subprocesos generalmente sincronizados, utilizando una unidad de instrucción común configurada para emitir instrucciones a un conjunto de motores de procesamiento dentro de cada una de las agrupaciones de procesamiento. A diferencia de un régimen de ejecución SIMD, en el que todos los motores de procesamiento ejecutan normalmente instrucciones idénticas, la ejecución SIMT permite que diferentes subprocesos sigan más fácilmente rutas de ejecución divergentes a través de un programa de subprocesos dado. Los expertos en la materia comprenderán que un régimen de procesamiento SIMD representa un subconjunto funcional de un régimen de procesamiento SIMT.
El funcionamiento de la agrupación de procesamiento 214 se puede controlar a través de un administrador de canalizaciones 232 que distribuye tareas de procesamiento a procesadores paralelos SIMT. El administrador de canalizaciones 232 recibe instrucciones desde el planificador 210 de la Figura 2 y gestiona la ejecución de esas instrucciones mediante un multiprocesador de gráficos 234 y/o una unidad de texturas 236. El multiprocesador de gráficos 234 ilustrado es una instancia ilustrativa de un procesador paralelo SIMT. Sin embargo, se pueden incluir varios tipos de procesadores paralelos SIMT de diferentes arquitecturas dentro de la agrupación de procesamiento 214. Una o más instancias del multiprocesador de gráficos 234 pueden incluirse dentro de una agrupación de procesamiento 214. El multiprocesador de gráficos 234 puede procesar datos y se puede utilizar una barra transversal de datos 240 para distribuir los datos procesados a uno de múltiples destinos posibles, incluidas otras unidades de sombreador. El administrador de canalizaciones 232 puede facilitar la distribución de datos procesados especificando destinos para que se distribuyan datos procesados mediante la barra transversal de datos 240.
Cada multiprocesador de gráficos 234 dentro de la agrupación de procesamiento 214 puede incluir un conjunto idéntico de lógica de ejecución funcional (por ejemplo, unidades aritmeticológicas, unidades de carga-almacenamiento, etc.). La lógica de ejecución funcional se puede configurar de manera canalizada en la que se pueden emitir nuevas instrucciones antes de que se completen las instrucciones anteriores. La lógica de ejecución funcional admite una variedad de operaciones que incluyen aritmética de números enteros y de punto flotante, operaciones de comparación, operaciones booleanas, desplazamiento de bits y cálculo de varias funciones algebraicas. En una realización, se puede hacer uso del mismo hardware de unidad funcional para llevar a cabo diferentes operaciones y puede estar presente cualquier combinación de unidades funcionales.
Las instrucciones transmitidas a la agrupación de procesamiento 214 constituyen un subproceso. Un conjunto de subprocesos ejecutándose a través del conjunto de motores de procesamiento paralelo es un grupo de subprocesos. Un grupo de subprocesos ejecuta el mismo programa en diferentes datos de entrada. Cada subproceso dentro de un grupo de subprocesos se puede asignar a un motor de procesamiento diferente dentro de un multiprocesador de gráficos 234. Un grupo de subprocesos puede incluir menos subprocesos que la cantidad de motores de procesamiento dentro del multiprocesador de gráficos 234. Cuando un grupo de subprocesos incluye menos subprocesos que el número de motores de procesamiento, uno o más de los motores de procesamiento pueden estar inactivos durante los ciclos en los que se está procesando ese grupo de subprocesos. Un grupo de subprocesos también puede incluir más subprocesos que el número de motores de procesamiento dentro del multiprocesador de gráficos 234. Cuando el grupo de subprocesos incluye más subprocesos que el número de motores de procesamiento dentro del multiprocesador de gráficos 234, se puede realizar el procesamiento a través de ciclos de reloj consecutivos. En una realización, pueden ejecutarse múltiples grupos de subprocesos concurrentemente en un multiprocesador de gráficos 234.
En una realización, el multiprocesador de gráficos 234 incluye una memoria caché interna para realizar operaciones de carga y de almacenamiento. En una realización, el multiprocesador de gráficos 234 puede renunciar a una memoria caché interna y utilizar una memoria caché (por ejemplo, la memoria caché L1, 308) dentro de la agrupación de procesamiento 214. Cada multiprocesador de gráficos 234 también tiene acceso a las memorias caché L2 dentro de las unidades de partición (por ejemplo, las unidades de partición 220A-220N de la Figura 2) que se comparten entre todas las agrupaciones de procesamiento 214 y que pueden utilizarse para transferir datos entre subprocesos. El multiprocesador de gráficos 234 también puede acceder a la memoria global fuera del chip, que puede incluir una o más de la memoria de procesador paralelo local y/o memoria del sistema. Cualquier memoria externa a la unidad de procesamiento paralelo 202 puede utilizarse como memoria global. Las realizaciones en las que la agrupación de procesamiento 214 incluye múltiples instancias del multiprocesador de gráficos 234 pueden compartir instrucciones y datos comunes, que se pueden almacenar en la memoria caché L1 308.
Cada agrupación de procesamiento 214 puede incluir una MMU 245 (unidad de gestión de memoria) que está configurada para mapear direcciones virtuales en direcciones físicas. En otras realizaciones, una o más instancias de la MMU 245 pueden residir dentro de la interfaz de memoria 218 de la Figura 2. La MMU 245 incluye un conjunto de entradas de tabla de páginas (PTE) utilizadas para mapear una dirección virtual a una dirección física de un mosaico (más información sobre el mosaico) y, opcionalmente, un índice de línea de caché. La MMU 245 puede incluir memorias intermedias de búsqueda de traducción de direcciones (TLB) o memorias caché que pueden residir dentro del multiprocesador de gráficos 234 o la memoria caché L1 o la agrupación de procesamiento 214. La dirección física se procesa para distribuir la localidad de acceso a datos de superficie para permitir un intercalado eficiente de solicitudes entre las unidades de partición. El índice de línea de memoria caché se puede utilizar para determinar si una solicitud de una línea de memoria caché es un acierto o error.
En aplicaciones gráficas y de cálculo, una agrupación de procesamiento 214 se puede configurar de tal forma que cada multiprocesador de gráficos 234 se acopla a una unidad de textura 236 para llevar a cabo operaciones de asignación de textura, por ejemplo, determinar posiciones de muestra de textura, leer datos de textura y filtrar los datos de textura. Los datos de textura se leen de una memoria caché L1 de textura interna (no mostrada) o, en algunas realizaciones, de la memoria caché L1 dentro del multiprocesador de gráficos 234 y se obtienen de una memoria caché L2, de la memoria del procesador paralelo local o de la memoria del sistema, según sea necesario. Cada multiprocesador de gráficos 234 envía las tareas procesadas a la barra transversal de datos 240 para proporcionar la tarea procesada a otra agrupación de procesamiento 214 para su posterior procesamiento o para almacenar la tarea procesada en una memoria caché L2, memoria del procesador paralelo local o memoria del sistema a través de la barra transversal de memoria 216. Una preROP 242 (unidad de operaciones de prerasterización) está configurada para recibir datos del multiprocesador de gráficos 234, dirigir los datos a las unidades ROP, que pueden estar ubicadas con unidades de partición como se describe en este documento (por ejemplo, las unidades de partición 220A-220N de la Figura 2). La unidad preROP 242 puede realizar optimizaciones para la combinación de colores, organizar los datos de color de los píxeles y realizar traducciones de direcciones.
Se apreciará que la arquitectura central descrita en este documento es ilustrativa y que son posibles variaciones y modificaciones. Cualquier número de unidades de procesamiento, por ejemplo, multiprocesador de gráficos 234, unidades de textura 236, preROP 242, etc., se puede incluir dentro de una agrupación de procesamiento 214. Además, mientras que sólo se muestra una agrupación de procesamiento 214, una unidad de procesamiento paralelo según se describe en la presente memoria puede incluir cualquier número de instancias de la agrupación de procesamiento 214. En una realización, cada agrupación de procesamiento 214 se puede configurar para operar de forma independiente de otras agrupaciones de procesamiento 214 utilizando unidades de procesamiento, memorias caché L1, etc., separadas y distintas.
La Figura 2D muestra un multiprocesador de gráficos 234, de acuerdo con una realización. En tal realización, el multiprocesador de gráficos 234 se acopla con el administrador de canalizaciones 232 de la agrupación de procesamiento 214. El multiprocesador de gráficos 234 tiene una canalización de ejecución que incluye, aunque no de forma limitativa, una memoria caché de instrucciones 252, una unidad de instrucciones 254, una unidad de mapeo de direcciones 256, un archivo de registro 258, uno o más núcleos 262 de unidad de procesamiento de gráficos de propósito general (GPGPU) y una o más unidades de carga/almacenamiento 266. Los núcleos GPGPU 262 y las unidades de carga/almacenamiento 266 están acoplados con la memoria caché 272 y la memoria compartida 270 a través de una interconexión de memoria y caché 268.
En una realización, la memoria caché de instrucciones 252 recibe un flujo de instrucciones para ejecutar desde el administrador de canalizaciones 232. Las instrucciones se almacenan en la memoria caché de instrucciones 252 y se envían para su ejecución por la unidad de instrucciones 254. La unidad de instrucciones 254 puede enviar las instrucciones como grupos de subprocesos (por ejemplo, envolventes), con cada subproceso del grupo de subprocesos asignado a una unidad de ejecución diferente dentro del núcleo GPGPU 262. Una instrucción puede acceder a cualquier espacio de direcciones local, compartido o global especificando una dirección dentro de un espacio de direcciones unificado. La unidad de mapeo de direcciones 256 se puede utilizar para traducir las direcciones en el espacio de direcciones unificado en una dirección de memoria distinta a la que pueda accederse por las unidades de carga/almacenamiento 266.
El archivo de registro 258 proporciona un conjunto de registros para las unidades funcionales del multiprocesador de gráficos 324. El archivo de registro 258 proporciona almacenamiento temporal para los operandos conectados a las rutas de datos de las unidades funcionales (por ejemplo, núcleos GPGPU 262, unidades de carga/almacenamiento 266) del multiprocesador de gráficos 324. En una realización, el archivo de registro 258 se divide entre cada una de las unidades funcionales de tal forma que a cada unidad funcional se le asigna una parte dedicada del archivo de registro 258. En una realización, el archivo de registro 258 se divide entre las diferentes envolventes que están siendo ejecutadas por el multiprocesador de gráficos 324.
Cada uno de los núcleos GPGPU 262 puede incluir unidades de punto flotante (FPU) y/o unidades de lógica aritmética de enteros (ALU) que se utilizan para ejecutar instrucciones del multiprocesador de gráficos 324. Los núcleos GPGPU 262 pueden ser similares en arquitectura o pueden diferir en arquitectura, de acuerdo con las realizaciones. Por ejemplo y en una realización, una primera parte de los núcleos GPGPU 262 incluye una FPU de precisión simple y una ALU de números enteros, mientras que una segunda parte de los núcleos GPGPU incluye una FPU de precisión doble. En una realización, las FPU pueden implementar el estándar IEEE 754-2008 para aritmética de punto flotante o habilitar aritmética de punto flotante de precisión variable. El multiprocesador de gráficos 324 puede incluir adicionalmente una o más unidades de función fija o de función especial para realizar funciones específicas, tales como operaciones de copia de rectángulo o fusión de píxeles. En una realización, uno o más de los núcleos GPGPU también pueden incluir lógica de función fija o especial.
En una realización, los núcleos GPGPU 262 incluyen una lógica SIMD capaz de realizar una única instrucción en múltiples conjuntos de datos. En una realización, los núcleos GPGPU 262 pueden ejecutar físicamente instrucciones SIMD4, SIMD8 y SIMD16 y ejecutar lógicamente instrucciones SIMD1, SIMD<2>y SIMD32. Las instrucciones SIMD para los núcleos GPGPU pueden generarse en tiempo de compilación mediante un compilador de sombreador o generarse automáticamente al ejecutar programas escritos y compilarse para arquitecturas de programa único, múltiples datos (SPMD) o SIMT. Múltiples subprocesos de un programa configurado para el modelo de ejecución SIMT pueden ejecutarse a través de una única instrucción SIMD. Por ejemplo, y en una realización, ocho subprocesos SIMT que realizan operaciones iguales o similares pueden ejecutarse en paralelo a través de una única unidad lógica SIMD8.
La interconexión de memoria y memoria caché 268 es una red de interconexión que conecta cada una de las unidades funcionales del multiprocesador de gráficos 324 al archivo de registro 258 y a la memoria compartida 270. En una realización, la interconexión de memoria y memoria caché 268 es una interconexión de barra transversal que permite que la unidad de carga/almacenamiento 266 implemente operaciones de carga y almacenamiento entre la memoria compartida 270 y el archivo de registro 258. El archivo de registro 258 puede operar a la misma frecuencia que los núcleos GPGPU 262, por lo que la transferencia de datos entre los núcleos GPGPU 262 y el archivo de registro 258 es de muy baja latencia. La memoria compartida 270 se puede utilizar para permitir la comunicación entre los subprocesos que se ejecutan en las unidades funcionales dentro del multiprocesador de gráficos 234. La memoria caché 272 se puede utilizar como caché de datos, por ejemplo, para almacenar en caché datos de textura comunicados entre las unidades funcionales y la unidad de textura 236. La memoria compartida 270 también se puede utilizar como memoria caché gestionada por programa. Los subprocesos que se ejecutan en los núcleos GPGPU 262 pueden almacenar en forma de programa datos dentro de la memoria compartida, además de los datos almacenados de forma automática en memoria caché que se almacenan dentro de la memoria caché 272.
Las Figuras 3A-3B ilustran multiprocesadores de gráficos adicionales, de acuerdo con las realizaciones. Los multiprocesadores de gráficos 325, 350 ilustrados son variantes del multiprocesador de gráficos 234 de la Figura 2C. Los multiprocesadores de gráficos 325, 350 ilustrados pueden configurarse como un multiprocesador de transmisión (SM) capaz de ejecutar simultáneamente un gran número de subprocesos de ejecución.
La Figura 3A muestra un multiprocesador de gráficos 325 de acuerdo con una realización adicional. El multiprocesador de gráficos 325 incluye múltiples instancias adicionales de unidades de recurso de ejecución relativas al multiprocesador de gráficos 234 de la Figura 2D. Por ejemplo, el multiprocesador de gráficos 325 puede incluir múltiples instancias de la unidad de instrucciones 332A-332B, archivo de registro 334A-334B y unidad(es) de textura 344A-344B. El multiprocesador de gráficos 325 también incluye múltiples conjuntos de gráficos o unidades de ejecución de cálculo (por ejemplo, núcleo GPGPU 336A-336B, núcleo GPGPU 337A-337B, núcleo GPGPU 338A-338B) y múltiples conjuntos de unidades de carga/almacenamiento 340A-340B. En una realización, las unidades de recursos de ejecución tienen una memoria caché de instrucciones común 330, una memoria caché de texturas y/o datos 342 y una memoria compartida 346.
Los diversos componentes pueden comunicarse mediante una estructura de interconexión 327. En una realización, la estructura de interconexión 327 incluye uno o más conmutadores de barra transversal para posibilitar la comunicación entre los diversos componentes del multiprocesador de gráficos 325. En una realización, la estructura de interconexión 327 es una capa de estructura de red de alta velocidad independiente sobre la que se apila cada componente del multiprocesador de gráficos 325. Los componentes del multiprocesador de gráficos 325 se comunican con componentes remotos mediante la estructura de interconexión 327. Por ejemplo, cada uno de los núcleos GPGPU 336A-336B, 337A-337B y 3378A-338B puede comunicarse con la memoria compartida 346 a través de la estructura de interconexión 327. La estructura de interconexión 327 puede arbitrar la comunicación dentro del multiprocesador de gráficos 325 para asegurar una asignación justa de ancho de banda entre los componentes.
La Figura 3B muestra un multiprocesador de gráficos 350 de acuerdo con una realización adicional. El procesador de gráficos incluye múltiples conjuntos de recursos de ejecución 356A-356D, donde cada conjunto de recursos de ejecución incluye múltiples unidades de instrucciones, archivos de registro, núcleos GPGPU y unidades de almacenamiento de carga, como se ilustra en la Figura 2D y la Figura 3A. Los recursos de ejecución 356A-356D pueden trabajar en conjunto con la(s) unidad(es) de textura 360A-360D para operaciones de textura, mientras comparten una memoria caché de instrucciones 354 y una memoria compartida 362. En una realización, los recursos de ejecución 356A a 356D pueden compartir una memoria caché de instrucciones 354 y una memoria compartida 362, así como múltiples instancias de una memoria caché de textura y/o datos 358A-358B. Los diversos componentes pueden comunicarse mediante una estructura de interconexión 352 similar a la estructura de interconexión 327 de la Figura 3A.
Los expertos en la materia entenderán que la arquitectura descrita en las Figuras 1 , 2A a 2D y 3A-3B es descriptiva y no limitativa en cuanto al alcance de las presentes realizaciones. Por tanto, las técnicas descritas en el presente documento pueden implementarse en cualquier unidad de procesamiento configurada apropiadamente, que incluye, sin limitación, uno o más procesadores de aplicación móvil, una o más unidades de procesamiento central (CPU) de sobremesa o servidor que incluyen CPU de múltiples núcleos, una o más unidades de procesamiento paralelo, tal como la unidad de procesamiento paralelo 202 de la Figura 2, así como uno o más procesadores de gráficos o unidades de procesamiento de propósito especial, sin alejarse del alcance de las realizaciones descritas en el presente documento.
En algunas realizaciones, un procesador en paralelo o GPGPU, como se describe en el presente documento, está acoplado de manera comunicativa a núcleos de anfitrión/procesador para acelerar operaciones de gráficos, operaciones de aprendizaje automático, operaciones de análisis de patrones y diversas funciones de GPU de propósito general (GPGPU). La GPU puede acoplarse de manera comunicativa al procesador de anfitrión/núcleos a través de un bus u otra interconexión (por ejemplo, una interconexión de alta velocidad tal como PCIe o NVLink). En otras realizaciones, la GPU puede estar integrada en el mismo paquete o chip que los núcleos y acoplada comunicativamente a los núcleos a través de un bus/interconexión de procesador interno (es decir, interno al paquete o chip). Independientemente de la forma en que esté conectada la GPU, los núcleos del procesador pueden asignar trabajo a la GPU en forma de secuencias de comandos/instrucciones contenidas en un descriptor de trabajo. A continuación, la GPU utiliza circuitería/lógica dedicada para procesar de forma eficiente estos comandos/instrucciones.
Técnicas para la Interconexión de la GPU al Procesador de Anfitrión
La Figura 4A ilustra una arquitectura ilustrativa en la que una pluralidad de GPU 410-413 están acopladas de manera comunicativa a una pluralidad de procesadores de múltiples núcleos 405-406 a través de enlaces de alta velocidad 440-443 (por ejemplo, buses, interconexiones de punto a punto, etc.). En una realización, los enlaces de alta velocidad 440-443 soportan un caudal de comunicación de 4 GB/s, 30 GB/s, 80 GB/s o mayor, dependiendo de la implementación. Se pueden utilizar diversos protocolos de interconexión, incluidos, entre otros, PCIe 4.0 o 5.0 y NVLink 2.0. Sin embargo, los principios subyacentes de la invención no se limitan a ningún protocolo o rendimiento de comunicación particular.
Además, en una realización, dos o más de las GPU 410-413 están interconectadas a través de enlaces de alta velocidad 444-445, que pueden implementarse utilizando los mismos o diferentes protocolos/enlaces que los utilizados para los enlaces de alta velocidad 440-443. Del mismo modo, dos o más de los procesadores de múltiples núcleos 405-406 pueden estar conectados a través de enlaces de alta velocidad 433, que pueden ser buses multiprocesador simétricos (SMP) que funcionan a 20 GB/s, 30 GB/s, 120 GB/s o más. Como alternativa, toda la comunicación entre los diversos componentes del sistema que se muestran en la Figura 4A puede llevarse a cabo utilizando los mismos protocolos/enlaces (por ejemplo, sobre una estructura de interconexión común). Sin embargo, como se menciona, los principios subyacentes de la invención no están limitados a ningún tipo particular de tecnología de interconexión.
En una realización, cada procesador de múltiples núcleos 405-406 está acoplado comunicativamente a una memoria de procesador 401-402, a través de interconexiones de memoria 430-431, respectivamente, y cada GPU 410-413 está acoplada comunicativamente a la memoria de GPU 420-423 a través de interconexiones de memoria de GPU 450 453, respectivamente. Las interconexiones de memoria 430-431 y 450-453 pueden utilizar las mismas o diferentes tecnologías de acceso a memoria. A modo de ejemplo, y sin limitación, las memorias de procesador 401-402 y las memorias de GPU 420-423 pueden ser memorias volátiles tales como memorias dinámicas de acceso aleatorio (DRAM) (incluyendo DRAM apiladas), memoria DDR SDRAM de gráficos (GDDR) (por ejemplo, GDDR5, GDDR6) o memoria de alto ancho de banda (HBM) y/o pueden ser memorias no volátiles tales como 3D XPoint o Nano-Ram. En una realización, una parte de las memorias puede ser memoria volátil y otra parte puede ser memoria no volátil (por ejemplo, utilizando una jerarquía de memoria de dos niveles (2LM)).
Como se describe a continuación, aunque los diversos procesadores 405-406 y las GPU 410-413 pueden estar acoplados físicamente a una memoria 401-402, 420-423 particular, respectivamente, se puede implementar una arquitectura de memoria unificada en la que el mismo espacio de direcciones de sistema virtual (también denominado espacio de "direcciones efectivas") se distribuye entre todas las diversas memorias físicas. Por ejemplo, cada una de las memorias de procesador 401 -402 puede comprender 64 GB del espacio de direcciones de memoria del sistema y cada una de las memorias de GPU 420-423 puede comprender 32 GB del espacio de direcciones de memoria del sistema (resultando en un total de 256 GB de memoria direccionable en este ejemplo).
La Figura 4B ilustra detalles adicionales para una interconexión entre un procesador de múltiples núcleos 407 y un módulo de aceleración de gráficos 446 de acuerdo con una realización. El módulo de aceleración de gráficos 446 puede incluir uno o más chips de GPU integrados en una tarjeta de línea que está acoplada al procesador 407 a través del enlace de alta velocidad 440. Alternativamente, el módulo de aceleración de gráficos 446 puede estar integrado en el mismo paquete o chip que el procesador 407.
El procesador 407 ilustrado incluye una pluralidad de núcleos 460A-460D, cada uno con una memoria intermedia de búsqueda de traducción 461A-461D y una o más memorias caché 462A-462D. Los núcleos pueden incluir varios otros componentes para ejecutar instrucciones y procesar datos que no se ilustran para evitar complicar los principios subyacentes de la invención (por ejemplo, unidades de búsqueda de instrucciones, unidades de predicción de ramal, decodificadores, unidades de ejecución, memoria intermedia de reordenamiento, etc.). Las memorias caché 462A-462D pueden comprender memorias caché de nivel 1 (L1) y nivel 2 (L2). Además, pueden incluirse una o más memorias caché compartidas 426 en la jerarquía de almacenamiento en memoria caché y compartirse por conjuntos de los núcleos 460A-460D. Por ejemplo, una realización del procesador 407 incluye 24 núcleos, cada uno con su propia memoria caché L1, doce memorias caché L2 compartidas y doce memorias caché L3 compartidas. En esta realización, una de las memorias caché L2 y L3 es compartida por dos núcleos adyacentes. El procesador 407 y el módulo de integración del acelerador de gráficos 446 se conectan con la memoria del sistema 441, que puede incluir las memorias del procesador 401-402
La coherencia se mantiene para los datos e instrucciones almacenados en las diversas memorias caché 462A-462D, 456 y la memoria del sistema 441 a través de la comunicación entre núcleos a través de un bus de coherencia 464. Por ejemplo, cada memoria caché puede tener lógica/circuitería de coherencia de memoria caché asociados para comunicarse a través del bus de coherencia 464 en respuesta a lecturas o escrituras detectadas en líneas de memoria caché particulares. En una implementación, se implementa un protocolo de monitorización de memoria caché a través del bus de coherencia 464 para monitorizar los accesos a la memoria caché. Las técnicas monitorización/coherencia de memoria caché se comprenden bien por los expertos en la técnica y no se describirán en detalle en este caso para evitar oscurecer los principios subyacentes de la invención.
En una realización, un circuito proxy 425 acopla comunicativamente el módulo de aceleración de gráficos 446 al bus de coherencia 464, lo que permite que el módulo de aceleración de gráficos 446 participe en el protocolo de coherencia de memoria caché como un par de los núcleos. En particular, una interfaz 435 proporciona conectividad al circuito proxy 425 a través de un enlace de alta velocidad 440 (por ejemplo, un bus PCIe, NVLink, etc.) y una interfaz 437 conecta el módulo de aceleración de gráficos 446 al enlace 440.
En una implementación, un circuito de integración de acelerador 436 proporciona gestión de memoria caché, acceso a memoria, gestión de contexto y servicios de gestión de interrupciones en nombre de una pluralidad de motores de procesamiento de gráficos 431, 432, N del módulo de aceleración de gráficos 446. Cada uno de los motores de procesamiento de gráficos 431, 432, N puede comprender una unidad de procesamiento de gráficos (GPU) independiente. Como alternativa, los motores de procesamiento de gráficos 431,432, N pueden comprender diferentes tipos de motores de procesamiento de gráficos dentro de una GPU, tales como unidades de ejecución de gráficos, motores de procesamiento de medios (por ejemplo, codificadores/decodificadores de vídeo), muestreadores y motores blit. En otras palabras, el módulo de aceleración de gráficos puede ser una GPU con una pluralidad de motores de procesamiento de gráficos 431-432, N o los motores de procesamiento de gráficos 431-432, N pueden ser GPU individuales integradas en un paquete común, tarjeta de línea o chip.
En una realización, el circuito de integración del acelerador 436 incluye una unidad de gestión de memoria (MMU) 439 para realizar varias funciones de gestión de memoria, tales como traducciones de memoria virtual a física (también denominadas traducciones de memoria efectiva a real) y protocolos de acceso a memoria para acceder a la memoria del sistema 441. La MMU 439 también puede incluir una memoria intermedia de búsqueda de traducción (TLB) (no mostrada) para almacenar en memoria caché las traducciones de direcciones virtuales/efectivas a físicas/reales. En una implementación, una memoria caché 438 almacena comandos y datos para un acceso eficiente por parte de los motores de procesamiento de gráficos 431-432, N. En una realización, los datos almacenados en la memoria caché 438 y las memorias de gráficos 433-434, N se mantienen coherentes con las memorias caché centrales 462A-462D, 456 y la memoria del sistema 411. Según se ha mencionado, esto puede lograrse mediante el circuito proxy 425 que participa en el mecanismo de coherencia de memoria caché en nombre de la memoria caché 438 y las memorias 433 434, N (por ejemplo, enviando actualizaciones a la memoria caché 438 relacionadas con modificaciones/accesos de líneas de memoria caché en las memorias caché de procesador 462A-462D, 456 y recibiendo actualizaciones de la memoria caché 438).
Un conjunto de registros 445 almacenan datos de contexto para los subprocesos ejecutados por los motores de procesamiento de gráficos 431-432, N y un circuito de gestión de contexto 448 gestiona los contextos de los subprocesos. Por ejemplo, el circuito de gestión de contexto 448 puede llevar a cabo operaciones de guardar y recuperar para guardar y recuperar contextos de los diversos subprocesos durante cambios de contextos (por ejemplo, donde un primer subproceso se guarda y un segundo subproceso se almacena de modo que el segundo subproceso pueda ser ejecutado por un motor de procesamiento de gráficos). Por ejemplo, en un cambio de contexto, el circuito de gestión de contexto 448 puede almacenar valores de registro actuales en una región designada en la memoria (por ejemplo, identificada por un puntero de contexto). A continuación, puede recuperar los valores de registro al volver al contexto. En una realización, un circuito de gestión de interrupciones 447 recibe y procesa las interrupciones recibidas de los dispositivos del sistema.
En una implementación, las direcciones virtuales/efectivas de un motor de procesamiento de gráficos 431 se traducen a direcciones reales/físicas en la memoria del sistema 411 por la MMU 439. Una realización del circuito de integración de acelerador 436 soporta múltiples (por ejemplo, 4, 8, 16) módulos aceleradores de gráficos 446 y/u otros dispositivos aceleradores. El módulo acelerador de gráficos 446 puede estar dedicado a una sola aplicación ejecutada en el procesador 407 o puede compartirse entre múltiples aplicaciones. En una realización, se presenta un entorno de ejecución de gráficos virtualizado en el que los recursos de los motores de procesamiento de gráficos 431-432, N se comparten con múltiples aplicaciones o máquinas virtuales (VM). Los recursos pueden subdividirse en "segmentos" que se asignan a diferentes VM y/o aplicaciones en función de los requisitos de procesamiento y las prioridades asociadas con las VM y/o las aplicaciones.
Por tanto, el circuito de integración de acelerador actúa como un puente al sistema para el módulo de aceleración de gráficos 446 y proporciona servicios de traducción de direcciones y de memoria caché de sistema. Además, el circuito de integración de acelerador 436 puede proporcionar instalaciones de virtualización para que el procesador de anfitrión gestione la virtualización de los motores de procesamiento de gráficos, las interrupciones y la gestión de memoria.
Debido a que los recursos de hardware de los motores de procesamiento de gráficos 431-432, N se mapean explícitamente al espacio de direcciones reales que ve el procesador de anfitrión 407, cualquier procesador de anfitrión puede direccionar estos recursos directamente utilizando un valor de dirección efectivo. Una función del circuito de integración de acelerador 436, en una realización, es la separación física de los motores de procesamiento de gráficos 431 -432, N de modo que aparezcan en el sistema como unidades independientes.
Como se mencionó, en la realización ilustrada, una o más memorias de gráficos 433-434, M están acopladas a cada uno de los motores de procesamiento de gráficos 431-432, N, respectivamente. Las memorias de gráficos 433-434, M almacenan instrucciones y datos que procesa cada uno de los motores de procesamiento de gráficos 431-432, N. Las memorias de gráficos 433-434, M pueden ser memorias volátiles tales como DRAM (incluyendo las DRAM apiladas), memoria GDDR (por ejemplo, GDDR5, GDDR6) o HBM, y/o pueden ser memorias no volátiles tales como 3D XPoint o Nano-Ram.
En una realización, para reducir el tráfico de datos a través del enlace 440, se utilizan técnicas de desvío para garantizar que los datos almacenados en las memorias de gráficos 433-434, M sean datos que serán utilizados con mayor frecuencia por los motores de procesamiento de gráficos 431-432, N y preferentemente no serán utilizados por los núcleos 460A-460D (al menos no con frecuencia). De manera similar, el mecanismo de desvío intenta mantener los datos que necesitan los núcleos (y preferentemente no los motores de procesamiento de gráficos 431-432, N) dentro de las memorias caché 462A-462D, 456 de los núcleos y la memoria del sistema 411.
La Figura 4C ilustra otra realización en la que el circuito de integración de acelerador 436 está integrado dentro del procesador 407. En esta realización, los motores de procesamiento de gráficos 431-432, N se comunican directamente a través del enlace de alta velocidad 440 al circuito de integración de acelerador 436 mediante la interfaz 437 y la interfaz 435 (que, de nuevo, pueden utilizar cualquier forma de bus o protocolo de interfaz). El circuito de integración de acelerador 436 puede realizar las mismas operaciones que las descritas con respecto a la Figura 4B, pero potencialmente con un caudal superior dada su estrecha proximidad al bus de coherencia 462 y a las memorias caché 462A-462D, 426.
Una realización admite diferentes modelos de programación, incluyendo un modelo de programación de proceso dedicado (sin virtualización del módulo de aceleración de gráficos) y modelos de programación compartidos (con virtualización). Estos últimos pueden incluir modelos de programación que están controlados por el circuito de integración de acelerador 436 y modelos de programación que están controlados por el módulo de aceleración de gráficos 446.
En una realización del modelo de proceso dedicado, los motores de procesamiento de gráficos 431-432, N están dedicados a una única aplicación o proceso bajo un único sistema operativo. La única aplicación puede canalizar otras solicitudes de aplicación a los motores de gráficos 431-432, N, lo que proporciona virtualización dentro de una VM/partición.
En los modelos de programación de proceso dedicado, los motores de procesamiento de gráficos 431-432, N, pueden ser compartidos por múltiples VM/particiones de aplicación. Los modelos compartidos requieren un hipervisor de sistema para virtualizar los motores de procesamiento de gráficos 431-432, N para permitir el acceso de cada sistema operativo. En los sistemas de partición única sin hipervisor, los motores de procesamiento de gráficos 431-432, N son propiedad del sistema operativo. En ambas instancias, el sistema operativo puede virtualizar los motores de procesamiento de gráficos 431-432, N para proporcionar acceso a cada proceso o aplicación.
Para el modelo de programación compartida, el módulo de aceleración de gráficos 446 o un motor de procesamiento de gráficos 431-432, N individual selecciona un elemento de proceso utilizando un gestor de proceso. En una realización, los elementos de proceso se almacenan en la memoria del sistema 411 y son direccionables utilizando las técnicas de traducción de dirección efectiva a dirección real descritas en la presente memoria. El gestor de proceso puede ser un valor específico de implementación proporcionado al proceso anfitrión cuando registra su contexto con el motor de procesamiento de gráficos 431 -432, N (es decir, llamando al software del sistema para añadir el elemento de proceso a la lista vinculada de elementos de proceso). Los 16 bits inferiores del gestor de proceso pueden ser el desfase del elemento de proceso dentro de la lista vinculada de elementos de proceso.
La Figura 4D ilustra un segmento de integración de acelerador 490 ilustrativo. Como se usa en el presente documento, un "segmento" comprende una porción especificada de los recursos de procesamiento del circuito de integración de acelerador 436. El espacio de direcciones efectivas de aplicación 482 dentro de la memoria del sistema 411 almacena los elementos de proceso 483. En una realización, los elementos de proceso 483 se almacenan en respuesta a invocaciones de GPU 481 desde aplicaciones 480 ejecutadas en el procesador 407. Un elemento de proceso 483 contiene el estado del proceso para la correspondiente aplicación 480. Un descriptor de trabajo (WD) 484 contenido en el elemento de proceso 483 puede ser un solo trabajo solicitado por una aplicación o puede contener un puntero a una cola de trabajos. En este último caso, el WD 484 es un puntero a la cola de solicitud de trabajos en el espacio de direcciones 482 de la aplicación.
El módulo de aceleración de gráficos 446 y/o los motores de procesamiento de gráficos individuales 431 -432, N pueden compartirse por todos, o por un subconjunto de, los procesos en el sistema. Las realizaciones de la invención incluyen una infraestructura para configurar el estado del proceso y enviar un WD 484 a un módulo de aceleración de gráficos 446 para iniciar un trabajo en un entorno virtualizado.
En una implementación, el modelo de programación de procesos dedicados es específico de la implementación. En este modelo, un único proceso es propietario del módulo de aceleración de gráficos 446 o de un motor de procesamiento de gráficos 431 individual. Dado que el módulo de aceleración de gráficos 446 es propiedad de un único proceso, el hipervisor inicializa el circuito de integración de acelerador 436 para la partición propietaria y el sistema operativo inicializa el circuito de integración de acelerador 436 para el proceso propietario en el momento en que se asigna el módulo de aceleración de gráficos 446.
En la operación, una unidad de extracción de WD 491 en el segmento de integración de acelerador 490 extrae el siguiente WD 484 que incluye una indicación del trabajo que va a hacerse por uno de los motores de procesamiento de gráficos del módulo de aceleración de gráficos 446. Los datos del WD 484 se pueden almacenar en registros 445 y ser utilizados por la MMU 439, el circuito de gestión de interrupciones 447 y/o el circuito de gestión de contexto 446, según se ilustra. Por ejemplo, una realización de la MMU 439 incluye circuitería de recorrido de segmento/página para acceder a tablas de segmento/página 486 dentro del espacio de direcciones virtuales 485 del sistema operativo. El circuito de gestión de interrupciones 447 puede procesar eventos de interrupción 492 recibidos desde el módulo de aceleración de gráficos 446. Cuando se llevan a cabo operaciones gráficas, la MMU 439 traduce una dirección efectiva 493 generada por un motor de procesamiento de gráficos 431 -432, N a una dirección real.
En una realización, el mismo conjunto de registros 445 se duplica para cada motor de procesamiento de gráficos 431 -432, N y/o módulo de aceleración de gráficos 446 y puede ser inicializado por el hipervisor o el sistema operativo. Cada uno de estos registros duplicados puede ser incluido en un segmento de integración de acelerador 490. En la Tabla 1 se muestran registros de ejemplo que pueden ser inicializados por el hipervisor.
Tabla 1 - Registros inicializados por el hipervisor
En la Tabla 2 se muestran registros ilustrativos que pueden ser inicializados por el sistema operativo.
Tabla 2 - Registros inicializados por el sistema operativo
En una realización, cada WD 484 es específico para un módulo de aceleración de gráficos 446 y/o motor de procesamiento de gráficos 431-432, N en particular. Contiene toda la información que un motor de procesamiento de gráficos 431-432, N requiere para hacer su trabajo o puede ser un puntero a una ubicación de memoria donde la aplicación ha configurado una cola de comandos de trabajo.
La Figura 4E ilustra detalles adicionales para una realización de un modelo compartido. Esta realización incluye un espacio de dirección real de hipervisor 498 en el que se almacena una lista de elementos de proceso 499. El espacio de dirección real de hipervisor 498 es accesible a través de un hipervisor 496 que virtualiza los motores del módulo de aceleración de gráficos para el sistema operativo 495.
Los modelos de programación compartidos permiten que todos o un subconjunto de procesos de todas o un subconjunto de particiones en el sistema utilicen un módulo de aceleración de gráficos 446. Existen dos modelos de programación en los que el módulo de aceleración de gráficos 446 es compartido por múltiples procesos y particiones: compartido por tiempo dividido y compartido dirigido por gráficos.
En este modelo, el hipervisor del sistema 496 posee el módulo de aceleración de gráficos 446 y pone su función a disposición de todos los sistemas operativos 495. Para que un módulo de aceleración de gráficos 446 admita la virtualización por parte del hipervisor del sistema 496, el módulo de aceleración de gráficos 446 puede cumplir los siguientes requisitos: 1) La solicitud de trabajo de una aplicación debe ser autónoma (es decir, no es necesario mantener el estado entre trabajos), o el módulo de aceleración de gráficos 446 debe proporcionar un mecanismo de guardado y recuperación de contexto. 2) El módulo de aceleración de gráficos 446 garantiza que la solicitud de trabajo de una aplicación se complete en una cantidad de tiempo especificada, incluidos los errores de traducción, o el módulo de aceleración de gráficos 446 proporciona la capacidad de adelantarse al procesamiento del trabajo. 3) El módulo de aceleración de gráficos 446 debe tener garantizada la equidad entre procesos cuando opera en el modelo de programación compartida dirigida.
En una realización, para el modelo compartido, se requiere que la aplicación 480 realice una llamada de sistema del sistema operativo 495 con un tipo de módulo de aceleración de gráficos 446, un descriptor de trabajo (WD), un valor de registro de máscara de autoridad (AMR) y un puntero de área de guardado/recuperación de contexto (CSRP). El tipo de módulo de aceleración de gráficos 446 describe la función de aceleración objetivo para la llamada al sistema. El tipo de módulo de aceleración de gráficos 446 puede ser un valor específico del sistema. El WD se formatea específicamente para el módulo de aceleración de gráficos 446 y puede tener la forma de un comando del módulo de aceleración de gráficos 446, un puntero de dirección efectiva a una estructura definida por el usuario, un puntero de dirección efectiva a una cola de comandos, o cualquier otra estructura de datos para describir el trabajo a llevar a cabo por el módulo de aceleración de gráficos 446. En una realización, el valor AMR es el estado AMR a utilizar para el proceso actual. El valor pasado al sistema operativo es similar a una aplicación configurando el AMR. Si las implementaciones del circuito de integración de acelerador 436 y del módulo de aceleración de gráficos 446 no soportan un Registro de Anulación de Máscara de Autoridad de Usuario (UAMOR), el sistema operativo puede aplicar el valor UAMOR actual al valor AMR antes de pasar el AMR en la llamada al hipervisor. El hipervisor 496 puede opcionalmente aplicar el valor actual del Registro de Anulación de Máscara de Autoridad (AMOR) antes de colocar el AMR en el elemento de proceso 483. En una realización, el CSRP es uno de los registros 445 que contiene la dirección efectiva de un área en el espacio de direcciones 482 de la aplicación para que el módulo de aceleración de gráficos 446 guarde y recupere el estado de contexto. Este puntero es opcional si no se requiere guardar el estado entre trabajos o cuando se adelanta un trabajo. El área de guardado/recuperación de contexto puede estar anclada a la memoria del sistema.
Tras recibir la llamada de sistema, el sistema operativo 495 puede verificar que la aplicación 480 se ha registrado y que se le ha dado la autoridad para usar el módulo de aceleración de gráficos 446. El sistema operativo 495, a continuación, llama al hipervisor 496 con la información mostrada en la Tabla 3.
Tabla 3 - Parámetros de llamada del SO al hipervisor
Al recibir la llamada del hipervisor, el hipervisor 496 verifica que el sistema operativo 495 se haya registrado y haya recibido la autorización para utilizar el módulo de aceleración de gráficos 446. El hipervisor 496 coloca entonces el elemento de proceso 483 en la lista enlazada de elementos de proceso para el tipo de módulo de aceleración de gráficos 446 correspondiente. El elemento de proceso puede incluir la información mostrada en la Tabla 4.
Tabla 4 - Información de elemento de proceso
En una realización, el hipervisor inicializa varios registros 445 de segmento de integración de acelerador 490.
Como se ha ilustrado en la Figura 4F, una realización de la invención emplea una memoria unificada direccionable mediante un espacio de direcciones de memoria virtual común utilizado para acceder a las memorias de procesador físico 401-402 y a las memorias de GPU 420-423. En esta implementación, las operaciones ejecutadas en las GPU 410-413 utilizan el mismo espacio de direcciones de memoria virtual/efectivo para acceder a las memorias de procesador 401-402 y viceversa, simplificando de esta manera la programabilidad. En una realización, una primera porción del espacio de dirección virtual/efectiva está asignada a la memoria de procesador 401, una segunda porción a la segunda memoria de procesador 402, una tercera porción a la memoria de GPU 420, y así sucesivamente. De este modo, todo el espacio de memoria virtual/efectiva (a veces denominado espacio de dirección efectiva) se distribuye entre cada una de las memorias de procesador 401 -402 y las memorias de GPU 420-423, lo que permite a cualquier procesador o GPU acceder a cualquier memoria física con una dirección virtual asignada a dicha memoria.
En una realización, el circuito de gestión de desvío/coherencia 494A-494E dentro de una o más de las MMU 439A-439E asegura la coherencia de caché entre las memorias caché de los procesadores anfitriones (por ejemplo, 405) y las GPU 410-413 e implementa técnicas de desvío que indican las memorias físicas en las que se deben almacenar ciertos tipos de datos. Aunque se ilustran múltiples instancias de la circuitería de gestión de desvío/coherencia 494A-494E en la Figura 4F, la circuitería de desvío/coherencia puede implementarse dentro de la MMU de uno o más procesadores anfitriones 405 y/o dentro del circuito de integración de acelerador 436.
Una realización permite que la memoria conectada a la GPU 420-423 se mapee como parte de la memoria del sistema, y que se acceda a ella utilizando tecnología de memoria virtual compartida (SVM), pero sin sufrir las desventajas de rendimiento típicas asociadas con la coherencia de caché de sistema completa. La capacidad de acceder a la memoria conectada a la GPU 420-423 como memoria del sistema sin una onerosa sobrecarga de coherencia de caché proporciona un entorno operativo beneficioso para la descarga de la GPU. Esta disposición permite que el software del procesador de anfitrión 405 configure operandos y acceda a los resultados de los cálculos, sin la sobrecarga de las copias de datos DMA de E/S tradicionales. Estas copias tradicionales implican llamadas a controladores, interrupciones y accesos de E/S mapeados en memoria (MMIO), que son todos ineficientes en comparación con los accesos a memoria simples. Al mismo tiempo, la capacidad de acceder a la memoria 420-423 conectada a la GPU sin sobrecargas de coherencia de memoria caché puede ser fundamental para el tiempo de ejecución de un cálculo descargado. En casos con tráfico de memoria de escritura en transmisión sustancial, por ejemplo, la sobrecarga de coherencia de memoria caché puede reducir significativamente el ancho de banda de escritura efectivo observado por una GPU 410-413. La eficiencia de la configuración de los operandos, la eficiencia del acceso a los resultados y la eficiencia del cálculo de la GPU desempeñan todas una función en la determinación de la eficacia de la descarga de la GPU.
En una implementación, la selección entre el desvío de la GPU y el desvío del procesador de anfitrión está impulsada por una estructura de datos de seguimiento de desvío. Puede utilizarse una tabla de desvío, por ejemplo, que puede ser una estructura granular de página (es decir, controlada a la granularidad de una página de memoria) que incluye 1 o 2 bits por página de memoria unida a la GPU. La tabla de desvío se puede implementar en un rango de memoria robado de una o más memorias unidas a la GPU 420-423, con o sin una memoria caché de desvío en la GPU 410 413 (por ejemplo, para almacenar en memoria caché entradas de la tabla de desvío utilizadas con frecuencia/recientemente). Alternativamente, toda la tabla de desvío se puede mantener dentro de la GPU.
En una implementación, se accede a la entrada de la tabla de desvío asociada a cada acceso a la memoria unida a la GPU 420-423 antes del acceso real a la memoria de GPU, lo que provoca las siguientes operaciones. En primer lugar, las solicitudes locales de la GPU 410-413 que encuentran su página en el desvío de la GPU se reenvían directamente a la memoria de GPU 420-423 correspondiente. Las solicitudes locales de la GPU que encuentran su página en el desvío de anfitrión se reenvían al procesador 405 (por ejemplo, a través de un enlace de alta velocidad como se explicó anteriormente). En una realización, las solicitudes del procesador 405 que encuentran la página solicitada en el desvío del procesador de anfitrión completan la solicitud como una lectura de memoria normal. Como alternativa, las solicitudes dirigidas a una página desviada a la GPU se pueden reenviar a la GPU 410-413. A continuación, la GPU puede pasar la página a un desvío del procesador de anfitrión si no está utilizando la página en ese momento.
El estado de desvío de una página puede modificarse mediante un mecanismo basado en software, un mecanismo basado en software asistido por hardware o, para un conjunto limitado de casos, un mecanismo basado puramente en hardware.
Un mecanismo para cambiar el estado de desvío emplea una llamada API (por ejemplo, OpenCL), que, a su vez, llama al controlador de dispositivo de la GPU que, a su vez, envía un mensaje (o pone en cola un descriptor de comando) a la GPU para indicarle que cambie el estado de desvío y, para algunas transiciones, realice una operación de vaciado de la memoria caché en el anfitrión. La operación de vaciado de la memoria caché es necesaria para una transición del desvío del procesador de anfitrión 405 al desvío de la GPU, pero no es necesaria para la transición opuesta.
En una realización, la coherencia de la memoria caché se mantiene haciendo que las páginas desviadas a la GPU no puedan almacenarse temporalmente en memoria caché por el procesador de anfitrión 405. Para acceder a estas páginas, el procesador 405 puede solicitar acceso a la GPU 410, que puede otorgar o no acceso de inmediato, según la implementación. Por lo tanto, para reducir la comunicación entre el procesador 405 y la GPU 410 es beneficioso garantizar que las páginas desviadas por la GPU sean aquellas que requiere la GPU pero no el procesador de anfitrión 405 y viceversa.
Canalización de procesamiento de gráficos
La Figura 5 ilustra una canalización de procesamiento de gráficos 500, de acuerdo con una realización. En una realización, un procesador de gráficos puede implementar la canalización de procesamiento de gráficos 500 ilustrada. El procesador de gráficos puede incluirse dentro de los subsistemas de procesamiento paralelo como se describe en este documento, tales como el procesador paralelo 200 de la Figura 2, que, en una realización, es una variante del procesador o procesadores paralelos 112 de la Figura 1. Los diversos sistemas de procesamiento paralelo pueden implementar la canalización de procesamiento de gráficos 500 a través de una o más instancias de la unidad de procesamiento paralelo (por ejemplo, la unidad de procesamiento paralelo 202 de la Figura 2) como se describe en este documento. Por ejemplo, una unidad de sombreado (por ejemplo, el multiprocesador de gráficos 234 de la Figura 3) puede configurarse para realizar las funciones de una o más de una unidad de procesamiento de vértices 504, una unidad de procesamiento de control de teselación 508, una unidad de procesamiento de evaluación de teselación 512, una unidad de procesamiento de geometría 516 y una unidad de procesamiento de fragmentos/píxeles 524. Las funciones del ensamblador de datos 502, los ensambladores de primitivas 506, 514, 518, la unidad de teselación 510, el rasterizador 522 y la unidad de operaciones de rasterización 526 también pueden ser realizadas por otros motores de procesamiento dentro de una agrupación de procesamiento (por ejemplo, la agrupación de procesamiento 214 de la Figura 3) y una unidad de partición correspondiente (por ejemplo, la unidad de partición 220A-220N de la Figura 2). La canalización de procesamiento de gráficos 500 también puede implementarse utilizando unidades de procesamiento dedicadas para una o más funciones. En una realización, una o más partes de la canalización de procesamiento de gráficos 500 pueden ser realizadas por lógica de procesamiento paralelo dentro de un procesador de propósito general (por ejemplo, CPU). En una realización, una o más partes de la canalización de procesamiento de gráficos 500 pueden acceder a la memoria en chip (por ejemplo, la memoria del procesador paralelo 222 como en la Figura 2) a través de una interfaz de memoria 528, que puede ser una instancia de la interfaz de memoria 218 de la Figura 2.
En una realización, el ensamblador de datos 502 es una unidad de procesamiento que recopila datos de vértices para superficies y primitivas. A continuación, el ensamblador de datos 502 envía los datos de vértices, incluyendo los atributos de vértice, a la unidad de procesamiento de vértices 504. La unidad de procesamiento de vértices 504 es una unidad de ejecución programable que ejecuta programas de sombreador de vértices, iluminando y transformando datos de vértices según lo especificado por los programas de sombreador de vértices. La unidad de procesamiento de vértices 504 lee los datos almacenados en la memoria caché, local o del sistema para su utilización en el procesamiento de los datos de vértices y se puede programar para transformar los datos de vértices desde una representación de coordenadas basada en objetos a un espacio de coordenadas del espacio global o un espacio de coordenadas normalizado del dispositivo.
Una primera instancia de un ensamblador primitivas 506 recibe atributos de vértice de la unidad de procesamiento de vértices 504. El ensamblador de primitivas 506 lee los atributos de vértice almacenados según sea necesario y construye primitivas gráficas para su procesamiento por la unidad de procesamiento de control de teselación 508. Las primitivas gráficas incluyen triángulos, segmentos de línea, puntos, parches, etc., tal y como soportan varias interfaces de programación de aplicaciones (API) de procesamiento de gráficos.
La unidad de procesamiento de control de teselación 508 trata los vértices de entrada como puntos de control para un parche geométrico. Los puntos de control se transforman desde una representación de entrada del parche (por ejemplo, las bases del parche) a una representación que es adecuada para su utilización en la evaluación de superficies por la unidad de procesamiento de evaluación de teselación 512. La unidad de procesamiento de control de teselación 508 también puede calcular factores de teselado para bordes de parches geométricos. Un factor de teselación se aplica a un único borde y cuantifica un nivel de detalle dependiente de la vista asociado con el borde. Una unidad de teselación 510 se configura para recibir los factores de teselación para los bordes de un parche y para teselar el parche en múltiples primitivas geométricas, tales como primitivas de línea, triángulo o cuadrilátero, que se transmiten a una unidad de procesamiento de evaluación de teselación 512. La unidad de procesamiento de evaluación de teselación 512 opera sobre coordenadas parametrizadas del parche subdividido para generar una representación de superficie y atributos de vértice para cada vértice asociado con las primitivas geométricas.
Una segunda instancia de un ensamblador de primitivas 514 recibe atributos de vértice de la unidad de procesamiento de evaluación de teselación 512, lee los atributos de vértice almacenados según sea necesario y construye primitivas de gráficos para su procesamiento por la unidad de procesamiento de geometría 516. La unidad de procesamiento de geometría 516 es una unidad de ejecución programable que ejecuta programas de sombreado de geometría para transformar primitivas de gráficos recibidas del ensamblador de primitivas 514 según lo especificado por los programas de sombreado de geometría. En una realización, la unidad de procesamiento de geometría 516 está programada para subdividir las primitivas de gráficos en una o más primitivas de gráficos nuevas y calcular los parámetros utilizados para rasterizar las nuevas primitivas de gráficos.
En algunas realizaciones, la unidad de procesamiento de geometría 516 puede añadir o borrar elementos en la secuencia de geometría. La unidad de procesamiento de geometría 516 envía los parámetros y vértices que especifican las nuevas primitivas de gráficos al ensamblador de primitivas 518. El ensamblador de primitivas 518 recibe los parámetros y vértices de la unidad de procesamiento de geometría 516 y construye primitivas de gráficos para ser procesadas por una unidad de escalado, selección y recorte de la ventana gráfica 520. La unidad de procesamiento de geometría 516 lee los datos almacenados en la memoria del procesador paralelo o en la memoria del sistema para su utilización en el procesamiento de los datos de geometría. La unidad de escalado, selección y recorte de la ventana gráfica 520 lleva a cabo el recorte, la selección y el escalado de la ventana gráfica y envía las primitivas de gráficos procesadas a un rasterizador 522.
El rasterizador 522 puede realizar la selección de profundidad y otras optimizaciones basadas en la profundidad. El rasterizador 522 también lleva a cabo la conversión de barrido en las nuevas primitivas de gráficos para generar fragmentos y enviar dichos fragmentos y los datos de cobertura asociados a la unidad de procesamiento de fragmentos/píxeles 524. La unidad de procesamiento de fragmentos/píxeles 524 es una unidad de ejecución programable que está configurada para ejecutar programas de sombreado de fragmentos o programas de sombreado de píxeles. Transformando, la unidad de procesamiento de fragmentos/píxeles 524, fragmentos o píxeles recibidos desde el rasterizador 522, según sea especificado por los programas de sombreado de fragmentos o de píxeles. Por ejemplo, la unidad de procesamiento de fragmentos/píxeles 524 se puede programar para llevar a cabo operaciones que incluyen, entre otras, mapeo de texturas, sombreado, mezcla, corrección de texturas y corrección de perspectiva para producir fragmentos o píxeles sombreados que se envían a una unidad de operaciones de rasterización 526. La unidad de procesamiento de fragmentos/píxeles 524 puede leer datos almacenados en la memoria del procesador paralelo o en la memoria del sistema para su utilización en el procesamiento de los datos de fragmentos. Los programas de sombreado de fragmentos o píxeles se pueden configurar para sombrear en muestras, píxeles, mosaicos u otras granularidades dependiendo de la frecuencia de muestreo configurada para las unidades de procesamiento.
La unidad de operaciones de rasterización 526 es una unidad de procesamiento que realiza operaciones de rasterización que incluyen, aunque no de forma limitativa, estarcido, prueba z, mezcla y similares, y emite datos de píxeles como datos de gráficos procesados para que se almacenen en la memoria de gráficos (por ejemplo, la memoria de procesador paralelo 222 como en la Figura 2, y/o la memoria del sistema 104 como en la Figura 1, para que se visualicen en el uno o más dispositivos de visualización 110 o para su procesamiento adicional por uno del uno o más procesadores 102 o procesador o procesadores paralelos 112. En algunas realizaciones, la unidad de operaciones de rasterización 526 está configurada para comprimir datos z o de color que se escriben en memoria y descomprimir datos z o de color que se leen desde la memoria.
Ejemplos de ajuste de calidad de gráficos basado en objetivo y basado en potencia
En referencia ahora a la Figura 6, una realización de un sistema de procesamiento electrónico 600 puede incluir una procesador de aplicaciones 611, medios de almacenamiento persistente 612 comunicativamente acoplados al procesador de aplicaciones 611, un subsistema de gráficos 613 comunicativamente acoplado al procesador de aplicaciones 611, un analizador de presupuesto de potencia 614 comunicativamente acoplado al procesador de aplicaciones 611, los medios de almacenamiento persistente 612 y el subsistema de gráficos 613 para identificar un presupuesto de potencia para uno o más del procesador de aplicaciones 611, los medios de almacenamiento persistente 612 y el subsistema de gráficos 613, un analizador objetivo 615 comunicativamente acoplado al subsistema de gráficos 613 para identificar un objetivo para el subsistema de gráficos 613, y un ajustador de parámetros 616 para ajustar uno o más parámetros de proceso de tramas del subsistema de gráficos 613 en función de uno o más del presupuesto de potencia identificado y el objetivo identificado. Por ejemplo, un parámetro de proceso de tramas puede incluir uno o más de un parámetro de codificación y un parámetro de decodificación. Por ejemplo, el uno más parámetros de proceso de tramas pueden incluir uno o más de un parámetro de sintonización de imágenes, una tasa de bits, un parámetro de calidad de imagen, una región de búsqueda de vector de movimiento, un tamaño de bloque y un parámetro de complejidad. En algunas realizaciones, el objetivo identificado puede incluir un objetivo de analítica de vídeo.
Las realizaciones de cada uno del procesador de aplicaciones 611, medios de almacenamiento persistente 612, subsistema de visualización 613, analizador de presupuesto de potencia 614, analizador objetivo 615, ajustador de parámetros 616 y otros componentes del sistema pueden implementarse en hardware, software o cualquier combinación adecuada de los mismos. Por ejemplo, las implementaciones de hardware pueden incluir lógica configurable tal como, por ejemplo, matrices lógicas programables (PLA), FPGA, dispositivos lógicos programables complejos (CPLD), o en hardware lógico de funcionalidad fija usando tecnología de circuitos tal como, por ejemplo, ASIC, semiconductor de óxido metálico complementario (CMOS) o tecnología lógica de transistor-transistor (TTL), o cualquier combinación de las mismas. Como alternativa, o adicionalmente, estos componentes se pueden implementar en uno o más módulos como un conjunto de instrucciones lógicas almacenadas en un medio de almacenamiento legible por máquina u ordenador, tal como memoria de acceso aleatorio (RAM), memoria de solo lectura (ROM), ROM programable (PROM), firmware, memoria flash, etc., para ser ejecutadas por un procesador o dispositivo informático. Por ejemplo, el código de programa informático para llevar a cabo las operaciones de los componentes se puede escribir en cualquier combinación de uno o más lenguajes de programación apropiados/aplicables al sistema operativo, incluyendo un lenguaje de programación orientado a objetos tal como PYTHON, PERL, JAVA, SMALLTALK, C++, C# o similares y lenguajes de programación de procedurales convencionales, tales como el lenguaje de programación "C" o lenguajes de programación similares.
Ejemplos de ajuste de parámetros basado en presupuesto de potencia
En referencia ahora a la Figura 7, una realización de un aparato de gráficos 700 puede incluir un analizador de presupuesto de potencia 721 para identificar un presupuesto de potencia para un sistema de gráficos, y un ajustador de parámetros 722 acoplado comunicativamente al analizador de presupuesto de potencia 721 para ajustar uno o más parámetros de proceso de tramas del sistema de gráficos en función del presupuesto de potencia identificado. Por ejemplo, el uno más parámetros de proceso de tramas pueden incluir uno o más de un parámetro de sintonización de imágenes, una tasa de bits, un parámetro de calidad de imagen, una región de búsqueda de vector de movimiento, un tamaño de bloque y un parámetro de complejidad.
En algunas realizaciones, el ajustador de parámetros 722 puede configurarse para comparar el presupuesto de potencia identificado con un umbral de presupuesto, y ajustar un parámetro de sintonización de imágenes del sistema de gráficos en función de la comparación del presupuesto de potencia identificado y el umbral de presupuesto. Por ejemplo, el ajustador de parámetros 722 puede configurarse para comparar un tiempo de codificación de tramas con un umbral de tiempo de presupuesto, y reducir una tasa de bits si el tiempo de codificación de tramas excede el umbral de tiempo de presupuesto. En algunas realizaciones, el ajustador de parámetros 722 puede configurarse adicional o alternativamente para ajustar un tamaño de bloque de una búsqueda de vector de movimiento en función de la comparación del presupuesto de potencia identificado y el umbral de presupuesto.
Algunas realizaciones del aparato de gráficos 700 pueden incluir además un analizador objetivo 723 comunicativamente acoplado al ajustador de parámetros 722 para identificar un objetivo para el sistema de gráficos. El ajustador de parámetros 722 puede configurarse además para ajustar uno o más parámetros de codificación del sistema de gráficos en función del objetivo identificado. Por ejemplo, el objetivo identificado puede incluir un objetivo de analítica de vídeo.
Las realizaciones de cada uno del analizador de presupuesto de potencia 721, ajustador de parámetros 722, analizador objetivo 723 y otros componentes del aparato 700 se pueden implementar en hardware, software o cualquier combinación de los mismos. Por ejemplo, las implementaciones de hardware pueden incluir lógica configurable tal como, por ejemplo, PLA, FPGA, CPLD, o en hardware de lógica de funcionalidad fija usando tecnología de circuitos tal como, por ejemplo, tecnología ASIC, CMOS o TTL, o cualquier combinación de las mismas. Como alternativa, o adicionalmente, estos componentes se pueden implementar en uno o más módulos como un conjunto de instrucciones lógicas almacenadas en un medio de almacenamiento legible por máquina u ordenador, tal como RAM, ROM, PROM, firmware, memoria flash, etc., para ser ejecutadas por un procesador o dispositivo informático. Por ejemplo, el código de programa informático para llevar a cabo las operaciones de los componentes se puede escribir en cualquier combinación de uno o más lenguajes de programación apropiados/aplicables al sistema operativo, incluyendo un lenguaje de programación orientado a objetos tal como PYTHON, PERL, JAVA, SMALLTALK, C++, C# o similares y lenguajes de programación de procedurales convencionales, tales como el lenguaje de programación "C" o lenguajes de programación similares.
Volviendo ahora a las Figuras 8A a 8C, una realización de un método 800 de ajuste de un parámetro de gráficos puede incluir identificar un presupuesto de potencia para un sistema de gráficos en el bloque 831, y de ajuste de uno o más parámetros de proceso de tramas del sistema de gráficos en función del presupuesto de potencia identificado en el bloque 832. Por ejemplo, el uno más parámetros de proceso de tramas pueden incluir uno o más de un parámetro de sintonización de imágenes, una tasa de bits, un parámetro de calidad de imagen, una región de búsqueda de vector de movimiento, un tamaño de bloque y un parámetro de complejidad en el bloque 833.
En algunas realizaciones, el método 800 puede incluir además comparar el presupuesto de potencia identificado con un umbral de presupuesto en el bloque 834, y ajustar un parámetro de sintonización de imágenes del sistema de gráficos en función de la comparación del presupuesto de potencia identificado y el umbral de presupuesto en el bloque 835. Por ejemplo, el método 800 puede incluir comparar un tiempo de codificación de tramas con un umbral de tiempo de presupuesto en el bloque 836, y reducir una tasa de bits si el tiempo de codificación de tramas excede el umbral de tiempo de presupuesto en el bloque 837. Algunas realizaciones pueden incluir adicional o alternativamente ajustar un tamaño de bloque de una búsqueda de vector de movimiento en función de la comparación del presupuesto de potencia identificado y el umbral de presupuesto en el bloque 838.
Algunas realizaciones del método 800 pueden incluir además identificar un objetivo para el sistema de gráficos en el bloque 839, y ajustar uno o más parámetros de codificación del sistema de gráficos en función del objetivo identificado en el bloque 840. Por ejemplo, el objetivo identificado puede incluir un objetivo de analítica de vídeo en el bloque 841.
Las realizaciones del método 800 se pueden implementar en un sistema, aparato, GPU, o unidad de procesamiento paralelo (PPU) tal como, por ejemplo, los descritos en el presente documento. Más particularmente, las implementaciones de hardware del método 800 pueden incluir lógica configurable tal como, por ejemplo, PLA, FPGA, CPLD, o en hardware de lógica de funcionalidad fija usando tecnología de circuitos tal como, por ejemplo, tecnología ASIC, CMOS o TTL, o cualquier combinación de las mismas. Como alternativa, o adicionalmente, el método 800 se puede implementar en uno o más módulos como un conjunto de instrucciones lógicas almacenadas en un medio de almacenamiento legible por máquina u ordenador, tal como RAM, ROM, PROM, firmware, memoria flash, etc., para ser ejecutadas por un procesador o dispositivo informático. Por ejemplo, el código de programa informático para llevar a cabo las operaciones de los componentes se puede escribir en cualquier combinación de uno o más lenguajes de programación apropiados/aplicables al sistema operativo, incluyendo un lenguaje de programación orientado a objetos tal como PYTHON, PERL, JAVA, SMALLTALK, C++, C# o similares y lenguajes de programación de procedurales convencionales, tales como el lenguaje de programación "C" o lenguajes de programación similares. Por ejemplo, el método 800 se puede implementar en un medio legible por ordenador como se describe en relación con los ejemplos 18 a 24, más adelante.
Por ejemplo, las realizaciones o partes del método 800 se pueden implementar en aplicaciones o software de controlador (p. ej., a través de una API). Otras realizaciones o partes del método 800 se pueden implementar en código especializado (p. ej., sombreadores) para ejecutarse en una GPU. Otras realizaciones o partes del método 800 se pueden implementar en lógica de función fija o hardware especializado (p. ej., en la GPU).
Ejemplos de ajuste de parámetros de sintonización de imagen
Algunas realizaciones pueden proporcionar ventajosamente sintonización de imagen/vídeo (p. ej., tamaño de bloque, complejidad, etc.) en función de un presupuesto de potencia existente (p. ej., cambiar parámetros de codificación u otro procesamiento de vídeo). Por ejemplo, algunas realizaciones pueden ajustar el presupuesto de potencia en un dispositivo de cliente final al proporcionar configuración de procesamiento de vídeo inicial para una tarea particular, supervisar recursos disponibles de cálculo y potencia y conmutar la configuración de procesamiento a un modo menos intensivo de potencia en función de la potencia disponible para completar la tarea particular. Por ejemplo, algunas realizaciones pueden determinar una cantidad de tiempo restante en un vídeo que se está viendo y ajustar la configuración en consecuencia para poder terminar de ver el vídeo antes de que se agote la batería.
Una realización de un analizador de presupuesto de potencia puede incluir cualquiera de un número de técnicas para determinar el presupuesto de potencia. En algunas realizaciones, el presupuesto de potencia puede determinarse en función de un modo de potencia, preferencias de usuario y/o ajustes de configuración del sistema. En algunas realizaciones, el presupuesto de potencia puede determinarse en función de la utilización de potencia total medida, estimada o prevista. En algunas realizaciones, el presupuesto de potencia puede basarse en la capacidad de potencia total medida, estimada o prevista. En algunas realizaciones, el presupuesto de potencia puede determinarse en función del consumo de potencia medido, estimado o previsto para una tarea particular. En algunas realizaciones, el presupuesto de potencia puede determinarse en función de una combinación de lo anterior (p. ej., la capacidad de potencia actual y la potencia prevista consumida por una tarea particular en el modo de potencia actual).
Por ejemplo, si un dispositivo tiene potencia de pared, el presupuesto de potencia puede ser grande. Si el dispositivo se alimenta por batería, el sistema operativo puede determinar un modo de potencia para el dispositivo y el presupuesto de potencia puede determinarse en función de ese modo de potencia. Por ejemplo, una indicación de modo de potencia normal del sistema operativo puede corresponder a un presupuesto de potencia de medio cuando está en potencia de batería (p. ej., o un presupuesto de potencia de alto en función de la configuración de preferencia del usuario), mientras que una indicación de modo de potencia bajo del sistema operativo puede corresponder a un presupuesto de potencia de bajo.
En algunas realizaciones, el presupuesto de potencia puede usar, adicionalmente o como alternativa, mediciones de potencia para determinar el presupuesto de potencia. Por ejemplo, al analizador de presupuesto de potencia puede incluir o recibir información de un monitor de potencia para medir una utilización de potencia (p. ej., supervisar una batería de dispositivo). Si la utilización de potencia es mayor que un valor umbral, algunas realizaciones pueden ajustar diversos parámetros de procesamiento para reducir la calidad/complejidad (p. ej., en comparación con parámetros actuales). Adicionalmente o como alternativa, si la utilización de potencia es menor que un valor umbral, algunas realizaciones pueden ajustar diversos parámetros de procesamiento para aumentar la calidad/complejidad (p. ej., en comparación con parámetros actuales). Algunas realizaciones pueden soportar un intervalo de valores umbral o un rango de valores umbral. Por ejemplo, algunas realizaciones pueden determinar si la utilización de potencia es menor que un primer valor umbral y mayor que un segundo valor umbral y ajustar los parámetros en consecuencia.
Adicionalmente o como alternativa, el monitor de potencia puede medir una capacidad de potencia (p. ej., una vida de batería restante). Si la capacidad de potencia es menor que un valor umbral, algunas realizaciones pueden ajustar diversos parámetros de procesamiento para reducir la calidad/complejidad (p. ej., en comparación con parámetros actuales). Adicionalmente o como alternativa, si la capacidad de potencia es mayor que un valor umbral, algunas realizaciones pueden ajustar diversos parámetros de procesamiento para aumentar la calidad/complejidad (p. ej., en comparación con parámetros actuales). Algunas realizaciones pueden soportar un intervalo de valores umbral o un rango de valores umbral. Por ejemplo, algunas realizaciones pueden determinar si la capacidad de potencia es menor que un primer valor umbral y mayor que un segundo valor umbral y ajustar los parámetros en consecuencia.
Una cantidad de potencia consumida por una trama puede variar en función del trabajo realizado en la actualidad. La utilización de potencia puede ser una variable independiente del rendimiento. Cuando es independiente, algunas realizaciones pueden priorizar la potencia para cambiar los parámetros en lugar de las tramas por segundo u otras mediciones de rendimiento. Por ejemplo, si la potencia alcanza el máximo y el sistema funciona con potencia de batería (p. ej., una tableta 2 en 1 de 6 vatios), en lugar de continuar a una carga de alta potencia algunas realizaciones pueden comenzar una caída de rendimiento para áreas o configuraciones menos clave (p. ej., ajustando un parámetro de codificación/decodificación). En algunas realizaciones, una aplicación, un planificador, un microcontrolador, etc., pueden proporcionar un presupuesto de potencia deseado para una trama o una tarea al analizador de presupuesto de potencia. La cantidad de potencia consumida por la tarea puede medirse o estimarse por el analizador de presupuesto de potencia y el analizador de presupuesto de potencia puede comparar la potencia consumida contra el presupuesto de potencia deseado. El ajustador de parámetros puede entonces ajustar los diversos parámetros para una posterior trama o tarea en función de los resultados de la comparación. Por ejemplo, si la potencia consumida superó el presupuesto de potencia deseado los parámetros pueden ajustarse para disminuir la calidad/complejidad y en consecuencia reducir la carga de potencia para una trama/tarea posterior. El proceso puede repetirse hasta que se logra el presupuesto de potencia deseado.
En algunas realizaciones, el presupuesto de potencia y/o la potencia consumida pueden determinarse en función de diversos proxys para potencia. Por ejemplo, el tiempo de procesamiento puede tener una relación directa o indirecta con el consumo de potencia (p. ej., menos tiempo de procesamiento corresponde a menos consumo de potencia). La utilización de CPU y/o GPU puede tener además una relación directa o indirecta con el consumo de potencia. Unos sensores térmicos pueden proporcionar información de temperatura que puede tener una relación directa o indirecta con el consumo de potencia (p. ej., un punto de diseño término (TDP) del sistema). Otros factores/métricas de rendimiento del sistema pueden igualmente tener una relación directa o indirecta con el consumo de potencia. En algunas realizaciones, el tiempo de procesamiento, utilización de CPU/GPU, temperatura y/u otras métricas de sistema pueden supervisarse y utilizarse para determinar el presupuesto de potencia y/o la potencia consumida (p. ej., además o como alternativa a cualquier medición de potencia real).
De acuerdo con algunas realizaciones, diversas tareas de procesamiento (p. ej., antes, durante o tras la codificación) pueden ajustarse en función del presupuesto de potencia. En un dispositivo de factor de forma pequeño, por ejemplo, con un pequeño presupuesto de potencia (p. ej., o un dispositivo de factor de forma mayor que funciona con batería baja), está disponible menos potencia. Adicionalmente o como alternativa, el sistema puede utilizarse parcialmente por otras tareas, y puede estar disponible menos presupuesto para la tarea de gráficos/visualización particular. Ventajosamente, algunas realizaciones pueden determinar un presupuesto de potencia disponible y ajustar diversos parámetros de procesamiento de vídeo en función del presupuesto de potencia disponible (p. ej., para simplificar el procesamiento de vídeo y/o hacerlo menos intensivo en potencia cuando el presupuesto de potencia disponible es bajo).
Unos datos fuente de imagen/vídeo pueden llegar desde una cámara, un archivo, un flujo sobre una red, un juego, etc. Por ejemplo, los datos fuente pueden incluir datos en bruto, datos decodificados, datos renderizados u otros datos de imagen. Los datos fuente pueden pasar por una etapa de procesamiento antes de enviarse a la siguiente fase (p. ej., transmisión, visualización, analítica adicional, etc.). Por ejemplo, la etapa de procesamiento puede mejorar la calidad de los datos fuente, realizar algunas analíticas en los datos fuente, realizar visión informática en los datos fuente, etc. Un conjunto de parámetros para diversas operaciones de procesamiento puede configurarse inicialmente en función de la configuración del sistema, preferencias de usuario, aplicación o configuración/ajustes de controlador, etc. (p. ej., un tamaño de bloque inicial puede establecerse en función de algún tipo de flujo anticipado de extremo a extremo en términos de un nivel de calidad seleccionado, recursos totales del sistema disponibles en un caso típico, etc.). Ventajosamente, algunas realizaciones pueden ajustar esos ajustes/parámetros en tiempo real en función del presupuesto de potencia.
Un ejemplo de un parámetro que puede ajustarse en tiempo real en función del presupuesto de potencia puede incluir un tamaño de bloque. Por ejemplo, en lugar de realizar una operación de mezcla tal como un desenfoque Gaussiano con un tamaño de bloque de 11x11, la operación puede realizarse con un tamaño de bloque de 5x5. El bloque de 5x5 puede ser de menor calidad, pero también mucho más rápido en términos de cálculo, de modo que el procesamiento de una imagen/trama completa (p. ej., imagen 4K) puede ser más rápido y usar menos recursos de CPU/GPU y menos del presupuesto de potencia disponible. Ventajosamente, algunas realizaciones sintonizan el procesamiento de imagen/vídeo hacia arriba o abajo en tiempo real en función del presupuesto de potencia disponible (p. ej., que también se puede determinar en tiempo real).
Otro ejemplo de un parámetro que puede ajustarse en tiempo real en función del presupuesto de potencia puede incluir complejidad de procesamiento de imagen. Por ejemplo, un número de diferentes algoritmos pueden realizar procesamiento similar de una imagen con diversos grados de complejidad y correspondientes grados variables de calidad o precisión. Algunas realizaciones pueden ajustar qué algoritmo se selecciona para realizar el procesamiento de imagen en función del presupuesto de potencia (p. ej., o puede omitir una etapa de procesamiento totalmente). Por ejemplo, si el presupuesto de potencia es alto, el algoritmo de complejidad normal puede seleccionarse, si el presupuesto de potencia es medio, un algoritmo menos complejo puede seleccionarse, y si el presupuesto de potencia es bajo puede omitirse el tipo particular de procesamiento de imagen. En un ejemplo, el algoritmo de complejidad normal puede corresponder a un desenfoque Gaussiano, mientras el algoritmo menos complejo puede corresponder a un desenfoque medio, y omitir el procesamiento de imagen correspondería a nada de desenfoque aplicado a los datos fuente. Ventajosamente, algunas realizaciones pueden proporcionar una degradación elegante de la calidad en función del presupuesto de potencia.
Otro parámetro que puede ajustarse en tiempo real en función del presupuesto de potencia puede incluir mejoras de calidad del color o vídeo. Por ejemplo, un procesador de imagen puede mejorar el contraste, saturar colores, etc. Algunas realizaciones pueden sintonizar parámetros tal como tamaño de bloque, complejidad de algoritmo, etc., para mejora de imagen en función del presupuesto de potencia (p. ej., ajustar el tamaño de bloque inicialmente seleccionado, ajustar el algoritmo seleccionado, encender/apagar las características etc.). Por ejemplo, en lugar de tener procesamiento de características de mejora completa, puede proporcionarse un conjunto reducido si el presupuesto de potencia es bajo (p. ej., o algunas mejoras pueden apagarse).
Otro parámetro que puede ajustarse en tiempo real en función del presupuesto de potencia puede incluir una complejidad de analítica. Por ejemplo, las analíticas de complejidad normal pueden realizar reconocimiento facial (p. ej., una identidad de una cara en una imagen) mientras las analíticas menos complejas pueden realizar detección facial (p. ej., la presencia de una cara sin una identidad correspondiente). Por ejemplo, si el presupuesto de potencia es alto, las analíticas de complejidad normal pueden seleccionarse, si el presupuesto de potencia es medio, las analíticas menos complejas pueden seleccionarse, y si el presupuesto de potencia es bajo entonces puede no realizarse ningún reconocimiento/detección facial. Además, o como alternativa, pueden ajustarse otros parámetros del análisis. Por ejemplo, el número de tramas o el número de veces que las analíticas se realizan por trama puede ajustarse. Si el presupuesto de potencia es alto, por ejemplo, puede realizarse reconocimiento facial para cada trama, mientras que, si el presupuesto de potencia es medio, entonces la frecuencia puede ajustarse de modo que el reconocimiento facial puede realizarse cada cinco tramas. Si el presupuesto de potencia es alto, las analíticas pueden identificar/detectar hasta diez caras, por ejemplo, mientras que, si el presupuesto de potencia es bajo, las analíticas pueden ajustarse para identificar/detectar solo una cara. Para este tipo particular de analítica, el ajustador de parámetros puede, adicionalmente o como alternativa, ajustar el tamaño de la cara identificada/detectada en función del presupuesto de potencia (p. ej., o intervalo de tamaños). Los expertos en la materia entenderán que diferentes tipos de analíticas tendrán diferentes parámetros que pueden beneficiarse de ajuste en tiempo real de esos parámetros en función del presupuesto de potencia, de acuerdo con algunas realizaciones.
Ejemplos de ajuste de parámetros de tasa de bits
Algunas realizaciones pueden proporcionar ventajosamente control de tasa de bits basado en presupuesto de potencia. Por ejemplo, algunas realizaciones pueden utilizar estadísticas de trama para mejorar la calidad de imagen mientras se mantiene el control de tasa de bits basado en presupuesto de potencia. Algunas realizaciones pueden realizar un presupuesto de potencia de forma dinámica en tiempo de codificación de tramas al seleccionar un parámetro de cuantificación inicial (QP), codificar una trama con el QP seleccionado, determinar un tiempo para procesar la trama y aumentar el QP para una siguiente trama si el tiempo es mayor que un tiempo umbral. La trama se divide en una pluralidad de unidades de codificación (CU) y se determina un tiempo para procesar una de las CU con el QP seleccionado. Si el tiempo para procesar la CU es mayor que otro tiempo umbral, el QP puede aumentar para una de las siguientes de la pluralidad de CU.
En referencia ahora a la Figura 8D, un gráfico ilustra cómo para un presupuesto de potencia seleccionado un tiempo de codificación de tramas puede variar con tasa de bits. Algunos sistemas pueden beneficiarse de mantener una frecuencia de tramas objetivo (p. ej., 60 tramas por segundo (fps)). Para el presupuesto de potencia seleccionado, aumentar la tasa de bits puede aumentar la calidad, pero también aumentar el tiempo de codificación de tramas (p. ej., el tiempo requerido para procesar una trama de datos fuente). Si demasiadas tramas en sucesión tardan demasiado, el sistema puede no mantener la frecuencia de tramas objetivo o las tramas pueden caer. Para un presupuesto de potencia seleccionado, algunas realizaciones pueden ajustar ventajosamente la tasa de bits en función del tiempo de codificación de tramas para mantener una frecuencia de tramas objetivo. El tiempo de procesamiento más largo puede corresponder a consumo de potencia aumentado, de modo que el tiempo de codificación de tramas puede considerarse un proxy para el presupuesto de potencia.
Volviendo ahora a las Figuras 8E a 8F, una trama 850 puede incluir datos de imagen para una escena. La trama 850 puede dividirse en una pluralidad de CU 852. Durante la codificación, un valor de QP se asigna a cada CU 852, lo que afecta a la tasa de bits. Por ejemplo, el valor de QP puede estar entre cero (0) y cincuenta y uno (51), con los valores de QP inferiores correspondientes a tasas de bits mayores (p. ej., mayor calidad y mayor tiempo de procesamiento) y los valores de QP mayores correspondientes a una tasa de bits menor (p. ej., menor calidad y tiempo de procesamiento más corto). Para un presupuesto de potencia dado, algunas realizaciones pueden supervisar ventajosamente el tiempo de codificación de tramas y cambiar dinámicamente el valor de QP en función del tiempo de codificación de tramas. Por ejemplo, si el tiempo de codificación de tramas es muy largo, el valor de QP puede aumentar, lo que reduce en consecuencia la tasa de bits (p. ej., y reduce el tiempo de procesamiento posterior).
En algunas realizaciones, todas las CU 852 pueden despacharse simultáneamente a unidades de ejecución paralelas de modo que todas las tramas se procesan esencialmente a la vez. Por consiguiente, el tiempo umbral puede ser el tiempo para una trama en la frecuencia de tramas objetivo (p. ej., 1 segundo dividido por 60 fps es igual a aproximadamente 16 ms por trama; 1/90 fps es igual a aproximadamente 12 ms). En este ejemplo, si el tiempo de codificación de tramas tarda más de 16 ms para la trama actual, el QP puede aumentar para la siguiente trama (p. ej., o tramas) para disminuir el tiempo de codificación de tramas para mantener la frecuencia de tramas objetivo. Si la trama actual tarda 18 ms en codificarse, aumentar el QP puede reducir el tiempo de codificación para la siguiente trama a 14 ms (o las siguientes dos tramas a 15 ms), lo que puede poner la codificación de nuevo en planificación. Igualmente, si el tiempo de codificación de tramas tarda menos de 16 ms para la trama actual, el QP puede disminuir para la siguiente trama para aumentar la calidad manteniendo la frecuencia de tramas objetivo. El ajuste de QP puede hacerse de forma rodante o puede hacerse en un conjunto de tramas para mantener la frecuencia de tramas objetivo para ese conjunto (p. ej., un conjunto diferente de 60 tramas cada segundo).
En algunas realizaciones, solo algunas de las CU 852 pueden despacharse a las unidades de ejecución para el procesamiento. En este ejemplo, el tiempo umbral puede ajustarse en consecuencia según cuántas CU se procesen a la vez. Por ejemplo, si la trama 850 se divide en 36 CU que se procesan una fila cada vez (p. ej., 6 CU por fila), el tiempo umbral puede ser de aproximadamente 2,8 ms para una fila de CU para una frecuencia de tramas objetivo de 60 fps. En este ejemplo, a cada una de la primera fila de CU se le asigna un valor QP de 10. Si el tiempo de codificación de CU tarda más de 2,8 ms para la primera fila, el QP puede aumentar para la siguiente fila (p. ej., ajustarse a un valor de QP de 20) para disminuir el tiempo de codificación de CU para mantener la frecuencia de tramas objetivo. Igualmente, si el tiempo de codificación de CU tarda menos de 2,8 ms para la fila actual, el QP puede disminuir para la siguiente fila para aumentar la calidad manteniendo la frecuencia de tramas objetivo. El ajuste de QP puede hacerse de forma rodante o puede hacerse en un conjunto de CU para mantener la frecuencia de tramas objetivo.
En referencia ahora a la Figura 8G, un sistema de gráficos 860 puede incluir una fuente 861 acoplada a un transformador directo 862 que se acopla a un cuantificador 863. El cuantificador 863 puede acoplarse a un codificador por entropía 864 y un codificador automático binario adaptativo de contexto (CABAC) 865. El sistema 860 puede incluir una ruta de realimentación que incluye un cuantificador inverso 866 acoplado a una salida del transformador directo 862 y un transformador inverso 867 acoplado a una salida del cuantificador inverso 866. Una salida del transformador inverso 867 puede combinarse con una referencia 868 como entrada al transformador directo 862. Ventajosamente, el sistema 860 puede incluir además un ajustador de parámetros 869 acoplado al cuantificador 863 para ajustar el valor de QP en función de una comparación de tiempo de codificación contra un umbral de tiempo (p. ej., tiempo de codificación de tramas, tiempo de codificación de CU, etc.).
El transformador directo 862 puede aplicar una transformación a píxeles fuente. Los píxeles transformados pueden proporcionarse al cuantificador 863 para cuantificar los píxeles transformados en función del valor de QP seleccionado. Tras la cuantificación se pueden aplicar codificación por entropía y codificación CABAC para proporcionar un flujo de bits. Por ejemplo, el sistema puede procesar dos (2) contenedores por ciclo de reloj. Para tamaños de imagen grande (p. ej., vídeo 4K), la tasa de bits puede limitarse para no exceder la limitación de dos contenedores/ciclo de reloj del sistema 860. La tasa de bits puede escribirse en memoria, mostrarse, transmitirse, etc. Ventajosamente, en algunas realizaciones el ajustador de parámetros puede ajustar dinámicamente el QP por trama o por ciclo de procesamiento.
Ejemplos de ajuste de parámetros de búsqueda de vector de movimiento
En función de la potencia, algunas realizaciones pueden ajustar ventajosamente una búsqueda de vector de movimiento para utilizar un tamaño de búsqueda menor. Por ejemplo, en función del presupuesto de potencia, algunas realizaciones pueden cambiar la región de búsqueda (p. ej., que se puede programar por un controlador). Por ejemplo, la búsqueda de vector de movimiento puede ser en un alcance menor para un presupuesto de potencia menor. Algunas realizaciones pueden buscar efectivamente el vector de movimiento en función del presupuesto de potencia, limitando a la vez la búsqueda en general.
En algunos sistemas, cada uno de los vectores de movimiento de bloque de píxeles 16x16 puede buscarse desde la trama N a N-1. De acuerdo con algunas realizaciones, el presupuesto de potencia puede causar que la búsqueda se ajuste para basarse en un mayor fragmento de bloque de píxeles 64x64. Puede haber dieciséis (16) subbloques 16x16 dentro del bloque de píxeles 64x64. Algunas realizaciones pueden encontrar primero el vector de movimiento para el bloque de píxeles 64x64, y luego pueden limitar la búsqueda para los 16 subbloques de los bloques de píxeles 16x16 a un área más estrecha centrada alrededor del vector de movimiento 64x64 encontrado. Ventajosamente, algunas realizaciones pueden disminuir significativamente el tiempo de búsqueda y ahorrarse varios ciclos que de lo contrario pueden requerirse durante una búsqueda de vector de movimiento para cada bloque de píxeles 16x16. En algunas realizaciones, el tamaño del bloque de fragmento mayor puede ser programable. Por ejemplo, en lugar de la fijación dura de un tamaño de bloque de píxeles 64x64, un controlador de aplicaciones o sombreador puede seleccionar un tamaño de bloques variable en función de indicios de API para elegir un tamaño apropiado de bloque de píxeles (p. ej., como un punto de inicio). Por ejemplo, para un presupuesto de potencia incluso menor, el tamaño de bloque puede ser de 128x128 o para un presupuesto de potencia más relajado el tamaño de bloque puede bajar a 32x32.
De acuerdo con algunas realizaciones, una búsqueda de vector de movimiento relativamente más tosca puede realizarse en función de un presupuesto de potencia relativamente inferior. Por ejemplo, una región menor puede usarse en lugar de una región mayor. Ventajosamente, algunas realizaciones pueden reducir la cantidad de datos que se comparan.
En referencia ahora a la Figura 8H, un bloque 880 para una búsqueda de vector de movimiento puede dividirse en una pluralidad de subbloques (p. ej., bloques B<1>a B<16>). Por ejemplo, el bloque 880 puede tener un tamaño de bloque de 64x64 mientras que cada uno de los subbloques puede tener un tamaño de bloque de 16x16. Para reducir la cantidad de datos a comparar, algunas realizaciones pueden limitar las búsquedas de vector de movimiento. Algunas realizaciones pueden realizar más búsquedas, pero el procesamiento de un bloque 64x64 puede demandar más potencia que el procesamiento de un bloque 16x16 porque se compara un número inferior de píxeles.
En algunas realizaciones, un subbloque central (p. ej., cualquiera de los subbloques B6, B<7>, B<10>, o B<11>) puede seleccionarse para realizar una primera determinación completa de la búsqueda de vector de movimiento. El vector de movimiento resultante de la primera búsqueda puede entonces usarse como punto inicial para posteriores búsquedas en el bloque 880. Para los restantes quince subbloques, por ejemplo, el área de búsqueda puede limitarse dentro del vector de movimiento encontrado para el primer subbloque (p. ej., dos subbloques a la izquierda y dos subbloques a la derecha, sin buscar en toda la región). La primera búsqueda de un subbloque central puede proporcionar un vector de movimiento estimado razonable para la región. Limitar la búsqueda para los restantes subbloques dentro de la ventana del primer vector de movimiento estimado puede reducir ventajosamente la cantidad de procesamiento requerido y reducir el consumo de potencia.
Ejemplos de ajuste de parámetros basado en objetivo
En referencia ahora a la Figura 9, una realización de un aparato de gráficos 900 puede incluir un analizador objetivo 921 para identificar un objetivo para un sistema de gráficos, y un ajustador de parámetros 922 acoplado comunicativamente al analizador objetivo 921 para ajustar uno o más parámetros de proceso de tramas del sistema de gráficos en función del objetivo identificado. Por ejemplo, el objetivo identificado puede incluir un objetivo de analítica de vídeo. En algunas realizaciones, el ajustador de parámetros 922 puede configurarse para aumentar un intervalo de ajuste de un parámetro de cuantificación cuando el objetivo identificado corresponde al objetivo de analíticas de vídeo en comparación con el intervalo de ajuste del parámetro de cuantificación cuando el objetivo identificado corresponde a un espectador humano.
Algunas realizaciones del aparato de gráficos 900 pueden incluir además una memoria 923 comunicativamente acoplada al ajustador de parámetros 922 para almacenar una estructura de jerarquía temporal. El ajustador de parámetros 922 puede configurarse además para asignar un primer valor de parámetro de cuantificación a una primera capa temporal de la estructura de jerarquía temporal, y asignar un segundo valor de parámetro de cuantificación a una segunda capa temporal de la estructura de jerarquía temporal. Por ejemplo, una diferencia entre el primer valor de parámetro de cuantificación y el segundo valor de parámetro de cuantificación puede ser mayor cuando el objetivo identificado corresponde al objetivo de analíticas de vídeo en comparación a cuando el objetivo identificado corresponde a un espectador humano.
Las realizaciones de cada uno del anterior analizador objetivo 921, ajustador de parámetros 922, memoria 923 y otros componentes del aparato 900 se pueden implementar en hardware, software o cualquier combinación de los mismos. Por ejemplo, las implementaciones de hardware pueden incluir lógica configurable tal como, por ejemplo, PLA, FPGA, CPLD, o en hardware de lógica de funcionalidad fija usando tecnología de circuitos tal como, por ejemplo, tecnología ASIC, CMOS o TTL, o cualquier combinación de las mismas. Como alternativa, o adicionalmente, estos componentes se pueden implementar en uno o más módulos como un conjunto de instrucciones lógicas almacenadas en un medio de almacenamiento legible por máquina u ordenador, tal como RAM, ROM, PROM, firmware, memoria flash, etc., para ser ejecutadas por un procesador o dispositivo informático. Por ejemplo, el código de programa informático para llevar a cabo las operaciones de los componentes se puede escribir en cualquier combinación de uno o más lenguajes de programación apropiados/aplicables al sistema operativo, incluyendo un lenguaje de programación orientado a objetos tal como PYTHON, PERL, JAVA, SMALLTALK, C++, C# o similares y lenguajes de programación de procedurales convencionales, tales como el lenguaje de programación "C" o lenguajes de programación similares.
En referencia ahora a la Figura 10A, una realización de un método 1000 de ajuste de un parámetro de gráficos puede incluir identificar un objetivo para un sistema de gráficos en el bloque 1031, y de ajuste de uno o más parámetros de proceso de tramas del sistema de gráficos en función del objetivo identificado en el bloque 1032. Por ejemplo, un parámetro de proceso de tramas puede incluir uno o más de un parámetro de codificación y un parámetro de decodificación. Por ejemplo, el objetivo identificado puede incluir un objetivo de analítica de vídeo en el bloque 1033. Algunas realizaciones del método 1000 pueden incluir además aumentar un intervalo de ajuste de un parámetro de cuantificación cuando el objetivo identificado corresponde al objetivo de analíticas de vídeo en comparación con el intervalo de ajuste del parámetro de cuantificación cuando el objetivo identificado corresponde a un espectador humano en el bloque 1034.
Algunas realizaciones pueden incluir adicional o alternativamente asignar un primer valor de parámetro de cuantificación a una primera capa temporal de una estructura de jerarquía temporal en el bloque 1035, y asignar un segundo valor de parámetro de cuantificación a una segunda capa temporal de la estructura de jerarquía temporal en el bloque 1036. Por ejemplo, una diferencia entre el primer valor de parámetro de cuantificación y el segundo valor de parámetro de cuantificación puede ser mayor cuando el objetivo identificado corresponde al objetivo de analíticas de vídeo en comparación a cuando el objetivo identificado corresponde a un espectador humano en el bloque 1037.
Las realizaciones del método 1000 se pueden implementar en un sistema, aparato, GPU, o unidad de procesamiento paralelo (PPU) tal como, por ejemplo, los descritos en el presente documento. Más particularmente, las implementaciones de hardware del método 1000 pueden incluir lógica configurable tal como, por ejemplo, PLA, FPGA, CPLD, o en hardware de lógica de funcionalidad fija usando tecnología de circuitos tal como, por ejemplo, tecnología ASIC, CMOS o TTL, o cualquier combinación de las mismas. Como alternativa, o adicionalmente, el método 1000 se puede implementar en uno o más módulos como un conjunto de instrucciones lógicas almacenadas en un medio de almacenamiento legible por máquina u ordenador, tal como RAM, ROM, PROM, firmware, memoria flash, etc., para ser ejecutadas por un procesador o dispositivo informático. Por ejemplo, el código de programa informático para llevar a cabo las operaciones de los componentes se puede escribir en cualquier combinación de uno o más lenguajes de programación apropiados/aplicables al sistema operativo, incluyendo un lenguaje de programación orientado a objetos tal como PYTHON, PERL, JAVA, SMALLTALK, C++, C# o similares y lenguajes de programación de procedurales convencionales, tales como el lenguaje de programación "C" o lenguajes de programación similares. Por ejemplo, el método 1000 se puede implementar en un medio legible por ordenador como se describe en relación con los ejemplos 40 a 43, más adelante.
Por ejemplo, las realizaciones o partes del método 1000 se pueden implementar en aplicaciones o software de controlador (p. ej., a través de una API). Otras realizaciones o partes del método 1000 se pueden implementar en código especializado (p. ej., sombreadores) para ejecutarse en una GPU. Otras realizaciones o partes del método 1000 se pueden implementar en lógica de función fija o hardware especializado (p. ej., en la GPU).
Sin limitarse a una teoría de funcionamiento, en general con codificación/decodificación de vídeo puede haber diversas compensaciones entre calidad y recursos de procesamiento basado en trama por trama. Para un vídeo típico que se espera que vean humanos, alguna variación en calidad entre tramas (p. ej., para ahorrar potencia o debido a falta de recursos de procesamiento) puede ser aceptable para una buena experiencia de visionado, pero tal variación se limita generalmente dentro de un intervalo que es menos perceptible para los humanos. Un cambio abrupto en calidad entre tramas puede ser apreciable para un espectador humano, lo que puede impactar negativamente a la experiencia de visionado. Los objetivos no humanos, sin embargo, pueden no tener problemas con cambios abruptos en calidad entre tramas de vídeo. Diversas analíticas de vídeo, por ejemplo, pueden no estar destinadas para ser vistas por humanos. Los ejemplos no limitantes de analíticas de vídeo pueden incluir detección y/o reconocimiento de objetos, detección de movimiento y/o rastreo de movimiento, detección y/o reconocimiento facial, detección y/o reconocimiento de gestos, etc. Las analíticas de vídeo pueden analizar una trama para determinar la presencia de un objeto, movimiento de un objeto, identificación de objetos, etc. La trama puede analizarse por un ordenador en oposición a verse por un humano. Las suposiciones convencionales hechas para limitar la variación en calidad temporalmente no se aplican necesariamente a un objetivo no humano. Ventajosamente, algunas realizaciones pueden ajustar parámetros para un sistema de gráficos en función de uno o más objetivos identificados. Los ejemplos de objetivos pueden incluir un objetivo humano, un objetivo de analíticas de detección de objetos, un objetivo de analíticas de reconocimiento de objetos, un objetivo de analíticas de detección de movimiento, un objetivo de analíticas de rastreo de movimiento, un objetivo de analíticas de detección facial, un objetivo de analíticas de reconocimiento facial, etc.
De acuerdo con algunas realizaciones, un analizador objetivo puede usar cualquiera de un número de técnicas para identificar un objetivo. Por ejemplo, el analizador objetivo puede analizar la configuración del sistema y ajustes para identificar componentes, módulos, controladores, bibliotecas, sombreadores, etc., instalados. Durante el tiempo de ejecución, el analizador objetivo puede analizar los componentes, módulos, controladores, rutinas de biblioteca, sombreadores, etc., cargados. El analizador objetivo puede ser capaz de determinar la fuente de una solicitud para datos de imagen/trama para identificar el objetivo. Por ejemplo, al analizador objetivo puede analizar transacciones de CPU, GPU y/o ES para identificar la fuente de una solicitud o el destino para los datos de imagen/trama. En algunas realizaciones, el propio objetivo puede autoidentificarse al analizador objetivo. Por ejemplo, una comunicación de apretón de manos puede ocurrir donde el objetivo proporciona metadatos, etiqueta, u otra información con características de identificación al analizador objetivo. En algunas realizaciones, el objetivo puede identificarse en el analizador objetivo por una aplicación o controlador. Por ejemplo, una llamada API puede incluir una variable que identifica el objetivo al analizador objetivo.
Una forma en que se pueden realizar ajustes de calidad temporales incluye ajustar el parámetro de cuantificación (QP). Para un objetivo humano, al ajustar el QP, la cantidad de ajuste entre tramas (p. ej., a veces denominado desfase de QP) puede limitarse para reducir la cantidad de variación de calidad entre tramas. Para analíticas de vídeo, de acuerdo con algunas realizaciones, el intervalo de ajuste puede ser más ancho. Algunas realizaciones pueden asignar el valor de QP de forma diferentes si se conoce que el objetivo para una trama es para analíticas en oposición al visionado humano. Igualmente, diferentes tipos de analíticas pueden tener diferentes requisitos de calidad, y el intervalo/desfase de QP puede determinarse en función de las analíticas objetivo. En algunas realizaciones, ciertas tramas clave pueden mantenerse en calidad alta (bajo QP), mientras las tramas intermedias tienen calidad sustancialmente inferior (alto QP), con un desfase de QP mucho más allá de lo que puede ser adecuado para una buena experiencia de visionado humano. Ventajosamente, algunas realizaciones pueden reducir drásticamente la tasa de bits mientras se mantiene suficiente calidad de vídeo para las analíticas.
Como se mencionó antes, por ejemplo, valores de QP y desfases de QP adecuados pueden ser diferentes para objetivos humanos y objetivos no humanos. Valores de QP y desfases de QP adecuados también pueden ser diferentes para diferentes tipos de objetivos de analíticas de vídeo. Valores de QP y desfases de QP adecuados para analíticas de vídeo de reconocimiento facial, por ejemplo, pueden ser diferentes de valores de QP y desfases de QP adecuados para analíticas de vídeo de detección de movimiento.
Algunos sistemas pueden soportar una estructura temporal jerárquica, tal como una estructura de predicción temporal. Una estructura de predicción temporal de ejemplo puede tener una jerarquía donde existen imágenes de capa temporal inferior e imágenes de capa temporal superior (p. ej., una capa temporal 0, una capa temporal 1, una capa temporal 2, etc.). En algunas realizaciones, la capa temporal cero puede tener la mayor calidad para codificación, la capa temporal uno puede ser de calidad inferior a la capa temporal cero, la capa temporal dos puede ser de calidad inferior a la capa temporal uno, etc. En algunos sistemas, el valor de QP puede variar entre las capas, pero de forma limitada para evitar cambios bruscos en calidad de codificación que podrían ser perceptibles para un espectador humano. Algunos sistemas pueden incluir un desfase de QP para definir cuánto puede cambiar el valor de QP entre capas temporales.
De acuerdo con algunas realizaciones, cada capa temporal puede tener ventajosamente un primer valor de QP para la capa temporal correspondiente a un primer objetivo y un segundo valor de QP para la capa temporal correspondiente a un segundo objetivo, y valores de QP adicionales según sea necesario para la capa temporal correspondiente a objetivos tercero a N-ésimo. Igualmente, en algunas realizaciones, cada capa temporal puede tener ventajosamente un primer desfase de QP para la capa temporal correspondiente a un primer objetivo y un segundo desfase de QP para la capa temporal correspondiente a un segundo objetivo, y desfases de QP adicionales según sea necesario para la capa temporal correspondiente a objetivos tercero a N-ésimo.
Volviendo ahora a las Figuras 10B a 10C, una estructura de jerarquía temporal 1040 puede incluir una capa temporal 0, una capa temporal 1, hasta una capa temporal N. Un analizador objetivo puede identificar el objetivo para la estructura 1040 como un primer objetivo (p. ej., objetivo humano). Un ajustador de parámetros puede establecer valores de QP para cada una de las capas temporales a respectivos valores de 5, 8 y 11 correspondientes a valores adecuados para el primer objetivo (véase la Figura 10B). Si el analizador objetivo identificado o identifica más tarde el objetivo para la estructura 1040 como un segundo objetivo (p. ej., un objetivo de analítica de vídeo), el ajustador de parámetros puede ajustar los valores de QP para las capas temporales a respectivos valores de 5, 15 y 25 correspondientes a valores adecuados para el segundo objetivo (véase la Figura 10C).
Volviendo ahora a las Figuras 10D a 10E, una estructura de jerarquía temporal 1050 puede incluir una capa temporal 0, una capa temporal 1, hasta una capa temporal N. Un analizador objetivo puede identificar el objetivo para la estructura 1050 como un primer objetivo (p. ej., objetivo humano). Un ajustador de parámetros puede establecer desfases de QP para cada una de las capas temporales a respectivos valores de /- 3, /- 4 y /- 5 correspondientes a valores adecuados para el primer objetivo (véase la Figura 10D). Si el analizador objetivo identificado o identifica más tarde el objetivo para la estructura 1050 como un segundo objetivo (p. ej., un objetivo de analítica de vídeo), el ajustador de parámetros puede ajustar los desfases de QP para las capas temporales a respectivos valores de /- 5, /- 10 y /- 15 correspondientes a valores adecuados para el segundo objetivo (véase la Figura 10E).
En referencia ahora a la Figura 10F, un sistema de gráficos 1060 puede incluir datos de imagen/trama fuente proporcionados a un codificador local 1062 conectado a un decodificador remoto 1063 a través de un servicio de red 1064 (p. ej., servicio en la nube). Un objetivo de analíticas de vídeo 1065 puede acoplarse comunicativamente al decodificador remoto 1063 para realizar analíticas de vídeo en los datos decodificados. Algunas realizaciones pueden proporcionar ventajosamente calidad de vídeo temporalmente variable para analíticas remotas (p. ej., variaciones trama por trama en calidad de vídeo). Por ejemplo, algunas realizaciones pueden permitir una variación mucho mayor en calidad temporal de lo que podría usarse para el visionado humano cuando se destina a analíticas de vídeo remoto. Algunas realizaciones pueden utilizar QP mucho inferiores para algunas tramas (p. ej., especialmente para cambio de puntuación o movimiento pesado). Ventajosamente, algunas realizaciones pueden reducir drásticamente la tasa de bits para objetivos de analíticas de vídeo remoto, lo que también puede reducir los requisitos de ancho de banda de red.
Comenzando con una trama clave de calidad razonable, por ejemplo, un objetivo de analíticas de vídeo puede ser capaz de identificar un objeto. Algunas realizaciones pueden proporcionar tramas posteriores de calidad inferior al objetivo de analíticas de vídeo para rastrear el movimiento de ese objeto. Por ejemplo, una trama de entre 60 puede ser de buena calidad mientras las restantes 59 tramas pueden ser de calidad mucho menor (pero de suficiente calidad para rastreo de objetos). Por ejemplo, otro objetivo de analíticas de vídeo puede realizar reconocimiento facial en la trama de buena calidad y realizar solo reconocimiento de movimiento de la cara reconocida para las posteriores tramas de calidad inferior. Las posteriores tramas de calidad inferior pueden no proporcionar calidad suficiente para realizar reconocimiento facial de una persona particular, pero pueden tener suficiente calidad para identificar la presencia continuada de un área facial previamente identificada y movimiento relativo de esa área facial identificada de trama a trama.
En algunas realizaciones, una trama clave puede corresponder a una trama I, que puede ocurrir cada 60 tramas. Las otras tramas pueden corresponder a tramas P. Algunas realizaciones pueden tener una imagen de acceso aleatorio en un flujo de tramas, que puede tener mejor calidad, lo que puede corresponder a una trama clave. Para una señal de retransmisión, por ejemplo, un punto de acceso aleatorio puede iniciar la reproducción para los espectadores que sintonizan la señal en diferentes momentos en el tiempo. Un cambio de escena identificado puede también ser un criterio para un cambio de calidad. Por ejemplo, una primera trama tras un cambio de escena puede ser de calidad alta.
Tecnología de visualización
Volviendo ahora a la Figura 11, se muestra un sistema informático 1100 de rendimiento mejorado. En el ejemplo ilustrado, un procesador 1110 está acoplado a una pantalla 1120. El procesador 1110 generalmente puede generar imágenes para mostrarlas en un panel LCD 1150 de la pantalla 1120. En un ejemplo, el procesador 1110 incluye una interfaz de comunicación tal como, por ejemplo, una matriz de gráficos de vídeo (VGA), una interfaz DisplayPort (DP), una interfaz DisplayPort integrada (eDP), una interfaz multimedia de alta definición (HDMI), una interfaz visual digital (DVI), y así sucesivamente. El procesador 1110 puede ser un procesador de gráficos (por ejemplo, unidad de procesamiento de gráficos/GPU) que procesa datos de gráficos y genera las imágenes (p. ej., tramas de vídeo, imágenes fijas) mostradas en el panel LCD 1150. Por otra parte, el procesador 1110 puede incluir una o más canalizaciones de procesamiento de imágenes que generan datos de píxeles. Las canalizaciones de procesamiento de imágenes pueden cumplir con la arquitectura OPENGL u otra arquitectura adecuada. Adicionalmente, el procesador 1110 puede estar conectado a un procesador de anfitrión (por ejemplo, unidad central de procesamiento/CPU), en donde el procesador de anfitrión ejecuta uno o más controladores de dispositivo que controlan y/o interactúan con el procesador 1110.
La pantalla 1120 ilustrada incluye un controlador de temporización (TCON) 1130, que puede direccionar individualmente diferentes píxeles en el panel LCD 1150 y actualizar cada píxel individual en el panel LCD 1150 por ciclo de refresco. A este respecto, el panel LCD 1150 puede incluir una pluralidad de elementos de cristal líquido tales como, por ejemplo, un cristal líquido y un filtro de color integrado. Cada píxel del panel LCD 1150 puede incluir un trío de elementos de cristal líquido con filtros de color rojo, verde y azul, respectivamente. El panel LCD 1150 puede disponer los píxeles en una matriz bidimensional (2D) que se controla mediante controladores de fila 1152 y controladores de columna 1154 para actualizar la imagen que se muestra en el panel LCD 1150. Por tanto, el TCON 1130 puede controlar los controladores de fila 1152 y los controladores de columna 1154 para direccionar píxeles específicos del panel LCD 1150. El TCON 1130 también puede ajustar la tensión proporcionada a los elementos de cristal líquido en el píxel para cambiar la intensidad de la luz que pasa a través de cada uno de los tres elementos de cristal líquido y, por lo tanto, cambiar el color del píxel que se muestra en la superficie del panel LCD 1150.
Una retroiluminación 1160 puede incluir una pluralidad de elementos emisores de luz tales como, por ejemplo, diodos emisores de luz (LED), que están dispuestos en un borde del panel LCD 1150. En consecuencia, la luz generada por los LED puede dispersarse a través del panel LCD 1150 mediante un difusor (no mostrado). En otro ejemplo, los LED están dispuestos en una matriz 2D directamente detrás del panel LCD 1150 en una configuración a veces denominada retroiluminación directa porque cada LED dispersa la luz a través de uno o más píxeles correspondientes del panel LCD 1150 colocado frente al LED. Los elementos emisores de luz también pueden incluir lámparas fluorescentes compactas (CFL) dispuestas a lo largo de uno o más bordes del panel LCD 1150. Para eliminar múltiples bordes, la combinación de bordes puede alterarse para lograr una iluminación selectiva de una región, en donde se utiliza menos del conjunto total de elementos de iluminación con menos potencia.
Los elementos emisores de luz también pueden incluir una o más láminas de material electroluminiscente colocadas detrás del panel LCD 1150. En tal caso, la luz de la superficie de la lámina puede dispersarse a través de los píxeles del panel LCD 1150. Adicionalmente, la lámina puede dividirse en una pluralidad de regiones tales como, por ejemplo, cuadrantes. En un ejemplo, cada región se controla individualmente para iluminar solo una porción del panel LCD 1150. También se pueden utilizar otras soluciones de retroiluminación.
La pantalla 1120 ilustrada también incluye un controlador de retroiluminación (BLC) 1140 que proporciona una tensión a los elementos emisores de luz de la retroiluminación 1160. Por ejemplo, el BLC 1140 puede incluir un controlador de modulación de ancho de pulso (PWM) (no mostrado) para generar una señal PWM que activa al menos una porción de los elementos emisores de luz de la retroiluminación 1160. El ciclo de trabajo y la frecuencia de la señal PWM pueden hacer que la luz generada por los elementos emisores de luz se atenúe. Por ejemplo, un ciclo de trabajo del 100 % puede corresponder a que los elementos emisores de luz estén completamente encendidos y un ciclo de trabajo del 0 % puede corresponder a que los elementos emisores de luz estén completamente apagados. Por tanto, los ciclos de trabajo intermedios (por ejemplo, 25 %, 50 %) normalmente hacen que los elementos emisores de luz se enciendan durante una porción de un período de ciclo que es proporcional al porcentaje del ciclo de trabajo. El período de ciclo puede ser lo suficientemente rápido como para que el ojo humano no note el parpadeo de los elementos emisores de luz. Por otra parte, el efecto para el usuario puede ser que el nivel de luz emitida por la retroiluminación 1160 sea menor que si la retroiluminación 1160 estuviera completamente activada. El BLC 1140 puede estar separado o incorporado al TCON 1130.
Como alternativa, se puede utilizar un sistema de visualización emisivo en el que el panel LCD 1150 sería sustituido por un panel de visualización emisivo (por ejemplo, diodo emisor de luz orgánico/OLED), se omitiría la retroiluminación 1160 y los controladores de fila y columna 1152 y 1154, respectivamente, se podrían utilizar para modular directamente el color y el brillo de los píxeles.
Resolución de visualización basada en distancia
La Figura 12A muestra un escenario en el que un usuario 1218 interactúa con un dispositivo de procesamiento de datos 1200 que contiene una unidad de visualización 1228. El dispositivo de procesamiento de visualización 1200 puede incluir, por ejemplo, un ordenador portátil, un ordenador de sobremesa, una tableta, una tableta convertible, un dispositivo de Internet móvil (MID), un asistente digital personal (PDA), un dispositivo portátil (por ejemplo, pantalla montada en la cabeza/HMD), un reproductor multimedia, etc., o cualquier combinación de los mismos. El dispositivo de procesamiento de datos 1200 ilustrado incluye un procesador 1224 (por ejemplo, controlador integrado, microcontrolador, procesador de anfitrión, procesador de gráficos) acoplado a una memoria 1222, que puede incluir ubicaciones de almacenamiento que son direccionables a través del procesador 1224. Como se analizará con mayor detalle, un sensor de distancia 1210 puede permitir una resolución de visualización basada en la distancia con respecto a las unidades de visualización 1228.
La memoria 1222 ilustrada incluye datos de visualización 1226 que se representarán en la unidad de visualización 1228. En un ejemplo, el procesador 1224 realiza la conversión de datos en los datos de visualización 1226 antes de presentar los datos de visualización 1226 en la unidad de visualización 1228. Un motor de posprocesamiento 1214 puede ejecutarse en el procesador 1224 para recibir los datos de visualización 1226 y una salida del sensor de distancia 1210. El motor de posprocesamiento 1214 puede modificar los datos de visualización 1226 para mejorar la legibilidad del contenido de la pantalla en la unidad de visualización 1228, reducir el consumo de energía en el dispositivo de procesamiento de datos 1200, etc., o cualquier combinación de los mismos.
La memoria ilustrada 1222 almacena una configuración de resolución de visualización 1216, además de un sistema operativo 1212 y una aplicación 1220. La configuración de resolución de visualización 1216 puede especificar un número de píxeles de los datos de visualización 1226 que se presentarán en la unidad de visualización 1228 a lo largo de una dimensión de longitud y una dimensión de anchura. Si los datos de visualización 1226 según se generan por la aplicación 1220 son incompatibles con el formato de la unidad de visualización 1228, el procesador 1224 puede configurar la escala de los datos de visualización 1226 para que coincida con el formato de las unidades de visualización 1228. A este respecto, la configuración de resolución de visualización 1216 puede asociarse y/o incorporarse a datos de configuración que definen otras configuraciones para la unidad de visualización 1228. Por otra parte, la configuración de resolución de visualización 1216 puede definirse en términos de unidad de distancia o área (por ejemplo, píxeles por pulgada/PPI), u otro parámetro adecuado.
La aplicación 1220 puede generar una interfaz de usuario, en donde el usuario 1218 puede interactuar con la interfaz de usuario para seleccionar la configuración de resolución de visualización 1216 de una o más opciones proporcionadas a través de la interfaz de usuario, introducir la configuración de resolución de visualización 1216 como un valor solicitado, y así sucesivamente. Por tanto, se puede cambiar el tamaño de los datos de visualización 1226 para que encajen en la configuración de resolución de visualización 1216 antes de ser representados en la unidad de visualización 1228.
El sensor de distancia 1210 puede rastrear la distancia entre el usuario 1218 y la unidad de visualización 1228, en donde la detección de distancia puede activarse a través de un botón físico asociado con el dispositivo de procesamiento de datos 1200/unidad de visualización 1228, a través de la interfaz de usuario proporcionada por la aplicación 1220 y/o carga del sistema operativo 1220, y así sucesivamente. Por ejemplo, durante un arranque del dispositivo de procesamiento de datos 1200, el sistema operativo 1212 puede realizar un proceso automático para activar la detección de distancia en segundo plano o en primer plano. La detección de distancias puede realizarse de forma periódica o continua.
La Figura 12B muestra un ejemplo de un escenario de detección de distancia. En el ejemplo ilustrado, el sensor de distancia 1210 utiliza un transceptor 1208 para emitir un haz electromagnético 1202 en la dirección del usuario 1218. Por tanto, el transceptor 1202 podría colocarse en una superficie orientada hacia el frente del dispositivo de procesamiento de datos 1200 (Figura 12A). El haz electromagnético 1202 puede impactar al usuario 1218 y ser reflejado/dispersado desde el usuario 1218 como un haz electromagnético de retorno 1204. El haz electromagnético de retorno 1204 puede ser analizado, por ejemplo, por el procesador 1224 (Figura 12A) y/o el motor de posprocesamiento 1214 (Figura 12A) para determinar la distancia 1206 entre el usuario 1218 y la unidad de visualización 1228 (Figura 12A). La distancia 1206 se puede utilizar para ajustar la configuración de resolución de visualización 1216.
Capas de visualización
Volviendo ahora a la Figura 13, se muestra un sistema de visualización 1300 en el que se usan capas de visualización en cascada 1361, 1362 y 1363 para lograr una superresolución espacial/temporal en un conjunto de visualización 1360. En el ejemplo ilustrado, un procesador 1310 proporciona datos de gráficos originales 1334 (por ejemplo, tramas de vídeo, imágenes fijas) al sistema 1300 mediante un bus 1320. Un programa de visualización en cascada 1331 puede almacenarse en una memoria 1330, en donde el programa de visualización en cascada 1331 puede ser parte de un controlador de visualización asociado con el conjunto de visualización 1360. La memoria ilustrada 1330 también incluye los datos de gráficos originales 1334 y los datos de gráficos factorizados 1335. En un ejemplo, el programa de visualización en cascada 1331 incluye un componente de factorización temporal 1332 y un componente de factorización espacial 1333. El componente de factorización temporal 1332 puede realizar un cálculo de factorización temporal y el componente de factorización espacial puede realizar un cálculo de factorización espacial. El programa de visualización en cascada 1331 puede derivar los datos de gráficos factorizados 1335 para su presentación en cada capa de visualización 1361, 1362 y 1363 basándose en las configuraciones del usuario y los datos de gráficos originales 1334.
El conjunto de visualización 1360 puede implementarse como una LCD (pantalla de cristal líquido) utilizada, por ejemplo, en una aplicación de pantalla montada en la cabeza (HMD). Más particularmente, el conjunto de visualización 1360 puede incluir una pila de placas de interfaz de paneles LCD, un accesorio de lente, y así sucesivamente. Cada panel puede funcionar con una resolución nativa de, por ejemplo, 1280x800 píxeles y con una tasa de refresco de 60 Hz. Se pueden utilizar otras resoluciones nativas, tasas de refresco, tecnología de panel de visualización y/o configuraciones de capas.
Múltiples unidades de visualización
La Figura 14 muestra un sistema de visualización de gráficos 1400 que incluye un conjunto de unidades de visualización 1430 (1430a-1430n) que generalmente se pueden utilizar para generar una presentación de pantalla ancha (por ejemplo, panorámica) 1440 que incluye contenido coordinado en una forma topológica cohesiva y estructurada. En el ejemplo ilustrado, un dispositivo de procesamiento de datos 1418 incluye un procesador 1415 que aplica una función lógica 1424 a los datos de perfil de hardware 1402 recibidos del conjunto de unidades de visualización 1430 a través de una red 1420. La aplicación de la función lógica 1424 a los datos del perfil de hardware 1402 puede crear un conjunto de configuraciones de topología automática 1406 cuando no se encuentra una coincidencia de los datos de perfil de hardware con un conjunto de configuraciones en una tabla de búsqueda de perfil de hardware 1412. El conjunto ilustrado de configuraciones de topología automática 1406 se transmite desde el dispositivo de procesamiento de visualización 1418 a las unidades de visualización 1430 a través de la red 1420.
El procesador 1415 puede realizar y ejecutar la función lógica 1424 al recibir la función lógica 1424 desde un controlador de visualización 1410. A este respecto, el controlador de visualización 1410 puede incluir un módulo de topología automática 1408 que configura y estructura automáticamente las topologías de las unidades de visualización 1432 para crear la presentación 1440. En un ejemplo, el controlador de visualización 1410 es un conjunto de instrucciones que, cuando las ejecuta el procesador 1415, hacen que el dispositivo de procesamiento de datos 1418 se comunique con las unidades de visualización 1430, tarjetas de vídeo, etc., y realice operaciones de generación de topología automática.
El dispositivo de procesamiento de datos 1418 puede incluir, por ejemplo, un servidor, un ordenador de escritorio, un ordenador portátil, una tableta, una tableta convertible, MID, PDA, un dispositivo portátil, un reproductor multimedia, y así sucesivamente. Por tanto, el dispositivo de procesamiento de visualización 1418 puede incluir un módulo de control de hardware 1416, un dispositivo de almacenamiento 1414, memoria de acceso aleatorio (RAM, no mostrada), tarjetas controladoras que incluyen una o más tarjetas controladoras de vídeo, y así sucesivamente. En un ejemplo, las unidades de visualización 1430 son pantallas de panel plano (por ejemplo, cristal líquido, matriz activa, plasma, etc.), HMD, dispositivos de proyección de vídeo, etc., que se coordinan entre sí para producir la presentación 1440. Por otra parte, la presentación 1440 puede generarse basándose en un archivo de medios almacenado en el dispositivo de almacenamiento 1414, en donde el archivo de medios podría incluir, por ejemplo, una película, un videoclip, una animación, un anuncio, etc., o cualquier combinación de los mismos.
El término "topología" puede considerarse como el número, escala, forma y/u otro parámetro de configuración de una primera unidad de visualización 1430a, una segunda unidad de visualización 1430b, una tercera unidad de visualización 1430n, y así sucesivamente. En consecuencia, la topología de las unidades de visualización 1430 puede permitir que la presentación 1440 se presente visualmente en concierto de manera que las secciones individuales de la presentación 1440 sean proporcionales y compatibles con las dimensiones originales y el alcance de los medios que se reproducen a través de las unidades de visualización 1430. Por tanto, la topología puede constituir relaciones espaciales y/o propiedades geométricas que no se ven afectadas por el cambio continuo de forma o tamaño del contenido representado en la presentación 1440. En un ejemplo, el módulo de topología automática 1408 incluye un módulo de temporización 1426, un módulo de control 1428, un módulo de monitorización de señales 1432 y un módulo de visualización de señales 1434. El módulo de temporización 1426 puede designar una unidad de visualización particular en el conjunto de unidades de visualización 1430 como una unidad de visualización de muestra. En tal caso, el módulo de temporización 1426 puede designar las unidades de visualización restantes 1430 como unidades de visualización adicionales. En un ejemplo, el módulo de temporización 1426 establece automáticamente un factor de configuración para que sea compatible con los datos de perfil de hardware 1402, en donde la presentación 1440 se inicia automáticamente mediante una secuencia de señales de gráficos 1422.
En un ejemplo, el módulo de control 1428 modifica el conjunto de configuraciones de topología automática 1406. Adicionalmente, el módulo de monitorización de señales 1432 puede monitorizar automáticamente la secuencia de señales de gráficos 1422 y activar el dispositivo de almacenamiento 1414 para asociar el conjunto de configuraciones de topología automática 1406 con la tabla de búsqueda de perfil de hardware 1412. Por otra parte, el módulo de monitorización de señales 1432 puede detectar automáticamente cambios en el conjunto de unidades de visualización 1430 de acuerdo con un conjunto de criterios de cambio y generar automáticamente un nuevo perfil de topología correspondiente al cambio en el conjunto de unidades de visualización 1430. Por tanto, el nuevo perfil de topología puede aplicarse al conjunto de unidades de visualización 1430. El módulo de monitorización de señales 1432 también puede activar el módulo de visualización de señales 1434 para volver a aplicar el conjunto de configuraciones de topología automática 1406 si la secuencia de señales de gráficos 1422 no cumple con un conjunto de criterios. Si los datos de perfil de hardware 1402 no soportan la visualización automática de topología de la secuencia de señales de gráficos 1422, el dispositivo de procesamiento de datos 1418 puede informar de un error y registrar el error en un registro de errores 1413.
Suministro de medios asistido por la nube
Volviendo ahora a la Figura 15, un sistema de juego en la nube 1500 incluye un cliente 1540 que está acoplado a un servidor 1520 a través de una red 1510. El cliente 1540 generalmente puede ser un consumidor de contenido de gráficos (por ejemplo, juegos, realidad virtual/VR, realidad aumentada/AR) que se aloja, procesa y representa en el servidor 1520. El servidor 1520 ilustrado, que puede ser escalable, tiene la capacidad de proporcionar el contenido de gráficos a múltiples clientes simultáneamente (por ejemplo, aprovechando recursos de procesamiento y renderizado paralelos y distribuidos). En un ejemplo, la escalabilidad del servidor 1520 está limitada por la capacidad de la red 1510. En consecuencia, puede haber un número umbral de clientes por encima del cual el servicio a todos los clientes se degrada.
En un ejemplo, el servidor 1520 incluye un procesador de gráficos (por ejemplo, GPU) 1530, un procesador de anfitrión (por ejemplo, CPU) 1524 y una tarjeta de interfaz de red (NIC) 1522. La NIC 1522 puede recibir una solicitud del cliente 1540 para contenido de gráficos. La solicitud del cliente 1540 puede hacer que el contenido de gráficos se recupere de la memoria mediante una aplicación que se ejecuta en el procesador de anfitrión 1524. El procesador de anfitrión 1524 puede llevar a cabo operaciones de alto nivel tales como, por ejemplo, determinar la posición, colisión y movimiento de objetos en una escena determinada. En función de las operaciones de alto nivel, el procesador de anfitrión 1524 puede generar comandos de renderizado que se combinan con los datos de la escena y se ejecutan mediante el procesador de gráficos 1530. Los comandos de renderizado pueden hacer que el procesador de gráficos 1530 defina la geometría de la escena, el sombreado, la iluminación, el movimiento, la textura, los parámetros de la cámara, etc., para las escenas que se presentarán a través del cliente 1540.
Más particularmente, el procesador de gráficos 1530 ilustrado incluye un representador de gráficos 1532 que ejecuta procedimientos de renderizado de acuerdo con los comandos de renderizado generados por el procesador de anfitrión 1524. La salida del representador de gráficos 1532 puede ser un flujo de tramas de vídeo sin procesar que se proporcionan a un capturador de tramas 1534. El capturador de tramas 1534 ilustrado está acoplado a un codificador 1536, que puede comprimir/formatear el flujo de vídeo sin procesar para su transmisión a través de la red 1510. El codificador 1536 puede utilizar una amplia diversidad de algoritmos de compresión de vídeo tales como, por ejemplo, la norma H.264 del Sector de Normalización de Telecomunicaciones de la Unión Internacional de Telecomunicaciones (ITUT), la norma de codificación de vídeo avanzada (AVC) MPEG4 de la Organización Internacional para la Normalización/Comisión Electrotécnica Internacional (ISO/IEC), y así sucesivamente.
El cliente 1540 ilustrado, que puede ser un ordenador de sobremesa, un ordenador portátil, una tableta, una tableta convertible, un dispositivo portátil, MID, PDA, reproductor de medios, etc., incluye una NIC 1542 para recibir el flujo de vídeo transmitido desde el servidor 1520. La NIC 1522 puede incluir la capa física y la base para la capa de software de la interfaz de red en el cliente 1540 para facilitar las comunicaciones a través de la red 1510. El cliente 1540 también puede incluir un descodificador 1544 que emplea el mismo esquema de formateo/compresión del codificador 1536. Por tanto, el flujo de vídeo descomprimido puede proporcionarse desde el descodificador 1544 a un renderizador de vídeo 1546. El renderizador de vídeo 1546 ilustrado está acoplado a una pantalla 1548 que presenta visualmente el contenido de gráficos.
Como ya se ha señalado, el contenido de gráficos puede incluir contenido de juegos. A este respecto, el cliente 1540 puede realizar un envío por flujo continuo interactivo en tiempo real que implica la recopilación de la entrada de usuario desde un dispositivo de entrada 1550 y la entrega de la entrada de usuario al servidor 1520 mediante la red 1510. Este componente interactivo en tiempo real de los juegos en la nube puede plantear desafíos con respecto a la latencia.
Ejemplo de vista general del sistema adicional
La Figura 16 es un diagrama de bloques de un sistema de procesamiento 1600, de acuerdo con una realización. En diversas realizaciones, el sistema 1600 incluye uno o más procesadores 1602 y uno o más procesadores de gráficos 1608, y puede ser un sistema de escritorio de procesador único, un sistema de estación de trabajo multiprocesador o un sistema de servidor que tiene un gran número de procesadores 1602 o núcleos de procesador 1607. En una realización, el sistema 1600 es una plataforma de procesamiento incorporada dentro de un circuito integrado de sistema en un chip (SoC) para su utilización en dispositivos móviles, portátiles o integrados.
Una realización del sistema 1600 puede incluir o incorporarse dentro de una plataforma de juegos basada en servidor, una consola de juegos, incluyendo una consola de juegos y medios, una consola de juegos móvil, una consola de juegos portátil o una consola de juegos en línea. En algunas realizaciones, el sistema 1600 es un teléfono móvil, teléfono inteligente, dispositivo informático de tableta o dispositivo de Internet móvil. El sistema de procesamiento de datos 1600 también puede incluir, acoplarse o integrarse en un dispositivo para llevar puesto, como un dispositivo para llevar puesto de reloj inteligente, un dispositivo de gafas inteligentes, un dispositivo de realidad aumentada o un dispositivo de realidad virtual. En algunas realizaciones, el sistema de procesamiento de datos 1600 es un dispositivo de televisión o decodificador que tiene uno o más procesadores 1602 y una interfaz gráfica generada por uno o más procesadores de gráficos 1608.
En algunas realizaciones, cada uno del uno o más procesadores 1602 incluye uno o más núcleos de procesador 1607 para procesar instrucciones que, cuando se ejecutan, realizan operaciones para el sistema y el software del usuario. En algunas realizaciones, cada uno del uno o más núcleos de procesador 1607 está configurado para procesar un conjunto de instrucciones específico 1609. En algunas realizaciones, el conjunto de instrucciones 1609 puede facilitar la computación de conjunto de instrucciones complejo (CISC), la computación de conjunto de instrucciones reducido (RISC) o la computación a través de una palabra de instrucción muy larga (VLIW). Cada uno de múltiples núcleos de procesador 1607 puede procesar un conjunto de instrucciones 1609 diferente, que puede incluir instrucciones para facilitar la emulación de otros conjuntos de instrucciones. El núcleo de procesador 1607 también puede incluir otros dispositivos de procesamiento, como un procesador de señales digitales (DSP).
En algunas realizaciones, el procesador 1602 incluye memoria caché 1604. Dependiendo de la arquitectura, el procesador 1602 puede tener una única memoria caché interna o múltiples niveles de memoria caché interna. En algunas realizaciones, la memoria caché se comparte entre varios componentes del procesador 1602. En algunas realizaciones, el procesador 1602 también utiliza una memoria caché externa (por ejemplo, una memoria caché de nivel 3 (L3) o una memoria caché de último nivel (LLC)) (no mostrada), que puede ser compartida entre los núcleos de procesador 1607 utilizando técnicas de coherencia de memoria caché conocidas. Un archivo de registro 1606 se incluye adicionalmente en el procesador 1602 que puede incluir diferentes tipos de registros para almacenar diferentes tipos de datos (por ejemplo, registros de enteros, registros de punto flotante, registros de estado, y un registro de puntero de instrucción). Algunos registros pueden ser registros de propósito general, mientras que otros registros pueden ser específicos para el diseño del procesador 1602.
En algunas realizaciones, el procesador 1602 está acoplado a un bus de procesador 1610 para transmitir señales de comunicación tales como señales de dirección, de datos o de control entre el procesador 1602 y otros componentes del sistema 1600. En una realización, el sistema 1600 utiliza una arquitectura de sistema de 'concentrador' ilustrativa, incluyendo un concentrador de controlador de memoria 1616 y un concentrador de controlador de entrada/salida (E/S) 1630. Un concentrador de controlador de memoria 1616 facilita la comunicación entre un dispositivo de memoria y otros componentes del sistema 1600, mientras que un concentrador de controlador de E/S (ICH) 1630 proporciona conexiones a dispositivos de E/S por medio de un bus de E/S local. En una realización, la lógica del concentrador de controlador de memoria 1616 se integra dentro del procesador.
El dispositivo de memoria 1620 puede ser un dispositivo de memoria de acceso aleatorio dinámico (DRAM), un dispositivo de memoria de acceso aleatorio estático (SRAM), un dispositivo de memoria flash, un dispositivo de memoria de cambio de fase, o algún otro dispositivo de memoria que tenga un rendimiento adecuado para servir como memoria de proceso. En una realización, el dispositivo de memoria 1620 puede funcionar como memoria del sistema para el sistema 1600, para almacenar datos 1622 e instrucciones 1621 para utilizarse cuando el uno o más procesadores 1602 ejecutan una aplicación o proceso. El concentrador de controlador de memoria 1616 también se acopla con un procesador de gráficos externo opcional 1612, que se puede comunicar con el uno o más procesadores de gráficos 1608 en los procesadores 1602 para llevar a cabo operaciones de gráficos y de medios.
En algunas realizaciones, el ICH 1630 posibilita que los periféricos se conecten al dispositivo de memoria 1620 y al procesador 1602 mediante un bus de E/S de alta velocidad. Los periféricos de E/S incluyen, aunque no de forma limitativa, un controlador de audio 1646, una interfaz de firmware 1628, un transceptor inalámbrico 1626 (por ejemplo, Wi-Fi, Bluetooth), un dispositivo de almacenamiento de datos 1624 (por ejemplo, unidad de disco duro, memoria flash, etc.), y un controlador de E/S heredado 1640 para acoplar dispositivos heredados (por ejemplo, dispositivos de sistema personal 2 (PS/2)) al sistema. Uno o más controladores de Bus Serial Universal (USB) 1642 conectan dispositivos de entrada, tales como combinaciones de teclado y ratón 1644. Un controlador de red 1634 también puede acoplarse al ICH 1630. En algunas realizaciones, un controlador de red de alto rendimiento (no mostrado) se acopla con el bus de procesador 1610. Se apreciará que el sistema 1600 mostrado es ilustrativo y no limitativo, ya que también se pueden utilizar otros tipos de sistemas de procesamiento de datos que están configurados de manera diferente. Por ejemplo, el concentrador de controlador de E/S 1630 puede estar integrado dentro del uno o más procesadores 1602, o el concentrador de controlador de memoria 1616 y el concentrador de controlador de E/S 1630 se pueden integrar en un procesador de gráficos externo discreto, tal como el procesador de gráficos externo 1612.
La Figura 17 es un diagrama de bloques de una realización de un procesador 1700 que tiene uno o más núcleos de procesador 1702A-1702N, un controlador de memoria integrado 1714 y un procesador de gráficos integrado 1708. Aquellos elementos de la Figura 17 que tienen los mismos números (o nombres) de referencia que los elementos de cualquier otra figura del presente documento pueden operar o funcionar de cualquier manera similar a la descrita en cualquier otra parte en el presente documento, aunque no de forma limitativa. El procesador 1700 puede incluir núcleos adicionales hasta e incluyendo el núcleo adicional 1702N representado por los recuadros en líneas discontinuas. Cada uno de los núcleos de procesador 1702A-1702N incluye una o más unidades de memoria caché internas 1704A-1704N. En algunas realizaciones, cada núcleo de procesador también tiene acceso a una o más unidades almacenadas en memoria caché compartidas 1706.
Las unidades de memoria caché internas 1704A a 1704N y las unidades de memoria caché compartidas 1706 representan una jerarquía de memoria caché dentro del procesador 1700. La jerarquía de memoria caché puede incluir al menos un nivel de memoria caché de instrucciones y datos dentro de cada núcleo de procesador y uno o más niveles de memoria caché de nivel medio compartido, tales como un Nivel 2 (L2), Nivel 3 (L3), Nivel 4 (L4) u otros niveles de memoria caché, donde el nivel más alto de memoria caché antes de la memoria externa se clasifica como LLC. En algunas realizaciones, la lógica de coherencia de memoria caché mantiene la coherencia entre las diversas unidades de memoria caché 1706 y 1704A a 1704N.
En algunas realizaciones, el procesador 1700 también puede incluir un conjunto de una o más unidades de controlador de bus 1716 y un núcleo de agente de sistema 1710. Las una o más unidades de controlador de bus 1716 gestionan un conjunto de buses de periféricos, tales como uno o más buses de interconexión de componentes periféricos (por ejemplo, PCI, PCI Express). El núcleo de agente de sistema 1710 proporciona funcionalidad de gestión para los distintos componentes del procesador. En algunas realizaciones, el núcleo de agente de sistema 1710 incluye uno o más controladores de memoria integrados 1714 para gestionar el acceso a varios dispositivos de memoria externa (no se muestran).
En algunas realizaciones, uno o varios de los núcleos de procesador 1702A a 1702N incluyen la admisión de múltiples subprocesos simultáneos. En una realización de este tipo, el núcleo de agente de sistema 1710 incluye componentes para coordinar y operar los núcleos 1702A a 1702N durante el procesamiento de múltiples subprocesos. El núcleo de agente de sistema 1710 puede incluir adicionalmente una unidad de control de potencia (PCU), que incluye una lógica y componentes para regular el estado de potencia de los núcleos de procesador 1702A-1702N y el procesador de gráficos 1708.
En algunas realizaciones, el procesador 1700 incluye, además, un procesador de gráficos 1708 para ejecutar operaciones de procesamiento de gráficos. En algunas realizaciones, el procesador de gráficos 1708 se acopla con el conjunto de unidades de memoria caché compartidas 1706 y el núcleo de agente de sistema 1710, incluidos uno o más controladores de memoria integrados 1714. En algunas realizaciones, un controlador de visualización 1711 está acoplado con el procesador de gráficos 1708 para impulsar la salida del procesador de gráficos a una o más pantallas acopladas. En algunas realizaciones, el controlador de visualización 1711 puede ser un módulo separado acoplado con el procesador de gráficos a través de al menos una interconexión, o puede estar integrado dentro del procesador de gráficos 1708 o el núcleo de agente de sistema 1710.
En algunas realizaciones, se utiliza una unidad de interconexión basada en anillo 1712 para acoplar los componentes internos del procesador 1700. Sin embargo, se puede usar una unidad de interconexión alternativa, tal como una interconexión punto a punto, una interconexión conmutada u otras técnicas, incluyendo técnicas bien conocidas en la técnica. En algunas realizaciones, el procesador de gráficos 1708 se acopla con la interconexión en anillo 1712 a través de un enlace de E/S 1713.
El enlace de E/S 1713 ilustrativo representa al menos una de múltiples variedades de interconexiones de E/S, incluida una interconexión de E/S en paquete que facilita la comunicación entre varios componentes del procesador y un módulo de memoria integrado de alto rendimiento 1718, tal como un módulo eDRAM. En algunas realizaciones, cada uno de los núcleos de procesador 1702-1702N y del procesador de gráficos 1708 utiliza módulos de memoria embebida 1718, tal como una memoria caché compartida de último nivel.
En algunas realizaciones, los núcleos de procesador 1702A-1702N son núcleos homogéneos que ejecutan la misma arquitectura de conjunto de instrucciones. En otra realización, los núcleos de procesador 1702A-1702N son heterogéneos en términos de arquitectura de conjunto de instrucciones (ISA), donde uno o más de los núcleos de procesador 1702A-N ejecutan un primer conjunto de instrucciones, mientras que al menos uno de los otros núcleos ejecuta un subconjunto del primer conjunto de instrucciones o un conjunto de instrucciones diferente. En una realización, los núcleos de procesador 1702A-1702N son heterogéneos en términos de microarquitectura, donde uno o más núcleos que tienen un consumo de potencia relativamente más alto se acoplan con uno o más núcleos de potencia que tienen un consumo de potencia más bajo. Adicionalmente, el procesador 1700 puede implementarse en uno o más chips o como un circuito de SoC integrado que tiene los componentes ilustrados, además de otros componentes.
La Figura 18 es un diagrama de bloques de un procesador de gráficos 1800, que puede ser una unidad de procesamiento de gráficos discreta o puede ser un procesador de gráficos integrado con una pluralidad de núcleos de procesamiento. En algunas realizaciones, el procesador de gráficos se comunica mediante una interfaz de E/S de memoria mapeada a registros en el procesador de gráficos y con comandos colocados en la memoria de procesador.
En algunas realizaciones, el procesador de gráficos 1800 incluye una interfaz de memoria 1814 para acceder a la memoria. La interfaz de memoria 1814 puede ser una interfaz a la memoria local, una o más memorias caché internas, una o más memorias caché externas compartidas, y/o a la memoria del sistema.
En algunas realizaciones, el procesador de gráficos 1800 también incluye un controlador de visualización 1802 para dirigir los datos de salida de pantalla a un dispositivo de visualización 1820. El controlador de visualización 1802 incluye hardware para uno o más planos de superposición para la visualización y composición de múltiples capas de vídeo o elementos de interfaz de usuario. En algunas realizaciones, el procesador de gráficos 1800 incluye un motor de códec de vídeo 1806 para codificar, decodificar o transcodificar medios hacia, desde o entre uno o más formatos de codificación de medios, incluidos, entre otros, los formatos del Grupo de expertos en imágenes en movimiento (MPEG) tales como MPEG-2, los formatos de codificación de vídeo avanzada (<a>V<c>) tales como H.264/MPEG-4 AVC, así como los formatos 421M/VC-1 de la Sociedad de ingenieros de cine y televisión (SMPTE) y del Grupo de expertos fotográficos conjuntos (JPEG) tales como JPEG y Motion JPEG (MJP<e>G).
En algunas realizaciones, el procesador de gráficos 1800 incluye un motor de transferencia de imágenes en bloques (BLIT) 1804 para realizar operaciones de rasterización bidimensionales (2D) que incluyen, por ejemplo, transferencias en bloques de límites de bits. Sin embargo, en una realización, se realizan operaciones de gráficos 2D usando uno o más componentes de un motor de procesamiento de gráficos (GPE) 1810. En algunas realizaciones, el motor de procesamiento de gráficos 1810 es un motor de cálculo para realizar operaciones de gráficos, incluidas operaciones de gráficos tridimensionales (3D) y operaciones de medios.
En algunas realizaciones, el GPE 1810 incluye una canalización 3D 1812 para realizar operaciones en 3D, tales como representar imágenes y escenas tridimensionales utilizando funciones de procesamiento que actúan sobre formas de primitivas en 3D (por ejemplo, rectángulo, triángulo, etc.). La canalización 3D 1812 incluye elementos de función programables y fijos que llevan a cabo varias tareas dentro del elemento y/o generan subprocesos de ejecución a un subsistema 3D/de medios 1815. Mientras que la canalización 3D 1812 se puede utilizar para llevar a cabo operaciones de medios, una realización de GPE 1810 también incluye una canalización de medios 1816 que se utiliza específicamente para llevar a cabo operaciones de medios, tales como el posprocesamiento de vídeo y la mejora de imágenes.
En algunas realizaciones, la canalización de medios 1816 incluye unidades de función fija o lógica programable para realizar una o más operaciones de medios especializadas, tales como aceleración de decodificación de vídeo, desentrelazado de vídeo y aceleración de codificación de vídeo en lugar de, o en nombre del motor de códec de vídeo 1806. En algunas realizaciones, la canalización de medios 1816 incluye adicionalmente una unidad de generación de subprocesos para generar subprocesos para su ejecución en el subsistema 3D/de medios 1815. Los subprocesos generados llevan a cabo cálculos para las operaciones de medios en una o más unidades de ejecución de gráficos incluidas en el subsistema 3D/de medios 1815.
En algunas realizaciones, el subsistema 3D/de medios 1815 incluye lógica para ejecutar subprocesos generados por la canalización 3D 1812 y la canalización de medios 1816. En una realización, las canalizaciones envían solicitudes de ejecución de subprocesos al subsistema 3D/de medios 1815, incluyendo una lógica de despacho de subprocesos para arbitrar y despachar las diversas solicitudes a los recursos de ejecución de subprocesos disponibles. Los recursos de ejecución incluyen un conjunto de unidades de ejecución de gráficos para procesar los subprocesos 3D y de medios. En algunas realizaciones, el subsistema 3D/de medios 1815 incluye una o más memorias caché internas para instrucciones y datos de subprocesos. En algunas realizaciones, el subsistema también incluye memoria compartida, incluyendo registros y memoria direccionable, para compartir datos entre subprocesos y para almacenar datos de salida.
Procesamiento 3D/de medios
La Figura 19 es un diagrama de bloques de un motor de procesamiento de gráficos 1910 de un procesador de gráficos de acuerdo con algunas realizaciones. En una realización, el GPE 1910 es una versión del GPE 1810 mostrado en la Figura 18. Los elementos de la Figura 19 que tienen los mismos números de referencia (o nombres) que los elementos de cualquier otra figura de la presente pueden operar o funcionar de cualquier manera similar a la descrita en otra parte de la presente memoria, pero no se limitan a ello.
En algunas realizaciones, el GPE 1910 se acopla con un transmisor de comandos 1903, que proporciona un flujo de comandos al GPE 3D y a las canalizaciones de medios 1912, 1916. En algunas realizaciones, el transmisor por flujo continuo de comandos 1903 está acoplado a la memoria, que puede ser una memoria de sistema o una o más de memoria de caché interna y memoria de caché compartida. En algunas realizaciones, el transmisor de comandos 1903 recibe comandos de la memoria y envía los comandos a la canalización 3D 1912 y/o a la canalización de medios 1916. Los comandos son directivas extraídas desde una memoria intermedia en anillo, que almacena comandos para las canalizaciones 3D y de medios 1912, 1916. En una realización, la memoria intermedia de anillo puede incluir, además, memorias intermedias de comandos por lotes que almacenan lotes de múltiples comandos. Las canalizaciones 3D y de medios 1912, 1916 procesan los comandos realizando operaciones mediante la lógica dentro de las respectivas canalizaciones o despachando uno o más subprocesos de ejecución a una matriz de unidades de ejecución 1914. En algunas realizaciones, la matriz de unidades de ejecución 1914 es escalable, de modo que la matriz incluye una cantidad variable de unidades de ejecución en función del nivel de potencia y rendimiento objetivo de GPE 1910.
En algunas realizaciones, un motor de muestreo 1930 se acopla con la memoria (por ejemplo, la memoria caché o memoria de sistema) y la matriz de unidades de ejecución 1914. En algunas realizaciones, el motor de muestreo 1930 proporciona un mecanismo de acceso a memoria para la matriz de unidades de ejecución 1914 que permite que la matriz de ejecución 1914 lea gráficos y datos de medios de la memoria. En algunas realizaciones, el motor de muestreo 1930 incluye una lógica para realizar operaciones de muestreo de imágenes especializadas para medios.
En algunas realizaciones, la lógica de muestreo de medios especializada en el motor de muestreo 1930 incluye un módulo de anulación de ruido/desentrelazado 1932, un módulo de estimación de movimiento 1934 y un módulo de escalado y filtrado de imágenes 1936. En algunas realizaciones, el módulo de anulación de ruido/desentrelazado 1932 incluye lógica para realizar uno o más algoritmos de anulación de ruido o desentrelazado en datos de vídeo descodificados. La lógica de desentrelazado combina campos alternos de contenido de vídeo entrelazado en una única trama de vídeo. La lógica de anulación de ruido reduce o elimina el ruido de los datos de vídeo e imagen. En algunas realizaciones, la lógica de anulación de ruido y la lógica de desentrelazado son adaptables al movimiento y utilizan un filtrado espacial o temporal basado en la cantidad de movimiento detectado en los datos de vídeo. En algunas realizaciones, el módulo de anulación de ruido/desentrelazado 1932 incluye una lógica de detección de movimiento dedicada (por ejemplo, dentro del motor de estimación de movimiento 1934).
En algunas realizaciones, el motor de estimación de movimiento 1934 proporciona aceleración de hardware para operaciones de vídeo realizando funciones de aceleración de vídeo tales como estimación y predicción de vector de movimiento en datos de vídeo. El motor de estimación de movimiento determina los vectores de movimiento que describen la transformación de los datos de imagen entre tramas de vídeo sucesivas. En algunas realizaciones, un códec de medios de procesador de gráficos utiliza el motor de estimación de movimiento de vídeo 1934 para realizar operaciones en vídeo a nivel de macrobloque que, de lo contrario, podrían ser demasiado intensivas a nivel de computación para realizarlas con un procesador de propósito general. En algunas realizaciones, el motor de estimación de movimiento 1934 está generalmente disponible para los componentes de procesador de gráficos para ayudar con las funciones de procesamiento y decodificación de vídeo que son sensibles o adaptables a la dirección o magnitud del movimiento dentro de los datos de vídeo.
En algunas realizaciones, el módulo de escalado y filtrado de imágenes 1936 realiza operaciones de procesamiento de imágenes para mejorar la calidad visual de las imágenes y de vídeo generados. En algunas realizaciones, el módulo de escalado y filtrado 1936 procesa datos de imagen y vídeo durante la operación de muestreo antes de proporcionar los datos a la matriz de unidades de ejecución 1914.
En algunas realizaciones, el GPE 1910 incluye un puerto de datos 1944, que proporciona un mecanismo adicional para que los subsistemas de gráficos accedan a la memoria. En algunas realizaciones, el puerto de datos 1944 facilita el acceso a la memoria para operaciones que incluyen escrituras de objetivo de renderizado, lecturas de memoria intermedia constantes, lecturas/escrituras de espacio de memoria de borrador y accesos a la superficie de medios. En algunas realizaciones, el puerto de datos 1944 incluye espacio de memoria caché para almacenar en caché los accesos a memoria. La memoria caché puede ser una única memoria caché de datos o estar separada en múltiples memorias caché para los múltiples subsistemas que acceden a la memoria a través del puerto de datos (por ejemplo, una memoria caché de memoria intermedia de renderizado, una memoria caché de memoria intermedia constante, etc.). En algunas realizaciones, los subprocesos que se ejecutan en una unidad de ejecución en la matriz de unidades de ejecución 1914 se comunican con el puerto de datos intercambiando mensajes mediante una interconexión de distribución de datos que acopla cada uno de los subsistemas de GPE 1910.
Unidades de ejecución
La Figura 20 es un diagrama de bloques de otra realización de un procesador de gráficos 2000. Los elementos de la Figura 20 que tienen los mismos números de referencia (o nombres) que los elementos de cualquier otra figura de la presente pueden operar o funcionar de cualquier manera similar a la descrita en otra parte de la presente memoria, pero no se limitan a ello.
En algunas realizaciones, el procesador de gráficos 2000 incluye una interconexión en anillo 2002, un extremo frontal de canalización 2004, un motor de medios 2037 y núcleos de gráficos 2080A-2080N. En algunas realizaciones, la interconexión en anillo 2002 acopla el procesador de gráficos a otras unidades de procesamiento, incluidos otros procesadores de gráficos o uno o más núcleos de procesador de propósito general. En algunas realizaciones, el procesador de gráficos es uno de los muchos procesadores integrados dentro de un sistema de procesamiento de múltiples núcleos.
En algunas realizaciones, el procesador de gráficos 2000 recibe lotes de comandos a través de la interconexión en anillo 2002. Los comandos entrantes son interpretados por un transmisor de comandos 2003 en el extremo frontal de canalización 2004. En algunas realizaciones, el procesador de gráficos 2000 incluye una lógica de ejecución escalable para realizar el procesamiento de geometría 3D y el procesamiento de medios a través del núcleo o núcleos de gráficos 2080A-2080N. Para los comandos de procesamiento de geometría 3D, el transmisor de comandos 2003 suministra comandos a la canalización de geometría 2036. Para al menos algunos comandos de procesamiento de medios, el transmisor de comandos 2003 suministra los comandos a un extremo frontal de vídeo 2034, que se acopla con un motor de medios 2037. En algunas realizaciones, el motor de medios 2037 incluye un motor de calidad de vídeo (VQE) 2030 para posprocesamiento de vídeo e imágenes y un motor de codificación/decodificación multiformato (MFX) 2033 para proporcionar codificación y decodificación de datos de medios acelerada por hardware. En algunas realizaciones, cada uno de la canalización de geometría 2036 y el motor de medios 2037 genera subprocesos de ejecución para los recursos de ejecución de subprocesos proporcionados por al menos un núcleo de gráficos 2080A.
En algunas realizaciones, el procesador de gráficos 2000 incluye recursos de ejecución de subprocesos escalables que presentan núcleos modulares 2080A-2080N (denominados, en ocasiones, segmentos de núcleo), teniendo cada uno múltiples subnúcleos 2050A-2050N, 2060A-2060N (denominados, en ocasiones, subsegmentos de núcleo). En algunas realizaciones, el procesador de gráficos 2000 puede tener cualquier número de núcleos de gráficos 2080A a 2080N. En algunas realizaciones, el procesador de gráficos 2000 incluye un núcleo de gráficos 2080A que tiene al menos un primer subnúcleo 2050A y un segundo subnúcleo de núcleo 2060A. En otras realizaciones, el procesador de gráficos es un procesador de baja potencia con un único subnúcleo (por ejemplo, 2050A). En algunas realizaciones, el procesador de gráficos 2000 incluye múltiples núcleos de gráficos 2080A-2080N, incluyendo cada uno un conjunto de primeros subnúcleos 2050A-2050N y un conjunto de segundos subnúcleos 2060A-2060N. Cada subnúcleo del conjunto de primeros subnúcleos 2050A-2050N incluye al menos un primer conjunto de unidades de ejecución 2052A-2052N y muestreadores de medios/texturas 2054A-2054N. Cada subnúcleo del conjunto de segundos subnúcleos 2060A-2060N incluye al menos un segundo conjunto de unidades de ejecución 2062A-2062N y muestreadores 2064A-2064N. En algunas realizaciones, cada subnúcleo 2050A-2050N, 2060A-2060N comparte un conjunto de recursos compartidos 2070A-2070N. En algunas realizaciones, los recursos compartidos incluyen memoria caché compartida y lógica de operación de píxeles. También pueden incluirse otros recursos compartidos en las diversas realizaciones del procesador de gráficos.
La Figura 21 ilustra lógica de ejecución de subprocesos 2100 que incluye una matriz de elementos de procesamiento empleados en algunas realizaciones de un GPE. Los elementos de la Figura 21 que tienen los mismos números de referencia (o nombres) que los elementos de cualquier otra figura de la presente pueden operar o funcionar de cualquier manera similar a la descrita en otra parte de la presente memoria, pero no se limitan a ello.
En algunas realizaciones, la lógica de ejecución de subprocesos 2100 incluye un sombreador de píxeles 2102, un despachador de subprocesos 2104, una memoria caché de instrucciones 2106, una matriz de unidades de ejecución escalable que incluye una pluralidad de unidades de ejecución 2108A-2108N, un muestreador 2110, una memoria caché de datos 2112 y un puerto de datos 2114. En una realización, los componentes incluidos están interconectados mediante una estructura de interconexión que se enlaza con cada uno de los componentes. En algunas realizaciones, la lógica de ejecución de subprocesos 2100 incluye una o más conexiones a la memoria, tales como la memoria del sistema o la memoria caché, a través de uno o más de la memoria caché de instrucciones 2106, el puerto de datos 2114, el muestreador 2110 y la matriz de unidades de ejecución 2108A-2108N. En algunas realizaciones, cada unidad de ejecución (por ejemplo, 2108A) es un procesador de vector individual que puede ejecutar múltiples subprocesos simultáneos y procesar múltiples elementos de datos en paralelo para cada subproceso. En algunas realizaciones, la matriz de unidades de ejecución 2108A-2108N incluye cualquier número de unidades de ejecución individuales.
En algunas realizaciones, la matriz de unidades de ejecución 2108A-2108N se utiliza principalmente para ejecutar programas de "sombreador". En algunas realizaciones, las unidades de ejecución en la matriz 2108A-2108N ejecutan un conjunto de instrucciones que incluye soporte nativo para muchas instrucciones de sombreador de gráficos 3D convencional, de tal manera que los programas de sombreado de las bibliotecas de gráficos (por ejemplo, Direct 3D y OpenGL) se ejecuten con una conversión mínima. Las unidades de ejecución admiten procesamiento de vértices y geometría (por ejemplo, programas de vértices, programas de geometría, sombreadores de vértices), procesamiento de píxeles (por ejemplo, sombreadores de píxeles, sombreadores de fragmentos) y procesamiento de propósito general (por ejemplo, sombreadores de computación y medios).
Cada unidad de ejecución en la matriz de unidades de ejecución 2108A-2108N opera en matrices de elementos de datos. El número de elementos de datos es el "tamaño de ejecución" o el número de canales para la instrucción. Un canal de ejecución es una unidad lógica de ejecución para el acceso a elementos de datos, enmascaramiento y control de flujo dentro de las instrucciones. El número de canales puede ser independiente del número de unidades aritméticas lógicas (ALU) o unidades de punto flotante (FPU) de un procesador de gráficos en particular. En algunas realizaciones, las unidades de ejecución 2108A-2108N admiten tipos de datos enteros y de punto flotante.
El conjunto de instrucciones de la unidad de ejecución incluye instrucciones de datos múltiples de una sola instrucción (SIMD). Los diversos elementos de datos se pueden almacenar como un tipo de datos empaquetados en un registro y la unidad de ejecución procesará los diversos elementos en función del tamaño de los datos de los elementos. Por ejemplo, cuando se opera sobre un vector de 256 bits de ancho, los 256 bits del vector se almacenan en un registro y la unidad de ejecución opera sobre el vector como cuatro elementos de datos empaquetados separados de 64 bits (elementos de datos de tamaño cuádruple palabra (QW, Quad-Word)), ocho elementos de datos empaquetados separados de 32 bits (elementos de datos de tamaño doble palabra (DW, Double Word)), dieciséis elementos de datos empaquetados separados de 16 bits (elementos de datos de tamaño palabra (W, Word)) o treinta y dos elementos de datos separados de 8 bits (elementos de datos de tamaño byte (B)). Sin embargo, son posibles diferentes anchos de vector y tamaños de registro.
Se incluyen una o más memorias caché de instrucciones internas (por ejemplo, 2106) en la lógica de ejecución de subprocesos 2100 para almacenar en memoria caché las instrucciones de subproceso para las unidades de ejecución. En algunas realizaciones, se incluyen una o más memorias caché de datos (por ejemplo, 2112) para almacenar en memoria caché los datos del subproceso durante la ejecución del subproceso. En algunas realizaciones, se incluye un muestreador 2110 para proporcionar un muestreo de textura para operaciones 3D y muestreo de medios para operaciones de medios. En algunas realizaciones, el muestreador 2110 incluye una funcionalidad especializada de muestreo de textura o medios para procesar datos de textura o medios durante el proceso de muestreo antes de proporcionar los datos muestreados a una unidad de ejecución.
Durante la ejecución, las canalizaciones de gráficos y medios envían solicitudes de inicio de subprocesos a la lógica de ejecución de subprocesos 2100 a través de la lógica de generación y envío de subprocesos. En algunas realizaciones, la lógica de ejecución de subprocesos 2100 incluye un despachador de subprocesos local 2104 que arbitra las solicitudes de inicio de subprocesos de las canalizaciones de gráficos y medios y genera instancias a los subprocesos solicitados en una o más unidades de ejecución 2108A-2108N. Por ejemplo, la canalización de geometría (por ejemplo, 2036 de la Figura 20) despacha subprocesos de procesamiento de vértices, teselación o procesamiento de geometría a la lógica de ejecución de subprocesos 2100 (Figura 21). En algunas realizaciones, el despachador de subprocesos 2104 también puede procesar solicitudes de generación de subprocesos en tiempo de ejecución desde los programas de sombreado en ejecución.
Una vez que se ha procesado y rasterizado un grupo de objetos geométricos en datos de píxeles, se invoca el sombreador de píxeles 2102 para calcular más información de salida y hacer que los resultados se escriban en superficies de salida (por ejemplo, memorias intermedias de color, memorias intermedias de profundidad, memorias intermedias de estarcido, etc.). En algunas realizaciones, el sombreador de píxeles 2102 calcula los valores de los diversos atributos de vértice que se van a interpolar a lo largo del objeto rasterizado. En algunas realizaciones, el sombreador de píxeles 2102 a continuación ejecuta un programa de sombreado de píxeles suministrado por la interfaz de programación de aplicaciones (API). Para ejecutar el programa de sombreado de píxeles, el sombreador de píxeles 2102 envía subprocesos a una unidad de ejecución (por ejemplo, 2108A) a través del despachador de subprocesos 2104. En algunas realizaciones, el sombreador de píxeles 2102 utiliza la lógica de muestreo de textura en el muestreador 2110 para acceder a datos de textura en mapas de textura almacenados en memoria. Las operaciones aritméticas en los datos de textura y los datos de geometría de entrada calculan datos de color de píxel para cada fragmento geométrico o descartan uno o más píxeles del procesamiento posterior.
En algunas realizaciones, el puerto de datos 2114 proporciona un mecanismo de acceso a la memoria para que la lógica de ejecución de subprocesos 2100 envíe datos procesados a la memoria para su procesamiento en una canalización de salida del procesador de gráficos. En algunas realizaciones, el puerto de datos 2114 incluye o se acopla a una o más memorias caché (por ejemplo, memoria caché de datos 2112) para almacenar en memoria caché de datos para el acceso a la memoria a través del puerto de datos.
La Figura 22 es un diagrama de bloques que ilustra unos formatos de instrucciones de procesador de gráficos 2200 de acuerdo con algunas realizaciones. En una o más realizaciones, las unidades de ejecución de procesador de gráficos admiten un conjunto de instrucciones que tiene instrucciones en múltiples formatos. Los recuadros de línea continua ilustran los componentes que generalmente se incluyen en una instrucción de unidad de ejecución, mientras que las líneas discontinuas incluyen componentes que son opcionales o que solo se incluyen en un subconjunto de las instrucciones. En algunas realizaciones, el formato de instrucción 2200 descrito e ilustrado son macroinstrucciones, en el sentido de que son instrucciones suministradas a la unidad de ejecución, en oposición a microoperaciones resultantes de la decodificación de instrucciones una vez que se procesa la instrucción.
En algunas realizaciones, las unidades de ejecución de procesador de gráficos admiten de manera nativa instrucciones en un formato de 128 bits 2210. Un formato de instrucción compacta de 64 bits 2230 está disponible para algunas instrucciones basándose en la instrucción, las opciones de instrucción y el número de operandos seleccionados. El formato nativo de 128 bits 2210 proporciona acceso a todas las opciones de instrucción, mientras que algunas opciones y operaciones están restringidas en el formato de 64 bits 2230. Las instrucciones nativas disponibles en el formato de 64 bits 2230 varían según la realización. En algunas realizaciones, la instrucción se compacta en parte utilizando un conjunto de valores de índice en un campo de índice 2213. El hardware de la unidad de ejecución hace referencia a un conjunto de tablas de compactación en función de los valores de índice y utiliza las salidas de la tabla de compactación para reconstruir una instrucción nativa en el formato de 128 bits 2210.
Para cada formato, el código de operación de instrucción 2212 define la operación que debe realizar la unidad de ejecución. Las unidades de ejecución ejecutan cada instrucción en paralelo a través de los múltiples elementos de datos de cada operando. Por ejemplo, en respuesta a una instrucción de suma, la unidad de ejecución realiza una operación de suma simultánea a través de cada canal de color que representa un elemento de textura o un elemento de imagen. De manera predeterminada, la unidad de ejecución realiza cada instrucción a través de todos los canales de datos de los operandos. En algunas realizaciones, el campo de control de instrucción 2214 permite el control sobre ciertas opciones de ejecución, tal como la selección de canales (por ejemplo, predicción) y el orden de los canales de datos (por ejemplo, el intercambio de canales). Para las instrucciones de 128 bits 2210, un campo de tamaño de ejecución 2216 limita el número de canales de datos que se ejecutarán en paralelo. En algunas realizaciones, el campo de tamaño de ejecución 2216 no está disponible para su uso en el formato de instrucción compacta de 64 bits 2230.
Algunas instrucciones de unidad de ejecución tienen hasta tres operandos que incluyen dos operandos fuente, src0 2220, srcl 2222 y un destino 2218. En algunas realizaciones, las unidades de ejecución soportan instrucciones de doble destino, donde uno de los destinos está implícito. Las instrucciones de manipulación de datos pueden tener un tercer operando fuente (por ejemplo, SRC2 2224), donde el código de operación 2212 de la instrucción determina el número de operandos fuente. El último operando fuente de una instrucción puede ser un valor inmediato (por ejemplo, codificado) pasado con la instrucción.
En algunas realizaciones, el formato de instrucción de 128 bits 2210 incluye una información de modo de acceso/dirección 2226 que especifica, por ejemplo, si se utiliza el modo de direccionamiento de registro directo o el modo de direccionamiento de registro indirecto. Cuando se utiliza el modo de direccionamiento de registro directo, la dirección de registro de uno o más operandos viene proporcionada directamente por bits en la instrucción 2210.
En algunas realizaciones, el formato de instrucción de 128 bits 2210 incluye un campo de modo de acceso/dirección 2226, que especifica un modo de dirección y/o un modo de acceso para la instrucción. En una realización, el modo de acceso es para definir una alineación de acceso de datos para la instrucción. Algunas realizaciones admiten modos de acceso que incluyen un modo de acceso alineado de 16 bytes y un modo de acceso alineado de 1 byte, donde la alineación de bytes del modo de acceso determina la alineación de acceso de los operandos de instrucción. Por ejemplo, cuando está en un primer modo, la instrucción 2210 puede usar direccionamiento alineado a bytes para los operandos de origen y destino y, cuando está en un segundo modo, la instrucción 2210 puede usar direccionamiento alineado a 16 bytes para todos los operandos de origen y destino.
En una realización, la porción de modo de dirección del campo de modo de acceso/dirección 2226 determina si la instrucción va a utilizar direccionamiento directo o indirecto. Cuando se utiliza el modo de direccionamiento de registro directo, los bits en la instrucción 2210 proporcionan directamente la dirección de registro de uno o más operandos. Cuando se utiliza el modo de direccionamiento de registro indirecto, la dirección de registro de uno o más operandos se puede calcular basándose en un valor de registro de dirección y un campo inmediato de dirección en la instrucción.
En algunas realizaciones, las instrucciones se agrupan basándose en los campos de bits del código de operación 2212 para simplificar la descodificación de código de operación 2240. Para un código de operación de 8 bits, los bits 4, 5 y 6 permiten a la unidad de ejecución determinar el tipo de código de operación. La agrupación precisa del código de operación que se muestra es simplemente un ejemplo. En algunas realizaciones, un grupo de código de operación de movimiento y lógica 2242 incluye instrucciones de movimiento de datos y lógica (por ejemplo, mover (mov), comparar (cmp)). En algunas realizaciones, el grupo de movimiento y lógica 2242 comparte los cinco bits más significativos (MSB), donde las instrucciones de movimiento (mov) están en la forma de 0000xxxxb y las instrucciones de lógica están en la forma de 0001xxxxb. Un grupo de instrucciones de control de flujo 2244 (por ejemplo, llamada (call), salto (jmp)) incluye instrucciones en la forma de 0010xxxxb (por ejemplo, 0x20). Un grupo de instrucciones misceláneas 2246 incluye una mezcla de instrucciones, incluyendo instrucciones de sincronización (por ejemplo, esperar, enviar) en la forma de 0011xxxxb (por ejemplo, 0x30). Un grupo de instrucciones de cálculo matemático paralelo 2248 incluye instrucciones aritméticas por componentes (por ejemplo, sumar, multiplicar (mul)) en forma de 0100xxxxb (por ejemplo, 0x40). El grupo de cálculo matemático paralelo 2248 realiza las operaciones aritméticas en paralelo a través de los canales de datos. El grupo de cálculo matemático vectorial 2250 incluye instrucciones aritméticas (por ejemplo, dp4) en forma de 0101xxxxb (por ejemplo, 0x50). El grupo de cálculo matemático vectorial lleva a cabo operaciones aritméticas tales como cálculos de producto de punto en operandos vectoriales.
Canalización de gráficos
La Figura 23 es un diagrama de bloques de otra realización de un procesador de gráficos 2300. Los elementos de la Figura 23 que tienen los mismos números de referencia (o nombres) que los elementos de cualquier otra figura de la presente pueden operar o funcionar de cualquier manera similar a la descrita en otra parte de la presente memoria, pero no se limitan a ello.
En algunas realizaciones, el procesador de gráficos 2300 incluye una canalización de gráficos 2320, una canalización de medios 2330, un motor de visualización 2340, una lógica de ejecución de subprocesos 2350 y una canalización de salida de representador 2370. En algunas realizaciones, el procesador de gráficos 2300 es un procesador de gráficos dentro de un sistema de procesamiento multinúcleo que incluye uno o más núcleos de procesamiento de propósito general. El procesador de gráficos se controla mediante escrituras de registro en uno o más registros de control (no mostrados) o mediante comandos emitidos al procesador de gráficos 2300 a través de una interconexión en anillo 2302. En algunas realizaciones, la interconexión en anillo 2302 acopla el procesador de gráficos 2300 a otros componentes de procesamiento, tales como otros procesadores de gráficos o procesadores de propósito general. Los comandos de la interconexión en anillo 2302 son interpretados por un transmisor de comandos 2303, que suministra instrucciones a componentes individuales de la canalización de gráficos 2320 o canalización de medios 2330.
En algunas realizaciones, el transmisor de comandos 2303 dirige la operación de un extractor de vértices 2305 que lee datos de vértices de la memoria y ejecuta comandos de procesamiento de vértices proporcionados por el transmisor de comandos 2303. En algunas realizaciones, el extractor de vértices 2305 proporciona datos de vértices a un sombreador de vértices 2307, que realiza operaciones de transformación de espacio de coordenadas e iluminación para cada vértice. En algunas realizaciones, el extractor de vértices 2305 y el sombreador de vértices 2307 ejecutan instrucciones de procesamiento de vértices despachando subprocesos de ejecución a unidades de ejecución 2352A, 2352B mediante un despachador de subprocesos 2331.
En algunas realizaciones, las unidades de ejecución 2352A, 2352B son una matriz de procesadores vectoriales que tienen un conjunto de instrucciones para realizar operaciones de gráficos y de medios. En algunas realizaciones, las unidades de ejecución 2352A, 2352B tienen una memoria caché L1, 2351, conectada que es específica para cada matriz o compartida entre las matrices. La memoria caché se puede configurar como una memoria caché de datos, una memoria caché de instrucciones o una memoria caché única subdividida para contener datos e instrucciones en diferentes particiones.
En algunas realizaciones, la canalización de gráficos 2320 incluye componentes de teselación para realizar una teselación acelerada por hardware de objetos 3D. En algunas realizaciones, un sombreador de casco programable 2311 configura las operaciones de teselación. Un sombreador de dominio programable 2317 proporciona una evaluación de extremo trasero de la salida de teselación. Un teselador 2313 opera en la dirección del sombreador de casco 2311 y contiene lógica de propósito especial para generar un conjunto de objetos geométricos detallados basados en un modelo geométrico grueso que se proporciona como entrada a la canalización de gráficos 2320. En algunas realizaciones, si no se utiliza teselación, se pueden omitir los componentes de teselación 2311,2313, 2317.
En algunas realizaciones, objetos geométricos completos pueden ser procesados por un sombreador de geometría 2319 a través de uno o más subprocesos despachados a unidades de ejecución 2352A, 2352B o pueden proseguir directamente al recortador 2329. En algunas realizaciones, el sombreador de geometría opera sobre objetos geométricos enteros, en lugar de vértices o parches de vértices como en fases previas de la canalización de gráficos. Si la teselación está deshabilitada, el sombreador de geometría 2319 recibe la entrada del sombreador de vértices 2307. En algunas realizaciones, el sombreador de geometría 2319 se puede programar mediante un programa de sombreado de geometría para realizar la teselación de geometría si las unidades de teselación están deshabilitadas.
Antes de la rasterización, un recortador 2329 procesa los datos de vértice. El recortador 2329 puede ser un recortador de función fija o un recortador programable con funciones de recorte y sombreado geométrico. En algunas realizaciones, un rasterizador 2373 (por ejemplo, el componente de prueba de profundidad) en la canalización de salida de renderizado 2370 despacha sombreadores de píxeles para convertir los objetos geométricos en sus representaciones por píxeles. En algunas realizaciones, la lógica de sombreado de píxeles está incluida en la lógica de ejecución de subprocesos 2350. En algunas realizaciones, una aplicación puede omitir el rasterizador 2373 y acceder a datos de vértices no rasterizados mediante una unidad de salida de flujo 2323.
El procesador de gráficos 2300 tiene un bus de interconexión, una estructura de interconexión o algún otro mecanismo de interconexión que permite el paso de datos y mensajes entre los componentes principales del procesador. En algunas realizaciones, las unidades de ejecución 2352A, 2352B y la memoria caché o memorias caché asociadas 2351, el muestreador de textura y de medios 2354 y la memoria caché de textura/muestreador 2358 se interconectan mediante un puerto de datos 2356 para realizar el acceso a memoria y comunicarse con los componentes de canalización de salida de renderizado del procesador. En algunas realizaciones, cada uno del muestreador 2354, las memorias caché 2351, 2358 y las unidades de ejecución 2352A, 2352B tienen rutas de acceso a memoria independientes.
En algunas realizaciones, la canalización de salida de renderizado 2370 contiene un rasterizador 2373 que convierte objetos basados en vértices en una representación asociada basada en píxeles. En algunas realizaciones, la lógica del rasterizador incluye una unidad generadora de ventanas/enmascaradora para realizar una rasterización de triángulo y de línea de función fija. En algunas realizaciones también están disponibles una memoria caché de renderizado 2378 asociada y una memoria caché de profundidad 2379. Un componente de operaciones de píxeles 2377 lleva a cabo operaciones basadas en píxeles sobre los datos, aunque en algunas instancias, las operaciones de píxeles asociadas con operaciones 2D (por ejemplo, transferencias de imágenes de bloques de bits con mezcla) son realizadas por el motor 2D 2341, o sustituidas en tiempo de visualización por el controlador de visualización 2343 utilizando planos de visualización superpuestos. En algunas realizaciones, una memoria caché L3 compartida 2375 está disponible para todos los componentes de gráficos, permitiendo compartir datos sin la utilización de la memoria de sistema principal.
En algunas realizaciones, la canalización de medios 2330 del procesador de gráficos incluye un motor de medios 2337 y un extremo frontal de vídeo 2334. En algunas realizaciones, el extremo frontal de vídeo 2334 recibe comandos de canalización desde el transmisor de comandos 2303. En algunas realizaciones, la canalización de medios 2330 incluye un transmisor de comandos independiente. En algunas realizaciones, el extremo frontal de vídeo 2334 procesa los comandos de medios antes de enviar el comando al motor de medios 2337. En algunas realizaciones, el motor de medios 2337 incluye funcionalidad de generación de subprocesos para generar subprocesos para su despacho a la lógica de ejecución de subprocesos 2350 a través del despachador de subprocesos 2331.
En algunas realizaciones, el procesador de gráficos 2300 incluye un motor de visualización 2340. En algunas realizaciones, el motor de visualización 2340 es externo al procesador 2300 y está acoplado al procesador de gráficos mediante la interconexión en anillo 2302 o algún otro bus o estructura de interconexión. En algunas realizaciones, el motor de visualización 2340 incluye un motor 2D 2341 y un controlador de visualización 2343. En algunas realizaciones, el motor de visualización 2340 contiene lógica de propósito especial que puede operar independientemente de la canalización 3D. En algunas realizaciones, el controlador de visualización 2343 se acopla con un dispositivo de visualización (no mostrado), que puede ser un dispositivo de visualización integrado en el sistema, como un ordenador portátil, o un dispositivo de visualización externo conectado a través de un conector de dispositivo de visualización.
En algunas realizaciones, la canalización de gráficos 2320 y la canalización de medios 2330 se pueden configurar para realizar operaciones basadas en múltiples interfaces de programación de gráficos y medios y no son específicas de ninguna interfaz de programación de aplicaciones (API). En algunas realizaciones, el software del controlador para el procesador de gráficos traduce las llamadas de API que son específicas de una biblioteca de gráficos o medios en particular en comandos que pueden ser procesados por el procesador de gráficos. En algunas realizaciones, se proporciona soporte para Open Graphics Library (OpenGL) y Open Computing Language (OpenCL) del Grupo Khronos, la biblioteca Direct3D de Microsoft Corporation, o se puede proporcionar soporte tanto para OpenGL como para D3D. También se podrá prestar soporte para la biblioteca de Open Source Computer Vision (OpenCV). Una futura API con una canalización 3D compatible también sería compatible si se puede realizar un mapeo desde la canalización de la futura API a la canalización del procesador de gráficos.
Programación de canalización de gráficos
La Figura 24A es un diagrama de bloques que ilustra un formato de comandos de procesador de gráficos 2400 de acuerdo con algunas realizaciones. La Figura 24B es un diagrama de bloques que ilustra una secuencia de comandos de procesador de gráficos 2410 de acuerdo con una realización. Los recuadros de línea continua en la Figura 24A ilustran los componentes que generalmente se incluyen en un comando de gráficos mientras que las líneas discontinuas incluyen componentes que son opcionales o que solo se incluyen en un subconjunto de los comandos de gráficos. El formato de comando de procesador de gráficos 2400 ilustrativo de la Figura 24A incluye campos de datos para identificar un cliente objetivo 2402 del comando, un código de operación de comando (opcode) 2404 y los datos relevantes 2406 para el comando. En algunos comandos también se incluyen un subcódigo de operación 2405 y un tamaño de comando 2408.
En algunas realizaciones, el cliente 2402 especifica la unidad cliente del dispositivo de gráficos que procesa los datos del comando. En algunas realizaciones, un analizador de comandos del procesador de gráficos examina el campo cliente de cada comando para condicionar el procesamiento posterior del comando y enrutar los datos del comando a la unidad cliente adecuada. En algunas realizaciones, las unidades cliente del procesador de gráficos incluyen una unidad de interfaz de memoria, una unidad de renderizado, una unidad 2D, una unidad 3D y una unidad de medios. Cada unidad cliente tiene una canalización de procesamiento correspondiente que procesa los comandos. Una vez que el comando es recibido por la unidad cliente, la unidad cliente lee el código de operación 2404 y, si está presente, el subcódigo de operación 2405 para determinar la operación a realizar. La unidad cliente lleva a cabo el comando utilizando la información en el campo de datos 2406. Para algunos comandos se espera un tamaño de comando explícito 2408 para especificar el tamaño del comando. En algunas realizaciones, el analizador de comandos determina automáticamente el tamaño de al menos algunos de los comandos en función del código de operación del comando. En algunas realizaciones, los comandos se alinean por medio de múltiplos de una palabra doble.
El diagrama de flujo de la Figura 24B muestra una secuencia de comandos de procesador de gráficos 2410 ilustrativa. En algunas realizaciones, el software o firmware de un sistema de procesamiento de datos que presenta una realización de un procesador de gráficos utiliza una versión de la secuencia de comandos mostrada para establecer, ejecutar y terminar un conjunto de operaciones de gráficos. Se muestra y describe una secuencia de comandos de muestra solo con fines de ejemplo, ya que las realizaciones no están limitadas a estos comandos específicos ni a esta secuencia de comandos. Además, los comandos pueden emitirse como un lote de comandos en una secuencia de comandos, de modo que el procesador de gráficos procesará la secuencia de comandos al menos parcialmente en concurrencia.
En algunas realizaciones, la secuencia de comandos del procesador de gráficos 2410 puede comenzar con un comando de vaciado de canalización 2412 para hacer que cualquier canalización de gráficos activa complete los comandos pendientes actualmente para la canalización. En algunas realizaciones, la canalización 3D 2422 y la canalización de medios 2424 no operan simultáneamente. El vaciado de canalización se realiza para hacer que la canalización de gráficos activa complete los comandos pendientes. En respuesta a un vaciado de canalización, el analizador de comandos para el procesador de gráficos pausará el procesamiento de comandos hasta que los motores de dibujo activos completen las operaciones pendientes y se invaliden las memorias caché de lectura relevantes. Opcionalmente, cualquier dato en la memoria caché de renderizado que esté marcado como "sucio" puede ser descargado a memoria. En algunas realizaciones, el comando de vaciado de canalización 2412 se puede utilizar para la sincronización de canalización o antes de colocar el procesador de gráficos en un estado de bajo consumo.
En algunas realizaciones, se utiliza un comando de selección de canalización 2413 cuando una secuencia de comandos requiere que el procesador de gráficos cambie explícitamente entre canalizaciones. En algunas realizaciones, un comando de selección de canalización 2413 se requiere sólo una vez dentro de un contexto de ejecución antes de emitir comandos de canalización a menos que el contexto sea para emitir comandos para ambas canalizaciones. En algunas realizaciones, se requiere un comando de vaciado de canalización 2412 inmediatamente antes de un cambio de canalización a través del comando de selección de canalización 2413.
En algunas realizaciones, un comando de control de canalización 2414 configura una canalización de gráficos para la operación y se utiliza para programar la canalización 3D 2422 y la canalización de medios 2424. En algunas realizaciones, el comando de control de canalización 2414 configura el estado de canalización para la canalización activa. En una realización, el comando de control de canalización 2414 se utiliza para la sincronización de canalización y para borrar datos de una o más memorias caché dentro de la canalización activa antes de procesar un lote de comandos.
En algunas realizaciones, los comandos de estado de memoria intermedia de retorno 2416 se utilizan para configurar un conjunto de memorias intermedias de retorno para que las respectivas canalizaciones escriban datos. Algunas operaciones de canalización requieren la asignación, selección o configuración de una o varias memorias intermedias de retorno en las que las operaciones escriben datos intermedios durante el procesamiento. En algunas realizaciones, el procesador de gráficos también utiliza una o más memorias intermedias de retorno para almacenar datos de salida y realizar comunicación entre subprocesos. En algunas realizaciones, el estado de memoria intermedia de retorno 2416 incluye la selección del tamaño y la cantidad de memorias intermedias de retorno que se utilizarán para un conjunto de operaciones de canalización.
Las órdenes restantes de la secuencia de comandos difieren en función de la canalización activa para las operaciones. Basándose en una determinación de canalización 2420, la secuencia de comandos se adapta a la canalización 3D 2422 comenzando con el estado de canalización 3D 2430, o a la canalización de medios 2424 comenzando en el estado de canalización de medios 2440.
Los comandos para el estado de canalización 3D 2430 incluyen comandos de ajuste de estado 3D para estado de memoria intermedia de vértice, estado de elemento de vértice, estado de color constante, estado de memoria intermedia de profundidad y otras variables de estado que han de configurarse antes de que se procesen los comandos de primitiva 3D. Los valores de estos comandos se determinan, al menos en parte, basándose en la API 3D particular en utilización. En algunas realizaciones, los comandos de estado de canalización 3D 2430 también pueden inhabilitar o eludir selectivamente ciertos elementos de la canalización si esos elementos no se utilizan.
En algunas realizaciones, el comando de primitiva 3D 2432 se utiliza para enviar primitivas 3D para que sean procesadas por la canalización 3D. Los comandos y parámetros asociados que se pasan al procesador de gráficos a través del comando de primitiva 3D 2432 se reenvían a la función de extracción de vértices de la canalización de gráficos. La función de extracción de vértices utiliza los datos del comando de primitiva 3D 2432 para generar estructuras de datos de vértices. Las estructuras de datos de vértices se almacenan en uno o más memorias intermedias de retorno. En algunas realizaciones, el comando de primitiva 3D 2432 se utiliza para realizar operaciones de vértices en primitivas 3D por medio de sombreadores de vértices. Para procesar sombreadores de vértices, la canalización 3D 2422 despacha subprocesos de ejecución de sombreadores a unidades de ejecución de procesadores de gráficos.
En algunas realizaciones, la canalización 3D 2422 se activa mediante un comando o evento de ejecución 2434. En algunas realizaciones, un registro de escritura activa la ejecución del comando. En algunas realizaciones, la ejecución se activa mediante un comando 'ir' o 'patear' en la secuencia de comandos. En una realización, la ejecución de comando se activa utilizando un comando de sincronización de canalización para vaciar la secuencia de comandos a través de la canalización de gráficos. La canalización 3D realizará el procesamiento de geometría para las primitivas 3D. Una vez que se completan las operaciones, los objetos geométricos resultantes se rasterizan y el motor de píxeles colorea los píxeles resultantes. También pueden incluirse comandos adicionales para controlar el sombreado de píxeles y las operaciones de extremo posterior de píxeles para esas operaciones.
En algunas realizaciones, la secuencia de comandos del procesador de gráficos 2410 sigue la ruta de la canalización de medios 2424 al realizar operaciones de medios. En general, la utilización específica y la manera de programar la canalización de medios 2424 depende de las operaciones de medios o de cálculo que se vayan a llevar a cabo. Operaciones específicas de decodificación de medios pueden ser descargadas a la canalización de medios durante la decodificación de medios. En algunas realizaciones, la canalización de medios también se puede omitir y la decodificación de medios se puede realizar en su totalidad o en parte utilizando recursos proporcionados por uno o más núcleos de procesamiento de propósito general. En una realización, la canalización de medios también incluye elementos para operaciones de la unidad de procesador de gráficos de propósito general (GPGPU), donde el procesador de gráficos se utiliza para realizar operaciones vectoriales SIMD utilizando programas de sombreado computacional que no están relacionados explícitamente con el renderizado de primitivas de gráficos.
En algunas realizaciones, la canalización de medios 2424 está configurada de una manera similar a la canalización 3D 2422. Se despacha o se coloca un conjunto de comandos de estado de canalización de medios 2440 en una cola de comandos antes de los comandos de objeto de medios 2442. En algunas realizaciones, los comandos de estado de canalización de medios 2440 incluyen datos para configurar los elementos de canalización de medios que se usarán para procesar los objetos de medios. Esto incluye datos para configurar la lógica de decodificación y codificación de vídeo dentro de la canalización de medios, tal como el formato de codificación o decodificación. En algunas realizaciones, los comandos de estado de canalización de medios 2440 también admiten la utilización de uno o más punteros a elementos de estado "indirecto" que contienen un lote de ajustes de estado.
En algunas realizaciones, los comandos de objetos de medios 2442 suministran punteros a objetos de medios para su procesamiento por la canalización de medios. Los objetos de medios incluyen memorias intermedias de memoria que contienen datos de vídeo que se procesarán. En algunas realizaciones, todos los estados de la canalización de medios deben ser válidos antes de emitir un comando de objeto de medios 2442. Una vez que se configura el estado de canalización y se ponen en cola los comandos de objeto de medios 2442, la canalización de medios 2424 se activa a través de un comando de ejecución 2444 o un evento de ejecución equivalente (por ejemplo, escritura de registro). La salida de la canalización de medios 2424 se puede posprocesar mediante operaciones proporcionadas por la canalización 3D 2422 o la canalización de medios 2424. En algunas realizaciones, las operaciones de GPGPU se configuran y ejecutan de manera similar a las operaciones de medios.
Arquitectura de software de gráficos
La Figura 25 ilustra una arquitectura de software de gráficos ilustrativa para un sistema de procesamiento de datos 2500 de acuerdo con algunas realizaciones. En algunas realizaciones, la arquitectura de software incluye una aplicación de gráficos 3D 2510, un sistema operativo 2520 y al menos un procesador 2530. En algunas realizaciones, el procesador 2530 incluye un procesador de gráficos 2532 y uno o más núcleos de procesador de propósito general 2534. Cada uno de la aplicación de gráficos 2510 y el sistema operativo 2520 se ejecuta en la memoria de sistema 2550 del sistema de procesamiento de datos.
En algunas realizaciones, la aplicación de gráficos 3D 2510 contiene uno o más programas de sombreado que incluyen instrucciones de sombreado 2512. Las instrucciones de lenguaje de sombreador pueden estar en un lenguaje de sombreador de alto nivel, tal como el lenguaje de sombreador de alto nivel (HLSL) o el lenguaje de sombreador de OpenGL (GLSL). La aplicación también incluye instrucciones ejecutables 2514 en un lenguaje de máquina adecuado para ser ejecutado por el núcleo de procesador de propósito general 2534. La aplicación también incluye objetos de gráficos 2516 definidos por datos de vértice.
En algunas realizaciones, el sistema operativo 2520 es un sistema operativo Microsoft® Windows® de Microsoft Corporation, un sistema operativo tipo UNIX propietario o un sistema operativo tipo UNIX de código abierto que utiliza una variante del núcleo de Linux. Cuando se utiliza la API Direct3D, el sistema operativo 2520 utiliza un compilador de sombreado de interfaz 2524 para compilar cualquier instrucción de sombreado 2512 en HLSL en un lenguaje de sombreado de nivel inferior. La compilación puede ser una compilación justo a tiempo (JIT) o la aplicación puede llevar a cabo una precompilación del sombreador. En algunas realizaciones, los sombreadores de alto nivel son compilados en sombreadores de bajo nivel durante la compilación de la aplicación de gráficos 3D 2510.
En algunas realizaciones, el controlador de gráficos en modo de usuario 2526 contiene un compilador de sombreado de extremo trasero 2527 para convertir las instrucciones de sombreado 2512 en una representación específica de hardware. Cuando se utiliza la API OpenGL, las instrucciones de sombreado 2512 en el lenguaje de alto nivel GLSL se pasan a un controlador de gráficos de modo de usuario 2526 para su compilación. En algunas realizaciones, el controlador de gráficos de modo de usuario 2526 utiliza funciones de modo de núcleo del sistema operativo 2528 para comunicarse con un controlador de gráficos de modo de núcleo 2529. En algunas realizaciones, el controlador de gráficos en modo de núcleo 2529 se comunica con el procesador de gráficos 2532 para enviar comandos e instrucciones.
Implementaciones de núcleo de IP
Uno o más aspectos de al menos una realización se pueden implementar mediante código representativo almacenado en un medio legible por máquina que representa y/o define la lógica dentro de un circuito integrado como un procesador. Por ejemplo, el medio legible por máquina puede incluir instrucciones que representan varias lógicas dentro del procesador. Cuando son leídas por una máquina, las instrucciones pueden hacer que la máquina fabrique la lógica para llevar a cabo las técnicas descritas en la presente memoria. Tales representaciones, conocidas como "núcleos de IP", son unidades reutilizables de lógica para un circuito integrado que se pueden almacenar en un medio tangible legible por máquina como un modelo de hardware que describe la estructura del circuito integrado. El modelo de hardware puede suministrarse a varios clientes o instalaciones de fabricación, que cargan el modelo de hardware en máquinas de fabricación que fabrican el circuito integrado. El circuito integrado se puede fabricar de tal forma que el circuito lleve a cabo las operaciones descritas en asociación con cualquiera de las realizaciones descritas en la presente memoria.
La Figura 26 es un diagrama de bloques que ilustra un sistema de desarrollo de núcleo de IP 2600 que se puede utilizar para fabricar un circuito integrado para realizar las operaciones de acuerdo con una realización. El sistema de desarrollo de núcleo de IP 2600 puede usarse para generar diseños reutilizables modulares que pueden incorporarse en un diseño más grande o usarse para construir un circuito integrado entero (por ejemplo, un circuito integrado de SOC). Una instalación de diseño 2630 puede generar una simulación de software 2610 de un diseño de núcleo de IP en un lenguaje de programación de alto nivel (por ejemplo, C/C++). La simulación de software 2610 se puede utilizar para diseñar, probar y verificar el comportamiento del núcleo de IP. A continuación, se puede crear o sintetizar un diseño de nivel de transferencia de registro (RTL) a partir del modelo de simulación 2600. El diseño de RTL 2615 es una abstracción del comportamiento del circuito integrado que modela el flujo de señales digitales entre registros de hardware, incluyendo la lógica asociada realizada utilizando las señales digitales modeladas. Además de un diseño RTL 2615, también se pueden crear, diseñar o sintetizar diseños de nivel inferior a nivel lógico o a nivel de transistor. Por lo tanto, los detalles particulares del diseño y simulación iniciales pueden variar.
El diseño RTL 2615 o equivalente puede ser sintetizado además por la instalación de diseño en un modelo de hardware 2620, que puede estar en un lenguaje de descripción de hardware (HDL), o alguna otra representación de datos de diseño físico. El HDL puede ser simulado o probado para verificar el diseño del núcleo de IP. El diseño de núcleo de IP se puede almacenar para su entrega a una instalación de fabricación de terceros 2665 usando la memoria no volátil 2640 (por ejemplo, disco duro, memoria flash o cualquier medio de almacenamiento no volátil). Como alternativa, el diseño del núcleo de IP puede ser transmitido (por ejemplo, a través de Internet) a través de una conexión por cable 2650 o una conexión inalámbrica 2660. A continuación, la instalación de fabricación 2665 puede fabricar un circuito integrado basándose, al menos en parte, en el diseño del núcleo de IP. El circuito integrado fabricado se puede configurar para llevar a cabo operaciones de acuerdo con al menos una realización descrita en la presente memoria.
La Figura 27 es un diagrama de bloques que ilustra un circuito integrado de sistema en un chip 2700 ilustrativo que se puede fabricar utilizando uno o más núcleos de IP, de acuerdo con una realización. El circuito integrado ilustrativo incluye uno o más procesadores de aplicación 2705 (por ejemplo, las CPU), al menos un procesador de gráficos 2710, y puede incluir adicionalmente un procesador de imágenes 2715 y/o un procesador de vídeo 2720, cualquiera de los cuales puede ser un núcleo de IP modular desde las mismas o múltiples diferentes instalaciones de diseño. El circuito integrado incluye lógica periférica o de bus que incluye un controlador USB 2725, un controlador UART 2730, un controlador SPI/SDIO 2735 y un controlador I2S/I2C 2740. Además, el circuito integrado puede incluir un dispositivo de visualización 2745 acoplado a uno o más de un controlador de interfaz multimedia de alta definición (HDMI) 2750 y una interfaz de visualización de interfaz de procesador de la industria móvil (MIPI) 2755. El almacenamiento lo puede proporcionar un subsistema de memoria flash 2760 que incluye memoria flash y un controlador de memoria flash. La interfaz de memoria puede proporcionarse a través de un controlador de memoria 2765 para acceder a dispositivos de memoria SDRAM o SRAM. Algunos circuitos integrados incluyen adicionalmente un motor de seguridad integrado 2770.
Adicionalmente, se pueden incluir otras lógicas y circuitos en el procesador del circuito integrado 2700, incluyendo procesadores/núcleos de gráficos adicionales, controladores de interfaz periféricos o núcleos de procesador de propósito general.

Claims (2)

REIVINDICACIONES
1. Un sistema de procesamiento electrónico, que comprende: una o más unidades de ejecución;
un analizador de presupuesto de potencia para identificar un presupuesto de potencia para un sistema de gráficos del sistema de procesamiento electrónico; y
un ajustador de parámetros acoplado comunicativamente al analizador de presupuesto de potencia para ajustar uno o más parámetros de proceso de trama del sistema de gráficos en función del presupuesto de potencia identificado al realizar un método que comprende:
seleccionar un parámetro de cuantificación inicial, QP;
dividir una trama en una pluralidad de unidades de codificación, CU;
despachar una de las CU a las una o más unidades de ejecución para la codificación con el QP seleccionado; determinar si un tiempo para codificar las CU está dentro de un tiempo umbral asociado con el presupuesto de potencia; y
aumentar el QP para una de las siguientes CU si la codificación tarda más que el tiempo umbral, y disminuir el QP para la siguiente CU si el procesamiento tarda menos que el tiempo umbral;
en donde las una o más unidades de ejecución se configuran para codificar la respectiva CU en función del QP actual; y
en donde un valor de QP inferior corresponde a una tasa de bits mayor y a un tiempo de procesamiento mayor, y un QP mayor corresponde a una tasa de bits menor y a un tiempo de procesamiento más corto.
2. Un método, realizado por un sistema de procesamiento electrónico de acuerdo con la reivindicación 1, de ajuste de un parámetro de gráficos, que comprende:
identificar un presupuesto de potencia para un sistema de gráficos del sistema de procesamiento electrónico; y ajustar uno o más parámetros de proceso de trama del sistema de gráficos en función del presupuesto de potencia identificado seleccionando un parámetro de cuantificación inicial, QP;
dividir una trama en una pluralidad de unidades de codificación, CU;
despachar una de las CU a una o más unidades de ejecución para la codificación con el QP seleccionado; determinar si un tiempo para codificar las CU está dentro de un tiempo umbral asociado con el presupuesto de potencia; y
aumentar el QP para una de las siguientes CU si la codificación tarda más que el tiempo umbral, y disminuir el QP para la siguiente CU si el procesamiento tarda menos que el tiempo umbral;
en donde la CU respectiva está codificada por la una o más unidades de ejecución en función del QP actual; y en donde un valor de QP inferior corresponde a una tasa de bits mayor y a un tiempo de procesamiento mayor, y un QP mayor corresponde a una tasa de bits menor y a un tiempo de procesamiento más corto.
ES18167862T 2017-04-17 2018-04-17 Power-based and target-based graphics quality adjustment Active ES3032136T3 (en)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US15/488,569 US10402932B2 (en) 2017-04-17 2017-04-17 Power-based and target-based graphics quality adjustment

Publications (1)

Publication Number Publication Date
ES3032136T3 true ES3032136T3 (en) 2025-07-15

Family

ID=62116183

Family Applications (1)

Application Number Title Priority Date Filing Date
ES18167862T Active ES3032136T3 (en) 2017-04-17 2018-04-17 Power-based and target-based graphics quality adjustment

Country Status (5)

Country Link
US (3) US10402932B2 (es)
EP (1) EP3392737B1 (es)
CN (1) CN108734628A (es)
ES (1) ES3032136T3 (es)
PL (1) PL3392737T3 (es)

Families Citing this family (46)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7135067B2 (ja) * 2017-04-21 2022-09-12 ゼニマックス メディア インク． ゲーム－生成された動きベクトルのためのシステムおよび方法
US10341670B1 (en) * 2017-09-26 2019-07-02 Amazon Technologies, Inc. Video encoder bit rate stabilization
US11437032B2 (en) 2017-09-29 2022-09-06 Shanghai Cambricon Information Technology Co., Ltd Image processing apparatus and method
US11016179B2 (en) * 2017-12-03 2021-05-25 Munro Design & Technologies, Llc Digital image processing systems for three-dimensional imaging systems with image intensifiers and methods thereof
US10739838B2 (en) * 2017-12-28 2020-08-11 Omnivision Technologies, Inc. Quality-driven dynamic frequency scaling for energy optimization of smart camera systems
US11704125B2 (en) 2018-02-13 2023-07-18 Cambricon (Xi'an) Semiconductor Co., Ltd. Computing device and method
US11630666B2 (en) 2018-02-13 2023-04-18 Shanghai Cambricon Information Technology Co., Ltd Computing device and method
EP3617959B1 (en) 2018-02-13 2021-08-04 Shanghai Cambricon Information Technology Co., Ltd Computing device and method
CN110162162B (zh) 2018-02-14 2023-08-18 上海寒武纪信息科技有限公司 处理器的控制装置、方法及设备
CN109785347A (zh) * 2018-04-27 2019-05-21 京东方科技集团股份有限公司 图像处理方法、图像处理系统及存储介质
WO2019218896A1 (zh) 2018-05-18 2019-11-21 上海寒武纪信息科技有限公司 计算方法以及相关产品
CN110728364B (zh) 2018-07-17 2024-12-17 上海寒武纪信息科技有限公司 一种运算装置和运算方法
WO2020001438A1 (zh) 2018-06-27 2020-01-02 上海寒武纪信息科技有限公司 片上代码断点调试方法、片上处理器及芯片断点调试系统
US10867091B1 (en) * 2018-08-17 2020-12-15 Synopsys, Inc. Machine learning based power optimization using parallel training and localized data generation
US10672362B2 (en) * 2018-08-17 2020-06-02 Ffipco, Llc Systems and methods for digital content creation and rendering
WO2020042739A1 (zh) 2018-08-28 2020-03-05 中科寒武纪科技股份有限公司 数据预处理方法、装置、计算机设备和存储介质
EP3859488B1 (en) 2018-09-28 2024-10-09 Shanghai Cambricon Information Technology Co., Ltd Signal processing device, signal processing method and related product
CN111385462A (zh) 2018-12-28 2020-07-07 上海寒武纪信息科技有限公司 信号处理装置、信号处理方法及相关产品
CN111510715B (zh) * 2019-01-31 2022-03-01 上海哔哩哔哩科技有限公司 视频处理方法、系统、计算机设备及存储介质
CN110039997A (zh) * 2019-03-27 2019-07-23 阿尔特汽车技术股份有限公司 一种混合动力汽车电机助力模式的监控系统及方法
CN111832738B (zh) 2019-04-18 2024-01-09 中科寒武纪科技股份有限公司 一种数据处理方法及相关产品
US20200334522A1 (en) 2019-04-18 2020-10-22 Cambricon Technologies Corporation Limited Data processing method and related products
US10999629B1 (en) * 2019-04-23 2021-05-04 Snap Inc. Automated graphical image modification scaling based on rules
EP3770823B1 (en) 2019-06-12 2025-07-16 Shanghai Cambricon Information Technology Co., Ltd Quantization parameter determination method for neural network, and related product
US11676028B2 (en) 2019-06-12 2023-06-13 Shanghai Cambricon Information Technology Co., Ltd Neural network quantization parameter determination method and related products
EP4020321A4 (en) 2019-08-23 2024-01-17 Anhui Cambricon Information Technology Co., Ltd. Data processing method, apparatus, computer device, and storage medium
EP4020328B1 (en) 2019-08-23 2025-07-30 Anhui Cambricon Information Technology Co., Ltd. Data processing method and apparatus, computer device, and storage medium
US12165039B2 (en) 2019-08-23 2024-12-10 Anhui Cambricon Information Technology Co., Ltd. Neural network quantization data processing method, device, computer equipment and storage medium
CN112434781B (zh) 2019-08-26 2024-09-10 上海寒武纪信息科技有限公司 用于处理数据的方法、装置以及相关产品
EP4024280A4 (en) 2019-08-27 2022-11-16 Anhui Cambricon Information Technology Co., Ltd. DATA PROCESSING METHOD AND EQUIPMENT, COMPUTER EQUIPMENT AND STORAGE MEDIA
US11524230B2 (en) * 2019-10-01 2022-12-13 Sony Interactive Entertainment Inc. Encoder tuning to improve tradeoffs between latency and video quality in cloud gaming applications
US11392418B2 (en) * 2020-02-21 2022-07-19 International Business Machines Corporation Adaptive pacing setting for workload execution
CN113298843B (zh) 2020-02-24 2024-05-14 中科寒武纪科技股份有限公司 数据量化处理方法、装置、电子设备和存储介质
CN110996131B (zh) * 2020-03-02 2020-11-10 腾讯科技（深圳）有限公司 视频编码方法、装置、计算机设备及存储介质
CN113408716B (zh) * 2020-03-17 2025-06-24 安徽寒武纪信息科技有限公司 计算装置、方法、板卡和计算机可读存储介质
CN113408717B (zh) 2020-03-17 2025-09-09 安徽寒武纪信息科技有限公司 计算装置、方法、板卡和计算机可读存储介质
US12169703B2 (en) 2020-03-19 2024-12-17 Advanced Micro Devices, Inc. Graphics pipeline optimizations
CN112632888B (zh) * 2020-08-18 2024-08-23 上海致居信息科技有限公司 电路合成方法、设备、介质和数据存储证明系统
CN115185362B (zh) * 2021-04-01 2026-01-16 Oppo广东移动通信有限公司 电子设备控制方法、装置、存储介质及电子设备
US11483569B1 (en) * 2021-06-09 2022-10-25 Snap Inc. Device with dynamic transcode throttling
EP4352966B1 (en) * 2021-06-09 2025-07-09 Snap Inc. Device with dynamic transcode throttling
WO2023108389A1 (en) * 2021-12-14 2023-06-22 Intel Corporation Reduced power camera control system
TWI849735B (zh) * 2022-02-10 2024-07-21 聯發科技股份有限公司 用於平衡功率和性能的自我調整負載感知系統管理
CN114501139A (zh) * 2022-03-31 2022-05-13 深圳思谋信息科技有限公司 一种视频处理方法、装置、计算机设备和存储介质
CN114840072A (zh) * 2022-04-22 2022-08-02 Oppo广东移动通信有限公司 一种画质调整方法、装置、存储介质及电子设备
US20240276398A1 (en) * 2023-02-10 2024-08-15 Cisco Technology, Inc. Power budget-based mesh tree reconfigurations

Family Cites Families (75)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2669479B1 (fr) * 1990-11-16 1993-01-22 Thomson Composants Microondes Circuit d'augmentation du debit d'informations dans un systeme d'echange de donnees.
US7376331B2 (en) 2004-03-29 2008-05-20 Cyberlink Corp. Method and system for regulating power in portable audio/video playback device
CN1973548B (zh) * 2004-06-21 2010-12-08 皇家飞利浦电子股份有限公司 用于选择性地转换输入信号的代码的设备和方法
US7869666B2 (en) 2005-01-13 2011-01-11 Nvidia Corporation Video processing system and method with dynamic tag architecture
JP2009544176A (ja) * 2006-03-29 2009-12-10 ヴィドヨ，インコーポレーテッド スケーラブルビデオコーデックと非スケーラブルビデオコーデックとの間でトランスコードを行うためのシステム及び方法
US7724211B2 (en) 2006-03-29 2010-05-25 Nvidia Corporation System, method, and computer program product for controlling stereo glasses shutters
US8169467B2 (en) 2006-03-29 2012-05-01 Nvidia Corporation System, method, and computer program product for increasing an LCD display vertical blanking interval
JP4799377B2 (ja) 2006-11-17 2011-10-26 キヤノン株式会社 画像符号化装置
JP2009272702A (ja) * 2008-04-30 2009-11-19 Canon Inc 動きベクトル探索装置及びその制御方法
US8724694B2 (en) 2008-10-14 2014-05-13 Nvidia Corporation On-the spot deblocker in a decoding pipeline
US8442111B2 (en) 2008-11-24 2013-05-14 Nvidia Corporation Optimal power usage in encoding data streams
US20100128797A1 (en) 2008-11-24 2010-05-27 Nvidia Corporation Encoding Of An Image Frame As Independent Regions
US20100128798A1 (en) 2008-11-25 2010-05-27 Nvidia Corporation Video processor using optimized macroblock sorting for slicemap representations
JP5579852B2 (ja) 2009-09-10 2014-08-27 ドルビー ラボラトリーズ ライセンシング コーポレイション レート歪み最適化された量子化のための高速化技法
US8503539B2 (en) * 2010-02-26 2013-08-06 Bao Tran High definition personal computer (PC) cam
CN102213851A (zh) 2010-04-12 2011-10-12 辉达公司 用于显示三维立体图像的液晶显示器、系统及方法
JP5431261B2 (ja) * 2010-07-23 2014-03-05 インターナショナル・ビジネス・マシーンズ・コーポレーション 情報管理システム、方法及びプログラム
US8670613B2 (en) 2010-08-31 2014-03-11 Nvidia Corporation Lossless frame buffer color compression
KR101146383B1 (ko) 2010-11-22 2012-05-17 숭실대학교산학협력단 배터리 전력 제어 장치, 휴대 기기 및 이의 제어 방법
US20120195356A1 (en) * 2011-01-31 2012-08-02 Apple Inc. Resource usage control for real time video encoding
CN103108197A (zh) 2011-11-14 2013-05-15 辉达公司 一种用于3d视频无线显示的优先级压缩方法和系统
CN103108154A (zh) 2011-11-14 2013-05-15 辉达公司 一种汽车导航设备
US20140204101A1 (en) * 2011-11-30 2014-07-24 Murali Ramadoss Adaptive frame rate control for a graphics subsystem
US9747657B2 (en) * 2011-11-30 2017-08-29 Intel Corporation Reducing power for 3D workloads
US9250688B2 (en) * 2011-12-09 2016-02-02 Intel Corporation Adaptive graphics subsystem power and performance management
US9576340B2 (en) 2012-07-30 2017-02-21 Nvidia Corporation Render-assisted compression for remote graphics
CN103587479A (zh) 2012-08-14 2014-02-19 辉达公司 一种用于倒车的裸眼三维视频系统和包括该系统的车辆
US20140057714A1 (en) 2012-08-27 2014-02-27 Nvidia Corporation Modifiable gaming experience based on user position and/or orientation
US9081535B2 (en) 2012-09-03 2015-07-14 Nvidia Corporation Automatic topology configuration through automatic hardware profiles across multiple display units
US20140071245A1 (en) 2012-09-10 2014-03-13 Nvidia Corporation System and method for enhanced stereo imaging
US8938127B2 (en) 2012-09-18 2015-01-20 Nvidia Corporation Hybrid encoding/decoding for remote gaming
US8797340B2 (en) 2012-10-02 2014-08-05 Nvidia Corporation System, method, and computer program product for modifying a pixel value as a function of a display duration estimate
US20140153635A1 (en) 2012-12-05 2014-06-05 Nvidia Corporation Method, computer program product, and system for multi-threaded video encoding
US9098282B2 (en) * 2012-12-27 2015-08-04 Intel Corporation Methods, systems and apparatus to manage power consumption of a graphics engine
US9082180B2 (en) 2012-12-28 2015-07-14 Nvidia Corporation System, method, and computer program product for implementing a spatially varying unsharp mask noise reduction filter
US9071765B2 (en) 2012-12-28 2015-06-30 Nvidia Corporation System, method, and computer program product implementing an image processing pipeline for high-dynamic range images
US9451187B2 (en) 2012-12-31 2016-09-20 Nvidia Corporation Lens shading calibration for cameras
US20140267222A1 (en) 2013-03-12 2014-09-18 Nvidia Corporation Efficient autostereo support using display controller windows
KR20140111859A (ko) 2013-03-12 2014-09-22 삼성전자주식회사 콘텐트 공유 방법 및 이를 위한 디바이스
US9747527B2 (en) 2013-03-15 2017-08-29 Nvidia Corporation Performing object detection operations via random forest classifier
US20140286390A1 (en) 2013-03-20 2014-09-25 Nvidia Corporation Encoder controller graphics processing unit and method of encoding rendered graphics
US9092658B2 (en) 2013-04-25 2015-07-28 Nvidia Corporation Automatic detection of stereoscopic content in video/image data
US20140327771A1 (en) 2013-05-01 2014-11-06 Nvidia Corporation System, method, and computer program product for displaying a scene as a light field
CN104184961A (zh) 2013-05-22 2014-12-03 辉达公司 用于生成全景视频的移动设备和系统
US9158358B2 (en) * 2013-06-04 2015-10-13 Qualcomm Incorporated System and method for intelligent multimedia-based thermal power management in a portable computing device
US9118932B2 (en) 2013-06-14 2015-08-25 Nvidia Corporation Adaptive filtering mechanism to remove encoding artifacts in video data
US20150018111A1 (en) * 2013-06-27 2015-01-15 Mobiplex, Inc. Interpretation of characteristics of a golf swing using motion analysis
US20150011311A1 (en) * 2013-07-03 2015-01-08 Iswifter, Inc. System and method for experiencing advertised interactive applications
US9232210B2 (en) 2013-07-08 2016-01-05 Nvidia Corporation Mapping sub-portions of three-dimensional (3D) video data to be rendered on a display unit within a comfortable range of perception of a user thereof
TW201503243A (zh) * 2013-07-10 2015-01-16 Ind Tech Res Inst 導電結構及其製造方法和以導電結構作爲電極的元件
US20150022636A1 (en) 2013-07-19 2015-01-22 Nvidia Corporation Method and system for voice capture using face detection in noisy environments
US20150036875A1 (en) 2013-07-31 2015-02-05 Nvidia Corporation Method and system for application execution based on object recognition for mobile devices
US9703355B2 (en) * 2013-08-28 2017-07-11 Qualcomm Incorporated Method, devices and systems for dynamic multimedia data flow control for thermal power budgeting
US20150103184A1 (en) 2013-10-15 2015-04-16 Nvidia Corporation Method and system for visual tracking of a subject for automatic metering using a mobile device
US9437165B2 (en) 2013-10-31 2016-09-06 Nvidia Corporation Power-efficient control of display data configured to be rendered on a display unit of a data processing device
US9292908B2 (en) 2013-11-21 2016-03-22 Nvidia Corporation System, method, and computer program product for enhancing an image utilizing a hyper-clarity transform
US20150138065A1 (en) 2013-11-21 2015-05-21 Nvidia Corporation Head-mounted integrated interface
US9423853B2 (en) * 2013-12-10 2016-08-23 Qualcomm Incorporated System and method for balanced user experience in a multimedia conferencing community
US9420178B2 (en) * 2013-12-20 2016-08-16 Qualcomm Incorporated Thermal and power management
US20150208079A1 (en) 2014-01-22 2015-07-23 Nvidia Corporation Adaptive frame type detection for real-time low-latency streaming servers
US20150221064A1 (en) 2014-02-03 2015-08-06 Nvidia Corporation User distance based modification of a resolution of a display unit interfaced with a data processing device and/or a display area size thereon
US9549147B2 (en) 2014-02-13 2017-01-17 Nvidia Corporation System and method for creating a video frame from a single video field
US20150243048A1 (en) 2014-02-26 2015-08-27 Nvidia Corporation System, method, and computer program product for performing one-dimesional searches in two-dimensional images
US10264211B2 (en) 2014-03-14 2019-04-16 Comcast Cable Communications, Llc Adaptive resolution in software applications based on dynamic eye tracking
US9892669B2 (en) 2014-03-18 2018-02-13 Nvidia Corporation Superresolution display using cascaded panels
US9786255B2 (en) 2014-05-30 2017-10-10 Nvidia Corporation Dynamic frame repetition in a variable refresh rate system
US9530174B2 (en) * 2014-05-30 2016-12-27 Apple Inc. Selective GPU throttling
US9799088B2 (en) * 2014-08-21 2017-10-24 Qualcomm Incorporated Render target command reordering in graphics processing
US9799091B2 (en) * 2014-11-20 2017-10-24 Intel Corporation Apparatus and method for efficient frame-to-frame coherency exploitation for sort-last architectures
US20160259453A1 (en) * 2015-03-06 2016-09-08 Sony Computer Entertainment America Llc Dynamic adjustment of cloud game data streams to output device and network quality
US10104137B2 (en) * 2015-12-09 2018-10-16 Telefonaktiebolaget Lm Ericsson (Publ) Recording of ABR content
US20170337900A1 (en) * 2016-05-17 2017-11-23 Google Inc. Wireless user interface projection for vehicles
US10726604B2 (en) * 2016-06-03 2020-07-28 Apple Inc. Controlling display performance using display statistics and feedback
US10567775B2 (en) * 2016-10-01 2020-02-18 Intel Corporation Method and system of hardware accelerated video coding with per-frame parameter control
US10705591B2 (en) * 2016-10-31 2020-07-07 Microsoft Technology Licensing, Llc Aggregated electronic device power management

Also Published As

Publication number Publication date
EP3392737A3 (en) 2018-11-28
US11423507B2 (en) 2022-08-23
EP3392737A2 (en) 2018-10-24
US10909653B2 (en) 2021-02-02
EP3392737B1 (en) 2025-03-26
CN108734628A (zh) 2018-11-02
US20210374896A1 (en) 2021-12-02
US20200005424A1 (en) 2020-01-02
PL3392737T3 (pl) 2025-07-28
US20180300839A1 (en) 2018-10-18
US10402932B2 (en) 2019-09-03

Similar Documents

Publication Publication Date Title
ES3032136T3 (en) Power-based and target-based graphics quality adjustment
US11218633B2 (en) Technology to assign asynchronous space warp frames and encoded frames to temporal scalability layers having different priorities
US11051038B2 (en) MV/mode prediction, ROI-based transmit, metadata capture, and format detection for 360 video
ES2929749T3 (es) Selector de calidad basado en vecinos 360, ajustador de rango, gestor de ventanilla y estimador de movimiento para gráficos
ES3006472T3 (en) Block based camera updates and asynchronous displays
ES2922054T3 (es) Soporte de múltiples tasas de refresco en regiones diferentes del visor del panel
US10574995B2 (en) Technology to accelerate scene change detection and achieve adaptive content display
EP3435672B1 (en) Encoding 3d rendered images by tagging objects
ES2996269T3 (en) Region based processing
ES2915592T3 (es) Uso óptimo de espejos virtuales de automóvil