ES3006469T3 - Technology to encode 360 degree video content - Google Patents

Technology to encode 360 degree video content Download PDF

Info

Publication number
ES3006469T3
ES3006469T3 ES18165265T ES18165265T ES3006469T3 ES 3006469 T3 ES3006469 T3 ES 3006469T3 ES 18165265 T ES18165265 T ES 18165265T ES 18165265 T ES18165265 T ES 18165265T ES 3006469 T3 ES3006469 T3 ES 3006469T3
Authority
ES
Spain
Prior art keywords
graphics
cameras
memory
processor
processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
ES18165265T
Other languages
English (en)
Inventor
Jill M Boyce
Stanley J Baran
Sumit Mohan
Yi-Jen Chiu
Jason Tanner
Atthar H Mohammed
Richmond Hicks
Barnan Das
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intel Corp
Original Assignee
Intel Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intel Corp filed Critical Intel Corp
Application granted granted Critical
Publication of ES3006469T3 publication Critical patent/ES3006469T3/es
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/60—Memory management
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/61—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio
    • H04L65/613—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio for the control of the source by the destination
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4728—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/658—Transmission by the client directed to the server
    • H04N21/6587—Control parameters, e.g. trick play commands, viewpoint selection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/84—Generation or processing of descriptive data, e.g. content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/65—Control of camera operation in relation to power supply
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING SYSTEMS, e.g. PERSONAL CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19634—Electrical details of the system, e.g. component blocks for carrying out specific functions
    • G08B13/19636—Electrical details of the system, e.g. component blocks for carrying out specific functions pertaining to the camera
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING SYSTEMS, e.g. PERSONAL CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B29/00—Checking or monitoring of signalling or alarm systems; Prevention or correction of operating errors, e.g. preventing unauthorised operation
    • G08B29/18—Prevention or correction of operating errors
    • G08B29/181—Prevention or correction of operating errors due to failing power supply
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/31—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the temporal domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/56—Motion estimation with initialisation of the vector search, e.g. estimating a good candidate to initiate a search
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/917—Television signal processing therefor for bandwidth reduction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0117—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0127—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level by changing the field or frame frequency of the incoming video signal, e.g. frame rate converter

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Image Processing (AREA)
  • Image Generation (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

Los sistemas, aparatos y métodos pueden determinar, por cámara, un nivel de interés respecto al contenido de vídeo panorámico, identificar un subconjunto de cámaras, dentro de una pluralidad de cámaras, cuyo nivel de interés esté por debajo de un umbral y reducir el consumo de energía en dicho subconjunto. Además, la tecnología puede determinar un formato de proyección asociado al contenido de vídeo panorámico, identificar uno o más límites discontinuos en dicho formato y modificar un esquema de codificación asociado al contenido de vídeo panorámico en función de dichos límites. Asimismo, un fotograma codificado puede asignarse a una capa de escalabilidad temporal con mayor prioridad que una capa a la que se le asigna un fotograma de deformación espacial asíncrona. Asimismo, la tecnología puede reducir la complejidad de codificación de un límite entre una región activa y una región inactiva en el contenido de ojo de pez. (Traducción automática con Google Translate, sin valor legal)

Description

DESCRIPCIÓN
Tecnología para codificar contenido de vídeo de 360 grados
CAMPO TÉCNICO
Las realizaciones se refieren, en general, a arquitecturas de procesamiento de gráficos. Más particularmente, las realizaciones se refieren a tecnología para codificar contenido de vídeo de 360° en arquitecturas de procesamiento de gráficos.
ANTECEDENTES DE LA DESCRIPCIÓN
Las arquitecturas de procesamiento de gráficos pueden facilitar la entrega de experiencias inmersivas tales como entornos de realidad virtual (RV), entornos de realidad aumentada (RA) y juegos multijugador a los usuarios. Estas experiencias pueden implicar la captura de contenido de vídeo de 360°, en donde el contenido de vídeo capturado puede usarse para entregar la experiencia inmersiva a una pantalla tal como una pantalla montada en la cabeza (HMD) en tiempo real. La naturaleza sensible al tiempo de las experiencias inmersivas en tiempo real puede presentar varios desafíos de captura y codificación de imágenes con respecto al consumo de energía, la duración de la batería y la calidad.
El documento EP 2860963 se refiere a un dispositivo de generación de imágenes y un procedimiento de generación de imágenes y, más particularmente, a un dispositivo y un procedimiento para capturar una imagen compuesta. Una parte de detección de movimiento detecta vectores de movimiento de fotogramas de película A a F filmados por las unidades de formación de imágenes, encontrando la suma de las magnitudes de los vectores de movimiento de los fotogramas de película A a F. Alternativamente, la parte de detección de movimiento puede detectar un vector o vectores de movimiento de los fotogramas de película filmados por la una o más unidades de formación de imágenes específicas de interés para encontrar la suma de las magnitudes de los vectores de movimiento del uno o más fotogramas de película de interés.
El documento US 2013/141523 A1 se refiere al procesamiento de señales de vídeo panorámicas. Más particularmente, la solicitud se refiere a técnicas para entregar segmentos de un vídeo panorámico a dispositivos cliente en red. El alojamiento de vídeo en el servidor reduce los requisitos de procesamiento y energía en el sistema de cámara, mientras sigue proporcionando vídeo de alta calidad al usuario final. El servidor puede configurarse para proporcionar sugerencias de campo de visión basadas en datos del usuario. Las sugerencias de campo de visión pueden basarse en el seguimiento del campo de visión del usuario. Al monitorizar las interacciones del usuario con la transmisión de vídeo, el servidor puede realizar dos tareas adicionales. En primer lugar, el servidor puede sugerir condiciones iniciales que orienten el campo de visión del usuario en el área más vista del flujo de vídeo panorámico. En segundo lugar, el servidor también puede transmitir todo el campo de visión en baja resolución al dispositivo (si el ancho de banda de la red lo permite) y luego transmitir datos de vídeo de alta resolución solo para el campo de visión más visto por otros usuarios en el sistema.
El documento WO 2014/191990 A1 se refiere a un procedimiento para producir un flujo de fotogramas de imágenes deseado derivado de una captura panorámica de una escena por una serie de cámaras de vídeo. La producción se lleva a cabo mediante una operación coordinada en un lugar próximo a la escena y en una suite de producción ubicada de forma remota respecto del lugar. El procedimiento incluye un servidor del lugar que graba un flujo de imágenes de vídeo sin procesar capturadas simultáneamente por las cámaras de vídeo y convierte el flujo de imágenes de vídeo sin procesar a una primera velocidad de datos en un flujo de vistas panorámicas a una segunda velocidad de datos. La segunda velocidad de datos es inferior a un tercio de la primera velocidad de datos. El procedimiento incluye, además, transmitir el flujo de vistas panorámicas a una suite de producción remota y, desde allí, seleccionar un flujo de fotogramas deseados que incluya las respectivas regiones de interés. El procedimiento incluye, además, transmitir datos sobre el flujo de fotogramas deseado al servidor del lugar, y el servidor del lugar produce, a partir del flujo grabado de imágenes de vídeo sin procesar, un flujo de fotogramas de alta resolución. Los fotogramas de alta resolución se caracterizan por límites no perceptibles entre imágenes vecinas obtenidas de las respectivas imágenes de vídeo sin procesar vecinas.
La invención se expone en la reivindicación independiente 1. Las realizaciones de la descripción se definen en las reivindicaciones dependientes.
Según un ejemplo que no forma parte del texto literal de las reivindicaciones concedidas, un aparato de paquete de semiconductores comprende un sustrato y una lógica acoplada al sustrato, en el que la lógica se implementa en una o más de lógica configurable o lógica de hardware de funcionalidad fija, lógica para determinar un formato de proyección asociado con el contenido de vídeo panorámico, identificar uno o más límites discontinuos en el formato de proyección y modificar un esquema de codificación asociado con el contenido de vídeo panorámico en función del uno o más límites discontinuos.
Según un ejemplo, el formato de proyección debe ser un mapa cúbico que incluye una pluralidad de caras y el uno o más límites discontinuos deben ser una o más uniones entre la pluralidad de caras.
Según un ejemplo, la lógica es alinear los límites de partición del bloque de codificación con el uno o más límites discontinuos.
Según un ejemplo, la lógica es reducir las búsquedas de movimiento a lo largo del uno o más límites discontinuos. Según un ejemplo, la lógica es reducir la predicción intra a lo largo del uno o más límites discontinuos.
Según un ejemplo, la lógica consiste en reducir una variación de parámetro de cuantificación a lo largo del uno o más límites discontinuos.
Según un ejemplo, la lógica consiste en aumentar una asignación de bits a la distorsión en el uno o más límites discontinuos.
Según un ejemplo que no forma parte del texto literal de las reivindicaciones concedidas, un sistema informático de rendimiento mejorado comprende un sustrato y una lógica acoplada al sustrato, en el que la lógica se implementa en una o más de lógica configurable o lógica de hardware de funcionalidad fija, la lógica para asignar un fotograma codificado a una primera capa de escalabilidad temporal y asignar un fotograma de deformación espacial asíncrona a una segunda capa de escalabilidad temporal, en el que la primera capa de escalabilidad temporal debe tener una prioridad más alta que la segunda capa de escalabilidad temporal.
Según un ejemplo, la lógica consiste en asignar más bits al fotograma codificado que al fotograma de deformación espacial asíncrona.
Según un ejemplo, el sistema incluye, además, un controlador de red para transmitir el fotograma codificado y el fotograma de deformación espacial asíncrona a través de un enlace inalámbrico.
Según un ejemplo que no forma parte del texto literal de las reivindicaciones concedidas, un sistema informático de rendimiento mejorado comprende una cámara para capturar contenido de vídeo, una memoria que incluye un conjunto de instrucciones y un procesador acoplado a la cámara y a la memoria, en el que, cuando las ejecuta el procesador, las instrucciones hacen que el sistema detecte contenido de ojo de pez en uno o más fotogramas del contenido de vídeo, identifique una región activa y una región inactiva en el contenido de ojo de pez y reduzca una o más de las tasas de bits o la complejidad de codificación de un límite entre la región activa y la región inactiva.
Según un ejemplo, las instrucciones, cuando se ejecutan, hacen que el sistema refleje los datos de píxeles de la región activa en la región inactiva.
Según un ejemplo, el contenido de ojo de pez se debe detectar basándose en metadatos asociados con el uno o más fotogramas, en el que los metadatos deben identificar el uno o más fotogramas como fotogramas de ojo de pez y en el que los metadatos deben especificar un tamaño del contenido de ojo de pez.
Según un ejemplo que no forma parte del texto literal de las reivindicaciones concedidas, un procedimiento para operar un sistema informático de rendimiento mejorado comprende determinar un formato de proyección asociado con un contenido de vídeo panorámico, identificar uno o más límites discontinuos en el formato de proyección y modificar un esquema de codificación asociado con el contenido de vídeo panorámico en función del uno o más límites discontinuos.
Según un ejemplo, el formato de proyección es un mapa cúbico que incluye una pluralidad de caras y el uno o más límites discontinuos son una o más uniones entre la pluralidad de caras.
Según un ejemplo, modificar el esquema de codificación incluye alinear los límites de partición del bloque de codificación con el uno o más límites discontinuos.
Según un ejemplo, modificar el esquema de codificación incluye reducir las búsquedas de movimiento a lo largo del uno o más límites discontinuos.
Según un ejemplo, modificar el esquema de codificación incluye reducir la predicción intra a lo largo del uno o más límites discontinuos.
Según un ejemplo, modificar el esquema de codificación incluye reducir una variación de parámetro de cuantificación a lo largo del uno o más límites discontinuos.
Según un ejemplo, modificar el esquema de codificación incluye aumentar la asignación de bits a la distorsión en el uno o más límites discontinuos.
Según un ejemplo que no forma parte del texto literal de las reivindicaciones concedidas, un procedimiento para operar un sistema informático de rendimiento mejorado comprende asignar un fotograma codificado a una primera capa de escalabilidad temporal y asignar un fotograma de deformación espacial asíncrona a una segunda capa de escalabilidad temporal, en el que la primera capa de escalabilidad temporal tiene una prioridad más alta que la segunda capa de escalabilidad temporal. Según un ejemplo, el procedimiento incluye, además, asignar más bits al fotograma codificado que al fotograma de deformación espacial asíncrona.
Según un ejemplo, el procedimiento incluye, además, transmitir el fotograma codificado y el fotograma de deformación espacial asíncrona a través de un enlace inalámbrico.
Según un ejemplo que no forma parte del texto literal de las reivindicaciones concedidas, un procedimiento para operar un sistema informático de rendimiento mejorado comprende detectar contenido de ojo de pez en uno o más fotogramas de contenido de vídeo, identificar una región activa y una región inactiva en el contenido de ojo de pez y reducir una o más de una tasa de bits o una complejidad de codificación de un límite entre la región activa y la región inactiva. Según un ejemplo, la reducción de la complejidad de codificación incluye reflejar los datos de píxeles de la región activa en la región inactiva.
Según un ejemplo, el contenido de ojo de pez se detecta basándose en metadatos asociados con el uno o más fotogramas, en el que los metadatos identifican el uno o más fotogramas como fotogramas de ojo de pez, y en el que los metadatos especifican un tamaño del contenido de ojo de pez.
Según un ejemplo que no forma parte del texto literal de las reivindicaciones concedidas, al menos un medio de almacenamiento legible por ordenador comprende un conjunto de instrucciones, que cuando son ejecutadas por un sistema informático, hacen que el sistema informático realice cualquiera de los procedimientos descritos anteriormente.
Según un ejemplo que no forma parte del texto literal de las reivindicaciones concedidas, un aparato de paquete de semiconductores comprende medios para realizar cualquiera de los procedimientos descritos anteriormente.
BREVE DESCRIPCIÓN DE LOS DIBUJOS
Las diversas ventajas de las realizaciones se harán evidentes para un experto en la materia leyendo la siguiente memoria descriptiva y las reivindicaciones adjuntas, y haciendo referencia a los siguientes dibujos, en los que:
la Figura 1 es un diagrama de bloques que ilustra un sistema informático configurado para implementar uno o más aspectos de las realizaciones descritas en el presente documento;
las Figuras 2A-2D ilustran unos componentes de procesador paralelo, según una realización;
las Figuras 3A-3B son diagramas de bloques de multiprocesadores de gráficos, de acuerdo con las realizaciones;
las Figuras 4A-4F ilustran una arquitectura ilustrativa en la que una pluralidad de GPU está comunicativamente acoplada a una pluralidad de procesadores de múltiples núcleos;
la Figura 5 ilustra una canalización de procesamiento de gráficos, según una realización;
la Figura 6A es una ilustración de un ejemplo de una solución de reducción de potencia de la plataforma de cámara según una realización;
la Figura 6B es una ilustración de un ejemplo de una pluralidad de fotogramas capturados por una plataforma de cámara de acuerdo con una realización;
la Figura 6C es un diagrama de bloques de un ejemplo de una arquitectura de captura de imágenes de acuerdo con una realización;
la Figura 6D es un diagrama de flujo de un ejemplo de un procedimiento para controlar una pluralidad de cámaras de acuerdo con una realización;
la Figura 7A es una ilustración de un ejemplo de un formato de proyección de acuerdo con una realización; la Figura 7B es un diagrama de flujo de un ejemplo de un procedimiento para adaptar un esquema de codificación a un formato de proyección de acuerdo con una realización;
la Figura 7C es un diagrama de flujo de un ejemplo de un procedimiento más detallado para adaptar un esquema de codificación a un formato de proyección de acuerdo con una realización;
la Figura 8A es una ilustración de un ejemplo de un diseño de fotograma de deformación espacial asincrónico de acuerdo con una realización;
la Figura 8B es una ilustración de un ejemplo de una pluralidad de capas de escalabilidad temporal de acuerdo con una realización;
la Figura 8C es un diagrama de bloques de un ejemplo de una arquitectura informática que utiliza una deformación espacial asíncrona según una realización;
la Figura 8D es un diagrama de flujo de un ejemplo de un procedimiento para entregar contenido de deformación espacial asíncrona según una realización;
la Figura 9A es una ilustración de un ejemplo de un fotograma que contiene contenido de ojo de pez según una realización;
las Figuras 9B y 9C son ilustraciones de ejemplos de una reducción en la complejidad de codificación según una realización;
la Figura 9D es un diagrama de bloques de un ejemplo de una arquitectura informática que preprocesa contenido de ojo de pez según una realización;
la Figura 9E es un diagrama de flujo de un ejemplo de un procedimiento para codificar fotogramas que contienen contenido de ojo de pez según una realización;
la Figura 10A es un diagrama de bloques de un ejemplo de un sistema informático según una realización; la Figura 10B es una ilustración de un ejemplo de un aparato de paquete de semiconductores de acuerdo con una realización;
la Figura 11 es una ilustración de un ejemplo de un sistema de pantalla montada en la cabeza (HMD) de acuerdo con una realización;
la Figura 12A es un diagrama de bloques de un ejemplo de un dispositivo de procesamiento de datos según una realización;
la Figura 12B es una ilustración de un ejemplo de una determinación de distancia según una realización; la Figura 13 es un diagrama de bloques de un ejemplo de una agrupación de procesamiento general incluida en una unidad de procesamiento paralelo de acuerdo con una realización;
la Figura 14 es una ilustración conceptual de un ejemplo de una canalización de procesamiento de gráficos que puede implementarse dentro de una unidad de procesamiento paralelo, de acuerdo con una realización; la Figura 15 es un diagrama de bloques de un ejemplo de un multiprocesador de envío por flujo continuo de acuerdo con una realización;
las Figuras 16-18 son diagramas de bloques de un ejemplo de una vista general de un sistema de procesamiento de datos según una realización;
la Figura 19 es un diagrama de bloques de un ejemplo de un motor de procesamiento de gráficos según una realización;
las Figuras 20-22 son diagramas de bloques de ejemplos de unidades de ejecución según una realización; la Figura 23 es un diagrama de bloques de un ejemplo de canalización de gráficos según una realización; las Figuras 24A-24B son diagramas de bloques de ejemplos de programación de canalización de gráficos de acuerdo con una realización;
la Figura 25 es un diagrama de bloques de un ejemplo de una arquitectura de software de gráficos según una realización;
la Figura 26 es un diagrama de bloques de un ejemplo de un sistema de desarrollo central de propiedad intelectual (PI) según una realización; y
la Figura 27 es un diagrama de bloques de un ejemplo de un sistema en un circuito integrado de chip según una realización.
DESCRIPCIÓN DETALLADA
En la siguiente descripción, se exponen numerosos detalles específicos para proporcionar una comprensión más completa de la presente invención. Sin embargo, será evidente para un experto en la materia que la presente invención se puede poner en práctica sin uno o más de estos detalles específicos. En otros casos, no se han descrito características bien conocidas para evitar complicar la presente invención.
Descripción general del sistema
Figura 1 es un diagrama de bloques que ilustra un sistema informático 100 configurado para implementar uno o más aspectos de las realizaciones descritas en este documento. El sistema informático 100 incluye un subsistema de procesamiento 101 que tiene uno o más procesadores 102 y una memoria de sistema 104 que se comunican a través de una ruta de interconexión que puede incluir un concentrador de memoria 105. El concentrador de memoria 105 puede ser un componente separado dentro de un componente de conjunto de chips o puede estar integrado dentro del uno o más procesadores 102. El concentrador de memoria 105 se acopla con un subsistema de E/S 111 a través de un enlace de comunicación 106. El subsistema de E/S 111 incluye un concentrador de E/S 107 que puede permitir que el sistema informático 100 reciba la entrada de uno o más dispositivos de entrada 108. Además, el concentrador de E/S 107 puede permitir que un controlador de pantalla, que puede estar incluido en el uno o más procesadores 102, proporcione salidas a uno o más dispositivos de visualización 110A. En una realización, el uno o más dispositivos de visualización 110A acoplados con el concentrador de E/S 107 pueden incluir un dispositivo de visualización local, interno o integrado.
En una realización, el subsistema de procesamiento 101 incluye uno o más procesadores paralelos 112 acoplados al concentrador de memoria 105 a través de un bus u otro enlace de comunicación 113. El enlace de comunicación 113 puede ser una de cualquier cantidad de tecnologías o protocolos de enlace de comunicación basados en estándares, tales como, entre otros, PCI Express, o puede ser una interfaz de comunicaciones o una estructura de comunicaciones específicas del proveedor. En una realización, el uno o más procesadores paralelos 112 forman un sistema de procesamiento paralelo o vectorial centrado en la computación que puede incluir una gran cantidad de núcleos de procesamiento y/o agrupaciones de procesamiento, tales como un procesador de núcleos integrados múltiples (MIC). En una realización, el uno o más procesadores paralelos 112 forman un subsistema de procesamiento de gráficos que puede enviar píxeles a uno del uno o más dispositivos de visualización 110A acoplados a través del concentrador de E/S 107. El uno o más procesadores paralelos 112 también pueden incluir un controlador de visualización y una interfaz de visualización (no se muestra) para permitir una conexión directa a uno o más dispositivos de visualización 110B.
Dentro del subsistema de E/S 111, una unidad de almacenamiento del sistema 114 puede conectarse al concentrador de E/S 107 para proporcionar un mecanismo de almacenamiento para el sistema informático 100. Se puede utilizar un conmutador de E/S 116 para proporcionar un mecanismo de interfaz que permita conexiones entre el concentrador de E/S 107 y otros componentes, tales como un adaptador de red 118 y/o un adaptador de red inalámbrico 119 que se pueden integrar en la plataforma, y varios otros dispositivos que se pueden agregar a través de uno o más dispositivos complementarios 120. El adaptador de red 118 puede ser un adaptador Ethernet u otro adaptador de red cableado. El adaptador de red inalámbrico 119 puede incluir uno o más dispositivos de red Wi-Fi, Bluetooth, de comunicación de campo cercano (NFC) u otro dispositivo de red que incluya una o más radios inalámbricas.
El sistema informático 100 puede incluir otros componentes no mostrados explícitamente, incluyendo conexiones USB u otros puertos, unidades de almacenamiento óptico, dispositivos de captura de vídeo y similares, que también pueden estar conectados al concentrador de E/S 107. Las rutas de comunicación que interconectan los diversos componentes de la Figura 1 pueden implementarse utilizando cualquier protocolo adecuado, tales como protocolos basados en PCI (Interconexión de componentes periféricos) (por ejemplo, PCI-Express), o cualquier otra interfaz y/o protocolo(s) de comunicación de bus o punto a punto, tales como la interconexión de alta velocidad NVLink o protocolos de interconexión conocidos en la técnica.
En una realización, el uno o más procesadores paralelos 112 incorporan circuitos optimizados para el procesamiento de gráficos y vídeo, incluyendo, por ejemplo, circuitos de salida de vídeo, y constituyen una unidad de procesamiento de gráficos (GPU). En otra realización, el uno o más procesadores paralelos 112 incorporan circuitos optimizados para procesamiento de propósito general, mientras se conserva la arquitectura computacional subyacente, descrita con mayor detalle en este documento. En otra realización más, los componentes del sistema informático 100 pueden integrarse con uno o más elementos del sistema en un único circuito integrado. Por ejemplo, el uno o más procesadores paralelos 112, el concentrador de memoria 105, el procesador o procesadores 102 y el concentrador de E/S 107 pueden integrarse en un circuito integrado de sistema en chip (SoC). Alternativamente, los componentes del sistema informático 100 pueden integrarse en un único paquete para formar una configuración de sistema en paquete (SIP). En una realización, al menos una parte de los componentes del sistema informático 100 puede integrarse en un módulo multichip (MCM), que puede interconectarse con otros módulos multichip en un sistema informático modular.
Se apreciará que el sistema informático 100 que se muestra en este documento es ilustrativo y que son posibles variaciones y modificaciones. La topología de conexión, que incluye el número y la disposición de los puentes, el número de procesador(es) 102 y el número de procesador(es) paralelo(s) 112, se puede modificar según se desee. Por ejemplo, en algunas realizaciones, la memoria del sistema 104 está conectada al procesador o procesadores 102 directamente en lugar de a través de un puente, mientras que otros dispositivos se comunican con la memoria del sistema 104 a través del concentrador de memoria 105 y el procesador o procesadores 102. En otras topologías alternativas, el procesador o procesadores paralelos 112 están conectados al concentrador de E/S 107 o directamente a uno del uno o más procesadores 102, en lugar de al concentrador de memoria 105. En otras realizaciones, el concentrador de E/S 107 y el concentrador de memoria 105 pueden estar integrados en un solo chip. Algunas realizaciones pueden incluir dos o más conjuntos de procesadores 102 conectados a través de múltiples conectores, que pueden acoplarse con dos o más instancias de los procesadores paralelos 112.
Algunos de los componentes particulares que se muestran en este documento son opcionales y pueden no estar incluidos en todas las implementaciones del sistema informático 100. Por ejemplo, se puede admitir cualquier número de tarjetas o periféricos complementarios, o se pueden eliminar algunos componentes. Además, algunas arquitecturas pueden utilizar una terminología diferente para componentes similares a los ilustrados en la Figura 1. Por ejemplo, el concentrador de memoria 105 puede denominarse puente norte en algunas arquitecturas, mientras que el concentrador de E/S 107 puede denominarse puente sur.
La Figura 2A ilustra un procesador paralelo 200, según una realización. Los diversos componentes del procesador paralelo 200 pueden implementarse utilizando uno o más dispositivos de circuito integrado, tales como procesadores programables, circuitos integrados específicos de la aplicación (ASIC) o matrices de puertas programables en campo (FPGA). El procesador paralelo 200 ilustrado es una variante del uno o más procesadores paralelos 112 mostrados en la Figura 1, de acuerdo con una realización.
En una realización, el procesador paralelo 200 incluye una unidad de procesamiento paralelo 202. La unidad de procesamiento paralelo incluye una unidad de E/S 204 que permite la comunicación con otros dispositivos, incluidas otras instancias de la unidad de procesamiento paralelo 202. La unidad de E/S 204 puede estar conectada directamente a otros dispositivos. En una realización, la unidad de E/S 204 se conecta con otros dispositivos mediante el uso de un concentrador o una interfaz de conmutación, tal como el concentrador de memoria 105. Las conexiones entre el concentrador de memoria 105 y la unidad de E/S 204 forman un enlace de comunicación 113. Dentro de la unidad de procesamiento paralelo 202, la unidad de E/S 204 se conecta con una interfaz de anfitrión 206 y una barra transversal de memoria 216, donde la interfaz de anfitrión 206 recibe comandos dirigidos a realizar operaciones de procesamiento y la barra transversal de memoria 216 recibe comandos dirigidos a realizar operaciones de memoria.
Cuando la interfaz de anfitrión 206 recibe una memoria intermedia de comandos a través de la unidad de E/S 204, la interfaz de anfitrión 206 puede dirigir las operaciones de trabajo para ejecutar esos comandos a un extremo frontal 208. En una realización, el extremo frontal 208 se acopla con un planificador 210, que está configurado para distribuir comandos u otros elementos de trabajo a una matriz de agrupaciones de procesamiento 212. En una realización, el planificador 210 garantiza que la matriz de agrupaciones de procesamiento 212 esté configurada correctamente y en un estado válido antes de que las tareas se distribuyan a las agrupaciones de procesamiento de la matriz de agrupaciones de procesamiento 212. En una realización, el planificador 210 se implementa a través de una lógica de firmware que se ejecuta en un microcontrolador. El planificador 210 implementado en el microcontrolador se puede configurar para realizar operaciones complejas de planificación y distribución de trabajo con granularidad gruesa y fina, lo que permite una rápida interrupción y cambio de contexto de los hilos que se ejecutan en la matriz de procesamiento 212. En una realización, el software anfitrión puede proporcionar cargas de trabajo para la planificación en la matriz de procesamiento 212 a través de uno de los múltiples timbres de procesamiento de gráficos. Las cargas de trabajo se pueden distribuir automáticamente a través de la matriz de procesamiento 212 mediante la lógica del planificador 210 dentro del microcontrolador del planificador.
La matriz de agrupaciones de procesamiento 212 puede incluir hasta "N" agrupaciones de procesamiento (por ejemplo, la agrupación 214A, la agrupación 214B, hasta la agrupación 214N). Cada agrupación 214A a 214N de la matriz de agrupaciones de procesamiento 212 puede ejecutar un gran número de hilos concurrentes. El planificador 210 puede asignar trabajo a las agrupaciones 214A-214N de la matriz de agrupaciones de procesamiento 212 utilizando varios algoritmos de planificación y/o distribución de trabajo, que pueden variar dependiendo de la carga de trabajo que surja para cada tipo de programa o cálculo. La planificación puede ser manejada dinámicamente por el planificador 210, o puede ser asistida en parte por la lógica del compilador durante la compilación de la lógica del programa configurada para la ejecución por la matriz de agrupaciones de procesamiento 212. En una realización, diferentes agrupaciones 214A-214N de la matriz de agrupaciones de procesamiento 212 pueden asignarse para procesar diferentes tipos de programas o para realizar diferentes tipos de cálculos.
La matriz de agrupaciones de procesamiento 212 puede configurarse para realizar varios tipos de operaciones de procesamiento en paralelo. En una realización, la matriz de agrupaciones de procesamiento 212 está configurada para realizar operaciones de cálculo en paralelo de propósito general. Por ejemplo, la matriz de agrupaciones de procesamiento 212 puede incluir lógica para ejecutar tareas de procesamiento que incluyen el filtrado de datos de vídeo y/o audio, la realización de operaciones de modelado, incluidas operaciones de física, y la realización de transformaciones de datos.
En una realización, la matriz de agrupaciones de procesamiento 212 está configurada para realizar operaciones de procesamiento de gráficos en paralelo. En realizaciones en las que el procesador paralelo 200 está configurado para realizar operaciones de procesamiento de gráficos, la matriz de agrupaciones de procesamiento 212 puede incluir lógica adicional para soportar la ejecución de dichas operaciones de procesamiento de gráficos, incluyendo, pero no limitado a, lógica de muestreo de textura para realizar operaciones de textura, así como lógica de teselación y otra lógica de procesamiento de vértices. Adicionalmente, la matriz de agrupaciones de procesamiento 212 puede configurarse para ejecutar programas de sombreado relacionados con el procesamiento de gráficos tales como, de forma no limitativa, sombreadores de vértices, sombreadores de teselación, sombreadores de geometría y sombreadores de píxeles. La unidad de procesamiento paralelo 202 puede transferir datos desde la memoria del sistema a través de la unidad de E/S 204 para su procesamiento. Durante el procesamiento, los datos transferidos pueden almacenarse en la memoria en chip (por ejemplo, la memoria del procesador paralelo 222) durante el procesamiento, y luego escribirse nuevamente en la memoria del sistema.
En una realización, cuando la unidad de procesamiento paralelo 202 se utiliza para realizar el procesamiento de gráficos, el planificador 210 puede configurarse para dividir la carga de trabajo de procesamiento en tareas de tamaño aproximadamente igual, para permitir mejor la distribución de las operaciones de procesamiento de gráficos a múltiples agrupaciones 214A-214N de la matriz de agrupaciones de procesamiento 212. En algunas realizaciones, partes de la matriz de agrupaciones de procesamiento 212 pueden configurarse para realizar diferentes tipos de procesamiento. Por ejemplo, una primera parte puede configurarse para realizar sombreado de vértices y generación de topología, una segunda parte puede configurarse para realizar teselación y sombreado de geometría, y una tercera parte puede configurarse para realizar sombreado de píxeles u otras operaciones de espacio de pantalla, para producir una imagen renderizada para visualización. Los datos intermedios producidos por una o más de las agrupaciones 214A-214N pueden almacenarse en memorias intermedias para permitir que los datos intermedios se transmitan entre las agrupaciones 214A-214N para su posterior procesamiento.
Durante el funcionamiento, la matriz de agrupaciones de procesamiento 212 puede recibir tareas de procesamiento que se ejecutarán a través del planificador 210, que recibe comandos que definen las tareas de procesamiento desde el extremo frontal 208. Para las operaciones de procesamiento de gráficos, las tareas de procesamiento pueden incluir índices de datos a procesar, por ejemplo, datos de superficie (parche), datos de primitiva, datos de vértice y/o datos de píxeles, así como parámetros de estado y comandos que definen cómo se procesarán los datos (por ejemplo, qué programa se ejecutará). El planificador 210 puede configurarse para buscar los índices correspondientes a las tareas o puede recibir los índices desde el extremo frontal 208. El extremo frontal 208 se puede configurar para garantizar que la matriz de agrupaciones de procesamiento 212 esté configurada en un estado válido antes de que se inicie la carga de trabajo especificada por las memorias intermedias de comandos entrantes (por ejemplo, memorias intermedias de lotes, memorias intermedias de inserción, etc.).
Cada una de la una o más instancias de la unidad de procesamiento paralelo 202 puede acoplarse con la memoria del procesador paralelo 222. Se puede acceder a la memoria del procesador paralelo 222 a través de la barra transversal de memoria 216, que puede recibir solicitudes de memoria de la matriz de agrupaciones de procesamiento 212 así como de la unidad de E/S 204. La barra transversal de memoria 216 puede acceder a la memoria del procesador paralelo 222 a través de una interfaz de memoria 218. La interfaz de memoria 218 puede incluir múltiples unidades de partición (por ejemplo, unidad de partición 220A, unidad de partición 220B, hasta la unidad de partición 220N) que pueden acoplarse cada una a una parte (por ejemplo, unidad de memoria) de la memoria del procesador paralelo 222. En una implementación, el número de unidades de partición 220A-220N está configurado para ser igual al número de unidades de memoria, de modo que una primera unidad de partición 220A tiene una correspondiente primera unidad de memoria 224A, una segunda unidad de partición 220B tiene una correspondiente unidad de memoria 224B, y una n-ésima unidad de partición 220N tiene una correspondiente n-ésima unidad de memoria 224N. En otras realizaciones, el número de unidades de partición 220A-220N puede no ser igual al número de dispositivos de memoria.
En varias realizaciones, las unidades de memoria 224A-224N pueden incluir varios tipos de dispositivos de memoria, incluyendo memoria de acceso aleatorio dinámico (DRAM) o memoria de acceso aleatorio de gráficos, tales como memoria de acceso aleatorio de gráficos sincrónicos (SGRAM), incluyendo memoria de doble velocidad de datos de gráficos (GDDR). En una realización, las unidades de memoria 224A-224N también pueden incluir memoria apilada 3D, incluyendo, entre otras, memoria de alto ancho de banda (HBM). Los expertos en la materia apreciarán que la implementación específica de las unidades de memoria 224A-224N puede variar, y puede seleccionarse de uno de varios diseños convencionales. Los objetivos de renderizado, tales como las memorias intermedias de fotogramas o los mapas de textura, se pueden almacenar en las unidades de memoria 224A-224N, lo que permite que las unidades de partición 220A-220N escriban partes de cada objetivo de renderizado en paralelo para utilizar de manera eficiente el ancho de banda disponible de la memoria de procesador paralelo 222. En algunas realizaciones, se puede excluir una instancia local de la memoria de procesador paralelo 222 a favor de un diseño de memoria unificada que utiliza la memoria del sistema junto con la memoria caché local.
En una realización, cualquiera de las agrupaciones 214A-214N de la matriz de agrupaciones de procesamiento 212 puede procesar datos que se escribirán en cualquiera de las unidades de memoria 224A-224N dentro de la memoria de procesador paralelo 222. La barra transversal de memoria 216 se puede configurar para transferir la salida de cada agrupación 214A-214N a cualquier unidad de partición 220A-220N o a otra agrupación 214A-214N, que puede realizar operaciones de procesamiento adicionales en la salida. Cada agrupación 214A-214N puede comunicarse con la interfaz de memoria 218 a través de la barra transversal de memoria 216 para leer o escribir en varios dispositivos de memoria externa. En una realización, la barra transversal de memoria 216 tiene una conexión a la interfaz de memoria 218 para comunicarse con la unidad de E/S 204, así como una conexión a una instancia local de la memoria de procesador en paralelo 222, lo que permite que las unidades de procesamiento dentro de las diferentes agrupaciones de procesamiento 214A a 214N se comuniquen con la memoria de sistema u otra memoria que no sea local a la unidad de procesamiento en paralelo 202. En una realización, la barra transversal de memoria 216 puede utilizar canales virtuales para separar flujos de tráfico entre las agrupaciones 214A-214N y las unidades de partición 220A-220N.
Si bien se ilustra una única instancia de la unidad de procesamiento paralelo 202 dentro del procesador paralelo 200, se puede incluir cualquier número de instancias de la unidad de procesamiento paralelo 202. Por ejemplo, se pueden proporcionar múltiples instancias de la unidad de procesamiento paralelo 202 en una única tarjeta complementaria, o se pueden interconectar múltiples tarjetas complementarias. Las diferentes instancias de la unidad de procesamiento paralelo 202 se pueden configurar para interoperar incluso si las diferentes instancias tienen diferentes números de núcleos de procesamiento, diferentes cantidades de memoria de procesador paralelo local y/u otras diferencias de configuración. Por ejemplo y en una realización, algunas instancias de la unidad de procesamiento paralelo 202 pueden incluir unidades de punto flotante de mayor precisión en relación con otras instancias. Los sistemas que incorporan una o más instancias de la unidad de procesamiento paralelo 202 o el procesador paralelo 200 se pueden implementar en una variedad de configuraciones y factores de forma, incluyendo, de forma no limitativa, ordenadores personales de escritorio, portátiles o de mano, servidores, estaciones de trabajo, consolas de juegos y/o sistemas integrados.
La Figura 2B es un diagrama de bloques de una unidad de partición 220, de acuerdo con una realización. En una realización, la unidad de partición 220 es una instancia de una de las unidades de partición 220A-220N de la Figura 2A. Como se ilustra, la unidad de partición 220 incluye una memoria caché L2221, una interfaz de memoria intermedia de fotogramas 225 y una ROP 226 (unidad de operaciones de rasterización). La memoria caché L2, 221, es una memoria caché de lectura/escritura que está configurada para realizar operaciones de carga y de almacenamiento recibidas desde la barra transversal de memoria 216 y la ROP 226. Los fallos de lectura y las solicitudes de escritura urgentes son enviadas por la memoria caché L2221 a la interfaz de memoria intermedia de fotogramas 225 para su procesamiento. Las actualizaciones también se pueden enviar a la memoria intermedia de fotogramas a través de la interfaz de memoria intermedia de fotogramas 225 para su procesamiento. En una realización, la interfaz de memoria intermedia de fotogramas 225 interactúa con una de las unidades de memoria en la memoria del procesador paralelo, tales como las unidades de memoria 224A-224N de la Figura 2 (por ejemplo, dentro de la memoria del procesador paralelo 222).
En aplicaciones gráficas, la ROP 226 es una unidad de procesamiento que realiza operaciones de rasterización tales como estarcido, prueba z, combinación y similares. La ROP 226 luego genera datos gráficos procesados que se almacenan en la memoria gráfica. En algunas realizaciones, la ROP 226 incluye lógica de compresión para comprimir datos de profundidad o color que se escriben en la memoria y descomprimir datos de profundidad o color que se leen desde la memoria. La lógica de compresión puede ser lógica de compresión sin pérdida que hace uso de uno o más de múltiples algoritmos de compresión. El tipo de compresión que realiza la ROP 226 puede variar en función de las características estadísticas de los datos que se van a comprimir. Por ejemplo, en una realización, la compresión de color delta se realiza en datos de profundidad y color sobre una base por mosaico.
En algunas realizaciones, la ROP 226 está incluida dentro de cada agrupación de procesamiento (por ejemplo, la agrupación 214A-214N de la Figura 2) en lugar de dentro de la unidad de partición 220. En dicha realización, las solicitudes de lectura y escritura de datos de píxeles se transmiten a través de la barra transversal de memoria 216 en lugar de datos de fragmentos de píxeles. Los datos gráficos procesados pueden visualizarse en un dispositivo de visualización, tal como uno del uno o más dispositivos de visualización 110 de la Figura 1, enrutarse para su posterior procesamiento por el procesador o procesadores 102, o enrutarse para su posterior procesamiento por una de las entidades de procesamiento dentro del procesador paralelo 200 de la Figura 2A.
La Figura 2C es un diagrama de bloques de una agrupación de procesamiento 214 dentro de una unidad de procesamiento paralelo, de acuerdo con una realización. En una realización, la agrupación de procesamiento es una instancia de una de las agrupaciones de procesamiento 214A-214N de la Figura 2. La agrupación de procesamiento 214 puede configurarse para ejecutar muchos hilos en paralelo, donde el término "hilo" se refiere a una instancia de un programa particular que se ejecuta en un conjunto particular de datos de entrada. En algunas realizaciones, se utilizan técnicas de emisión de instrucciones de instrucción única, múltiples datos (SIMD) para soportar la ejecución paralela de una gran cantidad de hilos sin proporcionar múltiples unidades de instrucción independientes. En otras realizaciones, se utilizan técnicas de instrucción única, múltiples hilos (SIMT) para soportar la ejecución paralela de una gran cantidad de hilos generalmente sincronizados, utilizando una unidad de instrucción común configurada para emitir instrucciones a un conjunto de motores de procesamiento dentro de cada uno de las agrupaciones de procesamiento. A diferencia de un régimen de ejecución SIMD, donde todos los motores de procesamiento normalmente ejecutan instrucciones idénticas, la ejecución SIMT permite que diferentes hilos sigan más fácilmente rutas de ejecución divergentes a través de un programa de hilos determinado. Los expertos en la materia entenderán que un régimen de procesamiento SIMD representa un subconjunto funcional de un régimen de procesamiento SIMT.
El funcionamiento de las agrupaciones de procesamiento 214 se puede controlar a través de un administrador de canalizaciones 232 que distribuye tareas de procesamiento a procesadores paralelos SIMT. El administrador de canalizaciones 232 recibe instrucciones del planificador 210 de la figura 2 y gestiona la ejecución de esas instrucciones a través de un multiprocesador de gráficos 234 y/o una unidad de textura 236. El multiprocesador de gráficos 234 ilustrado es una instancia ejemplar de un procesador paralelo SIMT. Sin embargo, se pueden incluir varios tipos de procesadores paralelos SIMT de diferentes arquitecturas dentro de las agrupaciones de procesamiento 214. Se pueden incluir una o más instancias del multiprocesador de gráficos 234 dentro de una agrupación de procesamiento 214. El multiprocesador de gráficos 234 puede procesar datos y se puede utilizar una barra transversal de datos 240 para distribuir los datos procesados a uno de los múltiples destinos posibles, incluidas otras unidades de sombreado. El administrador de canalizaciones 232 puede facilitar la distribución de datos procesados especificando destinos para los datos procesados que se distribuirán a través de la barra transversal de datos 240.
Cada multiprocesador de gráficos 234 dentro de la agrupación de procesamiento 214 puede incluir un conjunto idéntico de lógica de ejecución funcional (por ejemplo, unidades lógicas aritméticas, unidades de carga y almacenamiento, etc.). La lógica de ejecución funcional se puede configurar de manera canalizada en la que se pueden emitir nuevas instrucciones antes de que se completen las instrucciones anteriores. La lógica de ejecución funcional admite una variedad de operaciones que incluyen aritmética de números enteros y de punto flotante, operaciones de comparación, operaciones booleanas, desplazamiento de bits y cálculo de varias funciones algebraicas. En una realización, se puede aprovechar el mismo hardware de unidad funcional para realizar diferentes operaciones y puede estar presente cualquier combinación de unidades funcionales.
Las instrucciones transmitidas al grupo de procesamiento 214 constituyen un hilo. Un conjunto de hilos que se ejecutan en el conjunto de motores de procesamiento paralelo es un grupo de hilos. Un grupo de hilos ejecuta el mismo programa en diferentes datos de entrada. Cada hilo dentro de un grupo de hilos puede asignarse a un motor de procesamiento diferente dentro de un multiprocesador de gráficos 234. Un grupo de hilos puede incluir menos hilos que el número de motores de procesamiento dentro del multiprocesador de gráficos 234. Cuando un grupo de hilos incluye menos hilos que el número de motores de procesamiento, uno o más de los motores de procesamiento pueden estar inactivos durante los ciclos en los que se procesa ese grupo de hilos. Un grupo de hilos también puede incluir más hilos que el número de motores de procesamiento dentro del multiprocesador de gráficos 234. Cuando el grupo de hilos incluye más hilos que el número de motores de procesamiento dentro del multiprocesador de gráficos 234, se puede realizar el procesamiento a través de ciclos de reloj consecutivos. En una realización, se pueden ejecutar múltiples grupos de hilos simultáneamente en un multiprocesador de gráficos 234.
En una realización, el multiprocesador de gráficos 234 incluye una memoria caché interna para realizar operaciones de carga y almacenamiento. En una realización, el multiprocesador de gráficos 234 puede prescindir de una memoria caché interna y utilizar una memoria caché (por ejemplo, la memoria caché L1 308) dentro de la agrupación de procesamiento 214. Cada multiprocesador de gráficos 234 también tiene acceso a las memorias caché L2 dentro de las unidades de partición (por ejemplo, las unidades de partición 220A-220N de la Figura 2) que se comparten entre todas las agrupaciones de procesamiento 214 y que pueden utilizarse para transferir datos entre hilos. El multiprocesador de gráficos 234 también puede acceder a la memoria global fuera del chip, que puede incluir una o más de las memorias de procesador paralelo local y/o memoria del sistema. Cualquier memoria externa a la unidad de procesamiento paralelo 202 puede utilizarse como memoria global. Las realizaciones en las que la agrupación de procesamiento 214 incluye múltiples instancias del multiprocesador de gráficos 234 pueden compartir instrucciones y datos comunes, que pueden almacenarse en la memoria caché L1 308.
Cada agrupación de procesamiento 214 puede incluir una MMU 245 (unidad de administración de memoria) que está configurada para mapear direcciones virtuales en direcciones físicas. En otras realizaciones, una o más instancias de la MMU 245 pueden residir dentro de la interfaz de memoria 218 de la Figura 2. La MMU 245 incluye un conjunto de entradas de tabla de páginas (PTE) utilizadas para mapear una dirección virtual a una dirección física de un mosaico (más información sobre el mosaico) y, opcionalmente, un índice de línea de caché. La MMU 245 puede incluir memorias intermedias de búsqueda de traducción de direcciones (TLB) o memorias caché que pueden residir dentro del multiprocesador de gráficos 234 o la memoria caché L1 o la agrupación de procesamiento 214. La dirección física se procesa para distribuir la localidad de acceso a datos de superficie para permitir un intercalado de solicitudes eficiente entre unidades de partición. El índice de línea de caché se puede utilizar para determinar si una solicitud de una línea de caché es un éxito o un fracaso.
En aplicaciones de gráficos y computación, una agrupación de procesamiento 214 se puede configurar de manera que cada multiprocesador de gráficos 234 esté acoplado a una unidad de textura 236 para realizar operaciones de mapeo de textura, por ejemplo, determinar posiciones de muestreo de textura, leer datos de textura y filtrar los datos de textura. Los datos de textura se leen desde una memoria caché L1 de textura interna (no se muestra) o en algunas realizaciones desde la memoria caché L1 dentro del multiprocesador de gráficos 234 y se obtienen de una memoria caché L2, la memoria del procesador paralelo local o la memoria del sistema, según sea necesario. Cada multiprocesador de gráficos 234 envía las tareas procesadas a la barra transversal de datos 240 para proporcionar la tarea procesada a otra agrupación de procesamiento 214 para su posterior procesamiento o para almacenar la tarea procesada en una memoria caché L2, una memoria de procesador paralelo local o una memoria del sistema a través de la barra transversal de memoria 216. Una preROP 242 (unidad de operaciones de prerasterización) está configurada para recibir datos del multiprocesador de gráficos 234, dirigir los datos a las unidades ROP, que pueden estar ubicadas con unidades de partición como se describe en este documento (por ejemplo, las unidades de partición 220A-220N de la Figura 2). La unidad preROP 242 puede realizar optimizaciones para la combinación de colores, organizar los datos de color de los píxeles y realizar traducciones de direcciones.
Se apreciará que la arquitectura central descrita en este documento es ilustrativa y que son posibles variaciones y modificaciones. Cualquier número de unidades de procesamiento, por ejemplo, multiprocesador de gráficos 234, unidades de textura 236, preROP 242, etc., pueden incluirse dentro de una agrupación de procesamiento 214. Además, aunque solo se muestra una agrupación de procesamiento 214, una unidad de procesamiento paralelo como se describe en este documento se puede incluir cualquier número de instancias de las agrupaciones de procesamiento 214. En una realización, cada agrupación de procesamiento 214 puede configurarse para funcionar de forma independiente de otras agrupaciones de procesamiento 214 utilizando unidades de procesamiento separadas y distintas, memorias caché L1, etc.
La Figura 2D muestra un multiprocesador de gráficos 234, según una realización. En dicha realización, el multiprocesador de gráficos 234 se acopla con el administrador de canalizaciones 232 de las agrupaciones de procesamiento 214. El multiprocesador de gráficos 234 tiene una canalización de ejecución que incluye, entre otros, una memoria caché de instrucciones 252, una unidad de instrucciones 254, una unidad de mapeo de direcciones 256, un archivo de registros 258, uno o más núcleos de unidad de procesamiento de gráficos de propósito general (GPGPU) 262 y una o más unidades de carga/almacenamiento 266. Los núcleos GPGPU 262 y las unidades de carga/almacenamiento 266 están acoplados con la memoria caché 272 y la memoria compartida 270 a través de una interconexión de memoria y memoria caché 268.
En una realización, la memoria caché de instrucciones 252 recibe un flujo de instrucciones para ejecutar desde el administrador de canalizaciones 232. Las instrucciones se almacenan en memoria caché en la memoria caché de instrucciones 252 y se envían para su ejecución por la unidad de instrucciones 254. La unidad de instrucciones 254 puede enviar instrucciones como grupos de hilos (por ejemplo,warps),con cada hilo del grupo de hilos asignado a una unidad de ejecución diferente dentro del núcleo GPGPU 262. Una instrucción puede acceder a cualquiera de un espacio de direcciones local, compartido o global especificando una dirección dentro de un espacio de direcciones unificado. La unidad de mapeo de direcciones 256 se puede utilizar para traducir direcciones en el espacio de direcciones unificado en una dirección de memoria distinta a la que pueden acceder las unidades de carga/almacenamiento 266.
El archivo de registros 258 proporciona un conjunto de registros para las unidades funcionales del multiprocesador de gráficos 324. El archivo de registros 258 proporciona almacenamiento temporal para operandos conectados a las rutas de datos de las unidades funcionales (por ejemplo, núcleos GPGPU 262, unidades de carga/almacenamiento 266) del multiprocesador de gráficos 324. En una realización, el archivo de registros 258 se divide entre cada una de las unidades funcionales de modo que a cada unidad funcional se le asigna una parte dedicada del archivo de registros 258. En una realización, el archivo de registros 258 se divide entre los diferenteswarpsque ejecuta el multiprocesador de gráficos 324.
Los núcleos GPGPU 262 pueden incluir cada uno unidades de punto flotante (FPU) y/o unidades de lógica aritmética de enteros (ALU) que se utilizan para ejecutar instrucciones de los gráficos multiprocesador 324. Los núcleos GPGPU 262 pueden ser similares en arquitectura o pueden diferir en arquitectura, según las realizaciones. Por ejemplo y en una realización, una primera parte de los núcleos GPGPU 262 incluye una FPU de precisión simple y una ALU de números enteros, mientras que una segunda parte de los núcleos GPGPU incluye una FPU de precisión doble. En una realización, las FPU pueden implementar el estándar IEEE 754-2008 para aritmética de punto flotante o habilitar aritmética de punto flotante de precisión variable. El multiprocesador de gráficos 324 puede incluir adicionalmente una o más unidades de función fija o de función especial para realizar funciones específicas, tales como operaciones de copia de rectángulo o fusión de píxeles. En una realización, uno o más de los núcleos GPGPU también pueden incluir lógica de función fija o especial.
En una realización, los núcleos GPGPU 262 incluyen lógica SIMD capaz de realizar una única instrucción en múltiples conjuntos de datos. En una realización, los núcleos GPGPU 262 pueden ejecutar físicamente instrucciones SIMD4, SIMD8 y SIMD16 y ejecutar lógicamente instrucciones SIMD1, SIMD2 y SIMD32. Las instrucciones SIMD para los núcleos GPGPU pueden generarse en tiempo de compilación mediante un compilador de sombreador o generarse automáticamente al ejecutar programas escritos y compilados para arquitecturas de programa único, múltiples datos (SPMD) o SIMT. Múltiples hilos de un programa configurado para el modelo de ejecución SIMT pueden ejecutarse a través de una única instrucción SIMD. Por ejemplo, y en una realización, ocho hilos SIMT que realizan operaciones iguales o similares pueden ejecutarse en paralelo a través de una única unidad lógica SIMD8.
La interconexión de memoria y memoria caché 268 es una red de interconexión que conecta cada una de las unidades funcionales del multiprocesador de gráficos 324 al archivo de registros 258 y a la memoria compartida 270. En una realización, la interconexión de memoria y memoria caché 268 es una interconexión de barra transversal que permite que la unidad de carga/almacenamiento 266 implemente operaciones de carga y almacenamiento entre la memoria compartida 270 y el archivo de registros 258. El archivo de registros 258 puede funcionar a la misma frecuencia que los núcleos GPGPU 262, por lo que la transferencia de datos entre los núcleos GPGPU 262 y el archivo de registros 258 tiene una latencia muy baja. La memoria compartida 270 se puede utilizar para permitir la comunicación entre hilos que se ejecutan en las unidades funcionales dentro del multiprocesador de gráficos 234. La memoria caché 272 se puede utilizar como memoria caché de datos, por ejemplo, para almacenar en memoria caché los datos de textura comunicados entre las unidades funcionales y la unidad de textura 236. La memoria compartida 270 también se puede utilizar como memoria caché gestionada por programas. Los hilos que se ejecutan en los núcleos GPGPU 262 pueden almacenar programáticamente datos dentro de la memoria compartida, además de los datos almacenados automáticamente en memoria caché que se almacenan dentro de la memoria caché 272.
Las Figuras 3A-3B ilustran multiprocesadores de gráficos adicionales, según las realizaciones. Los multiprocesadores de gráficos 325, 350 ilustrados son variantes del multiprocesador de gráficos 234 de la Figura 2C. Los multiprocesadores de gráficos 325, 350 ilustrados pueden configurarse como un multiprocesador de transmisión (SM) capaz de ejecutar simultáneamente un gran número de hilos de ejecución.
La Figura 3A muestra un multiprocesador de gráficos 325 de acuerdo con una realización adicional. El multiprocesador de gráficos 325 incluye múltiples instancias adicionales de unidades de recurso de ejecución relativas al multiprocesador de gráficos 234 de la Figura 2D. Por ejemplo, el multiprocesador de gráficos 325 puede incluir múltiples instancias de la unidad de instrucciones 332A-332B, archivo de registros 334A-334B y unidad(es) de textura 344A-344B. El multiprocesador de gráficos 325 también incluye múltiples conjuntos de unidades de ejecución de gráficos o de cálculo (por ejemplo, núcleo GPGPU 336A-336B, núcleo GPGPU 337A-337B, núcleo GPGPU 338A-338B) y múltiples conjuntos de unidades de carga/almacenamiento 340A-340B. En una realización, las unidades de recursos de ejecución tienen una memoria caché de instrucciones común 330, una memoria caché de texturas y/o datos 342 y una memoria compartida 346.
Los diversos componentes pueden comunicarse a través de una estructura de interconexión 327. En una realización, la estructura de interconexión 327 incluye uno o más conmutadores de barra transversal para permitir la comunicación entre los diversos componentes del multiprocesador de gráficos 325. En una realización, la estructura de interconexión 327 es una capa de estructura de red de alta velocidad independiente sobre la que se apila cada componente del multiprocesador de gráficos 325. Los componentes del multiprocesador de gráficos 325 se comunican con componentes remotos mediante la estructura de interconexión 327. Por ejemplo, los núcleos GPGPU 336A-336B, 337A-337B y 3378A-338B pueden comunicarse cada uno con la memoria compartida 346 a través de la estructura de interconexión 327. La estructura de interconexión 327 puede arbitrar la comunicación dentro del multiprocesador de gráficos 325 para asegurar una asignación justa de ancho de banda entre los componentes.
La Figura 3B muestra un multiprocesador de gráficos 350 de acuerdo con una realización adicional. El procesador de gráficos incluye múltiples conjuntos de recursos de ejecución 356A-356D, donde cada conjunto de recursos de ejecución incluye múltiples unidades de instrucciones, archivos de registros, núcleos GPGPU y unidades de almacenamiento y carga, como se ilustra en la Figura 2D y la Figura 3A. Los recursos de ejecución 356A-356D pueden trabajar en conjunto con la(s) unidad(es) de textura 360A-360D para operaciones de textura, mientras comparten una memoria caché de instrucciones 354 y una memoria compartida 362. En una realización, los recursos de ejecución 356A a 356D pueden compartir una memoria caché de instrucciones 354 y una memoria compartida 362, así como múltiples instancias de una memoria caché de textura y/o datos 358A-358B. Los diversos componentes pueden comunicarse mediante una estructura de interconexión 352 similar a la estructura de interconexión 327 de la Figura 3A.
Los expertos en la materia entenderán que la arquitectura descrita en las Figuras 1 ,2A-2D y 3A-3B son descriptivas y no limitativas en cuanto al alcance de las presentes realizaciones. Por lo tanto, las técnicas descritas en este documento pueden implementarse en cualquier unidad de procesamiento configurada adecuadamente, incluyendo, sin limitación, uno o más procesadores de aplicaciones móviles, una o más unidades de procesamiento central (CPU) de escritorio o servidor incluyendo CPU multinúcleo, una o más unidades de procesamiento paralelo, tal como la unidad de procesamiento paralelo 202 de la Figura 2, así como uno o más procesadores de gráficos o unidades de procesamiento de propósito especial, sin apartarse del alcance de las realizaciones descritas en este documento.
En algunas realizaciones, un procesador paralelo o GPGPU como se describe en este documento está acoplado comunicativamente a núcleos de anfitrión/procesador para acelerar operaciones gráficas, operaciones de aprendizaje automático, operaciones de análisis de patrones y varias funciones de GPU de propósito general (GPGPU). La GPU puede estar acoplada comunicativamente al procesador/núcleos anfitrión a través de un bus u otra interconexión (por ejemplo, una interconexión de alta velocidad tal como PCIe o NVLink). En otras realizaciones, la GPU puede estar integrada en el mismo paquete o chip que los núcleos y acoplada comunicativamente a los núcleos a través de un bus/interconexión de procesador interno (es decir, interno al paquete o chip). Independientemente de la manera en que se conecta la GPU, los núcleos del procesador pueden asignar trabajo a la GPU en forma de secuencias de comandos/instrucciones contenidas en un descriptor de trabajo. La GPU luego utiliza circuitos/lógica dedicados para procesar de manera eficiente estos comandos/instrucciones.
Técnicas para la interconexión de GPU a procesador anfitrión
La figura 4A ilustra una arquitectura ejemplar en la que una pluralidad de GPU 410-413 están acopladas comunicativamente a una pluralidad de procesadores multinúcleo 405-406 a través de enlaces de alta velocidad 440 443 (por ejemplo, buses, interconexiones punto a punto, etc.). En una realización, los enlaces de alta velocidad 440 443 admiten un rendimiento de comunicación de 4 GB/s, 30 GB/s, 80 GB/s o superior, según la implementación. Se pueden utilizar varios protocolos de interconexión, incluidos, entre otros, PCIe 4.0 o 5.0 y NVLink 2.0. Sin embargo, los principios subyacentes de la invención no se limitan a ningún protocolo de comunicación o rendimiento en particular.
Además, en una realización, dos o más de las GPU 410-413 están interconectadas a través de enlaces de alta velocidad 444-445, que pueden implementarse utilizando los mismos o diferentes protocolos/enlaces que los utilizados para los enlaces de alta velocidad 440-443. De manera similar, dos o más de los procesadores multinúcleo 405-406 pueden estar conectados a través del enlace de alta velocidad 433, que puede ser un bus multiprocesador simétrico (SMP) que funciona a 20 GB/s, 30 GB/s, 120 GB/s o más. Como alternativa, toda la comunicación entre los diversos componentes del sistema que se muestran en la Figura 4A puede llevarse a cabo utilizando los mismos protocolos/enlaces (por ejemplo, sobre una estructura de interconexión común). Sin embargo, como se mencionó, los principios subyacentes de la invención no se limitan a ningún tipo particular de tecnología de interconexión.
En una realización, cada procesador multinúcleo 405-406 está acoplado comunicativamente a una memoria de procesador 401-402, a través de interconexiones de memoria 430-431, respectivamente, y cada GPU 410-413 está acoplada comunicativamente a la memoria GPU 420-423 a través de interconexiones de memoria GPU 450-453, respectivamente. Las interconexiones de memoria 430-431 y 450-453 pueden utilizar las mismas o diferentes tecnologías de acceso a la memoria. A modo de ejemplo, y sin carácter limitativo, las memorias de procesador 401 -402 y las memorias de GPU 420-423 pueden ser memorias volátiles, tales como memorias de acceso aleatorio dinámico (DRAM) (incluidas las DRAM apiladas), memorias gráficas DDR SDRAM (GDDR) (por ejemplo, GDDR5, GDDR6) o memoria de alto ancho de banda (HBM) y/o pueden ser memorias no volátiles, tales como 3D XPoint o Nano-Ram. En una realización, una parte de las memorias puede ser memoria volátil y otra parte puede ser memoria no volátil (por ejemplo, utilizando una jerarquía de memoria de dos niveles (2LM)).
Como se describe a continuación, aunque los diversos procesadores 405-406 y las GPU 410-413 pueden estar acoplados físicamente a una memoria particular 401-402, 420-423, respectivamente, se puede implementar una arquitectura de memoria unificada en la que el mismo espacio de direcciones de sistema virtual (también denominado espacio de "direcciones efectivas") se distribuye entre todas las diversas memorias físicas. Por ejemplo, las memorias de procesador 401 -402 pueden comprender cada una 64 GB del espacio de direcciones de memoria del sistema y las memorias de GPU 420-423 pueden comprender cada una 32 GB del espacio de direcciones de memoria del sistema (lo que da como resultado un total de 256 GB de memoria direccionable en este ejemplo).
La Figura 4B ilustra detalles adicionales para una interconexión entre un procesador multinúcleo 407 y un módulo de aceleración de gráficos 446 de acuerdo con una realización. El módulo de aceleración de gráficos 446 puede incluir uno o más chips de GPU integrados en una tarjeta de línea que está acoplada al procesador 407 a través del enlace de alta velocidad 440. Alternativamente, el módulo de aceleración de gráficos 446 puede estar integrado en el mismo paquete o chip que el procesador 407.
El procesador 407 ilustrado incluye una pluralidad de núcleos 460A-460D, cada uno con una memoria intermedia de búsqueda de traducción 461A-461D y una o más memorias caché 462A-462D. Los núcleos pueden incluir varios otros componentes para ejecutar instrucciones y procesar datos que no se ilustran para evitar oscurecer los principios subyacentes de la invención (por ejemplo, unidades de extracción de instrucciones, unidades de predicción de bifurcaciones, decodificadores, unidades de ejecución, memorias intermedias de reordenamiento, etc.). Las memorias caché 462A-462D pueden comprender memorias caché de nivel 1 (L1) y nivel 2 (L2). Además, pueden incluirse una o más memorias caché compartidas 426 en la jerarquía de almacenamiento en caché y compartirse por conjuntos de los núcleos 460A-460D. Por ejemplo, una realización del procesador 407 incluye 24 núcleos, cada uno con su propia memoria caché L1, doce memorias caché L2 compartidos y doce memorias caché L3 compartidas. En esta realización, una de las memorias caché L2 y L3 son compartidas por dos núcleos adyacentes. El procesador 407 y el módulo de integración del acelerador de gráficos 446 se conectan con la memoria del sistema 441, que puede incluir las memorias del procesador 401-402. La coherencia se mantiene para los datos e instrucciones almacenados en las diversas memorias caché 462A-462D, 456 y la memoria del sistema 441 a través de la comunicación entre núcleos a través de un bus de coherencia 464. Por ejemplo, cada memoria caché puede tener lógica/circuitos de coherencia de memoria caché asociados con la misma para comunicarse a través del bus de coherencia 464 en respuesta a lecturas o escrituras detectadas en líneas de caché particulares. En una implementación, se implementa un protocolo de espionaje de caché a través del bus de coherencia 464 para espiar los accesos a la memoria caché. Las técnicas de espionaje de caché/coherencia son bien entendidas por los expertos en la materia y no se describirán en detalle aquí para evitar oscurecer los principios subyacentes de la invención.
En una realización, un circuito proxy 425 acopla comunicativamente el módulo de aceleración de gráficos 446 al bus de coherencia 464, lo que permite que el módulo de aceleración de gráficos 446 participe en el protocolo de coherencia de caché como un par de los núcleos. En particular, una interfaz 435 proporciona conectividad al circuito proxy 425 a través de un enlace de alta velocidad 440 (por ejemplo, un bus PCIe, NVLink, etc.) y una interfaz 437 conecta el módulo de aceleración de gráficos 446 al enlace 440.
En una implementación, un circuito de integración de acelerador 436 proporciona administración de memoria caché, acceso a memoria, administración de contexto y servicios de administración de interrupciones en nombre de una pluralidad de motores de procesamiento de gráficos 431, 432, N del módulo de aceleración de gráficos 446. Los motores de procesamiento de gráficos 431, 432, N pueden comprender cada uno una unidad de procesamiento de gráficos (GPU) independiente. Alternativamente, los motores de procesamiento de gráficos 431, 432, N pueden comprender diferentes tipos de motores de procesamiento de gráficos dentro de una GPU, tales como unidades de ejecución gráfica, motores de procesamiento de medios (por ejemplo, codificadores/decodificadores de vídeo), muestreadores y motores blit. En otras palabras, el módulo de aceleración de gráficos puede ser una GPU con una pluralidad de motores de procesamiento de gráficos 431-432, N o los motores de procesamiento de gráficos 431-432, N pueden ser GPU individuales integradas en un paquete, una tarjeta de línea o un chip común.
En una realización, el circuito de integración del acelerador 436 incluye una unidad de administración de memoria (MMU) 439 para realizar varias funciones de gestión de memoria, tales como traducciones de memoria virtual a física (también denominadas traducciones de memoria efectiva a real) y protocolos de acceso a memoria para acceder a la memoria del sistema 441. La MMU 439 también puede incluir una memoria intermedia de búsqueda de traducción (TLB) (no mostrada) para almacenar en memoria caché las traducciones de direcciones virtuales/efectivas a físicas/reales. En una implementación, una memoria caché 438 almacena comandos y datos para un acceso eficiente por parte de los motores de procesamiento de gráficos 431-432, N. En una realización, los datos almacenados en la memoria caché 438 y las memorias de gráficos 433-434, N se mantienen coherentes con las memorias caché centrales 462A-462D, 456 y la memoria del sistema 411. Como se mencionó, esto se puede lograr a través del circuito proxy 425 que participa en el mecanismo de coherencia de la memoria caché en nombre de la memoria caché 438 y las memorias 433-434, N (por ejemplo, enviando actualizaciones a la memoria caché 438 relacionadas con modificaciones/accesos de líneas de memoria caché en las memorias caché del procesador 462A-462D, 456 y recibiendo actualizaciones de la memoria caché 438).
Un conjunto de registros 445 almacena datos de contexto para hilos ejecutados por los motores de procesamiento de gráficos 431-432, N y un circuito de gestión de contexto 448 gestiona los contextos de hilos. Por ejemplo, el circuito de gestión de contexto 448 puede realizar operaciones de guardar y recuperar para guardar y recuperar contextos de los diversos hilos durante cambios de contexto (por ejemplo, cuando se guarda un primer hilo y se almacena un segundo hilo de modo que el segundo hilo pueda ser ejecutado por un motor de procesamiento de gráficos). Por ejemplo, en un cambio de contexto, el circuito de administración de contexto 448 puede almacenar valores de registro actuales en una región designada en la memoria (por ejemplo, identificada por un puntero de contexto). A continuación, puede recuperar los valores de registro al volver al contexto. En una realización, un circuito de administración de interrupciones 447 recibe y procesa interrupciones recibidas de dispositivos del sistema.
En una implementación, las direcciones virtuales/efectivas de un motor de procesamiento de gráficos 431 se traducen a direcciones reales/físicas en la memoria del sistema 411 por la MMU 439. Una realización del circuito de integración del acelerador 436 admite múltiples (por ejemplo, 4, 8, 16) módulos aceleradores de gráficos 446 y/u otros dispositivos aceleradores. El módulo acelerador de gráficos 446 puede estar dedicado a una única aplicación ejecutada en el procesador 407 o puede ser compartido entre múltiples aplicaciones. En una realización, se presenta un entorno de ejecución de gráficos virtualizado en el que los recursos de los motores de procesamiento de gráficos 431-432, N se comparten con múltiples aplicaciones o máquinas virtuales (VM). Los recursos pueden subdividirse en "secciones" que se asignan a diferentes VM y/o aplicaciones en función de los requisitos de procesamiento y las prioridades asociadas con las VM y/o aplicaciones.
Por lo tanto, el circuito de integración del acelerador actúa como un puente hacia el sistema para el módulo de aceleración de gráficos 446 y proporciona servicios de traducción de direcciones y memoria caché del sistema. Además, el circuito de integración del acelerador 436 puede proporcionar instalaciones de virtualización para que el procesador anfitrión gestione la virtualización de los motores de procesamiento de gráficos, las interrupciones y la administración de memoria.
Debido a que los recursos de hardware de los motores de procesamiento de gráficos 431-432, N se mapean explícitamente al espacio de direcciones reales que ve el procesador anfitrión 407, cualquier procesador anfitrión puede direccionar estos recursos directamente utilizando un valor de dirección efectivo. Una función del circuito de integración del acelerador 436, en una realización, es la separación física de los motores de procesamiento de gráficos 431-432, N de modo que aparezcan ante el sistema como unidades independientes.
Como se mencionó, en la realización ilustrada, una o más memorias gráficas 433-434, M están acopladas a cada uno de los motores de procesamiento de gráficos 431-432, N, respectivamente. Las memorias gráficas 433-434, M almacenan instrucciones y datos que son procesados por cada uno de los motores de procesamiento de gráficos 431 -432, N. Las memorias gráficas 433-434, M pueden ser memorias volátiles tales como DRAM (incluidas las DRAM apiladas), memoria GDDR (por ejemplo, GDDR5, GDDR6) o HBM, y/o pueden ser memorias no volátiles tales como 3D XPoint o Nano-Ram.
En una realización, para reducir el tráfico de datos a través del enlace 440, se utilizan técnicas de polarización para garantizar que los datos almacenados en las memorias gráficas 433-434, M sean datos que serán utilizados con mayor frecuencia por los motores de procesamiento de gráficos 431-432, N y preferentemente no utilizados por los núcleos 460A-460D (al menos no con frecuencia). De manera similar, el mecanismo de polarización intenta mantener los datos que necesitan los núcleos (y preferentemente no los motores de procesamiento de gráficos 431-432, N) dentro de las memorias caché 462A-462D, 456 de los núcleos y la memoria del sistema 411.
La figura 4C ilustra otra realización en la que el circuito de integración del acelerador 436 está integrado dentro del procesador 407. En esta realización, los motores de procesamiento de gráficos 431 -432, N se comunican directamente a través del enlace de alta velocidad 440 con el circuito de integración del acelerador 436 a través de la interfaz 437 y la interfaz 435 (que, nuevamente, pueden utilizar cualquier forma de bus o protocolo de interfaz). El circuito de integración de acelerador 436 puede realizar las mismas operaciones que las descritas con respecto a la Figura 4B, pero potencialmente con un caudal superior dada su estrecha proximidad al bus de coherencia 462 y a las memorias caché 462A-462D, 426.
Una realización admite diferentes modelos de programación que incluyen un modelo de programación de proceso dedicado (sin virtualización del módulo de aceleración de gráficos) y modelos de programación compartidos (con virtualización). Estos últimos pueden incluir modelos de programación que están controlados por el circuito de integración del acelerador 436 y modelos de programación que están controlados por el módulo de aceleración de gráficos 446.
En una realización del modelo de proceso dedicado, los motores de procesamiento de gráficos 431-432, N están dedicados a una única aplicación o proceso bajo un único sistema operativo. La única aplicación puede canalizar otras solicitudes de aplicación a los motores de gráficos 431-432, N, lo que proporciona virtualización dentro de una VM/partición.
En los modelos de programación de procesos dedicados, los motores de procesamiento de gráficos 431-432, N, pueden ser compartidos por múltiples particiones de VM/aplicación. Los modelos compartidos requieren un hipervisor de sistema para virtualizar los motores de procesamiento de gráficos 431 -432, N para permitir el acceso por parte de cada sistema operativo. Para sistemas de una sola partición sin un hipervisor, los motores de procesamiento de gráficos 431-432, N son propiedad del sistema operativo. En ambos casos, el sistema operativo puede virtualizar los motores de procesamiento de gráficos 431-432, N para proporcionar acceso a cada proceso o aplicación.
Para el modelo de programación compartido, el módulo de aceleración de gráficos 446 o un motor de procesamiento de gráficos individual 431-432, N selecciona un elemento de proceso utilizando un identificador de proceso. En una realización, los elementos de proceso se almacenan en la memoria del sistema 411 y son direccionables utilizando las técnicas de traducción de dirección efectiva a dirección real descritas en este documento. El identificador de proceso puede ser un valor específico de la implementación proporcionado al proceso anfitrión cuando se registra su contexto con el motor de procesamiento de gráficos 431-432, N (es decir, se llama al software del sistema para agregar el elemento de proceso a la lista enlazada de elementos de proceso). Los 16 bits inferiores del identificador de proceso pueden ser el desplazamiento del elemento de proceso dentro de la lista enlazada de elementos de proceso.
La Figura 4D ilustra una sección de integración de acelerador 490 ejemplar. Como se utiliza en este documento, una "sección" comprende una porción especificada de los recursos de procesamiento del circuito de integración de acelerador 436. El espacio de direcciones efectivas de la aplicación 482 dentro de la memoria del sistema 411 almacena elementos de proceso 483. En una realización, los elementos de proceso 483 se almacenan en respuesta a invocaciones de GPU 481 desde aplicaciones 480 ejecutadas en el procesador 407. Un elemento de proceso 483 contiene el estado del proceso para la aplicación correspondiente 480. Un descriptor de trabajo (WD) 484 contenido en el elemento de proceso 483 puede ser un trabajo único solicitado por una aplicación o puede contener un puntero a una cola de trabajos. En el último caso, el WD 484 es un puntero a la cola de solicitudes de trabajo en el espacio de direcciones de la aplicación 482.
El módulo de aceleración de gráficos 446 y/o los motores de procesamiento de gráficos individuales 431 -432, N pueden ser compartidos por todos o un subconjunto de los procesos en el sistema. Las realizaciones de la invención incluyen una infraestructura para configurar el estado del proceso y enviar un WD 484 a un módulo de aceleración de gráficos 446 para iniciar un trabajo en un entorno virtualizado.
En una implementación, el modelo de programación de proceso dedicado es específico de la implementación. En este modelo, un único proceso posee el módulo de aceleración de gráficos 446 o un motor de procesamiento de gráficos individual 431. Debido a que el módulo de aceleración de gráficos 446 es propiedad de un único proceso, el hipervisor inicializa el circuito de integración del acelerador 436 para la partición propietaria y el sistema operativo inicializa el circuito de integración del acelerador 436 para el proceso propietario en el momento en que se asigna el módulo de aceleración de gráficos 446.
En funcionamiento, una unidad de recuperación de WD 491 en la sección de integración del acelerador 490 recupera el siguiente WD 484 que incluye una indicación del trabajo que debe realizar uno de los motores de procesamiento de gráficos del módulo de aceleración de gráficos 446. Los datos del WD 484 pueden almacenarse en registros 445 y usarse por la MMU 439, el circuito de administración de interrupciones 447 y/o el circuito de administración de contexto 446 como se ilustra. Por ejemplo, una realización de la MMU 439 incluye un circuito de recorrido de segmentos/páginas para acceder a las tablas de segmentos/páginas 486 dentro del espacio de direcciones virtuales del SO 485. El circuito de administración de interrupciones 447 puede procesar eventos de interrupción 492 recibidos desde el módulo de aceleración de gráficos 446. Al realizar operaciones gráficas, una dirección efectiva 493 generada por un motor de procesamiento de gráficos 431-432, N se traduce a una dirección real por la MMU 439.
En una realización, el mismo conjunto de registros 445 se duplica para cada motor de procesamiento de gráficos 431 -432, N y/o módulo de aceleración de gráficos 446 y puede ser inicializado por el hipervisor o el sistema operativo. Cada uno de estos registros duplicados puede incluirse en una sección de integración del acelerador 490. En la Tabla 1 se muestran registros de ejemplo que pueden ser inicializados por el hipervisor.
T l 1 - R i r ini i liz r l hi rvi r
En la Tabla 2 se muestran registros de ejemplo que pueden ser inicializados por el sistema operativo.
^ T l 2 - R i r ini i liz r l i m r iv
En una realización, cada WD 484 es específico para un módulo de aceleración de gráficos 446 y/o motor de procesamiento de gráficos 431-432, N en particular. Contiene toda la información que un motor de procesamiento de gráficos 431-432, N requiere para hacer su trabajo o puede ser un puntero a una ubicación de memoria donde la aplicación ha configurado una cola de comandos de trabajo.
La Figura 4E ilustra detalles adicionales para una realización de un modelo compartido. Esta realización incluye un espacio de direcciones reales de hipervisor 498 en el que se almacena una lista de elementos de proceso 499. El espacio de direcciones reales de hipervisor 498 es accesible a través de un hipervisor 496 que virtualiza los motores del módulo de aceleración de gráficos para el sistema operativo 495.
Los modelos de programación compartidos permiten que todos o un subconjunto de procesos de todas o un subconjunto de particiones en el sistema utilicen un módulo de aceleración de gráficos 446. Hay dos modelos de programación en los que el módulo de aceleración de gráficos 446 es compartido por múltiples procesos y particiones: compartido por intervalos de tiempo y compartido dirigido por gráficos.
En este modelo, el hipervisor del sistema 496 posee el módulo de aceleración de gráficos 446 y pone su función a disposición de todos los sistemas operativos 495. Para que un módulo de aceleración de gráficos 446 admita la virtualización por parte del hipervisor del sistema 496, el módulo de aceleración de gráficos 446 puede cumplir los siguientes requisitos: 1) La solicitud de trabajo de una aplicación debe ser autónoma (es decir, no es necesario mantener el estado entre trabajos), o el módulo de aceleración de gráficos 446 debe proporcionar un mecanismo de guardado y recuperación de contexto. 2) El módulo de aceleración de gráficos 446 garantiza que la solicitud de trabajo de una aplicación se complete en una cantidad de tiempo especificada, incluidos los errores de traducción, o el módulo de aceleración de gráficos 446 proporciona la capacidad de adelantarse al procesamiento del trabajo. 3) Se debe garantizar la equidad entre procesos del módulo de aceleración de gráficos 446 cuando opera en el modelo de programación compartida dirigida.
En una realización, para el modelo compartido, se requiere que la aplicación 480 realice una llamada de sistema del sistema operativo 495 con un tipo de módulo de aceleración de gráficos 446, un descriptor de trabajo (WD), un valor de registro de máscara de autoridad (AMR) y un puntero de área de guardado/recuperación de contexto (CSRP). El tipo de módulo de aceleración de gráficos 446 describe la función de aceleración de destino para la llamada del sistema. El tipo de módulo de aceleración de gráficos 446 puede ser un valor específico del sistema. El WD está formateado específicamente para el módulo de aceleración de gráficos 446 y puede tener la forma de un comando del módulo de aceleración de gráficos 446, un puntero de dirección efectiva a una estructura definida por el usuario, un puntero de dirección efectiva a una cola de comandos o cualquier otra estructura de datos para describir el trabajo que debe realizar el módulo de aceleración de gráficos 446. En una realización, el valor AMR es el estado AMR que se utilizará para el proceso actual. El valor que se pasa al sistema operativo es similar a una aplicación que configura el AMR. Si las implementaciones del circuito de integración del acelerador 436 y del módulo de aceleración de gráficos 446 no admiten un Registro de anulación de máscara de autoridad de usuario (UAMOR), el sistema operativo puede aplicar el valor UAMOR actual al valor AMR antes de pasar el AMR en la llamada del hipervisor. El hipervisor 496 puede aplicar opcionalmente el valor actual del Registro de anulación de máscara de autoridad (AMOR) antes de colocar el AMR en el elemento de proceso 483. En una realización, el CSRP es uno de los registros 445 que contienen la dirección efectiva de un área en el espacio de direcciones de la aplicación 482 para que el módulo de aceleración de gráficos 446 guarde y recupere el estado del contexto. Este puntero es opcional si no se requiere guardar ningún estado entre trabajos o cuando se prioriza un trabajo. El área de guardado/recuperación del contexto puede estar anclada en la memoria del sistema.
Al recibir la llamada del sistema, el sistema operativo 495 puede verificar que la aplicación 480 se ha registrado y se le ha otorgado la autoridad para usar el módulo de aceleración de gráficos 446. El sistema operativo 495, a continuación, llama al hipervisor 496 con la información mostrada en la Tabla 3.
-
Al recibir la llamada del hipervisor, el hipervisor 496 verifica que el sistema operativo 495 se haya registrado y haya recibido la autorización para utilizar el módulo de aceleración de gráficos 446. El hipervisor 496 coloca entonces el elemento de proceso 483 en la lista enlazada de elementos de proceso para el tipo de módulo de aceleración de gráficos 446 correspondiente. El elemento de proceso puede incluir la información mostrada en la Tabla 4.
T l 4 - Inf rm i n l m n r
En una realización, el hipervisor inicializa una pluralidad de registros 445 de la sección de integración del acelerador 490.
Como se ilustra en la Figura 4F, una realización de la invención emplea una memoria unificada direccionable a través de un espacio de direcciones de memoria virtual común utilizado para acceder a las memorias de procesador físicas 401-402 y las memorias de GPU 420-423. En esta implementación, las operaciones ejecutadas en las GPU 410-413 utilizan el mismo espacio de direcciones de memoria virtual/efectiva para acceder a las memorias de procesador 401 -402 y viceversa, simplificando así la programabilidad. En una realización, una primera parte del espacio de direcciones virtuales/efectivas se asigna a la memoria de procesador 401, una segunda parte a la segunda memoria de procesador 402, una tercera parte a la memoria de GPU 420, y así sucesivamente. De este modo, todo el espacio de memoria virtual/efectiva (al que a veces se hace referencia como el espacio de direcciones efectivas) se distribuye entre cada una de las memorias de procesador 401 -402 y las memorias GPU 420-423, lo que permite que cualquier procesador o GPU acceda a cualquier memoria física con una dirección virtual mapeada a esa memoria.
En una realización, el circuito de administración de polarización/coherencia 494A-494E dentro de una o más de las MMU 439A-439E asegura la coherencia de caché entre las memorias caché de los procesadores anfitriones (por ejemplo, 405) y las GPU 410-413 e implementa técnicas de polarización que indican las memorias físicas en las que se deben almacenar ciertos tipos de datos. Aunque se ilustran múltiples instancias de la circuitería de gestión de desvío/coherencia 494A-494E en la Figura 4F, la circuitería de desvío/coherencia puede implementarse dentro de la MMU de uno o más procesadores de anfitrión 405 y/o dentro del circuito de integración de acelerador 436.
Una realización permite que la memoria conectada a la GPU 420-423 se mapee como parte de la memoria del sistema y se acceda a ella utilizando la tecnología de memoria virtual compartida (SVM), pero sin sufrir los inconvenientes de rendimiento habituales asociados con la coherencia de caché de todo el sistema. La capacidad de acceder a la memoria conectada a la GPU 420-423 como memoria del sistema sin una sobrecarga onerosa de coherencia de caché proporciona un entorno operativo beneficioso para la descarga de GPU. Esta disposición permite que el software del procesador anfitrión 405 configure operandos y acceda a los resultados de los cálculos, sin la sobrecarga de las copias de datos DMA de E/S tradicionales. Estas copias tradicionales implican llamadas de controlador, interrupciones y accesos de E/S mapeadas en memoria (MMIO), que son todos ineficientes en relación con los accesos de memoria simples. Al mismo tiempo, la capacidad de acceder a la memoria conectada a la GPU 420-423 sin sobrecargas de coherencia de caché puede ser crítica para el tiempo de ejecución de un cálculo descargado. En casos con un tráfico de memoria de escritura de transmisión sustancial, por ejemplo, la sobrecarga de coherencia de caché puede reducir significativamente el ancho de banda de escritura efectivo visto por una GPU 410-413. La eficiencia de la configuración de operandos, la eficiencia del acceso a los resultados y la eficiencia del cálculo de la GPU juegan un papel en la determinación de la efectividad de la descarga de la GPU.
En una implementación, la selección entre la polarización de la GPU y la polarización del procesador anfitrión está impulsada por una estructura de datos de seguimiento de polarización. Se puede utilizar una tabla de polarización, por ejemplo, que puede ser una estructura granular de página (es decir, controlada en la granularidad de una página de memoria) que incluye 1 o 2 bits por página de memoria conectada a la GPU. La tabla de polarización se puede implementar en un intervalo de memoria robada de una o más memorias conectadas a la GPU 420-423, con o sin una memoria caché de polarización en la GPU 410-413 (por ejemplo, para almacenar en memoria caché las entradas de la tabla de polarización utilizadas con frecuencia/recientemente). Como alternativa, la tabla de polarización completa se puede mantener dentro de la GPU.
En una implementación, se accede a la entrada de la tabla de polarización asociada con cada acceso a la memoria conectada a la GPU 420-423 antes del acceso real a la memoria de la GPU, lo que provoca las siguientes operaciones. En primer lugar, las solicitudes locales de la GPU 410-413 que encuentran su página en la polarización de la GPU se reenvían directamente a una memoria de la GPU correspondiente 420-423. Las solicitudes locales de la GPU que encuentran su página en la polarización del anfitrión se reenvían al procesador 405 (por ejemplo, a través de un enlace de alta velocidad como se explicó anteriormente). En una realización, las solicitudes del procesador 405 que encuentran la página solicitada en la polarización del procesador 405 anfitrión completan la solicitud como una lectura de memoria normal. Como alternativa, las solicitudes dirigidas a una página con polarización de GPU pueden reenviarse a la GPU 410-413. La GPU puede entonces realizar la transición de la página a una polarización del procesador anfitrión si no está utilizando actualmente la página.
El estado de polarización de una página puede modificarse mediante un mecanismo basado en software, un mecanismo basado en software asistido por hardware o, para un conjunto limitado de casos, un mecanismo basado puramente en hardware.
Un mecanismo para cambiar el estado de polarización emplea una llamada API (por ejemplo, OpenCL), que, a su vez, llama al controlador de dispositivo de la GPU que, a su vez, envía un mensaje (o pone en cola un descriptor de comando) a la GPU para indicarle que cambie el estado de polarización y, para algunas transiciones, realice una operación de vaciado de la memoria caché en el anfitrión. La operación de vaciado de memoria caché es necesaria para una transición de la polarización del procesador anfitrión 405 a la polarización de la GPU, pero no es necesaria para la transición opuesta.
En una realización, la coherencia de la memoria caché se mantiene haciendo que las páginas polarizadas a la GPU no puedan almacenarse temporalmente en memoria caché por el procesador anfitrión 405. Para acceder a estas páginas, el procesador 405 puede solicitar acceso a la GPU 410, que puede otorgar o no acceso de inmediato, según la implementación. Por lo tanto, para reducir la comunicación entre el procesador 405 y la GPU 410, es beneficioso garantizar que las páginas polarizadas a la GPU sean las que requiere la GPU, pero no el procesador anfitrión 405 y viceversa.
Canalización de procesamiento de gráficos
La Figura 5 ilustra una canalización de procesamiento de gráficos 500, según una realización. En una realización, un procesador de gráficos puede implementar la canalización de procesamiento de gráficos 500 ilustrada. El procesador de gráficos puede incluirse dentro de los subsistemas de procesamiento paralelo como se describe en este documento, tales como el procesador paralelo 200 de la Figura 2, que, en una realización, es una variante del procesador o procesadores paralelos 112 de la Figura 1. Los diversos sistemas de procesamiento paralelo pueden implementar la canalización de procesamiento de gráficos 500 a través de una o más instancias de la unidad de procesamiento paralelo (por ejemplo, la unidad de procesamiento paralelo 202 de la Figura 2) como se describe en este documento. Por ejemplo, una unidad de sombreado (por ejemplo, el multiprocesador de gráficos 234 de la Figura 3) puede configurarse para realizar las funciones de una o más de una unidad de procesamiento de vértices 504, una unidad de procesamiento de control de teselación 508, una unidad de procesamiento de evaluación de teselación 512, una unidad de procesamiento de geometría 516 y una unidad de procesamiento de fragmentos/píxeles 524. Las funciones del ensamblador de datos 502, los ensambladores de primitivas 506, 514, 518, la unidad de teselación 510, el rasterizador 522 y la unidad de operaciones de rasterización 526 también pueden ser realizadas por otros motores de procesamiento dentro de una agrupación de procesamiento (por ejemplo, la agrupación de procesamiento 214 de la Figura 3) y una unidad de partición correspondiente (por ejemplo, la unidad de partición 220A-220N de la Figura 2). La canalización de procesamiento de gráficos 500 también puede implementarse utilizando unidades de procesamiento dedicadas para una o más funciones. En una realización, una o más partes de la canalización de procesamiento de gráficos 500 pueden ser realizadas por lógica de procesamiento paralelo dentro de un procesador de propósito general (por ejemplo, CPU). En una realización, una o más partes de la canalización de procesamiento de gráficos 500 pueden acceder a la memoria en chip (por ejemplo, la memoria del procesador paralelo 222 como en la Figura 2) a través de una interfaz de memoria 528, que puede ser una instancia de la interfaz de memoria 218 de la Figura 2.
En una realización, el ensamblador de datos 502 es una unidad de procesamiento que recopila datos de vértices para superficies y primitivas. El ensamblador de datos 502 luego envía los datos de vértices, incluidos los atributos de vértice, a la unidad de procesamiento de vértices 504. La unidad de procesamiento de vértices 504 es una unidad de ejecución programable que ejecuta programas de sombreado de vértices, iluminando y transformando datos de vértices según lo especificado por los programas de sombreado de vértices. La unidad de procesamiento de vértices 504 lee datos almacenados en memoria caché, memoria local o memoria del sistema para su uso en el procesamiento de los datos de vértices y puede programarse para transformar los datos de vértices de una representación de coordenadas basada en objetos a un espacio de coordenadas del espacio mundial o un espacio de coordenadas de dispositivo normalizado.
Una primera instancia de un ensamblador primitivo 506 recibe atributos de vértice de la unidad de procesamiento de vértices 504. El ensamblador primitivo 506 lee los atributos de vértice almacenados según sea necesario y construye primitivas de gráficos para su procesamiento por la unidad de procesamiento de control de teselación 508. Las primitivas de gráficos incluyen triángulos, segmentos de línea, puntos, parches, etc., tal como lo admiten varias interfaces de programación de aplicaciones (API) de procesamiento de gráficos.
La unidad de procesamiento de control de teselación 508 trata los vértices de entrada como puntos de control para un parche geométrico. Los puntos de control se transforman de una representación de entrada del parche (por ejemplo, las bases del parche) a una representación que es adecuada para su uso en la evaluación de la superficie por la unidad de procesamiento de evaluación de teselación 512. La unidad de procesamiento de control de teselación 508 también puede calcular factores de teselación para los bordes de parches geométricos. Un factor de teselación se aplica a un solo borde y cuantifica un nivel de detalle dependiente de la vista asociado con el borde. Una unidad de teselación 510 está configurada para recibir los factores de teselación para los bordes de un parche y para teselar el parche en múltiples primitivas geométricas tales como primitivas de línea, triángulo o cuadrilátero, que se transmiten a una unidad de procesamiento de evaluación de teselación 512. La unidad de procesamiento de evaluación de teselación 512 opera sobre coordenadas parametrizadas del parche subdividido para generar una representación de la superficie y atributos de vértice para cada vértice asociado con las primitivas geométricas.
Una segunda instancia de un ensamblador primitivo 514 recibe atributos de vértice de la unidad de procesamiento de evaluación de teselación 512, lee los atributos de vértice almacenados según sea necesario y construye primitivas de gráficos para su procesamiento por la unidad de procesamiento de geometría 516. La unidad de procesamiento de geometría 516 es una unidad de ejecución programable que ejecuta programas de sombreado de geometría para transformar primitivas de gráficos recibidas del ensamblador de primitivas 514 según lo especificado por los programas de sombreado de geometría. En una realización, la unidad de procesamiento de geometría 516 está programada para subdividir las primitivas de gráficos en una o más primitivas de gráficos nuevas y calcular los parámetros utilizados para rasterizar las nuevas primitivas de gráficos.
En algunas realizaciones, la unidad de procesamiento de geometría 516 puede añadir o eliminar elementos en el flujo de geometría. La unidad de procesamiento de geometría 516 envía los parámetros y vértices que especifican las primitivas de gráficos nuevas al ensamblador de primitivas 518. El ensamblador de primitivas 518 recibe los parámetros y vértices de la unidad de procesamiento de geometría 516 y construye primitivas de gráficos para su procesamiento por una unidad de escala, selección y recorte de ventana gráfica 520. La unidad de procesamiento de geometría 516 lee datos que están almacenados en la memoria del procesador paralelo o en la memoria del sistema para su uso en el procesamiento de los datos de geometría. La unidad de escala, selección y recorte de la ventana gráfica 520 realiza el recorte, la selección y el escalado de la ventana gráfica y envía las primitivas de gráficos procesadas a un rasterizador 522.
El rasterizador 522 puede realizar la selección de profundidad y otras optimizaciones basadas en la profundidad. El rasterizador 522 también realiza la conversión de escaneo en las nuevas primitivas de gráficos para generar fragmentos y enviar esos fragmentos y los datos de cobertura asociados a la unidad de procesamiento de fragmentos/píxeles 524. La unidad de procesamiento de fragmentos/píxeles 524 es una unidad de ejecución programable que está configurada para ejecutar programas de sombreado de fragmentos o programas de sombreado de píxeles. La unidad de procesamiento de fragmentos/píxeles 524 transforma fragmentos o píxeles recibidos del rasterizador 522, según lo especificado por los programas de sombreado de fragmentos o píxeles. Por ejemplo, la unidad de procesamiento de fragmentos/píxeles 524 puede programarse para realizar operaciones que incluyen, entre otras, mapeo de texturas, sombreado, combinación, corrección de texturas y corrección de perspectiva para producir fragmentos o píxeles sombreados que se envían a una unidad de operaciones de fotogramas 526. La unidad de procesamiento de fragmentos/píxeles 524 puede leer datos que se almacenan en la memoria del procesador paralelo o en la memoria del sistema para su uso al procesar los datos de fragmentos. Los programas de sombreado de fragmentos o píxeles pueden configurarse para sombrear en granularidades de muestra, píxel, mosaico u otras dependiendo de la frecuencia de muestreo configurada para las unidades de procesamiento.
La unidad de operaciones de rasterización 526 es una unidad de procesamiento que realiza operaciones de rasterización que incluyen, entre otras, estarcido, prueba z, combinación y similares, y genera datos de píxeles como datos gráficos procesados que se almacenarán en la memoria gráfica (por ejemplo, la memoria del procesador paralelo 222 como en la Figura 2, y/o la memoria del sistema 104 como en la Figura 1), para visualizarse en el uno o más dispositivos de visualización 110 o para su posterior procesamiento por uno del uno o más procesadores 102 o procesadores paralelos 112. En algunas realizaciones, la unidad de operaciones de rasterización 526 está configurada para comprimir datos de color o z que se escriben en la memoria y descomprimir datos de color o z que se leen desde la memoria.
Conservación de energía en plataformas de cámara de 360°
Pasando ahora a la Figura 6A, se muestra una vista en planta de una plataforma de cámara 600. En el ejemplo ilustrado, la plataforma 600 incluye una pluralidad de cámaras 602 (602a-602h) colocadas alrededor del perímetro de la plataforma 600 en una disposición que permite que las cámaras 602 capturen contenido de vídeo panorámico (por ejemplo, proporcionando un campo de visión de 360°). El contenido de vídeo panorámico adquirido por la plataforma de cámara 600 puede utilizarse generalmente para proporcionar una experiencia inmersiva tal como, por ejemplo, un entorno de realidad virtual (RV), un entorno de realidad aumentada (RA), un juego multijugador, etc., a un usuario (por ejemplo, el usuario de un sistema de pantalla montada en la cabeza/HMD). Por lo tanto, la plataforma 600 puede ser móvil (por ejemplo, montada en un sistema HMD) o estacionaria (por ejemplo, montado en un trípode).
En el ejemplo ilustrado, un objeto 604 se encuentra dentro del campo de visión de solo un subconjunto de las cámaras 602. Más particularmente, las cámaras 602a-602d pueden ser capaces de capturar vídeo del objeto 604, mientras que las cámaras 602e-602h pueden ser incapaces de capturar vídeo del objeto 604. Como se explicará con mayor detalle, si se determina que solo una parte del campo de visión de 360° contiene elementos de interés, se pueden tomar varias medidas de ahorro de energía. Por ejemplo, si no hay nada de interés para capturar con las cámaras 602e-602h, las cámaras 602e-602h pueden colocarse en un modo de bajo consumo reduciendo la velocidad de fotogramas de las cámaras 602e-602h, reduciendo la resolución de las cámaras 602e-602h, reduciendo la frecuencia de muestreo de audio de los micrófonos correspondientes a las cámaras 602e-602h, desactivando (por ejemplo, apagando) las cámaras 602e-602h, etc. Por el contrario, si se determina que el objeto 604 es "interesante", las cámaras 602a-602d pueden funcionar en un modo de consumo normal (por ejemplo, frecuencia de fotogramas, resolución, frecuencia de muestreo de audio, etc. normales).
Desactivar las cámaras 602e-602h puede reducir el campo de visión de las cámaras 602 de 360° a 180°. En este sentido, codificar un campo de visión esférico inferior a 360° reduce el área visible capturada, lo que puede provocar una reducción del tamaño de los fotogramas de vídeo o del número de píxeles a codificar. Esta reducción puede dar como resultado un tamaño de vídeo codificado más pequeño que se guardará en el almacenamiento o se transmitirá a través de una red.
La reducción del área se puede manejar de varias maneras, incluidas, entre otras, la restricción de las áreas visibles para el usuario final al no permitir la panorámica o el movimiento de la ventana gráfica hacia las áreas no disponibles, rellenar el área o áreas no disponibles con un fotograma estático o un vídeo de velocidad de fotogramas reducida capturado de las áreas, rellenar el área o áreas no disponibles con contenido virtual o generado por ordenador, etc.
Además, es posible que varias experiencias de usuario final no impliquen una vista completa de 360°. En tal caso, se pueden capturar áreas de interés para cumplir con los requisitos de experiencias que incluyen, entre otras, contenido de vídeo de relación 16:9 u otra relación estándar popular para dispositivos móviles, ordenadores y televisores, contenido de 180° donde el usuario puede mirar alrededor pero solo ver la escena al frente o a los lados, contenido cilíndrico de 360° donde el piso y/o el techo/cielo no se capturan o no son visibles, captura de contenido que coincide con el campo de visión del dispositivo del usuario final, tal como el FOV (campo de visión) para una pantalla montada en la cabeza, captura de contenido que coincide con el campo de visión habitual o promedio de los ojos humanos, etc.
Los cambios en las ubicaciones espaciales o temporales de las áreas de interés se pueden manejar de varias maneras, incluyendo, entre otras, la panorámica y/o la ampliación del vídeo capturado para mantener los objetos de interés en movimiento en el fotograma, la panorámica y/o la ampliación del vídeo capturado para cambiar entre un área y un momento de interés y otro, que puede incluir o no fotogramas que no se eligieron originalmente como interesantes, y la adición de transiciones para cambios discretos en las áreas espaciales o temporales de interés entre secuencias capturadas de fotogramas (por ejemplo, fundidos de entrada y salida o cambios de escena).
La solución ilustrada puede proporcionar otras ventajas, además, de un consumo de energía reducido y una vida útil prolongada de la batería. Por ejemplo, la plataforma 600 puede tener limitaciones físicas, tales como un factor de forma relativamente pequeño que puede generar limitaciones térmicas. En tal caso, la solución ilustrada puede mitigar las limitaciones térmicas controlando selectivamente las cámaras 602 como se muestra. De hecho, también se pueden lograr otros ahorros potenciales, tales como espacio en disco y ancho de banda de red. En otro ejemplo más, la salida de la plataforma 600 puede incluir un resumen de vídeo conciso y sobre la marcha (por ejemplo, en lugar de una gran cantidad de contenido poco interesante). Como resultado, la salida de la plataforma 600 puede ser más fácil de consumir para el usuario final.
La Figura 6B muestra una pluralidad de fotogramas 610 (610a-610e) que pueden ser capturados por una plataforma de cámara como, por ejemplo, la plataforma 600 (Figura 6A). En el ejemplo ilustrado, un primer fotograma 610a, un segundo fotograma 610b, un tercer fotograma 610c, un cuarto fotograma 610d y un quinto fotograma 610e se unen para proporcionar un campo de visión panorámico, en el que solo el cuarto fotograma 610d contiene contenido de interés (por ejemplo, una fiesta de cumpleaños). En un ejemplo de este tipo, las cámaras correspondientes a los fotogramas restantes 610a, 610b, 610c y 610e pueden ajustarse automáticamente para ahorrar energía de la cámara, así como energía de procesamiento.
La Figura 6C muestra una arquitectura de captura de imágenes 620 que incluye una pluralidad de sensores 622 (622a-622d) y un controlador de energía basado en el "interés" 624. La arquitectura 620 puede usarse en dispositivos móviles (por ejemplo, teléfonos inteligentes, tabletas, tabléfonos) mientras se graban vídeos largos o durante videochats largos, en ordenadores portátiles y ordenadores de escritorio mientras se capturan vídeos durante sesiones de videoconferencia largas, en cámaras de acción mientras se capturan eventos deportivos, conciertos, etc., en cámaras corporales para registro de vida y/o aplicación de la ley, en cámaras de vigilancia "siempre activas" y/o cámaras de monitorización del hogar, etc. En general, se puede usar un enfoque multimodal para determinar automáticamente el interés de una escena.
Más particularmente, el controlador 624 puede realizar una extracción de características de vídeo semánticas en el contenido de vídeo obtenido por una plataforma de cámara 622a (por ejemplo, que incluye una pluralidad de cámaras dispuestas para proporcionar un campo de visión de 360°). Por ejemplo, se pueden detectar categorías de objetos tales como, por ejemplo, agua, cielo, césped, mascotas, niños, rostros humanos, etc., utilizando modelos de clasificación entrenados previamente. Un modelo de clasificación puede incluir un banco de objetos, en el que una imagen (por ejemplo, una imagen fija, un fotograma de vídeo) se representa como una colección de mapas de respuesta invariantes de escala de una gran cantidad de detectores de objetos genéricos entrenados previamente. En otro ejemplo, el modelo de clasificación incluye Clasemas, en el que una nueva categoría se presenta como un conjunto de imágenes de entrenamiento, y un clasificador aprendido a partir de estas nuevas imágenes se ejecuta de manera eficiente contra una base de datos grande. También se pueden utilizar otros modelos de clasificación previamente entrenados.
Además, el controlador 624 puede realizar una detección de eventos acústicos semánticos en el contenido de audio obtenido por uno o más micrófonos 622b (por ejemplo, un micrófono direccional). Por ejemplo, se puede extraer información semántica de eventos acústicos predeterminados, tales como ovaciones de la multitud, aplausos, llantos de bebés, etc. Se pueden utilizar modelos de clasificación que estén previamente entrenados en un conjunto de modelos acústicos. En un ejemplo, un modelo de clasificación de este tipo segmenta entre las transmisiones desde el estudio y desde el campo de juego.
El controlador 624 ilustrado también utiliza uno o más sensores de movimiento 622c (por ejemplo, acelerómetros, giroscopios u otra unidad de medición de inercia/IMU) para realizar la detección de movimiento físico con respecto a la plataforma de cámara 622a. En consecuencia, el movimiento detectado puede añadir características de alto nivel, tal como si la plataforma de cámara 622a está estacionaria o en movimiento, la orientación de la plataforma de cámara 622a, la periodicidad del movimiento de la plataforma de cámara 622a, las actividades físicas del usuario (por ejemplo, en aplicaciones portátiles), etc.
Los sensores 622 también pueden incluir uno o más sensores fisiológicos 622d que facilitan la determinación del interés. Los sensores fisiológicos 622ad pueden indicar generalmente los diversos estados fisiológicos del usuario, tales como la frecuencia cardíaca. Por ejemplo, si el monitor de frecuencia cardíaca de un reloj inteligente que lleva el usuario indica que la frecuencia cardíaca del usuario es más alta de lo normal, se puede inferir que el usuario está excitado debido a algo en la escena que se está capturando.
Como ya se ha señalado, cada cámara del equipo 622a puede funcionar en dos estados: estado de baja potencia de la cámara (LIPS) y estado de capacidad completa de la cámara (FICS). En el estado de bajo consumo de energía del generador de imágenes, la cámara funciona a una resolución y una velocidad de fotogramas relativamente bajas para el vídeo, y a una baja velocidad de muestreo para el audio y otros sensores. En el estado de capacidad total del generador de imágenes, la cámara funciona a una resolución y una velocidad de fotogramas más altas y el audio a una velocidad de muestreo más alta.
Cuando se enciende cada cámara, puede colocarse inicialmente en el estado LIPS. Durante este tiempo, el controlador ilustrado 624 analiza las entradas de varios modos para determinar una puntuación de interés de cada fotograma que captura la cámara. Para cada cámara que tenga una puntuación de interés que sea mayor que un valor umbral predeterminado, el controlador 624 puede hacer funcionar la cámara en el estado FICS. Mientras tanto, el controlador 624 puede seguir realizando análisis para determinar si las puntuaciones de interés de la escena están por encima del umbral. Si la puntuación cae por debajo del umbral para una cámara determinada, el controlador 624 vuelve a colocar la cámara en el estado FICS.
En la realización según la invención reivindicada, las puntuaciones de interés se derivan como una combinación de las salidas de todos los modos en los que se evalúa una escena. La estimación de la puntuación se puede realizar utilizando cualquier algoritmo de clasificación. La puntuación se estima contando el número total de factores de interés presentes en la escena en cuestión. Por ejemplo, si el extractor de características semánticas de vídeo es capaz de extraer un máximo de veinte características y el detector de eventos acústicos es capaz de detectar hasta quince eventos, entonces la puntuación máxima de interés podría ser 20 15 = 35. Al analizar la escena, si el modo de vídeo detecta cuatro características y el modo de audio detecta dos características, entonces la puntuación neta de la escena en cuestión sería 4 2 = 6. Por lo tanto, si 6/35 es mayor que el umbral predeterminado, la escena puede clasificarse como interesante.
La Figura 6D muestra un procedimiento 640 para controlar una pluralidad de cámaras. En un ejemplo, el procedimiento 640 se lleva a cabo mediante un controlador de potencia tal como, por ejemplo, el controlador de potencia basado en el interés 624 (Figura 6C), ya analizado. En particular, el procedimiento 640 puede implementarse como uno o más módulos en un conjunto de instrucciones lógicas almacenadas en un medio de almacenamiento no transitorio legible por máquina u ordenador tal como memoria de acceso aleatorio (RAM), memoria de solo lectura (ROM), ROM programable (PROM), firmware, memoria flash, etc., en lógica configurable tal como, por ejemplo, matrices lógicas programables (PLA), matrices de puertas programables en campo (FPGA), dispositivos lógicos programables complejos (CPLD), en lógica de hardware de funcionalidad fija que utiliza tecnología de circuito tal como, por ejemplo, tecnología de circuito integrado de aplicación específica (ASIC), de semiconductor complementario de óxido metálico (CMOS) o de lógica transistor-transistor (TTL), o cualquier combinación de las mismas.
Por ejemplo, el código de programa de ordenador para llevar a cabo las operaciones mostradas en el procedimiento 640 puede estar escrito en cualquier combinación de uno o más lenguajes de programación, incluyendo un lenguaje de programación orientado a objetos tal como JAVA, SMALLTALK, C++ o similar y lenguajes de programación procedimentales convencionales, tales como el lenguaje de programación "C" o lenguajes de programación similares. Adicionalmente, las instrucciones lógicas pueden incluir instrucciones de ensamblador, instrucciones de arquitectura de conjunto de instrucciones (ISA), instrucciones de máquina, instrucciones dependientes de la máquina, microcódigo, datos de configuración de estado, datos de configuración para circuitos integrados, información de estado que personaliza circuitería electrónica y/u otros componentes estructurales que son nativos del hardware (por ejemplo, procesador de anfitrión, unidad central de procesamiento/CPU, microcontrolador, etc.).
El bloque de procesamiento 642 ilustrado determina, por cámara, un nivel de interés (por ejemplo, "interés") con respecto al contenido de vídeo panorámico capturado por una pluralidad de cámaras. El nivel de interés puede determinarse en base a, por ejemplo, una señal de un micrófono direccional, una señal de un sensor fisiológico, una señal de un sensor de movimiento, una extracción de características semánticas, etc., o cualquier combinación de los mismos. El bloque 644 puede identificar un subconjunto de cámaras en la pluralidad de cámaras para las cuales el nivel de interés está por debajo de un umbral. El consumo de energía en el subconjunto de cámaras puede reducirse en el bloque 646. El bloque 646 puede incluir la reducción de la velocidad de fotogramas del subconjunto de cámaras, la reducción de la resolución del subconjunto de cámaras, la reducción de la frecuencia de muestreo de audio de uno o más micrófonos correspondientes al subconjunto de cámaras, la desactivación (por ejemplo, el apagado) del subconjunto de cámaras, etc. En un ejemplo, la desactivación del subconjunto de cámaras reduce el campo de visión activo de la pluralidad de cámaras de 360° a un campo de visión más pequeño, tal como 180°. El bloque 646 también puede incluir la reducción del consumo de energía en uno o más procesadores en virtud de la omisión de la transmisión, unión y/o codificación de fotogramas correspondientes al subconjunto de cámaras. Además, el bloque 646 puede incluir otras operaciones, tales como la generación de un resumen sobre la marcha del contenido de vídeo en función de los resultados del análisis del nivel de interés (por ejemplo, "fiesta de cumpleaños", "partido de fútbol", etc.). Además de reducir el consumo de energía, el procedimiento 640 puede dar como resultado una reducción en la generación de calor, el uso de espacio en disco y/o el uso de ancho de banda de red.
Codificación con reconocimiento de formato de proyección
Como ya se ha indicado, el contenido de vídeo panorámico se puede utilizar para proporcionar una experiencia inmersiva, tal como, por ejemplo, un entorno de realidad virtual VR, un entorno de realidad aumentada AR, un juego multijugador, etc., a un usuario (por ejemplo, un usuario de un sistema HMD). Debido a la naturaleza expansiva del contenido de vídeo panorámico, se puede definir un formato de proyección para especificar cómo el campo de visión tridimensional (3D) de 360° se mapea a un modelo bidimensional (2D) para la codificación.
Pasando ahora a la Figura 7A, se muestra un ejemplo de un formato de proyección en el que un mapa de cubo 700 (700a-700f) contiene una cara izquierda 700a, una cara frontal 700b, una cara derecha 700c, una cara posterior 700d, una cara superior 700e y una cara inferior 700f. Las caras ilustradas del mapa cúbico 700 se empaquetan/organizan en un fotograma 704 en un orden que es diferente del orden del mapa cúbico 700. En consecuencia, pueden existir límites discontinuos entre las caras del mapa cúbico 700 una vez que las caras se empaquetan en el fotograma 704. Por ejemplo, un objeto 702 en la escena que se superpone a una unión 706 entre la cara izquierda 700a y la cara frontal 700b puede dividirse en diferentes áreas del fotograma 704. Por lo tanto, el límite entre la cara inferior 700f y la cara frontal 700b en el fotograma 704 puede considerarse discontinuo en la medida en que el contenido en los dos lados del límite sea diferente debido a la reordenación de las caras del mapa cúbico 700. De manera similar, el límite entre la cara izquierda 700a y la cara superior 700e también puede considerarse discontinuo por la misma razón.
Como se explicará con mayor detalle, el conocimiento de los límites discontinuos en el mapa cúbico 700 (por ejemplo, el formato de proyección) puede aprovecharse para lograr una codificación más eficiente del fotograma 704. Por ejemplo, si los valores de los parámetros de cuantificación para QP1 y QP2 son significativamente diferentes (lo que puede suceder en un codificador normal ya que las áreas parecen estar muy separadas en este formato), entonces cuando se muestra el objeto 702, puede verse un artefacto notable (por ejemplo, una "costura") en el medio del objeto 702 (por ejemplo, un lado puede ser significativamente más "bloqueado" que el otro). La solución ilustrada limita la diferencia entre QP1 y QP2 alineando los límites de partición de los bloques de codificación 708 (por ejemplo, unidad de codificación/CU, unidad de predicción/PU, unidad de transformación/TU) con los límites discontinuos.
Además, el esquema de codificación puede modificarse automáticamente para garantizar que las búsquedas de movimiento, la predicción intra y/o la variación del parámetro de cuantificación (QP) a través de los límites discontinuos se reduzcan y/o eliminen. Por ejemplo, la predicción intra realizada entre, por ejemplo, la región en la cara inferior 700f asociada con un bloque de codificación 708 y la región en la cara frontal 700b asociada con otro bloque de codificación 708, puede ser ineficiente ya que, aunque hay píxeles vecinos en esta disposición, no son píxeles vecinos en la escena capturada. En consecuencia, alinear los límites de partición de los bloques de codificación 708 con los límites discontinuos puede hacer que la codificación sea más sencilla y/o más eficiente. Además, la estimación de movimiento entre las dos regiones (en fotogramas temporalmente diferentes) puede ser ineficiente ya que los objetos no se moverían naturalmente entre las regiones.
En otro ejemplo más, la asignación de bits a la distorsión puede aumentarse en los límites discontinuos. En este sentido, la optimización de la tasa de distorsión puede expresarse de la siguiente manera.
D-Á.R
Donde D es la distorsión y R es la tasa de bits. Por lo tanto, asignar más bits a la distorsión puede implicar reducir A en los límites discontinuos en el fotograma 704.
La Figura 7B muestra un procedimiento 720 para adaptar un esquema de codificación a un formato de proyección. El procedimiento 720 puede implementarse como uno o más módulos en un conjunto de instrucciones lógicas almacenadas en un medio de almacenamiento no transitorio legible por máquina u ordenador, tal como RAM, ROM, PROM, firmware, memoria flash, etc., en lógica configurable, tal como por ejemplo PLA, FPGA, CPLD, en lógica de hardware de funcionalidad fija que utiliza tecnología de circuitos, tal como por ejemplo ASIC, CMOS o tecnología TTL, o cualquier combinación de las mismas.
El bloque de procesamiento ilustrado 722 puede proporcionar la determinación de un formato de proyección asociado con contenido de vídeo panorámico, en el que uno o más límites discontinuos pueden identificarse en el formato de proyección en el bloque 724. En un ejemplo, el formato de proyección es un mapa cúbico que incluye una pluralidad de caras y el uno o más límites discontinuos son uniones entre la pluralidad de caras. El bloque 726 puede modificar un esquema de codificación asociado con el contenido de vídeo panorámico en función del límite o límites discontinuos. Como ya se ha indicado, el bloque 726 puede incluir la alineación de los límites de partición del bloque de codificación con el límite o límites discontinuos, la reducción de las búsquedas de movimiento a lo largo del límite o límites discontinuos, la reducción de la predicción intra a lo largo del límite o límites discontinuos, la reducción de la variación de QP a lo largo del límite o límites discontinuos, el aumento de una asignación de bits a la distorsión en el límite o límites discontinuos, etc., o cualquier combinación de los mismos.
La Figura 7C muestra un procedimiento 740 más detallado para adaptar un esquema de codificación a un formato de proyección. El procedimiento 740 puede implementarse como uno o más módulos en un conjunto de instrucciones lógicas almacenadas en un medio de almacenamiento no transitorio legible por máquina u ordenador, tal como RAM, ROM, PROM, firmware, memoria flash, etc., en lógica configurable, tal como por ejemplo PLA, FPGA, CPLD, en lógica de hardware de funcionalidad fija que utiliza tecnología de circuitos, tal como por ejemplo ASIC, CMOS o tecnología TTL, o cualquier combinación de las mismas.
El bloque de procesamiento 742 lustrado alinea los límites de partición con los límites discontinuos asociados con el formato de proyección, en el que la estimación de movimiento se puede realizar en el bloque 744 sin cruzar los límites discontinuos. En un ejemplo, los bloques 742 y 744 se realizan simultáneamente. El bloque 746 puede realizar compensación de movimiento. Además, los límites de partición TU se pueden alinear con los límites discontinuos en el bloque 748 y el bloque ilustrado 750 realiza transformaciones. El bloque ilustrado 752 selecciona un QP de modo que se minimice/reduzca la variación a lo largo de los límites discontinuos.
Escalabilidad temporal con deformación espacial asincrónica
La Figura 8A muestra un escenario de deformación espacial asincrónica en el que se renderiza una región de memoria intermedia 800 alrededor de una vista actual 802. La región de memoria intermedia 800 se puede utilizar para cambiar asincrónicamente las escenas renderizadas para que coincidan con la posición actual de la cabeza del usuario (por ejemplo, en un entorno de realidad virtual). Por lo tanto, la vista actual 802 se puede codificar como un fotograma, mientras que un fotograma de deformación espacial asincrónica 804 se puede renderizar/generar a partir de la región de memoria intermedia 800 y la vista actual 802 en respuesta al movimiento de la cabeza por parte del usuario.
Pasando ahora a la Figura 8B, se muestra un esquema de escalabilidad temporal 820 en el que una primera capa 822 es una capa de máxima prioridad, una segunda capa 824 tiene una prioridad menor que la primera capa 822, una tercera capa 826 tiene una prioridad menor que la segunda capa 824, y así sucesivamente. La prioridad puede ser en términos de retransmisión de fotogramas (por ejemplo, en respuesta a pérdidas de fotogramas, errores, etc.) y asignación de bits. Por lo tanto, los fotogramas asignados a la primera capa 822 pueden tener una mayor probabilidad de ser retransmitidos (es decir, una menor probabilidad de perderse) que los fotogramas asignados a la segunda capa 824 y la tercera capa 826. Los fotogramas asignados a la primera capa 822 también pueden codificarse con más bits (por ejemplo, menos compresión) que los fotogramas asignados a la segunda capa 824 y la tercera capa 826.
En el ejemplo ilustrado, un primer fotograma (fotograma 0) se codifica como un fotograma intracodificado (fotograma I) para el cual las predicciones de movimiento están restringidas dentro del fotograma (es decir, las predicciones no hacen referencia a otros fotogramas). El primer fotograma se asigna a la primera capa 822 del esquema de escalabilidad temporal 820. En el ejemplo ilustrado, un segundo fotograma (fotograma 1) puede codificarse como un fotograma codificado de interpredicción (fotograma P) que hace referencia al primer fotograma, en el que el segundo fotograma se asigna a la tercera capa 826. Un tercer fotograma (fotograma 2) puede codificarse como un fotograma P que también hace referencia al primer fotograma. El tercer fotograma se asigna a la segunda capa 824, en el ejemplo ilustrado. Un cuarto fotograma (fotograma 3) puede codificarse como un fotograma P que hace referencia al tercer fotograma y se asigna a la tercera capa 826. Como se explicará con mayor detalle, los fotogramas codificados, tales como un fotograma codificado a partir de la vista actual 802 (Figura 8A), pueden asignarse a la primera capa 822, mientras que los fotogramas de deformación espacial asincrónica, tal como el fotograma de deformación espacial asincrónica 804 (Figura 8A), pueden asignarse a capas de menor prioridad, tales como, por ejemplo, la segunda capa 824 y/o la tercera capa 826.
La Figura 8C muestra una arquitectura informática 840 que utiliza deformación espacial asincrónica. En el ejemplo ilustrado, un sistema informático 842 (por ejemplo, servidor, ordenador de sobremesa, ordenador portátil, ordenador tableta, tableta convertible, teléfono inteligente, consola de juegos, asistente digital personal/PDA, dispositivo de Internet móvil/MID, dispositivo portátil, reproductor multimedia, etc.) incluye un renderizador 844 que envía fotogramas renderizados (por ejemplo, incluidas las regiones de memoria intermedia) a un controlador de deformación espacial asíncrona (ASW) 846 que genera fotogramas ASW en función de los fotogramas renderizados. Un codificador 848 puede codificar fotogramas que representan la vista actual y asignar los fotogramas codificados a una capa de alta prioridad del esquema de escalabilidad temporal. El codificador 848 también puede asignar los fotogramas ASW a capas de prioridad relativamente baja del esquema de escalabilidad temporal. El sistema informático ilustrado 842 transmite los fotogramas codificados y los fotogramas ASW a través de un enlace inalámbrico a un HMD 850. Las transmisiones inalámbricas pueden indicar los niveles de escalabilidad temporal asignados de los fotogramas respectivos. El HMD 850 puede incluir un decodificador 852 para decodificar los fotogramas recibidos, en donde un generador de vistas 854 puede presentar visualmente los fotogramas decodificados en una pantalla de visualización.
La Figura 8D muestra un procedimiento 860 para entregar contenido ASW. El procedimiento 860 puede implementarse generalmente en un sistema informático tal como, por ejemplo, el sistema informático 842 (Figura 8C), ya analizado. De manera más particular, el procedimiento 860 se puede implementar como uno o más módulos en un conjunto de instrucciones lógicas almacenadas en un medio de almacenamiento no transitorio legible por máquina u ordenador tal como RAM, ROM, PROM, firmware, memoria flash, etc., en lógica configurable tal como, por ejemplo, PLA, FPGA, CPLD, en lógica de hardware de funcionalidad fija que utiliza tecnología de circuito tal como, por ejemplo, tecnología ASIC, CMOS o TTL, o cualquier combinación de las mismas.
El bloque de procesamiento 862 ilustrado asigna un fotograma codificado a una primera capa de escalabilidad temporal, en donde un fotograma de deformación espacial asíncrono puede asignarse a una segunda capa de escalabilidad temporal en el bloque 864. La primera capa de escalabilidad temporal puede tener una prioridad más alta que la segunda capa de escalabilidad temporal. En un ejemplo, el bloque 864 incluye la asignación de más bits al fotograma codificado que al fotograma de deformación espacial asíncrono. El bloque 866 puede transmitir el fotograma codificado y el fotograma de deformación espacial asíncrono a través de un enlace inalámbrico.
Codificación de contenido de ojo de pez
Las lentes de ojo de pez son lentes de ángulo ultraamplio que producen una fuerte distorsión visual destinada a crear una imagen panorámica o hemisférica amplia. Como se explicará con mayor detalle, se pueden aplicar técnicas de codificación mejoradas al contenido de vídeo capturado a través de una lente de ojo de pez para lograr una mayor eficiencia y/o rendimiento.
La Figura 9A muestra un fotograma 900 que contiene contenido de ojo de pez. En el ejemplo ilustrado, la lente de ángulo amplio permite que se vean ambos extremos de un puente (por ejemplo, en un campo de visión de 180°) sin girar la cámara. El fotograma 900 ilustrado contiene una región activa 902 (por ejemplo, un "círculo" de ojo de pez) que incluye un paisaje y una región inactiva 904 que no incluye un paisaje (por ejemplo, un área fuera del círculo de ojo de pez). El preprocesamiento del fotograma 900 para mejorar la eficiencia de codificación de la tasa de bits y reducir la complejidad de codificación del límite entre la región activa 902 y la región inactiva 904 puede proporcionar ventajas de rendimiento significativas en términos de sobrecarga de cálculo, consumo de energía, latencia, etc.
Pasando ahora a la Figura 9B, se muestra un fotograma 920 que tiene una región activa 922 y una región inactiva 923. En el ejemplo ilustrado, un bloque de codificación 924 abarca un límite 926 entre la región activa 922 y la región inactiva 923. La complejidad de codificación del límite 926 se puede reducir utilizando una etapa de preprocesamiento del codificador para, por ejemplo, reflejar los datos de píxeles de la región activa 922 en la región inactiva 923 como se ilustra en un bloque de codificación reflejado 925, replicar los datos de píxeles en la región inactiva 923 como se ilustra en un bloque de codificación replicado 927, y así sucesivamente. Debido a que los datos de píxeles en ambos lados del límite 926 son similares en el bloque de codificación reflejado 925, el codificador ya no se enfrenta a una discontinuidad que de otro modo podría aumentar la complejidad y/o el consumo de energía. Además, la replicación de píxeles en el bloque de codificación replicado 927 puede implicar simplemente copiar el valor del píxel más cercano al borde de la región activa 922 en la región inactiva 923. Es de particular interés que la solución ilustrada no tiene impacto en la calidad de la imagen porque la región inactiva 923 no contiene contenido útil, ya que no se espera que los píxeles en la región inactiva 923 se muestren cuando se ve el contenido.
Los metadatos se pueden utilizar con la duplicación, con la replicación de píxeles o en lugar de cualquiera de los dos. Los ejemplos de cómo se podrían utilizar los metadatos incluyen, entre otros, la configuración de un codificador para ignorar las regiones reflejadas/replicadas o codificarlas como inalteradas temporal y espacialmente con un fotograma de referencia, la configuración de una aplicación de decodificación y renderización para señalar que la región no debe decodificarse y/o renderizarse, etc.
La Figura 9C muestra una arquitectura informática 940 que utiliza una etapa de preprocesamiento 942 para simplificar los fotogramas que contienen contenido de ojo de pez. Los fotogramas simplificados se pasan a un codificador 944 que funciona de manera más eficiente (por ejemplo, eficiencia de codificación de tasa de bits mejorada) porque los píxeles en la región inactiva y la región activa tienen un color similar. Los datos codificados se pueden almacenar en la memoria (no se muestra) y/o transmitir de forma inalámbrica a un decodificador 946, que decodifica los datos recibidos. El decodificador 946 puede utilizar metadatos que especifican el tamaño del contenido de ojo de pez para determinar la región activa, en donde los metadatos pueden pasarse con los fotogramas codificados o a través de un canal diferente. Adicionalmente, un generador de vistas 948 puede presentar visualmente los fotogramas decodificados en una pantalla de visualización. El generador de vistas 948 puede deformar y/o estirar el contenido de ojo de pez hasta un formato adecuado para su presentación en una pantalla. Por lo tanto, la solución ilustrada permite que el codificador 944 funcione de manera más eficiente sin realizar ninguna modificación en el codificador 944 o el decodificador 946.
La Figura 9D muestra un procedimiento 960 de codificación de fotogramas que contienen contenido de ojo de pez. El procedimiento 960 puede implementarse generalmente en una etapa de preprocesamiento tal como, por ejemplo, la etapa de preprocesamiento 942 (Figura 9C), ya analizada. De manera más particular, el procedimiento 960 se puede implementar como uno o más módulos en un conjunto de instrucciones lógicas almacenadas en un medio de almacenamiento no transitorio legible por máquina u ordenador tal como RAM, ROM, PROM, firmware, memoria flash, etc., en lógica configurable tal como, por ejemplo, PLA, FPGA, CPLD, en lógica de hardware de funcionalidad fija que utiliza tecnología de circuito tal como, por ejemplo, tecnología ASIC, CMOS o TTL, o cualquier combinación de las mismas.
El bloque de procesamiento 962 ilustrado permite detectar contenido de ojo de pez en uno o más fotogramas de contenido de vídeo. El contenido de ojo de pez se puede detectar en función de los metadatos asociados con los fotogramas. Los metadatos pueden identificar los fotogramas como fotogramas de ojo de pez y especificar el tamaño (por ejemplo, las dimensiones) del contenido de ojo de pez. El bloque 964 puede identificar una región activa y una región inactiva en el contenido de ojo de pez. Además, la tasa de bits (por ejemplo, mejorar la eficiencia de codificación) y/o la complejidad de codificación de un límite entre la región activa y las regiones inactivas se pueden reducir en el bloque 966, como ya se ha explicado. En un ejemplo, el bloque 966 incluye reflejar los datos de píxeles en la región activa en la región inactiva.
La Figura 10A muestra un sistema informático de rendimiento mejorado 1000. En el ejemplo ilustrado, un procesador de anfitrión 1002 incluye un controlador de memoria integrado (IMC) 1004 que se comunica con una memoria de sistema 1006 (por ejemplo, DRAM). El procesador de anfitrión 1002 puede estar acoplado a un procesador de gráficos 1008 (es decir, mediante un bus de interconexión de componentes periféricos/PCI) y a un módulo de entrada/salida (ES) 1010. El módulo ES 1010 puede estar acoplado a un controlador de red 1012 (por ejemplo, inalámbrico y/o cableado), una pantalla 1014 (por ejemplo, pantalla de cristal líquido/LCD fija o montada en la cabeza, pantalla de diodos emisores de luz/LED, etc., para presentar visualmente una escena tridimensional/3D, un vídeo y/o una imagen de ojo de pez), una pluralidad de cámaras 1024 (por ejemplo, una plataforma de cámara para capturar contenido de vídeo), un sensor de movimiento 1026, un micrófono 1028 (por ejemplo, direccional), un sensor fisiológico 1030 (por ejemplo, un monitor de frecuencia cardíaca) y un dispositivo de almacenamiento masivo 1018 (por ejemplo, una memoria flash, un disco óptico, una unidad de estado sólido/SSD). El procesador de gráficos 1008 ilustrado incluye una o más canalizaciones 1020 (por ejemplo, canalización 3D, canalización multimedia, canalización de visualización) y está acoplado a una memoria gráfica 1016 (por ejemplo, RAM gráfica dedicada).
La memoria del sistema 1006 y/o el almacenamiento masivo 1018 pueden incluir un conjunto de instrucciones 1022, que cuando son ejecutadas por el procesador anfitrión 1002 y/o el procesador de gráficos 1008, hacen que el sistema 1000 implemente uno o más aspectos del procedimiento 640 (Figura 6D), el procedimiento 720 (Figura 7B), el procedimiento 740 (Figura 7C), el procedimiento 860 (Figura 8D) y/o el procedimiento 960 (Figura 9D), ya analizados.
Por lo tanto, la ejecución de las instrucciones 1022 puede hacer que el sistema 1000 determine, por cámara, un nivel de interés con respecto al contenido de vídeo panorámico capturado por las cámaras 1024, identifique un subconjunto de cámaras en la pluralidad de cámaras 1024 para las cuales el nivel de interés está por debajo de un umbral, y reduzca el consumo de energía en el subconjunto de cámaras. En un ejemplo, el nivel de interés se determina en base a señales del micrófono 1028, señales del sensor fisiológico 1030, señales del sensor de movimiento 1026 y/o una extracción de características semánticas del contenido de vídeo panorámico. Además, la ejecución de las instrucciones 1022 puede hacer que el sistema 1000 reduzca el consumo de energía en el procesador anfitrión 1002 y/o el procesador de gráficos 1008 en virtud de una derivación de una transmisión, una unión y/o una codificación de fotogramas correspondientes al subconjunto de cámaras.
La ejecución de las instrucciones 1022 también puede hacer que el sistema 1000 determine un formato de proyección asociado con el contenido de vídeo panorámico, identifique uno o más límites discontinuos en el formato de proyección y modifique un esquema de codificación asociado con el contenido de vídeo panorámico en función de uno o más límites discontinuos. En un ejemplo, el formato de proyección es un mapa cúbico que incluye una pluralidad de caras y los límites discontinuos son uniones entre la pluralidad de caras.
La ejecución de las instrucciones 1022 también puede hacer que el sistema 1000 asigne un fotograma codificado a una primera capa de escalabilidad temporal y asigne un fotograma de deformación espacial asíncrono a una segunda capa de escalabilidad temporal, en donde la primera capa de escalabilidad temporal tiene una prioridad más alta que la segunda capa de escalabilidad temporal. En un ejemplo, se asignan más bits al fotograma codificado que al fotograma de deformación espacial asíncrono.
Además, la ejecución de las instrucciones 1022 puede hacer que el sistema 1000 detecte contenido de ojo de pez en uno o más fotogramas del contenido de vídeo capturado por las cámaras 1024 e identifique una región activa y una región inactiva en el contenido de ojo de pez. Se puede reducir una o más de una tasa de bits o una complejidad de codificación de un límite entre la región activa y la región inactiva. En un ejemplo, reducir la complejidad de codificación incluye reflejar los datos de píxeles en la región activa en la región inactiva.
La Figura 10B muestra un aparato de paquete de semiconductores 1040 (por ejemplo, un procesador/chip gráfico) que incluye un sustrato 1042 (por ejemplo, silicio, zafiro, arseniuro de galio) y una lógica 1044 (por ejemplo, una matriz de transistores y otros componentes de circuitos integrados/CI) acoplados al sustrato 1042. La lógica 1044, que puede implementarse, por ejemplo, en lógica configurable y/o lógica de hardware de funcionalidad fija, puede implementar generalmente uno o más aspectos del procedimiento 640 (Figura 6D), el procedimiento 720 (Figura 7B), el procedimiento 740 (Figura 7C), el procedimiento 860 (Figura 8D) y/o el procedimiento 960 (Figura 9D), ya analizados.
Tecnología de visualización
Pasando ahora a la Figura 11, se muestra un sistema informático de rendimiento mejorado 1100. En el ejemplo ilustrado, un procesador 1110 está acoplado a una pantalla 1120. El procesador 1110 generalmente puede generar imágenes para mostrarlas en un panel LCD 1150 de la pantalla 1120. En un ejemplo, el procesador 1110 incluye una interfaz de comunicación tal como, por ejemplo, una matriz de gráficos de vídeo (VGA), una interfaz DisplayPort (DP), una interfaz DisplayPort integrada (eDP), una interfaz multimedia de alta definición (HDMI), una interfaz visual digital (DVI), etc. El procesador 1110 puede ser un procesador de gráficos (por ejemplo, unidad de procesamiento de gráficos/GPU) que procesa datos de gráficos y genera las imágenes (p. ej., fotogramas de vídeo, imágenes fijas) mostradas en el panel LCD 1150. Por otra parte, el procesador 1110 puede incluir una o más canalizaciones de procesamiento de imágenes que generan datos de píxeles. Las canalizaciones de procesamiento de imágenes pueden cumplir con la arquitectura OPENGL u otra arquitectura adecuada. Adicionalmente, el procesador 1110 puede estar conectado a un procesador de anfitrión (por ejemplo, unidad central de procesamiento/CPU), en donde el procesador de anfitrión ejecuta uno o más controladores de dispositivo que controlan y/o interactúan con el procesador 1110.
La pantalla ilustrada 1120 incluye un controlador de tiempo (TCON) 1130, que puede direccionar individualmente diferentes píxeles en el panel LCD 1150 y actualizar cada píxel individual en el panel LCD 1150 por ciclo de actualización. A este respecto, el panel LCD 1150 puede incluir una pluralidad de elementos de cristal líquido tales como, por ejemplo, un cristal líquido y un filtro de color integrado. Cada píxel del panel LCD 1150 puede incluir un trío de elementos de cristal líquido con filtros de color rojo, verde y azul, respectivamente. El panel LCD 1150 puede disponer los píxeles en una matriz bidimensional (2D) que se controla mediante controladores de fila 1152 y controladores de columna 1154 para actualizar la imagen que se muestra en el panel LCD 1150. Por tanto, el TCON 1130 puede controlar los controladores de fila 1152 y los controladores de columna 1154 para abordar píxeles específicos del panel LCD 1150. El TCON 1130 también puede ajustar la tensión proporcionada a los elementos de cristal líquido en el píxel para cambiar la intensidad de la luz que pasa a través de cada uno de los tres elementos de cristal líquido y, por lo tanto, cambiar el color del píxel que se muestra en la superficie del panel LCD 1150.
Una retroiluminación 1160 puede incluir una pluralidad de elementos emisores de luz, tales como, por ejemplo, diodos emisores de luz (LED), que están dispuestos en un borde del panel LCD 1150. En consecuencia, la luz generada por los LED puede dispersarse a través del panel LCD 1150 mediante un difusor (no mostrado). En otro ejemplo, los LED están dispuestos en una matriz 2D directamente detrás del panel LCD 1150 en una configuración a veces denominada retroiluminación directa porque cada LED dispersa la luz a través de uno o más píxeles correspondientes del panel LCD 1150 colocado frente al LED. Los elementos emisores de luz también pueden incluir lámparas fluorescentes compactas (CFL) dispuestas a lo largo de uno o más bordes del panel LCD 1150. Para eliminar múltiples bordes, la combinación de bordes puede alterarse para lograr una iluminación selectiva de una región, en donde se utiliza menos del conjunto total de elementos de iluminación con menos potencia.
Los elementos emisores de luz también pueden incluir una o más láminas de material electroluminiscente colocadas detrás del panel LCD 1150. En tal caso, la luz de la superficie de la lámina puede dispersarse a través de los píxeles del panel LCD 1150. Adicionalmente, la lámina puede dividirse en una pluralidad de regiones tales como, por ejemplo, cuadrantes. En un ejemplo, cada región se controla individualmente para iluminar solo una parte del panel LCD 1150. También se pueden utilizar otras soluciones de retroiluminación.
La pantalla 1120 ilustrada también incluye un controlador de retroiluminación (BLC) 1140 que proporciona un voltaje a los elementos emisores de luz de la retroiluminación 1160. Por ejemplo, el BLC 1140 puede incluir un controlador de modulación de ancho de pulso (PWM) (no mostrado) para generar una señal PWM que activa al menos una porción de los elementos emisores de luz de la retroiluminación 1160. El ciclo de trabajo y la frecuencia de la señal PWM pueden hacer que la luz generada por los elementos emisores de luz se atenúe. Por ejemplo, un ciclo de trabajo del 100 % puede corresponder a que los elementos emisores de luz estén completamente encendidos y un ciclo de trabajo del 0 % puede corresponder a que los elementos emisores de luz estén completamente apagados. Por tanto, los ciclos de trabajo intermedios (por ejemplo, 25 %, 50 %) normalmente hacen que los elementos emisores de luz se enciendan durante una porción de un período de ciclo que es proporcional al porcentaje del ciclo de trabajo. El período de ciclo puede ser lo suficientemente rápido como para que el ojo humano no note el parpadeo de los elementos emisores de luz. Por otra parte, el efecto para el usuario puede ser que el nivel de luz emitida por la retroiluminación 1160 sea menor que si la retroiluminación 1160 estuviera completamente activada. El BLC 1140 puede estar separado o incorporado al TCON 1130.
Alternativamente, se puede utilizar un sistema de pantalla emisiva en el que el panel LCD 1150 se reemplazaría por un panel de pantalla emisiva (por ejemplo, diodo emisor de luz orgánico/OLED), se omitiría la luz de fondo 1160 y los controladores de fila y columna 1152 y 1154, respectivamente, se pueden utilizar para modular directamente el color y el brillo de los píxeles.
Resolución de visualización basada en distancia
La Figura 12A muestra un escenario en el que un usuario 1218 interactúa con un dispositivo de procesamiento de datos 1200 que contiene una unidad de visualización 1228. El dispositivo de procesamiento de visualización 1200 puede incluir, por ejemplo, un ordenador portátil, un ordenador de sobremesa, una tableta, una tableta convertible, un dispositivo de Internet móvil (MID), un asistente digital personal (PDA), un dispositivo portátil (por ejemplo, pantalla montada en la cabeza/HMD), un reproductor multimedia, etc., o cualquier combinación de los mismos. El dispositivo de procesamiento de datos 1200 ilustrado incluye un procesador 1224 (por ejemplo, controlador integrado, microcontrolador, procesador de anfitrión, procesador de gráficos) acoplado a una memoria 1222, que puede incluir ubicaciones de almacenamiento que son direccionables a través del procesador 1224. Como se analizará con mayor detalle, un sensor de distancia 1210 puede permitir una resolución de visualización basada en la distancia con respecto a las unidades de visualización 1228.
La memoria 1222 ilustrada incluye datos de visualización 1226 que se van a mostrar en la unidad de visualización 1228. En un ejemplo, el procesador 1224 realiza la conversión de datos en los datos de visualización 1226 antes de presentar los datos de visualización 1226 en la unidad de visualización 1228. Un motor de postprocesamiento 1214 puede ejecutarse en el procesador 1224 para recibir los datos de visualización 1226 y una salida del sensor de distancia 1210. El motor de postprocesamiento 1214 puede modificar los datos de visualización 1226 para mejorar la legibilidad del contenido de la pantalla en la unidad de visualización 1228, reducir el consumo de energía en el dispositivo de procesamiento de datos 1200, etc., o cualquier combinación de los mismos.
La memoria 1222 ilustrada almacena una configuración de resolución de visualización 1216, además, de un sistema operativo 1212 y una aplicación 1220. La configuración de resolución de visualización 1216 puede especificar un número de píxeles de los datos de visualización 1226 que se presentarán en la unidad de visualización 1228 a lo largo de una dimensión de longitud y una dimensión de ancho. Si los datos de visualización 1226 generados por la aplicación 1220 son incompatibles con el formato de la unidad de visualización 1228, el procesador 1224 puede configurar la escala de los datos de visualización 1226 para que coincida con el formato de las unidades de visualización 1228. A este respecto, la configuración de resolución de visualización 1216 puede asociarse y/o incorporarse a datos de configuración que definen otras configuraciones para la unidad de visualización 1228. Por otra parte, la configuración de resolución de visualización 1216 puede definirse en términos de unidad de distancia o área (por ejemplo, píxeles por pulgada/PPI), u otro parámetro adecuado.
La aplicación 1220 puede generar una interfaz de usuario, en la que el usuario 1218 puede interactuar con la interfaz de usuario para seleccionar la configuración de resolución de visualización 1216 de una o más opciones proporcionadas a través de la interfaz de usuario, introducir la configuración de resolución de visualización 1216 como un valor solicitado, y así sucesivamente. Por tanto, se puede cambiar el tamaño de los datos de visualización 1226 para que encajen en la configuración de resolución de visualización 1216 antes de ser representados en la unidad de visualización 1228.
El sensor de distancia 1210 puede rastrear la distancia entre el usuario 1218 y la unidad de visualización 1228, en donde la detección de distancia puede activarse a través de un botón físico asociado con el dispositivo de procesamiento de datos 1200/unidad de visualización 1228, a través de la interfaz de usuario proporcionada por la aplicación 1220 y/o la carga del sistema operativo 1220, y así sucesivamente. Por ejemplo, durante un arranque del dispositivo de procesamiento de datos 1200, el sistema operativo 1212 puede realizar un proceso automático para activar la detección de distancia en segundo plano o en primer plano. La detección de distancias puede realizarse de forma periódica o continua.
La Figura 12B muestra un ejemplo de un escenario de detección de distancia. En el ejemplo ilustrado, el sensor de distancia 1210 utiliza un transceptor 1208 para emitir un haz electromagnético 1202 en la dirección del usuario 1218. Por tanto, el transceptor 1202 podría colocarse en una superficie orientada hacia el frente del dispositivo de procesamiento de datos 1200 (Figura 12A). El haz electromagnético 1202 puede impactar al usuario 1218 y ser reflejado/dispersado desde el usuario 1218 como un haz electromagnético de retorno 1204. El haz electromagnético de retorno 1204 puede ser analizado, por ejemplo, por el procesador 1224 (Figura 12A) y/o el motor de postprocesamiento 1214 (Figura 12A) para determinar la distancia 1206 entre el usuario 1218 y la unidad de visualización 1228 (Figura 12A). La distancia 1206 se puede utilizar para ajustar la configuración de resolución de visualización 1216.
Capas de visualización
Pasando ahora a la Figura 13, se muestra un sistema de visualización 1300 en el que se utilizan capas de visualización en cascada 1361, 1362 y 1363 para lograr una superresolución espacial/temporal en un conjunto de visualización 1360. En el ejemplo ilustrado, un procesador 1310 proporciona datos gráficos originales 1334 (por ejemplo, fotogramas de vídeo, imágenes fijas) al sistema 1300 mediante un bus 1320. Un programa de visualización en cascada 1331 puede almacenarse en una memoria 1330, en donde el programa de visualización en cascada 1331 puede ser parte de un controlador de visualización asociado con el conjunto de visualización 1360. La memoria ilustrada 1330 también incluye los datos de gráficos originales 1334 y los datos de gráficos factorizados 1335. En un ejemplo, el programa de visualización en cascada 1331 incluye un componente de factorización temporal 1332 y un componente de factorización espacial 1333. El componente de factorización temporal 1332 puede realizar un cálculo de factorización temporal y el componente de factorización espacial puede realizar un cálculo de factorización espacial. El programa de visualización en cascada 1331 puede derivar los datos gráficos factorizados 1335 para su presentación en cada capa de visualización 1361, 1362 y 1363 basándose en las configuraciones del usuario y los datos gráficos originales 1334.
El conjunto de visualización 1360 puede implementarse como una LCD (pantalla de cristal líquido) utilizada, por ejemplo, en una aplicación de pantalla montada en la cabeza (HMD). Más particularmente, el conjunto de visualización 1360 puede incluir una pila de placas de interfaz de paneles LCD, un accesorio de lente, etc. Cada panel puede funcionar con una resolución nativa de, por ejemplo, 1280x800 píxeles y con una frecuencia de actualización de 60 Hz. Se pueden utilizar otras resoluciones nativas, frecuencias de actualización, tecnología de panel de visualización y/o configuraciones de capas.
Múltiples unidades de visualización
La Figura 14 muestra un sistema de visualización de gráficos 1400 que incluye un conjunto de unidades de visualización 1430 (1430a-1430n) que pueden usarse generalmente para generar una presentación de pantalla ancha (por ejemplo, panorámica) 1440 que incluye contenido coordinado en una forma topológica cohesiva y estructurada. En el ejemplo ilustrado, un dispositivo de procesamiento de datos 1418 incluye un procesador 1415 que aplica una función lógica 1424 a los datos de perfil de hardware 1402 recibidos del conjunto de unidades de visualización 1430 a través de una red 1420. La aplicación de la función lógica 1424 a los datos del perfil de hardware 1402 puede crear un conjunto de configuraciones de topología automática 1406 cuando no se encuentra una coincidencia de los datos de perfil de hardware con un conjunto de configuraciones en una tabla de búsqueda de perfil de hardware 1412. El conjunto ilustrado de configuraciones de topología automática 1406 se transmite desde el dispositivo de procesamiento de visualización 1418 a las unidades de visualización 1430 a través de la red 1420.
El procesador 1415 puede realizar y ejecutar la función lógica 1424 al recibir la función lógica 1424 desde un controlador de visualización 1410. A este respecto, el controlador de visualización 1410 puede incluir un módulo de topología automática 1408 que configura y estructura automáticamente las topologías de las unidades de visualización 1432 para crear la presentación 1440. En un ejemplo, el controlador de visualización 1410 es un conjunto de instrucciones que, cuando las ejecuta el procesador 1415, hacen que el dispositivo de procesamiento de datos 1418 se comunique con las unidades de visualización 1430, tarjetas de vídeo, etc., y realice operaciones automáticas de generación de topología.
El dispositivo de procesamiento de datos 1418 puede incluir, por ejemplo, un servidor, un ordenador de escritorio, un ordenador portátil, un ordenador tipo tableta, una tableta convertible, un MID, un PDA, un dispositivo ponible, un reproductor multimedia, etc. Por tanto, el dispositivo de procesamiento de visualización 1418 puede incluir un módulo de control de hardware 1416, un dispositivo de almacenamiento 1414, memoria de acceso aleatorio (RAM, no mostrada), tarjetas controladoras que incluyen una o más tarjetas controladoras de vídeo, etc. En un ejemplo, las unidades de visualización 1430 son pantallas de panel plano (por ejemplo, cristal líquido, matriz activa, plasma, etc.), HMD, dispositivos de proyección de vídeo, etc., que se coordinan entre sí para producir la presentación 1440. Por otra parte, la presentación 1440 puede generarse basándose en un archivo multimedia almacenado en el dispositivo de almacenamiento 1414, en donde el archivo multimedia podría incluir, por ejemplo, una película, un videoclip, una animación, un anuncio, etc., o cualquier combinación de los mismos.
El término "topología" puede considerarse el número, la escala, la forma y/u otro parámetro de configuración de una primera unidad de visualización 1430a, una segunda unidad de visualización 1430b, una tercera unidad de visualización 1430n, etc. En consecuencia, la topología de las unidades de visualización 1430 puede permitir que la presentación 1440 se presente visualmente en concierto de manera que las secciones individuales de la presentación 1440 sean proporcionales y compatibles con las dimensiones originales y el alcance de los medios que se reproducen a través de las unidades de visualización 1430. Por tanto, la topología puede constituir relaciones espaciales y/o propiedades geométricas que no se ven afectadas por el cambio continuo de forma o tamaño del contenido representado en la presentación 1440. En un ejemplo, el módulo de topología automática 1408 incluye un módulo de temporización 1426, un módulo de control 1428, un módulo de monitorización de señales 1432 y un módulo de visualización de señales 1434. El módulo de sincronización 1426 puede designar una unidad de visualización particular en el conjunto de unidades de visualización 1430 como una unidad de visualización de muestra. En tal caso, el módulo de sincronización 1426 puede designar las unidades de visualización restantes 1430 como unidades de visualización adicionales. En un ejemplo, el módulo de sincronización 1426 establece automáticamente un factor de configuración para que sea compatible con los datos de perfil de hardware 1402, en donde la presentación 1440 se inicia automáticamente mediante una secuencia de señales gráficas 1422.
En un ejemplo, el módulo de control 1428 modifica el conjunto de ajustes de topología automáticos 1406. Adicionalmente, el módulo de monitorización de señales 1432 puede monitorizar automáticamente la secuencia de señales gráficas 1422 y activar el dispositivo de almacenamiento 1414 para asociar el conjunto de configuraciones de topología automática 1406 con la tabla de búsqueda de perfil de hardware 1412. Por otra parte, el módulo de monitorización de señales 1432 puede detectar automáticamente cambios en el conjunto de unidades de visualización 1430 según un conjunto de criterios de cambio y generar automáticamente un nuevo perfil de topología correspondiente al cambio en el conjunto de unidades de visualización 1430. Por tanto, el nuevo perfil de topología puede aplicarse al conjunto de unidades de visualización 1430. El módulo de monitorización de señales 1432 también puede activar el módulo de visualización de señales 1434 para volver a aplicar el conjunto de configuraciones de disculpa automática 1406 si la secuencia de señales gráficas 1422 no cumple con un conjunto de criterios. Si los datos de perfil de hardware 1402 no soportan la visualización automática de topología de la secuencia de señales gráficas 1422, el dispositivo de procesamiento de datos 1418 puede informar de un error y registrar el error en un registro de errores 1413.
Suministro de medios asistido por la nube
Pasando ahora a la Figura 15, un sistema de juego en la nube 1500 incluye un cliente 1540 que está acoplado a un servidor 1520 a través de una red 1510. El cliente 1540 generalmente puede ser un consumidor de contenido de gráficos (por ejemplo, juegos, realidad virtual/VR, realidad aumentada/AR) que se aloja, procesa y representa en el servidor 1520. El servidor 1520 ilustrado, que puede ser escalable, tiene la capacidad de proporcionar el contenido gráfico a múltiples clientes simultáneamente (por ejemplo, aprovechando recursos de procesamiento y representación paralelos y distribuidos). En un ejemplo, la escalabilidad del servidor 1520 está limitada por la capacidad de la red 1510. En consecuencia, puede haber un número umbral de clientes por encima del cual el servicio a todos los clientes se degrada.
En un ejemplo, el servidor 1520 incluye un procesador de gráficos (por ejemplo, GPU) 1530, un procesador anfitrión (por ejemplo, CPU) 1524 y una tarjeta de interfaz de red (NIC) 1522. La NIC 1522 puede recibir una solicitud del cliente 1540 para contenido gráfico. La solicitud del cliente 1540 puede hacer que el contenido gráfico se recupere de la memoria mediante una aplicación que se ejecuta en el procesador de anfitrión 1524. El procesador de anfitrión 1524 puede llevar a cabo operaciones de alto nivel tales como, por ejemplo, determinar la posición, colisión y movimiento de objetos en una escena determinada. En función de las operaciones de alto nivel, el procesador de anfitrión 1524 puede generar comandos de representación que se combinan con los datos de la escena y se ejecutan mediante el procesador de gráficos 1530. Los comandos de representación pueden hacer que el procesador de gráficos 1530 defina la geometría de la escena, el sombreado, la iluminación, el movimiento, la textura, los parámetros de la cámara, etc., para las escenas que se presentarán a través del cliente 1540.
Más particularmente, el procesador de gráficos 1530 ilustrado incluye un renderizador de gráficos 1532 que ejecuta procedimientos de renderizado de acuerdo con los comandos de renderizado generados por el procesador anfitrión 1524. La salida del procesador de gráficos 1532 puede ser un flujo de fotogramas de vídeo sin procesar que se proporcionan a un capturador de fotogramas 1534. El capturador de fotogramas 1534 ilustrado está acoplado a un codificador 1536, que puede comprimir/formatear el flujo de vídeo sin procesar para su transmisión a través de la red 1510. El codificador 1536 puede utilizar una amplia variedad de algoritmos de compresión de vídeo tales como, por ejemplo, el estándar H.264 del Sector de Normalización de Telecomunicaciones de la Unión Internacional de Telecomunicaciones (ITUT), el estándar de codificación de vídeo avanzada (AVC) MPEG4 de la Organización Internacional para el Normalización/Comisión Electrotécnica Internacional (ISO/IEC), etc.
El cliente 1540 ilustrado, que puede ser un ordenador de escritorio, un ordenador portátil, una tableta, una tableta convertible, un dispositivo ponible, un MID, una PDA, un reproductor multimedia, etc., incluye una NIC 1542 para recibir la transmisión de vídeo transmitida desde el servidor 1520. La NIC 1522 puede incluir la capa física y la base para la capa de software de la interfaz de red en el cliente 1540 para facilitar las comunicaciones a través de la red 1510. El cliente 1540 también puede incluir un decodificador 1544 que emplea el mismo esquema de formateo/compresión del codificador 1536. Por tanto, el flujo de vídeo descomprimido puede proporcionarse desde el decodificador 1544 a un renderizador de vídeo 1546. El renderizador de vídeo 1546 ilustrado está acoplado a una pantalla 1548 que presenta visualmente el contenido gráfico.
Como ya se señaló, el contenido gráfico puede incluir contenido de juego. A este respecto, el cliente 1540 puede realizar una transmisión interactiva en tiempo real que implica la recopilación de la entrada de usuario desde un dispositivo de entrada 1550 y la entrega de la entrada de usuario al servidor 1520 mediante la red 1510. Este componente interactivo en tiempo real de los juegos en la nube puede plantear desafíos con respecto a la latencia.
Ejemplo de vista general del sistema adicional
La Figura 16 es un diagrama de bloques de un sistema de procesamiento 1600, según una realización. En diversas realizaciones, el sistema 1600 incluye uno o más procesadores 1602 y uno o más procesadores de gráficos 1608, y puede ser un sistema de escritorio de un solo procesador, un sistema de estación de trabajo multiprocesador o un sistema de servidor que tiene una gran cantidad de procesadores 1602 o núcleos de procesador 1607. En una realización, el sistema 1600 es una plataforma de procesamiento incorporada dentro de un circuito integrado de sistema en un chip (SoC) para su uso en dispositivos móviles, portátiles o integrados.
Una realización del sistema 1600 puede incluir, o estar incorporada dentro de una plataforma de juego basada en servidor, una consola de juegos, que incluye una consola de juegos y multimedia, una consola de juegos móvil, una consola de juegos portátil o una consola de juegos en línea. En algunas realizaciones, el sistema 1600 es un teléfono móvil, un teléfono inteligente, un dispositivo informático tipo tableta o un dispositivo de Internet móvil. El sistema de procesamiento de datos 1600 también puede incluir, acoplarse con, o integrarse dentro de un dispositivo ponible, tal como un dispositivo ponible de reloj inteligente, un dispositivo de gafas inteligentes, un dispositivo de realidad aumentada o un dispositivo de realidad virtual. En algunas realizaciones, el sistema de procesamiento de datos 1600 es un dispositivo de televisión o decodificador que tiene uno o más procesadores 1602 y una interfaz gráfica generada por uno o más procesadores gráficos 1608.
En algunas realizaciones, el uno o más procesadores 1602 incluyen, cada uno, uno o más núcleos de procesador 1607 para procesar instrucciones que, cuando se ejecutan, realizan operaciones para el sistema y el software del usuario. En algunas realizaciones, cada uno del uno o más núcleos de procesador 1607 está configurado para procesar un conjunto de instrucciones específico 1609. En algunas realizaciones, el conjunto de instrucciones 1609 puede facilitar la computación de conjunto de instrucciones complejas (CISC), la computación de conjunto de instrucciones reducidas (RISC) o la computación mediante una palabra de instrucción muy larga (VLIW). Múltiples núcleos de procesador 1607 pueden procesar cada uno un conjunto de instrucciones diferente 1609, que puede incluir instrucciones para facilitar la emulación de otros conjuntos de instrucciones. El núcleo de procesador 1607 también puede incluir otros dispositivos de procesamiento, tal como un procesador de señal digital (DSP).
En algunas realizaciones, el procesador 1602 incluye memoria caché 1604. Dependiendo de la arquitectura, el procesador 1602 puede tener una única memoria caché interna o múltiples niveles de memoria caché interna. En algunas realizaciones, la memoria caché se comparte entre varios componentes del procesador 1602. En algunas realizaciones, el procesador 1602 también utiliza una memoria caché externa (por ejemplo, una memoria caché de nivel 3 (L3) o una memoria caché de último nivel (LLC)) (no se muestra), que puede compartirse entre los núcleos de procesador 1607 utilizando técnicas de coherencia de caché conocidas. Además, se incluye un archivo de registros 1606 en el procesador 1602 que puede incluir diferentes tipos de registros para almacenar diferentes tipos de datos (por ejemplo, registros de números enteros, registros de punto flotante, registros de estado y un registro de puntero de instrucciones). Algunos registros pueden ser registros de propósito general, mientras que otros registros pueden ser específicos del diseño del procesador 1602.
En algunas realizaciones, el procesador 1602 está acoplado a un bus de procesador 1610 para transmitir señales de comunicación, tales como direcciones, datos o señales de control, entre el procesador 1602 y otros componentes del sistema 1600. En una realización, el sistema 1600 utiliza una arquitectura de sistema de "concentrador" ejemplar, que incluye un concentrador de controlador de memoria 1616 y un concentrador de controlador de entrada y salida (E/S) 1630. Un concentrador de controlador de memoria 1616 facilita la comunicación entre un dispositivo de memoria y otros componentes del sistema 1600, mientras que un concentrador de controlador de E/S (ICH) 1630 proporciona conexiones a dispositivos de E/S a través de un bus de E/S local. En una realización, la lógica del concentrador de controlador de memoria 1616 está integrada dentro del procesador.
El dispositivo de memoria 1620 puede ser un dispositivo de memoria de acceso aleatorio dinámico (DRAM), un dispositivo de memoria de acceso aleatorio estático (SRAM), un dispositivo de memoria flash, un dispositivo de memoria de cambio de fase o algún otro dispositivo de memoria que tenga un rendimiento adecuado para servir como memoria de proceso. En una realización, el dispositivo de memoria 1620 puede funcionar como memoria del sistema para el sistema 1600, para almacenar datos 1622 e instrucciones 1621 para su uso cuando uno o más procesadores 1602 ejecutan una aplicación o un proceso. El concentrador de controlador de memoria 1616 también se acopla con un procesador de gráficos externo opcional 1612, que puede comunicarse con el uno o más procesadores gráficos 1608 en los procesadores 1602 para realizar operaciones gráficas y multimedia.
En algunas realizaciones, el ICH 1630 permite que los periféricos se conecten al dispositivo de memoria 1620 y al procesador 1602 a través de un bus de E/S de alta velocidad. Los periféricos de E/S incluyen, entre otros, un controlador de audio 1646, una interfaz de firmware 1628, un transceptor inalámbrico 1626 (por ejemplo, Wi-Fi, Bluetooth), un dispositivo de almacenamiento de datos 1624 (por ejemplo, unidad de disco duro, memoria flash, etc.) y un controlador de E/S heredado 1640 para acoplar dispositivos heredados (por ejemplo, Sistema Personal 2 (PS/2)) al sistema. Uno o más controladores de bus serie universal (USB) 1642 conectan dispositivos de entrada, tales como combinaciones de teclado y ratón 1644. Un controlador de red 1634 también puede acoplarse al ICH 1630. En algunas realizaciones, un controlador de red de alto rendimiento (no mostrado) se acopla al bus de procesador 1610. Se apreciará que el sistema 1600 mostrado es ejemplar y no limitativo, ya que también se pueden utilizar otros tipos de sistemas de procesamiento de datos que están configurados de manera diferente. Por ejemplo, el concentrador de controlador de E/S 1630 puede estar integrado dentro del uno o más procesadores 1602, o el concentrador de controlador de memoria 1616 y el concentrador de controlador de E/S 1630 pueden estar integrados en un procesador de gráficos externo discreto, como el procesador de gráficos externo 1612.
La Figura 17 es un diagrama de bloques de una realización de un procesador 1700 que tiene uno o más núcleos de procesador 1702A-1702N, un controlador de memoria integrado 1714 y un procesador de gráficos integrado 1708. Los elementos de la Figura 17 que tienen los mismos números de referencia (o nombres) que los elementos de cualquier otra figura de la presente pueden operar o funcionar de cualquier manera similar a la descrita en otra parte de la presente, pero no se limitan a ello. El procesador 1700 puede incluir núcleos adicionales hasta e incluyendo el núcleo adicional 1702N representado por los recuadros en líneas discontinuas. Cada uno de los núcleos de procesador 1702A-1702N incluye una o más unidades de caché internas 1704A-1704N. En algunas realizaciones, cada núcleo de procesador también tiene acceso a una o más unidades de caché compartidas 1706.
Las unidades de caché internas 1704A-1704N y las unidades de caché compartidas 1706 representan una jerarquía de memoria caché dentro del procesador 1700. La jerarquía de memoria caché puede incluir al menos un nivel de memoria caché de instrucciones y datos dentro de cada núcleo de procesador y uno o más niveles de memoria caché de nivel medio compartido, tales como un Nivel 2 (L2), Nivel 3 (L3), Nivel 4 (L4) u otros niveles de memoria caché, donde el nivel más alto de memoria caché antes de la memoria externa se clasifica como LLC. En algunas realizaciones, la lógica de coherencia de caché mantiene la coherencia entre las diversas unidades de caché 1706 y 1704A-1704N.
En algunas realizaciones, el procesador 1700 también puede incluir un conjunto de una o más unidades de controlador de bus 1716 y un núcleo de agente de sistema 1710. La una o más unidades de controlador de bus 1716 gestionan un conjunto de buses periféricos, tales como uno o más buses de interconexión de componentes periféricos (por ejemplo, PCI, PCI Express). El núcleo de agente de sistema 1710 proporciona una funcionalidad de administración para los diversos componentes del procesador. En algunas realizaciones, el núcleo de agente de sistema 1710 incluye uno o más controladores de memoria integrados 1714 para administrar el acceso a varios dispositivos de memoria externa (no se muestran).
En algunas realizaciones, uno o más de los núcleos de procesador 1702A-1702N incluyen soporte para subprocesamiento múltiple simultáneo. En una realización de este tipo, el núcleo de agente de sistema 1710 incluye componentes para coordinar y hacer funcionar los núcleos 1702A-1702N durante el procesamiento de múltiples hilos. El núcleo de agente de sistema 1710 puede incluir adicionalmente una unidad de control de energía (PCU), que incluye una lógica y componentes para regular el estado de energía de los núcleos de procesador 1702A-1702N y el procesador de gráficos 1708.
En algunas realizaciones, el procesador 1700 incluye, además, un procesador de gráficos 1708 para ejecutar operaciones de procesamiento de gráficos. En algunas realizaciones, el procesador de gráficos 1708 se acopla con el conjunto de unidades de memoria caché compartidas 1706 y el núcleo del agente del sistema 1710, incluidos uno o más controladores de memoria integrados 1714. En algunas realizaciones, un controlador de visualización 1711 está acoplado con el procesador de gráficos 1708 para impulsar la salida del procesador de gráficos a una o más pantallas acopladas. En algunas realizaciones, el controlador de visualización 1711 puede ser un módulo separado acoplado con el procesador de gráficos a través de al menos una interconexión, o puede estar integrado dentro del procesador de gráficos 1708 o el núcleo del agente del sistema 1710.
En algunas realizaciones, se utiliza una unidad de interconexión basada en anillo 1712 para acoplar los componentes internos del procesador 1700. Sin embargo, se puede utilizar una unidad de interconexión alternativa, tal como una interconexión punto a punto, una interconexión conmutada u otras técnicas, incluidas técnicas bien conocidas en la técnica. En algunas realizaciones, el procesador de gráficos 1708 se acopla con la interconexión de anillo 1712 a través de un enlace de E/S 1713.
El enlace de E/S 1713 de ejemplo representa al menos una de múltiples variedades de interconexiones de E/S, incluida una interconexión de E/S en paquete que facilita la comunicación entre varios componentes del procesador y un módulo de memoria integrado de alto rendimiento 1718, como un módulo eDRAM. En algunas realizaciones, cada uno de los núcleos de procesador 1702-1702N y del procesador de gráficos 1708 utiliza módulos de memoria embebida 1718, tal como una memoria caché compartida de último nivel.
En algunas realizaciones, los núcleos de procesador 1702A-1702N son núcleos homogéneos que ejecutan la misma arquitectura de conjunto de instrucciones. En otra realización, los núcleos de procesador 1702A-1702N son heterogéneos en términos de arquitectura de conjunto de instrucciones (ISA), donde uno o más de los núcleos de procesador 1702A-N ejecutan un primer conjunto de instrucciones, mientras que al menos uno de los otros núcleos ejecuta un subconjunto del primer conjunto de instrucciones o un conjunto de instrucciones diferente. En una realización, los núcleos de procesador 1702A-1702N son heterogéneos en términos de microarquitectura, donde uno o más núcleos que tienen un consumo de potencia relativamente más alto se acoplan con uno o más núcleos de potencia que tienen un consumo de potencia más bajo. Adicionalmente, el procesador 1700 puede implementarse en uno o más chips o como un circuito de SoC integrado que tiene los componentes ilustrados, además de otros componentes.
La Figura 18 es un diagrama de bloques de un procesador de gráficos 1800, que puede ser una unidad de procesamiento de gráficos discreta, o puede ser un procesador de gráficos integrado con una pluralidad de núcleos de procesamiento. En algunas realizaciones, el procesador de gráficos se comunica a través de una interfaz de E/S mapeada en memoria con registros en el procesador de gráficos y con comandos colocados en la memoria del procesador. En algunas realizaciones, el procesador de gráficos 1800 incluye una interfaz de memoria 1814 para acceder a la memoria. La interfaz de memoria 1814 puede ser una interfaz a la memoria local, a una o más memorias caché internas, a una o más memorias caché externas compartidas y/o a la memoria del sistema.
En algunas realizaciones, el procesador de gráficos 1800 también incluye un controlador de visualización 1802 para dirigir los datos de salida de pantalla a un dispositivo de pantalla 1820. El controlador de visualización 1802 incluye hardware para uno o más planos de superposición para la visualización y composición de múltiples capas de vídeo o elementos de interfaz de usuario. En algunas realizaciones, el procesador de gráficos 1800 incluye un motor de códec de vídeo 1806 para codificar, decodificar o transcodificar medios hacia, desde o entre uno o más formatos de codificación de medios, incluidos, entre otros, los formatos del Grupo de expertos en imágenes en movimiento (MPEG) tales como MPEG-2, los formatos de codificación de vídeo avanzada (AVC) tales como H.264/MPEG-4 AVC, así como los formatos 421M/VC-1 de la Sociedad de ingenieros de cine y televisión (SMPTE) y del Grupo de expertos fotográficos conjuntos (JPEG) tales como JPEG y Motion JPEG (MJPEG).
En algunas realizaciones, el procesador de gráficos 1800 incluye un motor de transferencia de imágenes en bloque (BLIT) 1804 para realizar operaciones de rasterización bidimensionales (2D) que incluyen, por ejemplo, transferencias de bloques de límite de bits. Sin embargo, en una realización, las operaciones de gráficos 2D se realizan utilizando uno o más componentes del motor de procesamiento de gráficos (GPE) 1810. En algunas realizaciones, el motor de procesamiento de gráficos 1810 es un motor de cómputo para realizar operaciones de gráficos, incluidas operaciones de gráficos tridimensionales (3D) y operaciones de medios.
En algunas realizaciones, el GPE 1810 incluye una canalización 3D 1812 para realizar operaciones 3D, tales como renderizar imágenes y escenas tridimensionales utilizando funciones de procesamiento que actúan sobre formas primitivas 3D (por ejemplo, rectángulo, triángulo, etc.). La canalización 3D 1812 incluye elementos de función programables y fijos que realizan varias tareas dentro del elemento y/o generan hilos de ejecución en un subsistema 3D/Medios 1815. Si bien la canalización 3D 1812 se puede utilizar para realizar operaciones de medios, una realización del GPE 1810 también incluye una canalización de medios 1816 que se utiliza específicamente para realizar operaciones de medios, tales como postprocesamiento de vídeo y mejora de imagen.
En algunas realizaciones, la canalización de medios 1816 incluye funciones fijas o unidades lógicas programables para realizar una o más operaciones de medios especializadas, tales como aceleración de decodificación de vídeo, desentrelazado de vídeo y aceleración de codificación de vídeo en lugar de, o en nombre del motor de códec de vídeo 1806. En algunas realizaciones, la canalización de medios 1816 incluye, además, una unidad de generación de hilos para generar hilos para su ejecución en el subsistema 3D/Medios 1815. Los hilos generados realizan cálculos para las operaciones de medios en una o más unidades de ejecución de gráficos incluidas en el subsistema 3D/Medios 1815.
En algunas realizaciones, el subsistema 3D/Medios 1815 incluye lógica para ejecutar hilos generados por la canalización 3D 1812 y la canalización de medios 1816. En una realización, las canalizaciones envían solicitudes de ejecución de hilos al subsistema 3D/Medios 1815, que incluye una lógica de despacho de hilos para arbitrar y enviar las diversas solicitudes a los recursos de ejecución de hilos disponibles. Los recursos de ejecución incluyen una matriz de unidades de ejecución de gráficos para procesar los hilos 3D y multimedia. En algunas realizaciones, el subsistema 3D/Medios 1815 incluye una o más memorias caché internas para instrucciones y datos de hilos. En algunas realizaciones, el subsistema también incluye memoria compartida, incluidos registros y memoria direccionable, para compartir datos entre hilos y para almacenar datos de salida.
Procesamiento 3D/de medios
La Figura 19 es un diagrama de bloques de un motor de procesamiento de gráficos 1910 de un procesador de gráficos de acuerdo con algunas realizaciones. En una realización, el GPE 1910 es una versión del GPE 1810 mostrado en la Figura 18. Los elementos de la Figura 19 que tienen los mismos números de referencia (o nombres) que los elementos de cualquier otra figura de la presente pueden operar o funcionar de cualquier manera similar a la descrita en otra parte de la presente, pero no se limitan a ello.
En algunas realizaciones, el GPE 1910 se acopla con un transmisor de comandos 1903, que proporciona un flujo de comandos a las canalizaciones de medios y 3D 1912, 1916 del GPE. En algunas realizaciones, el transmisor de comandos 1903 está acoplado a la memoria, que puede ser la memoria del sistema, o una o más de la memoria caché interna y la memoria caché compartida. En algunas realizaciones, el transmisor de comandos 1903 recibe comandos de la memoria y envía los comandos a la canalización 3D 1912 y/o a la canalización de medios 1916. Los comandos son directivas extraídas desde una memoria intermedia en anillo, que almacena comandos para las canalizaciones 3D y de medios 1912, 1916. En una realización, la memoria intermedia de anillo puede incluir, además, memorias intermedias de comandos por lotes que almacenan lotes de múltiples comandos. Las canalizaciones 3D y de medios 1912, 1916 procesan los comandos realizando operaciones mediante la lógica dentro de las respectivas canalizaciones o despachando uno o más hilos de ejecución a una matriz de unidades de ejecución 1914. En algunas realizaciones, la matriz de unidades de ejecución 1914 es escalable, de modo que la matriz incluye una cantidad variable de unidades de ejecución en función del nivel de potencia y rendimiento objetivo de GPE 1910.
En algunas realizaciones, un motor de muestreo 1930 se acopla con la memoria (por ejemplo, memoria caché o memoria del sistema) y la matriz de unidades de ejecución 1914. En algunas realizaciones, el motor de muestreo 1930 proporciona un mecanismo de acceso a memoria para la matriz de unidades de ejecución 1914 que permite que la matriz de ejecución 1914 lea gráficos y datos de medios de la memoria. En algunas realizaciones, el motor de muestreo 1930 incluye lógica para realizar operaciones de muestreo de imágenes especializadas para medios.
En algunas realizaciones, la lógica de muestreo de medios especializada en el motor de muestreo 1930 incluye un módulo de anulación de ruido/desentrelazado 1932, un módulo de estimación de movimiento 1934 y un módulo de filtrado y escalado de imágenes 1936. En algunas realizaciones, el módulo de anulación de ruido/desentrelazado 1932 incluye lógica para realizar uno o más algoritmos de anulación de ruido o desentrelazado en datos de vídeo decodificados. La lógica de desentrelazado combina campos alternos de contenido de vídeo entrelazado en un único fotograma de vídeo. La lógica de anulación de ruido reduce o elimina el ruido de los datos de vídeo e imagen. En algunas realizaciones, la lógica de anulación de ruido y la lógica de desentrelazado son adaptables al movimiento y utilizan un filtrado espacial o temporal basado en la cantidad de movimiento detectado en los datos de vídeo. En algunas realizaciones, el módulo de anulación de ruido/desentrelazado 1932 incluye una lógica de detección de movimiento dedicada (por ejemplo, dentro del motor de estimación de movimiento 1934).
En algunas realizaciones, el motor de estimación de movimiento 1934 proporciona aceleración de hardware para operaciones de vídeo al realizar funciones de aceleración de vídeo, tales como la estimación y predicción de vectores de movimiento en datos de vídeo. El motor de estimación de movimiento determina los vectores de movimiento que describen la transformación de los datos de imagen entre fotogramas de vídeo sucesivos. En algunas realizaciones, un códec multimedia de procesador de gráficos utiliza el motor de estimación de movimiento de vídeo 1934 para realizar operaciones en vídeo a nivel de macrobloque que, de otro modo, podrían requerir demasiado esfuerzo computacional para realizarlas con un procesador de uso general. En algunas realizaciones, el motor de estimación de movimiento 1934 está generalmente disponible para los componentes de procesador de gráficos para ayudar con las funciones de procesamiento y decodificación de vídeo que son sensibles o adaptables a la dirección o magnitud del movimiento dentro de los datos de vídeo.
En algunas realizaciones, el módulo de filtrado y escalado de imágenes 1936 realiza operaciones de procesamiento de imágenes para mejorar la calidad visual de las imágenes y el vídeo generados. En algunas realizaciones, el módulo de escalado y filtrado 1936 procesa datos de imagen y vídeo durante la operación de muestreo antes de proporcionar los datos a la matriz de unidades de ejecución 1914.
En algunas realizaciones, el GPE 1910 incluye un puerto de datos 1944, que proporciona un mecanismo adicional para que los subsistemas gráficos accedan a la memoria. En algunas realizaciones, el puerto de datos 1944 facilita el acceso a la memoria para operaciones que incluyen escrituras en el objetivo de renderizado, lecturas de memoria intermedia constante, lecturas/escrituras de espacio de memoria temporal y accesos a la superficie de medios. En algunas realizaciones, el puerto de datos 1944 incluye espacio de memoria caché para almacenar en caché los accesos a memoria. La memoria caché puede ser una única memoria caché de datos o estar separada en múltiples memorias caché para los múltiples subsistemas que acceden a la memoria a través del puerto de datos (por ejemplo, una memoria caché de memoria intermedia de renderizado, una memoria caché de memoria intermedia constante, etc.). En algunas realizaciones, los hilos que se ejecutan en una unidad de ejecución en la matriz de unidades de ejecución 1914 se comunican con el puerto de datos intercambiando mensajes mediante una interconexión de distribución de datos que acopla cada uno de los subsistemas de GPE 1910.
Unidades de ejecución
La Figura 20 es un diagrama de bloques de otra realización de un procesador de gráficos 2000. Los elementos de la Figura 20 que tienen los mismos números de referencia (o nombres) que los elementos de cualquier otra figura de la presente pueden operar o funcionar de cualquier manera similar a la descrita en otra parte de la presente, pero no se limitan a ello.
En algunas realizaciones, el procesador de gráficos 2000 incluye una interconexión en anillo 2002, un extremo frontal de canalización 2004, un motor de medios 2037 y núcleos gráficos 2080A-2080N. En algunas realizaciones, la interconexión en anillo 2002 acopla el procesador de gráficos a otras unidades de procesamiento, incluidos otros procesadores gráficos o uno o más núcleos de procesador de propósito general. En algunas realizaciones, el procesador de gráficos es uno de los muchos procesadores integrados dentro de un sistema de procesamiento multinúcleo.
En algunas realizaciones, el procesador de gráficos 2000 recibe lotes de comandos a través de la interconexión en anillo 2002. Los comandos entrantes son interpretados por un transmisor de comandos 2003 en el extremo frontal de la canalización 2004. En algunas realizaciones, el procesador de gráficos 2000 incluye una lógica de ejecución escalable para realizar el procesamiento de geometría 3D y el procesamiento de medios a través del núcleo o núcleos gráficos 2080A-2080N. Para los comandos de procesamiento de geometría 3D, el transmisor de comandos 2003 suministra comandos a la canalización de geometría 2036. Para al menos algunos comandos de procesamiento de medios, el transmisor de comandos 2003 suministra los comandos a un extremo frontal de vídeo 2034, que se acopla con un motor de medios 2037. En algunas realizaciones, el motor de medios 2037 incluye un motor de calidad de vídeo (VQE) 2030 para el postprocesamiento de vídeo e imágenes y un motor de codificación/decodificación multiformato (MFX) 2033 para proporcionar codificación y decodificación de datos de medios acelerada por hardware. En algunas realizaciones, la canalización de geometría 2036 y el motor de medios 2037 generan cada uno hilos de ejecución para los recursos de ejecución de hilos proporcionados por al menos un núcleo gráfico 2080A.
En algunas realizaciones, el procesador de gráficos 2000 incluye recursos de ejecución de hilos escalables que presentan núcleos modulares 2080A-2080N (a veces denominados secciones de núcleo), cada uno de los cuales tiene múltiples subnúcleos 2050A-2050N, 2060A-2060N (a veces denominados porciones de núcleo). En algunas realizaciones, el procesador de gráficos 2000 puede tener cualquier número de núcleos de gráficos 2080A a 2080N.
En algunas realizaciones, el procesador de gráficos 2000 incluye un núcleo de gráficos 2080A que tiene al menos un primer subnúcleo 2050A y un segundo subnúcleo de núcleo 2060A. En otras realizaciones, el procesador de gráficos es un procesador de baja potencia con un único subnúcleo (por ejemplo, 2050A). En algunas realizaciones, el procesador de gráficos 2000 incluye múltiples núcleos de gráficos 2080A-2080N, incluyendo cada uno un conjunto de primeros subnúcleos 2050A-2050N y un conjunto de segundos subnúcleos 2060A-2060N. Cada subnúcleo del conjunto de primeros subnúcleos 2050A-2050N incluye al menos un primer conjunto de unidades de ejecución 2052A-2052N y muestreadores de medios/textura 2054A-2054N. Cada subnúcleo del conjunto de segundos subnúcleos 2060A-2060N incluye al menos un segundo conjunto de unidades de ejecución 2062A-2062N y muestreadores 2064A-2064N. En algunas realizaciones, cada subnúcleo 2050A-2050N, 2060A-2060N comparte un conjunto de recursos compartidos 2070A-2070N. En algunas realizaciones, los recursos compartidos incluyen memoria caché compartida y lógica de operación de píxeles. También se pueden incluir otros recursos compartidos en las diversas realizaciones del procesador gráfico.
La Figura 21 ilustra la lógica de ejecución de hilos 2100 que incluye una matriz de elementos de procesamiento empleados en algunas realizaciones de un GPE. Los elementos de la Figura 21 que tienen los mismos números de referencia (o nombres) que los elementos de cualquier otra figura de la presente pueden operar o funcionar de cualquier manera similar a la descrita en otra parte de la presente, pero no se limitan a ello.
En algunas realizaciones, la lógica de ejecución de hilos 2100 incluye un sombreador de píxeles 2102, un despachador de hilos 2104, memoria caché de instrucciones 2106, una matriz de unidades de ejecución escalables que incluye una pluralidad de unidades de ejecución 2108A-2108N, un muestreador 2110, una memoria caché de datos 2112 y un puerto de datos 2114. En una realización, los componentes incluidos están interconectados a través de una estructura de interconexión que se vincula a cada uno de los componentes. En algunas realizaciones, la lógica de ejecución de hilos 2100 incluye una o más conexiones a la memoria, tales como la memoria del sistema o la memoria caché, a través de uno o más de la memoria caché de instrucciones 2106, el puerto de datos 2114, el muestreador 2110 y la matriz de unidades de ejecución 2108A-2108N. En algunas realizaciones, cada unidad de ejecución (por ejemplo, 2108A) es un procesador de vector individual que puede ejecutar múltiples hilos simultáneos y procesar múltiples elementos de datos en paralelo para cada hilo. En algunas realizaciones, la matriz de unidades de ejecución 2108A-2108N incluye cualquier número de unidades de ejecución individuales.
En algunas realizaciones, la matriz de unidades de ejecución 2108A-2108N se utiliza principalmente para ejecutar programas "sombreadores". En algunas realizaciones, las unidades de ejecución en la matriz 2108A-2108N ejecutan un conjunto de instrucciones que incluye soporte nativo para muchas instrucciones de sombreado de gráficos 3D estándar, de modo que los programas de sombreado de las bibliotecas de gráficos (por ejemplo, Direct 3D y OpenGL) se ejecutan con una traducción mínima. Las unidades de ejecución admiten el procesamiento de vértices y geometría (por ejemplo, programas de vértices, programas de geometría, sombreadores de vértices), el procesamiento de píxeles (por ejemplo, sombreadores de píxeles, sombreadores de fragmentos) y el procesamiento de propósito general (por ejemplo, sombreadores de medios y de cómputo).
Cada unidad de ejecución en la matriz de unidades de ejecución 2108A-2108N opera en matrices de elementos de datos. El número de elementos de datos es el "tamaño de ejecución" o el número de canales para la instrucción. Un canal de ejecución es una unidad lógica de ejecución para el acceso a elementos de datos, el enmascaramiento y el control de flujo dentro de las instrucciones. La cantidad de canales puede ser independiente de la cantidad de unidades lógicas aritméticas (ALU) o unidades de coma flotante (FPU) físicas para un procesador de gráficos en particular. En algunas realizaciones, las unidades de ejecución 2108A-2108N admiten tipos de datos enteros y de coma flotante.
El conjunto de instrucciones de la unidad de ejecución incluye instrucciones de instrucción única y múltiples datos (SIMD). Los diversos elementos de datos se pueden almacenar como un tipo de datos empaquetados en un registro y la unidad de ejecución procesará los diversos elementos en función del tamaño de los datos de los elementos. Por ejemplo, cuando se opera sobre un vector de 256 bits de ancho, los 256 bits del vector se almacenan en un registro y la unidad de ejecución opera sobre el vector como cuatro elementos de datos empaquetados separados de 64 bits (elementos de datos de tamaño cuádruple palabra (QW,Quad-Word)),ocho elementos de datos empaquetados separados de 32 bits (elementos de datos de tamaño doble palabra (DW,Double Word)),dieciséis elementos de datos empaquetados separados de 16 bits (elementos de datos de tamaño palabra (W,Word))o treinta y dos elementos de datos separados de 8 bits (elementos de datos de tamaño byte (B)). Sin embargo, son posibles diferentes anchos de vector y tamaños de registro.
Se incluyen una o más memorias caché de instrucciones internas (por ejemplo, 2106) en la lógica de ejecución de hilos 2100 para almacenar en memoria caché las instrucciones de hilos para las unidades de ejecución. En algunas realizaciones, se incluyen una o más memorias caché de datos (por ejemplo, 2112) para almacenar en memoria caché los datos de los hilos durante la ejecución de los mismos. En algunas realizaciones, se incluye un muestreador 2110 para proporcionar un muestreo de textura para operaciones 3D y muestreo de medios para operaciones de medios. En algunas realizaciones, el muestreador 2110 incluye una funcionalidad especializada de muestreo de texturas o medios para procesar los datos de texturas o medios durante el proceso de muestreo antes de proporcionar los datos muestreados a una unidad de ejecución.
Durante la ejecución, las canalizaciones de gráficos y medios envían solicitudes de inicio de hilos a la lógica de ejecución de hilos 2100 a través de la lógica de generación y envío de hilos. En algunas realizaciones, la lógica de ejecución de hilos 2100 incluye un despachador de hilos local 2104 que arbitra las solicitudes de inicio de hilos de las canalizaciones de gráficos y medios y genera instancias a los hilos solicitados en una o más unidades de ejecución 2108A-2108N. Por ejemplo, la canalización de geometría (por ejemplo, 2036 de la Figura 20) despacha hilos de procesamiento de vértices, teselación o procesamiento de geometría a la lógica de ejecución de hilos 2100 (Figura 21). En algunas realizaciones, el despachador de hilos 2104 puede procesar también hilos en tiempo de ejecución que generan solicitudes desde los programas sombreadores de ejecución.
Una vez que se ha procesado y rasterizado un grupo de objetos geométricos en datos de píxeles, se invoca el sombreador de píxeles 2102 para calcular más información de salida y hacer que los resultados se escriban en superficies de salida (por ejemplo, memorias intermedias de color, memorias intermedias de profundidad, memorias intermedias de estarcido, etc.). En algunas realizaciones, el sombreador de píxeles 2102 calcula los valores de los diversos atributos de vértice que se van a interpolar en el objeto rasterizado. En algunas realizaciones, el sombreador de píxeles 2102 a continuación ejecuta un programa de sombreador de píxeles suministrado por la interfaz de programación de aplicaciones (API). Para ejecutar el programa de sombreado de píxeles, el sombreador de píxeles 2102 envía hilos a una unidad de ejecución (por ejemplo, 2108A) a través del despachador de hilos 2104. En algunas realizaciones, el sombreador de píxeles 2102 utiliza la lógica de muestreo de textura en el muestreador 2110 para acceder a datos de textura en mapas de textura almacenados en memoria. Las operaciones aritméticas en los datos de textura y los datos de geometría de entrada calculan datos de color de píxel para cada fragmento geométrico o descartan uno o más píxeles del procesamiento posterior.
En algunas realizaciones, el puerto de datos 2114 proporciona un mecanismo de acceso a la memoria para que la lógica de ejecución de hilos 2100 envíe datos procesados a la memoria para su procesamiento en una canalización de salida del procesador gráfico. En algunas realizaciones, el puerto de datos 2114 incluye o se acopla a una o más memorias caché (por ejemplo, memoria caché de datos 2112) para almacenar en memoria caché datos para el acceso a la memoria a través del puerto de datos.
La Figura 22 es un diagrama de bloques que ilustra los formatos de instrucción del procesador de gráficos 2200 de acuerdo con algunas realizaciones. En una o más realizaciones, las unidades de ejecución del procesador de gráficos admiten un conjunto de instrucciones que tiene instrucciones en múltiples formatos. Los recuadros de línea continua ilustran los componentes que generalmente se incluyen en una instrucción de unidad de ejecución, mientras que las líneas discontinuas incluyen componentes que son opcionales o que solo se incluyen en un subconjunto de las instrucciones. En algunas realizaciones, el formato de instrucción 2200 descrito e ilustrado son macroinstrucciones, en el sentido de que son instrucciones suministradas a la unidad de ejecución, en contraposición a las microoperaciones resultantes de la decodificación de instrucciones una vez que se procesa la instrucción.
En algunas realizaciones, las unidades de ejecución del procesador de gráficos admiten de forma nativa instrucciones en un formato de 128 bits 2210. Un formato de instrucción compactado de 64 bits 2230 está disponible para algunas instrucciones en función de la instrucción seleccionada, las opciones de instrucción y el número de operandos. El formato nativo de 128 bits 2210 proporciona acceso a todas las opciones de instrucción, mientras que algunas opciones y operaciones están restringidas en el formato de 64 bits 2230. Las instrucciones nativas disponibles en el formato de 64 bits 2230 varían según la realización. En algunas realizaciones, la instrucción se compacta en parte utilizando un conjunto de valores de índice en un campo de índice 2213. El hardware de la unidad de ejecución hace referencia a un conjunto de tablas de compactación en función de los valores de índice y utiliza las salidas de la tabla de compactación para reconstruir una instrucción nativa en el formato de 128 bits 2210.
Para cada formato, el código de operación de instrucción 2212 define la operación que la unidad de ejecución debe realizar. Las unidades de ejecución ejecutan cada instrucción en paralelo a través de los múltiples elementos de datos de cada operando. Por ejemplo, en respuesta a una instrucción de suma, la unidad de ejecución realiza una operación de suma simultánea a través de cada canal de color que representa un elemento de textura o un elemento de imagen. De manera predeterminada, la unidad de ejecución realiza cada instrucción a través de todos los canales de datos de los operandos. En algunas realizaciones, el campo de control de instrucción 2214 permite el control sobre ciertas opciones de ejecución, tales como la selección de canales (por ejemplo, predicción) y el orden de los canales de datos (por ejemplo, swizzle). Para las instrucciones de 128 bits 2210, un campo de tamaño de ejecución 2216 limita la cantidad de canales de datos que se ejecutarán en paralelo. En algunas realizaciones, el campo de tamaño de ejecución 2216 no está disponible para su uso en el formato de instrucción compacta de 64 bits 2230.
Algunas instrucciones de unidad de ejecución tienen hasta tres operandos que incluyen dos operandos fuente, src0 2220, src1 2222 y un destino 2218. En algunas realizaciones, las unidades de ejecución admiten instrucciones de destino dual, donde uno de los destinos está implícito. Las instrucciones de manipulación de datos pueden tener un tercer operando fuente (por ejemplo, SRC2 2224), donde el código de operación de instrucción 2212 determina la cantidad de operandos fuente. El último operando fuente de una instrucción puede ser un valor inmediato (por ejemplo, codificado de forma rígida) que se pasa con la instrucción.
En algunas realizaciones, el formato de instrucción de 128 bits 2210 incluye una información de modo de acceso/dirección 2226 que especifica, por ejemplo, si se utiliza el modo de direccionamiento de registro directo o el modo de direccionamiento de registro indirecto. Cuando se utiliza el modo de direccionamiento de registro directo, la dirección de registro de uno o más operandos se proporciona directamente mediante bits en la instrucción 2210.
En algunas realizaciones, el formato de instrucción de 128 bits 2210 incluye un campo de modo de acceso/dirección 2226, que especifica un modo de dirección y/o un modo de acceso para la instrucción. En una realización, el modo de acceso define una alineación de acceso a datos para la instrucción. Algunas realizaciones admiten modos de acceso que incluyen un modo de acceso alineado de 16 bytes y un modo de acceso alineado de 1 byte, donde la alineación de bytes del modo de acceso determina la alineación de acceso de los operandos de instrucción. Por ejemplo, cuando está en un primer modo, la instrucción 2210 puede utilizar direccionamiento alineado por bytes para los operandos fuente y destino y cuando está en un segundo modo, la instrucción 2210 puede utilizar direccionamiento alineado por 16 bytes para todos los operandos fuente y destino.
En una realización, la parte de modo de dirección del campo de modo de acceso/dirección 2226 determina si la instrucción debe utilizar direccionamiento directo o indirecto. Cuando se utiliza el modo de direccionamiento de registro directo, los bits de la instrucción 2210 proporcionan directamente la dirección de registro de uno o más operandos. Cuando se utiliza el modo de direccionamiento de registro indirecto, la dirección de registro de uno o más operandos se puede calcular en función de un valor de registro de dirección y un campo inmediato de dirección en la instrucción.
En algunas realizaciones, las instrucciones se agrupan en función de los campos de bits del código de operación 2212 para simplificar la decodificación del código de operación 2240. Para un código de operación de 8 bits, los bits 4, 5 y 6 permiten que la unidad de ejecución determine el tipo de código de operación. La agrupación precisa de códigos de operación que se muestra es simplemente un ejemplo. En algunas realizaciones, un grupo de código de operación de movimiento y lógica 2242 incluye instrucciones lógicas y de movimiento de datos (por ejemplo, mover (mov), comparar (cmp)). En algunas realizaciones, el grupo de movimiento y lógica 2242 comparte los cinco bits más significativos (MSB), donde las instrucciones de movimiento (mov) tienen la forma 0000xxxxb y las instrucciones lógicas tienen la forma 000lxxxxb. Un grupo de instrucciones de control de flujo 2244 (por ejemplo, llamada, salto (jmp)) incluye instrucciones en la forma 0010xxxxb (por ejemplo, 0x20). Un grupo de instrucciones misceláneas 2246 incluye una mezcla de instrucciones, incluidas instrucciones de sincronización (por ejemplo, esperar, enviar) en la forma 001 1xxxxb (por ejemplo, 0x30). Un grupo de instrucciones matemáticas paralelas 2248 incluye instrucciones aritméticas por componente (por ejemplo, suma, multiplicación (mul)) en la forma 0100xxxxb (por ejemplo, 0x40). El grupo matemático paralelo 2248 realiza las operaciones aritméticas en paralelo a través de los canales de datos. El grupo matemático vectorial 2250 incluye instrucciones aritméticas (por ejemplo, dp4) en la forma de 0101 xxxxb (por ejemplo, 0x50). El grupo de matemáticas vectoriales realiza operaciones aritméticas, tales como cálculos de producto escalar, sobre operandos vectoriales.
Canalización de gráficos
La Figura 23 es un diagrama de bloques de otra realización de un procesador de gráficos 2300. Los elementos de la Figura 23 que tienen los mismos números de referencia (o nombres) que los elementos de cualquier otra figura de la presente pueden operar o funcionar de cualquier manera similar a la descrita en otra parte de la presente, pero no se limitan a ello.
En algunas realizaciones, el procesador de gráficos 2300 incluye una canalización de gráficos 2320, una canalización de medios 2330, un motor de visualización 2340, una lógica de ejecución de hilos 2350 y una canalización de salida de renderizado 2370. En algunas realizaciones, el procesador de gráficos 2300 es un procesador de gráficos dentro de un sistema de procesamiento multinúcleo que incluye uno o más núcleos de procesamiento de propósito general. El procesador de gráficos se controla mediante escrituras de registros en uno o más registros de control (no se muestran) o mediante comandos emitidos al procesador de gráficos 2300 a través de una interconexión de anillo 2302. En algunas realizaciones, la interconexión de anillo 2302 acopla el procesador de gráficos 2300 a otros componentes de procesamiento, tales como otros procesadores de gráficos o procesadores de propósito general. Los comandos de la interconexión de anillo 2302 son interpretados por un transmisor de comandos 2303, que suministra instrucciones a componentes individuales de la canalización de gráficos 2320 o la canalización de medios 2330.
En algunas realizaciones, el transmisor de comandos 2303 dirige la operación de un extractor de vértices 2305 que lee datos de vértices de la memoria y ejecuta comandos de procesamiento de vértices proporcionados por el transmisor de comandos 2303. En algunas realizaciones, el extractor de vértices 2305 proporciona datos de vértices a un sombreador de vértices 2307, que realiza operaciones de transformación de espacio de coordenadas e iluminación para cada vértice. En algunas realizaciones, el extractor de vértices 2305 y el sombreador de vértices 2307 ejecutan instrucciones de procesamiento de vértices despachando hilos de ejecución a unidades de ejecución 2352A, 2352B mediante un despachador de hilos 2331.
En algunas realizaciones, las unidades de ejecución 2352A, 2352B son una matriz de procesadores vectoriales que tienen un conjunto de instrucciones para realizar operaciones gráficas y multimedia. En algunas realizaciones, las unidades de ejecución 2352A, 2352B tienen una memoria caché Ll 2351 conectada que es específica para cada matriz o compartida entre las matrices. La memoria caché se puede configurar como una memoria caché de datos, una memoria caché de instrucciones o una única memoria caché que está dividida para contener datos e instrucciones en diferentes particiones.
En algunas realizaciones, la canalización de gráficos 2320 incluye componentes de teselación para realizar la teselación acelerada por hardware de objetos 3D. En algunas realizaciones, un sombreador de casco programable 2311 configura las operaciones de teselación. Un sombreador de dominio programable 2317 proporciona una evaluación de extremo posterior de la salida de la teselación. Un teselador 2313 opera bajo la dirección del sombreador de casco 2311 y contiene una lógica de propósito especial para generar un conjunto de objetos geométricos detallados basados en un modelo geométrico grueso que se proporciona como entrada a la canalización de gráficos 2320. En algunas realizaciones, si no se utiliza la teselación, se pueden omitir los componentes de teselación 2311,2313, 2317.
En algunas realizaciones, un sombreador de geometría 2319 puede procesar objetos geométricos completos a través de uno o más hilos enviados a las unidades de ejecución 2352A, 2352B, o puede proceder directamente al recortador 2329. En algunas realizaciones, el sombreador de geometría opera sobre objetos geométricos completos, en lugar de vértices o parches de vértices como en etapas anteriores de la canalización de gráficos. Si la teselación está deshabilitada, el sombreador de geometría 2319 recibe la entrada del sombreador de vértices 2307. En algunas realizaciones, el sombreador de geometría 2319 es programable mediante un programa de sombreador de geometría para realizar la teselación de geometría si las unidades de teselación están deshabilitadas.
Antes de la rasterización, un recortador 2329 procesa los datos de vértice. El recortador 2329 puede ser un recortador de función fija o un recortador programable que tenga funciones de recorte y sombreador de geometría. En algunas realizaciones, un rasterizador 2373 (por ejemplo, el componente de prueba de profundidad) en la canalización de salida de representación 2370 despacha sombreadores de píxeles para convertir los objetos geométricos en sus representaciones por píxeles. En algunas realizaciones, la lógica de sombreador de píxeles está incluida en la lógica de ejecución de hilos 2350. En algunas realizaciones, una aplicación puede omitir el rasterizador 2373 y acceder a datos de vértices no rasterizados mediante una unidad de salida de flujo 2323.
El procesador de gráficos 2300 tiene un bus de interconexión, una estructura de interconexión o algún otro mecanismo de interconexión que permite el paso de datos y mensajes entre los componentes principales del procesador. En algunas realizaciones, las unidades de ejecución 2352A, 2352B y la(s) memoria(s) caché asociada(s) 2351, el muestreador de texturas y medios 2354 y la memoria caché de texturas/muestreadores 2358 se interconectan a través de un puerto de datos 2356 para realizar el acceso a la memoria y comunicarse con los componentes de la canalización de salida de renderizado del procesador. En algunas realizaciones, el muestreador 2354, las memorias caché 2351, 2358 y las unidades de ejecución 2352A, 2352B tienen cada uno rutas de acceso a memoria independientes.
En algunas realizaciones, la canalización de salida de renderizado 2370 contiene un rasterizador 2373 que convierte objetos basados en vértices en una representación asociada basada en píxeles. En algunas realizaciones, la lógica del rasterizador incluye una unidad de enmascaramiento/ventana para realizar la rasterización de triángulos y líneas de función fija. En algunas realizaciones también están disponibles una memoria caché de renderizado asociada 2378 y una memoria caché de profundidad 2379. Un componente de operaciones de píxeles 2377 realiza operaciones basadas en píxeles sobre los datos, aunque en algunos casos, las operaciones de píxeles asociadas con operaciones 2D (por ejemplo, transferencias de imágenes de bloques de bits con mezcla) son realizadas por el motor 2D 2341, o sustituidas en el momento de la visualización por el controlador de visualización 2343 utilizando planos de visualización superpuestos. En algunas realizaciones, una memoria caché L3 compartida 2375 está disponible para todos los componentes gráficos, lo que permite compartir datos sin el uso de la memoria principal del sistema.
En algunas realizaciones, la canalización de medios del procesador de gráficos 2330 incluye un motor de medios 2337 y un extremo frontal de vídeo 2334. En algunas realizaciones, el extremo frontal de vídeo 2334 recibe comandos de canalización del transmisor de comandos 2303. En algunas realizaciones, la canalización de medios 2330 incluye un transmisor de comandos independiente. En algunas realizaciones, el extremo frontal de vídeo 2334 procesa comandos de medios antes de enviar el comando al motor de medios 2337. En algunas realizaciones, el motor de medios 2337 incluye una funcionalidad de generación de hilos para generar hilos para su envío a la lógica de ejecución de hilos 2350 a través del despachador de hilos 2331.
En algunas realizaciones, el procesador de gráficos 2300 incluye un motor de visualización 2340. En algunas realizaciones, el motor de visualización 2340 es externo al procesador 2300 y se acopla con el procesador de gráficos a través de la interconexión de anillo 2302, o algún otro bus o estructura de interconexión. En algunas realizaciones, el motor de visualización 2340 incluye un motor 2D 2341 y un controlador de visualización 2343. En algunas realizaciones, el motor de visualización 2340 contiene una lógica de propósito especial capaz de funcionar independientemente de la secuencia de procesamiento 3D. En algunas realizaciones, el controlador de visualización 2343 se acopla con un dispositivo de visualización (no mostrado), que puede ser un dispositivo de visualización integrado en el sistema, como un ordenador portátil, o un dispositivo de visualización externo conectado a través de un conector de dispositivo de visualización.
En algunas realizaciones, la canalización de gráficos 2320 y la canalización de medios 2330 se pueden configurar para realizar operaciones basadas en múltiples interfaces de programación de gráficos y medios y no son específicas de ninguna interfaz de programación de aplicaciones (API). En algunas realizaciones, el software del controlador para el procesador de gráficos traduce las llamadas de API que son específicas de una biblioteca de gráficos o medios en particular en comandos que pueden ser procesados por el procesador de gráficos. En algunas realizaciones, se proporciona soporte para Open Graphics Library (OpenGL) y Open Computing Language (OpenCL) del Grupo Khronos, la biblioteca Direct3D de Microsoft Corporation, o se puede proporcionar soporte tanto para OpenGL como para D3D. También se puede proporcionar soporte para Open Source Computer Vision Library (OpenCV). Una futura API con una canalización 3D compatible también sería compatible si se puede realizar un mapeo desde la canalización de la futura API a la canalización del procesador gráfico.
Programación de canalización de gráficos
La Figura 24A es un diagrama de bloques que ilustra un formato de comando de procesador de gráficos 2400 de acuerdo con algunas realizaciones. La Figura 24B es un diagrama de bloques que ilustra una secuencia de comandos de procesador de gráficos 2410 de acuerdo con una realización. Los recuadros de línea continua en la Figura 24A ilustran los componentes que generalmente se incluyen en un comando de gráficos mientras que las líneas discontinuas incluyen componentes que son opcionales o que solo se incluyen en un subconjunto de los comandos de gráficos. El formato de comando de procesador de gráficos 2400 ejemplar de la Figura 24A incluye campos de datos para identificar un cliente objetivo 2402 del comando, un código de operación de comando (opcode) 2404 y los datos relevantes 2406 para el comando. En algunos comandos también se incluyen un subcódigo de operación 2405 y un tamaño de comando 2408.
En algunas realizaciones, el cliente 2402 especifica la unidad cliente del dispositivo gráfico que procesa los datos del comando. En algunas realizaciones, un analizador de comandos del procesador de gráficos examina el campo cliente de cada comando para condicionar el procesamiento posterior del comando y enrutar los datos del comando a la unidad cliente adecuada. En algunas realizaciones, las unidades cliente del procesador de gráficos incluyen una unidad de interfaz de memoria, una unidad de renderización, una unidad 2D, una unidad 3D y una unidad multimedia. Cada unidad cliente tiene una canalización de procesamiento correspondiente que procesa los comandos. Una vez que la unidad cliente recibe el comando, la unidad cliente lee el código de operación 2404 y, si está presente, el subcódigo de operación 2405 para determinar la operación a realizar. La unidad cliente ejecuta el comando utilizando información en el campo de datos 2406. Para algunos comandos, se espera que un tamaño de comando explícito 2408 especifique el tamaño del comando. En algunas realizaciones, el analizador de comandos determina automáticamente el tamaño de al menos algunos de los comandos en función del código de operación del comando. En algunas realizaciones, los comandos se alinean mediante múltiplos de una palabra doble.
El diagrama de flujo en la Figura 24B muestra una secuencia de comandos de procesador de gráficos 2410 ejemplar. En algunas realizaciones, el software o firmware de un sistema de procesamiento de datos que presenta una realización de un procesador de gráficos utiliza una versión de la secuencia de comandos mostrada para configurar, ejecutar y finalizar un conjunto de operaciones gráficas. Se muestra y describe una secuencia de comandos de muestra solo con fines de ejemplo, ya que las realizaciones no se limitan a estos comandos específicos ni a esta secuencia de comandos. Además, los comandos se pueden emitir como lotes de comandos en una secuencia de comandos, de modo que el procesador de gráficos procesará la secuencia de comandos al menos parcialmente de forma simultánea.
En algunas realizaciones, la secuencia de comandos del procesador de gráficos 2410 puede comenzar con un comando de vaciado de canalización 2412 para hacer que cualquier canalización de gráficos activa complete los comandos pendientes actualmente para la canalización. En algunas realizaciones, la canalización 3D 2422 y la canalización de medios 2424 no funcionan simultáneamente. El vaciado de canalización se realiza para hacer que la canalización de gráficos activa complete los comandos pendientes. En respuesta a un vaciado de canalización, el analizador de comandos para el procesador de gráficos pausará el procesamiento de comandos hasta que los motores de dibujo activos completen las operaciones pendientes y se invaliden las memorias caché de lectura relevantes. Opcionalmente, cualquier dato en la memoria caché de renderizado que esté marcado como "sucio" se puede vaciar a la memoria. En algunas realizaciones, el comando de vaciado de canalización 2412 se puede utilizar para la sincronización de canalización o antes de colocar el procesador de gráficos en un estado de bajo consumo.
En algunas realizaciones, se utiliza un comando de selección de canalización 2413 cuando una secuencia de comandos requiere que el procesador de gráficos cambie explícitamente entre canalizaciones. En algunas realizaciones, se requiere un comando de selección de canalización 2413 solo una vez dentro de un contexto de ejecución antes de emitir comandos de canalización a menos que el contexto sea emitir comandos para ambas canalizaciones. En algunas realizaciones, se requiere un comando de vaciado de canalización 2412 inmediatamente antes de un cambio de canalización a través del comando de selección de canalización 2413.
En algunas realizaciones, un comando de control de canalización 2414 configura una canalización de gráficos para su funcionamiento y se utiliza para programar la canalización 3D 2422 y la canalización de medios 2424. En algunas realizaciones, el comando de control de canalización 2414 configura el estado de la canalización para la canalización activa. En una realización, el comando de control de canalización 2414 se utiliza para la sincronización de la canalización y para borrar datos de una o más memorias caché dentro de la canalización activa antes de procesar un lote de comandos.
En algunas realizaciones, los comandos de estado de memoria intermedia de retorno 2416 se utilizan para configurar un conjunto de memorias intermedias de retorno para que las respectivas canalizaciones escriban datos. Algunas operaciones de canalización requieren la asignación, selección o configuración de una o más memorias intermedias de retorno en las que las operaciones escriben datos intermedios durante el procesamiento. En algunas realizaciones, el procesador de gráficos también utiliza una o más memorias intermedias de retorno para almacenar datos de salida y para realizar comunicación entre hilos. En algunas realizaciones, el estado de la memoria intermedia de retorno 2416 incluye la selección del tamaño y la cantidad de memorias intermedias de retorno que se utilizarán para un conjunto de operaciones de canalización.
Los comandos restantes en la secuencia de comandos difieren en función de la canalización activa para las operaciones. En función de una determinación de canalización 2420, la secuencia de comandos se adapta a la canalización 3D 2422 comenzando con el estado de canalización 3D 2430, o la canalización de medios 2424 comenzando en el estado de canalización de medios 2440.
Los comandos para el estado de canalización 3D 2430 incluyen comandos de configuración de estado 3D para el estado de la memoria intermedia de vértice, el estado del elemento de vértice, el estado de color constante, el estado de la memoria intermedia de profundidad y otras variables de estado que se deben configurar antes de que se procesen los comandos de primitivas 3D. Los valores de estos comandos se determinan, al menos en parte, basándose en la API 3D particular en utilización. En algunas realizaciones, los comandos de estado de canalización 3D 2430 también pueden inhabilitar o eludir selectivamente ciertos elementos de la canalización si esos elementos no se utilizarán.
En algunas realizaciones, el comando de primitiva 3D 2432 se utiliza para enviar primitivas 3D para que sean procesados por la canalización 3D. Los comandos y los parámetros asociados que se pasan al procesador de gráficos a través del comando de primitiva 3D 2432 se reenvían a la función de búsqueda de vértices en la canalización de gráficos. La función de extracción de vértices utiliza los datos del comando de primitiva 3D 2432 para generar estructuras de datos de vértices. Las estructuras de datos de vértices se almacenan en una o más memorias intermedias de retorno. En algunas realizaciones, el comando de primitiva 3D 2432 se utiliza para realizar operaciones de vértice en primitivas 3D a través de sombreadores de vértices. Para procesar sombreadores de vértices, la canalización 3D 2422 envía hilos de ejecución de sombreadores a unidades de ejecución de procesadores de gráficos.
En algunas realizaciones, la canalización 3D 2422 se activa a través de un comando o evento de ejecución 2434. En algunas realizaciones, una escritura de registro activa la ejecución del comando. En algunas realizaciones, la ejecución se activa a través de un comando 'go' o 'kick' en la secuencia de comandos. En una realización, la ejecución del comando se activa utilizando un comando de sincronización de canalización para vaciar la secuencia de comandos a través de la canalización de gráficos. La canalización 3D realizará el procesamiento de geometría para las primitivas 3D. Una vez que se completan las operaciones, los objetos geométricos resultantes se rasterizan y el motor de píxeles colorea los píxeles resultantes. También se pueden incluir comandos adicionales para controlar el sombreado de píxeles y las operaciones de extremo posterior de píxeles para esas operaciones.
En algunas realizaciones, la secuencia de comandos del procesador de gráficos 2410 sigue la ruta de la canalización de medios 2424 al realizar operaciones de medios. En general, el uso específico y la manera de programar para la canalización de medios 2424 dependen de los medios o las operaciones de cómputo que se realizarán. Las operaciones de decodificación de medios específicas se pueden descargar a la canalización de medios durante la decodificación de medios. En algunas realizaciones, la canalización de medios también se puede omitir y la decodificación de medios se puede realizar en su totalidad o en parte utilizando recursos proporcionados por uno o más núcleos de procesamiento de propósito general. En una realización, la canalización de medios también incluye elementos para operaciones de la unidad de procesador de gráficos de propósito general (GPGPU), donde el procesador de gráficos se utiliza para realizar operaciones vectoriales SIMD utilizando programas de sombreado computacional que no están relacionados explícitamente con la representación de primitivas de gráficos.
En algunas realizaciones, la canalización de medios 2424 está configurada de una manera similar a la canalización 3D 2422. Se despacha o se coloca un conjunto de comandos de estado de canalización de medios 2440 en una cola de comandos antes de los comandos de objeto de medios 2442. En algunas realizaciones, los comandos de estado de canalización de medios 2440 incluyen datos para configurar los elementos de canalización de medios que se usarán para procesar los objetos de medios. Esto incluye datos para configurar la lógica de decodificación y codificación de vídeo dentro de la canalización de medios, tal como el formato de codificación o decodificación. En algunas realizaciones, los comandos de estado de canalización de medios 2440 también soportan el uso de uno o más punteros a elementos de estado "indirecto" que contienen un lote de ajustes de estado.
En algunas realizaciones, los comandos de objetos de medios 2442 proporcionan punteros a objetos de medios para su procesamiento por la canalización de medios. Los objetos de medios incluyen memorias intermedias de memoria que contienen datos de vídeo que se procesarán. En algunas realizaciones, todos los estados de la canalización de medios deben ser válidos antes de emitir un comando de objeto de medios 2442. Una vez que el estado de la canalización está configurado y los comandos de objeto de medios 2442 están en cola, la canalización de medios 2424 se activa a través de un comando de ejecución 2444 o un evento de ejecución equivalente (por ejemplo, escritura de registro). La salida de la línea de medios 2424 puede entonces ser procesada posteriormente por operaciones proporcionadas por la canalización 3D 2422 o la canalización de medios 2424. En algunas realizaciones, las operaciones GPGPU se configuran y ejecutan de una manera similar a las operaciones de medios.
Arquitectura de software de gráficos
La Figura 25 ilustra una arquitectura de software de gráficos ejemplar para un sistema de procesamiento de datos 2500 de acuerdo con algunas realizaciones. En algunas realizaciones, la arquitectura de software incluye una aplicación de gráficos 3D 2510, un sistema operativo 2520 y al menos un procesador 2530. En algunas realizaciones, el procesador 2530 incluye un procesador de gráficos 2532 y uno o más núcleos de procesador de propósito general 2534. La aplicación de gráficos 2510 y el sistema operativo 2520 se ejecutan cada uno en la memoria del sistema 2550 del sistema de procesamiento de datos.
En algunas realizaciones, la aplicación de gráficos 3D 2510 contiene uno o más programas de sombreado que incluyen instrucciones de sombreado 2512. Las instrucciones del lenguaje de sombreado pueden estar en un lenguaje de sombreado de alto nivel, tal como el lenguaje de sombreado de alto nivel (HLSL) o el lenguaje de sombreado OpenGL (GLSL). La aplicación también incluye instrucciones ejecutables 2514 en un lenguaje de máquina adecuado para su ejecución por el núcleo de procesador de propósito general 2534. La aplicación también incluye objetos gráficos 2516 definidos por datos de vértice.
En algunas realizaciones, el sistema operativo 2520 es un sistema operativo Microsoft® Windows® de Microsoft Corporation, un sistema operativo propietario similar a UNIX o un sistema operativo de código abierto similar a UNIX que utiliza una variante del núcleo Linux. Cuando se utiliza la API Direct3D, el sistema operativo 2520 utiliza un compilador de sombreado de extremo frontal 2524 para compilar cualquier instrucción de sombreado 2512 en HLSL en un lenguaje de sombreado de nivel inferior. La compilación puede ser una compilación justo a tiempo (JIT) o la aplicación puede realizar una precompilación de sombreado. En algunas realizaciones, los sombreadores de alto nivel se compilan en sombreadores de bajo nivel durante la compilación de la aplicación de gráficos 3D 2510.
En algunas realizaciones, el controlador de gráficos de modo de usuario 2526 contiene un compilador de sombreadores de extremo posterior 2527 para convertir las instrucciones de sombreador 2512 en una representación específica de hardware. Cuando se utiliza la API OpenGL, las instrucciones de sombreador 2512 en el lenguaje de alto nivel GLSL se pasan a un controlador de gráficos de modo de usuario 2526 para su compilación. En algunas realizaciones, el controlador de gráficos de modo de usuario 2526 utiliza funciones de modo kernel del sistema operativo 2528 para comunicarse con un controlador de gráficos de modo kernel 2529. En algunas realizaciones, el controlador de gráficos de modo kernel 2529 se comunica con el procesador de gráficos 2532 para enviar comandos e instrucciones.
Implementaciones de núcleo PI
Uno o más aspectos de al menos una realización pueden implementarse mediante un código representativo almacenado en un medio legible por máquina que representa y/o define la lógica dentro de un circuito integrado, tal como un procesador. Por ejemplo, el medio legible por máquina puede incluir instrucciones que representan diversas lógicas dentro del procesador. Cuando las lee una máquina, las instrucciones pueden hacer que la máquina fabrique la lógica para realizar las técnicas descritas en este documento. Dichas representaciones, conocidas como "núcleos PI", son unidades reutilizables de lógica para un circuito integrado que se pueden almacenar en un medio tangible legible por máquina como un modelo de hardware que describe la estructura del circuito integrado. El modelo de hardware puede suministrarse a diversos clientes o instalaciones de fabricación, que cargan el modelo de hardware en máquinas de fabricación que fabrican el circuito integrado. El circuito integrado se puede fabricar de manera que el circuito realice operaciones descritas en asociación con cualquiera de las realizaciones descritas en este documento.
La Figura 26 es un diagrama de bloques que ilustra un sistema de desarrollo de núcleos PI 2600 que se puede utilizar para fabricar un circuito integrado para realizar operaciones de acuerdo con una realización. El sistema de desarrollo de núcleos PI 2600 se puede utilizar para generar diseños modulares y reutilizables que se pueden incorporar en un diseño más grande o utilizar para construir un circuito integrado completo (por ejemplo, un circuito integrado SOC). Una instalación de diseño 2630 puede generar una simulación de software 2610 de un diseño de núcleo PI en un lenguaje de programación de alto nivel (por ejemplo, C/C++). La simulación de software 2610 se puede utilizar para diseñar, probar y verificar el comportamiento del núcleo de IP. A continuación, se puede crear o sintetizar un diseño de nivel de transferencia de registro (RTL) a partir del modelo de simulación 2600. El diseño RTL 2615 es una abstracción del comportamiento del circuito integrado que modela el flujo de señales digitales entre registros de hardware, incluida la lógica asociada realizada utilizando las señales digitales modeladas. Además de un diseño RTL 2615, también se pueden crear, diseñar o sintetizar diseños de nivel inferior a nivel lógico o nivel de transistor. Por lo tanto, los detalles particulares del diseño y simulación iniciales pueden variar.
El diseño RTL 2615 o equivalente puede ser sintetizado adicionalmente por la instalación de diseño en un modelo de hardware 2620, que puede estar en un lenguaje de descripción de hardware (HDL), o alguna otra representación de datos de diseño físico. El HDL puede ser simulado o probado adicionalmente para verificar el diseño de núcleo PI. El diseño de núcleo PI se puede almacenar para su entrega a una instalación de fabricación de 3os 2665 usando la memoria no volátil 2640 (por ejemplo, disco duro, memoria flash o cualquier medio de almacenamiento no volátil). Como alternativa, el diseño del núcleo PI se puede transmitir (por ejemplo, a través de Internet) a través de una conexión cableada 2650 o una conexión inalámbrica 2660. La instalación de fabricación 2665 puede entonces fabricar un circuito integrado que se basa al menos en parte en el diseño del núcleo PI. El circuito integrado fabricado se puede configurar para realizar operaciones de acuerdo con al menos una realización descrita en el presente documento.
La Figura 27 es un diagrama de bloques que ilustra un circuito integrado de sistema en chip 2700 ejemplar que puede fabricarse utilizando uno o más núcleos PI, según una realización. El circuito integrado ejemplar incluye uno o más procesadores de aplicaciones 2705 (por ejemplo, CPU), al menos un procesador de gráficos 2710, y puede incluir adicionalmente un procesador de imágenes 2715 y/o un procesador de vídeo 2720, cualquiera de los cuales puede ser un núcleo PI modular de la misma o de múltiples instalaciones de diseño diferentes. El circuito integrado incluye lógica periférica o de bus que incluye un controlador USB 2725, un controlador UART 2730, un controlador SPI/SDIO 2735 y un controlador I2S/I2C 2740. Además, el circuito integrado puede incluir un dispositivo de visualización 2745 acoplado a uno o más de un controlador de interfaz multimedia de alta definición (HDMI) 2750 y una interfaz de visualización de interfaz de procesador de la industria móvil (MIPI) 2755. El almacenamiento puede ser proporcionado por un subsistema de memoria flash 2760 que incluye memoria flash y un controlador de memoria flash. La interfaz de memoria puede ser proporcionada a través de un controlador de memoria 2765 para acceder a dispositivos de memoria SDRAM o SRAM. Algunos circuitos integrados incluyen adicionalmente un motor de seguridad integrado 2770.
Además, se pueden incluir otros circuitos y lógica en el procesador del circuito integrado 2700, incluidos procesadores/núcleos gráficos, controladores de interfaz periférica o núcleos de procesador de propósito general adicionales.
En un ejemplo, el procesador 1110 (Figura 11) codifica contenido de vídeo como se describe con respecto a las Figuras 6A-10B
Las realizaciones se han descrito anteriormente con referencia a realizaciones específicas. Sin embargo, los expertos en la técnica entenderán que se pueden realizar diversas modificaciones y cambios sin apartarse del alcance de las realizaciones tal como se establece en las reivindicaciones adjuntas. Por consiguiente, la descripción y los dibujos anteriores deben considerarse en un sentido ilustrativo más que restrictivo.

Claims (14)

REIVINDICACIONES
1. Sistema informático de rendimiento mejorado que comprende:
una pluralidad de cámaras (602a-602h) para capturar contenido de vídeo panorámico;
una pluralidad de micrófonos para detectar contenido de audio;
una memoria que incluye un conjunto de instrucciones; y
un procesador acoplado a la pluralidad de cámaras y la memoria, en el que cuando son ejecutadas por el procesador, las instrucciones hacen que el sistema:
determine (642), por cámara, un nivel de interés con respecto al contenido de vídeo panorámico y el contenido de audio,
identifique (644) un subconjunto de cámaras en la pluralidad de cámaras para las cuales el nivel de interés está por debajo de un umbral, y
reduzca una velocidad de fotogramas del subconjunto de cámaras,
reduzca una resolución del subconjunto de cámaras,
reduzca una frecuencia de muestreo de audio de uno o más micrófonos correspondientes al subconjunto de cámaras, o
desactive el subconjunto de cámaras, en el que la identificación (644) del subconjunto de cámaras en la pluralidad de cámaras para las cuales el nivel de interés está por debajo de un umbral incluye, para cada cámara de la pluralidad de cámaras, realizar una extracción de características de vídeo semánticas sobre el contenido de vídeo obtenido por la cámara utilizando un modelo de clasificación preentrenado y una detección de eventos acústicos semánticos sobre el contenido de audio obtenido por un micrófono utilizando un modelo acústico predeterminado, y derivar el nivel de interés como un total de un número de características obtenido por la extracción de características de vídeo semánticas y un número de eventos obtenido por la detección de eventos acústicos semánticos en el contenido de vídeo dividido por un número máximo de características y eventos.
2. Sistema, según la reivindicación 1, en el que la desactivación del subconjunto de cámaras es para reducir un campo de visión activo de la pluralidad de cámaras de 360 grados a 180 grados.
3. Sistema, según la reivindicación 1 o 2, en el que las instrucciones, cuando se ejecutan, hacen que el sistema reduzca el consumo de energía en el procesador en virtud de una omisión de una o más de una transmisión, una unión o una codificación de fotogramas correspondientes al subconjunto de cámaras.
4. Sistema, según la reivindicación 1, que incluye, además:
un micrófono direccional;
un sensor fisiológico;
un sensor de movimiento, en el que el nivel de interés se determinará basándose en una o más de una señal del micrófono direccional, una señal del sensor fisiológico, una señal del sensor de movimiento o una extracción de características semánticas del contenido de vídeo panorámico.
5. Sistema, según la reivindicación 1, en el que las instrucciones, cuando se ejecutan, hacen que el sistema:
determine un formato de proyección asociado con el contenido de vídeo panorámico,
identifique uno o más límites discontinuos en el formato de proyección, y
modifique un esquema de codificación asociado con el contenido de vídeo panorámico basándose en el uno o más límites discontinuos.
6. Sistema, según la reivindicación 5, en el que el formato de proyección debe ser un mapa cúbico que incluye una pluralidad de caras y el uno o más límites discontinuos deben ser una o más uniones entre la pluralidad de caras.
7. Sistema, según la reivindicación 5, en el que las instrucciones, cuando se ejecutan, hacen que el sistema alinee los límites de partición del bloque de codificación con el uno o más límites discontinuos.
8. Sistema, según la reivindicación 5, en el que las instrucciones, cuando se ejecutan, hacen que el sistema reduzca las búsquedas de movimiento a lo largo del uno o más límites discontinuos, reduzca la predicción intra a lo largo del uno o más límites discontinuos o reduzca una variación de parámetro de cuantificación a lo largo del uno o más límites discontinuos.
9. Sistema, según cualquiera de las reivindicaciones 5 a 8, en el que las instrucciones, cuando se ejecutan, hacen que el sistema aumente una asignación de bits a la distorsión en el uno o más límites discontinuos.
10. Procedimiento para operar un sistema informático de rendimiento mejorado que comprende:
determinar (642), por cámara, un nivel de interés con respecto al contenido de vídeo panorámico y el contenido de audio,
identificar (644) un subconjunto de cámaras en una pluralidad de cámaras para las cuales el nivel de interés está por debajo de un umbral, y
reducir una velocidad de fotogramas del subconjunto de cámaras,
reducir una resolución del subconjunto de cámaras,
reducir una frecuencia de muestreo de audio de uno o más micrófonos correspondientes al subconjunto de cámaras, o
deshabilitar el subconjunto de cámaras, en el que la identificación (644) del subconjunto de cámaras en la pluralidad de cámaras para las cuales el nivel de interés está por debajo de un umbral incluye, para cada cámara de la pluralidad de cámaras, realizar una extracción de características de vídeo semánticas en el contenido de vídeo obtenido por la cámara utilizando un modelo de clasificación entrenado previamente y una detección de eventos acústicos semánticos en el contenido de audio obtenido por un micrófono utilizando un modelo acústico predeterminado, y derivar el nivel de interés como un total de un número de características obtenidas por la extracción de características de vídeo semánticas y un número de eventos obtenidos por la detección de eventos acústicos semánticos en el contenido de vídeo dividido por un número máximo de características y eventos.
11. Procedimiento, según la reivindicación 10, en el que la desactivación del subconjunto de cámaras reduce un campo de visión activo de la pluralidad de cámaras de 360 grados a 180 grados.
12. Procedimiento, según la reivindicación 10 u 11, que incluye, además, la reducción del consumo de energía en un procesador en virtud de una derivación de uno o más de una transmisión, una unión o una codificación de fotogramas correspondientes al subconjunto de cámaras.
13. Medio de almacenamiento legible por ordenador que comprende un conjunto de instrucciones, que cuando son ejecutadas por un sistema informático, hacen que el sistema informático realice el procedimiento de cualquiera de las reivindicaciones 10 a 12.
14. Aparato de paquete de semiconductores que comprende medios para realizar el procedimiento de cualquiera de las reivindicaciones 10 a 12.
ES18165265T 2017-04-10 2018-03-29 Technology to encode 360 degree video content Active ES3006469T3 (en)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US15/483,787 US10587800B2 (en) 2017-04-10 2017-04-10 Technology to encode 360 degree video content

Publications (1)

Publication Number Publication Date
ES3006469T3 true ES3006469T3 (en) 2025-03-18

Family

ID=61868364

Family Applications (1)

Application Number Title Priority Date Filing Date
ES18165265T Active ES3006469T3 (en) 2017-04-10 2018-03-29 Technology to encode 360 degree video content

Country Status (5)

Country Link
US (2) US10587800B2 (es)
EP (2) EP4412231A3 (es)
CN (1) CN108694695B (es)
ES (1) ES3006469T3 (es)
PL (1) PL3389263T3 (es)

Families Citing this family (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8515052B2 (en) 2007-12-17 2013-08-20 Wai Wu Parallel signal processing system and method
US10547657B2 (en) * 2016-05-25 2020-01-28 Mark Nataros System and method for video gathering and processing
US10999602B2 (en) 2016-12-23 2021-05-04 Apple Inc. Sphere projected motion estimation/compensation and mode decision
US11259046B2 (en) 2017-02-15 2022-02-22 Apple Inc. Processing of equirectangular object data to compensate for distortion by spherical projections
US10924747B2 (en) 2017-02-27 2021-02-16 Apple Inc. Video coding techniques for multi-view video
US10506196B2 (en) * 2017-04-01 2019-12-10 Intel Corporation 360 neighbor-based quality selector, range adjuster, viewport manager, and motion estimator for graphics
US11093752B2 (en) 2017-06-02 2021-08-17 Apple Inc. Object tracking in multi-view video
US20190005709A1 (en) * 2017-06-30 2019-01-03 Apple Inc. Techniques for Correction of Visual Artifacts in Multi-View Images
US10754242B2 (en) * 2017-06-30 2020-08-25 Apple Inc. Adaptive resolution and projection format in multi-direction video
USD857722S1 (en) * 2017-10-24 2019-08-27 Atlas Biomed Group Limited Display screen with graphical user interface
US20190130526A1 (en) * 2017-10-27 2019-05-02 Avago Technologies General Ip (Singapore) Pte. Ltd. Metadata based quality enhancement post-video warping
US10741147B1 (en) * 2018-03-29 2020-08-11 Facebook Technologies, Llc Driving display device with voltage compensation based on load estimation
WO2019235904A1 (ko) * 2018-06-08 2019-12-12 엘지전자 주식회사 360 비디오 시스템에서 오버레이 처리 방법 및 그 장치
US10708494B2 (en) * 2018-08-13 2020-07-07 At&T Intellectual Property I, L.P. Methods, systems and devices for adjusting panoramic video content
CN109167979B (zh) * 2018-10-30 2020-09-11 深兰科技（上海）有限公司 多路监控视频人工智能分析的处理方法及系统
US11606555B2 (en) * 2018-12-20 2023-03-14 Telefonaktiebolaget Lm Ericsson (Publ) Method and apparatus for video coding using uniform segment split in pictures
US11102503B2 (en) 2019-01-07 2021-08-24 Electronics And Telecommunications Research Institute Motion information prediction method and apparatus for distortion due to projection formation conversion
ES3058379T3 (es) 2019-01-16 2026-03-10 Telefonaktiebolaget Lm Ericsson Publ Codificación de vídeo que comprende división de mosaico uniforme con resto
US10645275B1 (en) * 2019-03-11 2020-05-05 Amazon Technologies, Inc. Three-dimensional room measurement process with augmented reality guidance
US10937247B1 (en) 2019-03-11 2021-03-02 Amazon Technologies, Inc. Three-dimensional room model generation using ring paths and photogrammetry
US10643344B1 (en) 2019-03-11 2020-05-05 Amazon Technologies, Inc. Three-dimensional room measurement process
US11024079B1 (en) 2019-03-11 2021-06-01 Amazon Technologies, Inc. Three-dimensional room model generation using panorama paths and photogrammetry
US10706624B1 (en) 2019-03-11 2020-07-07 Amazon Technologies, Inc. Three-dimensional room model generation using panorama paths with augmented reality guidance
US12118775B2 (en) * 2019-04-12 2024-10-15 Intel Corporation Technology to automatically identify the frontal body orientation of individuals in real-time multi-camera video feeds
CN110532871B (zh) * 2019-07-24 2022-05-10 华为技术有限公司 图像处理的方法和装置
US11706375B2 (en) * 2019-07-30 2023-07-18 Intel Corporation Apparatus and system for virtual camera configuration and selection
WO2021073336A1 (en) * 2019-10-18 2021-04-22 Guangdong Oppo Mobile Telecommunications Corp., Ltd. A system and method for creating real-time video
US11184601B2 (en) * 2019-12-19 2021-11-23 Shenzhen Yunyinggu Technology Co., Ltd. Apparatus and method for display encoding
US11350103B2 (en) 2020-03-11 2022-05-31 Videomentum Inc. Methods and systems for automated synchronization and optimization of audio-visual files
WO2021187737A1 (ko) * 2020-03-18 2021-09-23 엘지전자 주식회사 포인트 클라우드 데이터 송신 장치, 포인트 클라우드 데이터 송신 방법, 포인트 클라우드 데이터 수신 장치 및 포인트 클라우드 데이터 수신 방법
CN111862052B (zh) * 2020-07-22 2023-09-05 上海米哈游天命科技有限公司 检测缝隙的方法、装置、设备及介质
CN112565736A (zh) * 2020-11-25 2021-03-26 聚好看科技股份有限公司 一种全景视频显示方法及显示设备
JP2023136245A (ja) * 2022-03-16 2023-09-29 キヤノン株式会社 撮像装置およびその制御方法
WO2023215701A1 (en) * 2022-05-04 2023-11-09 Johnson Controls Tyco IP Holdings LLP Intelligent edge power management
US12477216B2 (en) 2022-09-27 2025-11-18 Cisco Technology, Inc. Contextually-aware power reduction techniques

Family Cites Families (88)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4686854B2 (ja) * 2000-12-08 2011-05-25 株式会社ニコン 画像符号化装置、電子カメラ、および画像符号化プログラムの記録媒体
US8947347B2 (en) * 2003-08-27 2015-02-03 Sony Computer Entertainment Inc. Controlling actions in a video game unit
US8073157B2 (en) * 2003-08-27 2011-12-06 Sony Computer Entertainment Inc. Methods and apparatus for targeted sound detection and characterization
GB0222562D0 (en) * 2002-09-28 2002-11-06 Koninkl Philips Electronics Nv Method and apparatus for encoding image and or audio data
US20050008240A1 (en) * 2003-05-02 2005-01-13 Ashish Banerji Stitching of video for continuous presence multipoint video conferencing
US7869666B2 (en) 2005-01-13 2011-01-11 Nvidia Corporation Video processing system and method with dynamic tag architecture
US7894531B1 (en) * 2005-02-15 2011-02-22 Grandeye Ltd. Method of compression for wide angle digital video
US7724211B2 (en) 2006-03-29 2010-05-25 Nvidia Corporation System, method, and computer program product for controlling stereo glasses shutters
US8169467B2 (en) 2006-03-29 2012-05-01 Nvidia Corporation System, method, and computer program product for increasing an LCD display vertical blanking interval
US8446509B2 (en) * 2006-08-09 2013-05-21 Tenebraex Corporation Methods of creating a virtual window
US9584710B2 (en) * 2008-02-28 2017-02-28 Avigilon Analytics Corporation Intelligent high resolution video system
US8724694B2 (en) 2008-10-14 2014-05-13 Nvidia Corporation On-the spot deblocker in a decoding pipeline
US20100128797A1 (en) 2008-11-24 2010-05-27 Nvidia Corporation Encoding Of An Image Frame As Independent Regions
US8442111B2 (en) 2008-11-24 2013-05-14 Nvidia Corporation Optimal power usage in encoding data streams
US20100128798A1 (en) 2008-11-25 2010-05-27 Nvidia Corporation Video processor using optimized macroblock sorting for slicemap representations
JP5089658B2 (ja) * 2009-07-16 2012-12-05 株式会社Ｇｎｚｏ 送信装置及び送信方法
IL201682A0 (en) * 2009-10-22 2010-11-30 Bluebird Aero Systems Ltd Imaging system for uav
US8503539B2 (en) * 2010-02-26 2013-08-06 Bao Tran High definition personal computer (PC) cam
CN102213851A (zh) 2010-04-12 2011-10-12 辉达公司 用于显示三维立体图像的液晶显示器、系统及方法
US8670613B2 (en) 2010-08-31 2014-03-11 Nvidia Corporation Lossless frame buffer color compression
CA2824027C (en) * 2011-01-14 2017-11-07 Vidyo, Inc. High layer syntax for temporal scalability
CN103108154A (zh) 2011-11-14 2013-05-15 辉达公司 一种汽车导航设备
CN103108197A (zh) 2011-11-14 2013-05-15 辉达公司 一种用于3d视频无线显示的优先级压缩方法和系统
US9838687B1 (en) * 2011-12-02 2017-12-05 Amazon Technologies, Inc. Apparatus and method for panoramic video hosting with reduced bandwidth streaming
US20130141526A1 (en) * 2011-12-02 2013-06-06 Stealth HD Corp. Apparatus and Method for Video Image Stitching
US20130170559A1 (en) * 2011-12-28 2013-07-04 Rovi Technologies Corporation Systems and methods for region of interest video processing
JP5828039B2 (ja) * 2012-06-11 2015-12-02 株式会社ソニー・コンピュータエンタテインメント 画像生成装置および画像生成方法
TWI558182B (zh) * 2012-06-29 2016-11-11 Ｇｅ影像壓縮有限公司 視訊資料串流槪念技術
WO2014008402A1 (en) * 2012-07-05 2014-01-09 Vid Scale, Inc. Layer dependency and priority signaling design for scalable video coding
US9576340B2 (en) 2012-07-30 2017-02-21 Nvidia Corporation Render-assisted compression for remote graphics
CN103587479A (zh) 2012-08-14 2014-02-19 辉达公司 一种用于倒车的裸眼三维视频系统和包括该系统的车辆
US20140057714A1 (en) 2012-08-27 2014-02-27 Nvidia Corporation Modifiable gaming experience based on user position and/or orientation
US9081535B2 (en) 2012-09-03 2015-07-14 Nvidia Corporation Automatic topology configuration through automatic hardware profiles across multiple display units
US20140071245A1 (en) 2012-09-10 2014-03-13 Nvidia Corporation System and method for enhanced stereo imaging
US8938127B2 (en) 2012-09-18 2015-01-20 Nvidia Corporation Hybrid encoding/decoding for remote gaming
US8797340B2 (en) 2012-10-02 2014-08-05 Nvidia Corporation System, method, and computer program product for modifying a pixel value as a function of a display duration estimate
WO2014071291A2 (en) * 2012-11-02 2014-05-08 Strongwatch Corporation, Nevada C Corp Wide area imaging system and method
US20140153635A1 (en) 2012-12-05 2014-06-05 Nvidia Corporation Method, computer program product, and system for multi-threaded video encoding
US9082180B2 (en) 2012-12-28 2015-07-14 Nvidia Corporation System, method, and computer program product for implementing a spatially varying unsharp mask noise reduction filter
US9071765B2 (en) 2012-12-28 2015-06-30 Nvidia Corporation System, method, and computer program product implementing an image processing pipeline for high-dynamic range images
US9451187B2 (en) 2012-12-31 2016-09-20 Nvidia Corporation Lens shading calibration for cameras
US20140267222A1 (en) 2013-03-12 2014-09-18 Nvidia Corporation Efficient autostereo support using display controller windows
KR20140111859A (ko) 2013-03-12 2014-09-22 삼성전자주식회사 콘텐트 공유 방법 및 이를 위한 디바이스
US9971959B2 (en) 2013-03-15 2018-05-15 Nvidia Corporation Performing object detection operations via a graphics processing unit
US20140286390A1 (en) 2013-03-20 2014-09-25 Nvidia Corporation Encoder controller graphics processing unit and method of encoding rendered graphics
US9986239B2 (en) * 2013-03-27 2018-05-29 Nec Corporation Image encoding apparatus, image encoding method, and recording medium
US9092658B2 (en) 2013-04-25 2015-07-28 Nvidia Corporation Automatic detection of stereoscopic content in video/image data
US20140327771A1 (en) 2013-05-01 2014-11-06 Nvidia Corporation System, method, and computer program product for displaying a scene as a light field
CN104184961A (zh) 2013-05-22 2014-12-03 辉达公司 用于生成全景视频的移动设备和系统
WO2014191990A1 (en) * 2013-05-26 2014-12-04 Pixellot Ltd. Method and system for low cost television production
US9118932B2 (en) 2013-06-14 2015-08-25 Nvidia Corporation Adaptive filtering mechanism to remove encoding artifacts in video data
US9232210B2 (en) 2013-07-08 2016-01-05 Nvidia Corporation Mapping sub-portions of three-dimensional (3D) video data to be rendered on a display unit within a comfortable range of perception of a user thereof
EP2824884A1 (en) * 2013-07-12 2015-01-14 Alcatel Lucent A video client for smooth display of a panoramic video
EP2824883A1 (en) * 2013-07-12 2015-01-14 Alcatel Lucent A video client and video server for panoramic video consumption
US20150022636A1 (en) 2013-07-19 2015-01-22 Nvidia Corporation Method and system for voice capture using face detection in noisy environments
US20150036875A1 (en) 2013-07-31 2015-02-05 Nvidia Corporation Method and system for application execution based on object recognition for mobile devices
US20150103184A1 (en) 2013-10-15 2015-04-16 Nvidia Corporation Method and system for visual tracking of a subject for automatic metering using a mobile device
US9437165B2 (en) 2013-10-31 2016-09-06 Nvidia Corporation Power-efficient control of display data configured to be rendered on a display unit of a data processing device
US20150138065A1 (en) 2013-11-21 2015-05-21 Nvidia Corporation Head-mounted integrated interface
US9292908B2 (en) 2013-11-21 2016-03-22 Nvidia Corporation System, method, and computer program product for enhancing an image utilizing a hyper-clarity transform
US20150208079A1 (en) 2014-01-22 2015-07-23 Nvidia Corporation Adaptive frame type detection for real-time low-latency streaming servers
US20150221064A1 (en) 2014-02-03 2015-08-06 Nvidia Corporation User distance based modification of a resolution of a display unit interfaced with a data processing device and/or a display area size thereon
US9549147B2 (en) 2014-02-13 2017-01-17 Nvidia Corporation System and method for creating a video frame from a single video field
US20150243048A1 (en) 2014-02-26 2015-08-27 Nvidia Corporation System, method, and computer program product for performing one-dimesional searches in two-dimensional images
US10264211B2 (en) * 2014-03-14 2019-04-16 Comcast Cable Communications, Llc Adaptive resolution in software applications based on dynamic eye tracking
US9892669B2 (en) 2014-03-18 2018-02-13 Nvidia Corporation Superresolution display using cascaded panels
US10728528B2 (en) * 2014-04-30 2020-07-28 Intel Corporation System for and method of social interaction using user-selectable novel views
US9786255B2 (en) 2014-05-30 2017-10-10 Nvidia Corporation Dynamic frame repetition in a variable refresh rate system
US10204658B2 (en) * 2014-07-14 2019-02-12 Sony Interactive Entertainment Inc. System and method for use in playing back panorama video content
US9866765B2 (en) * 2014-11-18 2018-01-09 Elwha, Llc Devices, methods, and systems for visual imaging arrays
KR102533555B1 (ko) * 2015-02-17 2023-05-18 네버마인드 캐피탈 엘엘씨 감축된 해상도 이미지들을 생성 및 이용하고 및/또는 재생 또는 컨텐트 분배 디바이스에 이러한 이미지들을 통신하기 위한 방법들 및 장치
US10362290B2 (en) * 2015-02-17 2019-07-23 Nextvr Inc. Methods and apparatus for processing content based on viewing information and/or communicating content
US10575008B2 (en) * 2015-06-01 2020-02-25 Apple Inc. Bandwidth management in devices with simultaneous download of multiple data streams
WO2016204481A1 (ko) * 2015-06-16 2016-12-22 엘지전자 주식회사 미디어 데이터 전송 장치, 미디어 데이터 수신 장치, 미디어 데이터 전송 방법, 및 미디어 데이터 수신 방법
US10694249B2 (en) * 2015-09-09 2020-06-23 Vantrix Corporation Method and system for selective content processing based on a panoramic camera and a virtual-reality headset
US20170180758A1 (en) * 2015-12-22 2017-06-22 Vallabhajosyula S. Somayazulu Tiled Wireless Display
EP4080794A1 (en) * 2016-01-06 2022-10-26 TVision Insights, Inc. Systems and methods for assessing viewer engagement
CN106101847A (zh) * 2016-07-12 2016-11-09 三星电子（中国）研发中心 全景视频交互传输的方法和系统
KR20180011539A (ko) * 2016-07-25 2018-02-02 삼성전자주식회사 영상의 처리를 위한 전자 장치
US10148876B1 (en) * 2016-07-26 2018-12-04 360fly, Inc. Panoramic video cameras, camera systems, and methods that facilitate handling multiple video streams while tracking an object
US20180040164A1 (en) * 2016-08-05 2018-02-08 Gopro, Inc. Apparatus and methods for selective coding of images
US11395020B2 (en) * 2016-09-08 2022-07-19 Telefonaktiebolaget Lm Ericsson (Publ) Bitrate control in a virtual reality (VR) environment
EP3301929A1 (en) * 2016-09-30 2018-04-04 Thomson Licensing Method and apparatus for encoding and decoding a large field of view video
US10432856B2 (en) * 2016-10-27 2019-10-01 Mediatek Inc. Method and apparatus of video compression for pre-stitched panoramic contents
US11172208B2 (en) * 2017-02-28 2021-11-09 Nokia Technologies Oy Method and apparatus for improving the visual quality of viewport-based omnidirectional video streaming
US10957044B2 (en) * 2017-03-22 2021-03-23 Qualcomm Incorporated Sphere pole projections for efficient compression of 360-degree video
WO2018178507A1 (en) * 2017-03-27 2018-10-04 Nokia Technologies Oy An apparatus, a method and a computer program for video coding and decoding
US10115223B2 (en) * 2017-04-01 2018-10-30 Intel Corporation Graphics apparatus including a parallelized macro-pipeline

Also Published As

Publication number Publication date
US20200304710A1 (en) 2020-09-24
US20180295282A1 (en) 2018-10-11
EP4412231A3 (en) 2024-11-27
EP3389263A2 (en) 2018-10-17
CN108694695B (zh) 2024-08-27
CN108694695A (zh) 2018-10-23
EP3389263A3 (en) 2019-01-16
US10587800B2 (en) 2020-03-10
US11218633B2 (en) 2022-01-04
EP3389263B1 (en) 2024-11-06
EP4412231A2 (en) 2024-08-07
PL3389263T3 (pl) 2025-03-31

Similar Documents

Publication Publication Date Title
ES3006469T3 (en) Technology to encode 360 degree video content
ES3032136T3 (en) Power-based and target-based graphics quality adjustment
US12170778B2 (en) Technology to accelerate scene change detection and achieve adaptive content display
US20250006153A1 (en) Display bandwidth reduction with multiple resolutions
US11051038B2 (en) MV/mode prediction, ROI-based transmit, metadata capture, and format detection for 360 video
ES3056235T3 (en) Systems and methods for 360 video capture and display based on eye tracking including gaze based warnings and eye accommodation matching
ES2922054T3 (es) Soporte de múltiples tasas de refresco en regiones diferentes del visor del panel
ES2929749T3 (es) Selector de calidad basado en vecinos 360, ajustador de rango, gestor de ventanilla y estimador de movimiento para gráficos
ES3006472T3 (en) Block based camera updates and asynchronous displays
US11800232B2 (en) Object pre-encoding for 360-degree view for optimal quality and latency
ES3056688T3 (en) Encoding 3d rendered images by tagging objects
ES2996269T3 (en) Region based processing
ES2915592T3 (es) Uso óptimo de espejos virtuales de automóvil
CN108733212A (zh) 受头部移动和身体移动影响的观看角度