ES2967903T3

ES2967903T3 - Codificador, decodificador y métodos correspondientes utilizando filtrado por interpolación

Info

Publication number: ES2967903T3
Application number: ES20873033T
Authority: ES
Inventors: Elena Alexandrovna Alshina; Semih Esenlik; Anand Meher Kotra; Biao Wang; Han Gao
Original assignee: Huawei Technologies Co Ltd
Current assignee: Huawei Technologies Co Ltd
Priority date: 2019-10-03
Filing date: 2020-09-30
Publication date: 2024-05-06
Anticipated expiration: 2040-09-30
Also published as: CN114556923A; WO2021063389A1; EP4029254A4; US20220239909A1; EP4029254A1; EP4029254B1; CN114556923B

Abstract

Un método para operar un filtro de interpolación separable bidimensional (2D) para codificar un vídeo, en el que el filtro de interpolación separable bidimensional comprende un primer y un segundo filtro de interpolación unidimensional (1D) y una memoria intermedia temporal de un tamaño de memoria intermedia predeterminado , en donde el método comprende: obtener coeficientes de filtro para el primer filtro de interpolación unidimensional del filtro de interpolación bidimensional; comparar una suma de coeficientes de filtro positivos de los coeficientes de filtro obtenidos con un umbral; y al determinar que la suma de los coeficientes de filtro positivos es mayor que el umbral, modificar uno o más de los coeficientes de filtro para obtener coeficientes de filtro modificados, en donde uno o más coeficientes de filtro se modifican de manera que una suma de coeficientes de filtro positivos de los coeficientes de filtro modificados los coeficientes del filtro no son mayores que el umbral; aplicar los coeficientes de filtro modificados a muestras del vídeo para obtener un valor de una posición de muestra fraccionaria del vídeo; reescalar el valor de la posición de la muestra fraccionaria y almacenar el valor reescalado de la posición de la muestra fraccionaria en el buffer temporal. (Traducción automática con Google Translate, sin valor legal)

Description

DESCRIPCIÓN

Codificador, decodificador y métodos correspondientes utilizando filtrado por interpolación

Campo técnico

Las realizaciones de la presente solicitud (divulgación) generalmente se relacionan con el campo del procesamiento de imágenes y más particularmente con la codificación de vídeo usando filtrado de interpolación.

Antecedentes

La codificación de vídeo (codificación y decodificación de vídeo) se utiliza en una amplia gama de aplicaciones de vídeo digital, por ejemplo transmisión de televisión digital, transmisión de vídeo a través de Internet y redes móviles, aplicaciones de conversación en tiempo real como vídeo chat, videoconferencia, discos DVD y Bluray, sistemas de adquisición y edición de contenidos de vídeo y videocámaras de aplicaciones de seguridad.

La cantidad de datos de vídeo necesarios para representar incluso un vídeo relativamente corto puede ser sustancial, lo que puede dar lugar a dificultades cuando los datos se van a transmitir o comunicar de otro modo a través de una red de comunicaciones con capacidad de ancho de banda limitada. Por lo tanto, los datos de vídeo generalmente se comprimen antes de comunicarse a través de las redes de telecomunicaciones modernas. El tamaño de un vídeo también podría ser un problema cuando el vídeo se almacena en un dispositivo de almacenamiento debido a que los recursos de memoria pueden ser limitados. Los dispositivos de compresión de vídeo a menudo usan software y/o hardware en la fuente para codificar los datos de vídeo antes de la transmisión o el almacenamiento, lo que reduce la cantidad de datos necesarios para representar imágenes de vídeo digital. Luego, los datos comprimidos son recibidos en el destino por un dispositivo de descompresión de vídeo que decodifica los datos de vídeo. Con recursos de la red limitados y demandas cada vez mayores de mayor calidad de vídeo, son deseables técnicas mejoradas de compresión y descompresión que mejoren la relación de compresión con poco o ningún sacrificio en la calidad de imagen. El documento EP1983759 A1 divulga un filtro de interpolación bidimensional adaptativo que se puede separar en un filtro de interpolación horizontal unidimensional y un filtro de interpolación vertical unidimensional. En este filtro adaptativo, los coeficientes de filtro del primer filtro de interpolación unidimensional se determinan a partir de bloques de datos de vídeo que tienen vectores de movimiento que indican un desplazamiento de pel completo en la dirección de interpolación del segundo filtro unidimensional.

Compendio

Las realizaciones de la presente divulgación proporcionan aparatos y métodos para codificar y decodificar, en particular para filtrado por interpolación, según las reivindicaciones independientes.

La presente divulgación divulga:

Un método para hacer funcionar un filtro de interpolación separable bidimensional (2D) para codificar un vídeo, en donde el filtro de interpolación separable bidimensional comprende un primer y un segundo filtro de interpolación unidimensional (1D) y un búfer temporal de un tamaño de búfer predeterminado, en donde el método comprende:

obtener coeficientes de filtro para el primer filtro de interpolación unidimensional del filtro de interpolación bidimensional;

comparar una suma de coeficientes de filtro positivos de los coeficientes de filtro obtenidos con un umbral; y

al determinar que la suma de los coeficientes de filtro positivos es mayor que el umbral,

modificar uno o más de los coeficientes de filtro para obtener coeficientes de filtro modificados, en donde uno o más coeficientes de filtro se modifican de modo que una suma de coeficientes de filtro positivos de los coeficientes de filtro modificados no sea mayor que el umbral;

aplicar los coeficientes de filtro modificados a muestras del vídeo para obtener un valor de una posición de muestra fraccionaria del vídeo;

cambiar la escala el valor de la posición de muestra fraccionaria y almacenar el valor de escala cambiada de la posición de muestra fraccionaria en el búfer temporal.

En este contexto también se puede hacer referencia a desescalado o reducción de escala en lugar de cambio de escala.

En este contexto, debe entenderse que un "valor de una posición de muestra fraccionaria del vídeo" debe comprender el significado "valor de o en una posición de muestra fraccionaria del vídeo".

En general, para los fines de la presente divulgación, se debe entender que una variable o escalar se refiere a una ubicación de almacenamiento emparejada con un nombre simbólico asociado, que puede contener alguna cantidad conocida o desconocida de información a la que se hace referencia como valor, es decir, el valor de la variable. El nombre de variable es la forma habitual de hacer referencia al valor almacenado, además de hacer referencia a la propia variable, según el contexto. Esta separación de nombre y contenido debería permitir utilizar el nombre independientemente de la información exacta, por ejemplo, su valor, que representa. Por lo tanto, la variable identificada puede estar vinculada a un valor cuando se realiza el método correspondiente y, por lo tanto, el valor de la variable puede cambiar durante el curso de la ejecución del método. Por ejemplo, en el contexto del método mencionado anteriormente, debe entenderse que "el coeficiente de filtro" debe tener el mismo significado que "el valor de coeficiente de filtro" o "el valor del coeficiente de filtro", y "el uno o más coeficientes de filtro" debería tener el mismo significado que "el uno o más valores de coeficientes de filtro" o "el uno o más valores de coeficientes de filtro".

En caso de que los coeficientes de filtro de interpolación estén señalizados pero no restringidos, podría producirse un mal funcionamiento del proceso de codificación. Al solicitar que los coeficientes de filtro de los coeficientes de filtro obtenidos se modifiquen de manera que la suma de los coeficientes de filtro positivos del coeficiente de filtro modificado no sea mayor que un umbral, se puede evitar un desbordamiento. Además, las realizaciones también pueden respetar una normalización general en la que la suma de todos los coeficientes de filtro represente un factor de normalización. En otras palabras, el rango dinámico del filtro de interpolación separable bidimensional (2D) se controla mediante una suma de los coeficientes de interpolación positivos.

En el método descrito anteriormente, el umbral puede ser igual (por ejemplo, se establece, se calcula o se determina) a un valor derivable dado por la siguiente ecuación:

2A(Desired_BD- 10)+2A(N-1),

donde Desired_BD representa el tamaño del búfer predeterminado y N representa una profundidad de bits de una magnitud de los coeficientes de filtro.

Por lo tanto, para una profundidad de bits deseada de Desired_BD=16 y un factor de normalización de N=6, la suma de los coeficientes de filtro positivos, es decir, SumPosx sería menor que 96, según la ecuación anterior. Por tanto, una restricción de la suma de los coeficientes de filtro de interpolación positivos como en la ecuación anterior garantiza que no habrá desbordamiento del búfer temporal después de la primera etapa del filtrado de interpolación.

En el método descrito anteriormente, el umbral se puede establecer en un valor dado por la siguiente ecuación:

donde N representa una profundidad de bits de una magnitud de los coeficientes de filtro.

En el método descrito anteriormente, el umbral se puede establecer en un valor de 96.

En el método descrito anteriormente, el cambio de escala puede cambiar el valor de la posición de muestra fraccionaria en un valor correspondiente aN+d-14,en donde N representa la profundidad de bits de la magnitud de los coeficientes de filtro y d representa una profundidad de bits de las muestras.

En el método descrito anteriormente, el cambio de escala puede cambiar el valor de la posición de muestra fraccionaria en un valor correspondiente a d-8, en donde d representa una profundidad de bits de las muestras.

En el método descrito anteriormente, la modificación de uno o más coeficientes de filtro puede comprender la modificación del coeficiente de filtro positivo más grande de los coeficientes de filtro.

Aquí, debe entenderse que "modificar uno o más coeficientes de filtro" debe entenderse de manera similar a "modificar uno o más valores de coeficientes de filtro". Por lo tanto, modificar uno o más valores de los coeficientes de filtro puede comprender modificar los valores positivos más grandes de los coeficientes de filtro.

En el método descrito anteriormente, el filtro de interpolación puede tener una longitud que sea igual al número de coeficientes de filtro, y el coeficiente de filtro de interpolación positivo más grande para el filtro de interpolación puede ubicarse en la primera posición.

El método descrito anteriormente puede comprender además al determinar que la suma de los coeficientes de filtro positivos es igual o menor que el umbral,

aplicar los coeficientes de filtro a muestras del vídeo para obtener un valor de una posición de muestra fraccionaria del vídeo;

El método descrito anteriormente puede comprender además:

comprobar si una suma de coeficientes de filtro es igual a un factor de normalización 2AN, por ejemplo 64 para N=6, donde N representa la profundidad de bits de la magnitud de los coeficientes de filtro; y al determinar que la suma de los coeficientes del filtro no es igual al factor de normalización 2AN:

modificar uno o más coeficientes de filtro de manera que una suma de los coeficientes de filtro modificados sea igual al factor de normalización.

El método descrito anteriormente puede comprender además:

filtrar las muestras almacenadas mediante el segundo filtro de interpolación 1D del filtro de interpolación 2D; y cambiar la escala las muestras filtradas.

En el método descrito anteriormente, la obtención de coeficientes de filtro puede comprender además: señalizar los coeficientes de filtro en el flujo de bits; o proporcionar una tabla por defecto de coeficientes de filtro y señalar una diferencia, delta, en el flujo de bits, con respecto a los coeficientes de filtro por defecto en la tabla.

La presente divulgación describe además un codificador que comprende circuitos de procesamiento para llevar a cabo los métodos descritos anteriormente.

La presente divulgación describe además un decodificador que comprende circuitos de procesamiento para llevar a cabo los métodos descritos anteriormente.

El decodificador descrito anteriormente puede configurarse además para obtener los coeficientes de filtro del primer filtro de interpolación derivando los coeficientes de filtro a partir de información analizada a partir de un flujo de bits.

La presente divulgación divulga además un decodificador, que comprende:

uno o más procesadores; y

un soporte de almacenamiento no transitorio legible por ordenador acoplado a los procesadores y que almacena programación para su ejecución por los procesadores, en donde la programación, cuando es ejecutada por los procesadores, configura el decodificador para llevar a cabo el método o métodos como se ha descrito anteriormente.

La presente divulgación divulga además un codificador, que comprende:

uno o más procesadores; y

un soporte de almacenamiento no transitorio legible por ordenador acoplado a los procesadores y que almacena programación para su ejecución por los procesadores, en donde la programación, cuando es ejecutada por los procesadores, configura el codificador para llevar a cabo el método o métodos como se ha descrito anteriormente.

La presente divulgación divulga además un medio legible por ordenador no transitorio que lleva un código de programa que, cuando es ejecutado por un dispositivo informático, hace que el dispositivo informático realice el método descrito anteriormente.

La presente divulgación divulga además un decodificador para hacer funcionar un filtro de interpolación separable bidimensional (2D) para codificar un vídeo, en donde el filtro de interpolación separable bidimensional comprende un primer y un segundo filtro de interpolación unidimensional (1D) y un búfer temporal de un tamaño de búfer predeterminado, en donde el decodificador comprende: una unidad de obtención configurada para obtener coeficientes de filtro para el primer filtro de interpolación unidimensional del filtro de interpolación bidimensional (2D);

una unidad de comparación configurada para comparar una suma de coeficientes de filtro positivos de los coeficientes de filtro obtenidos con un umbral; y

una unidad de determinación que comprende una unidad de modificación y una unidad de aplicación y una unidad de cambio de escala, la unidad de determinación configurada para determinar si la suma de coeficientes de filtro positivos es mayor que el umbral, y

si la suma de los coeficientes de filtro positivos es mayor que el umbral,

la unidad de modificación configurada para modificar uno o más de los coeficientes de filtro para obtener coeficientes de filtro modificados, en donde uno o más coeficientes de filtro se modifican de modo que una suma de coeficientes de filtro positivos de los coeficientes de filtro modificados no sea mayor que el umbral; y la unidad de aplicación configurada para aplicar los coeficientes de filtro modificados a muestras del vídeo para obtener un valor de una posición de muestra fraccionaria del vídeo;

la unidad de cambio de escala configurada para cambiar la escala del valor de la posición de muestra fraccionaria y almacenar el valor de escala cambiada de la posición de muestra fraccionaria en el búfer temporal.

La presente divulgación divulga además un codificador para hacer funcionar un filtro de interpolación separable bidimensional (2D) para codificar un vídeo, en donde el filtro de interpolación separable bidimensional comprende un primer y un segundo filtro de interpolación unidimensional (1D) y un búfer temporal de un tamaño de búfer predeterminado, en donde el codificador comprende:

una unidad de obtención configurada para obtener coeficientes de filtro para el primer filtro de interpolación unidimensional del filtro de interpolación bidimensional (2D);

si la suma de los coeficientes de filtro positivos es mayor que el umbral,

la unidad de cambio de escala configurada para cambiar la escala el valor de la posición de muestra fraccionaria y almacenar el valor de escala cambiada de la posición de muestra fraccionaria en el búfer temporal.

Los detalles de una o más realizaciones se exponen en los dibujos adjuntos y la descripción que sigue. Otras características, objetos y ventajas serán evidentes a partir de la descripción, los dibujos y las reivindicaciones. Breve descripción de los dibujos

En las siguientes realizaciones de la presente divulgación se describen con más detalle con referencia a las figuras y dibujos adjuntos, en los que:

FIG. 1A es un diagrama de bloques que muestra un ejemplo de un sistema de codificación de vídeo configurado para implementar realizaciones de la presente divulgación;

FIG. 1B es un diagrama de bloques que muestra otro ejemplo de un sistema de codificación de vídeo configurado para implementar realizaciones de la presente divulgación;

FIG. 2 es un diagrama de bloques que muestra un ejemplo de un codificador de vídeo configurado para implementar realizaciones de la presente divulgación;

FIG. 3 es un diagrama de bloques que muestra una estructura de ejemplo de un decodificador de vídeo configurado para implementar realizaciones de la presente divulgación;

FIG. 4 es un diagrama de bloques que ilustra un ejemplo de un aparato de codificación o un aparato de decodificación;

FIG. 5 es un diagrama de bloques que ilustra otro ejemplo de un aparato de codificación o un aparato de decodificación;

FIG. 6 es un diagrama de bloques que muestra una estructura de ejemplo de un sistema de suministro de contenidos 3100 que realiza un servicio de entrega de contenido;

FIG. 7 es un diagrama de bloques que muestra una estructura de un ejemplo de un dispositivo terminal;

FIG. 8 muestra un ejemplo de filtrado por interpolación; y

FIG. 9 es un diagrama de bloques de una realización de un filtro de interpolación separable bidimensional (2D).

FIG. 10 es un diagrama de flujo de un método para hacer funcionar un filtro de interpolación separable bidimensional (2D) según una realización de la presente divulgación.

FIG. 11 ilustra un decodificador según una realización de la presente divulgación.

FIG. 12 ilustra un codificador según una realización de la presente divulgación.

En lo sucesivo, signos de referencia idénticos se refieren a características idénticas o al menos funcionalmente equivalentes, a menos que se especifique explícitamente lo contrario.

Descripción detallada de las realizaciones

En la siguiente descripción, se hace referencia a las figuras adjuntas, que forman parte de la divulgación, y que muestran, a modo de ilustración, aspectos específicos de realizaciones de la presente divulgación o aspectos específicos en los que pueden usarse realizaciones de la presente divulgación. Se entiende que las realizaciones de la presente divulgación pueden usarse en otros aspectos y comprender cambios estructurales o lógicos no representados en las figuras. Por lo tanto, la siguiente descripción detallada no debe tomarse en un sentido limitativo, y el alcance de la presente divulgación se define mediante las reivindicaciones adjuntas.

Por ejemplo, se entiende que una divulgación en relación con un método descrito también puede ser válida para un dispositivo o sistema correspondiente configurado para realizar el método y viceversa. Por ejemplo, si se describe una o una pluralidad de etapas de método específicas, un dispositivo correspondiente puede incluir una o una pluralidad de unidades, por ejemplo unidades funcionales, para realizar la una o la pluralidad de etapas de método descritas (por ejemplo, una unidad que realiza una o la pluralidad de etapas o una pluralidad de unidades, cada una de las cuales realiza una o más de la pluralidad de etapas), incluso si dichas una o más unidades no se describen o ilustran explícitamente en las figuras. Por otro lado, por ejemplo, si se describe un aparato específico basado en una o una pluralidad de unidades, por ejemplo, unidades funcionales, un método correspondiente puede incluir una etapa para realizar la funcionalidad de una o varias unidades (por ejemplo, una etapa que realiza la funcionalidad de una o pluralidad de unidades, o una pluralidad de etapas, cada una de las cuales realiza la funcionalidad de una o más de la pluralidad de unidades), incluso si tal una o pluralidad de etapas no se describen o ilustran explícitamente en las figuras. Además, se entiende que las características de las diversas realizaciones ejemplares y/o aspectos descritos en esta memoria pueden combinarse entre sí, a menos que se indique específicamente lo contrario.

La codificación de vídeo típicamente se refiere al procesamiento de una secuencia de imágenes, que forman el vídeo o la secuencia de vídeo. En lugar del término "ilustración", en el campo de la codificación de vídeo se pueden utilizar como sinónimos los términos "fotograma" o "imagen". La codificación de vídeo (o codificación en general) comprende dos partes, codificación de vídeo y decodificación de vídeo. La codificación de vídeo se realiza en el lado de la fuente, y típicamente comprende procesar (por ejemplo, mediante compresión) las imágenes de vídeo originales para reducir la cantidad de datos necesarios para representar las imágenes de vídeo (para un almacenamiento y/o transmisión más eficiente). La decodificación de vídeo se realiza en el lado de destino y típicamente comprende el procesamiento inverso en comparación con el codificador para reconstruir las imágenes de vídeo. Se entenderá que las realizaciones que se refieren a "codificación" de imágenes de vídeo (o imágenes en general) se refieren a "codificación" o "decodificación" de imágenes de vídeo o secuencias de vídeo respectivas. La combinación de la parte de codificación y la parte de decodificación también se denomina CODEC (Codificación y Decodificación).

En caso de codificación de vídeo sin pérdidas, las imágenes de vídeo originales se pueden reconstruir, es decir, las imágenes de vídeo reconstruidas tienen la misma calidad que las imágenes de vídeo originales (suponiendo que no haya pérdida de transmisión u otra pérdida de datos durante el almacenamiento o la transmisión). En caso de codificación de vídeo con pérdidas, se realiza una compresión adicional, por ejemplo mediante cuantización, para reducir la cantidad de datos que representan las imágenes de vídeo, que no pueden reconstruirse completamente en el decodificador, es decir, la calidad de las imágenes de vídeo reconstruidas es menor o peor en comparación a la calidad de las imágenes de vídeo originales.

Varios estándares de codificación de vídeo pertenecen al grupo de "códecs de vídeo híbridos con pérdida" (es decir, combinan predicción espacial y temporal en el dominio de muestra y codificación de transformada 2D para aplicar cuantización en el dominio de transformada). Cada imagen de una secuencia de vídeo típicamente se divide en un conjunto de bloques que no se superponen y la codificación típicamente se realiza a nivel de bloque. En otras palabras, en el codificador el vídeo típicamente se procesa, es decir, se codifica, a nivel de bloque (bloque de vídeo), por ejemplo usando predicción espacial (intra imagen) y/o predicción temporal (entre imágenes) para generar un bloque de predicción, restando el bloque de predicción del bloque actual (bloque actualmente procesado/a procesar) para obtener un bloque residual, transformando el bloque residual y cuantificando el bloque residual en el dominio de transformada para reducir la cantidad de datos a transmitir (compresión), mientras que en el decodificador, al bloque codificado o comprimido se aplica el procesamiento inverso en comparación con el codificador para reconstruir el bloque actual para su representación. Además, el codificador duplica el bucle de procesamiento de decodificador de modo que ambos generarán predicciones idénticas (por ejemplo, intra- e interpredicciones) y/o reconstrucciones para procesar, es decir, codificar, los bloques posteriores.

En las siguientes realizaciones de un sistema de codificación de vídeo 10, se describe un codificador de vídeo 20 y un decodificador de vídeo 30 sobre la base de las Figs. 1 a 3.

La Fig. 1A es un diagrama de bloques esquemático que ilustra un sistema de codificación de ejemplo 10, por ejemplo, un sistema de codificación de vídeo 10 (o un sistema de codificación corta 10) que puede utilizar técnicas de esta presente solicitud. El codificador de vídeo 20 (o codificador corto 20) y el decodificador de vídeo 30 (o decodificador corto 30) del sistema de codificación de vídeo 10 representan ejemplos de dispositivos que pueden configurarse para realizar técnicas según diversos ejemplos descritos en la presente solicitud.

Como se muestra en la FIG. 1A, el sistema de codificación 10 comprende un dispositivo de origen 12 configurado para proporcionar datos de imagen codificados 21, por ejemplo, a un dispositivo de destino 14 para decodificar los datos de imagen codificados 13.

El dispositivo de origen 12 comprende un codificador 20, y puede comprender adicionalmente, es decir, opcionalmente, una fuente de imagen 16, un preprocesador (o unidad de preprocesamiento) 18, por ejemplo, un preprocesador de imagen 18, y una interfaz de comunicación o unidad de comunicación 22.

La fuente de imagen 16 puede comprender o ser cualquier tipo de dispositivo de captura de imágenes, por ejemplo una cámara para capturar una imagen del mundo real, y/o cualquier tipo de dispositivo generador de imágenes, por ejemplo un procesador de gráficos de ordenador para generar una imagen animada por ordenador, o cualquier tipo de otro dispositivo para obtener y/o proporcionar una imagen del mundo real, una imagen generada por ordenador (por ejemplo, un contenido de pantalla, una imagen de realidad virtual (VR)) y/o cualquier combinación de los mismos (por ejemplo, una imagen de realidad aumentada (RA)). La fuente de imagen puede ser cualquier tipo de memoria o almacenamiento que almacene cualquiera de las imágenes antes mencionadas.

A diferencia del preprocesador 18 y el procesamiento realizado por la unidad de preprocesamiento 18, la imagen o los datos de imagen 17 también pueden denominarse imagen sin procesar o datos de imagen sin procesar 17.

El preprocesador 18 se configura para recibir los datos de imagen (sin procesar) 17 y para realizar un preprocesamiento de los datos de imagen 17 para obtener una imagen preprocesada 19 o datos de imagen preprocesados 19. El preprocesamiento realizado por el preprocesador 18 puede comprender, por ejemplo, recorte, conversión de formato de color (por ejemplo, de RGB a YCbCr), corrección de color o eliminación de ruido. Puede entenderse que la unidad de preprocesamiento 18 puede ser un componente opcional.

El codificador de vídeo 20 se configura para recibir los datos de imagen preprocesados 19 y proporcionar datos de imagen codificados 21 (se describirán más detalles a continuación, por ejemplo, basándose en la Fig. 2). La interfaz de comunicación 22 del dispositivo de origen 12 puede configurarse para recibir los datos de imagen codificados 21 y para transmitir los datos de imagen codificados 21 (o cualquier versión procesada adicional de los mismos) a través del canal de comunicación 13 a otro dispositivo, por ejemplo, el dispositivo de destino 14 o cualquier otro dispositivo, para almacenamiento o reconstrucción directa.

El dispositivo de destino 14 comprende un decodificador 30 (por ejemplo, un decodificador de vídeo 30), y puede comprender adicionalmente, es decir, opcionalmente, una interfaz de comunicación o unidad de comunicación 28, un posprocesador 32 (o unidad de posprocesamiento 32) y un dispositivo de exposición 34.

La interfaz de comunicación 28 del dispositivo de destino 14 se configura para recibir los datos de imagen codificados 21 (o cualquier versión procesada adicional de los mismos), por ejemplo, directamente desde el dispositivo de origen 12 o desde cualquier otra fuente, por ejemplo, un dispositivo de almacenamiento, por ejemplo. un dispositivo de almacenamiento de datos de imágenes codificadas, y proporcionar los datos de imágenes codificadas 21 al decodificador 30.

La interfaz de comunicación 22 y la interfaz de comunicación 28 pueden configurarse para transmitir o recibir los datos de imagen codificados 21 o los datos codificados 13 a través de un enlace de comunicación directo entre el dispositivo de origen 12 y el dispositivo de destino 14, por ejemplo, un enlace cableado directo o conexión inalámbrica, o a través de cualquier tipo de red, por ejemplo, una red cableada o inalámbrica o cualquier combinación de las mismas, o cualquier tipo de red pública y privada, o cualquier tipo de combinación de las mismas.

La interfaz de comunicación 22 puede configurarse, por ejemplo, para empaquetar los datos de imagen codificados 21 en un formato apropiado, por ejemplo paquetes, y/o procesar los datos de imagen codificados usando cualquier tipo de codificación o procesamiento de transmisión para la transmisión a través de un enlace de comunicación o red de comunicación.

La interfaz de comunicación 28, que forma la contraparte de la interfaz de comunicación 22, puede configurarse, por ejemplo, para recibir los datos transmitidos y procesar los datos de transmisión usando cualquier tipo de decodificación o procesamiento de transmisión correspondiente y/o desempaquetado para obtener los datos de imagen codificados 21.

Tanto la interfaz de comunicación 22 como la interfaz de comunicación 28 pueden configurarse como interfaces de comunicación unidireccionales como lo indica la flecha para el canal de comunicación 13 en la FIG. 1A que apunta desde el dispositivo de origen 12 al dispositivo de destino 14, o interfaces de comunicación bidireccionales, y puede configurarse, por ejemplo, para enviar y recibir mensajes, por ejemplo, para configurar una conexión, para reconocer e intercambiar cualquier otra información relacionada con el enlace de comunicación y/o transmisión de datos, por ejemplo transmisión de datos de imágenes codificadas.

El decodificador 30 se configura para recibir los datos de imagen codificados 21 y proporcionar datos de imagen decodificados 31 o una imagen decodificada 31 (se describirán más detalles a continuación, por ejemplo, basándose en la FIG. 3 o la FIG. 5).

El posprocesador 32 del dispositivo de destino 14 se configura para posprocesar los datos de imagen decodificados 31 (también llamados datos de imagen reconstruidos), por ejemplo, la imagen decodificada 31, para obtener datos de imagen posprocesados 33, por ejemplo, una imagen posprocesada 33. El posprocesamiento realizado por la unidad de posprocesamiento 32 puede comprender, por ejemplo, conversión de formato de color (por ejemplo, de YCbCr a RGB), corrección, recorte o remuestreo de color, o cualquier otro procesamiento, por ejemplo, para preparar los datos de imagen decodificados 31 para exposición, por ejemplo mediante el dispositivo de exposición 34.

El dispositivo de exposición 34 del dispositivo de destino 14 se configura para recibir los datos de imagen posprocesados 33 para mostrar la imagen, por ejemplo, a un usuario o espectador. El dispositivo de exposición 34 puede ser o comprender cualquier tipo de pantalla para representar la imagen reconstruida, por ejemplo una pantalla o monitor integrado o externo. Las pantallas pueden comprender, por ejemplo, pantallas de cristal líquido (LCD), pantallas de diodos orgánicos emisores de luz (OLED), pantallas de plasma, proyectores, pantallas micro LED, cristal líquido sobre silicio (LCoS), procesador de luz digital (DLP) o cualquier otro tipo de mostrar.

Aunque la FIG. 1A representa el dispositivo de origen 12 y el dispositivo de destino 14 como dispositivos separados, las realizaciones de dispositivos también pueden comprender ambas o ambas funcionalidades, el dispositivo de origen 12 o la funcionalidad correspondiente y el dispositivo de destino 14 o la funcionalidad correspondiente. En tales realizaciones, el dispositivo de origen 12 o la funcionalidad correspondiente y el dispositivo de destino 14 o la funcionalidad correspondiente se pueden implementar usando el mismo hardware y/o software o mediante hardware y/o software separados o cualquier combinación de los mismos.

Como resultará evidente para el experto basándose en la descripción, la existencia y división (exacta) de funcionalidades de las diferentes unidades o funcionalidades dentro del dispositivo de origen 12 y/o el dispositivo de destino 14 como se muestra en la FIG. 1A puede variar según el dispositivo y la aplicación reales.

El codificador 20 (p. ej. codificador de vídeo 20) y el decodificador 30 (p. eje. decodificador de vídeo 30) o ambos del codificador 20 y el decodificador 30 pueden implementarse por medio de circuitería de procesamiento como se muestra en la FIG. 1B, tal como uno o más microprocesadores, procesadores de señales digitales (DSP), circuitos integrados específicos de aplicación (ASIC), matrices de puertas programables en campo (FPGA), lógica discreta, software, hardware, firmware o cualquier combinación de los mismos. El codificador 20 puede implementarse mediante circuitería de procesamiento 46 para incorporar los diversos módulos como se analiza con respecto al codificador 20 de la FIG. 2 y/o cualquier otro sistema o subsistema codificador descrito en esta memoria. El decodificador 30 puede implementarse mediante un circuitería de procesamiento 46 para incorporar los diversos módulos como se analiza con respecto al decodificador 30 de la FIG. 3 y/o cualquier otro sistema o subsistema decodificador descrito en esta memoria. La circuitería de procesamiento puede configurarse para realizar las diversas operaciones como se analiza más adelante. Como se muestra en la fig. 5, si las técnicas se implementan parcialmente en software, un dispositivo puede almacenar instrucciones para el software en un soporte de almacenamiento adecuado no transitorio legible por ordenador y puede ejecutar las instrucciones en hardware usando uno o más procesadores para realizar las técnicas de esta divulgación. Cualquiera del codificador de vídeo 20 y el decodificador de vídeo 30 puede integrarse como parte de un codificador/decodificador combinado (CODEC) en un único dispositivo, por ejemplo, como se muestra en la FIG. 1B.

El dispositivo de origen 12 y el dispositivo de destino 14 pueden comprender cualquiera de una amplia gama de dispositivos, incluido cualquier tipo de dispositivo portátil o estacionario, por ejemplo, ordenadores portátiles o portátiles, teléfonos móviles, teléfonos inteligentes, tabletas o tabletas, cámaras, ordenadores de escritorio, decodificadores, televisores, dispositivos de visualización, reproductores de medios digitales, consolas de videojuegos, dispositivos de transmisión de vídeo (tales como servidores de servicios de contenido o servidores de entrega de contenido), dispositivos receptores de transmisión, dispositivos transmisores de transmisión o similares y puede utilizar ningún o cualquier tipo de sistema operativo. En algunos casos, el dispositivo de origen 12 y el dispositivo de destino 14 pueden equiparse para comunicación inalámbrica. Así, el dispositivo de origen 12 y el dispositivo de destino 14 pueden ser dispositivos de comunicación inalámbrica.

En algunos casos, el sistema de codificación de vídeo 10 ilustrado en la FIG. 1A es simplemente un ejemplo y las técnicas de la presente solicitud pueden aplicarse a configuraciones de codificación de vídeo (por ejemplo, codificación de vídeo o decodificación de vídeo) que no incluyen necesariamente ninguna comunicación de datos entre los dispositivos de codificación y decodificación. En otros ejemplos, los datos se recuperan de una memoria local, se transmiten a través de una red o similares. Un dispositivo de codificación de vídeo puede codificar y almacenar datos en la memoria, y/o un dispositivo de decodificación de vídeo puede recuperar y decodificar datos de la memoria. En algunos ejemplos, la codificación y decodificación se realiza mediante dispositivos que no se comunican entre sí, sino que simplemente codifican datos en la memoria y/o recuperan y decodifican datos de la memoria.

Para facilitar la descripción, en esta memoria se describen realizaciones de la presente divulgación, por ejemplo, mediante referencia a la codificación de vídeo de alta eficiencia (HEVC) o al software de referencia de codificación de vídeo versátil (VVC), el siguiente estándar de codificación de vídeo de nueva generación desarrollado por el Equipo Conjunto de Colaboración sobre Codificación de Vídeo (JCT-VC) del Grupo de Expertos en Codificación de Vídeo del UIT-T (VCEG) y el Grupo de Expertos en Películas I<s>O/IEC (MPEG). Un experto en la técnica entenderá que las realizaciones de la presente divulgación no se limitan a HEVC o VVC.

Codificador y método de codificación

La FIG. 2 muestra un diagrama de bloques esquemático de un codificador de vídeo 20 de ejemplo que se configura para implementar las técnicas de la presente solicitud. En el ejemplo de la FIG. 2, el codificador de vídeo 20 comprende una entrada 201 (o interfaz de entrada 201), una unidad de cálculo residual 204, una unidad de procesamiento de transformada 206, una unidad de cuantización 208, una unidad de cuantización inversa 210 y una unidad de procesamiento de transformada inversa 212, una unidad de reconstrucción. 214, una unidad de filtro de bucle 220, un búfer de imágenes decodificadas (DPB) 230, una unidad de selección de modo 260, una unidad de codificación de entropía 270 y una salida 272 (o interfaz de salida 272). La unidad de selección de modo 260 puede incluir una unidad de interpredicción 244, una unidad de intrapredicción 254 y una unidad de partición 262. La unidad de interpredicción 244 puede incluir una unidad de estimación de movimiento y una unidad de compensación de movimiento (no mostradas). Un codificador de vídeo 20 como se muestra en la FIG. 2 también puede denominarse codificador de vídeo híbrido o codificador de vídeo según un códec de vídeo híbrido.

Se puede hacer referencia a que la unidad de cálculo residual 204, la unidad de procesamiento de transformada 206, la unidad de cuantización 208, la unidad de selección de modo 260 forman una ruta de señal directa del codificador 20, mientras que la unidad de cuantización inversa 210, se puede hacer referencia a que la unidad de procesamiento de transformada inversa 212, la unidad de reconstrucción 214, el búfer 216, el filtro de bucle 220, el búfer de imágenes decodificadas (DPB) 230, la unidad de interpredicción 244 y la unidad de intrapredicción 254 forman una ruta de señal hacia atrás del codificador de vídeo 20, en donde la ruta de señal hacia atrás del codificador de vídeo 20 corresponde a la ruta de señal del decodificador (véase el decodificador de vídeo 30 en la FIG. 3). También se hace referencia a que la unidad de cuantización inversa 210, la unidad de procesamiento de transformada inversa 212, la unidad de reconstrucción 214, el filtro de bucle 220, el búfer de imágenes decodificadas (DPB) 230, la unidad de interpredicción 244 y la unidad de intrapredicción 254 forman el "decodificador incorporado" del codificador de vídeo 20.

Imágenes y partición de imágenes (imágenes y bloques)

El codificador 20 puede configurarse para recibir, por ejemplo, a través de la entrada 201, una imagen 17 (o datos de imagen 17), por ejemplo, una imagen de una secuencia de imágenes que forman un vídeo o una secuencia de vídeo. La imagen recibida o los datos de imagen también pueden ser una imagen preprocesada 19 (o datos de imagen preprocesados 19). Para simplificar, la siguiente descripción se refiere a la imagen 17. La imagen 17 también puede denominarse imagen actual o imagen a codificar (en particular en codificación de vídeo para distinguir la imagen actual de otras imágenes, por ejemplo imágenes previamente codificadas y/o decodificadas de la misma secuencia de vídeo, es decir, la secuencia de vídeo que también incluye la imagen actual).

Una imagen (digital) es o puede considerarse como una matriz o distribución bidimensional de muestras con valores de intensidad. Una muestra en la distribución también puede denominarse píxel (forma abreviada de elemento de imagen) o pel. El número de muestras en dirección (o eje) horizontal y vertical de la distribución o imagen define el tamaño y/o resolución de la imagen. Para la representación del color, típicamente se emplean tres componentes de color, es decir, la imagen puede representarse o incluir tres conjuntos de muestras. En formato RBG o espacio de color, una imagen comprende una distribución de muestras correspondiente de rojo, verde y azul. Sin embargo, en la codificación de vídeo, cada píxel suele representarse en un formato o espacio de color de luminancia y crominancia, por ejemplo, YCbCr, que comprende un componente de luminancia indicado por Y (a veces también se utiliza L) y dos componentes de crominancia indicados por Cb y Cr. El componente de luminancia (o luma corto) Y representa el brillo o la intensidad del nivel de gris (por ejemplo, como en una imagen en escala de grises), mientras que los dos componentes de crominancia (o croma corto) Cb y Cr representan los componentes de cromaticidad o información de color. En consecuencia, una imagen en formato YCbCr comprende una distribución de muestras de luminancia de valores de muestra de luminancia (Y) y dos distribuciones de muestras de crominancia de valores de crominancia (Cb y Cr). Las imágenes en formato RGB se pueden convertir o transformar al formato YCbCr y viceversa, el proceso también se conoce como transformación o conversión de color. Si una imagen es monocromática, la imagen puede comprender sólo una distribución de muestras de luminancia. En consecuencia, una imagen puede ser, por ejemplo, una serie de muestras de luma en formato monocromático o una serie de muestras de luma y dos series correspondientes de muestras de croma en 4:2:0, 4:2:2 y 4:4:4. formato de color.

Las realizaciones del codificador de vídeo 20 pueden comprender una unidad de partición de imágenes (no representada en la FIG. 2) configurada para particionar la imagen 17 en una pluralidad de bloques de imágenes 203 (típicamente no superpuestos). Estos bloques también pueden denominarse bloques raíz, macrobloques (H.264/AVC) o bloques de árbol de codificación (CTB) o unidades de árbol de codificación (CTU) (H.265/h Ev C y VVC). La unidad de partición de imágenes puede configurarse para usar el mismo tamaño de bloque para todas las imágenes de una secuencia de vídeo y la cuadrícula correspondiente que define el tamaño de bloque, o para cambiar el tamaño de bloque entre imágenes o subconjuntos o grupos de imágenes, y particionar cada imagen en bloques correspondientes.

En realizaciones adicionales, el codificador de vídeo puede configurarse para recibir directamente un bloque 203 de la imagen 17, por ejemplo, uno, varios o todos los bloques que forman la imagen 17. El bloque de imágenes 203 también puede denominarse bloque de imágenes actual o bloque de imágenes a codificar.

Al igual que la imagen 17, el bloque de imagen 203 nuevamente es o puede considerarse como una matriz o distribución bidimensional de muestras con valores de intensidad (valores de muestra), aunque de menor dimensión que la imagen 17. En otras palabras, el bloque 203 puede comprender, por ejemplo, una distribución de muestras (por ejemplo, una distribución de luma en el caso de una imagen monocromática 17, o una distribución de luma o croma en el caso de una imagen en color) o tres distribuciones de muestras (por ejemplo, una distribución de luma y dos distribuciones cromáticas en el caso de una imagen en color 17) o cualquier otro número y/o tipo de distribuciones dependiendo del formato de color aplicado. El número de muestras en dirección (o eje) horizontal y vertical del bloque 203 define el tamaño del bloque 203. En consecuencia, un bloque puede, por ejemplo, una distribución de muestras MxN (M columnas por N filas), o una distribución MxN de coeficientes de transformada.

Realizaciones del codificador de vídeo 20 como se muestra en la FIG. 2 pueden configurarse para codificar la imagen 17 bloque por bloque, por ejemplo, la codificación y predicción se realizan por el bloque 203.

Realizaciones del codificador de vídeo 20 como se muestra en la FIG. 2 pueden configurarse además para particionar y/o codificar la imagen mediante el uso de sectores (también denominados sectores de vídeo), en donde una imagen puede particionarse o codificarse utilizando uno o más sectores (típicamente no superpuestos), y cada sector puede comprender uno o más bloques (por ejemplo, CTU) o uno o más grupos de bloques (por ejemplo, mosaicos (H.265/HEVC y VVC) o ladrillos (v Vc )).

Realizaciones del codificador de vídeo 20 como se muestra en la FIG. 2 puede configurarse además para particionar y/o codificar la imagen mediante el uso de grupos de sectores/mosaicos (también denominados grupos de mosaicos de vídeo) y/o mosaicos (también denominados mosaicos de vídeo), en donde una imagen puede particionarse o codificarse usando uno o más grupos de sectores/mosaicos (típicamente no superpuestos), y cada grupo de sectores/mosaicos puede comprender, por ejemplo, uno o más bloques (por ejemplo, CTU) o uno o más mosaicos, en donde cada mosaico, por ejemplo, puede tener forma rectangular y puede comprender uno o más bloques (por ejemplo, CTU), por ejemplo, bloques completos o fraccionados.

Cálculo residual

La unidad de cálculo residual 204 puede configurarse para calcular un bloque residual 205 (también denominado residual 205) basándose en el bloque de imagen 203 y un bloque de predicción 265 (más detalles sobre el bloque de predicción 265 se proporcionan más adelante), por ejemplo restando valores de muestra del bloque de predicción 265 de valores de muestra del bloque de imagen 203, muestra por muestra (píxel por píxel) para obtener el bloque residual 205 en el dominio de muestra.

Transformada

La unidad de procesamiento de transformada 206 puede configurarse para aplicar una transformada, por ejemplo, una transformada de coseno discreta (DCT) o una transformada de seno discreta (DST), en los valores de muestra del bloque residual 205 para obtener coeficientes de transformada 207 en un dominio de transformada. Los coeficientes de transformada 207 también pueden denominarse coeficientes residuales de transformada y representan el bloque residual 205 en el dominio de transformada.

La unidad de procesamiento de transformadas 206 puede configurarse para aplicar aproximaciones de números enteros de DCT/DST, tales como las transformadas especificadas para H.265/HEVC. En comparación con una transformada DCT ortogonal, estas aproximaciones de números enteros suelen escalarse según un determinado factor. Para preservar la norma del bloque residual que se procesa mediante transformadas directas e inversas, se aplican factores de escala adicionales como parte del proceso de transformada. Los factores de escala generalmente se eligen en función de ciertas restricciones, como que los factores de escala sean una potencia de dos para operaciones de cambio, profundidad de bits de los coeficientes de transformada, equilibrio entre precisión y costes de implementación, etc. Se especifican factores de escala específicos, por ejemplo, para la transformada inversa, por ejemplo mediante la unidad de procesamiento de transformada inversa 212 (y la correspondiente transformada inversa, por ejemplo mediante la unidad de procesamiento de transformada inversa 312 en el decodificador de vídeo 30) y los factores de escala correspondientes para la transformada directa, por ejemplo mediante la unidad de procesamiento de transformada 206, en un codificador 20 pueden especificarse en consecuencia.

Pueden configurarse realizaciones del codificador de vídeo 20 (respectivamente la unidad de procesamiento de transformadas 206) para generar parámetros de transformada, por ejemplo, un tipo de transformada o transformadas, por ejemplo, directamente o codificadas o comprimidas a través de la unidad de codificación de entropía 270, de modo que, por ejemplo, el decodificador de vídeo 30 puede recibir y utilizar los parámetros de transformada para decodificar.

Cuantización

La unidad de cuantización 208 puede configurarse para cuantificar los coeficientes de transformada 207 para obtener coeficientes cuantizados 209, por ejemplo, aplicando cuantización escalar o cuantización vectorial. Los coeficientes cuantizados 209 también pueden denominarse coeficientes de transformada cuantizados 209 o coeficientes residuales cuantizados 209.

El proceso de cuantización puede reducir la profundidad de bit asociada con algunos o todos los coeficientes de transformada 207. Por ejemplo, un coeficiente de transformada de n bits puede redondearse hacia abajo a un coeficiente de transformada de m bits durante la cuantización, donde n es mayor que m. El grado de cuantización puede modificarse ajustando un parámetro de cuantización (QP). Por ejemplo, para la cuantización escalar, se puede aplicar una escala diferente para lograr una cuantización más fina o más basta. Los tamaños de etapa de cuantización más pequeños corresponden a una cuantización más fina, mientras que los tamaños de etapa de cuantización más grandes corresponden a una cuantización más basta. El tamaño de la etapa de cuantización aplicable puede indicarse mediante un parámetro de cuantización (QP). El parámetro de cuantización puede ser, por ejemplo, un índice de un conjunto predefinido de tamaños de etapa de cuantización aplicables. Por ejemplo, los parámetros de cuantización pequeños pueden corresponder a una cuantización fina (tamaños de etapas de cuantización pequeños) y los parámetros de cuantización grandes pueden corresponder a una cuantización basta (tamaños de etapas de cuantización grandes) o viceversa. La cuantización puede incluir división por un tamaño de etapa de cuantización y una descuantización correspondiente y/o inversa, por ejemplo mediante la unidad de cuantización inversa 210, puede incluir multiplicación por el tamaño de etapa de cuantización. Las realizaciones según algunos estándares, por ejemplo HEVC, pueden configurarse para usar un parámetro de cuantización para determinar el tamaño de la etapa de cuantización. Generalmente, el tamaño de la etapa de cuantización se puede calcular basándose en un parámetro de cuantización usando una aproximación de punto fijo de una ecuación que incluye división. Se pueden introducir factores de escala adicionales para la cuantización y descuantización para restaurar la norma del bloque residual, que podría modificarse debido a la escala utilizada en la aproximación de punto fijo de la ecuación para el tamaño de la etapa de cuantización y el parámetro de cuantización. En una implementación de ejemplo, se podrían combinar el escalado de la transformada inversa y la descuantización. Alternativamente, pueden usarse tablas de cuantización personalizadas y señalizarse desde un codificador a un decodificador, por ejemplo en un flujo de bits. La cuantización es una operación con pérdidas, en donde la pérdida aumenta al aumentar el tamaño de los etapas de cuantización.

Pueden configurarse realizaciones del codificador de vídeo 20 (respectivamente la unidad de cuantización 208) para generar parámetros de cuantización (QP), por ejemplo, directamente o codificados a través de la unidad de codificación de entropía 270, de modo que, por ejemplo, el decodificador de vídeo 30 pueda recibir y aplicar los parámetros de cuantización para la decodificación.

Cuantización inversa

La unidad de cuantización inversa 210 se configura para aplicar la cuantización inversa de la unidad de cuantización 208 sobre los coeficientes cuantizados para obtener coeficientes descuantizados 211, por ejemplo, aplicando la inversa del esquema de cuantización aplicado por la unidad de cuantización 208 en función o usando el mismo tamaño de etapa de cuantización que la unidad de cuantización 208. Los coeficientes descuantizados 211 también pueden denominarse coeficientes residuales descuantizados 211 y corresponden -aunque típicamente no son idénticos a los coeficientes de transformada debido a la pérdida por cuantización - a los coeficientes de transformada 207.

Transformada inversa

La unidad de procesamiento de transformada inversa 212 se configura para aplicar la transformada inversa de la transformada aplicada por la unidad de procesamiento de transformada 206, por ejemplo, una transformada de coseno discreta inversa (DCT) o una transformada de seno discreta inversa (DST) u otras transformadas inversas, para obtener un bloque residual reconstruido 213 (o coeficientes descuantizados correspondientes 213) en el dominio de muestra. El bloque residual reconstruido 213 también puede denominarse bloque de transformada 213.

Reconstrucción

La unidad de reconstrucción 214 (por ejemplo, añadidor o sumador 214) se configura para añadir el bloque de transformada 213 (es decir, el bloque residual reconstruido 213) al bloque de predicción 265 para obtener un bloque reconstruido 215 en el dominio de muestra, por ejemplo agregando - muestra por muestra - los valores de muestra del bloque residual reconstruido 213 y los valores de muestra del bloque de predicción 265.

Filtrado

La unidad de filtro de bucle 220 (o "filtro de bucle" corto 220), se configura para filtrar el bloque reconstruido 215 para obtener un bloque filtrado 221, o, en general, para filtrar muestras reconstruidas para obtener valores de muestra filtrados. La unidad de filtro de bucle se configura, por ejemplo, para suavizar las transiciones de píxeles o mejorar de otro modo la calidad del vídeo. La unidad de filtro de bucle 220 puede comprender uno o más filtros de bucle tales como un filtro de desbloqueo, un filtro de compensación adaptativa de muestra (SAO) o uno o más filtros diferentes, por ejemplo, un filtro de bucle adaptativo (ALF), un filtro de supresión de ruido ( NSF), o cualquier combinación de los mismos. En un ejemplo, la unidad de filtro de bucle 220 puede comprender un filtro de desbloqueo, un filtro SAO y un filtro ALF. El orden del proceso de filtrado puede ser el filtro de desbloqueo, SAO y ALF. En otro ejemplo, se añade un proceso llamado mapeo de luma con escalado de croma (LMCS) (es decir, el remodelador adaptativo en bucle). Este proceso se realiza antes del desbloqueo. En otro ejemplo, el proceso de filtro de desbloqueo también se puede aplicar a bordes de subbloque internos, por ejemplo, bordes de subbloques afines, bordes de subbloques ATMVP, bordes de transformada de subbloque (SBT) y bordes intrasubpartición (ISP). Aunque la unidad de filtro de bucle 220 se muestra en la FIG. 2 como un filtro en bucle, en otras configuraciones, la unidad de filtro en bucle 220 puede implementarse como un filtro posterior al bucle. El bloque filtrado 221 también puede denominarse bloque reconstruido filtrado 221.

Pueden configurarse realizaciones del codificador de vídeo 20 (respectivamente la unidad de filtro de bucle 220) para emitir parámetros de filtro de bucle (tales como parámetros de filtro SAO o parámetros de filtro ALF o parámetros LMCS), por ejemplo, directamente o codificados a través de la unidad de codificación de entropía.

270, de modo que, por ejemplo, un decodificador 30 pueda recibir y aplicar los mismos parámetros de filtro de bucle o filtros de bucle respectivos para decodificar.

Búfer de imagen decodificada

El búfer de imágenes decodificadas (DPB) 230 puede ser una memoria que almacena imágenes de referencia, o en general datos de imágenes de referencia, para codificar datos de vídeo mediante el codificador de vídeo 20. El DPB 230 puede formarse por cualquiera de una variedad de dispositivos de memoria, tales como memoria dinámica de acceso aleatorio (DRAM), incluida DRAM sincrónica (SDRAM), RAM magnetorresistiva (MRAM), RAM resistiva (RRAM) u otros tipos de dispositivos de memoria. El búfer de imágenes decodificadas (DPB) 230 puede configurarse para almacenar uno o más bloques filtrados 221. El búfer de imágenes decodificadas 230 puede configurarse además para almacenar otros bloques previamente filtrados, por ejemplo bloques previamente reconstruidos y filtrados 221, de la misma imagen actual o de diferentes imágenes, por ejemplo imágenes previamente reconstruidas, y puede proporcionar imágenes completas previamente reconstruidas, es decir, decodificadas (y muestras y bloques de referencia correspondientes) y/o una imagen actual parcialmente reconstruida (y muestras y bloques de referencia correspondientes), por ejemplo para interpredicción. El búfer de imágenes decodificadas (DPB) 230 también puede configurarse para almacenar uno o más bloques reconstruidos sin filtrar 215, o en general muestras reconstruidas sin filtrar, por ejemplo, si el bloque reconstruido 215 no se filtra mediante la unidad de filtro de bucle 220, o cualquier otra versión procesada adicionalmente de los bloques o muestras reconstruidos.

Selección de modo (particionamiento y predicción)

La unidad de selección de modo 260 comprende la unidad de partición 262, la unidad de interpredicción 244 y la unidad de intrapredicción 254, y se configura para recibir u obtener datos de imagen originales, por ejemplo, un bloque original 203 (bloque actual 203 de la imagen actual 17), y datos de imagen reconstruidos, por ejemplo, muestras o bloques reconstruidos filtrados y/o sin filtrar de la misma imagen (actual) y/o de una o una pluralidad de imágenes previamente decodificadas, por ejemplo del búfer de imágenes decodificadas 230 u otras memorias intermedias (por ejemplo, búfer de línea, no mostrado). Los datos de imagen reconstruidos se utilizan como datos de imagen de referencia para predicción, por ejemplo, interpredicción o intrapredicción, para obtener un bloque de predicción 265 o un predictor 265.

La unidad de selección de modo 260 puede configurarse para determinar o seleccionar una partición para un modo de predicción de bloque actual (no incluyendo ninguna partición) y un modo de predicción (por ejemplo, un modo de intra- o interpredicción) y generar un bloque de predicción correspondiente 265 que se utiliza para el cálculo del bloque residual 205 y para la reconstrucción del bloque reconstruido 215.

Las realizaciones de la unidad de selección de modo 260 pueden configurarse para seleccionar la partición y el modo de predicción (por ejemplo, de aquellos soportados o disponibles para la unidad de selección de modo 260), que proporcionan la mejor coincidencia o en otras palabras la residual mínimo (residual mínimo significa una mejor compresión para la transmisión o el almacenamiento), o una sobrecarga de señalización mínima (una sobrecarga de señalización mínima significa una mejor compresión para la transmisión o el almacenamiento), o que considera o equilibra ambos. La unidad de selección de modo 260 puede configurarse para determinar el modo de partición y predicción basándose en la optimización de distorsión de tasa (RDO), es decir, seleccionar el modo de predicción que proporciona una distorsión de tasa mínima. Términos como "mejor", "mínimo", "óptimo", etc. en este contexto no necesariamente se refieren a un "mejor", "mínimo", "óptimo", etc. en general, sino que también pueden referirse al cumplimiento de una rescisión o criterio de selección como un valor que excede o cae por debajo de un umbral u otras restricciones que conducen potencialmente a una "selección subóptima", pero reducen la complejidad y el tiempo de procesamiento.

En otras palabras, la unidad de partición 262 puede configurarse para particionar una imagen de una secuencia de vídeo en una secuencia de unidades de árbol de codificación (CTU), y la CTU 203 puede particionarse además en particiones de bloques más pequeñas o subbloques (que vuelven a formar bloques), por ejemplo usando iterativamente partición de cuatro árboles (QT), partición binaria (BT) o partición de tres árboles (TT) o cualquier combinación de los mismos, y para realizar, por ejemplo, la predicción para cada una de las particiones de bloque o subbloques, en donde la selección de modo comprende la selección de la estructura de árbol del bloque particionado 203 y los modos de predicción se aplican a cada una de las particiones de bloque o subbloques.

A continuación, la partición (por ejemplo, mediante la unidad de partición 260) y el procesamiento de predicción (mediante la unidad de interpredicción 244 y la unidad de intrapredicción 254) realizados por un codificador de vídeo de ejemplo 20 se explicarán con más detalle.

Particionamiento

La unidad de partición 262 puede configurarse para particionar una imagen de una secuencia de vídeo en una secuencia de unidades de árbol de codificación (CTU), y la unidad de partición 262 puede particionar (o dividir) una unidad de árbol de codificación (CTU) 203 en particiones más pequeñas, por ejemplo, bloques más pequeños de tamaño cuadrado o rectangular. Para una imagen que tiene tres conjuntos de muestras, una CTU consiste en un bloque N*N de muestras de luma junto con dos bloques correspondientes de muestras de croma. El tamaño máximo permitido del bloque luma en una CTU se especifica en 128x128 en la codificación de vídeo versátil en desarrollo (VVC), pero se puede especificar en un valor en lugar de 128x128 en el futuro, por ejemplo, 256x256. Las CTU de una imagen pueden agruparse como grupos de sectores/mosaicos, mosaicos o ladrillos. Un mosaico cubre una región rectangular de una imagen y un mosaico se puede particionar en uno o más ladrillos. Un ladrillo consiste en varias filas de CTU dentro de un mosaico. Un mosaico que no se particiona en varios ladrillos puede denominarse ladrillo. Sin embargo, un ladrillo es un verdadero subconjunto de un mosaico y no se le conoce como mosaico. Hay dos modos de grupos de mosaicos admitidos en VVC, a saber, el modo de grupo de sectores/mosaicos de escaneo ráster y el modo de sector rectangular. En el modo de grupo de mosaicos de escaneo ráster, un grupo de sectores/mosaicos contiene una secuencia de mosaicos en el escaneo ráster de mosaicos de una imagen. En el modo de sector rectangular, un sector contiene varios bloques de una imagen que en conjunto forman una región rectangular de la imagen. Los ladrillos dentro de un sector rectangular están en el orden del escaneo ráster de ladrillos del sector. Estos bloques más pequeños (que también pueden denominarse subbloques) pueden particionarse en particiones aún más pequeñas. Esto también se conoce como partición de árbol o partición de árbol jerárquica, en donde un bloque raíz, por ejemplo en el nivel 0 del árbol raíz (nivel de jerarquía 0, profundidad 0), puede particionarse de forma recursiva, por ejemplo, particionarse en dos o más bloques de un siguiente nivel de árbol inferior, por ejemplo, nodos en el nivel de árbol 1 (nivel de jerarquía 1, profundidad 1), en donde estos bloques pueden particionarse nuevamente en dos o más bloques de un siguiente nivel inferior, por ejemplo, nivel de árbol 2 (nivel de jerarquía 2, profundidad 2), etc. hasta que finaliza la partición, por ejemplo porque se cumple un criterio de terminación, por ejemplo, se alcanza una profundidad máxima de árbol o un tamaño mínimo de bloque. Los bloques que no se particionan más también se denominan bloques de hojas o nodos de hojas del árbol. Un árbol que utiliza la partición en dos particiones se denomina árbol binario (BT), un árbol que utiliza la partición en tres particiones se denomina árbol ternario (TT) y un árbol que utiliza la partición en cuatro particiones se denomina árbol cuádruple (QT).

Por ejemplo, una unidad de árbol de codificación (CTU) puede ser o comprender un CTB de muestras de luma, dos CTB correspondientes de muestras de croma de una imagen que tiene tres distribuciones de muestras, o un CTB de muestras de una imagen monocromática o una imagen codificada utilizando tres planos de color separados y estructuras de sintaxis utilizadas para codificar las muestras. En consecuencia, un bloque de árbol de codificación (CTB) puede ser un bloque NxN de muestras para algún valor de N, de modo que la división de un componente en CTB sea una partición. Una unidad de codificación (CU) puede ser o comprender un bloque de codificación de muestras de luma, dos bloques de codificación correspondientes de muestras de croma de una imagen que tiene tres distribuciones de muestras, o un bloque de codificación de muestras de una imagen monocromática o una imagen codificada utilizando tres planos de color separados y estructuras de sintaxis utilizadas para codificar las muestras. De manera correspondiente, un bloque de codificación (CB) puede ser un bloque MxN de muestras para algunos valores de M y N, de manera que la división de un CTB en bloques de codificación es una partición.

En realizaciones, por ejemplo, según HEVC, una unidad de árbol de codificación (CTU) se puede dividir en CU usando una estructura de árbol cuádruple denominada árbol de codificación. La decisión de codificar un área de imagen utilizando predicción entre imágenes (temporal) o intraimagen (espacial) se toma en el nivel de CU de hoja. Cada CU de hoja se puede dividir en una, dos o cuatro PU según el tipo de división de PU. Dentro de una PU, se aplica el mismo proceso de predicción y la información relevante se transmite al decodificador por PU. Después de obtener el bloque residual aplicando el proceso de predicción basado en el tipo de división de PU, una CU de hoja se puede particionar en unidades de transformada (TU) según otra estructura de árbol cuádruple similar al árbol de codificación de la CU.

En realizaciones, por ejemplo, según el último estándar de codificación de vídeo actualmente en desarrollo, que se denomina codificación de vídeo versátil (VVC), un árbol multitipo anidado de cuatro árboles combinado que utiliza y . estructura de segmentación de divisiones binarias y ternarias utilizadas, por ejemplo, para particionar una unidad de árbol de codificación. En la estructura de árbol de codificación dentro de una unidad de árbol de codificación, una CU puede tener forma cuadrada o rectangular. Por ejemplo, la unidad de árbol de codificación (CTU) se divide primero mediante un árbol cuaternario. Luego, los nodos de las hojas del árbol cuaternario se pueden particionar aún más mediante una estructura de árbol de varios tipos. Hay cuatro tipos de división en una estructura de árbol de tipos múltiples: división binaria vertical (SPLIT_BT_VER), división binaria horizontal (SPLIT_BT_HOR), división ternaria vertical (SPLIT_TT_VER) y división ternaria horizontal (SPLIT_TT_HOR). Los nodos de hoja de árbol de tipos múltiples se denominan unidades de codificación (CU) y, a menos que la CU sea demasiado grande para la longitud máxima de transformada, esta segmentación se utiliza para la predicción y el procesamiento de transformada sin ninguna partición adicional. Esto significa que, en la mayoría de los casos, la CU, la PU y la TU tienen el mismo tamaño de bloque en el árbol cuádruple con una estructura de bloques de codificación de árbol de tipos múltiples anidados. La excepción ocurre cuando la longitud de transformada máxima admitida es menor que el ancho o alto del componente de color de CU. VVC desarrolla un mecanismo de señalización único de la partición que divide la información en árbol cuádruple con una estructura de árbol de codificación de múltiples tipos anidados. En el mecanismo de señalización, una unidad de árbol de codificación (CTU) se trata como la raíz de un árbol cuaternario y primero se divide mediante una estructura de árbol cuaternario. Cada nodo de hoja de árbol cuaternario (cuando es lo suficientemente grande como para permitirlo) se divide aún más mediante una estructura de árbol de varios tipos. En la estructura de árbol de tipos múltiples, se señala una primera bandera (mtt_split_cu_flag) para indicar si el nodo está particionado adicionalmente; cuando un nodo se particiona aún más, se señala una segunda bandera (mtt_split_cu_vertical_flag) para indicar la dirección de división, y luego se señala una tercera bandera (mtt_split_cu_binary_flag) para indicar si la división es una división binaria o una división ternaria. Según los valores de mtt_split_cu_vertical_flag y mtt split cu_binary_flag, un decodificador puede derivar el modo de corte longitudinal de árboles de tipos múltiples (MttSplitMode) de una CU en función de una regla o tabla predefinida. Cabe señalar que, para un diseño determinado, por ejemplo, el bloque Luma de 64 x 64 y el diseño de canalización Chroma de 32 x 32 en decodificadores de hardware VVC, la división TT está prohibida cuando el ancho o la altura de un bloque de codificación luma es mayor que 64, ya que como se muestra en la Figura 6. La división TT también está prohibida cuando el ancho o el alto de un bloque de codificación cromática es mayor que 32. El diseño de canalización particionará una imagen en unidades de datos de canalización virtuales (VPDU), que se definen como unidades que no se superponen en una imagen. En los decodificadores de hardware, las VPDU sucesivas son procesadas simultáneamente por múltiples etapas de canalización. El tamaño de la VPDU es aproximadamente proporcional al tamaño del búfer en la mayoría de las etapas de la canalización, por lo que es importante mantener pequeño el tamaño de la VPDU. En la mayoría de los decodificadores de hardware, el tamaño de VPDU se puede configurar al tamaño máximo de bloque de transformada (TB). Sin embargo, en VVC, la partición del árbol ternario (TT) y del árbol binario (BT) puede provocar un aumento del tamaño de las VPDU.

Además, cabe señalar que, cuando una parte de un bloque de nodos de árbol excede el límite inferior o derecho de la imagen, el bloque de nodos de árbol se ve obligado a dividirse hasta que todas las muestras de cada CU codificada se ubican dentro los límites de la imagen.

Como ejemplo, la herramienta Intra Subparticiones (ISP) puede particionar bloques intrapredichos de luma vertical u horizontalmente en 2 o 4 subparticiones dependiendo del tamaño del bloque.

En un ejemplo, la unidad de selección de modo 260 del codificador de vídeo 20 puede configurarse para realizar cualquier combinación de las técnicas de partición descritas en esta memoria.

Como se ha descrito anteriormente, el codificador de vídeo 20 se configura para determinar o seleccionar el modo de predicción mejor u óptimo de un conjunto de modos de predicción (por ejemplo, predeterminados). El conjunto de modos de predicción puede comprender, por ejemplo, modos de intrapredicción y/o modos de interpredicción.

Intrapredicción

El conjunto de modos de intrapredicción puede comprender 35 modos de intrapredicción diferentes, por ejemplo, modos no direccionales como el modo DC (o medio) y el modo planar, o modos direccionales, por ejemplo, como se define en HEVC, o puede comprender 67 modos de intrapredicción diferentes, por ejemplo, modos no direccionales como el modo DC (o medio) y el modo planar, o modos direccionales, por ejemplo, como se define para VVC. Como ejemplo, varios modos de intrapredicción angular convencionales se reemplazan de forma adaptativa con modos de intrapredicción de gran angular para los bloques no cuadrados, por ejemplo como se define en VVC. Como otro ejemplo, para evitar operaciones de división para la predicción de DC, solo se usa el lado más largo para calcular el promedio de bloques no cuadrados. Además, los resultados de la intrapredicción del modo plano pueden modificarse aún más mediante un método de combinación de intrapredicción dependiente de la posición (PDPC).

La unidad de intrapredicción 254 se configura para usar muestras reconstruidas de bloques vecinos de la misma imagen actual para generar un bloque de intrapredicción 265 según un modo de intrapredicción del conjunto de modos de intrapredicción.

La unidad de intrapredicción 254 (o en general la unidad de selección de modo 260) se configura además para enviar parámetros de intrapredicción (o en general información indicativa del modo de intrapredicción seleccionado para el bloque) a la unidad de codificación de entropía 270 en forma de elementos de sintaxis 266 para su inclusión en los datos de imagen codificados 21, de modo que, por ejemplo, el decodificador de vídeo 30 pueda recibir y utilizar los parámetros de predicción para decodificar.

Interpredicción

El conjunto de (o posibles) modos de interpredicción depende de las imágenes de referencia disponibles (es

decir, imágenes anteriores al menos parcialmente decodificadas, por ejemplo almacenadas en DBP 230) y

otros parámetros de interpredicción, por ejemplo, si la imagen de referencia completa o sólo una parte, por

ejemplo, un área de ventana de búsqueda alrededor del área del bloque actual, de la imagen de referencia se

usa para buscar el bloque de referencia que mejor coincida, y/o, por ejemplo, si se aplica la interpolación de

píxeles, por ejemplo, interpolación de mitad/semipel, de un cuarto de pel y/o 1/16 de pel, o no.

La FIG. 8 muestra un ejemplo de filtrado por interpolación; y la FIG. 9 es un diagrama de bloques de una

realización de un filtro de interpolación separable bidimensional (2D).

Es decir, se pueden generar valores de posición fraccionarios usando un filtro de interpolación separable 2D (bidimensional) (mostrado en la FIG. 9). El término "separable" significa realizar el proceso de interpolación 2D

por separado (dos etapas) mediante una interpolación horizontal 1D y luego un filtro de interpolación vertical

1D.

- Entrada del proceso de filtro de interpolación separable 2D:

• valores de señal en posiciones int-pel {s ,}(cf. 1401 en la FIG.8)

•posición de muestra fraccionaria(px, py)

•coeficientes de filtro parapxypy

•profundidad de bits (d)

•Rango dinámico (DR) de entrada: 0≤s,j≤(1 « d) - 1

- 1a etapa provisional:Registro1

- Salida de la 1a etapa:Temp1

- 2a etapa provisional:Registro2

- Salida del proceso de filtro de interpolación separable 2D:

• valores de señal escalados en la posición de muestra fraccionariaSij=s(px,py)< <(14-d) (cf. 1402

en la FIG.8)

•Salida DR: 0≤Sy≤((1 « d) - 1) « (14 - d)

Tamaño de filtro de interpolación separable 2D; Los coeficientes de filtro de magnitud y precisión de posición fraccionaria (HEVC/SHVC y VVC) son:

• Luma 8 pasos(KMin=-3,KMax=4); 6 bits Magnitud; (1/4, 1/16)

• Croma 4 pasos(KMin=-1,KMax=2); 6 bits Magnitud; (1/8, 1/32)

s i 9

El valor del shift<i>es el desplazamiento en el proceso de desescalado 1 (1501 en la FIG. 9) seleccionado para garantizar una profundidad de bits de 16 bits del búfer temporal (1502 en la FIG. 9). La segunda etapa de interpolación no se puede iniciar antes de que se complete la primera etapa, por lo que los resultados de la primera etapa deben almacenarse en el búfer temporal (1501 en la FIG. 9). Además, los valores de este búfer temporal se introducen en la segunda etapa de interpolación. Por lo tanto, es necesario conocer la profundidad de bits de los valores en este búfer para la asignación de memoria y la optimización de SW y HW. En el proceso de compensación de movimiento HEVC (así como en VVC), este búfer de memoria es de 16 bits.

Por ejemplo, para el componente de luminancia, el proceso de interpolación separable 2D se describe a continuación en la especificación preliminar de VVC (esta parte es idéntica a HEVC):

Las variablesshiftl, shift2yshift3se derivan de la siguiente manera:

• La variable shift1 se establece igual a Min(4, BitDepthY - 8), la variable shift2 se establece igual a 6 y la variable shift3 se establece igual a Max (2, 14 - BitDepthY).

El valor de muestra de luma previsto predSampleLX<L>se deriva de la siguiente manera:

- Si tanto xFrac<L>como yFrac<L>son iguales a 0, el valor de predSampleLX<L>se deriva de la siguiente manera:

predSampleLXL = refPicLXL[ xlnt3 ][ ylnt3 ] « shift3 (8-777)

- De lo contrario, si xFrac<L>no es igual a 0 y yFrac<L>es igual a 0, el valor de predSampleLX<L>se deriva de la siguiente manera:

(8-778)

- De lo contrario, si xFrac<L>es igual a 0 e yFrac<L>no es igual a 0, el valor de predSampleLX<L>se deriva de la siguiente manera:

(8-779)

- De lo contrario, si xFrac<L>no es igual a 0 e yFrac<L>no es igual a 0, el valor de predSampleLX<L>se deriva de la siguiente manera:

- La distribución de muestras temp[ n ] con n = 0... 7 se deriva de la siguiente manera:

Para la señalización de coeficientes de filtro de interpolación (la técnica anterior más cercana es JVET-P0593).

El luma filter_present flagigual a 1 especifica que se señala un conjunto de filtros luma. luma_filter_present_flag igual a 0 especifica que no se señala un conjunto de filtros luma.

El chroma filter_present flagigual a 1 especifica que se señala un conjunto de filtros croma. chroma_filter_present_flag igual a 0 especifica que no se señala un conjunto de filtros luma. Cuando ChromaArrayType es igual a 0, chroma_filter_present_flag será igual a 0.

luma_coeff_abs[ fIdx ][ j ] especifica el valor absoluto del j-ésimo coeficiente del filtro luma señalado indicado por fIdx. Cuando luma_coeff_abs[ fIdx ][ j ] no está presente, se infiere que es igual a 0.

El orden k de la binarización exp-Golomb uek(v) se establece en 3.

luma_coeff_sign[fIdx ][ j ] especifica el signo del j-ésimo coeficiente luma del filtro indicado por fIdx de la siguiente manera:

- Si luma_coeff_sign[ fIdx ][ j ] es igual a 0, el coeficiente de filtro luma correspondiente tiene un valor positivo.

- De lo contrario (luma coeff_sign[ fIdx ][ j ] es igual a 1), el coeficiente de filtro luma correspondiente tiene un valor negativo.

chroma_coeff_abs[ fIdx ][ j ] especifica el valor absoluto del j-ésimo coeficiente del filtro croma señalado indicado por fIdx. Cuando chroma_coeff_abs[ fIdx ][ j ] no está presente, se infiere que es igual a 0.

El orden k de la binarización exp-Golomb uek(v) se establece igual a 3.

chroma_coeff_sign[fIdx ][ j ] especifica el signo del j-ésimo coeficiente de croma del filtro indicado por fIdx de la siguiente manera:

- Si chroma_coeff_sign[ fldx ][j ] es igual a 0, el coeficiente de filtro croma correspondiente tiene un valor positivo

- De lo contrario (chroma_coeff_sign[ fldx ][j ] es igual a 1), el coeficiente de filtro croma correspondiente tiene un valor negativo.

Además de los modos de predicción anteriores, se puede aplicar el modo de omisión, el modo directo y/u otro modo de interpredicción.

Por ejemplo, predicción de fusión extendida, la lista de candidatos de fusión de dicho modo se construye incluyendo los siguientes cinco tipos de candidatos en orden: MVP espacial de CU vecinas espaciales,<m>V<p>temporal de CU colocadas, MVP basado en historial de una tabla FIFO, MVP promedio por pares y MV cero. Además, se puede aplicar un refinamiento del vector de movimiento lateral del decodificador (DMVR) basado en coincidencia bilateral para aumentar la precisión de los MV del modo de fusión. Modo de fusión con MVD (MMVD), que proviene del modo de fusión con diferencias de vectores de movimiento. Un indicador MMVD se señala justo después de enviar un indicador de omisión y un indicador de fusión para especificar si se utiliza el modo MMVD para una CU. Además, se puede aplicar un esquema de resolución de vector de movimiento adaptativo (AMVR) a nivel de CU. AMV<r>permite codificar el MVD de la CU con diferente precisión. Dependiendo del modo de predicción para la CU actual, los MVD de la CU actual se pueden seleccionar de forma adaptativa. Cuando una CU se codifica en modo de fusión, el modo combinado de inter/intrapredicción (CIIP) se puede aplicar a la CU actual.

Se realiza un promedio ponderado de las señales de inter e intrapredicción para obtener la predicción CIIP. Predicción compensada de movimiento afín, el campo de movimiento afín del bloque se describe mediante información de movimiento de dos puntos de control (4 parámetros) o tres vectores de movimiento de puntos de control (6 parámetros). Predicción de vector de movimiento temporal basada en subbloques (SbTMVP), que es similar a la predicción de vector de movimiento temporal (TMVP) en HEVC, pero predice los vectores de movimiento de las sub-CU dentro de la CU actual. El flujo óptico bidireccional (BDOF), anteriormente denominado BIO, es una versión más simple que requiere muchos menos cálculos, especialmente en términos de número de multiplicaciones y tamaño del multiplicador. Modo de partición triangular: en este modo, una CU se divide uniformemente en dos particiones en forma de triángulo, utilizando la división diagonal o la división antidiagonal. Además, el modo de bipredicción se extiende más allá del simple promedio para permitir el promedio ponderado de las dos señales de predicción.

La unidad de interpredicción 244 puede incluir una unidad de estimación de movimiento (ME) y una unidad de compensación de movimiento (MC) (ambas no se muestran en la FIG.2). La unidad de estimación de movimiento puede configurarse para recibir u obtener el bloque de imagen 203 (bloque de imagen actual 203 de la imagen actual 17) y una imagen decodificada 231, o al menos uno o una pluralidad de bloques previamente reconstruidos, por ejemplo bloques reconstruidos de una o una pluralidad de otras/diferentes imágenes 231 previamente decodificadas, para estimación del movimiento. Por ejemplo, una secuencia de vídeo puede comprender la imagen actual y las imágenes 231 previamente decodificadas, o en otras palabras, la imagen actual y las imágenes 231 previamente decodificadas pueden ser parte o formar una secuencia de imágenes que forman una secuencia de vídeo.

El codificador 20 puede, por ejemplo, configurarse para seleccionar un bloque de referencia de una pluralidad de bloques de referencia de imágenes iguales o diferentes de la pluralidad de otras imágenes y proporcionar una imagen de referencia (o índice de imagen de referencia) y/o una compensación (compensación espacial) entre la posición (coordenadas x, y) del bloque de referencia y la posición del bloque actual como parámetros de interpredicción para la unidad de estimación de movimiento. Esta compensación también se denomina vector de movimiento (MV).

La unidad de compensación de movimiento se configura para obtener, por ejemplo, recibir, un parámetro de interpredicción y para realizar interpredicción basándose en el parámetro de interpredicción, o utilizando este, para obtener un bloque de interpredicción 265. La compensación de movimiento, realizada por la unidad de compensación de movimiento, puede implicar buscar o generar el bloque de predicción en función del vector de movimiento/bloque determinado por estimación de movimiento, posiblemente realizando interpolaciones con precisión subpíxel. El filtrado de interpolación puede generar muestras de píxeles adicionales a partir de muestras de píxeles conocidos, aumentando así potencialmente el número de bloques de predicción candidatos que pueden usarse para codificar un bloque de imagen. Al recibir el vector de movimiento para la PU del bloque de imagen actual, la unidad de compensación de movimiento puede ubicar el bloque de predicción al que apunta el vector de movimiento en una de las listas de imágenes de referencia.

La unidad de compensación de movimiento también puede generar elementos de sintaxis asociados con los bloques de sectores de vídeo para su uso por el decodificador de vídeo 30 al decodificar los bloques de imagen del sector de vídeo. Además o como alternativa a los sectores y los respectivos elementos de sintaxis, se pueden generar o utilizar grupos de mosaicos y/o mosaicos y los respectivos elementos de sintaxis.

Codificación de entropía

La unidad de codificación de entropía 270 se configura para aplicar, por ejemplo, un algoritmo o esquema de codificación de entropía (por ejemplo, un esquema de codificación de longitud variable (VLC), un esquema de VLC adaptativo al contexto (<c>A<v l>C), un esquema de codificación aritmética, una binarización, una codificación aritmética binaria adaptativa al contexto (CABAC), codificación aritmética binaria adaptativa al contexto (SBAC) basada en sintaxis, codificación de entropía de partición de intervalo de probabilidad (PIPE) u otra metodología o técnica de codificación de entropía) o derivación (sin compresión) en los coeficientes cuantizados 209, parámetros de interpredicción, parámetros de intrapredicción, parámetros de filtro de bucle y/u otros elementos de sintaxis para obtener datos de imagen codificados 21 que pueden emitirse a través de la salida 272, por ejemplo, en forma de un flujo de bits codificado 21, de modo que, por ejemplo, el decodificador de vídeo 30 puede recibir y utilizar los parámetros para decodificar. El flujo de bits codificado 21 puede transmitirse al decodificador de vídeo 30 o almacenarse en una memoria para su posterior transmisión o recuperación por el decodificador de vídeo 30.

Se pueden usar otras variaciones estructurales del codificador de vídeo 20 para codificar el flujo de vídeo. Por ejemplo, un codificador no basado en transformada 20 puede cuantificar la señal residual directamente sin la unidad de procesamiento de transformada 206 para ciertos bloques o fotogramas. En otra implementación, un codificador 20 puede tener la unidad de cuantización 208 y la unidad de cuantización inversa 210 combinadas en una sola unidad.

Decodificador y método de decodificación

La FIG. 3 muestra un ejemplo de un decodificador de vídeo 30 que se configura para implementar las técnicas de esta presente solicitud. El decodificador de vídeo 30 se configura para recibir datos de imagen codificados 21 (por ejemplo, flujo de bits codificados 21), por ejemplo codificados por el codificador 20, para obtener una imagen decodificada 331. Los datos de imagen o flujo de bits codificados comprenden información para decodificar los datos de imagen codificados, por ejemplo, datos que representan bloques de imágenes de un sector de vídeo codificado (y/o grupos de mosaicos o mosaicos) y elementos de sintaxis asociados.

En el ejemplo de la FIG. 3, el decodificador 30 comprende una unidad de decodificación de entropía 304, una unidad de cuantización inversa 310, una unidad de procesamiento de transformada inversa 312, una unidad de reconstrucción 314 (por ejemplo, un sumador 314), un filtro de bucle 320, un búfer de imagen decodificada (DBP) 330, una unidad de aplicación de modo 360, una unidad de interpredicción 344 y una unidad de intrapredicción 354. La unidad de interpredicción 344 puede ser o incluir una unidad de compensación de movimiento. El decodificador de vídeo 30 puede, en algunos ejemplos, realizar una etapa de decodificación generalmente recíproca a la etapa de codificación descrita con respecto al codificador de vídeo 100 de la FIG.

2.

Como se explica con relación al codificador 20, la unidad de cuantización inversa 210, la unidad de procesamiento de transformada inversa 212, la unidad de reconstrucción 214, el filtro de bucle 220, el búfer de imágenes decodificadas (DPB) 230, la unidad de interpredicción 344 y la unidad de intrapredicción 354 forman el "decodificador incorporado" del codificador de vídeo 20. Por consiguiente, la unidad de cuantización inversa 310 puede ser idéntica en función a la unidad de cuantización inversa 110, la unidad de procesamiento de transformada inversa 312 puede ser idéntica en función a la unidad de procesamiento de transformada inversa 212, la unidad de reconstrucción 314 puede ser idéntica en función a la unidad de reconstrucción 214, el filtro de bucle 320 puede tener una función idéntica al filtro de bucle 220, y el búfer de imágenes decodificadas 330 puede ser idéntico en función al búfer de imágenes decodificadas 230. Por lo tanto, las explicaciones proporcionadas para las respectivas unidades y funciones del codificador de vídeo 20 se aplican correspondientemente a las respectivas unidades y funciones del decodificador de vídeo 30.

Decodificación de entropía

La unidad de decodificación de entropía 304 se configura para analizar el flujo de bits 21 (o en general, datos de imagen codificados 21) y realizar, por ejemplo, decodificación de entropía a los datos de imagen codificados 21 para obtener, por ejemplo, coeficientes cuantizados 309 y/o parámetros de codificación decodificados (no mostrados en la Figura 3), por ejemplo cualquiera o todos los parámetros de interpredicción (por ejemplo, índice de imagen de referencia y vector de movimiento), parámetro de intrapredicción (por ejemplo, modo o índice de intrapredicción), parámetros de transformada, parámetros de cuantización, parámetros de filtro de bucle y/u otros elementos de sintaxis. La unidad de decodificación de entropía 304 puede configurarse para aplicar los algoritmos o esquemas de decodificación correspondientes a los esquemas de codificación como se describe con respecto a la unidad de codificación de entropía 270 del codificador 20. La unidad de decodificación de entropía 304 puede configurarse además para proporcionar parámetros de interpredicción, parámetros de intrapredicción y/u otros elementos de sintaxis a la unidad de aplicación de modo 360 y otros parámetros a otras unidades del decodificador 30. El decodificador de vídeo 30 puede recibir los elementos de sintaxis en el nivel de sector de vídeo y/o el nivel de bloque de vídeo. Además o como alternativa a los sectores y los respectivos elementos de sintaxis, se pueden recibir y/o utilizar grupos de mosaicos y/o mosaicos y los respectivos elementos de sintaxis.

Cuantización inversa

La unidad de cuantización inversa 310 puede configurarse para recibir parámetros de cuantización (QP) (o en general información relacionada con la cuantización inversa) y coeficientes cuantizados de los datos de imagen codificados 21 (por ejemplo, analizando y/o decodificando, por ejemplo, mediante la unidad de decodificación de entropía 304) y aplicar, basándose en los parámetros de cuantización, una cuantización inversa sobre los coeficientes cuantizados decodificados 309 para obtener coeficientes descuantizados 311, que también pueden denominarse coeficientes de transformada 311. El proceso de cuantización inversa puede incluir el uso de un parámetro de cuantización determinado por el codificador de vídeo 20 para cada bloque de vídeo en el sector de vídeo (o mosaico o grupo de mosaicos) para determinar un grado de cuantización y, de la misma manera, un grado de cuantización inversa que debería aplicarse.

Transformada inversa

La unidad de procesamiento de transformada inversa 312 puede configurarse para recibir coeficientes descuantizados 311, también denominados coeficientes de transformada 311, y para aplicar una transformada a los coeficientes descuantizados 311 con el fin de obtener bloques residuales reconstruidos 213 en el dominio de muestra. El bloque residual reconstruido 213 también puede denominarse bloque de transformada 313. La transformada puede ser una transformada inversa, por ejemplo, una DCT inversa, una DST inversa, una transformada de enteros inversa o un proceso de transformada inversa conceptualmente similar. La unidad de procesamiento de transformada inversa 312 puede configurarse además para recibir parámetros de transformada o información correspondiente de los datos de imagen codificados 21 (por ejemplo, mediante análisis y/o decodificación, por ejemplo mediante la unidad de decodificación de entropía 304) para determinar la transformada que se aplicará a los coeficientes descuantizados 311.

Reconstrucción

La unidad de reconstrucción 314 (por ejemplo, añadidor o sumador 314) puede configurarse para añadir el bloque residual reconstruido 313 al bloque de predicción 365 para obtener un bloque reconstruido 315 en el dominio de muestra, por ejemplo sumando los valores de muestra del bloque residual reconstruido 313 y los valores de muestra del bloque de predicción 365.

Filtrado

La unidad de filtro de bucle 320 (ya sea en el bucle de codificación o después del bucle de codificación) se configura para filtrar el bloque reconstruido 315 para obtener un bloque filtrado 321, por ejemplo, para suavizar las transiciones de píxeles o mejorar de otro modo la calidad de vídeo. La unidad de filtro de bucle 320 puede comprender uno o más filtros de bucle tales como un filtro de desbloqueo, un filtro de compensación adaptativa de muestra (SAO) o uno o más filtros diferentes, por ejemplo, un filtro de bucle adaptativo (ALF), un filtro de supresión de ruido ( NSF), o cualquier combinación de los mismos. En un ejemplo, la unidad de filtro de bucle 220 puede comprender un filtro de desbloqueo, un filtro SAO y un filtro ALF. El orden del proceso de filtrado puede ser el filtro de desbloqueo, SAO y a Lf . En otro ejemplo, se añade un proceso llamado mapeo de luma con escalado de croma (LMCS) (es decir, el remodelador adaptativo en bucle). Este proceso se realiza antes del desbloqueo. En otro ejemplo, el proceso de filtro de desbloqueo también se puede aplicar a bordes de subbloque internos, por ejemplo, bordes de subbloques afines, bordes de subbloques ATMVP, bordes de transformada de subbloque (SBT) y bordes intrasubpartición (ISP). Aunque la unidad de filtro de bucle 320 se muestra en la FIG. 3 como un filtro en bucle, en otras configuraciones, la unidad de filtro en bucle 320 puede implementarse como un filtro posterior al bucle.

Búfer de imagen decodificada

Los bloques de vídeo decodificados 321 de una imagen se almacenan luego en el búfer de imágenes decodificadas 330, que almacena las imágenes decodificadas 331 como imágenes de referencia para la compensación de movimiento posterior para otras imágenes y/o para la salida, respectivamente, de exposición.

El decodificador 30 se configura para emitir la imagen decodificada 311, por ejemplo a través de la salida 312, para presentación o visualización a un usuario.

Predicción

La unidad de interpredicción 344 puede ser idéntica a la unidad de interpredicción 244 (en particular a la unidad de compensación de movimiento) y la unidad de intrapredicción 354 puede ser idéntica a la unidad de interpredicción 254 en función, y realiza decisiones de división o partición y predicción basadas en los parámetros de partición y/o predicción o la información respectiva recibida de los datos de imagen codificados 21 (por ejemplo, mediante análisis y/o decodificación, por ejemplo mediante la unidad de decodificación de entropía 304). La unidad de aplicación de modo 360 puede configurarse para realizar la predicción (intra- o interpredicción) por bloque basándose en imágenes reconstruidas, bloques o muestras respectivas (filtradas o sin filtrar) para obtener el bloque de predicción 365.

Cuando el sector de vídeo se codifica como sector intracodificado (I), la unidad de intrapredicción 354 de una unidad de aplicación de modo 360 se configura para generar bloque de predicción 365 para un bloque de imagen del sector de vídeo actual en función de un modo de intrapredicción señalizado y datos de bloques previamente decodificados de la imagen actual. Cuando la imagen de vídeo se codifica como sector intercodificado (por ejemplo, B o P ), la unidad de interpredicción 344 (p. ej. unidad de compensación de movimiento) de la unidad de aplicación de modo 360 se configura para producir bloques de predicción 365 para un bloque de vídeo del sector de vídeo actual en función de los vectores de movimiento y otros elementos de sintaxis recibidos de unidad de decodificación de entropía 304. Para interpredicción, los bloques de predicción pueden generarse a partir de una de las imágenes de referencia dentro de una de las listas de imágenes de referencia. El decodificador de vídeo 30 puede construir las listas de fotogramas de referencia, Lista 0 y Lista 1, usando técnicas de construcción predeterminadas basadas en imágenes de referencia almacenadas en DPB 330. Se puede aplicar lo mismo o similar para o mediante realizaciones que usan grupos de mosaicos (por ejemplo, grupos de mosaicos de vídeo) y/o mosaicos (por ejemplo, mosaicos de vídeo) además o alternativamente a sectores (por ejemplo, sectores de vídeo), por ejemplo, un vídeo se puede codificar usando grupos de mosaicos I, P o B y/o mosaicos.

La unidad de aplicación de modo 360 se configura para determinar la información de predicción para un bloque de vídeo del sector de vídeo actual analizando sintácticamente los vectores de movimiento o la información relacionada y otros elementos de sintaxis, y usa la información de predicción para producir los bloques de predicción para el bloque de vídeo actual que se está decodificando. Por ejemplo, la unidad de aplicación de modo 360 usa algunos de los elementos de sintaxis recibidos para determinar un modo de predicción (por ejemplo, intra- o interpredicción) usado para codificar los bloques de vídeo del sector de vídeo, un tipo de sector de interpredicción (por ejemplo, sector B, sector P o sector GPB), información de construcción para una o más de las listas de imágenes de referencia para el sector, vectores de movimiento para cada bloque de vídeo intercodificado del sector, estado de interpredicción para cada bloque de vídeo intercodificado del sector y otra información para decodificar los bloques de vídeo en el sector de vídeo actual. Se puede aplicar lo mismo o similar para o mediante realizaciones que usan grupos de mosaicos (por ejemplo, grupos de mosaicos de vídeo) y/o mosaicos (por ejemplo, mosaicos de vídeo) además o alternativamente a cortes (por ejemplo, cortes de vídeo), por ejemplo, un vídeo se puede codificar usando I, Grupos de mosaicos y/o mosaicos P o B.

Realizaciones del decodificador de vídeo 30 como se muestra en la FIG. 3 pueden configurarse para particionar y/o decodificar la imagen mediante el uso de sectores (también denominados sectores de vídeo), en donde una imagen puede particionarse o decodificarse utilizando uno o más sectores (típicamente no superpuestos), y cada sector puede comprender uno o más bloques (por ejemplo, CTU) o uno o más grupos de bloques (por ejemplo, mosaicos (H.265/HEVC y VVC) o ladrillos (VVC)).

Realizaciones del decodificador de vídeo 30 como se muestra en la FIG. 3 pueden configurarse para particionar y/o decodificar la imagen mediante el uso de grupos de sectores/mosaicos (también denominados grupos de sectores de vídeo), en donde una imagen puede particionarse o decodificarse utilizando uno o más grupos de sectores/mosaicos (típicamente no superpuestos), y cada grupo de sectores/mosaicos puede comprender uno o más bloques (por ejemplo, CTU) o uno o más mosaicos, en donde cada mosaico, p. ej. puede tener forma rectangular y puede comprender uno o más bloques (p. ej. CTU), p. eje. bloques completos o fraccionarios.

Se pueden usar otras variaciones del decodificador de vídeo 30 para decodificar los datos de imagen codificados 21. Por ejemplo, el decodificador 30 puede producir el flujo de vídeo de salida sin la unidad de filtrado de bucle 320. Por ejemplo, un decodificador no basado en transformada 30 puede cuantificar a la inversa la señal residual directamente sin la unidad de procesamiento de transformada inversa 312 para ciertos bloques o fotogramas. En otra implementación, el decodificador de vídeo 30 puede tener la unidad de cuantización inversa 310 y la unidad de procesamiento de transformada inversa 312 combinadas en una única unidad.

Debe entenderse que, en el codificador 20 y el decodificador 30, un resultado de procesamiento de una etapa actual puede procesarse adicionalmente y luego enviarse a la siguiente etapa. Por ejemplo, después del filtrado por interpolación, la derivación de vector de movimiento o el filtrado en bucle, se puede realizar una operación adicional, tal como Recorte o desplazamiento, en el resultado de procesamiento del filtrado por interpolación, derivación de vector de movimiento o filtrado en bucle.

Cabe señalar que se pueden aplicar operaciones adicionales a los vectores de movimiento derivados del bloque actual (incluidos, entre otros, vectores de movimiento puntuales de control de modo afín, vectores de movimiento de subbloque en modos afines, planos, ATMVP, vectores de movimiento temporal, etc.). Por ejemplo, el valor del vector de movimiento está restringido a un intervalo predefinido según su bit representativo. Si el bit que representa el vector de movimiento es bitDepth, entonces el intervalo es -2A(bitDepth-1) - 2A(bitDepth-1)-1, donde "A" significa exponenciación. Por ejemplo, si la profundidad de bits se establece en 16, el intervalo es -32768 ~ 32767; si la profundidad de bits se establece en 18, el intervalo es -131072-131071. Por ejemplo, el valor del vector de movimiento derivado (por ejemplo, los MV de cuatro subbloques de 4x4 dentro de un bloque de 8x8) está restringido de modo que la diferencia máxima entre partes enteras de los cuatro MV de subbloques de 4x4 no sea más de N píxeles, como no más de 1 píxel. Aquí se proporcionan dos métodos para restringir el vector de movimiento según la profundidad de bits.

La FIG. 4 es un diagrama esquemático de un dispositivo de codificación de vídeo 400 según una realización de la divulgación. El dispositivo de codificación de vídeo 400 es adecuado para implementar las realizaciones descritas como se describe en la presente memoria. En una realización, el dispositivo de codificación de vídeo 400 puede ser un decodificador tal como el decodificador de vídeo 30 de la FIG. 1A o un codificador tal como el codificador de vídeo 20 de la FIG. 1A.

El dispositivo de codificación de vídeo 400 comprende puertos de entrada 410 (o puertos de entrada 410) y unidades de receptor (Rx) 420 para recibir datos; un procesador, unidad lógica o unidad central de procesamiento (CPU) 430 para procesar los datos; unidades de transmisor (Tx) 440 y puertos de salida 450 (o puertos de salida 450) para transmitir los datos; y una memoria 460 para almacenar los datos. El dispositivo de codificación de vídeo 400 también puede comprender componentes ópticos a eléctricos (OE) y componentes eléctricos a ópticos (EO) acoplados a los puertos de entrada 410, a las unidades de receptor 420, a las unidades de transmisor 440 y a puertos de salida 450 para la salida o entrada de señales ópticas o eléctricas.

El procesador 430 se implementa mediante hardware y software. El procesador 430 puede implementarse como uno o más chips de CPU, núcleos (por ejemplo, como un procesador multinúcleo), FPGA, ASIC y DSP. El procesador 430 está en comunicación con el puerto de entrada 410, las unidades de receptor 420, las unidades de transmisor 440, los puertos de salida 450 y la memoria 460. El procesador 430 comprende un módulo de codificación 470. El módulo de codificación 470 implementa las realizaciones divulgadas anteriormente. Por ejemplo, el módulo de codificación 470 implementa, procesa, prepara o proporciona las diversas operaciones de codificación. La inclusión del módulo de codificación 470 por lo tanto proporciona una mejora sustancial a la funcionalidad del dispositivo de codificación de vídeo 400 y efectúa una transformada del dispositivo de codificación de vídeo 400 a un estado diferente. De manera alternativa, el módulo de codificación de vídeo 470 se implementa como instrucciones almacenadas en la memoria 460 y ejecutadas por el procesador 430.

La memoria 460 puede comprender uno o más discos, unidades de cinta, y/o unidades de estado sólido y puede usarse como dispositivo de almacenamiento de datos de desbordamiento para almacenar programas cuando tales programas se seleccionan para ejecutarlos, y para almacenar instrucciones y datos que se leen durante la ejecución del programa. La memoria 460 puede ser, por ejemplo, volátil y/o no volátil y puede ser memoria de solo lectura (ROM), memoria de acceso aleatorio (RAM), memoria ternaria de contenido direccionable (TCAM), y/o memoria estática de acceso aleatorio (SRAM).

La FIG. 5 es un diagrama de bloques simplificado de un aparato 500 que puede usarse como uno o ambos del dispositivo de origen 12 y el dispositivo de destino 14 de la FIG. 1 según un ejemplo de realización.

Un procesador 502 en el aparato 500 puede ser una unidad central de procesamiento. Alternativamente, el procesador 502 puede ser cualquier otro tipo de dispositivo, o múltiples dispositivos, capaces de manipular o procesar información ahora existente o desarrollada en el futuro. Aunque las implementaciones divulgadas se pueden practicar con un único procesador como se muestra, por ejemplo, el procesador 502, se pueden lograr ventajas en velocidad y eficiencia usando más de un procesador.

Una memoria 504 en el aparato 500 puede ser un dispositivo de memoria de solo lectura (ROM) o un dispositivo de memoria de acceso aleatorio (RAM) en una implementación. Se puede utilizar cualquier otro tipo adecuado de dispositivo de almacenamiento como memoria 504. La memoria 504 puede incluir código y datos 506 a los que accede el procesador 502 utilizando un bus 512. La memoria 504 puede incluir además un sistema operativo 508 y programas de aplicación 510, incluyendo los programas de aplicación 510 al menos un programa que permite al procesador 502 realizar los métodos descritos aquí. Por ejemplo, los programas de aplicación 510 pueden incluir aplicaciones 1 a N, que incluyen además una aplicación de codificación de vídeo que realiza los métodos descritos aquí.

El aparato 500 también puede incluir uno o más dispositivos de salida, tales como una pantalla 518. La pantalla 518 puede ser, en un ejemplo, una pantalla sensible al tacto que combina una pantalla con un elemento sensible al tacto que se puede operar para detectar entradas táctiles. La pantalla 518 se puede acoplar al procesador 502 a través del bus 512.

Aunque se representa aquí como un único bus, el bus 512 del aparato 500 puede componerse de múltiples buses. Además, el almacenamiento secundario 514 se puede acoplar directamente a los otros componentes del aparato 500 o se puede acceder a él a través de una red y puede comprender una única unidad integrada tal como una tarjeta de memoria o múltiples unidades tales como múltiples tarjetas de memoria. Por tanto, el aparato 500 puede implementarse en una amplia variedad de configuraciones.

Para coeficientes de filtro de interpolación predefinidos en VVC, HEVC, SHVC, se garantizará un rango dinámico de especificación de un búfer temporal (16 bits) mediante una selección de un cambio de escala (por ejemplo, cambio 1 =d- 8). En un caso en el que los coeficientes de filtro de interpolación estén señalizados (es decir, los coeficientes no estén predeterminados), puede producirse un desbordamiento del búfer temporal (denominada temp en la FIG. 9) en caso de que los coeficientes no estén restringidos, lo que puede conducir a un mal funcionamiento del proceso de codificación.

Por ejemplo, en la especificación preliminar de VVC, el peor caso para la acumulación de rango dinámico actualmente es un filtro de interpolación de medio pel.

Si los coeficientes se seleccionan de la siguiente manera (este filtro también realiza una interpolación de 1/2 pel):

El rango dinámico se define por SumPos, es decir, la suma de los coeficientes de filtro de interpolación positivos y

En consecuencia, SumNeg es la suma de los coeficientes de filtro de interpolación negativos y

Aquí Norm es un factor de normalización (suma de coeficientes de filtro de interpolación, 64 en HEVC, SHVC y VVC)

Un análisis de rango dinámico para un filtro de interpolación separable 2D (donde BD significa profundidad de bits) es:

Entrada DR:

Un aspecto importante es cómo garantizar, además, el rango dinámico para el filtro de interpolación separable 2D (donde BD significa profundidad de bits).

Sea Norm (factor de normalización, suma de coeficientes de filtro de interpolación)2N,N=6 en VVC, SHVC y HEVC, Norm = 64)

Una restricción para la suma del coeficiente de filtro de interpolación positivos según la ecuación 1 garantiza que no habrá desbordamiento del búfer temporal después de una primera etapa de interpolación, a la que luego le sigue un cambio de escala de d-8 para no ser mayor queDesired_BD.

Una señalización modificada de los coeficientes de filtro de interpolación (en comparación con JVET-P0593) es la siguiente (las partes modificadas están resaltadas en gris)

}

luma filter_present flagigual a 1 especifica que se señala un conjunto de filtros luma. luma_filter_present_flag igual a 0 especifica que no se señala un conjunto de filtros luma.

chroma filter_present flagigual a 1 especifica que se señala un conjunto de filtros croma. chroma_filter_present_flag igual a 0 especifica que no se señala un conjunto de filtros luma. Cuando ChromaArrayType es igual a 0, chroma_filter_present_flag será igual a 0.

El orden k de la binarización exp-Golomb uek(v) se establece en 3.

- De lo contrario (luma_coeff_sign[ fIdx ][ j ] es igual a 1), el coeficiente de filtro luma correspondiente tiene un valor negativo.

El orden k de la binarización exp-Golomb uek(v) se establece igual a 3.

chroma_coeff_sign[ fIdx ][ j ] especifica el signo del j-ésimo coeficiente de croma del filtro indicado por fIdx de la siguiente manera:

Las realizaciones de la presente divulgación divulgan un método para codificar (codificar o decodificar, implementado por un dispositivo de codificación o decodificación), donde el método comprende:

un filtro de interpolación separable 2D, en donde el rango dinámico se controla mediante una suma de los valores de coeficientes de interpolación positivos son los siguientes:

si los filtros de interpolación del filtro de interpolación separable 2D tienen una suma de coeficientes de filtro igual a un factor de normalización2AN(donde N = profundidad de bits de la magnitud del coeficiente de filtro de cada coeficiente de filtro, por ejemplo, N = 6 para HEVC y VVC) y una profundidad de bits interna de la señal es igual ad(donde d = profundidad de bits de la señal de entrada, y d es una variable, es decir, controlada, por ejemplo, por un conjunto de parámetros de vídeo, por ejemplo, de 8 bits a 16 bits o superior) y luego se realiza un desplazamiento de cambio de escala después de la primera etapa de interpolación del esquema de filtro de interpolación separable 2D, siendo el desplazamiento de cambio de escala iguala N+d-14(cf. shiftl, HEVC: por ejemplo, para N=6 ^ d-8, se mantendrá para que VVC y otros códecs puedan mantener la misma plataforma de hardware y software) garantiza una profundidad de bits de búfer temporal no mayor que un valor de bits deDesired_BD(por ejemplo, una profundidad de bits de búfer temporal "temp" puede ser de 16 bits para HEVC, VVC y otros códecs), y una "suma de coeficientes de filtro de interpolación positivos" no excede2A(Desired_BD-l0)+2A(N-1).

La realización anterior se puede utilizar para determinar el umbral para la suma de los coeficientes de filtro positivos para evitar el desbordamiento de búfer en caso de coeficientes de filtro de interpolación no predeterminados (por ejemplo, señalizados) para el filtrado de interpolación con una profundidad de bits general deseada Desired_BD, una profundidad de bits de muestra general d y una profundidad de bits general de los coeficientes de filtro N.

Las realizaciones de la presente divulgación también divulgan un método para codificar (codificar o decodificar, implementado por un dispositivo de codificación o decodificación), el método puede comprender:

si los filtros de interpolación del filtro de interpolación separable 2D tienen una suma de coeficientes de filtro igual a un factor de normalización2ANy una profundidad de bits interna de la señal esd, entonces se realiza un cambio de escala después de la primera etapa de interpolación en el esquema de filtro de interpolación separable 2D, el desplazamiento de cambio de escala iguala N+d-14garantiza una profundidad de bits del búfer temporal no superior a 16 bits, y una suma de coeficientes de filtro de interpolación positivos no excede2A(16-10)+2A(N-1).

La realización anterior se puede utilizar para determinar el umbral para la suma de los coeficientes de filtro positivos para evitar el desbordamiento de búfer en caso de coeficientes de filtro de interpolación no predeterminados (por ejemplo, señalizados) para el filtrado de interpolación con una profundidad de bits específica deseada Desired_BD = 16 bits como se usa para HEVC, VVC, una profundidad de bits de muestra general d y una profundidad de bits general de los coeficientes de filtro N.

Las realizaciones de la presente divulgación también divulgan un método para codificar (codificar o decodificar, implementado por un dispositivo de codificación o decodificación), el método puede comprender además:

- un filtro de interpolación separable 2D, en donde el rango dinámico se controla mediante una suma de los valores de coeficientes de interpolación positivos de la siguiente manera:

- por ejemplo, para coeficientes de filtro de interpolación de 7 bits: N = magnitud de 6 bits (normalización o factor de escala 2AN = 64) y signo de 1 bit como en HEVC y VVC, shift1 (desplazamiento de cambio de escala después de la interpolación de primera etapa del filtro de interpolación separable 2D) serád-8y la suma de los coeficientes de filtro de interpolación positivos no debe exceder96.

La realización anterior se puede utilizar para determinar el umbral para la suma de los coeficientes de filtro positivos para evitar el desbordamiento de búfer en caso de coeficientes de filtro de interpolación no predeterminados (por ejemplo, señalizados) para el filtrado de interpolación con una profundidad de bits específica deseada Desired_BD = 16 bits y una profundidad de bits específica de los coeficientes de filtro N = 6 como se usa para HEVC, VVC.

- si una "suma de coeficientes de filtro de interpolación positivos" excede un valor, en donde el valor asegura la profundidad de bits deseada del búfer temporal (es decir, este puede ser el valor especificado en las realizaciones anteriores) en un escenario donde los coeficientes de filtro se señalan o derivan a partir de otros elementos de sintaxis señalizados, entonces se puede realizar el recorte del mayor coeficiente positivo del filtro de interpolación para ajustar la "suma de los coeficientes de filtro de interpolación positivos" y así asegurar la profundidad de bits deseada. Por ejemplo, el mayor coeficiente de filtro de interpolación positivos para un filtro con longitud L = (Kmax-Kmin+1) puede ubicarse en la posición k=0 (Kmin<=k<=Kmax, Kmin =-3, Kmax = 4 para un filtro de 8 pasos; Kmin =-1, Kmax = 2 para filtro de 4 pasos).

La FIG. 10 ilustra es un diagrama de flujo de un método para hacer funcionar un filtro de interpolación separable bidimensional (2D) según una realización de la presente divulgación. En el método divulgado en la FIG. 10, el filtro de interpolación separable bidimensional comprende un primer y un segundo filtro de interpolación unidimensional (1D) y un búfer temporal de un tamaño de búfer predeterminado. El método de la FIG. 10 comprende las siguientes etapas: (1601) obtener coeficientes de filtro para el primer filtro de interpolación unidimensional del filtro de interpolación bidimensional; (1603) comparar una suma de coeficientes de filtro positivos de los coeficientes de filtro obtenidos con un umbral; y (1605) al determinar que la suma de los coeficientes de filtro positivos es mayor que el umbral, (1607) modificar uno o más de los coeficientes de filtro para obtener coeficientes de filtro modificados, en donde uno o más coeficientes de filtro se modifican de modo que una suma de los coeficientes de filtro positivos de los coeficientes de filtro modificados no son mayores que el umbral; (1609) aplicar los coeficientes de filtro modificados a muestras del vídeo para obtener un valor de una posición de muestra fraccionaria del vídeo; y (1611) cambiar la escala del valor de la posición de la muestra fraccionaria y almacenar el valor de escala cambiada de la posición de la muestra fraccionaria en el búfer temporal.

La FIG. 11 ilustra un decodificador 30 según una realización de la presente divulgación. El decodificador 30 de la FIG. 11 es un decodificador (30) para hacer funcionar un filtro de interpolación separable bidimensional (2D) para codificar un vídeo, en donde el filtro de interpolación separable bidimensional comprende un primer y un segundo filtro de interpolación unidimensional (1D) y un búfer temporal de un tamaño de búfer predeterminado. El decodificador 30 de la FIG. 11 comprende: una unidad de obtención 3001 configurada para obtener coeficientes de filtro para el primer filtro de interpolación unidimensional del filtro de interpolación bidimensional (2D); una unidad de comparación 3003 configurada para comparar una suma de coeficientes de filtro positivos de los coeficientes de filtro obtenidos con un umbral; y una unidad de determinación 3005 que comprende una unidad de modificación 3007 y una unidad de aplicación 3009 y una unidad de cambio de escala 3011, la unidad de determinación 3005 configurada para determinar si la suma de coeficientes de filtro positivos es mayor que el umbral, y si la suma de coeficientes de filtro positivos es mayor que el umbral, la unidad de modificación 3007 configurada para modificar uno o más de los coeficientes de filtro para obtener coeficientes de filtro modificados, en donde uno o más coeficientes de filtro se modifican de manera que una suma de coeficientes de filtro positivos de los coeficientes de filtro modificados no es mayor que el umbral; y la unidad de aplicación 3009 configurada para aplicar los coeficientes de filtro modificados a muestras del vídeo para obtener un valor de una posición de muestra fraccionaria del vídeo; la unidad de cambio de escala 3011 configurada para cambiar la escala el valor de la posición de muestra fraccionaria y almacenar el valor de escala cambiada de la posición de muestra fraccionaria en el búfer temporal.

La FIG. 12 ilustra un codificador 20 según una realización de la presente divulgación. El codificador 20 de la FIG. 12 es un codificador para hacer funcionar un filtro de interpolación separable bidimensional (2D) para codificar un vídeo, en donde el filtro de interpolación separable bidimensional comprende un primer y un segundo filtro de interpolación unidimensional (1D) y un búfer temporal. de un tamaño de búfer predeterminado. El codificador 20 de la FIG. 12 comprende: una unidad de obtención 2001 configurada para obtener coeficientes de filtro para el primer filtro de interpolación unidimensional del filtro de interpolación bidimensional (2D); una unidad de comparación 2003 configurada para comparar una suma de coeficientes de filtro positivos de los coeficientes de filtro obtenidos con un umbral; y una unidad de determinación 2005 que comprende una unidad de modificación 2007 y una unidad de aplicación 2009 y una unidad de cambio de escala 2011, la unidad de determinación 2005 configurada para determinar si la suma de coeficientes de filtro positivos es mayor que el umbral, y si la suma de coeficientes de filtro positivos es mayor que el umbral, la unidad de modificación 2007 configurada para modificar uno o más de los coeficientes de filtro para obtener coeficientes de filtro modificados, en donde uno o más coeficientes de filtro se modifican de manera que una suma de coeficientes de filtro positivos de los coeficientes de filtro modificados no es mayor que el umbral; y la unidad de aplicación 2009 configurada para aplicar los coeficientes de filtro modificados a muestras del vídeo para obtener un valor de una posición de muestra fraccionaria del vídeo; la unidad de cambio de escala 2011 configurada para cambiar la escala el valor de la posición de muestra fraccionaria y almacenar el valor de escala cambiada de la posición de muestra fraccionaria en el búfer temporal.

A continuación se proporciona una explicación de las aplicaciones del método de codificación así como del método de decodificación como se muestra en las realizaciones mencionadas anteriormente, y un sistema que las utiliza.

La FIG. 6 es un diagrama de bloques que muestra un sistema de suministro de contenidos 3100 para realizar el servicio de distribución de contenido. Este sistema de suministro de contenidos 3100 incluye un dispositivo de captura 3102, un dispositivo terminal 3106 y, opcionalmente, incluye una pantalla 3126. El dispositivo de captura 3102 se comunica con el dispositivo terminal 3106 a través del enlace de comunicación 3104. El enlace de comunicación puede incluir el canal de comunicación 13 descrito anteriormente. El enlace de comunicación 3104 incluye, entre otros, WIFI, Ethernet, cable, inalámbrico (3G/4G/5G), USB o cualquier tipo de combinación de los mismos, o similares.

El dispositivo de captura 3102 genera datos y puede codificar los datos mediante el método de codificación como se muestra en las realizaciones anteriores. Alternativamente, el dispositivo de captura 3102 puede distribuir los datos a un servidor de transmisión (no mostrado en las Figuras), y el servidor codifica los datos y transmite los datos codificados al dispositivo terminal 3106. El dispositivo de captura 3102 incluye, pero sin limitación a estos, una cámara, un teléfono inteligente o Pad, un ordenador u ordenador portátil, un sistema de videoconferencia, una PDA, un dispositivo montado en un vehículo o una combinación de cualquiera de ellos, o similares. Por ejemplo, el dispositivo de captura 3102 puede incluir el dispositivo de origen 12 como se ha descrito anteriormente. Cuando los datos incluyen vídeo, el codificador de vídeo 20 incluido en el dispositivo de captura 3102 puede realmente realizar el procesamiento de codificación de vídeo. Cuando los datos incluyen audio (es decir, voz), un codificador de audio incluido en el dispositivo de captura 3102 puede en realidad realizar el procesamiento de codificación de audio. Para algunos escenarios prácticos, el dispositivo de captura 3102 distribuye los datos de audio y vídeo codificados multiplexándolos juntos. Para otros escenarios prácticos, por ejemplo en el sistema de videoconferencia, los datos de audio codificados y los datos de vídeo codificados no se multiplexan. El dispositivo de captura 3102 distribuye los datos de audio codificados y los datos de vídeo codificados al dispositivo terminal 3106 por separado.

En el sistema de suministro de contenidos 3100, el dispositivo terminal 310 recibe y reproduce los datos codificados. El dispositivo terminal 3106 podría ser un dispositivo con capacidad de recepción y recuperación de datos, tal como un teléfono inteligente o Pad 3108, un ordenador u ordenador portátil 3110, una grabadora de vídeo en red (NVR)/grabadora de vídeo digital (DVR) 3112, TV 3114, decodificador ( STB) 3116, sistema de víídeoconferencia 3118, sistema de videovigilancia 3120, asistente digital personal (PDA) 3122, dispositivo montado en vehículo 3124, o una combinación de cualquiera de ellos, o similar capaz de decodificar los datos codificados mencionados anteriormente. Por ejemplo, el dispositivo terminal 3106 puede incluir el dispositivo de destino 14 como se ha descrito anteriormente. Cuando los datos codificados incluyen vídeo, se da prioridad al decodificador de vídeo 30 incluido en el dispositivo terminal para realizar la decodificación de vídeo. Cuando los datos codificados incluyen audio, se da prioridad a un decodificador de audio incluido en el dispositivo terminal para realizar el procesamiento de decodificación de audio.

Para un dispositivo terminal con su pantalla, por ejemplo, teléfono inteligente o Pad 3108, ordenador u ordenador portátil 3110, grabadora de vídeo en red (NVR)/grabadora de vídeo digital (DVR) 3112, TV 3114, asistente digital personal (PDA) 3122, o dispositivo montado en vehículo 3124, el dispositivo terminal puede alimentar los datos decodificados a su pantalla. Para un dispositivo terminal equipado sin pantalla, por ejemplo, STB 3116, sistema de videoconferencia 3118 o sistema de videovigilancia 3120, se contacta con una pantalla externa 3126 para recibir y mostrar los datos decodificados.

Cuando cada dispositivo en este sistema realiza codificación o decodificación, se puede usar el dispositivo de codificación de imágenes o el dispositivo de decodificación de imágenes, como se muestra en las realizaciones mencionadas anteriormente.

La FIG. 7 es un diagrama que muestra una estructura de un ejemplo del dispositivo terminal 3106. Después de que el dispositivo terminal 3106 recibe el flujo desde el dispositivo de captura 3102, la unidad de procedimiento de protocolo 3202 analiza el protocolo de transmisión del flujo. El protocolo incluye, pero sin limitación a esto, el protocolo de transmisión en tiempo real (RTSP), el protocolo de transferencia de hipertexto (HTTP), el protocolo de transmisión en vivo HTTP (HLS), MPEG-DASH, el protocolo de transporte en tiempo real (RTP), el protocolo de mensajería en tiempo real (RTMP), o cualquier tipo de combinación de los mismos, o similares.

Después de que la unidad de procedimiento de protocolo 3202 procesa la secuencia, se genera el archivo de secuencia. El archivo se envía a una unidad demultiplexación 3204. La unidad demultiplexación 3204 puede separar los datos multiplexados en los datos de audio codificados y los datos de vídeo codificados. Como se ha descrito anteriormente, para algunos escenarios prácticos, por ejemplo en el sistema de videoconferencia, los datos de audio codificados y los datos de vídeo codificados no se multiplexan. En esta situación, los datos codificados se transmiten al decodificador de vídeo 3206 y al decodificador de audio 3208 sin pasar por la unidad demultiplexación 3204.

A través del procesamiento de demultiplexación, se generan flujos elementales de vídeo (ES), ES de audio y, opcionalmente, subtítulos. El decodificador de vídeo 3206, que incluye el decodificador de vídeo 30 como se explica en las realizaciones mencionadas anteriormente, decodifica el vídeo ES mediante el método de decodificación como se muestra en las realizaciones mencionadas anteriormente para generar fotogramas de vídeo y alimenta estos datos a la unidad sincrónica 3212. El decodificador de audio 3208 decodifica el audio ES para generar una fotograma de audio y alimenta estos datos a la unidad sincrónica 3212. Alternativamente, el fotograma de vídeo puede almacenarse en un búfer (no mostrado en la FIG. 7) antes de enviarlo a la unidad sincrónica 3212. Similarmente, el fotograma de audio puede almacenarse en un búfer (no mostrado en la FIG.

7) antes de enviarlo a la unidad sincrónica 3212.

La unidad sincrónica 3212 sincroniza el fotograma de vídeo y el fotograma de audio, y suministra el vídeo/audio a una pantalla de vídeo/audio 3214. Por ejemplo, la unidad sincrónica 3212 sincroniza la presentación de la información de vídeo y audio. La información puede codificarse en la sintaxis utilizando marcas de tiempo relativas a la presentación de datos visuales y de audio codificados y marcas de tiempo relativas a la entrega del propio flujo de datos.

Si se incluyen subtítulos en la secuencia, el decodificador de subtítulos 3210 decodifica el subtítulo, lo sincroniza con el fotograma de vídeo y el fotograma de audio, y suministra el vídeo/audio/subtítulo a una pantalla de vídeo/audio/subtítulo 3216.

El dispositivo de codificación de imágenes o el dispositivo de decodificación de imágenes en las realizaciones mencionadas anteriormente se pueden incorporar a otro sistema, por ejemplo, un sistema de automóvil. Operadores Matemáticos

Los operadores matemáticos utilizados en esta aplicación son similares a los utilizados en el lenguaje de programación C. Sin embargo, los resultados de la división de enteros y las operaciones de desplazamiento aritmético se definen con mayor precisión, y se definen operaciones adicionales, como la exponenciación y la división de valores reales. Las convenciones de numeración y conteo generalmente comienzan desde 0, por ejemplo, "el primero" es equivalente al 0-ésimo, "el segundo" es equivalente al 1-ésimo, etc.

Operadores aritméticos

Los siguientes operadores aritméticos se definen de la siguiente manera:

Adición

Resta (como operador de dos argumentos) o negación (como operador de prefijo unario) Multiplicación, incluida la multiplicación de matrices

xy Exponenciación. Especifica x elevado a la potencia de y. En otros contextos, dicha notación se utiliza para superíndices que no están destinados a ser interpretados como exponenciación. / División de enteros con truncamiento del resultado hacia cero. Por ejemplo, 7/4 y -7/-4 se truncan a 1 y -7/4 y 7/-4 se truncan a -1.

Se utiliza para indicar división en ecuaciones matemáticas donde no se pretende truncar ni redondear.

x. Se utiliza para indicar división en ecuaciones matemáticas donde no se pretende truncar ni “ redondear.

La suma de f(¡) con i tomando todos los valores enteros desde x hasta y inclusive.

x % y Módulo. Resto de x particionado por y, definido solo para números enteros x e y con x >= 0 e y >

0.

Operadores lógicos

Los siguientes operadores lógicos se definen de la siguiente manera:

x && y "Y" lógico booleano de x e y

x | | y "O" lógico booleano de x e y

! "no" lógico booleano

X ? y : z Si x es VERDADERO o no es igual a 0, se evalúa como el valor de y; de lo contrario, se evalúa como el valor de z.

Operadores relacionales

Los siguientes operadores relacionales se definen de la siguiente manera:

> mayor que

>= Mayor o igual a

< Menor que

<= Menor o igual que

= = Igual a

!= No igual a

Cuando se aplica un operador relacional a un elemento o variable de sintaxis al que se le ha asignado el valor "na" (no aplicable), el valor "na" se trata como un valor distinto para el elemento o variable de sintaxis . Se considera que el valor "na" no es igual a ningún otro valor.

Operadores bit a bit

Los siguientes operadores bit a bit se definen de la siguiente manera:

& "y" bit a bit. Cuando opera con argumentos enteros, opera con una representación en complemento a dos del valor entero. Cuando se opera con un argumento binario que contiene menos bits que otro argumento, el argumento más corto se extiende agregando bits más significativos iguales a 0.

| "o" bit a bit. Cuando opera con argumentos enteros, opera con una representación en complemento a dos del valor entero. Cuando se opera con un argumento binario que contiene menos bits que otro argumento, el argumento más corto se extiende agregando bits más significativos iguales a 0.

a "O exclusivo" bit a bit. Cuando opera con argumentos enteros, opera con una representación en complemento a dos del valor entero. Cuando se opera con un argumento binario que contiene menos bits que otro argumento, el argumento más corto se extiende agregando bits más significativos iguales a 0.

x >> y Desplazamiento aritmético a la derecha de una representación entera en complemento a dos de x por y dígitos binarios. Esta función se define sólo para valores enteros no negativos de y. Los bits desplazados a los bits más significativos (MSB) como resultado del desplazamiento a la derecha tienen un valor igual al MSB de x antes de la operación de desplazamiento.

x << y Desplazamiento aritmético a la izquierda de una representación entera en complemento a dos de x por y dígitos binarios. Esta función se define sólo para valores enteros no negativos de y. Los bits desplazados a los bits menos significativos (LSB) como resultado del desplazamiento a la izquierda tienen un valor igual a 0.

Operadores de asignación

Los siguientes operadores aritméticos se definen de la siguiente manera:

= Operador de asignación

Incremento, es decir, x++ es equivalente a x = x 1; cuando se usa en un índice de matriz, se evalúa como el valor de la variable antes de la operación de incremento.

- - Decremento, es decir, x-- es equivalente a x = x - 1; cuando se usa en un índice de matriz, se evalúa como el valor de la variable antes de la operación de decremento.

= Incrementar por la cantidad especificada, es decir, x = 3 es equivalente a x = x 3, y x = (-3) es equivalente a x = x (-3).

-= Decrementar por la cantidad especificada, es decir, x -= 3 es equivalente a x = x - 3, y x -= (-3) es equivalente a x = x - (-3).

Notación de intervalo

La siguiente notación se utiliza para especificar un intervalo de valores:

x = y..zx toma valores enteros comenzando desde y hasta z, inclusive, siendo x, y, z números enteros y siendo z mayor que y.

Funciones matemáticas

Se definen las siguientes funciones matemáticas:

Asen( x ) la función seno inversa trigonométrica, que opera con un argumento x que está en el intervalo de -1,0 a 1,0, inclusive, con un valor de salida en el intervalo de -n -2 a n-2, inclusive, en unidades de radianes

Atan( x ) la función tangente inversa trigonométrica, que opera con un argumento x, con un valor de salida en el intervalo de -n -2 a n-2 , inclusive, en unidades de radianes

' Atan( x )x> 0

Atan Q )<Jt>x<0 && y>=0

Atan2( y. x ) =( | ) — ti<x < 0 && y < 0>

+

721<X = =>0<&& Y >=>

~2de lo contrario

Ceil( x ) el entero más pequeño mayor o igual a x.

CliplY( x ) = Clip3 ( 0, (1 << BitDepthy ) - 1, x )

Clip1C( x ) = Clip3 ( 0, ( 1 << BitDepthC) - 1, x )

z<x

Clip3( x, y. z ) = 1 y z >v

otherwise

Cos( x ) la función coseno trigonométrica que opera sobre un argumento x en unidades de radianes.

Floor( x ) el entero más grande menor o igual a x.

' c d ; b - a > = d / 2

GetCurrMsbf a, b, c, d ) = { c - d ; a - b > d / 2

c ; otherwise

Ln( x ) el logaritmo natural de x (el logaritmo en base e, donde e es la constante de base del logaritmo natural 2,718281 828...).

Log2( x ) el logaritmo de base 2 de x.

Log10( x ) el logaritmo en base 10 de x.

x ; x<=y

M i n ( x , y ) = { y ! *x>y

M ax(x ,y )= {yX ; Xx><=yy

Round( x ) = Sign( x ) * Floor( Abs( x ) 0.5 i

x > 0

Signf x ) = 0 x == 0

-1 x < 0

Sen( x ) la función seno trigonométrica que opera sobre un argumento x en unidades de radianes

Sqrl( x ) = Vx

Swap( x. y ) = ( y. x )

Tan( x ) la función tangente trigonométrica que opera sobre un argumento x en unidades de radianes Orden de precedencia de operación

Cuando un orden de precedencia en una expresión no se indica explícitamente mediante el uso de paréntesis, se aplican las siguientes reglas:

- Las operaciones de mayor precedencia se evalúan antes que cualquier operación de menor precedencia.

- Las operaciones de la misma precedencia se evalúan secuencialmente de izquierda a derecha. La siguiente tabla especifica la precedencia de las operaciones de mayor a menor; una posición más alta en la tabla indica una prioridad más alta.

Para aquellos operadores que también se utilizan en el lenguaje de programación C, el orden de precedencia utilizado en esta Memoria descriptiva es el mismo que se utiliza en el lenguaje de programación C.

Tabla: Prioridad de operación desde la más alta (en la parte superior de la tabla) hasta la más baja (en la parte inferior de la tabla)

Descripción textual de operaciones lógicas

En el texto, una declaración de operaciones lógicas como se describiría matemáticamente de la siguiente forma:

si( condición 0 )

declaración 0

además si( condición 1 )

declaración 1

además /* observación informativa sobre La condición restante */

declaración n

se puede describir de la siguiente manera:

...de la siguiente manera / ... se aplica lo siguiente:

- Si la condición 0, declaración 0

- En caso contrario, si la condición 1, declaración 1

- En caso contrario (observación informativa sobre la condición restante), declaración n

Cada "Si... De lo contrario, si... De lo contrario,..." la declaración en el texto se introduce con "... como sigue" o "... se aplica lo siguiente" seguido inmediatamente de "Si...". La última condición del "Si... De lo contrario, si... De lo contrario,..." es siempre un "De lo contrario,...". Intercalado "Si... De lo contrario, si... De lo contrario, las declaraciones ..." se pueden identificar haciendo coincidir "... como sigue" o "... se aplica lo siguiente" con la terminación "De lo contrario, ...".

En el texto, una declaración de operaciones lógicas se describiría matemáticamente de la siguiente forma: si( condición 0a && condición 0b )

declaración 0

además si( condición 1a / / condición 1b )

declaración 1

además

declaración n

puede describirse de la siguiente manera:

... de la siguiente manera / ... se aplica lo siguiente:

- Si todas las condiciones siguientes son verdaderas, declaración 0:

- condición 0a

- condición 0b

- De lo contrario, si una o más de las siguientes condiciones son verdaderas, declaración 1:

- condición 1a

- condición 1b

- En caso contrario, declaración n

si (condición 0)

declaración 0

si (condición 1)

declaración 1

se puede describir de la siguiente manera:

Cuando condición 0, declaración 0

Cuando condición 1, declaración 1

Las realizaciones, por ejemplo, del codificador 20 y el decodificador 30, y las funciones descritas en esta memoria, por ejemplo, con referencia al codificador 20 y el decodificador 30, pueden implementarse en hardware, software, firmware o cualquier combinación de los mismos. Si se implementa en software, las funciones pueden almacenarse en un medio legible por ordenador o transmitirse por medios de comunicación como una o más instrucciones o código y ejecutarse por una unidad de procesamiento basada en hardware. Los medios legibles por ordenador pueden incluir soportes de almacenamiento legibles por ordenador, que corresponden a un medio tangible tal como soportes de almacenamiento de datos, o medios de comunicación que incluyen cualquier medio que facilite la transferencia de un programa informático de un lugar a otro, por ejemplo, según un protocolo de comunicación. De esta manera, los medios legibles por ordenador generalmente pueden corresponder a (1) soportes de almacenamiento tangibles legibles por ordenador que no son transitorios o (2) un medio de comunicación tal como una señal u onda portadora. Los soportes de almacenamiento de datos pueden ser cualquier medio disponible al que puedan acceder una o más ordenadores o uno o más procesadores para recuperar instrucciones, códigos y/o estructuras de datos para la implementación de las técnicas descritas en esta divulgación. Un producto de programa informático puede incluir un medio legible por ordenador.

A modo de ejemplo, y sin limitación, tales soportes de almacenamiento legibles por ordenador pueden comprender RAM, ROM, EEPROM, CD-ROM u otro almacenamiento en disco óptico, almacenamiento en disco magnético u otros dispositivos de almacenamiento magnético, flash memoria, o cualquier otro medio que pueda usarse para almacenar el código de programa deseado en forma de instrucciones o estructuras de datos y al que pueda acceder un ordenador. Además, cualquier conexión se denomina propiamente un medio legible por ordenador. Por ejemplo, si se transmiten instrucciones desde un sitio web, un servidor u otra fuente remota utilizando un cable coaxial, un cable de fibra óptica, un par trenzado, una línea de abonado digital (DSL) o tecnologías inalámbricas como infrarrojos, radio y microondas, entonces el cable coaxial, el cable de fibra óptica, el par trenzado, la DSL o tecnologías inalámbricas como infrarrojos, radio y microondas se incluyen en la definición de medio. Sin embargo, debe entenderse que los medios de almacenamiento legibles por ordenador y los medios de almacenamiento de datos no incluyen conexiones, ondas portadoras, señales u otros medios transitorios, sino que están dirigidos a soportes de almacenamiento tangibles y no transitorios. El disco, como se usa en esta memoria, incluye un disco compacto (CD), un disco láser, un disco óptico, un disco versátil digital (DVD), un disquete y un disco Blu-ray, donde los discos magnéticos generalmente reproducen datos magnéticamente, mientras que los discos reproducen datos ópticamente mediante láser. También deben incluirse combinaciones de los antemencionados dentro del alcance de los medios legibles por ordenador.

Las instrucciones pueden ser ejecutadas por uno o más procesadores, tales como uno o más procesadores de señales digitales (DSP), microprocesadores de propósito general, circuitos integrados de aplicaciones específicas (ASIC), matrices lógicas programables en campo (FPGA) u otros circuitos lógicos integrados o discretos equivalentes. Por consiguiente, el término "procesador", tal como se utiliza en esta memoria, puede referirse a cualquiera de las estructuras anteriores o cualquier otra estructura adecuada para la implementación de las técnicas descritas en esta memoria. Además, en algunos aspectos, la funcionalidad descrita en esta memoria puede proporcionarse dentro de módulos de hardware y/o software dedicados configurados para codificar y decodificar, o incorporados en un códec combinado. Además, las técnicas podrían implementarse completamente en uno o más circuitos o elementos lógicos.

Las técnicas de esta divulgación se pueden implementar en una amplia variedad de dispositivos o aparatos, incluido un teléfono inalámbrico, un circuito integrado (CI) o un conjunto de CI (por ejemplo, un conjunto de chips). En esta divulgación se describen diversos componentes, módulos o unidades para enfatizar los aspectos funcionales de los dispositivos configurados para realizar las técnicas divulgadas, pero no necesariamente requieren la realización por diferentes unidades de hardware. Más bien, como se ha descrito anteriormente, se pueden combinar diversas unidades en una unidad de hardware de códec o proporcionarse mediante una colección de unidades de hardware interoperativas, incluyendo uno o más procesadores como se ha descrito anteriormente, junto con software y/o firmware adecuado.

Claims

REIVINDICACIONES

1. Un método para hacer funcionar un filtro de interpolación separable bidimensional (2D) para codificar un vídeo, en donde el filtro de interpolación separable bidimensional comprende un primer y un segundo filtro de interpolación unidimensional (1D) y un búfer temporal de un tamaño de búfer predeterminado, en donde el método comprende:

comparar una suma de coeficientes de filtro positivos de los coeficientes de filtro obtenidos con un umbral; y al determinar que la suma de los coeficientes de filtro positivos es mayor que el umbral,

2. El método de la reivindicación 1, en donde el umbral se establece en un valor dado por la siguiente ecuación:2A(DesiredBD-l 0)+2A(N-1),

3. El método de la reivindicación 1 o 2, en donde el umbral se establece en un valor dado por la siguiente ecuación:

64■2A(N-1),

4. El método de cualquiera de las reivindicaciones 1 a 3, en donde el umbral se establece en un valor de 96.

5. El método de cualquiera de las reivindicaciones 1 a 4, en donde el cambio de escala desplaza el valor de la posición de muestra fraccionaria en un valor correspondiente aN+d-14,en donde N representa la profundidad de bits de la magnitud de los coeficientes de filtro y d representa una profundidad de bits de las muestras.

6. El método de cualquiera de las reivindicaciones 1 a 5, en donde el cambio de escala cambia el valor de la posición de la muestra fraccionaria en un valor correspondiente a d-8, en donde d representa una profundidad de bits de las muestras.

7. El método de cualquiera de las reivindicaciones 1 a 6, en donde modificar uno o más coeficientes de filtro comprende modificar el coeficiente de filtro positivo más grande de los coeficientes de filtro.

8. El método de la reivindicación 7, en donde el filtro de interpolación tiene una longitud que es igual al número de coeficientes de filtro, y el coeficiente de filtro de interpolación positivo más grande para el filtro de interpolación se ubica en la primera posición.

9. El método de cualquiera de las reivindicaciones 1 a 8, en donde el método comprende además al determinar que la suma de los coeficientes de filtro positivos es igual o menor que el umbral,

10. El método de cualquiera de las reivindicaciones 1 a 9, en donde el método comprende:

comprobar si una suma de coeficientes de filtro es igual a un factor de normalización 2AN, donde N representa la profundidad de bits de la magnitud de los coeficientes de filtro; y al determinar que la suma de los coeficientes de filtro no es igual al factor de normalización 2AN:

modificar uno o más coeficientes de filtro de manera que la suma de los coeficientes de filtro modificados sea igual al factor de normalización.

11. El método de cualquiera de las reivindicaciones 1 a 10, en donde el procedimiento además comprende: filtrar las muestras almacenadas mediante el segundo filtro de interpolación 1D del filtro de interpolación 2D; y cambiar la escala las muestras filtradas.

12. El método de cualquiera de las reivindicaciones 1-11, en donde obtener coeficientes de filtro comprende además: señalar los coeficientes de filtro en el flujo de bits; o proporcionar una tabla por defecto de coeficientes de filtro y señalar una diferencia, delta, en el flujo de bits, con respecto a los coeficientes de filtro predeterminados en la tabla.

13. Un codificador (20) que comprende circuitos de procesamiento para llevar a cabo el método según cualquiera de las reivindicaciones 1 a 12.

14. Un de codificador (30) que comprende circuitos de procesamiento para llevar a cabo el método según cualquiera de las reivindicaciones 1 a 12.

15. Un medio legible por ordenador no transitorio que lleva un código de programa que, cuando es ejecutado por un dispositivo informático, hace que el dispositivo informático realice el método de cualquiera de las reivindicaciones 1 a 12.