ES2962642T3 - Método y Aparato de Inter-predicción Adaptativa en Codificación de Video - Google Patents

Método y Aparato de Inter-predicción Adaptativa en Codificación de Video Download PDF

Info

Publication number
ES2962642T3
ES2962642T3 ES16840846T ES16840846T ES2962642T3 ES 2962642 T3 ES2962642 T3 ES 2962642T3 ES 16840846 T ES16840846 T ES 16840846T ES 16840846 T ES16840846 T ES 16840846T ES 2962642 T3 ES2962642 T3 ES 2962642T3
Authority
ES
Spain
Prior art keywords
current block
weighting factors
prediction
inter
pixels
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
ES16840846T
Other languages
English (en)
Inventor
Ching-Yeh Chen
Chih-Wei Hsu
Han Huang
Yu-Wen Huang
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
HFI Innovation Inc
Original Assignee
HFI Innovation Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by HFI Innovation Inc filed Critical HFI Innovation Inc
Application granted granted Critical
Publication of ES2962642T3 publication Critical patent/ES2962642T3/es
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/109—Selection of coding mode or of prediction mode among a plurality of temporal predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

Se divulgan un método y un aparato de codificación de vídeo que utiliza predicción Inter adaptativa. Se determina un proceso de interpredicción seleccionado, en el que el proceso de interpredicción seleccionado selecciona un filtro de interpredicción de múltiples filtros de interpredicción para el bloque actual dependiendo de los datos del primer píxel que comprenden píxeles reconstruidos vecinos (NRP) del bloque actual. El proceso de interpredicción seleccionado puede determinarse además dependiendo de los píxeles adicionales con compensación de movimiento (EMCP) alrededor de un bloque de referencia con compensación de movimiento correspondiente al bloque actual. Se puede utilizar la distorsión entre NRP y EMCP para determinar el filtro de predicción inter seleccionado. La distorsión se puede calcular utilizando una suma de diferencias absolutas o diferencias al cuadrado entre el PNR y el EMCP. (Traducción automática con Google Translate, sin valor legal)

Description

DESCRIPCIÓN
Método y aparato de inter-predicción adaptativa en codificación de video
Referencia cruzada a solicitudes relacionadas
La presente invención reclama prioridad de la Solicitud de patente PCT No. PCT/CN2015/088952, presentada el 6 de septiembre de 2015.
Campo técnico
La presente invención se refiere a la codificación de video de datos de video. En particular, la presente invención se refiere a la inter-predicción adaptativa en codificación de vídeo para mejorar la eficiencia de la codificación.
Antecedentes de la invención
Los datos de vídeo requieren mucho espacio de almacenamiento para almacenar o un ancho de banda amplio para transmitir. Junto con la creciente alta resolución y las tasas de trama superiores, los requisitos de ancho de banda de almacenamiento o transmisión serían formidables si los datos de video se almacenan o transmiten en una forma sin comprimir. Por lo tanto, los datos de vídeo a menudo se almacenan o transmiten en un formato comprimido mediante técnicas de codificación de vídeo. La eficiencia de la codificación se ha mejorado sustancialmente utilizando formatos de compresión de vídeo más nuevos, como H.264/AVC y el nuevo estándar h Ev C (Codificación de Video de Alta Eficiencia).
La Figura 1 ilustra un sistema de inter/intra codificación de vídeo adaptativa ejemplar que incorpora procesamiento de bucle. Para la inter-predicción, la Estimación de Movimiento (ME)/Compensación de movimiento (MC) 112 se utiliza para proporcionar datos de predicción basados en datos de vídeo de otra imagen o imágenes. El conmutador 114 selecciona los datos de intra-predicción 110 o inter-predicción y los datos de predicción seleccionados se suministran al Sumador 116 para formar errores de predicción, también llamados residuos. El error de predicción es entonces procesado por Transformada (T) 118 seguido por Cuantificación (Q) 120. Los residuos transformados y cuantificados son codificados por el codificador de entropía 122 para ser incluidos en una secuencia de bits de vídeo correspondiente a los datos de vídeo comprimidos. Cuando se utiliza un modo de inter-predicción, una imagen o imágenes de referencia también tienen que ser reconstruidas en el extremo de codificador. En consecuencia, los residuos transformados y cuantificados son procesados por Cuantificación Inversa (IQ) 124 y Transformación Inversa (IT) 126 para recuperar los residuos. Los residuos se añaden de nuevo a los datos de predicción 136 en la Reconstrucción (REC) 128 para reconstruir los datos de vídeo. Los datos de vídeo reconstruidos se almacenan en el búfer de imágenes de referencia 134 y se utilizan para la predicción de otras tramas. Sin embargo, el filtro de bucle 130 (por ejemplo, filtro de desbloqueo y/o desfase adaptativo de muestra, SAO) se puede aplicar a los datos de vídeo reconstruidos antes de que los datos de vídeo se almacenen en el búfer de imágenes de referencia.
La Figura 2 ilustra un diagrama de bloques del sistema de un decodificador de vídeo correspondiente para el sistema codificador en la Figura 1. Dado que el codificador también contiene un decodificador local para reconstruir los datos de vídeo, algunos componentes del decodificador ya se utilizan en el codificador, excepto el decodificador de entropía 210. Además, solo se requiere compensación de movimiento 220 para el lado del decodificador. El conmutador 146 selecciona Intra-predicción o Inter-predicción y los datos de predicción seleccionados se suministran a la reconstrucción (REC) 128 para combinarlos con los residuos recuperados. Además de realizar la decodificación entrópica en residuos comprimidos, la decodificación entrópica 210 también es responsable de la decodificación entrópica de la información lateral y proporciona la información lateral a los bloques respectivos. Por ejemplo, la información del modo intra se proporciona a la intra-predicción 110, la información del modo inter se proporciona a la compensación de movimiento 220, la información del filtro de bucle se proporciona al filtro de bucle 130 y los residuos se proporcionan a la cuantificación inversa 124. Los residuos son procesados por IQ 124, IT 126 y posterior proceso de reconstrucción para reconstruir los datos de vídeo. Una vez más, los datos de vídeo reconstruidos de REC 128 se someten a una serie de procesamiento que incluye IQ 124 e IT 126 como se muestra en la Figura 2 y están sujetos a artefactos de codificación. Los datos de vídeo reconstruidos son procesados por el filtro de bucle 130.
En el sistema de Codificación de Vídeo de Alta Eficiencia (HEVC), el macrobloque de tamaño fijo de H.264/AVC se sustituye por un bloque flexible denominado unidad de codificación (CU). Los píxeles de la CU comparten los mismos parámetros de codificación para mejorar la eficiencia de la codificación. Una CU puede comenzar con una CU más grande (LCU), que también se conoce como unidad de árbol codificada (CTU) en HEVC. Cada CU es un bloque cuadrado 2Nx2N y se puede dividir recursivamente en cuatro CU más pequeñas hasta que se alcance el tamaño mínimo predefinido. Una vez que se realiza la división del árbol jerárquico de CU, cada CU de hoja se divide en una o más unidades de predicción (PU) de acuerdo con el tipo de predicción y la partición de PU. Además, la unidad básica para la codificación de transformada es de tamaño cuadrado llamado Unidad de Transformada (TU).
En HEVC, las intra e inter-predicciones se aplican a cada bloque (es decir, PU). Los modos de intra-predicción utilizan los píxeles reconstruidos vecinos espaciales para generar los predictores direccionales. Por otro lado, los modos de inter predicción utilizan las tramas de referencia reconstruidas temporales para generar predictores de movimiento compensado. Los residuos de predicción se codifican mediante transformada, cuantificación y codificación entrópica. Los predictores más precisos conducirán a un residual de predicción más pequeño, lo que a su vez conducirá a datos menos comprimidos (es decir, relación de compresión más alto).
Las inter-predicciones explorarán las correlaciones de píxeles entre tramas y serán eficientes si la escena es estacionaria o el movimiento es traslacional. En tal caso, la estimación de movimiento puede encontrar fácilmente bloques similares con valores de píxeles similares en las tramas temporales vecinas. Para la inter-predicción en HEVC, la inter-predicción puede ser uni-predicción o bi-predicción. Para la uni-predicción, un bloque actual se predice mediante un bloque de referencia en una imagen codificada anterior. Para la bi-predicción, un bloque actual se predice mediante dos bloques de referencia en dos imágenes codificadas anteriores. La predicción de dos bloques de referencia se promedia para formar un predictor final para la bi-predicción.
En muchos estándares de codificación de vídeo, también se admiten vectores de movimiento fraccional. Por ejemplo, en el estándar HEVC, la compensación de movimiento fraccional se implementa utilizando un filtro de interpolación de 8 derivaciones predefinido para el componente de luminancia y un filtro de interpolación de 4 derivaciones predefinido para el componente de crominancia, respectivamente. Sin embargo, el proceso de inter-predicción en HEVC es fijo. Por ejemplo, los factores de ponderación (es decir, 0,5 y 0,5) en la predicción bidireccional o los coeficientes de filtro en la compensación de movimiento fraccional son fijos. Por lo tanto, la inter-predicción convencional no puede adaptarse bien a las características locales de los bloques. Por lo tanto, para mejorar aún más la eficiencia de compresión de la inter predicción, es deseable desarrollar el método de inter-predicción adaptativo.
El documento JCT-VC JCTVC-I0115 divulga un método de acuerdo con la parte precaracterizadora de la reivindicación independiente 1.
EP 2 627 086 A1 divulga que se puede determinar una predicción de un bloque utilizando una combinación lineal ponderada de bloques de referencia en un parche de referencia seleccionado y otros parches de referencia seleccionados. Se divulga además que las ponderaciones pueden determinarse de manera que se minimicen los costos de distorsión de la velocidad de codificación o de manera que se minimice el error de predicción de un residuo de la plantilla o vecindario del bloque actual con respecto a una combinación lineal ponderada de las plantillas de referencia comprendidas en la parches que utilizan los pesos determinados. El documento JCTVC-D175 de JCT-VC divulga una técnica de bi-predicción que combina vectores de movimiento encontrados por emparejamientos de plantillas y bloques basados en compensación de movimiento de bloques superpuestos paramétricos, OBMC paramétrica. Debido a que el vector de movimiento de plantilla se infiere en el lado del decodificador, esta técnica solo envía parámetros de movimiento para un vector de movimiento de bloque. El movimiento también se amplía para permitir que el vector de movimiento de plantilla se sustituya por uno de esos vectores de movimiento para las unidades de predicción vecinas.
Breve descripción de las figuras
Un método y un aparato de codificación de vídeo utilizando inter-predicción adaptativa se revelan y se definen en las reivindicaciones independientes. Las reivindicaciones dependientes definen las realizaciones preferidas de las mismas.
Breve descripción de los dibujos
La Figura 1 ilustra un sistema de inter/intra-codificación de vídeo adaptativo ejemplar que utiliza transformada, cuantificación y procesamiento de bucle.
La Figura 2 ilustra un sistema de inter/intra-decodificación de vídeo adaptativo ejemplar que utiliza transformada, cuantificación y procesamiento de bucle.
La Figura 3 ilustra un ejemplo de Inter-predicción adaptativa seleccionando un método de inter-predicción mediante un proceso de inter-predicción seleccionado basado en la distorsión entre los píxeles reconstruidos vecinos del bloque actual y los píxeles de movimiento compensado extendido de un bloque de referencia de movimiento compensado correspondiente al bloque actual según uno realización de la presente invención.
La Figura 4 ilustra un ejemplo de inter-predicción adaptativa seleccionando un filtro de interpolación entre tres candidatos mediante un proceso de inter-predicción seleccionado basado en la distorsión entre los píxeles reconstruidos vecinos del bloque actual y los píxeles de movimiento compensado extendido de un bloque de referencia de movimiento compensado correspondiente al bloque actual exterior el objeto de las reivindicaciones.
La Figura 5 ilustra un diagrama de flujo ejemplar para un sistema de codificación de video que utiliza inter-predicción adaptativa de acuerdo con una realización no comprendida por la redacción de las reivindicaciones.
Descripción detallada de la invención
La siguiente descripción es del modo mejor contemplado de llevar a cabo la invención. Esta descripción se hace con el propósito de ilustrar los principios generales de la invención y no debe tomarse en un sentido limitante. El alcance de la invención se determina mejor por referencia a las reivindicaciones anexadas.
Como se mencionó anteriormente, la inter-predicción convencional es bastante estática y no puede adaptarse a las características locales en el video subyacente. En consecuencia, en una realización de la presente invención, la correlación entre un bloque actual y los píxeles reconstruidos vecinos se utiliza para lograr la adaptación local de la inter predicción. El método se conoce como inter-predicción adaptativa.
En una realización no comprendida por la redacción de las reivindicaciones, se puede utilizar más de un proceso de inter predicción y los píxeles reconstruidos vecinos alrededor de un bloque actual se utilizan para el proceso de inter-predicción seleccionado para seleccionar un método de inter-predicción correspondiente a un filtro de interpolación y/o un conjunto de factores de ponderación para el bloque actual. Más de un proceso de inter-predicción puede corresponder a un proceso de inter-predicción que admite diferentes filtros de interpolación (también denominados filtros de inter-predicción) y/o a un proceso de inter-predicción que admite diferentes conjuntos de factores de ponderación para la predicción bidireccional. Los diferentes filtros de interpolación pueden corresponder a diferentes números de derivaciones de filtro y/o diferentes coeficientes de filtro.
En una realización no comprendida por la redacción de las reivindicaciones, la selección entre diferentes filtros de inter predicción puede depender de píxeles reconstruidos vecinos (NRP) alrededor del bloque actual. La selección entre los diferentes filtros de inter-predicción también puede depender de los píxeles de movimiento compensado adicionales para los píxeles reconstruidos vecinos alrededor del bloque actual. Los píxeles reconstruidos vecinos se pueden seleccionar basándose en la información de movimiento del bloque actual y los píxeles reconstruidos vecinos. Por ejemplo, basándose en la comparación de movimiento entre la información de movimiento del bloque actual y los píxeles reconstruidos vecinos, solo se seleccionan los píxeles reconstruidos vecinos en el límite izquierdo del bloque actual para determinar el filtro de inter-predicción de varios filtros si la información de movimiento del bloque actual es la misma que la de la CU izquierda pero diferente a la de la CU anterior. En la realización anterior, la selección entre diferentes filtros de inter-predicción se deriva implícitamente. Sin embargo, en otra realización, la selección entre diferentes filtros de inter-predicción puede ser señalada explícitamente.
La Figura 3 ilustra un ejemplo de selección de un método de inter-predicción mediante un proceso de inter-predicción seleccionado de acuerdo con una realización de la presente invención. En la Figura 3, los píxeles reconstruidos vecinos (NRP) comprenden N filas vecinas encima 312 por encima del límite superior del bloque actual 310 y N columnas vecinas izquierdas (es decir, líneas verticales) 314 a la izquierda del límite izquierdo del bloque actual 310. En un ejemplo, los píxeles reconstruidos vecinos del bloque actual 310 se seleccionan mediante submuestreo. Los predictores o píxeles de movimiento compensado extendido (EMCP) comprenden N filas vecinas encima 322 por encima del límite superior del bloque de referencia de movimiento compensado 320 y N columnas vecinas izquierdas (es decir, líneas verticales) 324 a la izquierda del límite izquierdo del bloque de referencia de movimiento compensado 320. El bloque de referencia de movimiento compensado 320 se identifica de acuerdo con la ubicación del bloque actual 310 y el vector de movimiento 330. El vector de movimiento puede tener una precisión de entero o una resolución fraccionaria de pel. En consecuencia, se puede utilizar la compensación de movimiento de enteros o la compensación de movimiento fraccional.
En comparación con la inter-predicción convencional, la realización anterior requiere realizar una compensación de movimiento adicional asociada con el NRP y el EMCP para seleccionar un método de inter-predicción entre varios candidatos.
N es un entero igual a 1 o mayor. La configuración de NRP y EMCP que se muestra en la Figura 3 tiene la intención de ilustrar un ejemplo de acuerdo con una realización y se interpretará como limitaciones a la presente invención. Por ejemplo, el número de líneas vecinas arriba puede ser diferente del número de líneas vecinas izquierdas.
La Figura 4 ilustra un ejemplo del proceso de inter-predicción adaptativa de acuerdo con una realización no comprendida por la redacción de las reivindicaciones. En este ejemplo, se pueden utilizar tres tipos de filtros de interpolación en un sistema de codificación de vídeo. El proceso de inter-predicción adaptativa puede comenzar con la compensación de movimiento usando estos tres filtros de interpolación para píxeles reconstruidos vecinos (412) alrededor del bloque actual (410) para generar píxeles adicionales de movimiento compensado (422a, 422b, 422c) alrededor del bloque de referencia de movimiento compensado (420a, 420b, 420c), como se muestra en la Figura 4. Las distorsiones entre los píxeles reconstruidos vecinos (412) y los píxeles con compensación de movimiento adicional (422a, 422b, 422c) se calculan para estos tres tipos de filtros de interpolación. El filtro de interpolación con la menor distorsión se utiliza para generar el predictor del bloque actual. Para la predicción unidireccional, la inter-predicción adaptativa se puede lograr seleccionando adaptativamente un filtro de diferentes filtros de interpolación. Como se mencionó anteriormente, se puede utilizar la compensación de movimiento de enteros o la compensación de movimiento fraccional.
En otra realización, para la predicción bidireccional, la inter-predicción adaptativa se puede implementar apoyando diferentes conjuntos de factores de ponderación, tales como [0,5, 0,5], [0,25, 0,75], [0,75, 0,25], [0,375, 0,625], o [0,625, 0,375] entre dos predictores. En esta realización, se selecciona un conjunto de factores de ponderación dependiendo de los píxeles reconstruidos vecinos del bloque actual y/o los píxeles adicionales de movimiento compensado alrededor de un bloque de referencia de movimiento compensado correspondiente al bloque actual. Por ejemplo, según la distorsión entre los píxeles reconstruidos vecinos y los píxeles adicionales de movimiento compensado, se selecciona un conjunto de factores de ponderación para codificar o decodificar el bloque actual. Sin embargo, en la predicción bidireccional convencional, siempre se utilizan los factores de ponderación [0,5, 0,5].
En otra realización no comprendida por la redacción de las reivindicaciones, diferentes factores de ponderación para los dos predictores como diferentes filtros de interpolación también se pueden utilizar en la predicción bidireccional.
En otra realización no comprendida por la redacción de las reivindicaciones, se pueden combinar diferentes métodos de inter-predicción para formar otro método de inter-predicción. Por ejemplo, se pueden combinar diferentes conjuntos de factores de ponderación con filtros de interpolación de variantes, de modo que cada combinación única de un conjunto particular de factores de ponderación y un filtro de interpolación particular sea un método de inter-predicción. La selección de un proceso de inter-predicción a partir de conjuntos de factores de ponderación admitidos y filtros de interpolación admitidos depende de los píxeles reconstruidos vecinos del bloque actual y/o los píxeles adicionales de movimiento compensado alrededor de un bloque de referencia de movimiento compensado correspondiente al bloque actual.
En otra realización todavía, la distorsión entre los píxeles reconstruidos vecinos y los píxeles adicionales de movimiento compensado se puede medir como la suma de las diferencias absolutas, la suma de los errores al cuadrado, y así sucesivamente.
En otra realización aún más, para la predicción bidireccional con factores de ponderación adaptativos, se divulgan cálculos de distorsión eficientes para un conjunto de factores de ponderación candidatos. Una vez más, se debe realizar una compensación de movimiento adicional para los píxeles reconstruidos vecinos, donde X denota un valor reconstruido de los píxeles reconstruidos vecinos:
1) Realizar la compensación de movimiento y obtener los predictores P0 y P1 para los píxeles de los píxeles reconstruidos vecinos asociados con dos vectores de movimiento correspondientes.
2<) .>
Q = (P0+P1)«2
3) R = P0-P1
4) La distorsión para el factor de ponderación [0,5, 0,5] se calcula como D0 = (X<<3) - Q.
5) La distorsión para el factor de ponderación [0,625, 0,375] se calcula como D1 = D0 - R
6) La distorsión para el factor de ponderación [0,375, 0,625] se calcula como D2 = D0 R
7) La distorsión para el factor de ponderación [0,75, 0,25] se calcula como D3 = D1 - R
8) La distorsión para el factor de ponderación [0,25, 0,75] se calcula como D4 = D2 R
La expresión de la ilustración anterior utiliza anotaciones simplificadas para P0, P1, Q y R, donde se descartan los índices de ubicaciones de píxeles en los píxeles reconstruidos vecinos. Las distorsiones D0 a D4 se calculan como la suma de distorsiones de píxeles individuales en los píxeles reconstruidos vecinos. Como se muestra anteriormente, solo se realiza una compensación de movimiento para cada píxel reconstruido vecino como en el paso 1, a continuación, las distorsiones de todos los conjuntos de factores de ponderación candidatos se pueden derivar como en los siguientes pasos. Para ser específicos, una variable Q relacionada con la suma de los dos predictores se calcula en el paso 2. Además, una variable R relacionada con la diferencia de los dos predictores se calcula en el paso 3. Las distorsiones asociadas con varios conjuntos de factores de ponderación se pueden calcular de manera eficiente en función de Q, R y/o una distorsión calculada previamente para otro conjunto de factores de ponderación.
En otra realización todavía, la selección de los procesos de inter-predicción adaptativa soportados entre los diferentes procesos de inter-predicción adaptativa puede señalarse a nivel de secuencia, nivel de imagen o nivel de segmento. La selección de los procesos de inter-predicción adaptativa admitidos puede depender del tipo de segmento, el modo de predicción o la información de movimiento. Además, si se activa la inter-predicción adaptativa se puede indicar a nivel de secuencia, nivel de imagen, nivel de segmento, nivel de unidad de codificación o nivel de unidad de predicción.
En otra realización todavía, la selección de predicción bidireccional con factores de ponderación adaptativa puede señalarse explícitamente al decodificador a nivel de secuencia, a nivel de imagen, a nivel de segmento, a nivel de unidad de codificación o a nivel de unidad de predicción.
La Figura 5 ilustra un diagrama de flujo ejemplar para un sistema de codificación de video que utiliza inter-predicción adaptativa de acuerdo con una realización no comprendida por la redacción de las reivindicaciones. En el lado del codificador, los datos de entrada pueden corresponder a los datos de píxeles que se van a codificar. En el lado del decodificador, los datos de entrada pueden corresponder a los datos codificados, incluido el bloque actual y otros datos asociados. De acuerdo con este método, los datos de entrada asociados con un bloque actual en una imagen actual se reciben en el paso 510. Se determina un proceso de inter-predicción seleccionado, en el que el proceso de inter-predicción seleccionado selecciona un filtro de inter-predicción de múltiples filtros de inter-predicción para el bloque actual, dependiendo de los primeros datos de píxel que comprenden píxeles reconstruidos vecinos del bloque actual en el paso 520. El bloque actual se codifica o descodifica mediante el proceso de inter-predicción seleccionado en el paso 530.
El diagrama de flujo que se muestra está destinado a ilustrar un ejemplo de codificación de vídeo. Una persona experta en la técnica puede modificar cada paso, reorganizar los pasos, dividir un paso o combinar pasos. En la divulgación, se han utilizado sintaxis y semántica específicas para ilustrar ejemplos para implementar realizaciones de la presente invención. Una persona experta puede practicar la presente invención sustituyendo la sintaxis y la semántica con sintaxis y semántica equivalentes sin apartarse de la presente invención como se define en las reivindicaciones anexas.
La descripción anterior se presenta para permitir que una persona experta en la técnica practique la presente invención como se establece en el contexto de una aplicación particular y su requisito.
La realización de la presente invención como se describe anteriormente puede implementarse en varios códigos de hardware, software o una combinación de ambos. Por ejemplo, una realización de la presente invención puede ser uno o más circuitos integrados en un chip de compresión de vídeo o código de programa integrado en un software de compresión de vídeo para realizar el procesamiento descrito en la presente. Una realización de la presente invención también puede ser un código de programa que se ejecutará en un procesador de señal digital (DSP) para realizar el procesamiento descrito en la presente. La invención también puede implicar una serie de funciones que deben ser realizadas por un procesador de computadora, un procesador de señal digital, un microprocesador o un conjunto de puertas programables de campo (FPGA). Estos procesadores se pueden configurar para realizar tareas particulares de acuerdo con la invención, mediante la ejecución de código de software legible por máquina o código de firmware que define los métodos particulares incorporados por la invención. El código de software o el código de firmware se pueden desarrollar en diferentes lenguajes de programación y diferentes formatos o estilos. El código de software también puede compilarse para diferentes plataformas objetivo. Sin embargo, los diferentes formatos de código, estilos y lenguajes de los códigos de software y otros medios de configuración de código para realizar las tareas de acuerdo con la invención no se apartarán del alcance de la invención como se define en las reivindicaciones anexas.
Los ejemplos descritos se deben considerar en todos los aspectos solo como ilustrativas y no restrictivas. Por lo tanto, el alcance de la invención se indica por las reivindicaciones anexas en lugar de por la descripción anterior.

Claims (4)

REIVINDICACIONES
1. Un método de inter-predicción para la codificación de vídeo, el método comprende:
recibir datos de entrada asociados con un bloque actual (310) en una imagen actual;
determinar un proceso de inter-predicción seleccionado, en el que el proceso de inter-predicción seleccionado selecciona un conjunto de factores de ponderación de varios conjuntos de factores de ponderación para el bloque actual (310) para la predicción bidireccional; y
codificar o decodificar el bloque actual (310) utilizando el proceso de inter-predicción seleccionado;
en donde los múltiples conjuntos de factores de ponderación comprenden [0,5, 0,5], [0,25, 0,75], [0,75, 0,25], [0,375, 0,625] y [0,625, 0,375];
caracterizado porque
se utiliza una distorsión entre los píxeles reconstruidos vecinos (312, 314) del bloque actual (310) y los píxeles con compensación de movimiento adicional (322, 324) alrededor de un bloque de referencia con compensación de movimiento (320) correspondiente al bloque actual (310) para determinar el conjunto de factores de ponderación, en donde los píxeles con compensación de movimiento adicional (322, 324) representan píxeles reconstruidos vecinos del bloque de referencia con compensación de movimiento (320),
donde un primer predictor P0 asociado con la información del primer movimiento y un segundo predictor P1 asociado con la información del segundo movimiento se derivan solo una vez para cada píxel de los píxeles reconstruidos vecinos (312, 314) del bloque actual (310), una suma y una diferencia asociadas con el primer predictor P0 y el segundo predictor P1 se determinan para cada píxel de los píxeles reconstruidos vecinos (312, 314) del bloque actual (310), y se calcula una variable Q relacionada con la suma de los dos predictores, se calcula una variable R relacionada con la diferencia de los dos predictores, y las distorsiones asociadas con los conjuntos de factores de ponderación se calculan en base a Q, R y / o una distorsión calculada previamente para otro conjunto de factores de ponderación;
donde, para el conjunto de factores de ponderación seleccionados, las distorsiones asociadas con los múltiples factores de ponderación [0,5, 0,5], [0,625, 0,375], [0,375, 0,625], [0,75, 0,25], y [0,25, 0,75] se calculan como D0 = (X<<3) - Q, D1 = D0 - R, D2 = D0 R, D3 = D1 - R, y<d>4 = D2 R, respectivamente, en donde X denota un valor reconstruido de un píxel individual de los píxeles reconstruidos vecinos (312, 314) del bloque actual (310), Q = (P0 P1)<<2, R = P0 - P1, y cada una de las distorsiones D0 a D4 se calcula como una suma de las distorsiones de todos los píxeles individuales en los píxeles reconstruidos vecinos (312, 314) del bloque actual (310).
2. El método de conformidad con la reivindicación 1, donde la selección del conjunto de factores de ponderación se señala explícitamente a un decodificador a nivel de secuencia, nivel de imagen, nivel de segmento, nivel de unidad de codificación o nivel de unidad de predicción.
3. Un aparato para la inter-predicción en codificación de vídeo, el aparato comprende uno o más circuitos electrónicos o procesadores acomodados para:
recibir datos de entrada asociados con un bloque actual (310) en una imagen actual;
determinar un proceso de inter-predicción seleccionado, en el que el proceso de inter-predicción seleccionado selecciona un conjunto de factores de ponderación de varios conjuntos de factores de ponderación para el bloque actual para la predicción bidireccional; y
codificar o decodificar el bloque actual (310) utilizando el proceso de inter-predicción seleccionado;
en donde los múltiples conjuntos de factores de ponderación comprenden [0,5, 0,5], [0,25, 0,75], [0,75, 0,25], [0,375, 0,625] y [0,625, 0,375];
caracterizado porque
se utiliza una distorsión entre los píxeles reconstruidos vecinos (312, 314) del bloque actual (310) y los píxeles con compensación de movimiento adicional (322, 324) alrededor de un bloque de referencia con compensación de movimiento (320) correspondiente al bloque actual (310) para determinar el conjunto de factores de ponderación, en donde los píxeles con compensación de movimiento adicional (322, 324) representan píxeles reconstruidos vecinos del bloque de referencia con compensación de movimiento (320),
donde un primer predictor P0 asociado con la primera información de movimiento y un segundo predictor P1 asociado con la segunda información de movimiento se derivan solo una vez para cada píxel de los píxeles reconstruidos vecinos (312, 314) del bloque actual (310), una suma y una diferencia asociadas con el primer predictor P0 y el segundo predictor P1 se determinan para cada píxel de los píxeles reconstruidos vecinos (312, 314) del bloque actual (310) para determinar dicha distorsión utilizada para determinar el conjunto de factores de ponderación, y se calcula una variable Q relacionada con la suma de los dos predictores, se calcula una variable R relacionada con la diferencia de los dos predictores, y las distorsiones asociadas con los conjuntos de factores de ponderación se calculan en base a Q, R y / o una distorsión calculada previamente para otro conjunto de factores de ponderación;
donde, para el conjunto seleccionado de factores de ponderación, las distorsiones asociadas con los múltiples factores de ponderación, [0,5, 0,5], [0,625, 0,375], [0,375, 0,625], [0. 75, 0,25] y [0,25, 0,75] se calculan como D0 = (X<<3) - Q, D1 = D0 - R, D2 = D0 R, D3 = D1 - R, y d 4 = D2 R, respectivamente, en donde X denota un valor reconstruido de un píxel individual de los píxeles reconstruidos vecinos (312, 314) del bloque actual (310), Q = (P0 P1)<<2, R = P0 - P1, y cada una de las distorsiones D0 a D4 se calcula como una suma de las distorsiones de todos los píxeles individuales en los píxeles reconstruidos vecinos (312, 314) del bloque actual (310).
4. El aparato de conformidad con la reivindicación 3, en donde la selección del conjunto de factores de ponderación se señala explícitamente a un decodificador a nivel de secuencia, nivel de imagen, nivel de segmento, nivel de unidad de codificación o nivel de unidad de predicción.
ES16840846T 2015-09-06 2016-09-05 Método y Aparato de Inter-predicción Adaptativa en Codificación de Video Active ES2962642T3 (es)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
PCT/CN2015/088952 WO2017035831A1 (en) 2015-09-06 2015-09-06 Adaptive inter prediction
PCT/CN2016/097996 WO2017036417A1 (en) 2015-09-06 2016-09-05 Method and apparatus of adaptive inter prediction in video coding

Publications (1)

Publication Number Publication Date
ES2962642T3 true ES2962642T3 (es) 2024-03-20

Family

ID=58186479

Family Applications (1)

Application Number Title Priority Date Filing Date
ES16840846T Active ES2962642T3 (es) 2015-09-06 2016-09-05 Método y Aparato de Inter-predicción Adaptativa en Codificación de Video

Country Status (8)

Country Link
US (1) US10979707B2 (es)
EP (1) EP3338448B1 (es)
JP (1) JP6634151B2 (es)
CN (2) CN114143538A (es)
ES (1) ES2962642T3 (es)
MX (1) MX2018002725A (es)
MY (1) MY184006A (es)
WO (2) WO2017035831A1 (es)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018056763A1 (ko) * 2016-09-23 2018-03-29 엘지전자(주) 템플릿 기반 가중치를 이용하여 예측을 수행하는 방법 및 장치
US10951912B2 (en) * 2016-10-05 2021-03-16 Qualcomm Incorporated Systems and methods for adaptive selection of weights for video coding
CN116193109A (zh) * 2017-01-16 2023-05-30 世宗大学校产学协力团 影像编码/解码方法
MX2020004137A (es) * 2017-10-05 2020-08-13 Interdigital Vc Holdings Inc Metodo y aparato para la compensacion de iluminacion adaptativa en codificacion y decodificacion de video.
US20190110052A1 (en) * 2017-10-06 2019-04-11 Futurewei Technologies, Inc. Bidirectional intra prediction
CN110121073B (zh) * 2018-02-06 2021-07-09 浙江大学 一种双向帧间预测方法及装置
CN113923455B (zh) * 2018-03-30 2023-07-18 华为技术有限公司 一种双向帧间预测方法及装置
AU2018429284B2 (en) * 2018-06-29 2023-01-19 Huawei Technologies Co., Ltd. Device and method for intra-prediction
CN110868601B (zh) * 2018-08-28 2024-03-15 华为技术有限公司 帧间预测方法、装置以及视频编码器和视频解码器
WO2020084475A1 (en) 2018-10-22 2020-04-30 Beijing Bytedance Network Technology Co., Ltd. Utilization of refined motion vector
CN117459722A (zh) * 2018-11-12 2024-01-26 北京字节跳动网络技术有限公司 组合帧间-帧内预测的简化
EP3861742A4 (en) 2018-11-20 2022-04-13 Beijing Bytedance Network Technology Co., Ltd. DIFFERENCE CALCULATION BASED ON SPATIAL POSITION
WO2020111982A1 (en) 2018-11-26 2020-06-04 Huawei Technologies Co., Ltd. Method of intra predicting a block of a picture
KR20210091322A (ko) * 2018-12-21 2021-07-21 후아웨이 테크놀러지 컴퍼니 리미티드 모드 및 크기 의존적 블록 레벨 제한의 방법 및 장치
CN111510726B (zh) * 2019-01-30 2023-01-24 杭州海康威视数字技术股份有限公司 一种编解码方法及其设备
WO2020177755A1 (en) 2019-03-06 2020-09-10 Beijing Bytedance Network Technology Co., Ltd. Usage of converted uni-prediction candidate
CN113452998B (zh) * 2020-03-25 2022-05-31 杭州海康威视数字技术股份有限公司 一种解码、编码、编解码方法、装置及其设备

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7266150B2 (en) * 2001-07-11 2007-09-04 Dolby Laboratories, Inc. Interpolation of video compression frames
JP4015934B2 (ja) * 2002-04-18 2007-11-28 株式会社東芝 動画像符号化方法及び装置
US8406301B2 (en) * 2002-07-15 2013-03-26 Thomson Licensing Adaptive weighting of reference pictures in video encoding
US7903742B2 (en) * 2002-07-15 2011-03-08 Thomson Licensing Adaptive weighting of reference pictures in video decoding
US7515637B2 (en) * 2004-05-21 2009-04-07 Broadcom Advanced Compression Group, Llc Video decoding for motion compensation with weighted prediction
KR101536794B1 (ko) * 2007-12-20 2015-07-14 퀄컴 인코포레이티드 후광현상이 줄어든 영상보간 장치 및 방법
EP2106136A1 (en) * 2008-03-28 2009-09-30 Sony Corporation Motion compensated temporal interpolation for frame rate conversion of video signals
JP5406465B2 (ja) * 2008-04-24 2014-02-05 株式会社Ｎｔｔドコモ 画像予測符号化装置、画像予測符号化方法、画像予測符号化プログラム、画像予測復号装置、画像予測復号方法及び画像予測復号プログラム
WO2010049917A2 (en) * 2008-10-31 2010-05-06 France Telecom Image prediction method and system
CN101631242A (zh) * 2009-07-30 2010-01-20 上海交通大学 视频加权预测系统及其编码解码方法
KR20110071047A (ko) * 2009-12-20 2011-06-28 엘지전자 주식회사 비디오 신호 디코딩 방법 및 장치
EP2627086A1 (en) * 2012-02-10 2013-08-14 Thomson Licensing Method and device for encoding a block of an image and corresponding reconstructing method and device
CN103747269B (zh) * 2013-09-30 2017-09-19 北京大学深圳研究生院 一种滤波器插值方法及滤波器

Also Published As

Publication number Publication date
BR112018004469A2 (pt) 2018-09-25
EP3338448A1 (en) 2018-06-27
WO2017036417A1 (en) 2017-03-09
US20190045183A1 (en) 2019-02-07
EP3338448B1 (en) 2023-08-23
CN114143538A (zh) 2022-03-04
JP6634151B2 (ja) 2020-01-22
JP2018530221A (ja) 2018-10-11
CN108028931A (zh) 2018-05-11
EP3338448A4 (en) 2019-01-30
US10979707B2 (en) 2021-04-13
MY184006A (en) 2021-03-17
WO2017035831A1 (en) 2017-03-09
MX2018002725A (es) 2018-04-13
CN108028931B (zh) 2021-11-05
BR112018004469A8 (pt) 2023-02-07

Similar Documents

Publication Publication Date Title
ES2962642T3 (es) Método y Aparato de Inter-predicción Adaptativa en Codificación de Video
TWI666927B (zh) 用於四叉樹加二叉樹拆分塊的候選集決定的方法與裝置
US10412407B2 (en) Method and apparatus of inter prediction using average motion vector for video coding
CN109996081B (zh) 图像预测方法、装置以及编解码器
CA2876017C (en) Method and apparatus for intra transform skip mode
RU2571572C2 (ru) Кодирование и декодирование видео
TWI493964B (zh) 在視訊編碼中的區塊類型發信號
KR101393824B1 (ko) 저 복잡성 움직임 벡터 도출을 위한 시스템 및 방법
US10165292B2 (en) Method and apparatus for intra block copy mode in video coding system with pipeline architecture
KR101782661B1 (ko) 비디오 인코딩 및 디코딩을 위한 템플릿 매칭 예측의 복잡도를 감소시키는 방법 및 장치
EP3202151B1 (en) Method and apparatus of video coding with prediction offset
KR20120100853A (ko) 움직임 추정에 대한 검색 범위 선택 방법과 그의 시스템 및 컴퓨터 판독가능 저장 매체
JP2013048481A (ja) イントラ予測映像復号化のための方法及び装置
ES2907382T3 (es) Procedimiento de codificación y decodificación de imágenes, dispositivo de codificación y decodificación de imágenes y programas de ordenador correspondientes
AU2016316317B2 (en) Method and apparatus of prediction offset derived based on neighbouring area in video coding
US10805611B2 (en) Method and apparatus of constrained sequence header
BR112018004469B1 (pt) Método de inter-predição para codificação de vídeo e aparelho para inter-predição em codificação de vídeo