ES2906182T3

ES2906182T3 - Método para decodificar vídeo multivista

Info

Publication number: ES2906182T3
Application number: ES14876960T
Authority: ES
Inventors: Jong Ki Han; Jae Yung Lee
Original assignee: Dolby Laboratories Licensing Corp
Current assignee: Dolby Laboratories Licensing Corp
Priority date: 2014-01-02
Filing date: 2014-12-30
Publication date: 2022-04-13
Anticipated expiration: 2034-12-30
Also published as: EP3958572A1; FI3958572T3; KR101778710B1; KR20230104560A; JP6615777B2; CN106063272B; EP3091741B1; KR20160100896A; KR20170003513A; WO2015102367A1; KR101662662B1; KR102201591B1; KR102344088B1; KR20210007007A; KR20150080905A; EP3958572B1; KR102550448B1; KR20160116326A; JP2017510219A; KR101658192B1

Abstract

Un método para decodificar un vídeo multivista, comprendiendo el método: determinar esquemas de predicción de movimiento realizados para que se decodifique un bloque actual y un bloque coubicado correspondiente al bloque actual, se determina que los esquemas de predicción de movimiento son una predicción a largo plazo, una predicción a corto plazo y una predicción intervista; y generar un vector de movimiento del bloque actual utilizando un vector de movimiento del bloque coubicado según los esquemas de predicción de movimiento determinados, en donde cuando la predicción intervista se realiza para uno del bloque actual y el bloque coubicado y luego se realiza la predicción a largo plazo o la predicción a corto plazo para el otro bloque, se genera el vector de movimiento del bloque actual utilizando un vector predeterminado o el vector de movimiento del bloque coubicado, en donde el bloque coubicado incluye un bloque temporal coubicado.

Description

DESCRIPCIÓN

Método para decodificar vídeo multivista

Campo técnico

La presente divulgación se refiere a codificar/descodificar un vídeo multivista y, más particularmente, a métodos y aparatos para realizar predicción de vector de movimiento y predicción de residuo para un vídeo multivista.

Antecedentes de la técnica

La codificación de vídeo de alta eficiencia (HEVC), que se sabe que tiene aproximadamente el doble de eficiencia de compresión que la codificación de vídeo avanzada/H.264 heredada (H.264/AVC), se ha estandarizado recientemente. HEVC define una unidad de codificación (CU), una unidad de predicción (PU) y una unidad de transformación (TU) en una estructura de árbol cuádruple, y adopta un desplazamiento adaptativo de muestra (SAO) y un filtro en bucle, como un filtro de desbloqueo. HEVC también aumenta la eficiencia de codificación de compresión al mejorar la intrapredicción y la interpredicción convencionales.

Mientras tanto, la codificación de vídeo escalable (SVC) se está estandarizando como una extensión de HEVC, y la codificación de vídeo tridimensional (3DVC) basada en H.264/AV o HEVC también se está estandarizando a través de la mejora de la codificación multivista convencional (MVC).

El grupo de expertos en vídeo, MPEG de la organización internacional de estandarización, ISO/IEC, comenzó recientemente a trabajar en la estandarización de 3DVC. La estandarización de 3DVC se basa en una técnica de codificación existente para vídeo bidimensional (2D) de única vista (H.264/AVC), una técnica de codificación para vídeo multivista 2D (MVC) y HEVC que recientemente ha sido estandarizado por el Equipo Colaborativo Conjunto sobre Codificación de Vídeo (JCT-VC).

Específicamente, el MPEG y el ITU-T han decidido estandarizar 3DVC de manera conjunta y organizaron un nuevo grupo colaborativo de estandarización llamado Equipo de colaboración conjunta sobre extensiones de codificación de vídeo 3D (JCT-3V, Joint Collaborative Team on 3D Video Coding Extensions). El JCT-3V está definiendo una sintaxis avanzada para la codificación/decodificación de profundidad en el MVC convencional y estandarizando una técnica de codificación/decodificación para una nueva imagen en color e imagen de profundidad basada en H.264/AVC y una técnica de codificación/decodificación para un imagen en color multivista e imagen de profundidad basada en 3D-HEVC.

Se está discutiendo una variedad de técnicas para la estandarización de 3DVC. Por lo general, incluyen un esquema de codificación/descodificación basado en la predicción intervista. En otras palabras, debido a que la cantidad de datos de un vídeo multivista para codificar y transmitir aumenta en proporción al número de vistas, existe la necesidad de desarrollar una técnica eficiente para codificar/decodificar un vídeo multivista basado en la dependencia entre vistas. ZHANG L ET AL: "Test Model 6 of 3D-HEVC and MV-HEVC", 6. REUNIÓN JCT-3V; 25-10-2013 - 1-11-2013; GINEBRA; (EL EQUIPO DE COLABORACIÓN CONJUNTA EN DESARROLLO DE EXTENSIÓN DE CODIFICACIÓN DE VÍDEO 3D DE ISO/IEC JTC1/SC29/WG11 Y ITU-T SG.16); N.° JCT3V-F1005 divulga la codificación de vistas dependientes.

TECH G ET AL: "3D-HEVC Draft Text 2", 6. REUNIÓN JCT-3V; 25-10-2013 - 1-11-2013; GINEBRA; (EL EQUIPO DE COLABORACIÓN CONJUNTA EN DESARROLLO DE EXTENSIÓN DE CODIFICACIÓN DE VÍDEO 3D DE ISO/IEC JTC1/SC29/WG11 Y ITU-T SG.16); N.° JCT3V-F1001, especifica la codificación de vídeo multivista y profundidad, denominada codificación de vídeo de alta eficiencia 3D (3D-HEVC).

ZHANG L ET AL: "CE4: Further improvements on advanced residual prediction", 6. REUNIÓN JCT-3V; 25-10-2013 -1-11-2013; GINEBRA; (EL EQUIPO DE COLABORACIÓN CONJUNTA EN DESARROLLO DE EXTENSIÓN DE CODIFICACIÓN DE VÍDEO 3D DE ISO/IEC JTC1/SC29/WG11 Y ITU-T SG.16); N.° JCT3V-F0123 divulga una propuesta que es un seguimiento de JCT3V-E0124 y mejora la eficiencia de codificación de ARP.

ZHANG K ET AL: "3D-CE4: Results on improved advanced residual prediction", 6. REUNIÓN JCT-3V; 25-10-2013 -1-11-2013; GINEBRA; (EL EQUIPO DE COLABORACIÓN CONJUNTA EN DESARROLLO DE EXTENSIÓN DE CODIFICACIÓN DE VÍDEO 3D DE ISO/IEC JTC1/SC29/WG11 Y ITU-T SG.16); N.° JCT3V-F0108 presenta un método de derivación del vector de disparidad adaptativo para la predicción de residuo avanzada.

Divulgación

Problema técnico

Para superar el problema anterior, un aspecto de la presente divulgación es proporcionar un método y un aparato para codificar y decodificar un vector de movimiento para un vídeo multivista a través de la predicción de vector de movimiento.

Otro aspecto de la presente divulgación es proporcionar un método y un aparato para codificar y decodificar un residuo para un vídeo multivista a través de la predicción de residuo.

Solución técnica

La invención está definida por las reivindicaciones adjuntas. En un aspecto de la presente divulgación, un método para decodificar un vídeo multivista incluye determinar esquemas de predicción de movimiento realizados para decodificar un bloque actual y un bloque correspondiente que corresponde al bloque actual, y generar un predictor de vector de movimiento del bloque actual usando un vector de movimiento del bloque correspondiente según los esquemas de predicción de movimiento determinados.

La determinación de los esquemas de predicción de movimiento puede incluir la adquisición de datos para la decodificación de vídeo mediante la decodificación de un flujo de bits recibido y la determinación de los esquemas de predicción de movimiento realizados para el bloque actual y el bloque correspondiente utilizando los datos para la decodificación de vídeo.

La adquisición de datos para la decodificación de vídeo puede incluir la realización de decodificación de entropía, descuantificación y transformación inversa en el flujo de bits recibido.

La determinación de los esquemas de predicción de movimiento puede incluir la identificación de los esquemas de predicción de movimiento usando al menos una de la información de Identificación (ID) de vista, información de orden de vista e información de bandera para identificar un esquema de predicción de movimiento, incluido en los datos para la decodificación de vídeo.

La determinación de esquemas de predicción de movimiento puede incluir realizar una entre predicción a largo plazo, predicción a corto plazo o predicción intervista para cada bloque actual y el bloque correspondiente, utilizando los datos para la decodificación de vídeo.

La generación de un predictor de vector de movimiento del bloque actual puede incluir, cuando se realiza una predicción a largo plazo para el bloque actual y el bloque correspondiente, generar el predictor de vector de movimiento del bloque actual como el vector de movimiento del bloque correspondiente.

La generación de un predictor de vector de movimiento del bloque actual puede incluir, cuando se realiza una predicción a corto plazo para el bloque actual y el bloque correspondiente, generar el predictor de vector de movimiento del bloque actual escalando el vector de movimiento del bloque correspondiente utilizando una relación entre una distancia de referencia interimágenes del bloque actual y una distancia de referencia interimágenes del bloque correspondiente.

La generación de un predictor de vector de movimiento del bloque actual puede incluir, cuando se realiza una predicción intervista para el bloque actual y el bloque correspondiente, generar el predictor de vector de movimiento del bloque actual escalando el vector de movimiento del bloque correspondiente utilizando una relación entre una distancia de referencia intervista del bloque actual y una distancia de referencia intervista del bloque correspondiente. La generación de un predictor de vector de movimiento del bloque actual puede incluir, cuando se realizan diferentes esquemas de predicción de movimiento para el bloque actual y el bloque correspondiente, no usar el vector de movimiento del bloque correspondiente.

La generación de un predictor de vector de movimiento del bloque actual puede incluir además, cuando el vector de movimiento del bloque correspondiente no se usa debido a diferentes esquemas de predicción de movimiento usados para el bloque actual y el bloque correspondiente, generar el predictor de vector de movimiento del bloque actual basado en un vector predeterminado.

El vector predeterminado puede ser (0, 0).

La generación de un predictor de vector de movimiento del bloque actual puede incluir, cuando se realiza una predicción intervista para uno del bloque actual y el bloque correspondiente y se realiza una predicción a largo plazo o una predicción a corto plazo para el otro bloque, no usar el vector de movimiento del bloque correspondiente. La generación de un predictor de vector de movimiento del bloque actual puede incluir, cuando se realiza una predicción a largo plazo para uno del bloque actual y el bloque correspondiente y se realiza una predicción a corto plazo para el otro bloque, o cuando se realiza una predicción a corto plazo para uno del bloque actual y el bloque correspondiente y la predicción a largo plazo se realiza para el otro bloque, sin utilizar el vector de movimiento del bloque correspondiente.

El método puede incluir además recuperar un vector de movimiento del bloque actual añadiendo el predictor de vector de movimiento del bloque actual a una diferencia de vector de movimiento del bloque actual incluida en los datos para la decodificación de vídeo.

En otro aspecto de la presente divulgación, un método para decodificar un vídeo multivista incluye determinar un esquema de predicción de movimiento realizado para un primer bloque de referencia al que se hace referencia para la predicción intervista de un bloque actual a decodificar, y generar una residuo de predicción para el bloque actual según el esquema de predicción de movimiento del primer bloque de referencia.

La determinación de un esquema de predicción de movimiento realizado para un primer bloque de referencia puede incluir la adquisición de datos para la decodificación de vídeo mediante la decodificación de un flujo de bits recibido y la determinación del esquema de predicción de movimiento realizado para el primer bloque de referencia, utilizando los datos para la decodificación de vídeo.

La determinación de un esquema de predicción de movimiento realizado para un primer bloque de referencia puede incluir la identificación del esquema de predicción de movimiento utilizando al menos una de la información de ID de Vista, información de orden de vista e información de bandera para identificar un esquema de predicción de movimiento, incluido en los datos para la decodificación de vídeo.

La determinación de un esquema de predicción de movimiento realizado para un primer bloque de referencia puede incluir determinar si se realiza una predicción temporal o una predicción intervista para el primer bloque de referencia utilizando los datos para la decodificación de vídeo.

La generación de un residuo de predicción para el bloque actual puede incluir generar, como residuo de predicción, una diferencia entre un segundo bloque de referencia al que se hace referencia para la predicción de movimiento temporal del bloque actual y un tercer bloque de referencia al que se hace referencia para el primer bloque de referencia.

El segundo bloque de referencia puede pertenecer a una imagen más cercana en una dirección temporal en una lista de referencia para una imagen actual a la que pertenece el bloque actual.

La generación de un residuo de predicción para el bloque actual puede incluir, cuando se determina que la predicción de movimiento temporal se realiza para el primer bloque de referencia, generar un vector de movimiento escalado mediante la aplicación de un factor de escala a un vector de movimiento utilizado para buscar el tercer bloque de referencia, y determinando el segundo bloque de referencia usando el vector de movimiento escalado.

El factor de escala se puede generar en función de una diferencia entre un número de una imagen de referencia a la que pertenece el primer bloque de referencia y un número de una imagen a la que pertenece el tercer bloque de referencia, al que se hace referencia para la predicción de movimiento temporal del primer bloque de referencia, y una diferencia entre un número de una imagen a la que pertenece el bloque actual y un número de una imagen a la que pertenece el segundo bloque de referencia.

La generación de un residuo de predicción para el bloque actual puede incluir, cuando se determina que la predicción intervista se realiza para el primer bloque de referencia, determinar el segundo bloque de referencia aplicando (0, 0) como vector de movimiento utilizado para buscar el segundo bloque de referencia.

El método puede incluir además la recuperación de un residuo del bloque actual añadiendo el residuo de predicción a una diferencia de residuo del bloque actual incluido en los datos para la decodificación de vídeo.

En otro aspecto de la presente divulgación, un aparato para decodificar un vídeo multivista incluye un procesador configurado para determinar un esquema de predicción de movimiento realizado para un primer bloque de referencia al que se hace referencia para la predicción intervista de un bloque actual a decodificar, y generar un residuo de predicción para el bloque actual según el esquema de predicción de movimiento del primer bloque de referencia. Efectos ventajosos

Según una realización de la presente divulgación, el método para realizar la predicción de vector de movimiento para un vídeo multivista permite la codificación/descodificación efectiva de un vector de movimiento durante la codificación/descodificación de un vídeo multivista. Es decir, un vector de movimiento temporal se puede predecir adaptativamente según los esquemas de predicción de vectores de movimiento usados para un bloque actual y un bloque correspondiente.

Según otra realización (no cubierta por la invención reivindicada) de la presente divulgación, el método para realizar la predicción de residuo para un vídeo multivista permite la codificación/descodificación efectiva de un residuo durante la codificación/descodificación de un vídeo multivista. Es decir, se puede evitar que ocurra un error en el cálculo de un factor de escala usado para escalar un vector de movimiento durante la generación de un residuo de predicción, evitando así un error en la predicción de residuo para un vídeo multivista.

Breve descripción de los dibujos

La Figura 1 es una vista conceptual que ilustra un método de predicción de vector de movimiento según una realización de la presente divulgación.

La Figura 2 es una vista conceptual que ilustra un método de predicción de vector de movimiento según otra realización de la presente divulgación.

La Figura 3 es una vista conceptual que ilustra un método de predicción de vector de movimiento según otra realización de la presente divulgación.

La Figura 4 es una vista conceptual que ilustra un método de predicción de vector de movimiento según otra realización de la presente divulgación.

La Figura 5 es una vista conceptual que ilustra un método de predicción de vector de movimiento según otra realización de la presente divulgación.

La Figura 6 es un diagrama de flujo que ilustra un método de predicción de vector de movimiento según una realización de la presente divulgación.

La Figura 7 es una vista conceptual que ilustra un método de predicción de residuo según una realización de la presente divulgación.

La Figura 8 es una vista conceptual que ilustra un método de predicción de residuo según otra realización de la presente divulgación.

La Figura 9 es una vista conceptual que ilustra un método de predicción de residuo según otra realización de la presente divulgación.

La Figura 10 es un diagrama de bloques de aparatos para codificar y decodificar un vídeo multivista según una realización de la presente divulgación.

La Figura 11 es un diagrama de bloques de un aparato para codificar un vídeo multivista según una realización de la presente divulgación.

La Figura 12 es un diagrama de bloques de un aparato para decodificar un vídeo multivista según una realización de la presente divulgación.

Modo para llevar a cabo la invención

Se pueden realizar diversas modificaciones a la presente divulgación, y la presente divulgación se puede implementar en diversas realizaciones. Diversas realizaciones de la presente divulgación se describen con referencia a los dibujos adjuntos. Sin embargo, el alcance de la presente divulgación no pretende limitarse a las realizaciones particulares y debe entenderse que la presente divulgación cubre todas las modificaciones, equivalentes y/o alternativas que caen dentro del alcance de la presente divulgación. En relación con una descripción de los dibujos, los mismos números de referencia indican los mismos componentes.

El término, tal como se usa en la presente divulgación, primero, segundo, A, B y similares se puede usar para describir diversos componentes, sin limitar los componentes. Estas expresiones se utilizan para distinguir un componente de otro componente. Por ejemplo, un primer componente puede denominarse como segundo componente y viceversa sin salirse del alcance de la presente divulgación. El término y/o incluye una combinación de una pluralidad de elementos relacionados o cualquiera de la pluralidad de elementos relacionados.

Cuando se dice que un componente se "acopla con/a" o se "conecta a" otro componente, debe entenderse que un componente se acopla o se conecta al otro componente directamente o a través de cualquier otro componente intermedio. Por otro lado, cuando se dice que un componente se "acopla directamente con/a" o se "conecta directamente a" otro componente, debe entenderse que un componente se acopla o se conecta directamente al otro componente sin ningún otro componente entremedio.

Los términos utilizados en la presente divulgación se proporcionan para describir simplemente realizaciones específicas, sin pretender limitar el alcance de otras realizaciones. Debe entenderse que las formas singulares incluyen referentes plurales a menos que el contexto dicte claramente lo contrario. En la presente divulgación, el término "incluye" o "tiene" significa la presencia de una característica, un número, una etapa, una operación, un componente, una parte o una combinación de dos o más de ellos como se describe en la presente divulgación, sin excluir la presencia de una o más características, números, etapas, operaciones, componentes, partes o una combinación de dos o más de ellos.

A menos que se defina de otro modo, los términos y palabras que incluyen términos técnicos o científicos usados en la siguiente descripción y reivindicaciones pueden tener los mismos significados que los entendidos en general por los expertos en la técnica. Los términos, tal como se definen generalmente en los diccionarios, pueden interpretarse con significados iguales o similares a los significados contextuales de la tecnología relacionada. A menos que se defina lo contrario, los términos no deben interpretarse como significados ideales o excesivamente formales.

Un aparato de codificación de vídeo y un aparato de decodificación de vídeo como se describe a continuación puede ser un ordenador personal (PC), un ordenador portátil, un asistente digital personal (PDA), un reproductor multimedia portátil (PMP), una PlayStation Portable (PSP), un terminal de comunicación inalámbrica, un teléfono inteligente y un terminal de servidor, como un servidor de aplicaciones de TV y un servidor de servicios, y puede cubrir una amplia gama de dispositivos, cada uno de los cuales incluye un dispositivo de comunicación, como un módem de comunicación, para realizar la comunicación con un terminal de usuario como diversos dispositivos o una red de comunicación alámbrica/inalámbrica, una memoria para almacenar programas y datos para codificar o decodificar un vídeo o realizar interpredicción o intrapredicción para codificar o decodificar, y un microprocesador para realizar computación y control mediante la ejecución de los programas.

Además, un vídeo codificado en un flujo de bits por el aparato de codificación de vídeo puede transmitirse al aparato de decodificación de vídeo en tiempo real o en tiempo no real a través de una red alámbrica/inalámbrica como internet, una red de comunicación inalámbrica de corto alcance, un Red de área local inalámbrica (WLAN), una red de banda ancha inalámbrica (WiBro), una red de comunicación móvil o diversas interfaces de comunicación, como un cable y un bus serie universal (USB). El aparato de decodificación de vídeo puede recuperar y reproducir el vídeo al decodificar el vídeo recibido.

En general, un vídeo se puede componer de una serie de imágenes, y cada imagen se puede dividir en áreas predeterminadas, como cuadros o bloques. Si una imagen se divide en bloques, los bloques divididos pueden clasificarse en gran medida en intrabloques e interbloques dependiendo de un esquema de codificación. Un intrabloque se refiere a un bloque codificado mediante codificación de intrapredicción, y la codificación de intrapredicción es un esquema para generar un bloque de predicción al predecir píxeles de un bloque actual utilizando píxeles de bloques anteriores recuperados a través de codificación y decodificación en una imagen actual que está siendo codificada, y codificar las diferencias entre los píxeles del bloque de predicción y los del bloque actual. Un interbloque se refiere a un bloque codificado mediante codificación interpredicción. La codificación interpredicción es un esquema para generar un bloque de predicción al predecir de un bloque actual de una imagen actual haciendo referencia a una o más imágenes anteriores o futuras y codificar la diferencia entre el bloque de predicción y el bloque actual. Un cuadro al que se hace referencia para codificar o decodificar una imagen actual se denomina cuadro de referencia. Además, los expertos en la técnica pueden entender que el término, como se usa en esta memoria, "imagen" es intercambiable con otros términos equivalentes, imagen, marco o similares. Además, los expertos en la técnica pueden entender que una imagen de referencia es una imagen recuperada.

Además, el término bloque cubre conceptualmente una unidad de codificación (CU), una unidad de predicción (PU) y una unidad de transformación (TU) definidas en la codificación de vídeo de alta eficiencia (HEVC). En particular, la estimación de movimiento se puede realizar sobre una base de PU.

Específicamente, un proceso de búsqueda de un bloque similar a una PU en un cuadro codificado anterior se denomina Estimación de Movimiento (ME). ME puede ser un proceso de búsqueda de un bloque que tenga el error más pequeño con un bloque actual, sin significar un movimiento real de un bloque.

Además, la presente divulgación se refiere a una técnica de códec de vídeo para un vídeo multivista, y ME puede aplicarse a un proceso de referencia a una imagen de una vista diferente. En esta memoria, el proceso de hacer referencia a una imagen de una vista diferente puede denominarse predicción intervista.

Ahora, se describirán en detalle realizaciones preferidas de la presente divulgación con referencia a los dibujos adjuntos.

Primero se da una descripción de una realización de codificación y decodificación de un vector de movimiento por predicción de vector de movimiento, y luego una realización de codificación y decodificación de un residuo por predicción de residuo.

Realización 1 - Método para codificar y decodificar el vector de movimiento a través de predicción de vector de movimiento

La predicción de vector de movimiento puede significar un proceso de calcular un Predictor de Vector de Movimiento Temporal (TMVP) usando una correlación entre vectores de movimiento temporal, o calcular un Predictor de Vector de Movimiento Espacial (SMVP) usando una correlación entre vectores de movimiento espacial. Un valor calculado al restar un Predictor de Vector de Movimiento (MVP) de un vector de movimiento de un bloque actual puede denominarse Diferencia de Vector de Movimiento (MVD).

Con referencia a la Figura 1, se puede construir un vídeo tridimensional (3D) usando imágenes capturadas de una pluralidad de vistas en un vídeo multivista. Una vista se puede distinguir o identificar mediante un ID de Vista.

Específicamente, un vídeo multivista puede incluir un vídeo de una vista base y al menos un vídeo de una vista mejorada o una vista de extensión.

En la Figura 1, ID de Vista 0 puede identificar una imagen en una vista de referencia, ID de Vista 1 puede incluir una imagen (una imagen actual) de una vista que se codificará o decodificará actualmente, e ID de Vista 2 puede incluir una imagen (una imagen correspondiente) de una vista que ha sido codificada o decodificada antes de codificar y decodificar la imagen actual. Un bloque correspondiente, PU^colpuede referirse a un bloque ubicado en correspondencia con la posición de un bloque actual PU^curren una imagen diferente a la imagen actual Pic^currque incluye el bloque actual PU^curr. Por ejemplo, el bloque correspondiente PU^colpuede referirse a un bloque coubicado con el bloque actual PU^curren una imagen diferente de la imagen actual Pic^curr. Además, una imagen correspondiente Pic^colpuede hacer referencia a una imagen que incluye el bloque correspondiente PU^col.

La estimación de movimiento se puede realizar en la imagen actual Pic^currpara referirse a una imagen de una vista diferente u otra imagen de la misma vista.

En la presente divulgación, la predicción a largo plazo puede significar referirse a una imagen de la misma vista aparte de una imagen actual por una diferencia de tiempo predeterminada o más lejos. En consecuencia, a hacer referencia a una imagen de la misma vista aparte de una imagen actual con una diferencia de tiempo menor que la diferencia de tiempo predeterminada se le puede hacer referencia como predicción a corto plazo.

Un resultado de escalar un vector de movimiento del bloque correspondiente PU^colubicado en correspondencia con el bloque actual PU^curren la imagen correspondiente Pic^colpuede usarse como predictor de vector de movimiento (MVP) del bloque actual PU^curr. La imagen correspondiente Pic^coles diferente de la imagen actual Pic^currque incluye el bloque actual PU ^curr.

La Figura 1 ilustra un caso en el que a una imagen de una vista diferente se le hace referencia para el bloque actual PU^curry a una imagen de una vista diferente también se le hace referencia para el bloque correspondiente PU^col. Es decir, la predicción intervista se puede realizar tanto para el bloque actual PU^curry para el bloque correspondiente PU^col.

En este caso, la distancia de referencia intervista del bloque actual PU^currpuede ser diferente de la distancia de referencia intervista del bloque correspondiente PU^col. En esta memoria, una distancia de referencia intervista puede ser la diferencia entre los ID de Vista.

Haciendo referencia a la Figura 1, el bloque actual PU^currpertenece a ID de Vista 1 y se refiere a una imagen de referencia Pic^Refperteneciente al ID de Vista 0. Es decir, la distancia de referencia intervista del bloque actual PU^curres la diferencia entre los ID de Vista, 1.

El bloque correspondiente PU^colpertenece al ID de Vista 2 y se refiere a una imagen de referencia Pic^Refperteneciente al ID de Vista 0. Es decir, la distancia de referencia intervista del bloque correspondiente PU^coles la diferencia entre los ID de Vista, 2.

Debido a que la distancia de referencia intervista del bloque actual PU^curres diferente de la distancia de referencia intervista del bloque correspondiente PU^col, es necesario escalar el vector de movimiento del bloque correspondiente PU^col.

A continuación se describirá con más detalle una operación para escalar el vector de movimiento del bloque correspondiente PU^col.

En el caso ilustrado de la Figura 1, el MVP del bloque actual PU^currpara codificar o decodificar un vector de movimiento MV^currdel bloque actual PU^currpuede adquirirse escalando el vector de movimiento MV^coldel bloque correspondiente PU^col.

La operación para escalar el vector de movimiento MV^coldel bloque correspondiente PU^colse detalla a continuación. Ecuación 1

Diff^curr= ViewID^curr- ViewID^ref

Diff^col= ViewID^col- ViewID^colref

En la Ecuación 1, la distancia de referencia intervista Diff^currdel bloque actual PU^curres la diferencia entre el ID de Vista ViewID^currdel bloque actual PU^curry el ID de Vista ViewID^Refdel bloque de referencia del bloque actual PU^curr.

La distancia de referencia intervista Diff^coidel bloque correspondiente PU^coies la diferencia entre el ID de Vista ViewlD^coidel bloque correspondiente PU^coly el ID de Vista ViewlD^colrefdel bloque de referencia del bloque correspondiente PU^col.

Por lo tanto, un factor de escala (ScaleFactor) a aplicar al vector de movimiento MV^coldel bloque correspondiente PU^colse puede calcular por la siguiente Ecuación 2.

Ecuación 2

S c a le F a c to r = ^Diffcurr

Diffcoi

En consecuencia, el predictor de vector de movimiento MVP^currdel bloque actual PU^currse puede calcular multiplicando el vector de movimiento MV^coldel bloque correspondiente PU^colpor el factor de escala.

Ecuación 3

MVP^curr= ScaleFactor x MV^col

Es decir, el predictor de vector de movimiento MVP^currdel bloque actual PU^currse puede expresar como la Ecuación 3 anterior.

La Figura 2 ilustra un caso en el que se realiza predicción a corto plazo para el bloque actual PU^curry el bloque correspondiente PU^col. La predicción a corto plazo puede significar referirse a una imagen de la misma vista aparte de una imagen actual con una diferencia temporal menor que una diferencia temporal predeterminada.

En el caso ilustrado de la Figura 2, el predictor de vector de movimiento MVP^currdel bloque actual PU^currse puede generar escalando el vector de movimiento MV^coldel bloque correspondiente PU^colutilizando una relación entre la distancia de referencia interimágenes del bloque actual PU^curry la distancia de referencia interimágenes del bloque correspondiente PU^col. Una distancia de referencia interimágenes puede ser una diferencia de Recuento de Orden de Imágenes (POC) según un orden de tiempo.

La operación para escalar el vector de movimiento MV^coldel bloque correspondiente PU^colse describe a continuación con mayor detalle.

Ecuación 4

Diff^curr= POC^curr- POC^ref

Diff^col= POC^col- POC^colref

En la Ecuación 4, la distancia de referencia interimágenes Diff^currdel bloque actual PU^curres la diferencia entre el POC POC^currde la imagen actual a la que pertenece el bloque actual PU^curry el POC POC^Refde una imagen de referencia a la que pertenece un bloque de referencia al que se hace referencia para el bloque actual PU^curr.

La distancia de referencia intervista Diff^coldel bloque correspondiente PU^coles la diferencia entre el POC POC^colde la imagen correspondiente a la que pertenece el bloque correspondiente PU^coly el POC POC^colrefde una imagen de referencia a la que pertenece un bloque de referencia al que se hace referencia para el bloque correspondiente PU^col. Un factor de escala que se aplicará al vector de movimiento MV^coldel bloque correspondiente PU^colse puede calcular por la siguiente Ecuación 5.

Ecuación 5

S c a le F a c to r = ^Diffcurr

Diffcol

Ecuación 6

MVP^curr= ScaleFactor x MV^col

Es decir, el MVP MVP^currdel bloque actual PU^currse puede expresar como la Ecuación 6 anterior.

La Figura 3 ilustra un caso en el que se realiza una predicción a largo plazo para el bloque actual PU^curry el bloque correspondiente PU^col. La predicción a largo plazo puede significar referirse a una imagen de la misma vista aparte de una imagen actual con una diferencia temporal igual o mayor que una diferencia temporal predeterminada.

Cuando se realiza una predicción a largo plazo para el bloque actual PU^curry el bloque correspondiente PU^col, el vector de movimiento MV^coldel bloque correspondiente PU^colse puede generar como el predictor de vector de movimiento MVP^currdel bloque actual PU ^curr.

Ecuación 7

MVP^curr= MV^col

Es decir, el predictor de vector de movimiento MVP^currdel bloque actual PU^currpuede ser igual al vector de movimiento MV^coldel bloque correspondiente PU^col, como se muestra en la Ecuación 7.

Se puede concluir que una vez que se determina el predictor de vector de movimiento MVP^currdel bloque actual PU^currsegún las Figuras 1, 2 y 3, se puede determinar una diferencia de vector de movimiento (MVD) MVD^currdel bloque actual PU ^curr.

Ecuación 8

MVD^curr= MV^curr- MVP^curr

Es decir, el MVD MVD^currdel bloque actual PU^currse puede determinar mediante la Ecuación 8. Por lo tanto, el vector de movimiento del bloque actual se puede recuperar sumando el MVP del bloque actual al MVD del bloque actual. Las Figuras 4 y 5 son vistas conceptuales que ilustran métodos de predicción de vectores de movimiento según otras realizaciones de la presente divulgación.

La Figura 4 ilustra un caso en el que se realiza una predicción a corto plazo para el bloque actual PU^curr, y se realiza una predicción a largo plazo para el bloque correspondiente PU^col.

La Figura 5 ilustra un caso en el que se realiza una predicción intervista para el bloque actual PU^curr, y se realiza una predicción a largo plazo para el bloque correspondiente PU^col.

Si se realizan diferentes esquemas de predicción para el bloque actual PU^curry el bloque correspondiente PU^colcomo se ilustra en las Figuras 4 y 5, el vector de movimiento MV^coldel bloque correspondiente PU^colno se puede utilizar para generar el MVP MVP^currdel bloque actual PU^curr.

Haciendo referencia a la Figura 6, el método de predicción de vector de movimiento según la realización de la presente divulgación incluye determinar esquemas de predicción de movimiento realizados para un bloque actual y un bloque correspondiente que corresponde al bloque actual, y generar un MVP del bloque actual basado en un vector de movimiento del bloque correspondiente según el método de predicción de vector de movimiento determinado.

Se puede determinar que para cada bloque actual y el bloque correspondiente se realiza una de predicción a largo plazo, predicción a corto plazo y predicción intervista.

Es decir, pueden generarse datos para la decodificación de vídeo al decodificar un flujo de bits recibido, y se pueden determinar los esquemas de predicción de movimiento realizados para el bloque actual y el bloque correspondiente usando los datos para la decodificación de vídeo. Por ejemplo, los esquemas de predicción de movimiento pueden determinarse usando al menos una información de ID de Vista, información de orden de vista e información de bandera para identificar un esquema de predicción de movimiento, incluido en los datos para la decodificación de vídeo. Los datos para la decodificación de vídeo pueden adquirirse realizando decodificación de entropía, descuantificación y transformación inversa en el flujo de bits recibido.

Si se realiza una predicción a largo plazo para el bloque actual y el bloque correspondiente, el vector de movimiento del bloque correspondiente se puede generar como el MVP del bloque actual.

Además, si se realiza una predicción a corto plazo para el bloque actual y el bloque correspondiente, el MVP del bloque actual se puede generar escalando el vector de movimiento del bloque correspondiente usando una relación entre la distancia de referencia interimágenes del bloque actual y la distancia de referencia interimágenes del bloque correspondiente.

Si se realiza una predicción intervista para el bloque actual y el bloque correspondiente, el MVP del bloque actual se puede generar escalando el vector de movimiento del bloque correspondiente utilizando una relación entre la distancia de referencia intervista del bloque actual y la distancia de referencia intervista del bloque correspondiente.

Por otro lado, si se realiza una predicción intervista para uno del bloque actual y el bloque correspondiente y se realiza una predicción a largo plazo o una predicción a corto plazo para el otro bloque, o si se realiza una predicción a largo plazo para uno del bloque actual y el bloque correspondiente y se realiza una predicción a corto plazo para el otro bloque, el vector de movimiento del bloque correspondiente no se puede usar para calcular el MVP del bloque actual.

En caso de que no se utilice el vector de movimiento del bloque correspondiente dado que los esquemas de predicción de movimiento para el bloque actual y el bloque correspondiente son diferentes entre sí, se puede generar un vector predeterminado como el MVP del bloque actual. Por ejemplo, el vector predeterminado puede establecerse igual a (0, 0).

En consecuencia, los predictores de vector de movimiento temporal (TMVP) del bloque actual se enumeran en la [Tabla 1] a continuación según la correlación entre el esquema de predicción de movimiento para el bloque actual y el esquema de predicción de movimiento para el bloque correspondiente.

[Tabla 1]

Antes de una descripción del diagrama de flujo ilustrado en la Figura 6, cada parámetro se define como se indica en la [Tabla 2].

[Tabla 2]

El método de predicción de vector de movimiento para un vídeo multivista según la realización de la presente divulgación se describirá con mayor detalle con referencia a la Figura 6.

Si LT^curres diferente de LT^colen la etapa S610, esto implica que la imagen de referencia indicada por MV^currestá marcada de manera diferente a la imagen de referencia indicada por MV^col. Por ejemplo, se hace referencia a una imagen de referencia a corto plazo para MV^curry se hace referencia a una imagen de referencia a largo plazo para MV^col. En este caso, no se puede utilizar un TMVP (S690).

Si IV^curres diferente de IV^colen la etapa S610, esto implica que MV^curry MV^coltienen diferentes propiedades. Por ejemplo, MV^curres un vector de movimiento intervista, y MV^coles un vector de movimiento temporal. En este caso, no se puede utilizar un TMVP (S690).

Si IV^curres '1' en la etapa S620, esto implica que tanto MV^currcomo MV^colson vectores de movimiento intervista, y es posible escalar con la diferencia entre los ID de Vista (S640).

Si IV^curres '0' en la etapa S620, esto implica que tanto MV^currcomo MV^colson vectores de movimiento temporal, y la escala es posible con la diferencia entre los p Oc (S630).

En esta memoria, si BaseViewFlag^curres '0', esto puede significar que Pic^currno es una vista base.

Si Diff^curres diferente de Diff^col, y IV^curres '1' o LT^curres '0' en la etapa S650, MV^colse escala para TMVP^curr(S670). Si Diff^curres igual a Diff^colen la etapa S650, TMVP^currse puede configurar a MV^col(S660).

Si se hace referencia a imágenes de referencia a largo plazo tanto para el bloque actual PU^currcomo para el bloque correspondiente PU^coly no se usa la predicción intervista para el bloque actual PU^curry el bloque correspondiente PU^colen la etapa S650, TMVP^currse puede configurar a MV^col(S660).

Realización 2 (no cubierta por la invención reivindicada) - Método para codificar y decodificar residuo a través de Predicción de residuo

Un vídeo multivista puede codificarse y decodificarse a través de la predicción de residuo. La Predicción Avanzada de Residuo (ARP) para un vídeo multivista puede significar un proceso de generación de un residuo a través de la predicción de movimiento de un bloque actual y la generación de una residuo de predicción realizando una predicción sobre el residuo generado.

En consecuencia, un método para codificar y decodificar un residuo a través de la predicción de residuo puede significar codificar y decodificar una diferencia de residuo generada restando un residuo de predicción de un residuo de un bloque actual.

Haciendo referencia a la Figura 7, una vista a la que pertenece un bloque actual Curr se denomina vista actual, y una vista a la que se hace referencia para la vista actual se denomina vista de referencia.

Si un bloque de referencia de la misma vista, al que se hace referencia para el bloque actual Curr, se denota por CurrRef, una señal de residuo R se puede calcular mediante la Ecuación 9. En esta memoria, el vector de movimiento del bloque actual Curr se puede denotar por Mvcurr.

Es decir, la señal de residuo R se puede calcular restando el bloque de referencia CurrRef del bloque actual Curr, según la Ecuación 9.

Ecuación 9

R(i, j) = Curr(i, j) - CurrRef(i, j)

La señal de residuo R puede eliminar aún más la redundancia utilizando una similitud entre las vistas. Una Base de bloque correspondiente que corresponde al bloque actual Curr puede detectarse usando un vector de disparidad DVderived en una vista de referencia.

Un bloque de referencia BaseRef al que se hace referencia para la Base de bloque correspondiente en la dirección temporal puede detectarse utilizando MVScaled generado al escalar el vector de movimiento MVcurr del bloque actual Curr.

En este caso, una imagen a la que pertenece el bloque de referencia BaseRef al que se hace referencia para la Base de bloque correspondiente puede ser una imagen que tenga la diferencia de POC más pequeña con respecto a una imagen a la que pertenece la Base de bloque correspondiente, en una lista de imágenes de referencia para la imagen a la que pertenece la Base de bloque correspondiente, excepto para una imagen que tenga el mismo POC que la imagen a la que pertenece la Base de bloque correspondiente.

MVScaled se puede calcular mediante la Ecuación 10 y la Ecuación 11.

Ecuación 10

DiffPOC^curr= POC^Curr- POC^CurrRef

DiffPOC^Base= POC^Base= POC^BaseRef

D i f f P O C B a s e

ScaleFactor

D i f f P O C c u r r

En la Ecuación 10, una distancia de referencia temporal del bloque actual Curr puede indicarse por DiffPOC^curr, y DiffPOC^currse puede calcular como la diferencia entre el POC POC^currdel bloque actual Curr y el POC POC^currrefdel bloque de referencia CurrRef al que se hace referencia para el bloque actual Curr en la dirección temporal.

Además, una distancia de referencia temporal de la Base de bloque correspondiente puede indicarse por DiffPOC^Basey DiffPOC^Basese puede calcular como la diferencia entre el POC POC^Basede la Base de bloque correspondiente y el POC POC^baserefdel bloque de referencia BaseRef al que se hace referencia para la Base de bloque correspondiente en la dirección temporal.

Un factor de escala con el que escalar el vector de movimiento MV^currdel bloque actual Curr se puede expresar como una relación entre la distancia de referencia temporal del bloque actual Curr y la distancia de referencia temporal de la Base de bloque correspondiente.

Ecuación 11

MV^Scaled= ScaleFactor x MV^curr

Por lo tanto, MV^Scaledse puede generar escalando el vector de movimiento MV^currdel bloque actual Curr con el factor de escala, y el bloque de referencia BaseRef al que se hace referencia para la Base de bloque correspondiente en la dirección temporal puede detectarse usando MV^Scaled.

Ecuación 12

R'(i, j) = [Base(i, j) — BaseRef (i, j)]

Una señal de residuo de predicción R' del bloque actual Curr se puede calcular mediante la Ecuación 12. Es decir, la señal de residuo de predicción R' se puede calcular restando el bloque de referencia BaseRef al que se hace referencia para la Base de bloque correspondiente en la dirección temporal desde la Base de bloque correspondiente.

Además, la señal de residuo de predicción R' se puede calcular aplicando un peso w a la Base de bloque correspondiente o al bloque de referencia BaseRef, o la señal de residuo de predicción R' de la Ecuación 12 puede establecerse para que sea mayor que un umbral predeterminado w.

Ecuación 13

R^Final(i, j) = R(i, j) - R'(i, j)

Por lo tanto, se puede calcular una diferencia de residuo restando la señal de residuo de predicción R' del bloque actual Curr de la Ecuación 12 de la señal de residuo R del bloque actual Curr de la Ecuación 9.

Además, la predicción de residuo representada en la Figura 7 y la Ecuación 9 a la Ecuación 13 puede denominarse ARP Temporal (Predicción Avanzada de Residuo).

Haciendo referencia a la Figura 8, denótese por IvRef a un bloque de referencia de una vista diferente al que se hace referencia para el bloque actual Curr. Entonces, la señal de residuo R se puede calcular mediante la Ecuación 14. El vector de movimiento del bloque actual Curr se puede indicar mediante MV^curr, y la predicción intervista se puede realizar usando MV^curr.

Es decir, según la Ecuación 14 siguiente, la señal de residuo R del bloque actual Curr se puede calcular restando el bloque de referencia IvRef del bloque actual Curr.

Ecuación 14

R(i, j) = Curr(i, j) — IvRef(i, j)

Haciendo referencia a la Ecuación 14, la señal de residuo R puede eliminar aún más la redundancia utilizando una similitud entre las vistas. El bloque de referencia IvRef al que se hace referencia en intervista para el bloque actual Curr puede detectarse utilizando el vector de movimiento MVcurr del bloque actual Curr en una vista de referencia. Un bloque de referencia IvTRef al que se hace referencia para el bloque de referencia IvRef del bloque actual Curr en la dirección temporal puede detectarse usando dTMV^Base.

Además, un bloque de referencia TRef al que se hace referencia para el bloque actual Curr en la dirección temporal puede detectarse usando dMV^Scaledgenerado al escalar dTMV^Baseutilizado para el bloque de referencia IvRef del bloque actual Curr.

En este caso, una imagen del bloque de referencia TRef al que se hace referencia para el bloque actual Curr en la dirección temporal puede tener la diferencia de POC más pequeña con respecto a una imagen del bloque actual Curr en una lista de imágenes de referencia para la imagen del bloque actual Curr, excepto por una imagen que tiene el mismo POC que la imagen del bloque actual Curr.

MV^Scaledse puede calcular mediante la Ecuación 15 y la Ecuación 16.

Ecuación 15

DiffPOC^curr= POC^curr- POC^TRef

DiffPOC^Base= POC^lvRef- POC^lvTRef

ScaleFactor = ^{D l f f P O C c u r r}

D'ffPOCBase

En la Ecuación 15, la distancia de referencia temporal del bloque actual Curr puede denotarse por DiffPOC^curr, y DiffPOC^currse puede calcular como la diferencia entre el POC POC^currdel bloque actual Curr y el POC POC^TRefdel bloque de referencia TRef al que se hace referencia para el bloque actual Curr en la dirección temporal.

Además, la distancia de referencia temporal del bloque de referencia IvRef puede indicarse por DiffPOC^Base, y DiffPOC^Basese puede calcular como la diferencia entre el POC POC^IvRefdel bloque de referencia IvRef y el POC POC^IvTRefdel bloque de referencia IvTRef al que se hace referencia para el bloque de referencia IvRef en la dirección temporal.

Un factor de escala con el que escalar el vector de movimiento dTMV^Basedel bloque de referencia IvRef se puede expresar como una relación entre la distancia de referencia temporal del bloque actual Curr y la distancia de referencia temporal de la Base de bloque correspondiente.

Ecuación 16

dTMV^Scaled= ScaleFactor x dTMV^Base

Por lo tanto, dTMV^Scaledse puede generar escalando el vector de movimiento dTMV^Basedel bloque de referencia IvRef con el factor de escala, como se expresa en la Ecuación 16, y el bloque de referencia TRef al que se hace referencia para el bloque actual Curr en la dirección temporal puede detectarse utilizando dTMV^Scaled.

Ecuación 17

R'(i, j) = [TRef(i, j) - IvTRef(i, j)]

La señal de residuo de predicción R' del bloque actual Curr se puede calcular mediante la Ecuación 17. Es decir, la señal de residuo de predicción R' se puede calcular restando el bloque de referencia IvTRef al que se hace referencia para el bloque de referencia IvRef del bloque actual Curr en el dirección temporal desde el bloque de referencia TRef al que se hace referencia para el bloque actual Curr en la dirección temporal.

Además, la señal de residuo de predicción R' se puede calcular aplicando el peso w al bloque de referencia TRef o IvTRef, o la señal de residuo de predicción R' de la Ecuación 17 puede establecerse para que sea mayor que el umbral predeterminado w.

Ecuación 18

R^Final(i, j) = R(i, j) - R'(i, j)

Por lo tanto, la diferencia de residuo se puede calcular restando la señal de residuo de predicción R' del bloque actual Curr de la Ecuación 17 de la señal de residuo R del bloque actual Curr de la Ecuación 14. Esta diferencia de residuo se puede denominar residuo final R^Finalcomo en la Ecuación 18.

Además, a la predicción de residuo representada en la Figura 8 y la Ecuación 14 a la Ecuación 18 se le puede hacer referencia como Intervista ARP.

Haciendo referencia a la Figura 9, se puede detectar un bloque de referencia IvRef de ID de Vista 1 al que se hace referencia en la intervista para el bloque actual Curr usando el vector de movimiento MVcurr.

En comparación con el caso de la Figura 8, un bloque de referencia IvTRef de una vista diferente a la que se hace referencia para el bloque de referencia IvRef del bloque actual Curr puede detectarse utilizando un vector de movimiento MV^Refen el caso ilustrado de la Figura 9.

En este caso, se produce un problema en la generación de MV^scaledescalando MV^Refutilizado para el bloque de referencia IvRef del bloque actual Curr. Es decir, esto es porque MV^Refes un vector de movimiento utilizado para la predicción intervista, mientras que MV^scaledes un vector utilizado para la predicción de movimiento temporal.

Más específicamente, dado que MV^Refes un vector de movimiento utilizado para la predicción intervista, un denominador representado en la Ecuación 15 se convierte en 0 y, como resultado, el factor de escala se calcula como un valor infinito.

Ecuación 19

MV^scaled= ScaleFactor X MV^Ref

Por lo tanto, dado que puede ocurrir un error durante el cálculo de MV^Scaledpor la Ecuación 19, el error se puede prevenir configurando MV^Scaleda (0, 0).

Las Figuras 8 y 9 se describirán a continuación suponiendo que el bloque de referencia IvRef es un primer bloque de referencia, el bloque de referencia TRef es un segundo bloque de referencia y el bloque de referencia IvTRef es un tercer bloque de referencia.

El método de predicción de residuo incluye determinar un esquema de predicción de movimiento realizado para el primer bloque de referencia al que se hace referencia para la predicción intervista del bloque actual, y generar un residuo de predicción para el bloque actual según el esquema de predicción de movimiento del primer bloque de referencia.

Se puede determinar cuál de la predicción de movimiento temporal y la predicción intervista se realiza para el primer bloque de referencia.

La diferencia entre el segundo bloque de referencia al que se hace referencia para la predicción de movimiento temporal del bloque actual y el tercer bloque de referencia al que se hace referencia para el primer bloque de referencia se puede generar como residuo de predicción. En esta memoria, el segundo bloque de referencia puede pertenecer a una imagen más cercana en la dirección temporal en una lista de referencia para una imagen actual a la que pertenece el bloque actual.

Si se determina que la predicción de movimiento temporal se realiza para el primer bloque de referencia, se puede generar un vector de movimiento escalado aplicando un vector de escala a un vector de movimiento usado para buscar el tercer bloque de referencia, y el segundo bloque de referencia se puede determinar usando el vector de movimiento escalado. El factor de escala se puede generar en función de la diferencia entre el número de una imagen de referencia a la que pertenece el primer bloque de referencia y el número de una imagen a la que pertenece el tercer bloque de referencia al que se hace referencia para la predicción de movimiento temporal del primer bloque de referencia, y la diferencia entre el número de una imagen a la que pertenece el bloque actual y el número de una imagen a la que pertenece el segundo bloque de referencia.

Por otro lado, si se determina que la predicción intervista se realiza para el primer bloque de referencia, el segundo bloque de referencia se puede determinar aplicando (0, 0) como vector de movimiento usado para buscar el segundo bloque de referencia.

La Figura 10 es un diagrama de bloques de un aparato para codificar un vídeo multivista y un aparato para decodificar un vídeo multivista según una realización de la presente divulgación.

Con referencia a la Figura 10, un sistema para codificar/decodificar un vídeo multivista según una realización de la presente divulgación incluye un aparato de codificación de vídeo multivista 10 y un aparato de decodificación de vídeo multivista 20.

El aparato de codificación de vídeo multivista 10 puede incluir un codificador de vídeo de vista base 11 para codificar un vídeo de vista base y codificadores de vídeo de vista de extensión 12 y 13 para codificar un vídeo de vista de extensión. Un vídeo de vista base puede ser un vídeo para proporcionar un vídeo de única vista en 2D, y un vídeo de vista de extensión puede ser un vídeo para proporcionar un vídeo de una vista de extensión como 3D.

Por ejemplo, el aparato de codificación de vídeo multivista 10 puede incluir el codificador de vídeo de vista base 11, un primer codificador de vídeo de vista de extensión 12 y un segundo codificador de vídeo de vista de extensión 13. Los codificadores de vídeo de vista de extensión no están limitados a los codificadores de vídeo de vista de extensión primero y segundo 12 y 13. Más bien, el número de codificadores de vídeo de vista de extensión puede aumentar con el número de vistas. Además, el codificador de vídeo de vista base 11 y los codificadores de vídeo de vista de extensión 12 y 13 pueden codificar una imagen en color y una imagen de profundidad (mapa de profundidad) por separado. El aparato de codificación de vídeo multivista 10 puede transmitir un flujo de bits obtenido al codificar un vídeo multivista al aparato de decodificación de vídeo multivista 20.

El aparato de decodificación de vídeo multivista 20 puede incluir un extractor de flujo de bits 29, un decodificador de vídeo de vista base 21 y decodificadores de vídeo de vista de extensión 22 y 23.

Por ejemplo, el aparato de decodificación de vídeo multivista 20 puede incluir el decodificador de vídeo de vista base 21, un primer decodificador de vídeo de vista de extensión 22 y un segundo decodificador de vídeo de vista de extensión 23. Obviamente, el número de decodificadores de vídeo de vista de extensión puede aumentar con el número de vistas.

Específicamente, el extractor de flujo de bits 29 puede separar un flujo de bits según las vistas y proporcionar los flujos de bits separados al decodificador de vídeo de vista base 21 y a los decodificadores de vídeo de vista de extensión 22 y 23, respectivamente.

Según una realización de la presente divulgación, un vídeo de vista base decodificado puede exponerse en una pantalla 2D heredada, con compatibilidad con versiones anteriores. Además, el vídeo de vista base decodificado y al menos un vídeo de vista de extensión decodificado puede exponerse en una pantalla estéreo o una pantalla de multivista.

Mientras tanto, puede transmitirse información de posición la cámara de entrada como información secundaria en un flujo de bits a la pantalla estéreo o la pantalla multivista.

Con referencia a la Figura 11, el aparato de codificación de vídeo multivista 10 según la realización de la presente divulgación puede incluir el codificador de vídeo de vista base 11 y el codificador de vídeo de vista de extensión 12.

Sin embargo, el aparato de codificación de vídeo multivista 10 puede incluir además otro codificador de vídeo de vista de extensión según una vista.

Cada uno del codificador de vídeo de vista base 11 y el codificador de vídeo de vista de extensión 12 incluye un restador 110 o 110-1, un transformador 120 o 120-1, un cuantificador 130 o 130-1, un descuantificador 131 o 131-1, un transformador inverso 121 o 121-1, un codificador de entropía 140 o 140-1, un sumador 150 o 150-1, una unidad de filtro en bucle 160 o 160-1, una memoria de cuadro 170 o 170-1, un intrapredictor 180 o 180-1, y un compensador de movimiento 190 o 190-1.

El restador 110 o 110-1 genera una imagen de residuo entre una imagen recibida a codificar (una imagen actual) y una imagen de predicción generada mediante intrapredicción o interpredicción restando la imagen de predicción de la imagen actual.

El transformador 120 o 120-1 transforma la imagen de residuo generada por el restador 110 o 110-1 desde el dominio espacial al dominio de la frecuencia. El transformador 120 o 120-1 puede transformar la imagen de residuo al dominio de la frecuencia mediante una técnica de transformación de una señal de vídeo espacial en una señal de vídeo de frecuencia, tal como transformada de Hadamard, transformada de coseno discreta o transformada de seno discreta. El cuantificador 130 o 130-1 cuantifica los datos transformados (coeficientes de frecuencia) recibidos del transformador 120 o 120-1. Es decir, el cuantificador 130 o 130-1 cuantifica los coeficientes de frecuencia siendo los datos transformados por el transformador 120 o 120-1 dividiendo los coeficientes de frecuencia por un tamaño de etapa de cuantificación, y así obtiene valores de resultado de cuantificación.

El codificador de entropía 140 o 140-1 genera un flujo de bits mediante la codificación de entropía de los valores de resultado de cuantificación calculados por el cuantificador 130 o 130-1. Además, el codificador de entropía 140 o 140 1 puede codificar por entropía los valores de resultado de cuantificación calculados por el cuantificador 130 o 130-1 utilizando la codificación de longitud variable adaptable al contexto (CAVLC) o la codificación aritmética binaria adaptativa al contexto (CABAC), y se puede requerir más información de codificación de entropía para la decodificación de vídeo además de los valores de resultado de cuantificación.

El descuantificador 131 o 131-1 descuantifica los valores de resultado de cuantificación calculados por el cuantificador 130 o 130-1. Es decir, el descuantificador 131 o 13-1 recupera valores de dominio de frecuencia (coeficientes de frecuencia) a partir de los valores de resultado de cuantificación.

El descuantificador 121 o 121-1 recupera la imagen de residuo transformando los valores del dominio de frecuencia (coeficientes de frecuencia) recibidos del descuantificador 131 o 131-1 al dominio espacial. El sumador 150 o 150-1 genera una imagen recuperada de la imagen de entrada sumando la imagen de residuo recuperada por el descuantificador 121 o 121-1 a la imagen de predicción generada mediante intrapredicción o interpredicción, y almacena la imagen recuperada en el memoria 170 o 170-1.

El intrapredictor 180 o 180-1 realiza intrapredicción, y el compensador de movimiento 190 o 190-1 compensa un vector de movimiento para interpredicción. El intrapredictor 180 o 180-1 y el compensador de movimiento 190 o 190-1 pueden denominarse colectivamente unidad de predicción.

Según una realización de la presente divulgación, los predictores 180-1 y 190-1 incluidos en el codificador de vídeo de vista de extensión 12 pueden realizar predicciones para un bloque actual de una vista de extensión usando información de predicción sobre un bloque de referencia de una vista de referencia. La vista de referencia se refiere a una vista a la que se hace referencia para la vista de extensión y puede ser una vista base. Además, la información de predicción puede incluir información de modo de predicción e información de movimiento sobre un bloque de referencia.

La unidad de filtro en bucle 160 o 160-1 filtra la imagen recuperada. La unidad de filtro en bucle 160 o 160-1 puede incluir un filtro de desbloqueo (DF) y un desplazamiento adaptativo de muestra (SAO).

Un multiplexor 330 puede recibir un flujo de bits del vídeo de vista base codificado y un flujo de bits del vídeo de vista de extensión codificado y, por lo tanto, emitir un flujo de bits extendido.

Particularmente, el aparato de codificación de vídeo multivista 10 según la realización de la presente divulgación puede incluir además un predictor de intervista 310 y un predictor de residuo 320.

Si bien el predictor de intervista 310 y el predictor de residuo 320 se muestran en la Figura 11 residiendo entre el codificador de vídeo de vista base 11 y el codificador de vídeo de vista de extensión 12, la presente divulgación no se limita a esta estructura o posición.

El predictor de intervista 310 puede interactuar con el compensador de movimiento 190 o 190-1 y codificar un vector de movimiento para un vídeo multivista a través de la predicción de vector de movimiento según la primera realización descrita anteriormente de la presente divulgación.

El predictor de residuo 320 puede interactuar con el compensador de movimiento 190 o 190-1 y el intrapredictor 180 o 180-1, y codificar un residuo para un vídeo multivista a través de la predicción de residuo según la segunda realización descrita anteriormente de la presente divulgación.

La Figura 12 es un diagrama de bloques de un aparato de decodificación de vídeo multivista según una realización de la presente divulgación.

Con referencia a la Figura 12, el aparato de decodificación de vídeo multivista 20 puede incluir el extractor de flujo de bits 29, el decodificador de vídeo de vista base 21 y los decodificadores de vídeo de vista de extensión 22 y 23. El extractor de flujo de bits 29 puede separar un flujo de bits según las vistas y proporcionar los flujos de bits separados al decodificador de vídeo de vista base 21 y a los decodificadores de vídeo de vista de extensión 22 y 23, respectivamente.

Cada uno de los decodificadores de vídeo de vista base 21 y los decodificadores de vídeo de vista de extensión 22 y 23 pueden incluir un decodificador de entropía 210 o 210-1, un descuantificador 220 o 220-1, un transformador inverso 230 o 230-2, un sumador 240 o 240-1, una unidad de filtro en bucle 250 o 250-1, una memoria de cuadros 260 o 260 1, un intrapredictor 270 o 270-1 y un compensador de movimiento 280 o 280-1. El intrapredictor 270 o 270-1 y el compensador de movimiento 280 o 280-1 pueden denominarse colectivamente unidad de predicción.

El aparato de decodificación de vídeo multivista 20 según la realización de la presente divulgación puede incluir además un predictor de intervista 410 y un predictor de residuo 420.

Si bien el predictor de intervista 410 y el predictor de residuo 420 se muestran en la Figura 12 residiendo entre el decodificador de vídeo de vista base 21 y el decodificador de vídeo de vista de extensión 22, la presente divulgación no se limita a esta estructura o posición.

El predictor de intervista 410 puede interactuar con el compensador de movimiento 290 o 290-1 y decodificar un vector de movimiento para un vídeo multivista a través de la predicción de vector de movimiento según la primera realización descrita anteriormente de la presente divulgación.

El predictor de residuo 420 puede interactuar con el compensador de movimiento 290 o 290-1 y el intrapredictor 280 o 280-1, y decodificar un residuo para un vídeo multivista a través de la predicción de residuo según la segunda realización descrita anteriormente de la presente divulgación.

Mientras tanto, cada componente del aparato de decodificación de vídeo multivista 20 puede entenderse a partir de su equivalente del aparato de codificación de vídeo multivista 10 ilustrado en la Figura 11 y, por lo tanto, no se describirá en esta memoria en detalle.

Además, cada componente del aparato de codificación de vídeo multivista 10 y el aparato de decodificación de vídeo multivista 20 según las realizaciones de la presente divulgación se ha descrito como configurado como un componente separado, por conveniencia de la descripción. Sin embargo, al menos dos de los componentes pueden incorporarse en un único procesador o un componente se puede dividir en una pluralidad de procesadores, para ejecutar una función. Las realizaciones para incorporar componentes o separar un solo componente también caen dentro de las reivindicaciones adjuntas sin salirse del alcance de la presente divulgación.

El aparato de codificación de vídeo multivista 10 y el aparato de decodificación de vídeo multivista 20 según la presente divulgación pueden implementarse como un programa o código legible por ordenador en un medio de grabación legible por ordenador. El medio de grabación legible por ordenador incluye cualquier tipo de dispositivo de grabación que almacene datos legibles por un sistema informático. Además, el medio de grabación legible por ordenador puede distribuirse a sistemas informáticos conectados a través de una red y almacenar y ejecutar un programa o código legibles por un ordenador de manera distribuida.

El método para realizar la predicción de vector de movimiento para un vídeo multivista según la primera realización de la presente divulgación permite la codificación/descodificación efectiva de un vector de movimiento durante la codificación/descodificación de un vídeo multivista. Es decir, según la presente divulgación, un vector de movimiento temporal puede predecirse de forma adaptativa según los esquemas de predicción de vectores de movimiento usados para un bloque actual y un bloque correspondiente.

El método para realizar la predicción de residuo para un vídeo multivista según la segunda realización de la presente divulgación permite la codificación/descodificación efectiva de un residuo durante la codificación/descodificación de un vídeo multivista. Es decir, se puede evitar que ocurra un error en el cálculo de un factor de escala usado para escalar un vector de movimiento durante la generación de un residuo de predicción, evitando así un error en la predicción de residuo para un vídeo multivista.

Aunque la presente divulgación se ha descrito con referencia a las realizaciones preferidas, los expertos en la técnica apreciarán que se pueden realizar diversas modificaciones y variaciones en la presente divulgación sin apartarse del alcance de la presente divulgación descrita en las reivindicaciones adjuntas.

Claims

REIVINDICACIONES

1. Un método para decodificar un vídeo multivista, comprendiendo el método:

determinar esquemas de predicción de movimiento realizados para que se decodifique un bloque actual y un bloque coubicado correspondiente al bloque actual, se determina que los esquemas de predicción de movimiento son una predicción a largo plazo, una predicción a corto plazo y una predicción intervista; y

generar un vector de movimiento del bloque actual utilizando un vector de movimiento del bloque coubicado según los esquemas de predicción de movimiento determinados,

en donde cuando la predicción intervista se realiza para uno del bloque actual y el bloque coubicado y luego se realiza la predicción a largo plazo o la predicción a corto plazo para el otro bloque, se genera el vector de movimiento del bloque actual utilizando un vector predeterminado o el vector de movimiento del bloque coubicado,

en donde el bloque coubicado incluye un bloque temporal coubicado.

2. El método según la reivindicación 1, en donde generar el vector de movimiento del bloque actual comprende, cuando se realiza la predicción a largo plazo para el bloque actual y el bloque coubicado, generar el vector de movimiento del bloque actual como el vector de movimiento del bloque coubicado.

3. El método según la reivindicación 1, en donde generar el vector de movimiento del bloque actual comprende, cuando se realiza la predicción a corto plazo para el bloque actual y el bloque coubicado, generar el vector de movimiento del bloque actual escalando el vector de movimiento del bloque coubicado usando una relación entre una distancia de referencia interimágenes del bloque actual y una distancia de referencia interimágenes del bloque coubicado.

4. El método según la reivindicación 1, en donde generar el vector de movimiento del bloque actual comprende, cuando la predicción intervista se realiza para el bloque actual y el bloque coubicado, generar el vector de movimiento del bloque actual escalando el vector de movimiento del bloque coubicado utilizando una relación entre una distancia de referencia de intervista del bloque actual y una distancia de referencia de intervista del bloque coubicado.

5. El método según la reivindicación 1, en donde el vector predeterminado es (0, 0).