ES2439444T3

ES2439444T3 - Método de codificación y método de descodificación de vídeo, aparatos para los mismos, programas para los mismos y medios de almacenamiento que almacenan los programas

Info

Publication number: ES2439444T3
Application number: ES12173486T
Authority: ES
Inventors: Shinya Shimizu; Hideaki Kimata; Kazuto Kamikura; Yoshiyuki Yashima
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 2006-10-30
Filing date: 2007-10-24
Publication date: 2014-01-23
Anticipated expiration: 2027-10-24
Also published as: EP2512139B1; KR101533740B1; US20120170651A1; US20100008422A1; RU2009115654A; KR20140048320A; RU2012113724A; WO2008053758A1; TWI400959B; CN101569202A; US8532190B2; RU2458479C2; TWI502969B; EP2512139A1; TW200826692A; JP4999860B2; EP2083571A4; JPWO2008053758A1; CA2667175A1; KR101447717B1

Abstract

Un aparato de codificación de vídeo (100) para codificar una imagen de vídeo dividiendo una imagen completa enáreas, generando una imagen predicha para cada área de la imagen dividida en función de información de imagende una pluralidad de cuadros ya codificados, y codificando información diferencial entre una 5 imagen de un áreaobjetivo de codificación en un cuadro objetivo de codificación y la imagen predicha, comprendiendo el aparato decodificación de vídeo: - un dispositivo de establecimiento de correspondencias (106, 107) para: presuponer secuencialmente que cada uno de los cuadros ya codificados es un cuadro objetivo de vector dereferencia; presuponer secuencialmente que cada uno de los cuadros ya codificados, excepto uno que se tomó como el cuadroobjetivo de vector de referencia, es un cuadro de referencia; presuponer secuencialmente que cada una de las áreas del cuadro objetivo de vector de referencia supuesto,presentando cada una el mismo tamaño que el área objetivo de codificación, es un área objetivo de vector dereferencia; determinar un vector, que se extiende desde el área objetivo de codificación hasta el área objetivo de vector dereferencia supuesta, como un vector de referencia; para cada una de las combinaciones formadas por el cuadro objetivo de vector de referencia, el cuadro de referenciay el área objetivo de vector de referencia que se obtienen mediante las suposiciones anteriores, establecer un áreade referencia como un área que pertenece al cuadro de referencia y que tiene información de imagencorrespondiente a información de imagen del área objetivo de vector de referencia debido a una correspondenciaentre bloques; calcular un coste de distorsión de velocidad evaluado durante la codificación de información de imagen del áreaobjetivo de codificación usando el cuadro objetivo de vector de referencia, el cuadro de referencia, el vector dereferencia y el área de referencia; y someter cada una de dichas combinaciones al cálculo anterior del coste de distorsión de velocidad y seleccionar elcuadro objetivo de vector de referencia, el cuadro de referencia, el área objetivo de vector de referencia y el área dereferencia para la combinación mediante la cual se minimiza el coste de distorsión de velocidad; - un dispositivo de codificación de información de designación de cuadro objetivo de vector de referencia (109) paracodificar información que designa el cuadro objetivo de vector de referencia; - un dispositivo de codificación predictiva de vector de referencia (113, 114) para codificar de manera predictiva elvector de referencia que indica el área objetivo de vector de referencia; - un dispositivo de codificación de información de designación de cuadro de referencia (109) para codificarinformación que designa el cuadro de referencia; - un dispositivo de generación de imagen predicha (102) para generar la imagen predicha usando la información deimagen del área de referencia en el cuadro de referencia; y - un dispositivo de codificación de información diferencial (103) para codificar información diferencial entre lainformación de imagen del área objetivo de codificación y la imagen predicha generada

Description

Método de codificación y método de descodificación de vídeo, aparatos para los mismos, programas para los mismos y medios de almacenamiento que almacenan los programas 5

Campo técnico

La presente invención se refiere a un método de codificación de vídeo para codificar una imagen de vídeo usando un método de codificación predictivo intercuadro y un aparato correspondiente; a un método de descodificación de vídeo para descodificar datos codificados generados por el método de codificación de vídeo y un aparato correspondiente; a un programa de codificación de vídeo para implementar el método de codificación de vídeo y a un medio de almacenamiento legible por ordenador que almacena el programa; y a un programa de descodificación de vídeo para implementar el método de descodificación de vídeo y a un medio de almacenamiento legible por ordenador que almacena el programa.

15 Se reivindica la prioridad de la solicitud de patente japonesa nº. 2006-293901, presentada el 30 de octubre de 2006.

Técnica anterior

Las imágenes de vídeo de múltiples puntos de visualización son una pluralidad de imágenes de vídeo obtenidas fotografiando el mismo objeto y el fondo del mismo usando una pluralidad de cámaras. En lo sucesivo, una imagen de vídeo obtenida mediante una única cámara se denominará "imagen de vídeo bidimensional" y un conjunto de múltiples imágenes de vídeo bidimensionales obtenidas fotografiando el mismo objeto y el fondo del mismo se denominará “imagen de vídeo de múltiples puntos de visualización”.

25 Existe una gran correlación temporal en la imagen de vídeo bidimensional de cada cámara, la cual está incluida en una imagen de vídeo de múltiples puntos de visualización. Además, cuando las cámaras están sincronizadas entre sí, las imágenes (tomadas por las cámaras) correspondientes al mismo instante de tiempo capturan el objeto y el fondo del mismo exactamente en el mismo estado desde diferentes posiciones, de manera que hay una gran correlación entre las cámaras. La eficacia de codificación de la codificación de vídeo puede mejorarse usando esta correlación.

En primer lugar, se mostrarán técnicas convencionales relacionadas con la codificación de imágenes de vídeo bidimensionales.

35 En muchos métodos conocidos de codificación de imágenes de vídeo bidimensionales, tales como MPEG-2 y H.264 (que son normas de codificación de vídeo internacionales), y similares, se obtiene una alta eficacia de codificación mediante una codificación predictiva intercuadro que usa una correlación temporal. La codificación predictiva intercuadro ejecutada para codificar imágenes de vídeo bidimensionales usa una variación temporal en una imagen de vídeo, es decir, un movimiento. Por lo tanto, el método usado en la codificación predictiva intercuadro se denomina generalmente "compensación de movimiento". Por consiguiente, la codificación predictiva intercuadro a lo largo de un eje temporal se denominará en lo sucesivo "compensación de movimiento”. Además, un “cuadro” es una imagen que constituye una imagen de vídeo y se obtiene en un instante de tiempo específico.

45 Generalmente, la codificación de vídeo bidimensional tiene los siguientes modos de codificación para cada cuadro: "cuadro I" codificado sin usar una correlación intercuadro, "cuadro P” codificado mientras se realiza una compensación de movimiento basada en un cuadro ya codificado, y "cuadro B" codificado mientras se realiza una compensación de movimiento basada en dos cuadros ya codificados.

Con el fin de mejorar adicionalmente la eficacia de la predicción de imágenes de vídeo, en H.263 y H.264, las imágenes descodificadas de una pluralidad de cuadros (es decir, dos cuadros o más) se almacenan en una memoria de imágenes de referencia, y una imagen de referencia se selecciona de entre las imágenes de la memoria para llevar a cabo la predicción. La imagen de referencia puede seleccionarse para cada bloque, y la información de designación de imagen de referencia para designar la imagen de referencia puede codificarse para llevar a cabo la

55 descodificación correspondiente. Para un "cuadro P", un elemento de información de designación de imagen de referencia se codifica para cada bloque. Para un “cuadro B”, dos elementos de información de designación de imagen de referencia se codifican para cada bloque.

En la compensación de movimiento, además de la información de designación de imagen de referencia, se codifica un vector para indicar una posición en la imagen de referencia, donde un bloque objetivo se codifica usando la posición, y el vector se denomina “vector de movimiento". De manera similar a la información de designación de imagen de referencia, un vector de movimiento se codifica para un "cuadro P", y dos vectores de movimiento se codifican para un "cuadro B".

65 En la codificación de vectores de movimiento en MPEG-4 o H.264, se genera un vector predicho usando un vector de movimiento de un bloque adyacente a un bloque objetivo de codificación y solamente un vector diferencial entre el vector predicho y el vector de movimiento usado en la compensación de movimiento aplicada al bloque objetivo. Según este método, cuando hay continuidad de movimiento entre los bloques adyacentes pertinentes, el vector de movimiento puede codificarse con un alto nivel de eficacia de codificación.

5 El documento 1, que no es una patente, da a conocer un proceso de generación de un vector predicho en H.264, cuya explicación general se presenta a continuación.

En H.264, como se muestra en la figura 13A, en función de los vectores de movimiento (mv_a, mv_b y mv_c) usados en un bloque en el lado izquierdo (véase “a” en la figura 13A), un bloque en el lado superior (véase “b” en la figura 13A) y un bloque en el lado superior derecho (véase “c” en la figura 13A) de un bloque objetivo de codificación, se obtienen componentes horizontales y verticales calculando la mediana de cada dirección.

Puesto que H.264 utiliza una compensación de movimiento de tamaño de bloque variable, el tamaño de bloque para la compensación de movimiento puede no ser el mismo entre el bloque objetivo y los bloques periféricos del mismo.

15 En tal caso, como se muestra en la figura 13B, el bloque "a" se establece como el bloque situado más arriba de entre los bloques del lado izquierdo adyacentes al bloque objetivo, el bloque "b" se establece como el bloque más a la izquierda de entre los bloques del lado superior adyacentes al bloque objetivo y el bloque "c" se establece como el bloque superior izquierdo más próximo. Como una excepción, si el tamaño del bloque objetivo es de 8x16 píxeles, como se muestra en la figura 13C, en lugar de la mediana se usa el bloque "a" y el bloque "c", respectivamente, para predecir el bloque izquierdo y el bloque derecho. Asimismo, si el tamaño del bloque objetivo es de 16x8 píxeles, como se muestra en la figura 13D, en lugar de la mediana se usa el bloque "a" y el bloque "b", respectivamente, para predecir el bloque inferior y el bloque superior.

Tal y como se ha descrito anteriormente, en H.264 se selecciona un cuadro de referencia para cada bloque entre 25 una pluralidad de cuadros ya codificados y se usa para la compensación de movimiento.

Generalmente, el movimiento del objeto captado en imágenes no es uniforme y depende del cuadro de referencia. Por lo tanto, en comparación con un vector de movimiento en la compensación de movimiento realizada usando un cuadro de referencia diferente al del bloque objetivo, un vector de movimiento en la compensación de movimiento realizada usando el mismo cuadro de referencia que el del bloque objetivo debe ser similar a un vector de movimiento usado para el bloque objetivo. Por lo tanto, en H.264, si solo hay un bloque (de entre los bloques a, b y c) cuyo cuadro de referencia sea el mismo que el del bloque objetivo de codificación; entonces, en lugar de la mediana se usa el vector de movimiento del bloque pertinente como un vector predicho para generar un vector predicho que tiene un nivel de fiabilidad relativamente superior.

35 A continuación se explicarán métodos de codificación convencionales para imágenes de vídeo de múltiples puntos de visualización.

Generalmente, la codificación de vídeo de múltiples puntos de visualización usa una correlación entre cámaras, obteniéndose un alto nivel de eficacia de codificación usando “compensación de disparidad", donde la compensación de movimiento se aplica a cuadros que se obtienen al mismo tiempo usando diferentes cámaras.

Por ejemplo, el perfil de multivisión de MPEG-2 o el documento 2, que no es una patente, utilizan este método.

45 En el método dado a conocer en el documento 2, que no es una patente, se secciona compensación de movimiento

o compensación de disparidad para cada bloque. Es decir, la que tenga una mayor eficacia de codificación se selecciona para cada bloque, de manera que puede usarse tanto la correlación temporal como la correlación entre cámaras. En comparación con el caso de usar solamente un tipo de correlación, se obtiene una mayor eficacia de codificación.

En la compensación de disparidad, además de una parte residual de la predicción también se codifica un vector de disparidad. El vector de disparidad corresponde al vector de movimiento para indicar una variación temporal entre cuadros e indica una diferencia entre posiciones en planos de imagen, que se obtienen mediante cámaras dispuestas en diferentes posiciones y sobre los que se proyecta una única posición del objeto capturado en

55 imágenes.

La figura 14 es una vista esquemática que muestra el concepto de disparidad generada entre tales cámaras. En la vista esquemática de la figura 14, planos de imagen de las cámaras, cuyos ejes ópticos son paralelos entre sí, se observan en vertical desde el lado superior de los mismos.

En la codificación del vector de disparidad, de manera similar a la codificación del vector de movimiento, es posible que un vector predicho se genere usando un vector de disparidad de un bloque adyacente al bloque objetivo de codificación, codificándose solamente un vector diferencial entre el vector predicho y el vector de disparidad usado en la compensación de disparidad aplicada al bloque objetivo. Según este método, cuando hay una disparidad

65 continua entre los bloques adyacentes pertinentes, el vector de disparidad puede codificarse con un alto nivel de eficacia de codificación.

En cada cuadro de las imágenes de vídeo de múltiples puntos de visualización se produce al mismo tiempo una redundancia temporal y una redundancia entre cámaras. El documento 3, que no es una patente, da a conocer un método para eliminar ambas redundancias simultáneamente.

5 En el método en cuestión se lleva a cabo una predicción temporal de una imagen diferencial entre una imagen original y una imagen compensada por disparidad para ejecutar la codificación pertinente. Es decir, después de la compensación de disparidad se codifica una parte residual de compensación de movimiento de la imagen diferencial.

Según el método anterior, la redundancia temporal, que no puede eliminarse mediante una compensación de disparidad para eliminar la redundancia entre cámaras, puede eliminarse usando la compensación de movimiento. Por lo tanto, una parte residual de la predicción, que se codifica finalmente, se reduce, de modo que puede conseguirse un alto nivel de eficacia de codificación.

15 Documento 1, que no es una patente: ITU-T Rec.H.264/ISO/IEC 11496-10, "Editor’s Proposed Draft Text Modifications for Joint Video Specification (ITU-T Rec. H.264 /ISO/IEC 14496-10 AVC), Draft 7", Borrador final del comité, documento JVT-E022, páginas 63 y 64, septiembre de 2002.

Documento 2, que no es una patente: "Preliminary results on multiple view video coding (3DAV)", de Hideaki Kimata y Masaki Kitahara, documento M10976, Conferencia sobre MPEG en Redmond, julio de 2004.

Documento 3, que no es una patente: "Multi-view Video Coding based on 3-D Warping with Depth Map", de Shinya Shimizu, Masaki Kitahara, Kazuto Kamikura y Yoshiyuki Yashima, actas del simposio de codificación de imágenes

25 de 2006, SS3-6, abril de 2006.

Divulgación de la invención

Problema a resolver por la invención

Los métodos convencionales, en los que el vector de movimiento o el vector de disparidad, que se utiliza realmente en el bloque objetivo de codificación, se codifica usando la diferencia con respecto a un vector predicho generado usando un vector de movimiento o un vector de disparidad usados en un bloque adyacente, se basan en el hecho de que el objeto capturado en imágenes presenta una continuidad en el espacio real y de que la probabilidad de que el

35 movimiento del propio objeto capturado en imágenes no cambie es considerablemente alta. Por lo tanto, el vector de movimiento o el vector de disparidad usados en el bloque objetivo pueden codificarse con una menor cantidad de código.

Sin embargo, si un cuadro de referencia, que es lo más adecuado para predecir la imagen del bloque objetivo, no se usa en el bloque adyacente pertinente, la diferencia entre el vector predicho y el vector de movimiento usado realmente aumenta, y la cantidad de código no puede reducirse lo suficiente.

En particular, cuando se lleva a cabo una codificación seleccionando de manera adaptativa la compensación de movimiento o la compensación de disparidad para cada bloque, es imposible generar un vector predicho del vector

45 de disparidad a partir del vector de movimiento o generar un vector predicho del vector de movimiento a partir del vector de disparidad ya que el vector de movimiento y el vector de disparidad tienen características muy diferentes. Por lo tanto, es imposible codificar de manera eficaz el vector de movimiento o el vector de disparidad.

Por otro lado, en los métodos aplicados a “cuadros B” o dados a conocer en el documento 3, que no es una patente, la predicción de vídeo se lleva a cabo de manera más precisa y el tamaño de la señal residual que se codifica finalmente se reduce, de manera que la imagen de vídeo puede codificarse con una menor cantidad de código.

Sin embargo, para un “cuadro B” deben codificarse dos elementos de información de designación de imagen de referencia y dos elementos de información de vector y, por tanto, la cantidad de código de tal información adicional

55 usada para generar una imagen predicha aumenta.

Además, en el método del documento 3, que no es una patente, debe codificarse información de "profundidad", usada para generar una imagen compensada por disparidad, y un vector de movimiento, usado para llevar a cabo la compensación de movimiento en una imagen diferencial para la compensación de disparidad, lo que aumenta la cantidad de información usada para la predicción de vídeo.

En vista de las circunstancias anteriores, un objeto de la presente invención relacionado con la codificación de vídeo es proporcionar una técnica novedosa para codificar de manera eficaz información de vector (como un objetivo de codificación) usada en la codificación predictiva intercuadro incluso cuando el cuadro de referencia usado en la

65 codificación predictiva intercuadro es diferente entre un área objetivo de codificación y un área adyacente de la misma.

Medios para resolver el problema

Con el fin de conseguir el objeto anterior, la presente invención proporciona un método de codificación de vídeo para

5 codificar una imagen de vídeo dividiendo una imagen completa en áreas, generando una imagen predicha para cada área de la imagen dividida en función de la información de imagen de una pluralidad de cuadros ya codificados y codificando información diferencial entre una imagen de un área objetivo de codificación en un cuadro objetivo de codificación y la imagen predicha, comprendiendo el método de codificación de vídeo:

una etapa de selección de cuadro objetivo de vector de referencia que selecciona un cuadro objetivo de vector de referencia entre los cuadros ya codificados;

una etapa de codificación de información de designación de cuadro objetivo de vector de referencia que codifica información que designa el cuadro objetivo de vector de referencia;

15 una etapa de establecimiento de vector de referencia que establece un vector de referencia que indica un área que pertenece al cuadro objetivo de vector de referencia y que corresponde al área objetivo de codificación;

una etapa de codificación de vector de referencia que codifica el vector de referencia;

una etapa de selección de cuadro de referencia que selecciona un cuadro de referencia entre los cuadros ya codificados;

una etapa de codificación de información de designación de cuadro de referencia que codifica información que 25 designa el cuadro de referencia;

una etapa de establecimiento de área de cuadro de referencia que busca un área correspondiente usando el cuadro de referencia e información de imagen del área objetivo de vector de referencia que pertenece al cuadro objetivo de vector de referencia y que se indica mediante el vector de referencia; y que establece un área de referencia en el cuadro de referencia en función del resultado de búsqueda;

una etapa de generación de imagen predicha que genera la imagen predicha usando información de imagen del cuadro de referencia, que corresponde al área de referencia; y

35 una etapa de codificación de información diferencial que codifica información diferencial entre información de imagen del área objetivo de codificación y la imagen predicha generada.

En un ejemplo típico, en la etapa de generación de imagen predicha, la imagen predicha se genera usando información de imagen del área de referencia y la información de imagen del área objetivo de vector de referencia.

En otro ejemplo típico, en la etapa de generación de imagen predicha, se elige si la imagen predicha se genera usando información de imagen del área de referencia o usando la información de imagen del área de referencia y la información de imagen del área objetivo de vector de referencia, y la imagen predicha se genera mediante el método de generación seleccionado; y

45 el método de codificación de vídeo comprende además:

una etapa de codificación de información de designación de método de generación de imagen predicha que codifica información que designa el método de generación seleccionado.

En otro ejemplo típico, si el cuadro de referencia seleccionado en la etapa de selección de cuadro de referencia es un cuadro de referencia que se usó durante la codificación del área objetivo de vector de referencia, entonces el área de referencia establecida en la etapa de establecimiento de área de cuadro de referencia es un área de referencia que se usó durante la codificación del área objetivo de vector de referencia.

55 En otro ejemplo típico, si el cuadro de referencia seleccionado en la etapa de selección de cuadro de referencia es un cuadro objetivo de vector de referencia que se usó durante la codificación del área objetivo de vector de referencia, entonces el área de referencia establecida en la etapa de establecimiento de área de cuadro de referencia es un área objetivo de vector de referencia que se usó durante la codificación del área objetivo de vector de referencia.

En otro ejemplo típico, si el cuadro de referencia seleccionado en la etapa de selección de cuadro de referencia es un cuadro ya codificado, donde las relaciones de tiempo y de información de puntos de visualización entre este cuadro ya codificado y el cuadro objetivo de codificación coinciden con aquellas entre un cuadro objetivo de vector

65 de referencia que se usó durante la codificación del área objetivo de vector de referencia y el cuadro objetivo de vector de referencia establecido para el área objetivo de codificación, entonces el área de referencia establecida en la etapa de establecimiento de área de cuadro de referencia es un área que pertenece al cuadro de referencia seleccionado y se indica mediante un vector cuyo punto de partida se establece en el área objetivo de codificación y que tiene la misma dirección y el mismo tamaño que un vector de referencia que se usó durante la codificación del área objetivo de vector de referencia.

5 En otro ejemplo típico, si el cuadro de referencia seleccionado en la etapa de selección de cuadro de referencia es un cuadro ya codificado, donde las relaciones de tiempo y de información de puntos de visualización entre este cuadro ya codificado y el cuadro objetivo de codificación coinciden con aquellas entre un cuadro de referencia que se usó durante la codificación del área objetivo de vector de referencia y el cuadro objetivo de vector de referencia establecido para el área objetivo de codificación, entonces el área de referencia establecida en la etapa de establecimiento de área de cuadro de referencia es un área que pertenece al cuadro de referencia seleccionado y se indica mediante un vector cuyo punto de partida se establece en el área objetivo de codificación y que tiene la misma dirección y el mismo tamaño que un vector que indica una relación correspondiente entre el área objetivo de vector de referencia y un área de referencia que se usó durante la codificación del área objetivo de vector de

15 referencia.

En un ejemplo preferido, el método de codificación de vídeo comprende además:

una etapa de establecimiento de cuadro intermedio que establece un cuadro intermedio que es diferente del cuadro objetivo de vector de referencia y del cuadro de referencia, y que ya está codificado, donde:

en la etapa de establecimiento de área de cuadro de referencia, se establece un área intermedia en el cuadro intermedio usando información del área objetivo de vector de referencia, y el área de referencia se establece usando información del área intermedia o el conjunto formado por la información del área intermedia y la información del

25 área objetivo de vector de referencia.

En el caso anterior, es posible que:

el cuadro intermedio establecido en la etapa de establecimiento de cuadro intermedio sea un cuadro ya codificado, donde las relaciones de tiempo y de información de puntos de visualización entre este cuadro ya codificado y el cuadro objetivo de vector de referencia coinciden con aquellas entre el cuadro objetivo de codificación y el cuadro de referencia; y

en la etapa de generación de imagen predicha, la imagen predicha se genere usando información de imagen del

35 área de referencia, información de imagen del área intermedia y la información de imagen del área objetivo de vector de referencia.

Además, en el caso anterior, es posible que:

el cuadro intermedio establecido en la etapa de establecimiento de cuadro intermedio sea un cuadro ya codificado, donde las relaciones de tiempo y de información de puntos de visualización entre este cuadro ya codificado y el cuadro objetivo de vector de referencia coinciden con aquellas entre el cuadro objetivo de codificación y el cuadro de referencia;

45 en la etapa de generación de imagen predicha, se seleccione si la imagen predicha se genera usando información de imagen del área de referencia, usando la información de imagen del área de referencia y la información de imagen del área objetivo de vector de referencia, o usando información de imagen del área de referencia, información de imagen del área intermedia y la información de imagen del área objetivo de vector de referencia, generándose la imagen predicha mediante el método de generación seleccionado; y

el método de codificación de vídeo comprenda además:

55 Cuando se considera la etapa de codificación de información de designación de método de generación de imagen predicha, es posible que:

en la etapa de codificación de información de designación de cuadro de referencia, una tabla de palabras de código usada para codificar la información que designa el cuadro de referencia conmute en función de datos codificados del área objetivo de vector de referencia; y

en la etapa de codificación de información de designación de método de generación de imagen predicha, una tabla de palabras de código usada para codificar la información que designa el método de generación seleccionado

65 conmute en función de al menos uno de entre los datos codificados del área objetivo de vector de referencia, el cuadro de referencia y el cuadro objetivo de vector de referencia.

La presente invención proporciona además un método de descodificación de vídeo para descodificar una imagen de vídeo dividiendo una imagen completa en áreas, generando una imagen predicha para cada área de la imagen dividida en función de información de imagen de una pluralidad de cuadros ya descodificados y descodificando

5 información diferencial entre la imagen predicha y una imagen de un área objetivo de descodificación en un cuadro objetivo de descodificación, comprendiendo el método de descodificación de vídeo:

una etapa de descodificación de información de designación de cuadro objetivo de vector de referencia que descodifica, a partir de datos codificados, información que designa un cuadro objetivo de vector de referencia seleccionado de entre los cuadros ya descodificados;

una etapa de descodificación de vector de referencia que descodifica, a partir de los datos codificados, un vector de referencia que indica un área que pertenece al cuadro objetivo de vector de referencia y que se establece en correspondencia con el área objetivo de descodificación;

15 una etapa de descodificación de información de designación de cuadro de referencia que descodifica, a partir de los datos codificados, información que designa un cuadro de referencia seleccionado de entre los cuadros ya descodificados;

una etapa de establecimiento de área de cuadro de referencia que busca un área correspondiente usando el cuadro de referencia e información de imagen del área objetivo de vector de referencia que pertenece al cuadro objetivo de vector de referencia y que se indica mediante el vector de referencia; y que establece un área de referencia en el cuadro de referencia en función del resultado de búsqueda; y

25 una etapa de generación de imagen predicha que genera la imagen predicha usando información de imagen del cuadro de referencia, que corresponde al área de referencia.

En otro ejemplo típico, una etapa de descodificación de información de designación de método de generación de imagen predicha que descodifica, a partir de los datos codificados, información que designa si la imagen predicha se genera usando información de imagen del área de referencia o usando la información de imagen del área de referencia y la información de imagen del área objetivo de vector de referencia, en la que:

35 en la etapa de generación de imagen predicha, la imagen predicha se genera mediante el método de generación designado por la información descodificada.

En otro ejemplo típico, si un cuadro indicado mediante la información de designación de cuadro de referencia que se descodificó durante la descodificación del área objetivo de vector de referencia coincide con el cuadro de referencia, entonces en la etapa de establecimiento de área de cuadro de referencia, un área de referencia que se usó durante la descodificación del área objetivo de vector de referencia se establece como el área de referencia.

En otro ejemplo típico, si un cuadro indicado mediante la información de designación de cuadro objetivo de vector de

45 referencia que se descodificó durante la descodificación del área objetivo de vector de referencia coincide con el cuadro de referencia, entonces en la etapa de establecimiento de área de cuadro de referencia, un área objetivo de vector de referencia que se usó durante la descodificación del área objetivo de vector de referencia anterior se establece como el área de referencia.

En otro ejemplo típico, si las relaciones de tiempo y de información de puntos de visualización entre el cuadro objetivo de vector de referencia y un cuadro indicado mediante información de designación de cuadro objetivo de vector de referencia que se descodificó durante la descodificación del área objetivo de vector de referencia coinciden con aquellas entre el cuadro objetivo de descodificación y el cuadro de referencia, entonces en la etapa de establecimiento de área de cuadro de referencia, un área, que pertenece al cuadro de referencia y que se indica

55 mediante un vector cuyo punto de partida se establece en el área objetivo de descodificación y que tiene la misma dirección y el mismo tamaño que un vector de referencia que se usó durante la descodificación del área objetivo de vector de referencia, se establece como el área de referencia.

En otro ejemplo típico, si las relaciones de tiempo y de información de puntos de visualización entre el cuadro objetivo de vector de referencia y un cuadro indicado mediante información de designación de cuadro de referencia que se descodificó durante la descodificación del área objetivo de vector de referencia coinciden con aquellas entre el cuadro objetivo de descodificación y el cuadro de referencia, entonces en la etapa de establecimiento de área de cuadro de referencia, un área, que pertenece al cuadro de referencia y que se indica mediante un vector cuyo punto de partida se establece en el área objetivo de descodificación y que tiene la misma dirección y el mismo tamaño que 65 un vector que indica una relación correspondiente entre el área objetivo de vector de referencia y un área de referencia que se usó durante la descodificación del área objetivo de vector de referencia, se establece como el área

de referencia.

En un ejemplo preferido, el método de descodificación de vídeo comprende además:

5 una etapa de establecimiento de cuadro intermedio que establece un cuadro intermedio que es diferente del cuadro objetivo de vector de referencia y del cuadro de referencia, y que ya está descodificado, donde:

en la etapa de establecimiento de área de cuadro de referencia, un área intermedia en el cuadro intermedio se establece usando información del área objetivo de vector de referencia, y el área de referencia se establece usando

10 información del área intermedia o el conjunto formado por la información del área intermedia y la información del área objetivo de vector de referencia.

En el caso anterior, es posible que:

15 el cuadro intermedio establecido en la etapa de establecimiento de cuadro intermedio sea un cuadro ya descodificado, donde las relaciones de tiempo y de información de puntos de visualización entre este cuadro ya descodificado y el cuadro objetivo de vector de referencia coinciden con aquellas entre el cuadro objetivo de descodificación y el cuadro de referencia; y

20 en la etapa de generación de imagen predicha, la imagen predicha se genere usando información de imagen del área de referencia, información de imagen del área intermedia y la información de imagen del área objetivo de vector de referencia.

Además, en el caso anterior, es posible que:

25 el cuadro intermedio establecido en la etapa de establecimiento de cuadro intermedio sea un cuadro ya descodificado, donde las relaciones de tiempo y de información de puntos de visualización entre este cuadro ya descodificado y el cuadro objetivo de vector de referencia coinciden con aquellas entre el cuadro objetivo de descodificación y el cuadro de referencia;

30 el método de descodificación de vídeo comprenda además:

una etapa de descodificación de información de designación de método de generación de imagen predicha que descodifica, a partir de los datos codificados, información que designa si la imagen predicha se genera usando

35 información de imagen del área de referencia, usando la información de imagen del área de referencia y la información de imagen del área objetivo de vector de referencia, o usando la información de imagen del área de referencia, información de imagen del área intermedia y la información de imagen del área objetivo de vector de referencia; y

40 en la etapa de generación de imagen predicha, la imagen predicha se genera usando el método de generación designado por la información descodificada.

Cuando se considera la etapa de descodificación de información de designación de método de generación de imagen predicha, es posible que:

45 en la etapa de descodificación de información de designación de cuadro de referencia, una tabla de palabras de código usada para descodificar la información que designa el cuadro de referencia conmute en función de datos descodificados del área objetivo de vector de referencia; y

50 en la etapa de descodificación de información de designación de método de generación de imagen predicha, una tabla de palabras de código usada para descodificar la información que designa el método de generación de imagen predicha conmute en función de al menos uno de entre los datos descodificados del área objetivo de vector de referencia, el cuadro de referencia y el cuadro objetivo de vector de referencia.

55 La presente invención proporciona además un aparato de codificación de vídeo que presenta dispositivos para llevar a cabo las etapas del método de codificación de vídeo descrito anteriormente; un programa de codificación de vídeo mediante el cual un ordenador ejecuta las etapas pertinentes; y un medio de almacenamiento legible por ordenador que almacena el programa.

60 La presente invención proporciona además un aparato de descodificación de vídeo que presenta dispositivos para llevar a cabo las etapas del método de descodificación de vídeo descrito anteriormente; un programa de descodificación de vídeo mediante el cual un ordenador ejecuta las etapas pertinentes; y un medio de almacenamiento legible por ordenador que almacena el programa.

65 Efecto de la invención Según la presente invención, incluso cuando el cuadro de referencia usado para generar una imagen predicha es diferente entre áreas adyacentes, se usa el mismo cuadro objetivo de vector de referencia, de manera que el factor primario (tiempo o disparidad) que provoca una variación de imagen y que debe representarse mediante un vector, se unifica, y un vector predicho similar a un vector que debe codificarse puede generarse usando un vector ya

5 codificado en un área adyacente. Por lo tanto, la información de vector para la codificación predictiva intercuadro puede codificarse con una menor cantidad de código.

Breve descripción de los dibujos

10 La figura 1 es un diagrama esquemático que muestra un ejemplo del método de determinación de área de referencia

que usa un cuadro de referencia cuando se ha codificado un área objetivo de vector de referencia. La figura 2 es un diagrama esquemático que muestra un ejemplo del método de determinación de área de referencia que usa un cuadro objetivo de vector de referencia cuando se ha codificado un área objetivo de vector de referencia.

15 La figura 3 es un diagrama esquemático que muestra un ejemplo del método de determinación de área de referencia que usa un vector de referencia cuando se ha codificado un área objetivo de vector de referencia.

La figura 4 es un diagrama esquemático que muestra un ejemplo del método de determinación de área de referencia

20 que usa un vector cuando se ha codificado un área objetivo de vector de referencia. La figura 5 es un diagrama esquemático que muestra un ejemplo del método de determinación de área de referencia que usa un vector de referencia cuando se ha codificado un área objetivo de vector de referencia.

25 La figura 6 muestra una realización del aparato de codificación de vídeo de la presente invención. La figura 7 es un ejemplo del diagrama de flujo del proceso de codificación de vídeo ejecutado por el aparato de codificación de vídeo de la realización.

30 La figura 8 es un ejemplo del diagrama de flujo del proceso de determinación de área de referencia cuando no se usa ningún cuadro intermedio en la realización. La figura 9 es un ejemplo del diagrama de flujo del proceso de determinación de área de referencia cuando se usa

un cuadro intermedio en la realización. 35 La figura 10 es un ejemplo del diagrama de flujo del proceso de búsqueda de área correspondiente en la realización. La figura 11 muestra una realización del aparato de descodificación de vídeo de la presente invención. 40 La figura 12 es un ejemplo del diagrama de flujo del proceso de descodificación de vídeo ejecutado por el aparato de descodificación de vídeo de la realización. La figura 13A es un diagrama esquemático que explica la predicción de vector de movimiento en H.264. 45 La figura 13B es también un diagrama esquemático que explica la predicción de vector de movimiento en H.264. La figura 13C es también un diagrama esquemático que explica la predicción de vector de movimiento en H.264. La figura 13D es también un diagrama esquemático que explica la predicción de vector de movimiento en H.264. 50 La figura 14 es un diagrama esquemático que muestra la disparidad generada entre cámaras. Símbolos de referencia 55 100 Aparato de codificación de vídeo 101 Unidad de entrada de imagen 102 Generador de imagen predicha 60 103 Codificador de imagen diferencial 104 Descodificador de imagen diferencial 65 105 Memoria de cuadros de referencia

106 Unidad de establecimiento de cuadro de referencia

107 Unidad de establecimiento de cuadro objetivo de vector de referencia

5 108 Unidad de establecimiento de método de generación de imagen predicha

109 Codificador de información adicional

110 Unidad de búsqueda de área objetivo de vector de referencia 10 111 Unidad de búsqueda de área de referencia

112 Memoria de acumulación de información de relación correspondiente

15 113 Generador de vector de referencia predicho

114 Codificador de vector de referencia diferencial

Mejor modo de llevar a cabo la invención

20 En la presente invención, cuando se establece información de vector usada en la codificación predictiva intercuadro, que se lleva a cabo en la codificación de información de imagen de un área objetivo de codificación, no se establece un vector que indica un área en un cuadro de referencia para generar una imagen predicha, sino un cuadro objetivo de vector de referencia, que es un cuadro usado para indicar un vector. Se obtiene y se codifica un vector de

25 referencia que indica un área en el cuadro objetivo de vector de referencia, y se lleva a cabo una búsqueda de puntos correspondientes, tal como una correspondencia entre bloques, usando un cuadro de referencia e información de imagen de un área objetivo de vector de referencia en el cuadro objetivo de vector de referencia, donde el área se indica mediante el vector de referencia. Una imagen predicha se genera usando información de imagen de un área de referencia en el cuadro de referencia, que se obtiene según la búsqueda de puntos

30 correspondientes. Por consiguiente, incluso cuando el cuadro de referencia es diferente entre áreas adyacentes, la información de vector para la codificación predictiva intercuadro puede codificarse de manera eficaz.

En los métodos convencionales, la información de vector, que se codifica para cada área objetivo de codificación (es decir, un área de codificación unitaria) y que se usa para la codificación predictiva intercuadro, se representa 35 mediante un vector que indica una variación de imagen desde un cuadro de referencia, que se establece para cada área objetivo de codificación, hasta un cuadro objetivo de codificación.

Por lo tanto, en los métodos convencionales, cuando el cuadro de referencia es diferente entre áreas adyacentes, el factor primario (tiempo o cámara, o tiempo largo o tiempo corto), que provoca una variación de imagen indicada por

40 el vector pertinente, también es diferente, y la variación de imagen representada por un vector predicho puede ser diferente de una variación de imagen representada por un vector objetivo que va a codificarse. En este caso, el vector objetivo que va a codificarse no puede predecirse de manera precisa mediante el vector predicho generado. Además, la cantidad de código requerida para codificar un vector diferencial entre el vector objetivo y el vector predicho puede ser mayor que la requerida para codificar directamente el vector objetivo.

45 Por el contrario, según la presente invención, incluso cuando el cuadro de referencia usado para generar una imagen predicha es diferente entre áreas adyacentes, se usa el mismo cuadro objetivo de vector de referencia, de manera que el factor primario para provocar una variación de imagen indicada por el vector pertinente se unifica, pudiendo generarse un vector predicho similar a un vector que va a codificarse. Por lo tanto, la información de vector

50 para la codificación predictiva intercuadro puede codificarse con una menor cantidad de código.

Además, la información de designación de cuadro objetivo de vector de referencia para designar el cuadro objetivo de vector de referencia y la información de designación de cuadro de referencia para designar el cuadro de referencia pueden codificarse de manera individual o pueden codificarse conjuntamente como información que 55 puede designar el cuadro objetivo de vector de referencia y el cuadro de referencia. Es decir, cuando hay dos cuadros ya codificados, (i) si la información de designación de cuadro objetivo de vector de referencia y la información de designación de cuadro de referencia se codifican de manera individual, puede codificarse un valor (0 ó 1) para cada uno de los mismos, y (ii) si se codifica la información que puede designar el cuadro objetivo de vector de referencia y el cuadro de referencia, entonces puede codificarse información que indica uno cualquiera de entre

60 (0, 0), (0, 1), (1, 0) y (1, 1).

Además, en la presente invención, puesto que un vector de referencia se codifica para un área objetivo de codificación, se obtienen dos áreas correspondientes, respectivamente, en el cuadro objetivo de vector de referencia y el cuadro de referencia. Por lo tanto, de manera similar a un "cuadro B", la imagen predicha puede generarse

65 usando información de imagen de las dos áreas.

Cuando se obtienen estas dos áreas correspondientes, la codificación puede llevarse a cabo eligiendo si la imagen predicha se genera usando información de imagen de ambas áreas correspondientes o usando solamente información de imagen del área correspondiente (es decir, el área de referencia) del cuadro de referencia. Sin embargo, en este caso, debe codificarse información que indica el método mediante el cual se generó la imagen

5 predicha.

Como criterio para seleccionar el método de generación de imagen predicha puede usarse (i) el coste de distorsión de velocidad calculado cuando se codifica el área pertinente usando la imagen predicha, (ii) la suma de los valores absolutos de las diferencias entre la imagen de entrada y la imagen predicha, o (iii) una varianza de valores de píxel de una imagen residual predicha generada mediante las diferencias entre la imagen de entrada y la imagen predicha, pudiendo utilizase cualquier criterio.

Cuando se codifica la información que designa el método de generación de imagen predicha, la información puede codificarse directamente o puede codificarse junto con otra información que también debe codificarse. Por ejemplo,

15 puede codificarse junto con la información de designación de cuadro objetivo de vector de referencia o con la información de designación de cuadro de referencia. Es decir, (i) puede codificarse "0 ó 1" como la información de designación de cuadro de referencia y puede codificarse "0 ó 1" como la información de designación de método de generación de imagen predicha, o (ii) la información que indica cualquiera de (0, 0), (0, 1), (1, 0) y (1, 1) puede codificarse para la combinación de la información de designación de cuadro de referencia y la información de designación de método de generación de imagen predicha.

Como cuadro de referencia puede seleccionarse un cuadro de referencia usado durante la codificación de un área objetivo de vector de referencia o puede seleccionarse un cuadro objetivo de vector de referencia usado durante la codificación del área objetivo de vector de referencia. En tales casos, como área de referencia en el cuadro de

25 referencia en cada caso, puede establecerse de manera apropiada un área usada como área de referencia durante la codificación del área objetivo de vector de referencia o un área usada como área objetivo de vector de referencia durante la codificación del área objetivo de vector de referencia.

Las Figs. 1 y 2 muestran un ejemplo del área de referencia establecida por tales métodos.

La figura 1 muestra un ejemplo del proceso llevado a cabo cuando un cuadro de referencia usado durante la codificación de un área objetivo de vector de referencia se selecciona como el cuadro de referencia actual, y un área que se usó como un área de referencia durante la codificación del área objetivo de vector de referencia se selecciona como el área de referencia en el cuadro de referencia actual.

35 La figura 2 muestra un ejemplo del proceso llevado a cabo cuando un cuadro objetivo de vector de referencia usado durante la codificación de un área objetivo de vector de referencia se selecciona como el cuadro de referencia actual, y un área que se usó como un área objetivo de vector de referencia durante la codificación el área objetivo de vector de referencia actual se selecciona como el área de referencia en el cuadro de referencia actual.

El área, que se seleccionó como un área objetivo de vector de referencia o como un área de referencia durante la codificación del área objetivo de vector de referencia actual, se usó para predecir la información de imagen del área objetivo de vector de referencia actual y, por tanto, tiene información de imagen similar a la información de imagen del área objetivo de vector de referencia actual. Específicamente, un área de este tipo pertenece a un cuadro

45 objetivo de vector de referencia o un cuadro de referencia que se usó durante la codificación del área objetivo de vector de referencia actual. Es decir, incluso cuando se obtiene un área en un cuadro de referencia, que corresponde al área objetivo de vector de referencia, si este cuadro de referencia coincide con el cuadro pertinente (es decir, el cuadro objetivo de vector de referencia o el cuadro de referencia) usado en cada uno de los casos descritos anteriormente, entonces se selecciona un área que se seleccionó como un área objetivo de vector de referencia o como un área de referencia durante la codificación del área objetivo de vector de referencia anterior.

Por consiguiente, puesto que el área de referencia en el cuadro de referencia se determina en función de información de codificación del área objetivo de vector de referencia, es posible reducir el número de tiempos de ejecución de la búsqueda de área correspondiente, que debe llevarse a cabo en la codificación y en la

55 descodificación, manteniendo al mismo tiempo la calidad requerida de la imagen predicha.

Como cuadro de referencia:

(i) puede seleccionarse un cuadro ya codificado en el que las relaciones, que son idénticas a las relaciones de tiempo y de información de puntos de visualización entre un cuadro objetivo de vector de referencia usado durante la codificación del área objetivo de vector de referencia y un cuadro objetivo de vector de referencia establecido para el área objetivo de codificación, pueden establecerse entre el cuadro ya codificado y el cuadro objetivo de codificación, o

65 (ii) puede seleccionarse un cuadro ya codificado en el que las relaciones, que son idénticas a las relaciones de tiempo y de información de punto de visualización entre un cuadro de referencia usado durante la codificación del área objetivo de vector de referencia y un cuadro objetivo de vector de referencia establecido para el área objetivo de codificación, pueden establecerse entre el cuadro ya codificado y el cuadro objetivo de codificación.

En cada caso, como área de referencia: 5

(i): puede establecerse un área en el cuadro de referencia (seleccionado), donde el área se indica mediante un vector que empieza desde el área objetivo de codificación y tiene la misma dirección y el mismo tamaño que un vector de referencia usado durante la codificación del área objetivo de vector de referencia, o

(ii): puede establecerse un área en el cuadro de referencia (seleccionado), donde el área se indica mediante un vector que empieza desde el área objetivo de codificación y tiene la misma dirección y el mismo tamaño que un vector que indica una relación correspondiente entre el área objetivo de vector de referencia y un área de referencia usada durante la codificación del área objetivo de vector de referencia.

15 Las Figs. 3 a 5 muestran ejemplos del área de referencia establecida por los métodos descritos anteriormente.

Según los métodos, un área de referencia única puede asignarse al área objetivo de codificación en cualquiera de los siguientes casos: (i) cuando áreas correspondientes tienen la misma cámara o tiempo, como se muestra en la figura 3 o en la figura 4, o (ii) cuando áreas correspondientes tienen cámaras y tiempos diferentes, como se muestra en la figura 5.

En los métodos, cuando áreas correspondientes tienen la misma cámara o el mismo tiempo, como se muestra en la figura 3 o en la figura 4, se supone que la distancia (que produce disparidad) desde cada cámara hasta un objeto capturado en imágenes no cambia de manera considerable en el tiempo, designándose un área de referencia

25 adecuada para el área correspondiente. En el caso de la figura 5, además de esto, también se supone que el movimiento del objeto capturado en imágenes continúa entre los tiempos pertinentes, de manera que se designa un área de referencia adecuada para el área correspondiente.

La primera suposición es eficaz en la mayoría de casos, ya que una imagen de vídeo que se visualiza con frecuencia, tal como una imagen de vídeo de múltiples puntos de visualización que fotografía un objeto destino o una escena, está en el estado supuesto. Por lo general, la segunda suposición no es eficaz. Sin embargo, cuando el intervalo entre los cuadros es corto, puede suponerse que cada objeto realiza generalmente un movimiento uniforme lineal y, por tanto, la segunda suposición también puede ser eficaz en la mayoría de los casos. Sin embargo, la segunda suposición puede ser ineficaz cuando el intervalo entre los cuadros es largo y, por tanto, este método solo

35 puede aplicarse cuando áreas correspondientes tienen la misma cámara o el mismo tiempo, como se muestra en la figura 3 o en la figura 4, o la aplicación de este método puede interrumpirse cuando el intervalo entre los cuadros en la relación correspondiente pertinente es largo.

En los métodos de codificación y descodificación de vídeo descritos anteriormente, el área de referencia se establece usando la información de la codificación del área objetivo de vector de referencia para reducir el número de tiempos de ejecución de la búsqueda de área correspondiente. Sin embargo, debido a la influencia de la optimización de la distorsión de velocidad o si la condición supuesta no es eficaz, el área de referencia establecida por este método puede no ser la más adecuada para generar la imagen predicha del área objetivo de codificación.

45 Por lo tanto, considerando la característica de que incluso cuando el área de referencia difiere del área óptima tal diferencia no es muy grande, el área de referencia establecida por el método pertinente puede considerarse como un área de referencia temporal y solo un área periférica de la misma puede someterse a una búsqueda de área correspondiente para mejorar la posibilidad de proporcionar una condición óptima para generar la imagen predicha. En los métodos pertinentes, con un menor coste computacional que el requerido para una búsqueda simple de área correspondiente, puede obtenerse un punto correspondiente que tenga prácticamente la misma calidad.

Además, en lugar de establecer directamente un área de referencia en el cuadro de referencia usando la información de imagen o la información de codificación del área objetivo de vector de referencia, es posible que un cuadro ya codificado diferente del cuadro objetivo de vector de referencia o del cuadro de referencia se establezca como un

55 cuadro intermedio; un área intermedia, que es un área correspondiente en el cuadro intermedio, se establece usando la información de imagen o la información de codificación del área objetivo de vector de referencia; y después, un área correspondiente en el cuadro de referencia se establece usando la información de imagen o la información de codificación del área intermedia para usar el área establecida como el área de referencia.

Por lo general, con el fin de detectar un área correspondiente relacionada con cambio debido a una disparidad entre las imágenes de diferentes cuadros, se necesita un intervalo de búsqueda más pequeño que el requerido para detectar un área correspondiente relacionada con un cambio temporal. Esto se debe a que tal cambio en la imagen debido a la disparidad, provocado por la disposición de las cámaras, aparece en una única dirección y la cantidad de cambio está dentro de un determinado intervalo limitado. En particular, cuando se conocen los parámetros de 65 cámara de las cámaras que obtienen las imágenes, la restricción de la geometría epipolar es eficaz, de manera que un área en una imagen obtenida por una de las cámaras se presenta a lo largo de una línea recta en una imagen

obtenida por otra de las cámaras. Por lo tanto, basta con buscar solamente un área periférica de la línea recta teniendo en cuenta los errores en los parámetros de cámara.

Sin embargo, si hay cambios de disparidad y de tiempo entre los cuadros pertinentes, la característica descrita 5 anteriormente no es eficaz y debe buscarse un intervalo más amplio que el requerido para detectar solamente el cambio temporal.

Sin embargo, en el método descrito anteriormente de un cuadro intermedio, el área intermedia establecida hace posible buscar un área correspondiente relacionada con un cambio de imagen debido a factores de tiempo o a factores entre cámaras en la primera y en la segunda etapa de búsqueda. Por consiguiente, un área correspondiente puede detectarse mediante un menor número de tiempos de cálculo en comparación con la detección de área de referencia directa.

Además, el cuadro intermedio puede ser un cuadro objetivo de vector de referencia usado durante la codificación del

15 área objetivo de vector de referencia o un cuadro de referencia usado durante la codificación del área objetivo de vector de referencia. En cada caso, el área intermedia puede ser un área objetivo de vector de referencia usada durante la codificación del área objetivo de vector de referencia actual o un área de referencia usada durante la codificación del área objetivo de vector de referencia. En el proceso anterior, si el cuadro intermedio es más parecido al cuadro de referencia en comparación con el cuadro objetivo de vector de referencia, la búsqueda para determinar el área de referencia usando el área intermedia puede llevarse a cabo más fácilmente que la búsqueda para determinar el área de referencia usando el área objetivo de vector de referencia, reduciéndose de este modo la cantidad de cálculo.

Cuando se establece el área de referencia usando el área intermedia, no solo puede usarse la información de

25 imagen y la información de codificación del área intermedia, sino también la información de imagen y la información de codificación del área objetivo de vector de referencia.

Si el cuadro intermedio establecido es un cuadro ya codificado, donde las relaciones de tiempo y de información de puntos de visualización entre el cuadro ya codificado y el cuadro objetivo de vector de referencia son idénticas a aquellas entre el cuadro objetivo de codificación y el cuadro de referencia, entonces la imagen predicha puede generarse usando información de imagen de tres áreas correspondientes asignadas al área objetivo de codificación, es decir, información de imagen del área objetivo de vector de referencia, información de imagen del área intermedia e información de imagen del área de referencia.

35 Con el fin de generar la imagen predicha usando la información de imagen de las tres áreas correspondientes, puede usarse un método para calcular un valor promedio o un valor de mediana para cada píxel. Además, como el cuadro de referencia y el cuadro objetivo de codificación tienen una relación idéntica a la relación entre el cuadro intermedio y el cuadro objetivo de vector de referencia, puede suponerse que un cambio entre el área intermedia y el área objetivo de vector de referencia también se produce entre el área de referencia y el área objetivo de codificación para generar la imagen predicha según la siguiente fórmula:

En la fórmula anterior, pix indica la posición de píxel en el área pertinente, Pred indica la imagen predicha, Ref indica

45 la información de imagen del área de referencia, RVec indica la información de imagen del área objetivo de vector de referencia y Mid indica la información de imagen del área intermedia.

En los métodos anteriores se usa información de un mayor número de áreas correspondientes sin aumentar la cantidad de información que debe codificarse y se usa para generar la imagen predicha. Por lo tanto, es posible generar una imagen predicha similar a la información de imagen del área objetivo de codificación. Aunque la imagen predicha puede generarse mediante cualquier método, debe usarse el mismo método de generación en el lado de codificador y en el lado de descodificador.

También es posible llevar a cabo la codificación seleccionando si la imagen predicha se genera usando la

55 información de imagen del área de referencia, la información de imagen del área de referencia y del área objetivo de vector de referencia, o la información de imagen del área de referencia, del área objetivo de vector de referencia y del área intermedia. En este caso, es necesario codificar información que indica que la información de imagen de determinada área se usó para generar la imagen predicha.

Además, la información también puede asignarse a un método de generación de imagen predicha usando otra combinación de áreas, o a cada uno de los métodos de generación de imagen predicha usando las tres áreas descritas anteriormente, para seleccionar el método de generación de imagen predicha.

Cuando se codifica la información que indica el método de generación de imagen predicha, solo puede codificarse la información, o la información puede codificarse con otra información (por ejemplo, información de designación de cuadro de referencia) que también debe codificarse. Es decir, 0 ó 1 pueden codificarse como la información de

5 designación de cuadro de referencia, y 0, 1 ó 2 pueden codificarse como la información para designar el método de generación de imagen predicha; o información que indica uno cualquiera de (0, 0), (0, 1), (0, 2), (1, 0), (1, 1) y (1, 2) puede codificarse para la combinación de ambos elementos de información.

Cuando el área objetivo de vector de referencia se ha codificado sin llevar a cabo una predicción de vídeo

10 intercuadro, esto representa que no puede obtenerse ningún cuadro ya codificado ni ninguna área adecuada en el mismo para predecir la información de imagen del área objetivo de vector de referencia. Por lo tanto, en el área objetivo de codificación correspondiente a un área objetivo de vector de referencia de este tipo, la posibilidad de seleccionar un área en un cuadro diferente al cuadro objetivo de vector de referencia como el área usada para generar la imagen predicha debe ser pequeña.

15 Por lo tanto, cuando se codifica la información de designación de cuadro de referencia, el código correspondiente a la información para designar el mismo cuadro como el cuadro objetivo de vector de referencia puede ser corto, con el fin de reducir la cantidad de código requerido para codificar la información de designación de cuadro de referencia.

20 Además, el código correspondiente a la información para designar un cuadro que corresponde al cuadro de referencia o al cuadro objetivo de vector de referencia usado durante la codificación del área objetivo de vector de referencia a la que se ha asignado una relación correspondiente, también puede ser corto para reducir adicionalmente la cantidad de código requerido para codificar la información de designación de cuadro de referencia.

25 Es decir, la tabla de palabras de código usada durante la codificación de la información de designación de cuadro de referencia puede conmutar usando la información de codificación del área objetivo de vector de referencia para codificar la información de designación de cuadro de referencia con una menor cantidad de código. Asimismo, cuando se codifica la información de designación de método de generación de imagen predicha, la tabla de palabras

30 de código pertinente puede conmutar usando la información de codificación del área objetivo de vector de referencia.

A continuación se explicará en detalle la presente invención según las realizaciones.

La figura 6 muestra un aparato de codificación de vídeo 100 como una realización de la presente invención.

35 El aparato de codificación de vídeo 100 incluye una unidad de entrada de imagen 101 en la que se introduce una imagen como un objetivo de codificación, un generador de imagen predicha 102 que genera una imagen predicha usando una imagen ya codificada para cada área de una imagen objetivo de codificación dividida, un codificador de imagen diferencial 103 que codifica una imagen diferencial entre la imagen de entrada y la imagen predicha, un

40 descodificador de imagen diferencial 104 que descodifica datos codificados de la imagen diferencial, una memoria de cuadros de referencia 105 que acumula una imagen descodificada de un área objetivo de codificación generada por la suma de la imagen diferencial descodificada y la imagen predicha, una unidad de establecimiento de cuadro de referencia 106 para seleccionar un cuadro de referencia para generar la imagen predicha, a partir de la memoria de cuadros de referencia 105, una unidad de establecimiento de cuadro objetivo de vector de referencia 107 para

45 seleccionar un cuadro objetivo de vector de referencia como un (cuadro) objetivo de referencia de información de vector que va a codificarse, a partir de la memoria de cuadros de referencia 105, una unidad de establecimiento de método de generación de imagen predicha 108 para establecer un método de generación de imagen predicha asignado a un área correspondiente obtenida, un codificador de información adicional 109 para codificar información adicional que consiste en información de designación de cuadro de referencia, información de designación de

50 cuadro objetivo de vector de referencia e información de designación de método de generación de imagen predicha, una unidad de búsqueda de área objetivo de vector de referencia 110 para obtener un vector de referencia usando la imagen de entrada y el cuadro objetivo de vector de referencia, una unidad de búsqueda de área de referencia 111 para buscar un área de referencia usando la información de imagen del área objetivo de vector de referencia y el cuadro de referencia, una memoria de acumulación de información de relación correspondiente 112 que almacena el

55 conjunto formado por el vector de referencia, el área de referencia, el cuadro objetivo de vector de referencia y el cuadro de referencia, que se usó para la codificación pertinente, en asociación con el cuadro objetivo de codificación y el área objetivo de codificación, un generador de vector de referencia predicho 113 para generar un vector de referencia predicho correspondiente al vector de referencia del área objetivo de codificación, usando un vector de referencia que se usó durante la codificación de un área adyacente del área objetivo de codificación, y un codificador

60 de vector de referencia diferencial 114 para codificar un vector de referencia diferencial que es la diferencia entre el vector de referencia y el vector de referencia predicho.

La figura 7 muestra un diagrama de flujo del proceso de codificación de vídeo ejecutado por el aparato de codificación de vídeo 100, que presenta la estructura descrita anteriormente. En cada diagrama de flujo explicado en lo sucesivo, un

65 bloque o cuadro que tiene un índice asignado representa un bloque o cuadro indicado por el índice.

Según el diagrama de flujo pertinente se explicará en detalle el proceso de codificación de vídeo ejecutado por el aparato de codificación de vídeo 100 configurado de la manera indicada anteriormente, donde se supone que las imágenes de una pluralidad de cuadros ya están codificadas y los resultados de las mismas se han almacenado en la memoria de cuadros de referencia 105 y en la memoria de acumulación de información de relación correspondiente 112.

5 En primer lugar, una imagen que pasará a ser un objetivo de codificación se introduce en la unidad de entrada de imagen 101 (S101). La imagen objetivo de codificación introducida se divide completamente en áreas y cada área se codifica (S102-S131).

En este diagrama de flujo, blk indica un índice de un bloque (área) y MaxBlk indica el número total de bloques para una imagen. Después de inicializar el índice blk a 1 (S102), los procesos siguientes (S103 a S129) se ejecutan repetidamente incrementando al mismo tiempo blk en 1 (S131) hasta que alcanza el valor MaxBlk (S130).

En un proceso llevado a cabo en cada bloque se determina (S113 a S126) un cuadro objetivo de vector de referencia

15 best_ref_vec, un cuadro de referencia best_ref y un vector de referencia best_mv_ref para codificar el bloque, un vector best_mv que indica un área de referencia en el cuadro de referencia, un método de generación de imagen predicha best_pmode y un vector de referencia predicho best_pmv, y se genera una imagen predicha para la información de imagen del área objetivo de codificación usando la información anterior (S127). Después, información adicional que consiste en best_ref_vec, best_ref y best_pmode se codifica en el codificador de información adicional 109, "best_mv_ref -best_pmv" se codifica mediante el codificador de vector de referencia diferencial 114, una imagen diferencial entre la imagen de entrada y la imagen predicha se codifica mediante el codificador de imagen diferencial 103 y se proporcionan los datos codificados pertinentes (S128).

En la siguiente ejecución del proceso de codificación, los datos codificados se descodifican y una imagen descodificada

25 se almacena en la memoria de cuadros de referencia 105. La información relacionada con las áreas correspondientes (es decir, dos áreas tales como un área objetivo de vector de referencia indicada por best_mv_ref y un área de referencia indicada por best_mv) usada para generar la imagen predicha se almacena en la memoria de acumulación de información de relación correspondiente 112 en asociación con el número del cuadro objetivo de codificación y la posición del bloque blk en la imagen pertinente (S129).

Es decir, cuando “cur” indica el valor de índice para indicar el cuadro objetivo de codificación y "pos" indica la posición del bloque blk en la imagen pertinente, un conjunto formado por "cur, pos, best_ref, best_ref_vec, best_mv_ref y best_mv" se almacena en la memoria de acumulación de información de relación correspondiente 112. El proceso de generación de imagen predicha S127 y el proceso de codificación de información adicional S128 se explicarán posteriormente en

35 detalle.

Además, la información usada para generar la imagen predicha para la codificación se obtiene ejecutando repetidamente los procesos siguientes (S104 a S124) para todos los cuadros ya codificados de la memoria de cuadros de referencia 105, que pueden usarse como un cuadro objetivo de vector de referencia.

Específicamente, después de inicializar un índice de cuadro objetivo de vector de referencia ref_vec a 1 (S102), inicializando además un coste de distorsión de velocidad mínimo bestCost para el bloque blk a un valor máximo que no puede alcanzarse MaxCost y fijando "pos" en una posición en la imagen del bloque blk (S103), los procesos siguientes se ejecutan repetidamente incrementando al mismo tiempo ref_vec en 1 (S126) hasta que alcanza el número NumOfRef

45 de cuadros que están almacenados en la memoria de cuadros de referencia 105 y pueden usarse (S125). En los procesos repetidos se genera un vector de referencia predicho pmv usando el vector de referencia en un bloque ya codificado adyacente al bloque blk (S104) y se determina una combinación formada por un vector de referencia, un cuadro de referencia, un área de referencia y un método de generación de imagen predicha, que minimiza el coste de distorsión de velocidad cuando un cuadro indicado por ref_vec es el cuadro objetivo de vector de referencia (S105 a S124). En este proceso, las etapas siguientes (S106 a S122) se ejecutan repetidamente para todos los cuadros ya codificados que están almacenados en la memoria de cuadros de referencia 105 y pueden usarse como el cuadro de referencia.

Específicamente, después de inicializar un índice de cuadro de referencia a 1 (S105), los procesos siguientes se ejecutan

55 repetidamente incrementando al mismo tiempo ref en 1 (S124) hasta que alcanza el valor NumOfRef (S123), donde en los procesos repetidos se determina que ref_vec coincide con ref (S106), y si se determina que coinciden entre sí, es decir, si no hay sustancialmente ningún cuadro objetivo de vector de referencia (correspondiente a un estado convencional), entonces un proceso de determinación de un vector de referencia que proporciona un coste de distorsión de velocidad mínimo (S107 a S114) se lleva a cabo repetidamente mientras que el cuadro de referencia y el cuadro objetivo de vector de referencia se indican mediante "ref".

En el proceso pertinente, después de inicializar un índice candidato de vector de referencia mv_ref_idx a 1 (S107), los procesos siguientes (S108 a S112) se ejecutan repetidamente incrementando al mismo tiempo mv_ref_idx en 1 (S114) hasta que alcanza el número predeterminado MumOfListMvRef de candidatos para el vector de referencia (S113). En los 65 procesos repetidos, el vector de referencia correspondiente a mv_ref_idx se establece como mv_ref (S108), la información de imagen de un área en la posición "pos + mv_ref" en el cuadro ref se establece como una imagen predicha

Pred[] (S109), se calcula (S110) un coste de distorsión de velocidad, denominado simplemente "cost", y se determina si el coste es menor que bestCost (S111).

Si se determina que cost es menor que bestCost, besCost se reescribe como cost, best_ref se reescribe como ref, 5 best_ref_vec se reescribe como ref, best_ref_mid se reescribe como ref, best_mv se reescribe como 0 (vector cero), best_mv_ref se reescribe como mv_ref, best_pmode se reescribe como 1 y best_pmv se reescribe como pmv (S112).

El coste de distorsión de velocidad calculado en S110 puede obtenerse codificando la imagen diferencial, el vector de referencia diferencial “mv_ref - pmv” y la información adicional para calcular la cantidad de código, y descodificando los

10 datos codificados para calcular una degradación de calidad, llevándose a cabo de este modo un cálculo basado en la siguiente fórmula 2. En otro método, un coste de distorsión de velocidad simplificado puede calcularse como el coste de distorsión de velocidad de acuerdo con la siguiente fórmula 3. Sin embargo, en el proceso de codificación de un bloque blk debe usarse una única fórmula.

En la fórmula anterior, λ1 es un multiplicador de Lagrange indefinido y es un valor predeterminado. Además, pix indica la posición de píxel, Org[] indica información de imagen del área objetivo de codificación en la imagen de entrada y Dec[] indica información de imagen de la imagen descodificada. Además, bit (vector, ref1, ref2, modo) es una función que

20 devuelve la cantidad de código generado cuando "vector" se codifica como el vector de referencia diferencial, ref1 se codifica como la información de designación de cuadro objetivo de vector de referencia, ref2 se codifica como la información de designación de cuadro de referencia y "modo” se codifica como la información de designación de método de generación de imagen predicha. BITS indica la cantidad de código requerido durante la codificación de la imagen diferencial Res[] (=Org[] - Pred[]).

En la fórmula anterior, λ2 es un multiplicador de Lagrange indefinido y es un valor predeterminado. Además, pbit (vector, ref1, ref2, modo) es una función que devuelve la cantidad de código generado cuando "vector" se codifica como el vector

30 de referencia diferencial, ref1 se codifica como la información de designación de cuadro objetivo de vector de referencia, ref2 se codifica como la información de designación de cuadro de referencia y "modo” se codifica como la información de designación de método de generación de imagen predicha.

Si en la determinación S106 se determina que ref_vec no coincide con ref (es decir, el cuadro objetivo de vector de

35 referencia no coincide con el cuadro de referencia), entonces se determinan el vector de referencia b_mv_ref, el vector b_mv, que indica el área de referencia, y el índice de método de generación de imagen predicha b_pmode, que proporcionan el coste de distorsión de velocidad mínimo denominado “mcost” cuando el cuadro indicado por ref es el cuadro de referencia y el cuadro indicado por ref_vec es el cuadro objetivo de vector de referencia (S117). El proceso S117 se explicará en detalle posteriormente.

40 Después, se determina si mcost es menor que bestCost (S118). Si mcost es menor que bestCost, bestCost se reescribe como mcost, best_ref se reescribe como ref, best_ref_vec se reescribe como ref_vec, best_mv se reescribe como b_mv, best_mv_ref se reescribe como b_mv_ref, best_pmode se reescribe como b_pmode y best_pmv se reescribe como pmv (S119). Por el contrario, si mcost es mayor que bestCost, el proceso S119 se omite.

45 Después se detecta un cuadro ya codificado (cuadro intermedio) si las relaciones de tiempo y de puntos de visualización entre el cuadro ya codificado y el cuadro indicado por ref_vec coinciden con aquellas entre el cuadro objetivo de codificación y el cuadro indicado por ref, y el índice que indica el cuadro ya codificado se define como ref_mid (S115). Si en la memoria de cuadros de referencia 105 no hay ningún cuadro ya codificado que satisfaga la condición anterior,

50 ref_mid se fija como ref.

Después se determina si ref_mid coincide con ref o ref_vec (S116).

En la determinación S116, si se determina que ref_mid no coincide con ref o con ref_vec, entonces se determina el vector de referencia b_mv_ref, el vector b_mv_mid que indica el área intermedia, el vector b_mv que indica el área de referencia y el índice de método de generación de imagen predicha b_pmode, que proporcionan el coste de distorsión de

5 velocidad mínimo "mcost" cuando el cuadro indicado por ref es el cuadro de referencia, el cuadro indicado por ref_vec es el cuadro objetivo de vector de referencia y el cuadro indicado por ref_mid es el cuadro intermedio (S120). El proceso S120 se explicará en detalle posteriormente.

Después se determina si mcost es menor que bestCost (S121). Si mcost es menor que bestCost, bestCost se reescribe como mcost, best_ref se reescribe como ref, best_ref_vec se reescribe como ref_vec, best_ref_mid se reescribe como ref_mid, best_mv se reescribe como b_mv, best_mv_ref se reescribe como b_mv_ref, best_mv_mid se reescribe como b_mv_mid, best_pmode se reescribe como b_pmode y best_pmv se reescribe como pmv (S122).

Por el contrario, si mcost es mayor que bestCost, el proceso S122 se omite. En la determinación S116, si ref_mid 15 coincide con ref o con ref_vec, los procesos S120 hasta el S122 anterior también se omiten.

La razón por la que S120 se lleva a cabo después de S117 es que el coste de distorsión de velocidad puede reducirse cuando se genera el cuadro intermedio.

A continuación se explicará en detalle el proceso S117 con referencia al diagrama de flujo mostrado en la figura 8.

En este proceso, mientras que el vector de referencia varía, un área de referencia se asigna a un vector de referencia actualmente establecido y se calcula un método de generación de imagen predicha para proporcionar el coste de distorsión de velocidad más adecuado para el mismo.

25 Específicamente, después de inicializar el índice candidato de vector de referencia mv_ref_idx a 1 y después de inicializar también el coste de distorsión de velocidad mínimo “mcost” a un valor máximo que no puede alcanzarse MaxCost (S201), los procesos siguientes (S202 a S211) se ejecutan repetidamente incrementando al mismo tiempo mv_ref_idx en 1 (S213) hasta que alcanza el número asignado NumOfListMvRef de candidatos de vector de referencia (S212).

En los procesos repetidos (S202 a S211) en primer lugar se obtiene un vector de referencia al que se asigna mv_ref_idx y se establece como mv_ref (S202). Después, se calcula un grado de diferencia entre la información de imagen del bloque blk en la imagen de entrada y la información de imagen de un área en la posición "pos + mv_ref" en el cuadro

35 ref_vec, y se determina si el grado es menor que un umbral predeterminado TH (S203). El grado de diferencia entre los dos elementos de información de imagen puede calcularse mediante cualquier método, por ejemplo, calculando la suma de diferencias absolutas, la suma de diferencias elevadas al cuadrado o una varianza de diferencias en función de los valores de píxeles correspondientes entre las dos áreas pertinentes, donde el umbral TH debe asignarse al método de cálculo utilizado.

Si el grado de diferencia es mayor o igual al umbral, esto indica que la información de imagen del área objetivo de vector de referencia indicada por mv_ref es muy diferente de la información de imagen del área objetivo de codificación y, por tanto, el área objetivo de vector de referencia no corresponde al área objetivo de codificación. Por lo tanto, la operación aplicada al mv_ref_idx actual finaliza.

45 Si en la determinación S203 se determina que el grado de diferencia es menor que el umbral, entonces se calcula un área que pertenece al cuadro ref y que corresponde al área en la posición "pos + mv_ref" en el cuadro ref_vec, y se calcula "mv" para establecer la posición del área calculada como "pos + mv_ref + mv" (S204). El proceso S204 se explicará en detalle posteriormente.

Después se determina si puede generarse una imagen predicha para proporcionar el coste de distorsión de velocidad mínimo, usando la información de imagen RVec[] del área en la posición "pos + mv_ref" en el cuadro ref_vec y la información de imagen Ref[] del área en la posición "pos + mv_ref + mv" en el cuadro ref (S205 a S211).

55 Específicamente, después de inicializar el índice de método de generación de imagen predicha a 1 (S205), los procesos siguientes (S206 a S209) se ejecutan repetidamente incrementando al mismo tiempo pmode en 1 (S211) hasta que alcanza el valor 2 (S210). En los procesos repetidos, una imagen predicha se genera usando un método de generación de imagen predicha correspondiente a pmode (S206), se calcula el coste de distorsión de velocidad “cost” correspondiente (S207) y se determina si "cost” es menor que mcost (S208). Si se determina que “cost” es menor, mcost se reescribe como cost, b_mv_ref se reescribe como mv_ref, b_mv se reescribe como mv y b_pmode se reescribe como pmode (S209). El cálculo del coste de distorsión de velocidad en S207 se lleva a cabo usando un método similar al usado en la etapa S110 descrita anteriormente.

En el proceso anterior, el valor máximo de pmode se fija a 2. Esto se debe a que como método de generación de imagen

65 predicha que puede usarse cuando se obtienen dos elementos de información de imagen (información de imagen del cuadro objetivo de vector de referencia e información de imagen del cuadro de referencia), solo dos métodos se consideran como candidatos, es decir, un método de generación de una imagen predicha que solo usa la información de imagen del cuadro de referencia y un método de generación de una imagen predicha mediante el cálculo del promedio de dos valores de información de imagen para cada par de píxeles correspondientes. Sin embargo, el valor máximo de pmode puede aumentar para usar también otro método, por ejemplo para calcular la suma de valores ponderados para los dos elementos de información de imagen.

Es decir, aunque los métodos de generación de imagen predicha (pmode = 1, 2) se definen en este caso (véase la Fórmula 4) para facilitar la explicación, puede usarse o añadirse otro método de generación de imagen predicha.

En la presente realización, un método de generación de una imagen predicha que solo usa la información de imagen del cuadro objetivo de vector de referencia no se utiliza como candidato. Esto se debe a que tal método corresponde a un método de generación de imagen predicha cuando el cuadro objetivo de vector de referencia es igual al cuadro de

15 referencia.

A continuación se explicará en detalle el proceso S117 con referencia al diagrama de flujo mostrado en la figura 9.

En este proceso, mientras que el vector de referencia varía, un área de referencia y un área intermedia se asignan a un

20 vector de referencia actualmente establecido, y se calcula un método de generación de imagen predicha para proporcionar el coste de distorsión de velocidad más adecuado para el mismo.

Específicamente, después de inicializar el índice candidato de vector de referencia mv_ref_idx a 1 y después de inicializar también el coste de distorsión de velocidad mínimo “mcost” a un valor máximo que no puede alcanzarse

25 MaxCost (S301), los procesos siguientes (S202 a S211) se ejecutan repetidamente incrementando al mismo tiempo mv_ref_idx en 1 (S314) hasta que alcanza el número asignado NumOfListMvRef de candidatos de vector de referencia (S213).

En los procesos repetidos (S302 a S312) en primer lugar se obtiene un vector de referencia al que se asigna mv_ref_idx,

30 y se establece como mv_ref (S302). Después, se calcula un grado de diferencia entre la información de imagen del bloque blk en la imagen de entrada y la información de imagen de un área en la posición "pos + mv_ref" en el cuadro ref_vec, y se determina si el grado es menor que un umbral predeterminado TH (S303). El proceso en cuestión es similar al S203 y el grado de diferencia puede calcularse como se calculó en S203.

35 Si el grado de diferencia es mayor o igual al umbral, esto indica que la información de imagen del área objetivo de vector de referencia indicada por mv_ref es muy diferente de la información de imagen del área objetivo de codificación y, por tanto, el área objetivo de vector de referencia no corresponde al área objetivo de codificación. Por lo tanto, la operación aplicada al mv_ref_idx actual finaliza.

40 Si en la determinación S303 se determina que el grado de diferencia es menor que el umbral, entonces se calcula un área que pertenece al cuadro ref_mid y que corresponde al área en la posición "pos + mv_ref" en el cuadro ref_vec, y se calcula "mv_mid" para establecer la posición del área calculada como "pos + mv_ref + mv_mid" (S304).

Después se calcula un área que pertenece al cuadro ref y que corresponde al área en la posición "pos + mv_ref +

45 mv_mid" en el cuadro ref_mid, y se calcula "mv" para establecer la posición del área calculada como "pos + mv_ref + mv" (S305). Los procesos S304 y S305 se explicarán en detalle posteriormente.

En el proceso S305, cuando se determina el área en el cuadro ref, en lugar del área en la posición “pos + mv_ref + mv_mid" en el cuadro ref_mid, el área en la posición "pos + mv_ref" en el cuadro ref_vec puede usarse como el área

50 base correspondiente. En este caso, información de imagen usada como una plantilla no cambia y, por tanto, es posible impedir una acumulación de errores debida a un cálculo de área correspondiente, lo que puede proporcionar un área correspondiente que presenta información de imagen diferente a la información de imagen del área objetivo de codificación.

55 Después se determina si puede generarse o no una imagen predicha para proporcionar el coste de distorsión de velocidad mínimo, usando la información de imagen RVec[] del área en la posición “pos + mv_ref” en el cuadro ref_vec, la información de imagen Mid[] del área en la posición “pos + mv_ref + mv_mid" en el cuadro ref_mid, y la información de imagen Ref[] del área en la posición "pos + mv_ref + mv" en el cuadro ref (S306 a S312).

60 Específicamente, después de inicializar el índice de método de generación de imagen predicha pmode a 1 (S306), los procesos siguientes (S307 a S310) se ejecutan repetidamente incrementando al mismo tiempo pmode en 1 (S312) hasta que alcanza el número MaxPmode de los métodos de generación de imagen predicha (S311). En los procesos repetidos, una imagen predicha se genera usando un método de generación de imagen predicha correspondiente a pmode (S307), se calcula el coste de distorsión de velocidad "cost" correspondiente (S308) y se determina si "cost" es menor que mcost

5 (S309). Si se determina que "cost" es menor que mcost, mcost se reescribe como cost, b_mv_ref se reescribe como mv_ref, b_mv_mid se reescribe como mv_mid, b_mv se reescribe como mv y b_pmode se reescribe como pmode (S310). El cálculo del coste de distorsión de velocidad en S308 se lleva a cabo usando un método similar al usado en la etapa S110 descrita anteriormente.

10 En el proceso anterior, como método de generación de imagen predicha que puede usarse cuando se obtienen tres elementos de información de imagen (información de imagen del cuadro objetivo de vector de referencia, información de imagen del cuadro de referencia e información de imagen del cuadro intermedio), además de los métodos representados en la Fórmula 4, otros tres métodos están disponibles, es decir, un método de generación de una imagen predicha mediante el cálculo de un promedio de tres valores de información de imagen para cada conjunto de píxeles

15 correspondientes, un método de generación de una imagen predicha mediante el cálculo de un valor de mediana de tres valores de información de imagen para cada conjunto de píxeles correspondientes y un método de generación de una imagen predicha con la suposición de que un cambio entre el área intermedia y el área objetivo de vector de referencia también se produce entre el área de referencia y el área objetivo de codificación.

20 Los tres métodos de generación de imagen predicha pueden representarse mediante la Fórmula 5 siguiente. Para facilitar la explicación, los tres métodos corresponden a “pmode = 3, 4, 5”. Sin embargo, otro valor de pmode puede asignarse a otro método, o el orden de asignación de valores de pmode puede cambiar.

25 Para la predicción de pmode = 5, puede obtenerse una mayor precisión en la predicción cuando el proceso S305 se ejecuta exactamente como está escrito en el diagrama de flujo, ya que el estado supuesto es el que se produce con más frecuencia. Por el contrario, para la predicción de pmode = 4, puede obtenerse una mayor precisión en la predicción cuando el proceso S305 no se ejecuta exactamente como se indica, sino cuando se ejecuta determinando el área en un

30 cuadro ref usando, como se ha descrito anteriormente, el área (como el área base correspondiente) en la posición “pos + mv_ref” en el cuadro ref_vec en lugar del área en la posición “pos + mv_ref + mv_mid" en el cuadro ref_mid, con el fin de reducir una acumulación de errores. Por lo tanto, S305 del diagrama de flujo en cuestión puede utilizar un método para seleccionar si se usa el área en la posición “pos + mv_ref + mv_mid” en el cuadro ref_mid o el área en la posición “pos + mv_ref” en el cuadro ref_vec, de acuerdo con pmode.

35 Con referencia al diagrama de flujo mostrado en la figura 10, a continuación se explicarán en detalle los procesos de las etapas S204, S304 y S305 descritas anteriormente.

En este diagrama de flujo, los procesos en S204, S304 y S305 son genéricos y se muestra un proceso para calcular un

40 área Y que pertenece a un cuadro B y que corresponde al área en la posición X en el cuadro A. En este caso, para mv o mv_mid determinados en S204, S304 y S305, se calcula un valor requerido usando la posición Y en cada caso. En lo sucesivo, el área en la posición X del cuadro A se denominará simplemente "área AX".

En primer lugar, el índice del cuadro objetivo de vector de referencia usado durante la codificación del área AX se obtiene 45 de la memoria de acumulación de información de relación correspondiente 112 y se establece como ref_vec_t (S401).

En este proceso, un cuadro objetivo de vector de referencia usado durante la codificación del área AX no puede especificarse si, por ejemplo, el área AX no coincide con el bloque unitario para la codificación. En este caso, entre una pluralidad de cuadros objetivo de vector de referencia, el índice de un cuadro objetivo de vector de referencia que es

50 usado por la parte más grande del área AX se establece como ref_vec_t. Además, si no hay ningún cuadro objetivo de vector de referencia, ref_vec_t se establece como un valor que no puede alcanzarse.

Después se determina si el ref_vec_t obtenido coincide con B (S402). Si se determina que coinciden entre sí, se obtiene el vector de referencia mv_vec_t usado durante la codificación del área AX (S403).

55 En este proceso, un vector de referencia usado durante la codificación del área AX no puede especificarse si, por ejemplo, el área AX no coincide con el bloque unitario para la codificación. En este caso, entre los vectores de referencia de áreas en el cuadro objetivo de vector de referencia indicado por ref_vec_t, un vector de referencia que es usado por el área más grande se establece como mv_vec_t. En este caso, en lugar de seleccionar simplemente un vector de referencia usado por el área más grande, puede seleccionarse uno usando un valor promedio o de mediana calculado por ponderación según el tamaño de cada área, o un valor promedio o de mediana calculado sin tal ponderación.

Después de calcular mv_vec_t, el área Y, que presenta información de imagen similar a la del área AX, se detecta en

5 torno a la posición "X + mv_vec_t" en el cuadro B (S404). Con el fin de reducir la cantidad de cálculo de búsqueda, la posición "X + mv_vec_t" puede sustituirse por Y. Esto se debe a que se hizo referencia al área indicada por “X + mv_vec_t” durante la codificación del área AX y, por tanto, presenta información de imagen aceptablemente similar a la del área AX. En este caso, la idoneidad de la relación correspondiente pertinente no se degrada considerablemente.

Por el contrario, si en la determinación S402 se determina que ref_vec_t y B no coinciden entre sí, el índice del cuadro de referencia usado durante la codificación del área AX se obtiene de la memoria de acumulación de información de relación correspondiente 112 y se establece como ref_t (S405). En este proceso, similar al proceso S401, puede obtenerse una pluralidad de cuadros de referencia. En este caso, se determina un ref_t usando un método similar al explicado en la etapa S401 descrita anteriormente.

15 Después, se determina si ref_t y B coinciden entre sí (S406).

Si se determina que coinciden entre sí, entonces el vector mv_t definido desde la posición X hasta el área de referencia, que se usó durante la codificación del área AX, se obtiene de la memoria de acumulación de información de relación correspondiente 112 (S407). Si una pluralidad de vectores mv_t se obtiene para el área AX, un mv_t se determina según un método explicado en la etapa S403 descrita anteriormente. Después de obtener el mv_t, el área Y que presenta información de imagen similar a la del área AX se detecta en torno a la posición “X + mv_t” en el cuadro B (S408). Tal y como se ha descrito en la etapa S404 descrita anteriormente, la posición "X + mv_t" puede sustituirse por Y con el fin de reducir la cantidad de cálculo de búsqueda.

25 Por el contrario, si en la determinación S406 se determina que ref_t no coincide con B, entonces el área Y que pertenece al cuadro B y que presenta información de imagen similar a la del área AX se obtiene mediante un método de búsqueda habitual, tal como la correspondencia entre bloques (S409).

A continuación se explicará en detalle el proceso de generación de imagen predicha S127.

La imagen predicha se genera mediante el siguiente procedimiento 1 de acuerdo con pos, best_ref, best_ref_vec, best_ref_mid, best_mv, best_mv_ref, best_mv_mid y best_pmode, que se obtienen a través de los procesos anteriores a S127.

35 Procedimiento 1

1.: La información de imagen RVec[] del área en la posición “pos + best_mv_ref” en el cuadro best_ref_vec se obtiene de la memoria de cuadros de referencia 105.

2.: Si best_ref coincide con best_ref_vec, el funcionamiento avanza hasta la etapa 6.

3.: La información de imagen Ref[] del área en la posición “pos + best_mv_ref + best_mv” en el cuadro best_ref se

obtiene de la memoria de cuadros de referencia 105. 45

4.: Si best_ref_mid coincide con best_ref, el funcionamiento avanza hasta la etapa 6.

5.: La información de imagen Mid[] del área en la posición "pos + best_mv_ref + best_mv_mid" en el cuadro best_ref_mid se obtiene de la memoria de cuadros de referencia 105.

6.: La imagen predicha Pred[] se genera usando la Fórmula 4 ó 5 según el valor de pmode.

Además, otro método de generación de imagen predicha puede asignarse a pmode y utilizarse.

55 A continuación se explicará en detalle el proceso de codificación de información adicional S128.

En este caso, la información adicional corresponde a best_ref, best_ref_vec y best_pmode. Antes de codificar la información adicional se codifica el vector de referencia diferencial.

En primer lugar se codifica el cuadro objetivo de vector de referencia best_ref_vec. Es muy probable que el best_ref_vec seleccionado sea un cuadro que se haya codificado como best_ref_vec en un área adyacente de bloque blk o que corresponda a un cuadro adyacente al cuadro objetivo de codificación. Por lo tanto, la tabla de palabras de código conmuta para que los índices de cuadro de tales cuadros puedan codificarse con una menor cantidad de código en comparación con la codificación de los índices de cuadro asignados a los otros cuadros. Por consiguiente, la codificación

65 puede llevarse a cabo con una menor cantidad de código en comparación con un caso en que cada cuadro requiere la misma cantidad de código.

Después se codifica el cuadro de referencia best_ref. En este caso, la tabla de palabras de código conmuta usando el best_ref_vec ya codificado y el vector de referencia que puede generarse usando un vector de referencia diferencial que también se ha codificado por separado. Es decir, usando información de codificación del área objetivo de vector de

5 referencia que pertenece al cuadro objetivo de vector de referencia best_ref_vec y que se indica mediante el vector de referencia, la tabla de palabras de código conmuta para que una palabra de código de corta longitud se asigne a un índice de cuadro que debe aparecer con mucha frecuencia.

Por ejemplo, si se usa con mayor frecuencia la intracodificación en el área objetivo de vector de referencia aunque el cuadro objetivo de vector de referencia best_ref_vec no sea un "cuadro I", esto indica que no hay ningún área en otro cuadro que tenga información de imagen similar a la del área objetivo de vector de referencia. Por lo tanto, es muy posible que best_ref sea igual a best_ref_vec. En este caso, una palabra de código de corta longitud se asigna al mismo índice de cuadro que best_ref_vec. Asimismo, para un cuadro usado como el cuadro de referencia o el cuadro objetivo de vector de referencia durante la codificación del área objetivo de vector de referencia, cuanto más ancha sea la parte

15 usada del cuadro pertinente, más alta será la probabilidad de que el cuadro pertinente se seleccione como best_ref. Por lo tanto, una palabra de código se asigna al cuadro según el rango de la probabilidad. Por consiguiente, la codificación puede llevarse a cabo con una menor cantidad de código en comparación con un caso en que una palabra de código que tiene la misma longitud se asigna a cada índice.

Finalmente se codifica best_pmode. La tabla de palabras de código conmuta usando best_ref_vec y best_ref ya codificados y la información de cuadro de la memoria de cuadros de referencia 105.

Por ejemplo, si best_ref_vec y best_ref coinciden entre sí, esto indica que solo puede obtenerse un área correspondiente para un bloque blk y, por tanto, no tiene sentido un valor de pmode distinto de 1. En este caso, la cantidad de código

25 puede reducirse estableciendo una tabla de palabras de código para omitir la propia codificación de pmode.

Por el contrario, si best_ref_vec y best_ref no coinciden entre sí, la posibilidad de que se seleccione 1 como pmode debe ser muy baja. Por lo tanto, la tabla de palabras de código conmuta para que una palabra de código de corta longitud se asigne a cada valor de pmode diferente de 1, llevándose a cabo por tanto una codificación con una menor cantidad de código en comparación con un caso en que una palabra de código que tiene la misma longitud se asigna a cada método de generación de imagen predicha. Además, si solo hay dos cuadros almacenados en la memoria de cuadros de referencia, o si no hay ningún cuadro intermedio apropiado para la combinación de best_ref_vec y best_ref almacenado en la memoria de cuadros de referencia 105, entonces no puede usarse ningún método de generación de imagen predicha que requiera tres áreas correspondientes. Por lo tanto, la tabla de palabras de código puede conmutar para que

35 una palabra de código de corta longitud se asigne a los otros métodos de generación de imagen predicha, realizándose de este modo una codificación con una menor cantidad de código en comparación con un caso en que una palabra de código que tiene la misma longitud se asigna a cada método de generación de imagen predicha.

Tal y como se ha descrito anteriormente, los elementos de información adicional pueden codificarse de manera individual

o puede asignarse un número a cada combinación de los mismos para codificar el número.

Por lo tanto, si dos imágenes (cuyos índices son 1 y 2) están almacenadas en la memoria de cuadros de referencia y puede usarse cinco tipos del método de generación de imagen predicha, entonces el conjunto de {best_ref, best_ref_vec, best_pmode} tiene 20 combinaciones de valores tales como {1, 1, 1} , {1, 1, 2} , {1, 1, 3} , {1, 1, 4} , {1, 1, 5} , {1, 2, 1} ,

45 {1, 2, 2} , {1, 2, 3} , {1, 2, 4} , {1,2, 5} , {2, 1, 1} , {2, 1, 2} , {2, 1, 3} , {2, 1, 4} , {2, 1, 5} , {2, 2, 1} , {2, 2, 2} , {2, 2, 3} , {2, 2, 4} y {2, 2, 5}. Números del 1 al 20 pueden asignarse a las 20 combinaciones y codificarse.

Sin embargo, algunas de las combinaciones no tienen realmente ningún sentido. Por ejemplo, cuando best_ref y best_ref_vec tienen el mismo valor, solo puede obtenerse un área correspondiente para el área objetivo de codificación y, por tanto, “pmode = 2 a 5” es imposible. Por lo tanto, solo 12 combinaciones tales como {1, 1, 1} , {1, 2, 1} , {1, 2, 2} , {1, 2, 3} , {1, 2, 4} , {1, 2, 5} , {2, 1, 1} , {2, 1, 2} , {2, 1, 3} , {2, 1, 4} , {2, 1, 5} y {2, 2, 1} son eficaces, y uno de los números del 1 al 12 debe codificarse.

Además, si la memoria de cuadros de referencia solo incluye dos imágenes, no puede seleccionarse ningún cuadro

55 como un cuadro intermedio y, por tanto, cada valor de pmode que requiere tres áreas correspondientes no tiene sentido. Por lo tanto, las combinaciones eficaces se reducen aún más, y solo 6 combinaciones tales como {1, 1, 1} , {1, 2, 1} , {1, 2, 2} , {2, 1, 1} , {2, 1, 2} y {2, 2, 1} son eficaces. En este caso, uno de los números del 1 al 6 debe codificarse.

Incluso cuando hay tres o más imágenes almacenadas en la memoria de cuadros de referencia, en la presente realización, no puede haber ningún cuadro intermedio apropiado según la combinación de best_ref y best_ref_vec, y puede ser imposible llevar a cabo el método de generación de imagen predicha que requiere tres áreas correspondientes. Incluso en este caso, puede utilizarse un método que no asigne ningún código a cada combinación ineficaz.

65 Además, en lugar de codificar los tres elementos de información, dos de ellos pueden combinarse y codificarse específicamente. Por ejemplo, best_ref_vec puede codificarse individualmente mientras que best_ref y pmode pueden combinarse para su codificación usando una palabra de código. En este caso, un método de codificación mediante la conmutación de la tabla de palabras de código para {best_ref, pmode} según datos codificados de un área objetivo de vector de referencia (que se obtiene usando best_ref_vec y un vector de referencia que se ha

5 codificado por separado) puede inferirse fácilmente.

La figura 11 muestra un aparato de descodificación de vídeo 200 como una realización de la presente invención.

El aparato de descodificación de vídeo 200 incluye un descodificador de imagen diferencial 201 que descodifica datos codificados de una imagen diferencial con respecto a una imagen predicha de una imagen que pasa a ser un objetivo de descodificación, un descodificador de vector de referencia diferencial 202 que descodifica datos codificados de un vector de referencia diferencial como la diferencia entre un vector de referencia, que es necesario para generar una imagen predicha, y un vector de referencia predicho, un descodificador de información adicional 203 que descodifica datos codificados de información adicional que consiste en información de designación de 15 cuadro objetivo de vector de referencia, información de designación de cuadro de referencia e información de designación de método de generación de imagen predicha, que son necesarias para generar la imagen predicha, un generador de imagen predicha 204 que genera una imagen predicha de un área objetivo de descodificación según información proporcionada, una memoria de cuadros de referencia 205 que acumula una imagen descodificada determinada a partir de la suma de una imagen predicha y una imagen diferencial descodificada, un generador de vector de referencia predicho 206 que genera un vector de referencia predicho como un vector predicho del vector de referencia usado en el área objetivo de descodificación, en función de información de vector que se usó en un área adyacente al área objetivo de descodificación, una memoria de acumulación de información de relación correspondiente 207 que almacena el conjunto formado por el vector de referencia, el área de referencia, el cuadro objetivo de vector de referencia y el cuadro de referencia, que se usó para la descodificación pertinente, en

25 asociación con el cuadro objetivo de descodificación y el área objetivo de descodificación, una unidad de establecimiento de área objetivo de vector de referencia 208 para establecer un área objetivo de vector de referencia que pertenece al cuadro objetivo de vector de referencia y que se indica mediante el vector de referencia determinado por la suma del vector de referencia predicho y el vector de referencia diferencial descodificado, y una unidad de búsqueda de área de referencia 209 para buscar un área de referencia usando la información de imagen del área objetivo de vector de referencia y el cuadro de referencia.

La figura 12 muestra un diagrama de flujo del proceso de descodificación de vídeo ejecutado por el aparato de descodificación de vídeo 200, que presenta la estructura descrita anteriormente.

35 Según el diagrama de flujo en cuestión se explicará en detalle el proceso de descodificación de vídeo ejecutado por el aparato de descodificación de vídeo 200, configurado de la manera descrita anteriormente, donde se supone que las imágenes de una pluralidad de cuadros ya están descodificadas y los resultados de las mismas se han almacenado en la memoria de cuadros de referencia 205 y en la memoria de acumulación de información de relación correspondiente 207.

En primer lugar, los datos codificados de una imagen diferencial, los datos codificados del vector de referencia diferencial y los datos codificados de la información adicional se introducen en el aparato de descodificación de vídeo 200 y se envían respectivamente al descodificador de imagen diferencial 201, al descodificador de vector de referencia diferencial 202 y al descodificador de información adicional 203 (S501).

45 La imagen objetivo de descodificación se divide completamente en áreas y cada área se descodifica (S502 a S517). En este diagrama de flujo, blk indica un índice de un bloque (área) y MaxBlk indica el número total de bloques en una imagen. Específicamente, después de inicializar el índice blk a 1 (S502), los procesos siguientes (S503 a S515) se ejecutan repetidamente incrementando al mismo tiempo blk en 1 (S517) hasta que alcanza MaxBlk (S516) para descodificar la imagen pertinente.

En un proceso llevado a cabo en cada bloque, la posición del bloque blk se almacena como “pos” (S503) y un vector de referencia predicho “pmv” se genera usando, por ejemplo, un vector de referencia que está almacenado en la memoria de acumulación de información de relación correspondiente 207 y que se usó en un bloque periférico alrededor del bloque blk (S504).

55 Después, a partir de los datos codificados, se descodifican el índice de cuadro objetivo de vector de referencia dec_ref_vec, el índice de cuadro de referencia dec_ref, el índice de método de generación de imagen predicha dec_pmode, el vector de referencia diferencial dec_sub_mv_ref y la información de imagen Res[] de una imagen residual predicha para el bloque blk; el vector de referencia dec_mv_ref se obtiene calculando "pmv + dec_sub_mv_ref" y mv se inicializa a un vector cero (S505).

Después se determina si dec_ref coincide con dec_ref_vec (S506). Si se determina que coinciden entre sí, se genera la imagen predicha Pred[] (S512). El proceso de generación de imagen predicha llevado a cabo en este caso se realiza según el procedimiento 1 descrito anteriormente, mientras que best_ref se considera como dec_ref, best_ref_vec se 65 considera como dec_ref_vec, best_mv_ref se considera como dec_mv_ref, best_pmode se considera como dec_pmode, best_ref_mid se considera como ref_mid, best_mv_mid se considera como mv_mid y best_mv se considera como mv en

el procedimiento 1.

Por el contrario, si en la determinación S506 se determina que dec_ref no coincide con dec_ref_vec, entonces un cuadro ya descodificado se detecta cuando las relaciones de tiempo y de puntos de visualización entre el cuadro ya

5 descodificado y el cuadro indicado por dec_ref_vec coinciden con aquellas entre el cuadro objetivo de descodificación y el cuadro indicado por dec_ref, y el índice que indica el cuadro ya descodificado se define como ref_mid (S507). Si en la memoria de cuadros de referencia 205 no hay ningún cuadro ya descodificado que satisfaga la anterior condición, ref_mid se establece como dec_ref.

Después se determina si ref_mid coincide o no con dec_ref o con dec_ref_vec (S508).

Si se determina que coinciden entre sí, se calcula un área que pertenece al cuadro dec_ref y que corresponde al área en la posición "pos + dec_mv_ref" en el cuadro dec_ref_vec, y "mv" se calcula para establecer la posición del área calculada como "pos + dec_mv_ref + mv" (S509). Este proceso es igual al realizado en la etapa S204 descrita anteriormente

15 excepto que los nombres de algunas variables son diferentes entre las etapas.

Por el contrario, si en la determinación S508 se determina que ref_mid no coincide con dec_ref o con dec_ref_vec, entonces, en primer lugar, se calcula un área que pertenece al cuadro ref_mid y que corresponde al área en la posición “pos + dec_mv_ref” en el cuadro dec_ref_vec, y “mv_mid” se calcula para establecer la posición del área calculada como “pos + dec_mv_ref + mv_mid” (S510).

En segundo lugar se calcula un área que pertenece al cuadro dec_ref y que corresponde al área en la posición "pos + dec_mv_ref + mv_mid" en el cuadro ref_mid, y "mv” se calcula para establecer la posición del área calculada como “pos

+ dec_mv_ref + mv” (S3511). El proceso anterior es igual al llevado a cabo en las etapas S304 y S305 descritas 25 anteriormente excepto que los nombres de algunas variables son diferentes entre las etapas correspondientes.

Después de que haya finalizado el proceso S509 o el S511, la imagen predicha Pred[] se genera usando la información obtenida (S512). Tal y como se ha descrito anteriormente, el proceso de generación de imagen predicha llevado a cabo en este caso se ejecuta según el procedimiento 1 descrito anteriormente, mientras que best_ref se considera como dec_ref, best_ref_vec se considera como dec_ref_vec, best_mv_ref se considera como dec_mv_ref, best_pmode se considera como dec_pmode, best_ref_mid se considera como ref_mid, best_mv_mid se considera como mv_mid y best_mv se considera como mv en el procedimiento 1.

Después de haberse generado la imagen predicha Pred[], los valores de píxel de Pred[] y de Res[] se suman entre sí

35 para cada píxel, de manera que se genera la imagen descodificada Dec[] (S513). La Dec[] generada se proporciona y se almacena simultáneamente en la memoria de cuadros de referencia 205 (S514). Además, dec_ref_vec, dec_ref, dec_mv_ref, dec_pmode y mv, que se usaron para la descodificación, se almacenan en la memoria de acumulación de información de relación correspondiente 207 en asociación con el índice del cuadro objetivo de descodificación y “pos” (o blk) (S515).

Cuando se descodifican los datos codificados de la información adicional en S505, la descodificación se lleva a cabo mientras conmuta la tabla de palabras de código, de manera similar a los métodos de codificación descritos anteriormente. En este caso, antes de descodificar los datos codificados de la información adicional, se descodifican datos codificados del vector de referencia diferencial y, por tanto, se obtiene el vector de referencia usado en el bloque

45 blk.

En primer lugar se descodifica dec_ref_vec. Es muy probable que el cuadro indicado por dec_ref_vec sea un cuadro que se usó como un cuadro objetivo de vector de referencia en un área adyacente del bloque blk o que corresponda a un cuadro adyacente al cuadro objetivo de codificación. Por lo tanto, también es muy probable que los índices de cuadro correspondientes a tales cuadros se hayan codificado, y la tabla de palabras de código conmuta para que palabras de código de menor longitud se asignen a los índices de cuadro pertinentes en comparación con aquellas asignadas a los índices de cuadro correspondientes a los otros cuadros.

Después se codifica dec_ref. En este caso, la tabla de palabras de código conmuta usando el dec_ref_vec y el vector de

55 referencia ya descodificados. Es decir, usando información de codificación del área objetivo de vector de referencia que pertenece al cuadro dec_ref_vec e indicada por el vector de referencia, la tabla de palabras de código conmuta para que una palabra de código de corta longitud se asigne a un índice de cuadro que debe aparecer con frecuencia.

Por ejemplo, si se usa con mayor frecuencia la intracodificación en el área objetivo de vector de referencia aunque el cuadro dec_ref_vec no sea un "cuadro I", esto representa que no hay ningún área en otro cuadro que tenga información de imagen similar a la del área objetivo de vector de referencia. Por lo tanto, es muy probable que dec_ref sea igual a dec_ref_vec. En este caso, se usa una tabla de palabras de código en la que una palabra de código de corta longitud se asigna al mismo índice de cuadro que dec_ref_vec. Asimismo, para un cuadro usado como el cuadro de referencia o el cuadro objetivo de vector de referencia durante la descodificación del área objetivo de vector de referencia, cuanto más 65 ancha sea la parte usada del cuadro pertinente, mayor será la probabilidad de que el cuadro pertinente se seleccione como dec_ref. Por lo tanto, se usa una tabla de palabras código en la que una palabra de código se asigna al cuadro

según la probabilidad en cuestión.

Finalmente se descodifica dec_pmode. La tabla de palabras de código conmuta usando el dec_ref_vec y el dec_ref ya descodificados y la información de cuadro de la memoria de cuadros de referencia 205. Por ejemplo, si dec_ref_vec y

5 dec_ref coinciden entre sí, esto indica que solo puede obtenerse un área correspondiente para el bloque blk y, por tanto, un valor de dec_pmode distinto de 1 no tiene sentido. Por lo tanto, se determina que dec_pmode no está incluido en los datos codificados y el valor descodificado del mismo se fija a 1.

Por el contrario, si dec_ref_vec y dec_ref no coinciden entre sí, la probabilidad de que se seleccione el valor 1 como dec_pmode debe ser muy baja. Por lo tanto, se usa una tabla de palabras de código en la que se asigna una palabra de código de corta longitud a cada valor de dec_pmode distinto de 1. Además, si solo hay dos cuadros almacenados en la memoria de cuadros de referencia o si no hay ningún cuadro intermedio apropiado para la combinación de dec_ref_vec y dec_ref almacenado en la memoria de cuadros de referencia 205, entonces no puede usarse ningún método de generación de imagen predicha que requiera tres áreas correspondientes. Por lo tanto, la tabla de palabras de código

15 conmuta para que una palabra de código de corta longitud se asigne a los otros métodos de generación de imagen predicha.

Sin embargo, la tabla de palabras de código y el criterio de conmutación de tabla utilizados en este caso deben corresponder a los utilizados en la codificación correspondiente.

Además, como se ha explicado en la realización del aparato de codificación de vídeo 100, en lugar de codificar individualmente los elementos de información adicional, un número puede asignarse a cada combinación de los mismos para codificar el número. En este caso, la descodificación también se lleva a cabo teniendo en cuenta que se ha asignado un número a cada combinación.

25 Aunque la presente invención se ha explicado según las realizaciones, la presente invención no está limitada a las realizaciones.

Por ejemplo, en las realizaciones, el cuadro intermedio es siempre un cuadro que satisface que las relaciones de tiempo y de puntos de visualización entre este cuadro y el cuadro objetivo de vector de referencia coinciden con aquellas entre el cuadro objetivo de codificación o descodificación y el cuadro de referencia. Sin embargo, puede usarse un cuadro definido por otra condición, mientras que el lado de codificación y el lado de descodificación deben tener la misma condición.

35 Por ejemplo, el cuadro intermedio puede establecerse como uno de (i) un cuadro que presenta un tiempo de visualización idéntico al del cuadro objetivo de vector de referencia e información de puntos de visualización idéntica a la del cuadro de referencia, y (ii) un cuadro que presenta un tiempo de visualización idéntico al del cuadro de referencia e información de puntos de visualización idéntica a la del cuadro objetivo de vector de referencia donde, de entre los dos cuadros, se selecciona el que presenta el tiempo de visualización y la información de puntos de visualización más parecidos a los del cuadro objetivo de codificación o descodificación.

Cuando se usa el cuadro intermedio seleccionado de la manera descrita anteriormente, un factor temporal o un factor de cámara producen una variación de imagen desde el cuadro objetivo de vector de referencia hasta el cuadro intermedio y una variación de imagen desde el cuadro intermedio hasta el cuadro de referencia, de manera que puede reducirse la

45 cantidad de cálculo requerido para buscar un área correspondiente.

Además, cuando se usa el cuadro intermedio seleccionado de la manera descrita anteriormente, se reduce la probabilidad de que la información de imagen de una imagen generada por el método de generación de imagen predicha cuando pmode= 5 sea similar a la información de imagen del área objetivo de codificación (o descodificación). Esto se debe a que no se cumple la suposición proporcionada por el método de generación de imagen predicha pertinente. En este caso, (i) puede aplicarse otra condición de manera que el método de generación de imagen predicha pertinente solo puede seleccionarse cuando se cumple la condición supuesta por el método de generación de imagen predicha de manera que la relación entre el cuadro de referencia y el cuadro objetivo de codificación coincide con aquella entre el cuadro intermedio (seleccionado por el método pertinente) y el cuadro objetivo de vector de referencia, o (ii) la tabla de

55 palabras de código puede conmutar, dependiendo de si se cumple o no tal condición supuesta, para asignar una palabra de código de menor longitud a un método de generación de imagen predicha que se selecciona con más frecuencia que otros métodos.

Además, aunque las realizaciones no mencionan la codificación intracuadro, puede añadirse fácilmente como un método para generar una imagen predicha, por ejemplo, asignando otro número como el método de generación de imagen predicha. Además, un aparato de codificación de vídeo o un aparato de descodificación de vídeo implementados de manera que proporcionan por separado modos de codificación (como en H.264) en lugar de proporcionar métodos de generación de imagen predicha, también puede inferirse fácilmente a partir de la presente invención.

65 Los procesos de codificación y de descodificación de vídeo descritos anteriormente también pueden implementarse mediante un programa informático. Tal programa informático puede proporcionarse mediante su almacenamiento en un

medio de almacenamiento apropiado legible por ordenador o mediante una red.

Aunque los aparatos de codificación y de descodificación de vídeo se han explicado principalmente en las realizaciones descritas anteriormente, los métodos de codificación y de descodificación de vídeo de la presente invención pueden 5 implementarse usando las etapas correspondientes al funcionamiento de cada unidad incluida en los aparatos de codificación y de descodificación de vídeo.

Aunque las realizaciones de la presente invención se han descrito con referencia a los dibujos, debe entenderse que son realizaciones a modo de ejemplo de la invención y no deben considerarse con fines limitativos. Por lo tanto, pueden

10 realizarse adiciones, omisiones o sustituciones de elementos estructurales, y otras modificaciones en las realizaciones descritas anteriormente, sin apartarse del concepto y del alcance de la presente invención.

Aplicabilidad industrial

15 Según la presente invención, incluso cuando el cuadro de referencia usado para generar una imagen predicha es diferente entre áreas adyacentes, se usa el mismo cuadro objetivo de vector de referencia, de manera que el factor primario (tiempo o disparidad) que provoca una variación de imagen y que debe representarse mediante un vector, se unifica, y un vector predicho similar a un vector que debe codificarse puede generarse usando un vector ya codificado en un área adyacente. Por lo tanto, la información de vector para la codificación predictiva intercuadro puede codificarse con

20 una menor cantidad de código.

Claims

REIVINDICACIONES

1.- Un aparato de codificación de vídeo (100) para codificar una imagen de vídeo dividiendo una imagen completa en áreas, generando una imagen predicha para cada área de la imagen dividida en función de información de imagen

5 de una pluralidad de cuadros ya codificados, y codificando información diferencial entre una imagen de un área objetivo de codificación en un cuadro objetivo de codificación y la imagen predicha, comprendiendo el aparato de codificación de vídeo:

-

un dispositivo de establecimiento de correspondencias (106, 107) para:

10 presuponer secuencialmente que cada uno de los cuadros ya codificados es un cuadro objetivo de vector de referencia;

presuponer secuencialmente que cada uno de los cuadros ya codificados, excepto uno que se tomó como el cuadro 15 objetivo de vector de referencia, es un cuadro de referencia;

presuponer secuencialmente que cada una de las áreas del cuadro objetivo de vector de referencia supuesto, presentando cada una el mismo tamaño que el área objetivo de codificación, es un área objetivo de vector de referencia;

20 determinar un vector, que se extiende desde el área objetivo de codificación hasta el área objetivo de vector de referencia supuesta, como un vector de referencia;

para cada una de las combinaciones formadas por el cuadro objetivo de vector de referencia, el cuadro de referencia

25 y el área objetivo de vector de referencia que se obtienen mediante las suposiciones anteriores, establecer un área de referencia como un área que pertenece al cuadro de referencia y que tiene información de imagen correspondiente a información de imagen del área objetivo de vector de referencia debido a una correspondencia entre bloques;

30 calcular un coste de distorsión de velocidad evaluado durante la codificación de información de imagen del área objetivo de codificación usando el cuadro objetivo de vector de referencia, el cuadro de referencia, el vector de referencia y el área de referencia; y

someter cada una de dichas combinaciones al cálculo anterior del coste de distorsión de velocidad y seleccionar el

35 cuadro objetivo de vector de referencia, el cuadro de referencia, el área objetivo de vector de referencia y el área de referencia para la combinación mediante la cual se minimiza el coste de distorsión de velocidad;

-

un dispositivo de codificación de información de designación de cuadro objetivo de vector de referencia (109) para

codificar información que designa el cuadro objetivo de vector de referencia; 40

-

un dispositivo de codificación predictiva de vector de referencia (113, 114) para codificar de manera predictiva el vector de referencia que indica el área objetivo de vector de referencia;

-

un dispositivo de codificación de información de designación de cuadro de referencia (109) para codificar 45 información que designa el cuadro de referencia;

-

un dispositivo de generación de imagen predicha (102) para generar la imagen predicha usando la información de imagen del área de referencia en el cuadro de referencia; y

50 - un dispositivo de codificación de información diferencial (103) para codificar información diferencial entre la información de imagen del área objetivo de codificación y la imagen predicha generada.
2.- Un aparato de descodificación de vídeo (200) para descodificar una imagen de vídeo dividiendo una imagen completa en áreas, generando una imagen predicha para cada área de la imagen dividida en función de información

55 de imagen de una pluralidad de cuadros ya descodificados, y descodificando información diferencial entre la imagen predicha y una imagen de un área objetivo de descodificación en un cuadro objetivo de descodificación, comprendiendo el aparato de descodificación de vídeo:

un dispositivo de descodificación de información de designación de cuadro objetivo de vector de referencia (203)

60 para descodificar, a partir de los datos codificados, información que designa un cuadro objetivo de vector de referencia que se selecciona de entre los cuadros ya descodificados;

un dispositivo de descodificación de vector de referencia (202, 206) para descodificar, a partir de los datos codificados, un vector de referencia que se ha codificado mediante codificación predictiva y que indica un área

65 objetivo de vector de referencia que pertenece al cuadro objetivo de vector de referencia; un dispositivo de descodificación de información de designación de cuadro de referencia (203) para descodificar, a partir de los datos codificados, información que designa un cuadro de referencia seleccionado de entre los cuadros ya descodificados, donde el cuadro de referencia no es idéntico al cuadro objetivo de vector de referencia;

5 un dispositivo de establecimiento de área de cuadro de referencia (209) para establecer un área de referencia en el cuadro de referencia de tal manera que la información de imagen del área de referencia en el cuadro de referencia corresponde a información de imagen del área objetivo de vector de referencia debido a una correspondencia entre bloques; y

10 un dispositivo de generación de imagen predicha (204) para generar la imagen predicha usando información de imagen del cuadro de referencia, que corresponde al área de referencia.