ES2950029T3

ES2950029T3 - Método de codificación de imágenes, dispositivo de codificación de imágenes, método de decodificación de imágenes, dispositivo de decodificación de imágenes y dispositivo de codificación/decodificación de imágenes

Info

Publication number: ES2950029T3
Application number: ES12793067T
Authority: ES
Inventors: Toshiyasu Sugio; Takahiro Nishi; Youji Shibahara; Kyoko Tanikawa; Hisao Sasai; Toru Matsunobu
Original assignee: Sun Patent Trust Inc
Current assignee: Sun Patent Trust Inc
Priority date: 2011-05-31
Filing date: 2012-05-29
Publication date: 2023-10-04
Anticipated expiration: 2032-05-29
Also published as: US20120307902A1; KR20140018953A; TWI587691B; US20150117544A1; CA3194986A1; CA2834190A1; US20190387244A1; CN103563385B; US20180131958A1; CN103563385A; KR20200004430A; JPWO2012164906A1; US10951911B2; US10412404B2; US9900613B2; CN107087199B; US20170099496A1; AU2012264031B2; EP2717577A4; AU2012264031A1

Abstract

Este método de codificación de imágenes incluye: un paso de decisión (S601) para decidir el número máximo de candidatos a fusión; una primera etapa de derivación (S602) para derivar una pluralidad de primeros candidatos de fusión sobre la base de bloques que son espacial o temporalmente adyacentes a un bloque a codificar; una etapa de determinación (S604) para determinar si el número de la pluralidad de primeros candidatos de fusión es menor que el número máximo; un segundo paso de derivación (S605) para derivar un segundo candidato de fusión pronosticado bidireccionalmente combinando la pluralidad de primeros candidatos de fusión cuando se ha determinado que el número de la pluralidad de primeros candidatos de fusión es menor que el número máximo; un paso de selección (S606) para seleccionar un candidato de fusión a utilizar para codificar el bloque a codificar entre la pluralidad de primeros candidatos de fusión y el segundo candidato de fusión; y un paso de codificación (S607) para usar el número máximo decidido para codificar un índice para especificar el candidato de fusión seleccionado y agregar el índice codificado a un flujo de bits. (Traducción automática con Google Translate, sin valor legal)

Description

DESCRIPCIÓN

Método de codificación de imágenes, dispositivo de codificación de imágenes, método de decodificación de imágenes, dispositivo de decodificación de imágenes y dispositivo de codificación/decodificación de imágenes

[Campo técnico]

La presente invención se refiere a un método de codificación de imágenes y a un método de decodificación de imágenes.

[Técnica anterior]

Generalmente, en el procesamiento de codificación de una imagen en movimiento, la cantidad de información se reduce por compresión, para lo cual se hace uso de redundancia de una imagen en movimiento en dirección espacial y en dirección temporal. Generalmente, se realiza la conversión a un dominio de frecuencia como método en el que se hace uso de redundancia en dirección espacial, y se realiza la codificación usando la predicción entre imágenes (en lo sucesivo, la predicción se denominará interpredicción) como método de compresión para el que se usa redundancia en dirección temporal. En la codificación de interpredicción, se codifica una imagen actual usando, como imagen de referencia, una imagen codificada que precede o sigue a la imagen actual en orden de tiempo de visualización. Posteriormente, se deriva un vector de movimiento realizando una estimación de movimiento en la imagen actual con referencia a la imagen de referencia. Entonces, la redundancia en dirección temporal se elimina usando una diferencia calculada entre los datos de imagen de la imagen actual y los datos de imagen de predicción que se obtienen mediante la compensación de movimiento basándose en el vector de movimiento derivado (véase NPL 1, por ejemplo). Aquí, en la estimación de movimiento, se calculan los valores de diferencia entre los bloques actuales en la imagen actual y los bloques en la imagen de referencia, y se determina como bloque de referencia un bloque que tiene el valor de diferencia más pequeño en la imagen de referencia. Entonces, se estima un vector de movimiento a partir del bloque actual y del bloque de referencia.

El documento WO 2009/115901 A2 describe el vector de movimiento combinado y la predicción del índice de referencia para codificación de vídeo. Se organiza una lista de candidatos a predictores de vectores de movimiento según unas reglas predefinidas. Cada vector de movimiento también tiene un índice de referencia asociado. Se selecciona uno de los candidatos de vector de movimiento como predictor basándose en unas reglas predefinidas, o se señala la selección explícitamente en el flujo de bits.

[Lista de citas]

[Referencias no de patente]

[NPL 1] Recomendación ITU-T H.264 “Advanced video coding for generic audiovisual Services”, marzo de 2010 [NPL 2] JCT-VC, “WD3: Working Draft 3 of High-Efficiency Video Coding”, JCTVC-E603, marzo de 2011

[Sumario de la invención]

[Problema técnico]

Todavía es deseable aumentar la eficiencia de codificación para la codificación y decodificación de imágenes en las que se utiliza la interpredicción, más allá de la técnica convencional descrita anteriormente.

En vista de esto, el objeto de la presente invención es proporcionar un método de codificación de imágenes y un método de decodificación de imágenes con los que se aumenta la eficiencia de codificación en la codificación de imágenes y la decodificación de imágenes usando la interpredicción.

[Solución al problema]

Esto se logra mediante las características de la reivindicación 1.

Cabe señalar que estos aspectos generales o específicos de la presente invención pueden implementarse como un sistema, un método, un circuito integrado, un programa de ordenador, un medio de grabación legible por ordenador, como una memoria de solo lectura de disco compacto (CD-ROM), o como cualquier combinación de un sistema, un método, un circuito integrado, un programa de ordenador y un medio de grabación legible por ordenador.

[Efectos ventajosos de la invención]

Según un aspecto de la presente invención, se puede aumentar la eficiencia de codificación en la codificación y decodificación de imágenes usando interpredicción.

[Breve descripción de los dibujos]

[FIG. 1A] La figura 1A es un diagrama para ilustrar una lista de imágenes de referencia de ejemplo para una imagen B;

[FIG. 1B] La figura 1B es un diagrama para ilustrar una lista de imágenes de referencia de ejemplo de una dirección de predicción 0 para una imagen B;

[FIG. 1C] La figura 1C es un diagrama para ilustrar una lista de imágenes de referencia de ejemplo de una dirección de predicción 1 para una imagen B;

[FIG. 2] La figura 2 es un diagrama para ilustrar vectores de movimiento para usarse en el modo de predicción de vector de movimiento temporal;

[FIG. 3] La figura 3 muestra un ejemplo de vector de movimiento de un bloque vecino para usarse en el modo de fusión;

[FIG. 4] La figura 4 es un diagrama para ilustrar una lista de candidatos de bloques de fusión de ejemplo;

[FIG. 5] La figura 5 muestra una relación entre el tamaño de una lista de candidatos de bloques de fusión y las secuencias de bits asignadas a los índices de candidatos de bloques de fusión;

[FIG. 6] La figura 6 es un diagrama de flujo que muestra un ejemplo de un procedimiento de codificación cuando se usa el modo de fusión;

[FIG. 7] La figura 7 es un diagrama de flujo que muestra un procedimiento de decodificación usando el modo de fusión;

[FIG. 8] La figura 8 muestra la sintaxis para adjuntar índices de candidatos de bloques de fusión a un flujo de bits;

[FIG. 9] La figura 9 es un diagrama de bloques que muestra una configuración de un aparato de codificación de imágenes según la realización 1;

[FIG. 10] La figura 10 es un diagrama de flujo que muestra las operaciones de procesamiento del aparato de codificación de imágenes según la realización 1;

[FIG. 11] La figura 11 muestra una lista de candidatos de bloques de fusión de ejemplo según la realización 1; [FIG. 12] La figura 12 es un diagrama de flujo que ilustra un procedimiento para calcular los candidatos de bloques de fusión y el tamaño de una lista de candidatos de bloques de fusión según la realización 1;

[FIG. 13] La figura 13 es un diagrama de flujo que ilustra un procedimiento para determinar si un candidato de bloque de fusión es un candidato utilizable para la fusión o no y actualizar el número total de candidatos utilizables para la fusión según la realización 1;

[FIG. 14] La figura 14 es un diagrama de flujo que ilustra un procedimiento para agregar un candidato de bloque de fusión combinado según la realización 1;

[FIG. 15] La figura 15 es un diagrama de flujo que ilustra un procedimiento para determinar si hay un candidato de bloque de fusión combinado o no según la realización 1;

[FIG. 16] La figura 16 es un diagrama de flujo que ilustra un procedimiento para seleccionar un candidato de bloque de fusión según la realización 1;

[FIG. 17] La figura 17 es un diagrama de bloques que muestra una configuración de un aparato de codificación de imágenes según la realización 2;

[FIG. 18] La figura 18 es un diagrama de flujo que muestra las operaciones de procesamiento del aparato de codificación de imágenes según la realización 2;

[FIG. 19] La figura 19 es un diagrama de bloques que muestra una configuración de un aparato de decodificación de imágenes según la realización 3;

[FIG. 20] La figura 20 es un diagrama de flujo que muestra las operaciones de procesamiento del aparato de decodificación de imágenes según la realización 3;

[FIG. 21] La figura 21 es un diagrama de bloques que muestra una configuración de un aparato de decodificación de imágenes según la realización 4;

[FIG. 22] La figura 22 es un diagrama de flujo que muestra las operaciones de procesamiento del aparato de decodificación de imágenes según la realización 4;

[FIG. 23] La figura 23 es un diagrama de bloques que muestra una configuración de un aparato de codificación de imágenes según la realización 5;

[FIG. 24] La figura 24 es un diagrama de flujo que muestra las operaciones de procesamiento del aparato de codificación de imágenes según la realización 5;

[FIG. 25] La figura 25 muestra una lista de candidatos de bloques de fusión de ejemplo según la realización 5;

[FIG. 26] La figura 26 es un diagrama de flujo que ilustra un procedimiento para calcular los candidatos de bloques de fusión y el tamaño de una lista de candidatos de bloques de fusión según la realización 5;

[FIG. 27] La figura 27 es un diagrama de flujo que ilustra un procedimiento para actualizar un número total de candidatos utilizables para la fusión según la realización 5;

[FIG. 28] La figura 28 es un diagrama de flujo que ilustra un procedimiento para agregar un nuevo candidato según la realización 5;

[FIG. 29] La figura 29 es un diagrama de bloques que muestra una configuración de un aparato de codificación de imágenes según la realización 6;

[FIG. 30] La figura 30 es un diagrama de flujo que muestra las operaciones de procesamiento del aparato de codificación de imágenes según la realización 6;

[FIG. 31] La figura 31 es un diagrama de bloques que muestra una configuración de un aparato de decodificación de imágenes según la realización 7;

[FIG. 32] La figura 32 es un diagrama de flujo que muestra las operaciones de procesamiento del aparato de decodificación de imágenes según la realización 7;

[FIG. 33] La figura 33 es un diagrama de flujo que ilustra un procedimiento para establecer el tamaño de una lista de candidatos de bloques de fusión según la realización 7;

[FIG. 34] La figura 34 es un diagrama de flujo que ilustra un procedimiento para calcular un candidato de bloque de fusión según la realización 7;

[FIG. 35] La figura 35 muestra la sintaxis para adjuntar índices de candidatos de bloques de fusión a un flujo de bits;

[FIG. 36] La figura 36 muestra una sintaxis de ejemplo en el caso en que el tamaño de una lista de candidatos de bloques de fusión se fija en el valor máximo del número total de candidatos de bloques de fusión;

[FIG. 37] La figura 37 es un diagrama de bloques que muestra una configuración de un aparato de decodificación de imágenes según la realización 8;

[FIG. 38] La figura 38 es un diagrama de flujo que muestra las operaciones de procesamiento del aparato de decodificación de imágenes según la realización 8;

[FIG. 39] La figura 39 muestra una configuración global de un sistema de suministro de contenido para implementar servicios de distribución de contenido;

[FIG. 40] La figura 40 muestra una configuración global de un sistema de radiodifusión digital;

[FIG. 41] La figura 41 muestra un diagrama de bloques que ilustra un ejemplo de una configuración de una televisión;

[FIG. 42] La figura 42 es un diagrama de bloques que ilustra un ejemplo de una configuración de una unidad de reproducción/grabación de información que lee y escribe información desde y en un medio de grabación que es un disco óptico;

[FIG. 43] La figura 43 muestra un ejemplo de una configuración de un medio de grabación que es un disco óptico; [FIG. 44A] La figura 44A muestra un ejemplo de un teléfono celular;

[FIG. 44B] La figura 44B es un diagrama de bloques que muestra un ejemplo de una configuración de un teléfono celular;

[FIG. 45] La figura 45 ilustra una estructura de datos multiplexados;

[FIG. 46] La figura 46 muestra esquemáticamente cómo se multiplexa cada flujo en datos multiplexados;

[FIG. 47] La figura 47 muestra cómo se almacena un flujo de vídeo en un flujo de paquetes de PES en más detalle;

[FIG. 48] La figura La figura 48 muestra una estructura de paquetes de TS y paquetes de origen en los datos multiplexados;

[FIG. 49] La figura 49 muestra una estructura de datos de una PMT;

[FIG. 50] La figura 50 muestra una estructura interna de información de datos multiplexados;

[FIG. 51] La figura 51 muestra una estructura interna de información de atributo de flujo;

[FIG. 52] La figura 52 muestra etapas para identificar datos de vídeo;

[FIG. 53] La figura 53 es un diagrama de bloques que muestra un ejemplo de una configuración de un circuito integrado para implementar el método de codificación de imágenes en movimiento y el método de decodificación de imágenes en movimiento según cada una de las realizaciones;

[FIG. 54] La figura 54 muestra una configuración para conmutar entre frecuencias de accionamiento;

[FIG. 55] La figura 55 muestra etapas para identificar datos de vídeo y conmutación entre frecuencias de accionamiento;

[FIG. 56] La figura 56 muestra un ejemplo de una tabla de consulta en la que las normas de datos de vídeo están asociadas con frecuencias de accionamiento;

[FIG. 57A] La figura 57A es un diagrama que muestra un ejemplo de una configuración para compartir un módulo de una unidad de procesamiento de señal; y

[FIG. 57B] La figura 57B es un diagrama que muestra otro ejemplo de una configuración para compartir un módulo de la unidad de procesamiento de señal.

[Descripción de realizaciones]

(Conocimiento subyacente que forma la base de la presente invención)

En un esquema de codificación de imágenes en movimiento ya incorporado en una norma, que se denomina H.264, se usan tres tipos de imágenes de imagen I, imagen P e imagen B para reducir la cantidad de información mediante compresión.

La imagen I no se codifica mediante codificación de interpredicción. Específicamente, la imagen I está codificada por predicción dentro de la imagen (en lo sucesivo, la predicción se denominará intrapredicción). La imagen P se codifica mediante codificación de interpredicción con referencia a una imagen codificada que precede o sigue a la imagen actual en orden de tiempo de visualización. La imagen B se codifica mediante codificación de interpredicción con referencia a dos imágenes codificadas que preceden y siguen a la imagen actual en orden de tiempo de visualización. En la codificación de interpredicción, se genera una lista de imágenes de referencia para identificar una imagen de referencia. En una lista de imágenes de referencia, los índices de imágenes de referencia se asignan a las imágenes de referencia codificadas a las que se va a hacer referencia en la interpredicción. Por ejemplo, se generan dos listas de imágenes de referencia (L0, L1) para una imagen B porque se puede codificar con referencia a dos imágenes. La figura 1A es un diagrama para ilustrar una lista de imágenes de referencia de ejemplo para una imagen B. La figura 1B muestra una lista de imágenes de referencia de ejemplo 0 (L0) para una dirección de predicción 0 en la predicción bidireccional. En la lista de imágenes de referencia 0, el índice de imagen de referencia 0 que tiene un valor de 0 se asigna a una imagen de referencia 0 con un número de orden de visualización 2. El índice de imagen de referencia 0 que tiene un valor de 1 se asigna a una imagen de referencia 1 con un número de orden de visualización 1. El índice de imagen de referencia 0 que tiene un valor de 2 se asigna a una imagen de referencia 2 con un número de orden de visualización 0. Dicho de otro modo, cuanto menor sea la distancia temporal de una imagen de referencia a la imagen actual, menor será el índice de imagen de referencia asignado a la imagen de referencia.

Por otro lado, la figura 1C muestra una lista de imágenes de referencia de ejemplo 1 (L1) para una dirección de predicción 1 en la predicción bidireccional. En la lista de imágenes de referencia 1, el índice de imagen de referencia 1 que tiene un valor de 0 se asigna a una imagen de referencia 1 con un número de orden de visualización 1. El índice de imagen de referencia 1 que tiene un valor de 1 se asigna a una imagen de referencia 0 con un número de orden de visualización 2. El índice de imagen de referencia 2 que tiene un valor de 2 se asigna a una imagen de referencia 2 con un número de orden de visualización 0.

De esta manera, es posible asignar índices de imágenes de referencia que tienen valores diferentes entre las direcciones de predicción a una imagen de referencia (las imágenes de referencia 0 y 1 en la figura 1A) o asignar el índice de imagen de referencia que tiene el mismo valor para ambas direcciones a una imagen de referencia (la imagen de referencia 2 en la figura 1A).

En un método de codificación de imágenes en movimiento denominado H.264 (véase NPL 1), un modo de estimación de vector de movimiento está disponible como modo de codificación para la interpredicción de cada bloque actual en una imagen B. En el modo de estimación de vector de movimiento, se codifica un valor de diferencia entre los datos de imagen de un bloque actual y los datos de imagen de predicción y un vector de movimiento usado para generar los datos de imagen de predicción. Además, en el modo de estimación de vector de movimiento, pueden realizarse de forma selectiva la predicción bidireccional y la predicción unidireccional. En la predicción bidireccional, se genera una imagen de predicción con referencia a dos imágenes codificadas, una de las cuales precede a la imagen actual que va a codificarse y la otra sigue a la imagen actual. En la predicción unidireccional, se genera una imagen de predicción con referencia a una imagen codificada que precede o sigue a una imagen actual que va a codificarse.

Además, en el método de codificación de imágenes en movimiento denominado H.264, se puede seleccionar un modo de codificación denominado modo de predicción de vector de movimiento temporal para derivar un vector de movimiento en la codificación de una imagen B. El método de codificación de interpredicción realizado en el modo de predicción de vector de movimiento temporal se describirá a continuación usando la figura 2. La figura 2 es un diagrama para ilustrar vectores de movimiento para usarse en el modo de predicción de vector de movimiento temporal. Específicamente, la figura 2 muestra un caso en el que un bloque a en una imagen B2 se codifica en el modo de predicción de vector de movimiento temporal.

En la codificación, se utiliza un vector de movimiento vb que se ha utilizado para codificar un bloque b ubicado en la misma posición en una imagen P3, que es una imagen de referencia que sigue a la imagen B2, como la posición del bloque a en la imagen B2 (en este caso, el bloque b se denomina en lo sucesivo bloque ubicado conjuntamente con el bloque a). El vector de movimiento vb es un vector de movimiento usado para codificar el bloque b con referencia a la imagen P1.

Se obtienen dos bloques de referencia para el bloque a a partir de una imagen de referencia hacia adelante y una imagen de referencia hacia atrás, es decir, una imagen P1 y una imagen P3 usando vectores de movimiento paralelos al vector de movimiento vb. A continuación, se codifica el bloque a mediante predicción bidireccional basándose en los dos bloques de referencia obtenidos. Específicamente, en la codificación del bloque a, se usa un vector de movimiento va1 para hacer referencia a la imagen P1, y se usa un vector de movimiento va2 para hacer referencia a la imagen P3.

Además, se analiza un modo de fusión como un modo de interpredicción para la codificación de cada bloque actual en una imagen B o una imagen P (véase NPL 2). En el modo de fusión, un bloque actual se codifica usando una dirección de predicción, un vector de movimiento y un índice de imagen de referencia que son duplicaciones de los usados en la codificación de un bloque vecino del bloque actual. En este momento, el índice y otros del bloque vecino usados para la copia se adjuntan a un flujo de bits de modo que puedan seleccionarse en la decodificación la dirección de movimiento, el vector de movimiento y el índice de imagen de referencia usados en la codificación. A continuación, se proporciona un ejemplo concreto con referencia a la figura 3.

La figura 3 muestra un vector de movimiento de ejemplo de un bloque vecino para usarse en el modo de fusión. En la figura 3, un bloque vecino A es un bloque codificado situado inmediatamente a la izquierda de un bloque actual. Un bloque vecino B es un bloque codificado ubicado inmediatamente encima del bloque actual. Un bloque vecino C es un bloque codificado ubicado justo encima del bloque actual. Un bloque vecino D es un bloque codificado ubicado inmediatamente a la izquierda debajo del bloque actual.

El bloque vecino A es un bloque codificado mediante la predicción unidireccional en dirección de predicción 0. El bloque vecino A tiene un vector de movimiento MvL0_A que tiene la dirección de predicción 0 como vector de movimiento con respecto a una imagen de referencia indicada por un índice de imagen de referencia RefL0_A de la dirección de predicción 0. Aquí, MvL0 indica un vector de movimiento que hace referencia a una imagen de referencia especificada en una lista de imágenes de referencia 0 (L0). MvL1 indica un vector de movimiento que hace referencia a una imagen de referencia especificada en una lista de imágenes de referencia 1 (L1).

El bloque vecino B es un bloque codificado mediante la predicción unidireccional en dirección de predicción 1. El bloque vecino B tiene un vector de movimiento MvL1_B que tiene la dirección de predicción 1 como vector de movimiento con respecto a una imagen de referencia indicada por un índice de imagen de referencia RefL1_B de la dirección de predicción 1.

El bloque vecino C es un bloque codificado mediante la intrapredicción.

El bloque vecino D es un bloque codificado mediante la predicción unidireccional en dirección de predicción 0. El bloque vecino D tiene un vector de movimiento MvL0_D que tiene la dirección de predicción 0 como vector de movimiento con respecto a una imagen de referencia indicada por un índice de imagen de referencia RefL0_D de la dirección de predicción 0.

En este caso, por ejemplo, se selecciona como dirección de predicción, un vector de movimiento, una combinación de una dirección de predicción, un vector de movimiento y un índice de imagen de referencia con el que se puede codificar el bloque actual con la mayor eficiencia de codificación y un índice de imagen de referencia del bloque actual a partir de las direcciones de predicción, vectores de movimiento e índices de imágenes de referencia de los bloques vecinos A a D, y una dirección de predicción, un vector de movimiento y un índice de imagen de referencia que se calculan usando un bloque ubicado conjuntamente en modo de predicción de vector de movimiento temporal. Entonces, se adjunta a un flujo de bits un índice de candidato de bloque de fusión que indica el bloque que tiene la combinación seleccionada de una dirección de predicción, un vector de movimiento y un índice de imagen de referencia.

Por ejemplo, cuando se selecciona el bloque vecino A, se codifica el bloque actual usando el vector de movimiento MvL0_A que tiene la dirección de predicción 0 y el índice de imagen de referencia RefL0_A. Entonces, solo el índice de candidato del bloque de fusión que tiene un valor de 0 que indica el uso del bloque vecino A como se muestra en la figura 4 está conectado a un flujo de bits. De ese modo se reduce la cantidad de información sobre una dirección de predicción, un vector de movimiento y un índice de imagen de referencia.

Además, en el modo de fusión, un candidato que no se puede usar para la codificación (en lo sucesivo denominado candidato no utilizable para la fusión), y un candidato que tiene una combinación de una dirección de predicción, un vector de movimiento y un índice de imagen de referencia idéntico a una combinación de una dirección de predicción, un vector de movimiento y un índice de imagen de referencia de cualquier otro bloque de fusión (en lo sucesivo denominado candidato idéntico) se eliminan de los candidatos de bloques de fusión como se muestra en la figura 4.

De esta manera, el número total de candidatos de bloques de fusión se reduce de manera que se puede reducir la cantidad de código asignado a los índices de candidatos de bloques de fusión. Aquí, “no utilizable para la fusión” significa (1) que el candidato de bloque de fusión se ha codificado mediante la intrapredicción, (2) que el candidato de bloque de fusión está fuera del límite de un segmento que incluye el bloque actual o el límite de una imagen que incluye el bloque actual, o (3) que el candidato de bloque combinado aún no se ha codificado.

En el ejemplo mostrado en la figura 4, el bloque vecino C es un bloque codificado mediante la intrapredicción. El candidato de bloque de fusión que tiene el índice de candidato de bloque de fusión 3 es, por lo tanto, un candidato no utilizable para la fusión y se elimina de la lista de candidatos de bloques de fusión. El bloque vecino D es idéntico al bloque vecino A en dirección de predicción, vector de movimiento e índice de imagen de referencia. Por lo tanto, el candidato de bloque de fusión que tiene el índice de candidato de bloque de fusión 4 se elimina de la lista de candidatos de bloques de fusión. Como resultado, el número total de candidatos de bloques de fusión es finalmente tres, y el tamaño de la lista de candidatos de bloques de fusión se establece en tres.

Los índices de candidatos de bloques de fusión se codifican mediante codificación de longitud variable mediante la asignación de secuencias de bits según el tamaño de cada lista de candidatos de bloques de fusión como se muestra en la figura 5. Así, en el modo de fusión, se reduce la cantidad de código cambiando las secuencias de bits asignadas a los índices del modo de fusión según el tamaño de cada lista de candidatos de bloques de fusión.

La figura 6 es un diagrama de flujo que muestra un ejemplo de un procedimiento de codificación cuando se usa el modo de fusión. En la etapa S1001, los vectores de movimiento, los índices de imágenes de referencia y las direcciones de predicción de los candidatos de bloques de fusión se obtienen a partir de bloques vecinos y un bloque ubicado conjuntamente. En la etapa S1002, los candidatos idénticos y los candidatos no utilizables para la fusión se eliminan de los candidatos de bloques de fusión. En la etapa S1003, el número total de candidatos de bloques de fusión después de la eliminación se establece como el tamaño de la lista de candidatos de bloques de fusión. En la etapa S1004, se determina el índice de candidato de bloque de fusión que va a utilizarse para codificar el bloque actual. En la etapa S1005, el índice de candidato de bloque de fusión determinado se codifica realizando una codificación de longitud variable en secuencia de bits según el tamaño de la lista de candidatos de bloques de fusión.

La figura 7 es un diagrama de flujo que muestra un ejemplo de un procedimiento de decodificación usando el modo de fusión. En la etapa S2001, los vectores de movimiento, los índices de imágenes de referencia y las direcciones de predicción de los candidatos de bloques de fusión se obtienen a partir de bloques vecinos y un bloque ubicado conjuntamente. En la etapa S2002, los candidatos idénticos y los candidatos no utilizables para la fusión se eliminan de los candidatos de bloques de fusión. En la etapa S2003, el número total de candidatos de bloques de fusión después de la eliminación se establece como el tamaño de la lista de candidatos de bloques de fusión. En la etapa S2004, el índice de candidato de bloque de fusión que va a utilizarse para decodificar un bloque actual se decodifica a partir de un flujo de bits utilizando el tamaño de la lista de candidatos de bloques de fusión. En la etapa S2005, la decodificación de un bloque actual se realiza generando una imagen de predicción usando el candidato de bloque de fusión indicado por el índice de candidato de bloque de fusión decodificado.

La figura 8 muestra la sintaxis para adjuntar índices de candidatos de bloques de fusión a un flujo de bits. En la figura 8, merge_idx representa un índice de candidato de bloque de fusión y merge_flag representa un indicador (flag) de fusión. NumMergeCand representa el tamaño de una lista de candidatos de bloques de fusión. NumMergeCand se establece en el número total de candidatos de bloques de fusión después de que los candidatos no utilizables para la fusión y los candidatos idénticos se eliminen de los candidatos de bloques de fusión.

La codificación o decodificación de una imagen se realiza usando el modo de fusión de la manera descrita anteriormente.

Sin embargo, en el modo de fusión descrito anteriormente, el uso de predicción unidireccional o predicción bidireccional para codificar un bloque actual depende de si un candidato de bloque de fusión seleccionado se predice unidireccional o bidireccionalmente. En consecuencia, por ejemplo, cuando todos los candidatos de bloques de fusión se codifican usando la predicción unidireccional, solo se puede usar la predicción unidireccional para codificar un bloque actual en el modo de fusión. Dicho de otro modo, aunque un bloque actual se codificaría de manera más eficiente usando la predicción bidireccional que la predicción unidireccional, solo se puede usar la predicción unidireccional para la codificación del bloque actual. Esto puede dar como resultado una disminución de la eficiencia de codificación.

En vista de esto, un método de codificación de imágenes según un aspecto de la presente invención es un método de codificación de una imagen bloque por bloque para generar un flujo de bits, e incluye: determinar un número máximo de candidatos de fusión, cada uno de los cuales es una combinación de una dirección de predicción, un vector de movimiento y un índice de imagen de referencia para usarse en la codificación de un bloque actual; derivar una pluralidad de primeros candidatos de fusión basándose en direcciones de predicción, vectores de movimiento e índices de imágenes de referencia usados en la codificación de bloques que son vecinos espaciales o temporales del bloque actual; determinar si un número total de los primeros candidatos de fusión derivados es menor que el número máximo o no; derivar, haciendo una combinación de los primeros candidatos de fusión derivados, un segundo candidato de fusión para la predicción bidireccional cuando se determina que el número total de los primeros candidatos de fusión derivados es menor que el número máximo; seleccionar un candidato de fusión para usarse para la codificación del bloque actual a partir de los primeros candidatos de fusión derivados y el segundo candidato de fusión derivado; y codificar, usando el número máximo determinado, un índice para identificar el candidato de fusión seleccionado, y adjuntar el índice codificado al flujo de bits.

Con esto, puede derivarse un segundo candidato de fusión para la predicción bidireccional haciendo una combinación de los primeros candidatos de fusión derivados basándose en bloques que son vecinos espaciales o temporales de un bloque actual que va a codificarse. En particular, puede derivarse un segundo candidato de fusión para la predicción bidireccional incluso cuando los primeros candidatos de fusión no incluyen ningún candidato de fusión predicho bidireccionalmente. Como resultado, aumenta la variedad de combinaciones de una dirección de predicción, un vector de movimiento y un índice de imagen de referencia que se seleccionan como candidatos de fusión, de modo que pueda aumentarse la eficiencia de codificación.

Además, puede derivarse un segundo candidato de fusión cuando se determina que el número total de los primeros candidatos de fusión es menor que el número máximo. En consecuencia, puede aumentarse el número total de candidatos de fusión dentro de un intervalo que no exceda el número máximo de modo que pueda aumentarse la eficiencia de codificación.

Además, se puede codificar un índice para identificar un candidato de fusión usando el número máximo determinado. Dicho de otro modo, un índice puede codificarse independientemente del número total de candidatos de fusión realmente derivados. Por lo tanto, incluso cuando se pierde la información necesaria para la derivación de un candidato de fusión (por ejemplo, información sobre un bloque ubicado conjuntamente), aún puede decodificarse un índice y, por lo tanto, se mejora la resistencia a errores. Además, puede decodificarse un índice independientemente del número total de candidatos de fusión realmente derivados. Dicho de otro modo, puede decodificarse un índice sin esperar la derivación de candidatos de fusión. Dicho de otro modo, se puede generar un flujo de bits para el que pueden realizarse en paralelo la derivación de candidatos de fusión y la decodificación de índices.

Por ejemplo, en la derivación de un segundo candidato de fusión, el segundo candidato de fusión puede derivarse mediante la combinación de un vector de movimiento y un índice de imagen de referencia para una primera dirección de predicción que se incluyen en uno de los primeros candidatos de fusión, y un vector de movimiento y un índice de imagen de referencia para una segunda dirección de predicción que se incluyen en uno diferente de los primeros candidatos de fusión.

Con esto, puede derivarse un segundo candidato de fusión para la predicción bidireccional mediante la combinación de vectores de movimiento e índices de imágenes de referencia incluidos en dos primeros candidatos de fusión, en los que los vectores de movimiento tienen diferentes direcciones de predicción y los índices de imágenes de referencia son para diferentes direcciones de predicción.

Por ejemplo, en la derivación de una pluralidad de primeros candidatos de fusión, la pluralidad de primeros candidatos de fusión puede derivarse de manera que cada uno de los primeros candidatos de fusión sea una combinación diferente de una dirección de predicción, un vector de movimiento y un índice de imagen de referencia.

Con esto, cada uno de los primeros candidatos de fusión derivados es una combinación diferente de una dirección de predicción, un vector de movimiento y un índice de imagen de referencia. Como resultado, puede aumentarse el número total de los segundos candidatos de fusión de modo que pueda aumentarse la variedad de combinaciones de una dirección de predicción, un vector de movimiento y un índice de imagen de referencia que se seleccionan como candidatos de fusión. Por lo tanto, es posible aumentar aún más la eficiencia de codificación.

Por ejemplo, en la derivación de una pluralidad de primeros candidatos de fusión, puede derivarse una combinación de una dirección de predicción, un vector de movimiento y un índice de imagen de referencia como uno de la pluralidad de primeros candidatos de fusión, y la combinación de la dirección de predicción, el vector de movimiento y el índice de la imagen de referencia se han utilizado para codificar un bloque entre bloques que son vecinos espaciales del bloque actual, excepto un bloque codificado mediante la intrapredicción, un bloque fuera del límite de un segmento que incluye el bloque actual o un límite de un imagen que incluye el bloque actual y un bloque aún por codificar.

Con esto, puede derivarse un primer candidato de fusión a partir de bloques apropiados para la obtención de un candidato de fusión.

Por ejemplo, en la codificación, la información que indica el número máximo determinado puede adjuntarse adicionalmente al flujo de bits.

Con esto, la información que indica el número máximo determinado puede adjuntarse a un flujo de bits. Por lo tanto, es posible conmutar los números máximos en la unidad apropiada de modo que pueda aumentarse la eficiencia de codificación.

Por ejemplo, el método de codificación de imágenes puede incluir además: conmutar un procedimiento de codificación entre un primer procedimiento de codificación que cumple con una primera norma y un segundo procedimiento de codificación que cumple con una segunda norma; y adjuntar, al flujo de bits, información de identificación que indica o bien la primera norma o bien la segunda norma con el que se cumple el procedimiento de codificación después de la conmutación, en el que cuando el procedimiento de codificación se conmuta al primer procedimiento de codificación, se realizan como primer procedimiento de codificación la determinación de un número máximo de candidatos de fusión, la derivación de una pluralidad de primeros candidatos de fusión, la determinación de si el número total de la pluralidad derivada de primeros candidatos de fusión es menor que el número máximo o no, la derivación de un segundo candidato de fusión, la selección y la codificación.

Con esto, es posible realizar de manera conmutable el primer procedimiento de codificación que cumple con la primera norma y el segundo procedimiento de codificación que cumple con la segunda norma.

Además, un método de decodificación de imágenes según un aspecto de la presente invención es un método de decodificación, bloque por bloque, de una imagen codificada incluida en un flujo de bits, e incluye: determinar un número máximo de candidatos de fusión, cada uno de los cuales es una combinación de una dirección de predicción, un vector de movimiento y un índice de imagen de referencia para usarse en la decodificación de un bloque actual; derivar una pluralidad de primeros candidatos de fusión basándose en direcciones de predicción, vectores de movimiento e índices de imágenes de referencia utilizados en la decodificación de bloques que son vecinos espaciales o temporales del bloque actual; determinar si un número total de los primeros candidatos de fusión derivados es menor que el número máximo o no; derivar, haciendo una combinación de los primeros candidatos de fusión derivados, un segundo candidato de fusión para la predicción bidireccional cuando se determina que el número total de los primeros candidatos de fusión derivados es menor que el número máximo; decodificar un índice codificado y adjunto al flujo de bits, usando el número máximo determinado, siendo el índice un índice para identificar un candidato de fusión; y seleccionar, basándose en el índice decodificado, un candidato de fusión que va a utilizarse para la decodificación de un bloque actual, seleccionándose el candidato de fusión entre los primeros candidatos de fusión derivados y el segundo candidato de fusión derivado.

Con esto, puede derivarse un segundo candidato de fusión para la predicción bidireccional haciendo una combinación de los primeros candidatos de fusión derivados basándose en bloques que son vecinos espaciales o temporales de un bloque actual que va a decodificarse. En particular, puede derivarse un nuevo segundo candidato de fusión para la predicción bidireccional incluso cuando los primeros candidatos de fusión no incluyen ningún candidato de fusión predicho bidireccionalmente. Como resultado, aumenta la variedad de combinaciones de una dirección de predicción, un vector de movimiento y un índice de imagen de referencia que pueden seleccionarse como candidatos de fusión, de modo que pueda decodificarse apropiadamente un flujo de bits codificado con mayor eficiencia.

Además, puede derivarse un segundo candidato de fusión cuando se determina que el número total de los primeros candidatos de fusión es menor que el número máximo. En consecuencia, puede aumentarse el número total de candidatos de fusión dentro de un intervalo que no exceda el número máximo de modo que pueda decodificarse apropiadamente un flujo de bits codificado con mayor eficiencia de codificación.

Además, puede decodificarse un índice para identificar un candidato de fusión usando el número máximo determinado. Dicho de otro modo, puede decodificarse un índice independientemente del número total de candidatos de fusión realmente derivados. Por lo tanto, incluso cuando se pierde la información necesaria para la derivación de un candidato de fusión (por ejemplo, información sobre un bloque ubicado conjuntamente), aún puede decodificarse un índice y, por lo tanto, se mejora la resistencia a errores. Además, puede decodificarse un índice independientemente del número total de candidatos de fusión realmente derivados. Dicho de otro modo, puede decodificarse un índice sin esperar la derivación de candidatos de fusión. Dicho de otro modo, pueden realizarse en paralelo la derivación de candidatos de fusión y la decodificación de índices.

Con esto, puede derivarse un segundo candidato de fusión para la predicción bidireccional mediante la combinación de vectores de movimiento e índices de imágenes de referencia incluidos en dos primeros candidatos de fusión. Los vectores de movimiento tienen diferentes direcciones de predicción y los índices de imágenes de referencia son para diferentes direcciones de predicción.

Por ejemplo, en la derivación de una pluralidad de primeros candidatos de fusión, puede derivarse la pluralidad de primeros candidatos de fusión de modo que cada uno de los primeros candidatos de fusión sea una combinación diferente de una dirección de predicción, un vector de movimiento y un índice de imagen de referencia.

Con esto, se derivan los primeros candidatos de fusión de modo que cada uno de los primeros candidatos de fusión sea una combinación diferente de una dirección de predicción, un vector de movimiento y un índice de imagen de referencia. Como resultado, puede aumentarse el número total de los segundos candidatos de fusión de modo que pueda aumentarse la variedad de combinaciones de una dirección de predicción, un vector de movimiento y un índice de imagen de referencia para un candidato de fusión seleccionable. Por lo tanto, es posible decodificar apropiadamente un flujo de bits codificado con mayor eficiencia de codificación.

Por ejemplo, en la derivación de una pluralidad de primeros candidatos de fusión, puede derivarse una combinación de una dirección de predicción, un vector de movimiento y un índice de imagen de referencia como uno de la pluralidad de primeros candidatos de fusión, y se ha utilizado la combinación de la dirección de predicción, el vector de movimiento y el índice de imagen de referencia para decodificar un bloque entre bloques que son vecinos espaciales del bloque actual, excepto un bloque decodificado mediante la intrapredicción, un bloque fuera del límite de un segmento que incluye el bloque actual o un límite de una imagen que incluye el bloque actual y un bloque aún por decodificar.

Por ejemplo, en la determinación de un número máximo de candidatos de fusión, el número máximo puede determinarse basándose en la información adjunta al flujo de bits e indicando el número máximo.

Con esto, se puede determinar un número máximo basándose en la información adjunta a un flujo de bits. Por lo tanto, es posible decodificar una imagen codificada usando números máximos cambiados por la unidad apropiada.

Por ejemplo, el método de decodificación de imágenes puede incluir además: conmutar un procedimiento de decodificación entre un primer procedimiento de decodificación que cumple con una primera norma y un segundo procedimiento de decodificación que cumple con una segunda norma, según la información de identificación adjunta al flujo de bits e indicando o bien la primera norma o bien la segunda norma, en el que cuando el procedimiento de decodificación se conmuta al primer procedimiento de decodificación, se realizan como primer procedimiento de decodificación la determinación de un número máximo de candidatos de fusión, la derivación de una pluralidad de primeros candidatos de fusión, la determinación de si el número total de la pluralidad derivada de primeros candidatos de fusión es menor que el número máximo o no, la derivación de un segundo candidato de fusión, la decodificación y la selección.

Con esto, es posible realizar de manera conmutable el primer procedimiento de decodificación que cumple con la primera norma y el segundo procedimiento de decodificación que cumple con la segunda norma.

Cabe señalar que estos aspectos generales o específicos pueden implementarse como un sistema, un método, un circuito integrado, un programa de ordenador, un medio de grabación legible por ordenador, como una memoria de solo lectura de disco compacto (CD-ROM), o como cualquier combinación de un sistema, un método, un circuito integrado, un programa de ordenador y un medio de grabación legible por ordenador.

A continuación, se describirá específicamente con referencia a los dibujos un aparato de codificación de imágenes y un aparato de decodificación de imágenes según un aspecto de la presente invención.

Cada una de las realizaciones de ejemplo descritas a continuación muestra un ejemplo específico de la presente invención. Los valores numéricos, formas, materiales, elementos constitutivos, la disposición y conexión de los elementos constitutivos, etapas, el orden de procesamiento de las etapas, etc., mostrados en los siguientes ejemplos de realización son meros ejemplos y, por lo tanto, no limitan la presente invención. Además, entre los elementos constitutivos en las siguientes realizaciones de ejemplo, los elementos constitutivos no enumerados en una cualquiera de las reivindicaciones independientes que definen la parte más genérica del concepto inventivo no se requieren necesariamente para superar las desventajas.

El término “predicción unidireccional” como se usa en el presente documento se refiere a la predicción con referencia a solo una de una primera lista de imágenes de referencia (una lista de imágenes de referencia 0) y una segunda lista de imágenes de referencia (una lista de imágenes de referencia 1). El término “predicción bidireccional”, como se usa en el presente documento, se refiere a la predicción con referencia tanto a la primera lista de imágenes de referencia como a la segunda lista de imágenes de referencia.

Cabe señalar que no es necesario realizar la predicción bidireccional con referencia a una imagen de referencia hacia adelante y una imagen de referencia hacia atrás. Dicho de otro modo, la predicción bidireccional se puede realizar con referencia a dos imágenes de referencia en la misma dirección (hacia delante o hacia atrás).

[Realización 1]

La figura 9 es un diagrama de bloques que muestra una configuración de un aparato de codificación de imágenes según la realización 1. Un aparato de codificación de imágenes 100 codifica una imagen bloque por bloque para generar un flujo de bits.

Como se muestra en la figura 9, el aparato de codificación de imágenes 100 incluye un sustractor 101, una unidad de transformación ortogonal 102, una unidad de cuantificación 103, una unidad de cuantificación inversa 104, una unidad de transformación ortogonal inversa 105, un sumador 106, memoria de bloques 107, memoria de fotogramas 108, una unidad de intrapredicción 109, una unidad de interpredicción 110, una unidad de control de interpredicción 111, una unidad de determinación de tipo de imagen 112, un conmutador 113, una unidad de cálculo de candidatos de bloques de fusión 114, una memoria colPic 115 y una unidad de codificación de longitud variable 116.

El sustractor 101 sustrae, bloque por bloque, los datos de imagen de predicción a partir de los datos de imagen de entrada incluidos en una secuencia de imágenes de entrada para generar datos de error de predicción.

La unidad de transformación ortogonal 102 transforma los datos de error de predicción generados desde un dominio de imagen en un dominio de frecuencia.

La unidad de cuantificación 103 cuantifica los datos de error de predicción transformados en un dominio de frecuencia.

La unidad de cuantificación inversa 104 cuantifica inversamente los datos de error de predicción cuantificados por la unidad de cuantificación 103.

La unidad de transformación ortogonal inversa 105 transforma los datos de error de predicción cuantificados inversamente de un dominio de frecuencia en un dominio de imagen.

El sumador 106 suma, bloque por bloque, datos de imagen de predicción y datos de error de predicción cuantificados inversamente por la unidad de transformación ortogonal inversa 105 para generar datos de imagen reconstruidos.

La memoria de bloques 107 almacena los datos de imagen reconstruidos en unidades de un bloque.

La memoria de fotogramas 108 almacena los datos de imagen reconstruidos en unidades de un fotograma (frame).

La unidad de determinación de tipo de imagen 112 determina en cuál de los tipos de imagen de imagen I, imagen B e imagen P se codificarán los datos de imagen de entrada. Entonces, la unidad de determinación de tipo de imagen 112 genera información de tipo de imagen que indica el tipo de imagen determinado.

La unidad de intrapredicción 109 genera datos de imagen de intrapredicción de un bloque actual realizando la intrapredicción utilizando datos de imagen reconstruidos almacenados en la memoria de bloques 107 en unidades de un bloque.

La unidad de interpredicción 110 genera datos de imagen de interpredicción de un bloque actual realizando la interpredicción utilizando datos de imagen reconstruidos almacenados en la memoria de fotograma 108 en unidades de un fotograma y un vector de movimiento derivado mediante un procedimiento que incluye la estimación de movimiento.

Cuando un bloque actual se codifica mediante la codificación de intrapredicción, el conmutador 113 emite datos de imagen de intrapredicción generados por la unidad de intrapredicción 109 como datos de imagen de predicción del bloque actual al sustractor 101 y al sumador 106. Por otro lado, cuando un bloque actual se codifica mediante la codificación de interpredicción, el conmutador 113 emite datos de imagen de interpredicción generados por la unidad de interpredicción 110 como datos de imagen de predicción del bloque actual al sustractor 101 y al sumador 106.

La unidad de cálculo de candidatos de bloques de fusión 114 deriva candidatos de bloques de fusión usando vectores de movimiento y otros de bloques vecinos del bloque actual y un vector de movimiento y otros del bloque ubicado conjuntamente (información colPic) almacenado en la memoria colPic 115. Además, la unidad de cálculo de candidatos de bloques de fusión 114 agrega los candidatos de bloques de fusión derivados a una lista de candidatos de bloques de fusión.

Además, la unidad de cálculo de candidatos de bloques de fusión 114 deriva, como un nuevo candidato, un candidato de bloque de fusión (en lo sucesivo denominado candidato de bloque de fusión combinado) mediante la combinación de, usando un método descrito más adelante, (i) un vector de movimiento y un índice de imagen de referencia para una dirección de predicción 0 de uno de los candidatos de bloques de fusión derivados y (ii) un vector de movimiento un índice de imagen de referencia para una dirección de predicción 1 de uno diferente de los candidatos de bloques de fusión derivados. Entonces, la unidad de cálculo de candidatos de bloques de fusión 114 agrega el candidato de bloque de fusión combinado derivado como un nuevo candidato de bloque de fusión a la lista de candidatos de bloques de fusión. Además, la unidad de cálculo de candidatos de bloques de fusión 114 calcula el número total de candidatos de bloques de fusión.

Además, la unidad de cálculo de candidatos de bloques de fusión 114 asigna índices de candidatos de bloques de fusión, cada uno de los cuales tiene un valor diferente a los candidatos de bloques de fusión derivados. Entonces, la unidad de cálculo de candidatos de bloques de fusión 114 transmite los candidatos de bloques de fusión y los índices de candidatos de bloques de fusión a la unidad de control de interpredicción 111. Además, la unidad de cálculo de candidatos de bloques de fusión 114 transmite el número total calculado de candidatos de bloques de fusión a la unidad de codificación de longitud variable 116.

La unidad de control de interpredicción 111 selecciona un modo de predicción utilizado el error de predicción que es el más pequeño de entre un modo de predicción en el que se usa un vector de movimiento derivado mediante la estimación de movimiento (modo de estimación de movimiento) y un modo de predicción en el que se usa un vector de movimiento derivado de un candidato de bloque de fusión (modo de fusión). La unidad de control de interpredicción 111 también transmite un indicador de combinación que indica si el modo de predicción seleccionado es el modo de combinación o no a la unidad de codificación de longitud variable 116. Además, la unidad de control de interpredicción 111 transmite un índice de candidato de bloque de fusión correspondiente a los candidatos de bloques de fusión determinados a la unidad de codificación de longitud variable 116 cuando el modo de predicción seleccionado es el modo de fusión. Además, la unidad de control de interpredicción 111 transfiere la información de colPic que incluye el vector de movimiento y otros del bloque actual a la memoria colPic 115.

La unidad de codificación de longitud variable 116 genera un flujo de bits realizando una codificación de longitud variable en los datos de error de predicción cuantificados, el indicador de fusión y la información de tipo de imagen. La unidad de codificación de longitud variable 116 también establece el número total de candidatos de bloques de fusión como el tamaño de la lista de candidatos de bloques de fusión. Además, la unidad de codificación de longitud variable 116 realiza una codificación de longitud variable en un índice de candidato de bloque de fusión para usarse en la codificación, mediante la asignación, según el tamaño de la lista de candidatos de bloques de fusión, de una secuencia de bits al índice de candidato de bloque de fusión.

La figura 10 es un diagrama de flujo que muestra las operaciones de procesamiento del aparato de codificación de imágenes 100 según la realización 1.

En la etapa S101, la unidad de cálculo de candidatos de bloques de fusión 114 deriva candidatos de bloques de fusión a partir de bloques vecinos y un bloque ubicado conjuntamente con un bloque actual. Además, la unidad de cálculo de candidatos de bloques de fusión 114 calcula el tamaño de una lista de candidatos de bloques de fusión usando un método descrito más adelante.

Por ejemplo, en el caso mostrado en la figura 3, la unidad de cálculo de candidatos de bloques de fusión 114 selecciona los bloques vecinos A a D como candidatos de bloques de fusión. Además, la unidad de cálculo de candidatos de bloques de fusión 114 calcula, como candidato de bloque de fusión, un bloque de fusión ubicado conjuntamente que tiene un vector de movimiento, un índice de imagen de referencia y una dirección de predicción que se calculan a partir del vector de movimiento de un bloque ubicado conjuntamente usando el modo de predicción de tiempo.

La unidad de cálculo de candidatos de bloques de fusión 114 asigna índices de candidatos de bloques de fusión a los respectivos candidatos de bloques de fusión como se muestra en (a) en la figura 11. A continuación, la unidad de cálculo de candidatos de bloques de fusión 114 calcula una lista de candidatos de bloques de fusión y el tamaño de la lista de candidatos de bloques de fusión como se muestra en (b) en la figura 11 mediante la eliminación de candidatos idénticos y candidatos no utilizables para la fusión y la adición de nuevos candidatos de bloques de fusión combinados usando un método descrito más adelante.

Los códigos más cortos se asignan a índices candidatos de bloques de fusión de valores más pequeños. Dicho de otro modo, cuanto menor sea el valor de un índice de candidato de bloque de fusión, menor será la cantidad de información necesaria para indicar el índice de candidato de bloque de fusión.

Por otro lado, cuanto mayor sea el valor de un índice de candidato de bloque de fusión, mayor será la cantidad de información necesaria para el índice de candidato de bloque de fusión. Por lo tanto, aumentará la eficiencia de codificación cuando se asignen índices de candidatos de bloques de fusión de valores más pequeños a candidatos de bloques de fusión que con mayor probabilidad tengan vectores de movimiento de mayor precisión e índices de imágenes de referencia de mayor precisión.

Por lo tanto, un caso posible es que la unidad de cálculo de candidatos de bloques de fusión 114 cuente el número total de veces que se selecciona cada candidato de bloque de fusión como bloque de fusión, y asigne índices de candidatos de bloques de fusión de valores más pequeños a bloques con un mayor número total de veces. Específicamente, esto se puede lograr especificando un bloque de fusión seleccionado de los bloques vecinos y asignando un índice de candidato de bloque de fusión de un valor más pequeño al bloque de fusión especificado cuando se codifica un bloque actual.

Cuando un candidato de bloque de fusión no tiene información, como un vector de movimiento (por ejemplo, cuando el bloque de fusión ha sido un bloque codificado mediante la interpredicción, está ubicado fuera del límite de una imagen o el límite de un segmento, o aún no se ha codificado), el candidato de bloque de fusión es no utilizable para la codificación.

En la realización 1, tal candidato de bloque de fusión no utilizable para la codificación se denomina candidato no utilizable para la fusión, y un candidato de bloque de fusión utilizable para la codificación se denomina candidato utilizable para la fusión. Además, entre una pluralidad de candidatos de bloques de fusión, un candidato de bloque de fusión idéntico a cualquier otro bloque de fusión en vector de movimiento, índice de imagen de referencia y dirección de predicción se denomina candidato idéntico.

En el caso mostrado en la figura 3, el bloque vecino C es un candidato no utilizable para la fusión porque es un bloque codificado mediante la intrapredicción. El bloque vecino D es un candidato idéntico porque es idéntico al bloque vecino A en vector de movimiento, índice de imagen de referencia y dirección de predicción.

En la etapa S102, la unidad de control de interpredicción 111 selecciona un modo de predicción basándose en la comparación, usando un método descrito más adelante, entre el error de predicción de una imagen de predicción generada usando un vector de movimiento derivado mediante la estimación de movimiento y el error de predicción de una imagen de predicción generada usando un vector de movimiento obtenido de un candidato de bloque de fusión. Cuando el modo de predicción seleccionado es el modo de fusión, la unidad de control de interpredicción 111 establece el indicador de fusión en 1, y cuando no, la unidad de control de interpredicción 111 establece el indicador de fusión en 0.

En la etapa S103, se determina si el indicador de fusión es 1 o no (es decir, si el modo de predicción seleccionado es el modo de fusión o no).

Cuando el resultado de la determinación en la etapa S103 es verdadero (Sí, S103), la unidad de codificación de longitud variable 116 adjunta el indicador de fusión a un flujo de bits en la etapa S104. Posteriormente, en la etapa S105, la unidad de codificación de longitud variable 116 asigna secuencias de bits según el tamaño de la lista de candidatos de bloques de fusión como se muestra en la figura 5 a los índices de candidatos de bloques de fusión de candidatos de bloques de fusión para usarse para la codificación. Entonces, la unidad de codificación de longitud variable 116 realiza la codificación de longitud variable en la secuencia de bits asignada.

Por otro lado, cuando el resultado de la determinación en la etapa S103 es falso (S103, No), la unidad de codificación de longitud variable 116 adjunta información sobre un indicador de fusión y un modo de vector de estimación de movimiento a un flujo de bits en la etapa S106.

En la realización 1, un índice de candidato de bloque de fusión que tiene un valor de “0” se asigna al bloque vecino A como se muestra en (a) en la figura 11. Se asigna un índice de candidato de bloque de fusión que tiene un valor de “1” al bloque vecino B. Se asigna un índice de candidato de bloque de fusión que tiene un valor de “2” al bloque de fusión ubicado conjuntamente. Se asigna un índice de candidato de bloque de fusión que tiene un valor de “3” al bloque vecino C. Se asigna un índice de candidato de bloque de fusión que tiene un valor de “4” al bloque vecino D.

Cabe señalar que los índices de candidatos de bloques de fusión que tienen tal valor pueden asignarse de otro modo. Por ejemplo, cuando se agrega un nuevo candidato de bloque de fusión combinado usando un método descrito más adelante, la unidad de codificación de longitud variable 116 puede asignar valores más pequeños a los candidatos de bloques de fusión preexistentes y un valor mayor al nuevo candidato de bloque de fusión combinado. Dicho de otro modo, la unidad de codificación de longitud variable 116 puede asignar un índice de candidato de bloque de fusión de un valor más pequeño a un candidato de bloque de fusión preexistente con prioridad a un nuevo candidato.

Además, los candidatos de bloques de fusión no se limitan a los bloques en las posiciones de los bloques vecinos A, B, C y D. Por ejemplo, un bloque vecino ubicado sobre el bloque D vecino inferior izquierdo se puede usar como candidato de bloque de fusión. Además, no es necesario usar todos los bloques vecinos como candidatos de bloques de fusión. Por ejemplo, también es posible usar solo los bloques vecinos A y B como candidatos de bloques de fusión.

Además, aunque la unidad de codificación de longitud variable 116 adjunta un índice de candidato de bloque de fusión a un flujo de bits en la etapa S105 en la figura 10 en la realización 1, no siempre es necesario adjuntar un índice de candidato de bloque de fusión de este tipo a un flujo de bits. Por ejemplo, la unidad de codificación de longitud variable 116 no necesita adjuntar un índice de candidato de bloque de fusión a un flujo de bits cuando el tamaño de la lista de candidatos de bloques de fusión es “1”. De este modo, se reduce la cantidad de información sobre el índice de candidato de bloque de fusión.

La figura 12 es un diagrama de flujo que muestra detalles del procedimiento en la etapa S101 en la figura 10. Específicamente, la figura 12 ilustra un método para calcular los candidatos de bloques de fusión y el tamaño de una lista de candidatos de bloques de fusión. La figura 12 se describirá a continuación.

En la etapa S111, la unidad de cálculo de candidatos de bloques de fusión 114 determina si un candidato de bloque de fusión [N] es un candidato utilizable para la fusión o no usando un método descrito más adelante.

Aquí, N indica un valor de índice para identificar cada candidato de bloque de fusión. En la realización 1, N toma valores de 0 a 4. Específicamente, el bloque vecino A en la figura 3 se asigna a un candidato de bloque de fusión [0]. El bloque vecino B en la figura 3 se asigna a un candidato de bloque de fusión [1]. El bloque de fusión ubicado conjuntamente se asigna a un candidato de bloque de fusión [2]. El bloque vecino C en la figura 3 se asigna a un candidato de bloque de fusión [3]. El bloque vecino D en la figura 3 se asigna a un candidato de bloque de fusión [4].

En la etapa S112, la unidad de cálculo de candidatos de bloques de fusión 114 obtiene el vector de movimiento, el índice de imagen de referencia y la dirección de predicción del candidato de bloque de fusión [N], y los agrega a una lista de candidatos de bloques de fusión.

En la etapa S113, la unidad de cálculo de candidatos de bloques de fusión 114 busca en la lista de candidatos de bloques de fusión un candidato no utilizable para la fusión y un candidato idéntico, y elimina el candidato no utilizable para la fusión y el candidato idéntico de la lista de candidatos de bloques de fusión, como se muestra en la figura 11.

En la etapa S114, la unidad de cálculo de candidatos de bloques de fusión 114 agrega un nuevo candidato de bloque de fusión combinado a la lista de candidatos de bloques de fusión usando un método descrito más adelante. Aquí, cuando se agrega un nuevo candidato de bloque de fusión combinado, la unidad de cálculo de candidatos de bloques de fusión 114 puede reasignar índices de candidatos de bloques de fusión de modo que se asignen los índices de candidatos de bloques de fusión de valores más pequeños a candidatos de bloques de fusión preexistentes con prioridad al nuevo candidato. Dicho de otro modo, la unidad de cálculo de candidatos de bloques de fusión 114 puede reasignar los índices de candidatos de bloques de fusión de modo que se asigne un índice de candidato de bloque de fusión de un valor mayor al nuevo candidato de bloque de fusión combinado. De este modo se reduce la cantidad de código de índices de candidatos de bloques de fusión.

En la etapa S115, la unidad de cálculo de candidatos de bloques de fusión 114 establece el número total de candidatos de bloques de fusión después de agregar el candidato de bloque de fusión combinado como el tamaño de la lista de candidatos de bloques de fusión. En el ejemplo mostrado en la figura 11, el número total de candidatos de bloques de fusión se calcula en “5”, y el tamaño de la lista de candidatos de bloques de fusión se establece en “5”.

El nuevo candidato de bloque de fusión combinado en la etapa S114 es un candidato recién agregado a los candidatos de bloques de fusión usando un método descrito más adelante cuando el número total de candidatos de bloques de fusión es menor que un número máximo de candidatos de bloques de fusión. De esta manera, cuando el número total de candidatos de bloques de fusión es menor que un número máximo de candidato de bloque de fusión, el aparato de codificación de imágenes 100 agrega un candidato de bloque de fusión combinado para la predicción bidireccional de modo que pueda aumentarse la eficiencia de codificación.

La figura 13 es un diagrama de flujo que muestra detalles del procedimiento en la etapa S111 en la figura 12. Específicamente, la figura 13 ilustra un método para determinar si un candidato de bloque de fusión [N] es un candidato utilizable para la fusión o no y actualizar el número total de candidatos utilizables para la fusión. La figura 13 se describirá a continuación.

En la etapa S121, la unidad de cálculo de candidatos de bloques de fusión 114 determina si es verdadero o falso que (1) un candidato de bloque de fusión [N] se ha codificado mediante la interpredicción, (2) el candidato de bloque de fusión [N] es un bloque fuera del límite de un segmento que incluye el bloque actual o el límite de una imagen que incluye el bloque actual, o (3) el bloque candidato de fusión [N] aún no se ha codificado.

Cuando el resultado de la determinación en la etapa 121 es verdadero (S121, Sí), la unidad de cálculo de candidatos de bloques de fusión 114 establece el candidato de bloque de fusión [N] como candidato no utilizable para la fusión en la etapa S122. Por otro lado, cuando el resultado de la determinación en la etapa S121 es falso (S121, No), la unidad de cálculo de candidatos de bloques de fusión 114 establece el candidato de bloque de fusión [N] como candidato utilizable para fusión en la etapa S123.

La figura 14 es un diagrama de flujo que muestra detalles del procedimiento en la etapa S114 en la figura 12. Específicamente, la figura 14 ilustra un método para agregar un candidato de bloque de fusión combinado. La figura 14 se describirá a continuación.

En la etapa S131, la unidad de cálculo de candidatos de bloques de fusión 114 determina si el número total de candidatos de bloques de fusión es menor que el número total de candidatos utilizables para la fusión o no. Dicho de otro modo, la unidad de cálculo de candidatos de bloques de fusión 114 determina si el número total de candidatos de bloques de fusión está todavía por debajo del número máximo de candidatos de bloques de fusión.

Aquí, cuando el resultado de la determinación en la etapa S131 es verdadero (S131, Sí), en la etapa S132, la unidad de cálculo de candidatos de bloques de fusión 114 determina si hay un nuevo candidato de bloque de fusión combinado que se puede agregar como un candidato de bloque de fusión a la lista de candidatos de bloques de fusión o no. Aquí, cuando el resultado de la determinación en la etapa S132 es verdadero (S132, Sí), en la etapa S133, la unidad de cálculo de candidatos de bloques de fusión 114 asigna un índice de candidato de bloque de fusión al nuevo candidato de bloque de fusión combinado y agrega el nuevo candidato de bloque de fusión combinado a la lista de candidatos de bloques de fusión. Además, en la etapa S134, la unidad de cálculo de candidatos de bloques de fusión 114 incrementa en uno el número total de candidatos de bloques de fusión. Cuando el resultado de la determinación en la etapa S132 es falso (S132, No), el procedimiento vuelve a la etapa S131 para calcular un próximo candidato de bloque de fusión combinado.

Por otro lado, cuando el resultado de la determinación en la etapa S131 es falso (S131 o S132, No), finaliza el procedimiento para agregar un candidato de bloque de fusión combinado. Dicho de otro modo, finaliza el procedimiento para agregar un nuevo candidato de bloque de fusión combinado cuando el número total de candidatos de bloques de fusión alcanza el número máximo de candidatos de bloques de fusión.

La figura 15 es un diagrama de flujo que muestra detalles del procedimiento en la etapa S132 en la figura 14. Específicamente, la figura 15 ilustra un método para determinar si hay un candidato de bloque de fusión combinado o no. La figura 15 se describirá a continuación.

En la etapa S141, la unidad de cálculo de candidatos de bloques de fusión 114 actualiza los índices de candidatos de bloques de fusión idx1 e idx2. Los índices de candidatos de bloques de fusión idx1 e idx2 se asignan a los candidatos de bloques de fusión [idx1] y [idx2], respectivamente, y se usan para determinar si se puede generar un candidato de bloque de fusión combinado o no usando vectores de movimiento e índices de imágenes de referencia de los candidatos de bloques de fusión [idx1] y [idx2].

Por ejemplo, en primer lugar, la unidad de cálculo de candidatos de bloques de fusión 114 actualiza los índices de candidatos de bloques de fusión idx1 e idx2 a [0] y [1], respectivamente. A continuación, la unidad de cálculo de candidatos de bloques de fusión 114 determina si hay un candidato de bloque de fusión combinado o no realizando el procedimiento desde la etapa S142 a la etapa S149 para determinar si se puede generar un candidato de bloque de fusión combinado o no usando vectores de movimiento e índices de imágenes de referencia del candidato de bloque de fusión [0] y el candidato de bloque de fusión [1] incluidos en una lista de candidatos de bloques de fusión.

A continuación, para determinar si hay otro candidato de bloque de fusión combinado o no, la unidad de cálculo de candidatos de bloques de fusión 114 actualiza los índices de candidatos de bloques de fusión idx1 e idx2 a, por ejemplo, [0] y [2]. A continuación, la unidad de cálculo de candidatos de bloques de fusión 114 determina si hay un candidato de bloque de fusión combinado o no realizando el procedimiento desde la etapa S142 hasta la etapa S149 para determinar si se puede generar un candidato de bloque de fusión combinado o no utilizando vectores de movimiento e índices de imágenes de referencia del candidato de bloque de fusión [0] y el candidato de bloque de fusión [2] incluidos en la lista de candidatos de bloques de fusión.

A continuación, para determinar si hay otro candidato de bloque de fusión combinado o no, la unidad de cálculo de candidatos de bloques de fusión 114 actualiza los índices de candidatos de bloques de fusión idx1 e idx2 a, por ejemplo, [0] y [3].

De esta manera, la unidad de cálculo de candidatos de bloques de fusión 114 determina si hay un candidato de bloque de fusión combinado o no actualizando de forma incremental los índices de candidatos de bloques de fusión idx1 e idx2 en la etapa S141 y realizando el procedimiento desde la etapa S142 hasta la etapa S149 después de realizar una determinación sobre si hay otros candidatos de bloques de fusión combinados o no.

Cabe señalar que los detalles del procedimiento para actualizar los índices candidatos de bloques de fusión idx1 e idx2 no están limitados por el procedimiento descrito anteriormente. El procedimiento se puede realizar utilizando cualquier procedimiento siempre que la determinación de si hay un candidato de bloque de fusión combinado o no se pueda realizar para todas las combinaciones de los candidatos de bloques de fusión derivados previamente.

A continuación, en la etapa S142, la unidad de cálculo de candidatos de bloques de fusión 114 determina si todo lo siguiente es cierto o no: (1) los índices de candidatos de bloques de fusión idx1 e idx2 tienen valores diferentes; (2) el candidato de bloque de fusión [idx1] no es un candidato de bloque de fusión combinado; y (3) el candidato de bloque de fusión [idx2] no es un candidato de bloque de fusión combinado.

Cuando el resultado de la determinación en la etapa S142 es verdadero (S142, Sí), en la etapa S143, la unidad de cálculo de candidatos de bloques de fusión 114 determina si es verdadero o falso que el candidato de bloque de fusión [idx1] y el candidato de bloque de fusión [idx2] son o bien (1) diferentes en las direcciones de predicción o bien (2) ambos se predicen bidireccionalmente. Cuando el resultado de la determinación en la etapa S143 es verdadero, (S143, Sí), en la etapa S144, la unidad de cálculo de candidatos de bloques de fusión 114 determina si lo siguiente es verdadero: (1) el candidato de bloque de fusión [idx1] se predice en una dirección de predicción 0 o se predice bidireccionalmente; y (2) el candidato de bloque de fusión [idx2] se predice en una dirección de predicción 1 o se predice bidireccionalmente. Dicho de otro modo, la unidad de cálculo de candidatos de bloques de fusión 114 determina si el candidato de bloque de fusión [idx1] tiene al menos un vector de movimiento que tiene una dirección de predicción 0 y el candidato de bloque de fusión [idx2] tiene al menos un vector de movimiento que tiene una dirección de predicción 1 o no.

Cuando el resultado de la determinación en la etapa S144 es verdadero (S144, Sí), en la etapa S145a, la unidad de cálculo de candidatos de bloques de fusión 114 asigna el vector de movimiento y un índice de imagen de referencia para la dirección de predicción 0 del candidato de bloque de fusión [idx1] a la dirección de predicción 0 del bloque de fusión combinado. Además, en la etapa S146a, la unidad de cálculo de candidatos de bloques de fusión 114 asigna el vector de movimiento y un índice de imagen de referencia para la dirección de predicción 1 del candidato de bloque de fusión [idx2] a la dirección de predicción 1 del bloque de fusión combinado. La unidad de cálculo de candidatos de bloques de fusión 114 calcula así un bloque de fusión combinado para la predicción bidireccional.

Por otro lado, cuando el resultado de la determinación en la etapa S144 es falso (S144, No), en la etapa S145b, la unidad de cálculo de candidatos de bloques de fusión 114 asigna un vector de movimiento y un índice de imagen de referencia para la dirección de predicción 0 del candidato de bloque de fusión [idx2] a la dirección de predicción 0 del bloque de fusión combinado. Además, en la etapa S146b, la unidad de cálculo de candidatos de bloques de fusión 114 asigna un vector de movimiento y un índice de imagen de referencia para la dirección de predicción 1 del candidato de bloque de fusión [idx1] a la dirección de predicción 1 del bloque de fusión combinado. La unidad de cálculo de candidatos de bloques de fusión 114 calcula así un bloque de fusión combinado para la predicción bidireccional.

En la etapa S147, la unidad de cálculo de candidatos de bloques de fusión 114 determina si la lista de candidatos de bloques de fusión ya incluye un candidato de bloque de fusión idéntico en vector de movimiento, índice de imagen de referencia y dirección de predicción al candidato de bloque de fusión combinado calculado o no. Dicho de otro modo, la unidad de cálculo de candidatos de bloques de fusión 114 determina si el bloque de fusión combinado es diferente de cualquier otro candidato de bloque de fusión o no.

Cuando el resultado de la determinación en la etapa S147 es verdadero (S147, Sí), en la etapa S148, la unidad de cálculo de candidatos de bloques de fusión 114 determina que hay un candidato de bloque de fusión combinado.

Cuando el resultado de la determinación en la etapa S142, la etapa S143 o la etapa S147 es falso (S142, S143 o S147, No), la unidad de cálculo de candidatos de bloques de fusión 114 determina en la etapa S149 que no hay ningún candidato de bloque de fusión combinado.

La figura 16 es un diagrama de flujo que muestra detalles del procedimiento en la etapa S102 en la figura 10. Específicamente, la figura 16 ilustra un procedimiento para seleccionar un candidato de bloque de fusión. La figura 16 se describirá a continuación.

En la etapa S151, la unidad de control de interpredicción 111 establece un índice de candidato de bloque de fusión en 0, el error de predicción mínimo en el error de predicción (coste) en el modo de estimación de vector de movimiento, y un indicador de fusión en 0. Aquí, el coste se calcula utilizando la siguiente fórmula para un modelo de optimización de R-D, por ejemplo.

(Ecuación 1)

Coste = D AR

En la Ecuación 1, D indica distorsión de codificación. Por ejemplo, D es la suma de las diferencias absolutas entre los valores de píxel originales de un bloque actual que va a codificarse y los valores de píxel obtenidos mediante la codificación y decodificación del bloque actual usando una imagen de predicción generada usando un vector de movimiento. R indica la cantidad de códigos generados. Por ejemplo, R es la cantidad de códigos necesaria para codificar un vector de movimiento usado para generar una imagen de predicción. A indica un multiplicador de Lagrange indeterminado.

En la etapa S152, la unidad de control de interpredicción 111 determina si el valor de un índice de candidato de bloque de fusión es menor que el número total de candidatos de bloques de fusión de un bloque actual o no. Dicho de otro modo, la unidad de control de interpredicción 111 determina si todavía hay un candidato de bloque de fusión o no en el que el procedimiento de la etapa S153 hasta la etapa S155 no se ha realizado todavía.

Cuando el resultado de la determinación en la etapa S152 es verdadero (S152, Sí), en la etapa S153, la unidad de control de interpredicción 111 calcula el coste para un candidato de bloque de fusión al que se asigna un índice de candidato de bloque de fusión. Entonces, en la etapa S154, la unidad de control de interpredicción 111 determina si el coste calculado para un candidato de bloque de fusión es menor que el error de predicción mínimo o no.

Aquí, cuando el resultado de la determinación en la etapa S154 es verdadero (S154, Sí), la unidad de control de interpredicción 111 actualiza el error de predicción mínimo, el índice de candidato de bloque de fusión y el valor del indicador de fusión en la etapa S155. Por otro lado, cuando el resultado de la determinación en la etapa S154 es falso (S154, No), la unidad de control de interpredicción 111 no actualiza el error de predicción mínimo, el índice de candidato de bloque de fusión o el valor del indicador de fusión.

En la etapa S156, la unidad de control de interpredicción 111 incrementa en uno el índice de candidato de bloque de fusión y repite desde la etapa S152 hasta la etapa S156.

Por otro lado, cuando el resultado de la determinación en la etapa S152 es falso (S152, No), es decir, no hay más candidatos de bloques de fusión sin procesar, la unidad de control de interpredicción 111 fija los valores finales del indicador de fusión y el índice de candidato de bloque de fusión en la etapa S157.

De esta manera, el aparato de codificación de imágenes 100 según la realización 1 calcula un nuevo candidato de bloque de fusión para la predicción bidireccional basándose en candidatos de bloques de fusión ya derivados de modo que pueda aumentarse la eficiencia de codificación. Más específicamente, el aparato de codificación de imágenes 100 es capaz de calcular un nuevo candidato de bloque de fusión para la predicción bidireccional (un candidato de bloque de fusión combinado) basándose en candidatos de bloques de fusión calculados a partir de bloques vecinos y bloques ubicados conjuntamente mediante la combinación de un vector de movimiento y un índice de imagen de referencia para una dirección de predicción 0 de uno de los candidatos de bloques de fusión y un vector de movimiento y un índice de imagen de referencia para una dirección de predicción 1 de uno diferente de los candidatos de bloques de fusión. Entonces, el aparato de codificación de imágenes 100 agrega el candidato de bloque de fusión combinado calculado a una lista de candidatos de bloques de fusión de modo que pueda aumentarse la eficiencia de codificación. Además, el aparato de codificación de imágenes 100 elimina los candidatos no utilizables para la fusión y los candidatos idénticos de una lista de candidatos de bloques de fusión, y entonces agrega un candidato de bloque de fusión combinado a la lista de candidatos de bloques de fusión de modo que pueda aumentarse la eficiencia de codificación sin aumentar un número máximo de candidatos de bloques de fusión.

Cabe señalar que el ejemplo descrito en la realización 1 en el que el indicador de fusión siempre se adjunta a un flujo de bits en el modo de fusión no es limitativo. Por ejemplo, el modo de fusión puede seleccionarse a la fuerza dependiendo de la forma de un bloque para usarse en la interpredicción de un bloque actual. En este caso, la cantidad de información puede reducirse no adjuntando un indicador de fusión a un flujo de bits.

Cabe señalar que el ejemplo descrito en la realización 1 en el que se usa el modo de fusión en el que se codifica un bloque actual usando una dirección de predicción, un vector de movimiento y un índice de imagen de referencia copiado de un bloque vecino del bloque actual no es limitativo. Por ejemplo, se puede usar un modo de fusión por salto. En el modo de fusión por salto, un bloque actual se codifica de la misma manera que en el modo de fusión, utilizando una dirección de predicción, un vector de movimiento y un índice de imagen de referencia copiado de un bloque vecino del bloque actual con referencia a una lista de candidatos de bloques de fusión creada como se muestra en (b) en la figura 11. Cuando todos los errores de predicción resultantes son cero para el bloque actual, un indicador de salto establecido en 1 y el indicador de salto y un índice de candidato de bloque de fusión se adjuntan a un flujo de bits. Cuando cualquiera de los errores de predicción resultantes es distinto de cero, un indicador de salto se establece en 0 y el indicador de salto, un indicador de fusión, un índice de candidato de bloque de fusión y los datos de los errores de predicción se adjuntan a un flujo de bits.

Cabe señalar que el ejemplo descrito en la realización 1 en el que se usa el modo de fusión en el que se codifica un bloque actual usando una dirección de predicción, un vector de movimiento y un índice de imagen de referencia copiado de un bloque vecino del bloque actual no es limitativo. Por ejemplo, un vector de movimiento en el modo de estimación de vector de movimiento se puede codificar usando una lista de candidatos de bloques de fusión creada como se muestra en (b) en la figura 11. Específicamente, se calcula una diferencia restando un vector de movimiento de un candidato de bloque de fusión indicado por un índice de candidato de bloque de fusión de un vector de movimiento en el modo de estimación de vector de movimiento. Entonces, la diferencia calculada y el índice de candidato de bloque de fusión pueden adjuntarse a un flujo de bits.

Opcionalmente, se puede calcular una diferencia escalando un vector de movimiento MV_Merge de un candidato de bloque de fusión usando un índice de imagen de referencia RefIdx_ME en el modo de estimación de movimiento y un índice de imagen de referencia RefIdx_Merge del candidato de bloque de fusión y restando un vector de movimiento scaledMV_Merge del candidato de bloque de fusión después del escalado del vector de movimiento en el modo de estimación de movimiento. Además, la diferencia calculada y el índice de candidato de bloque de fusión pueden adjuntarse a un flujo de bits. La siguiente es una fórmula de ejemplo para el escalado.

(Ecuación 2)

scaledMV_Merge = MV_Merge * (POC(RefIdx_ME) - curPOC) / (POC (RefIdx_Merge) - curPOC)

Aquí, POC (RefIdx_ME) indica el orden de visualización de una imagen de referencia indicada por un índice de imagen de referencia RefIdx_ME. POC (RefIdx_Merge) indica el orden de visualización de una imagen de referencia indicada por un índice de imagen de referencia RefIdx_Merge. curPOC indica el orden de visualización de una imagen actual que va a codificarse.

[Realización 2]

Aunque la unidad de cálculo de candidatos de bloques de fusión 114 determina en la etapa S147 en la figura 15 si un candidato de bloque de fusión combinado es un candidato idéntico en la realización 1 o no, esta determinación no siempre es necesaria. Por ejemplo, se puede omitir la determinación en la etapa S147. Esto reduce la complejidad computacional en la derivación de una lista de candidatos de bloques de fusión para el aparato de codificación de imágenes 100.

Además, cabe señalar que la realización 1 en la que se agregan candidatos de bloques de fusión combinados a una lista de candidatos de bloques de fusión hasta que el número total de candidatos de bloques de fusión alcanza un número máximo de candidatos de bloques de fusión no es limitativa. Por ejemplo, la unidad de cálculo de candidatos de bloques de fusión 114 puede determinar en la etapa S131 en la figura 14 si el número total de candidatos de bloques de fusión ha alcanzado un valor umbral predeterminado que es menor que un número máximo de candidatos de bloques de fusión o no. Esto reduce la complejidad computacional en la derivación de una lista de candidatos de bloques de fusión para el aparato de codificación de imágenes 100.

Además, cabe señalar que la realización 1 en la que se finaliza la adición de un candidato de bloque de fusión combinado a una lista de candidatos de bloques de fusión cuando el número total de candidatos de bloques de fusión alcanza un número máximo de candidatos de bloques de fusión no es limitativa. Por ejemplo, la determinación en la etapa S131 en la figura 14 en cuanto a si el número total de candidatos de bloques de fusión ha alcanzado el número máximo de candidatos de bloques de fusión o no puede omitirse, y la unidad de cálculo de candidatos de bloques de fusión 114 puede agregar todos los candidatos de bloques de fusión combinados a la lista de candidatos de bloques de fusión hasta que no hay más nuevos candidatos para el bloque de fusión combinado. Esto amplía el intervalo de candidatos de bloques de fusión opcionales para el aparato de codificación de imágenes 100, de modo que pueda aumentarse la eficiencia de codificación.

Una modificación de este tipo del aparato de codificación de imágenes según la realización 1 se describirá específicamente a continuación como aparato de codificación de imágenes según la realización 2, que no forma parte de la presente invención.

La figura 17 es un diagrama de bloques que muestra una configuración de un aparato de codificación de imágenes 200 según la realización 2. El aparato de codificación de imágenes 200 codifica una imagen bloque por bloque para generar un flujo de bits. El aparato de codificación de imágenes 200 incluye una unidad de derivación de candidatos de fusión 210, una unidad de control de predicción 220 y una unidad de codificación 230.

La unidad de derivación de candidatos de fusión 210 corresponde a la unidad de cálculo de candidatos de bloques de fusión 114 en la realización 1. La unidad de derivación de candidatos de fusión 210 deriva candidatos de fusión. La unidad de derivación de candidatos de fusión 210 genera una lista de candidatos de fusión en la que, por ejemplo, índices que identifican cada uno de ellos a un candidato de fusión derivado diferente (en lo sucesivo denominados índices de candidatos de fusión) están asociados con los respectivos candidatos de fusión derivados.

Los candidatos de fusión son candidatos, cada uno de los cuales es una combinación de una dirección de predicción, un vector de movimiento y un índice de imagen de referencia para usarse en la codificación de un bloque actual. Específicamente, cada uno de los candidatos de fusión es una combinación que incluye al menos un conjunto de una dirección de predicción, un vector de movimiento y un índice de imagen de referencia.

Los candidatos de fusión corresponden a los candidatos de bloques de fusión en la realización 1. La lista de candidatos de fusión es la misma que la lista de candidatos de bloques de fusión.

Como se muestra en la figura 17, la unidad de derivación de candidatos de fusión 210 incluye una primera unidad de derivación 211 y una segunda unidad de derivación 212.

La primera unidad de derivación 211 deriva los primeros candidatos de fusión basándose en las direcciones de predicción, los vectores de movimiento y los índices de imágenes de referencia que se han utilizado en los bloques de codificación que son vecines espaciales o temporales del bloque actual. Entonces, por ejemplo, la primera unidad de derivación 211 registra los primeros candidatos de fusión derivados de esta manera en la lista de candidatos de fusión, cada uno en asociación con un índice de candidato de fusión diferente.

El bloque que es vecino espacial es un bloque que está dentro de una imagen que incluye el bloque actual y es vecino del bloque actual. Específicamente, los bloques vecinos A a D mostrados en la figura 3 son ejemplos del bloque que es vecino espacial.

El bloque que es vecino temporal es un bloque que está dentro de una imagen diferente de una imagen que incluye el bloque actual y corresponde al bloque actual. Específicamente, un bloque ubicado conjuntamente es un ejemplo del bloque que es vecino temporal.

Cabe señalar que el bloque que es vecino temporal no necesita ser un bloque ubicado en la misma posición que el bloque actual (bloque ubicado conjuntamente). Por ejemplo, el bloque que es vecino temporal puede ser un bloque vecino del bloque ubicado conjuntamente.

Cabe señalar que la primera unidad de derivación 211 puede derivar, como primer candidato de fusión, una combinación de una dirección de predicción, un vector de movimiento y un índice de imagen de referencia que se han usado en los bloques de codificación que son vecinos espaciales del bloque actual excepto bloques no utilizables para la fusión. El bloque no utilizable para la fusión es un bloque codificado mediante la interpredicción, un bloque fuera del límite de un segmento que incluye el bloque actual o el límite de una imagen que incluye el bloque actual, o un bloque aún por codificar. Con esta configuración, la primera unidad de derivación 211 puede derivar primeros candidatos de fusión a partir de bloques apropiados para obtener candidatos de fusión.

La segunda unidad de derivación 212 deriva un segundo candidato de fusión para la predicción bidireccional haciendo una combinación de los primeros candidatos de fusión derivados. Específicamente, la segunda unidad de derivación 212 deriva un segundo candidato de fusión para la predicción bidireccional mediante la combinación de, por ejemplo, un vector de movimiento y un índice de imagen de referencia para una primera dirección de predicción (dirección de predicción 0) que se incluyen en uno de los primeros candidatos de fusión y un vector de movimiento y un índice de imagen de referencia para una segunda dirección de predicción (dirección de predicción 1) que se incluyen en uno diferente de los primeros candidatos de fusión. Más específicamente, por ejemplo, la segunda unidad de derivación 212 deriva un segundo candidato de fusión de la misma manera que la derivación de un candidato de bloque de fusión combinado en la realización 1 (véase la figura 15, etc.).

Entonces, por ejemplo, la segunda unidad de derivación 212 registra segundos candidatos de fusión derivados de esta manera en la lista de candidatos de fusión, cada uno en asociación con un índice de candidato de fusión diferente. En este momento, la segunda unidad de derivación 212 puede registrar los segundos candidatos de fusión en la lista de candidatos de fusión, de modo que los índices de candidatos de fusión asignados a los primeros candidatos de fusión sean más pequeños que los índices de candidatos de fusión asignados a los segundos candidatos de fusión como en la realización 1. Con esto, el aparato de codificación de imágenes 200 puede reducir la cantidad de código cuando es más probable que los primeros candidatos de fusión se seleccionen como candidatos de fusión para usarse para codificar que un segundo candidato de fusión de modo que pueda aumentarse la eficiencia de codificación.

La unidad de control de predicción 220 selecciona un candidato de fusión para usarse para codificar un bloque actual a partir de los primeros candidatos de fusión y los segundos candidatos de fusión derivados. Dicho de otro modo, la unidad de control de predicción 220 selecciona un candidato de fusión para usarse para codificar un bloque actual de la lista de candidatos de fusión.

La unidad de codificación 230 adjunta un índice para identificar el candidato de fusión seleccionado (índice de candidato de fusión) a un flujo de bits. Por ejemplo, la unidad de codificación 230 codifica el índice de candidato de fusión usando la suma del número total de primeros candidatos de fusión derivados y el número total de segundos candidatos de fusión derivados, y adjunta el índice de candidato de fusión codificado a un flujo de bits.

A continuación, se describirán las operaciones del aparato de codificación de imágenes 200 en la configuración descrita anteriormente.

La figura 18 es un diagrama de flujo que muestra las operaciones de procesamiento del aparato de codificación de imágenes 200 según la realización 2.

En primer lugar, la primera unidad de derivación 211 deriva los primeros candidatos de fusión (S201). Posteriormente, la segunda unidad de derivación 212 deriva un segundo candidato de fusión (S202).

A continuación, la unidad de control de predicción 220 selecciona un candidato de fusión para usarse para codificar un bloque actual a partir de los primeros candidatos de fusión y el segundo candidato de fusión (S203). Por ejemplo, la unidad de control de predicción 220 selecciona un candidato de fusión para el cual el coste representado por la Ecuación 1 es un mínimo de la lista de candidatos de fusión como en la realización 1.

Finalmente, la unidad de codificación 230 adjunta un índice para identificar el candidato de fusión seleccionado a un flujo de bits (S204).

De esta manera, el aparato de codificación de imágenes 200 según la realización 2 es capaz de derivar un segundo candidato de fusión para la predicción bidireccional haciendo una combinación de los primeros candidatos de fusión derivados basándose en bloques que son vecinos espaciales o temporales de un bloque actual que va a codificarse. En particular, el aparato de codificación de imágenes 200 es capaz de derivar un segundo candidato de fusión para la predicción bidireccional incluso cuando los primeros candidatos de fusión no incluyen ningún candidato de fusión predicho bidireccionalmente. Como resultado, el aparato de codificación de imágenes 200 aumenta la variedad de combinaciones de una dirección de predicción, un vector de movimiento y un índice de imagen de referencia a partir del cual se selecciona un candidato de fusión de modo que pueda aumentarse la eficiencia de codificación.

[Realización 3]

La figura 19 es un diagrama de bloques que muestra una configuración de un aparato de decodificación de imágenes 300 según la realización 3. El aparato de decodificación de imágenes 300 es un aparato que corresponde al aparato de codificación de imágenes 100 según la realización 1. Específicamente, por ejemplo, el aparato de decodificación de imágenes 300 decodifica, bloque por bloque, imágenes codificadas incluidas en un flujo de bits generado por el aparato de codificación de imágenes 100 según la realización 1.

Como se muestra en la figura 19, el aparato de decodificación de imágenes 300 incluye una unidad de decodificación de longitud variable 301, una unidad de cuantificación inversa 302, una unidad de transformación ortogonal inversa 303, un sumador 304, una memoria de bloques 305, una memoria de fotogramas 306, una unidad de intrapredicción 307, una unidad de interpredicción 308, una unidad de control de interpredicción 309, un conmutador 310, una unidad de cálculo de candidatos de bloques de fusión 311 y una memoria colPic 312.

La unidad de decodificación de longitud variable 301 genera información de tipo de imagen, un indicador de fusión y un coeficiente cuantificado realizando una decodificación de longitud variable en un flujo de bits de entrada. Además, la unidad de decodificación de longitud variable 301 realiza la decodificación de longitud variable en un índice de candidato de bloque de fusión usando el número total de candidatos de bloques de fusión calculado por la unidad de cálculo de candidatos de bloques de fusión 311.

La unidad de cuantificación inversa 302 cuantifica inversamente el coeficiente cuantificado obtenido mediante la decodificación de longitud variable.

La unidad de transformación ortogonal inversa 303 genera datos de error de predicción transformando un coeficiente de transformación ortogonal obtenido mediante la cuantificación inversa de un dominio de frecuencia a un dominio de imagen.

La memoria de bloque 305 almacena, en unidades de un bloque, datos de imagen decodificados generados agregando los datos de error de predicción y los datos de imagen de predicción.

La memoria de fotogramas 306 almacena datos de imagen decodificados en unidades de un fotograma.

La unidad de intrapredicción 307 genera datos de imagen de predicción de un bloque actual que va a decodificarse, realizando la intrapredicción usando los datos de imágenes decodificados almacenados en la memoria de bloques 305 en unidades de un bloque.

La unidad de interpredicción 308 genera datos de imagen de predicción de un bloque actual que va a decodificarse, realizando la interpredicción utilizando los datos de imágenes decodificados almacenados en la memoria de fotogramas 306 en unidades de un fotograma.

Cuando se decodifica un bloque actual mediante la decodificación de intrapredicción, el conmutador 310 emite datos de imagen de intrapredicción generados por la unidad de intrapredicción 307 como datos de imagen de predicción del bloque actual al sumador 304. Por otro lado, cuando un bloque actual se decodifica mediante la decodificación de interpredicción, el conmutador 310 emite datos de imagen de interpredicción generados por la unidad de predicción 308 como datos de imagen de predicción del bloque actual al sumador 304.

La unidad de cálculo de candidatos de bloques de fusión 311 deriva candidatos de bloques de fusión a partir de vectores de movimiento y otros de bloques vecinos del bloque actual y un vector de movimiento y otros de un bloque ubicado conjuntamente (información colPic) almacenado en la memoria colPic 312. Además, la unidad de cálculo de candidatos de bloques de fusión 311 agrega los candidatos de bloques de fusión derivados a una lista de candidatos de bloques de fusión.

Además, la unidad de cálculo de candidatos de bloques de fusión 311 deriva, como nuevo candidato, un candidato de bloque de fusión combinado mediante la combinación de, usando un método descrito más adelante, un vector de movimiento y un índice de imagen de referencia para una dirección de predicción 0 de uno de los candidatos de bloques de fusión derivados y un vector de movimiento y un índice de imagen de referencia para una dirección de predicción 1 de uno diferente de los candidatos de bloques de fusión derivados. Entonces, la unidad de cálculo de candidatos de bloques de fusión 311 agrega el candidato de bloque de fusión combinado derivado a la lista de candidatos de bloques de fusión. Además, la unidad de cálculo de candidatos de bloques de fusión 311 calcula el número total de candidatos de bloques de fusión.

Además, la unidad de cálculo de candidatos de bloques de fusión 311 asigna índices de candidatos de bloques de fusión, cada uno de los cuales tiene un valor diferente a los candidatos de bloques de fusión. Entonces, la unidad de cálculo de candidatos de bloques de fusión 311 transmite los candidatos de bloques de fusión a los que se han asignado los índices de candidatos de bloques de fusión a la unidad de control de interpredicción 309. Además, la unidad de cálculo de candidatos de bloques de fusión 311 transmite el número total calculado de candidatos de bloques de fusión a la unidad de decodificación de longitud variable 301.

La unidad de control de interpredicción 309 hace que la unidad de interpredicción 308 genere una imagen de interpredicción usando información sobre el modo de estimación de vector de movimiento cuando el indicador de fusión decodificado es “0”. Por otro lado, cuando el indicador de fusión es “1”, la unidad de control de interpredicción 309 determina, basándose un índice de candidato de bloque de fusión decodificado, un vector de movimiento, un índice de imagen de referencia y una dirección de predicción para usarse en la interpredicción de una pluralidad de candidatos de bloques de fusión. Entonces, la unidad de control de interpredicción 309 hace que la unidad de interpredicción 308 genere una imagen de interpredicción usando el vector de movimiento determinado, el índice de imagen de referencia y la dirección de predicción. Además, la unidad de control de interpredicción 309 transfiere información colPic que incluye el vector de movimiento del bloque actual a la memoria colPic 312.

Finalmente, el sumador 304 genera datos de imagen decodificados sumando los datos de imagen de predicción y los datos de error de predicción.

La figura 20 es un diagrama de flujo que muestra las operaciones de procesamiento del aparato de decodificación de imágenes 300 según la realización 3.

En la etapa S301, la unidad de decodificación de longitud variable 301 decodifica un indicador de fusión.

En la etapa S302, cuando el indicador de fusión es “1” (S302, Sí), en la etapa S303, la unidad de cálculo de candidatos de bloques de fusión 311 genera un candidato de bloque de fusión de la misma manera que en la etapa S101 en la figura 10. Además, la unidad de cálculo de candidatos de bloques de fusión 311 calcula el número total de candidatos de bloques de fusión como el tamaño de una lista de candidatos de bloques de fusión.

En la etapa S304, la unidad de decodificación de longitud variable 301 realiza la decodificación de longitud variable en un índice de candidato de bloque de fusión a partir de un flujo de bits usando el tamaño de la lista de candidatos de bloques de fusión.

En la etapa S305, la unidad de control de interpredicción 309 hace que la unidad de interpredicción 308 genere una imagen de interpredicción usando el vector de movimiento, el índice de imagen de referencia y la dirección de predicción del candidato de bloque de fusión indicado por el índice de candidato de bloque de fusión decodificado.

Cuando el indicador de fusión es “0” en la etapa S302 (S302, No), en la etapa S306, la unidad de interpredicción 308 genera una imagen de interpredicción usando información sobre el modo de estimación de vector de movimiento decodificado mediante la unidad de decodificación de longitud variable 301.

Opcionalmente, cuando el tamaño de una lista de candidatos de bloques de fusión calculada en la etapa S303 es “1”, un índice de candidato de bloque de fusión puede estimarse como “0” sin decodificarse.

De esta manera, el aparato de decodificación de imágenes 300 según la realización 3 calcula un nuevo candidato de bloque de fusión para la predicción bidireccional basándose en candidatos de bloques de fusión ya derivados de modo que pueda decodificarse apropiadamente un código de flujo de bits con mayor eficiencia de codificación. Más específicamente, el aparato de decodificación de imágenes 300 es capaz de calcular un nuevo candidato de bloque de fusión para la predicción bidireccional (un candidato de bloque de fusión combinado) basándose en candidatos de bloques de fusión calculados a partir de bloques vecinos y bloques ubicados conjuntamente mediante la combinación de un vector de movimiento y un índice de imagen de referencia para una dirección de predicción 0 de uno de los candidatos de bloques de fusión y un vector de movimiento y un índice de imagen de referencia para una dirección de predicción 1 de uno diferente de los candidatos de bloques de fusión. Entonces, el aparato de codificación de imágenes 100 agrega el candidato de bloque de fusión combinado calculado a una lista de candidatos de bloques de fusión de modo que pueda decodificarse adecuadamente un flujo de bits codificado con mayor eficiencia.

Además, el aparato de codificación de imágenes 100 elimina los candidatos no utilizables para la fusión y los candidatos idénticos de una lista de candidatos de bloques de fusión, y entonces agrega un candidato de bloque de fusión combinado a la lista de candidatos de bloques de fusión de modo que pueda decodificarse apropiadamente un flujo de bits codificado con mayor eficiencia sin aumentar un número máximo de candidatos de bloques de fusión.

[Realización 4]

Aunque el aparato de decodificación de imágenes según la realización 3 incluye elementos constitutivos como se muestra en la figura 19, el aparato de decodificación de imágenes no necesita incluir todos los elementos constitutivos. Dicha modificación del aparato de decodificación de imágenes según la realización 3 se describirá específicamente a continuación como un aparato de decodificación de imágenes según la realización 4, que no forma parte de la presente invención.

La figura 21 es un diagrama de bloques que muestra una configuración de un aparato de decodificación de imágenes 400 según la realización 4. El aparato de decodificación de imágenes 400 es un aparato que corresponde al aparato de codificación de imágenes 200 según la realización 2. Específicamente, por ejemplo, el aparato de decodificación de imágenes 400 decodifica, bloque por bloque, imágenes codificadas incluidas en un flujo de bits generado por el aparato de codificación de imágenes 200 según la realización 2.

Como se muestra en la figura 21, el aparato de decodificación de imágenes 400 incluye una unidad de derivación de candidatos de fusión 410, una unidad de decodificación 420 y una unidad de control de predicción 430.

La unidad de derivación de candidatos de fusión 410 corresponde a la unidad de cálculo de candidatos de bloques de fusión 311 en la realización 3. La unidad de derivación de candidatos de fusión 410 deriva candidatos de fusión. La unidad de derivación de candidatos de fusión 410 genera una lista de candidatos de fusión en la que, por ejemplo, índices que identifican cada uno de ellos a un candidato de fusión derivado diferente (índices de candidatos de fusión) están asociados con los respectivos candidatos de fusión derivados.

Como se muestra en la figura 21, la unidad de derivación de candidatos de fusión 410 incluye una primera unidad de derivación 411 y una segunda unidad de derivación 412.

La primera unidad de derivación 411 deriva los primeros candidatos de fusión de la misma manera que la primera unidad de derivación 211 en la realización 2. Específicamente, la primera unidad de derivación 411 deriva los primeros candidatos de fusión basándose en direcciones de predicción, vectores de movimiento e índices de imágenes de referencia que se han usado para codificar bloques que son vecines espaciales o temporales de un bloque actual que va a decodificarse. Entonces, por ejemplo, la primera unidad de derivación 411 registra los primeros candidatos de fusión derivados de esta manera en la lista de candidatos de fusión, cada uno en asociación con un índice de candidato de fusión diferente.

La segunda unidad de derivación 412 deriva un segundo candidato de fusión para la predicción bidireccional haciendo una combinación de los primeros candidatos de fusión derivados. Específicamente, la segunda unidad de derivación 412 deriva un segundo candidato de fusión de la misma manera que la segunda unidad de derivación 212 en la realización 2. Entonces, por ejemplo, la segunda unidad de derivación 412 registra segundos candidatos de fusión derivados de esta manera en la lista de candidatos de fusión, cada uno en asociación con un índice de candidato de fusión diferente.

Más específicamente, la segunda unidad de derivación 412 deriva un segundo candidato de fusión para la predicción bidireccional mediante la combinación de, por ejemplo, un vector de movimiento y un índice de imagen de referencia para una primera dirección de predicción (dirección de predicción 0) que se incluyen en uno de los primeros candidatos de fusión y un vector de movimiento y un índice de imagen de referencia para una segunda dirección de predicción (dirección de predicción 1) que se incluyen en uno diferente de los primeros candidatos de fusión.

La unidad de decodificación 420 obtiene un índice para identificar un candidato de fusión a partir de un flujo de bits. Por ejemplo, la unidad de decodificación 420 obtiene un índice de candidato de fusión mediante la decodificación de un índice de candidato de fusión codificado adjunto a un flujo de bits usando la suma del número total de los primeros candidatos de fusión derivados y el número total de los segundos candidatos de fusión derivados (número total de candidatos de fusión).

La unidad de control de predicción 430 selecciona, basándose en el índice obtenido, un candidato de fusión para usarse para decodificar un bloque actual a partir de los primeros candidatos de fusión y los segundos candidatos de fusión derivados. Dicho de otro modo, la unidad de control de predicción 430 selecciona un candidato de fusión para usarse para decodificar un bloque actual de la lista de candidatos de fusión.

A continuación, se explicarán las operaciones del aparato de decodificación de imágenes 400 en la configuración descrita anteriormente.

La figura 22 es un diagrama de flujo que muestra las operaciones de procesamiento del aparato de decodificación de imágenes 400 según la realización 4.

En primer lugar, la primera unidad de derivación 411 deriva los primeros candidatos de fusión (S401). Posteriormente, la segunda unidad de derivación 412 deriva un segundo candidato de fusión (S402). A continuación, la unidad de decodificación 420 obtiene un índice de candidato de fusión a partir de un flujo de bits (S403).

Finalmente, la unidad de control de predicción 220 selecciona, basándose en el índice obtenido, un candidato de fusión para usarse para decodificar un bloque actual a partir de los primeros candidatos de fusión y el segundo candidato de fusión (S404).

De esta manera, el aparato de decodificación de imágenes 400 según la realización 4 es capaz de derivar un segundo candidato de fusión para la predicción bidireccional haciendo una combinación de los primeros candidatos de fusión derivados basándose en bloques que son vecinos espaciales o temporales de un bloque actual que va a decodificarse. En particular, el aparato de decodificación de imágenes 400 es capaz de derivar un segundo candidato de fusión para la predicción bidireccional incluso cuando los primeros candidatos de fusión no incluyen ningún candidato de fusión predicho bidireccionalmente. Como resultado, el aparato de decodificación de imágenes 400 aumenta la variedad de combinaciones de una dirección de predicción, un vector de movimiento y un índice de imagen de referencia a partir del cual se selecciona un candidato de fusión de modo que pueda decodificarse adecuadamente un flujo de bits codificado con mayor eficiencia.

[Realización 5]

La realización 5, que no forma parte de la presente invención, es diferente en el método de derivación del tamaño de una lista de candidatos de bloques de fusión de la realización 1. El método de derivación del tamaño de una lista de candidatos de bloques de fusión según la realización 7 se describirá a continuación en detalle.

En el modo de fusión según la realización 1, el número total de candidatos de bloques de fusión se establece como el tamaño de una lista de candidatos de bloques de fusión para usarse en la codificación o decodificación de un índice de candidato de bloque de fusión. El número total de candidatos de bloques de fusión se determina después de eliminar los candidatos no utilizables para la fusión o los candidatos idénticos basándose en la información de las imágenes de referencia, incluyendo un bloque ubicado conjuntamente.

Por lo tanto, se produce una discrepancia en la secuencia de bits asignada a un índice de candidato de bloque de fusión entre un aparato de codificación de imágenes y un aparato de decodificación de imágenes en el caso en el que haya una diferencia en el número total de candidatos de bloques de fusión entre el aparato de codificación de imágenes y el aparato de decodificación de imágenes. Como resultado, el aparato de decodificación de imágenes no puede decodificar un flujo de bits correctamente.

Por ejemplo, cuando se pierde la información sobre una imagen de referencia referenciada como un bloque ubicado conjuntamente debido a la pérdida de paquetes en una trayectoria de transmisión, el vector de movimiento o el índice de imagen de referencia del bloque ubicado conjuntamente se vuelve desconocido. En consecuencia, la información sobre un candidato de bloque de fusión que va a generarse a partir del bloque ubicado conjuntamente se vuelve desconocida. En tal caso, ya no es posible eliminar correctamente candidatos no utilizables para la fusión o candidatos idénticos de los candidatos de bloques de fusión en la decodificación. Como resultado, el aparato de decodificación de imágenes no puede obtener el tamaño correcto de una lista de candidatos de bloques de fusión y, por lo tanto, es imposible decodificar normalmente un índice de candidato de bloque de fusión.

Por lo tanto, el aparato de codificación de imágenes según la realización 5 calcula el tamaño de una lista de candidatos de bloques de fusión para usarse en la codificación o decodificación de un índice de candidato de bloque de fusión, usando un método independiente de la información sobre imágenes de referencia que incluye un bloque ubicado conjuntamente. El aparato de codificación de imágenes 100 consigue de ese modo una mayor resistencia a los errores.

La figura 23 es un diagrama de bloques que muestra una configuración de un aparato de codificación de imágenes 500 según la realización 5. Para la figura 23, los elementos constitutivos en común con la figura 9 se indican con los mismos signos de referencia y se omite su descripción.

Como se muestra en la figura 23, el aparato de codificación de imágenes 500 incluye un sustractor 101, una unidad de transformación ortogonal 102, una unidad de cuantificación 103, una unidad de cuantificación inversa 104, una unidad de transformación ortogonal inversa 105, memoria de bloques 107, memoria de fotogramas 108, una unidad de intrapredicción 109, una unidad de interpredicción 110, una unidad de control de interpredicción 111, una unidad de determinación de tipo de imagen 112, un conmutador 113, una unidad de cálculo de candidatos de bloques de fusión 514, una memoria colPic 115 y una unidad de codificación de longitud variable 516.

La unidad de cálculo de candidatos de bloques de fusión 514 deriva candidatos de bloques de fusión para el modo de fusión usando vectores de movimiento y otros de bloques vecinos del bloque actual y un vector de movimiento y otros del bloque ubicado conjuntamente (información colPic) almacenado en la memoria colPic 115. Entonces, la unidad de cálculo de candidatos de bloques de fusión 514 calcula el número total de candidatos utilizables para la fusión usando un método descrito más adelante.

Además, la unidad de cálculo de candidatos de bloques de fusión 514 asigna índices de candidatos de bloques de fusión, cada uno de los cuales tiene un valor diferente a los candidatos de bloques de fusión derivados. Entonces, la unidad de cálculo de candidatos de bloques de fusión 514 transmite los candidatos de bloques de fusión y los índices de candidatos de bloques de fusión a la unidad de control de interpredicción 111. Además, la unidad de cálculo de candidatos de bloques de fusión 514 transmite el número total calculado de candidatos utilizables para la fusión a la unidad de codificación de longitud variable 116.

La unidad de codificación de longitud variable 516 genera un flujo de bits realizando una codificación de longitud variable en los datos de errores de predicción cuantificados, el indicador de fusión y la información de tipo de imagen. La unidad de codificación de longitud variable 516 también establece el número total de candidatos utilizables para la fusión como el tamaño de la lista de candidatos de bloques de fusión. Además, la unidad de codificación de longitud variable 516 realiza una codificación de longitud variable en un índice de candidato de bloque de fusión para usarse en la codificación, asignando, según el tamaño de la lista de candidatos de bloques de fusión, una secuencia de bits al índice de candidato de bloque de fusión.

La figura 24 es un diagrama de flujo que muestra las operaciones de procesamiento del aparato de codificación de imágenes 500 según la realización 5. Para la figura 24, las etapas en común con la figura 10 se indican con los mismos signos de referencia, y se omite la descripción de las mismas según corresponda.

En la etapa S501, la unidad de cálculo de candidatos de bloques de fusión 514 deriva candidatos de bloques de fusión a partir de bloques vecinos y un bloque ubicado conjuntamente con un bloque actual. Además, la unidad de cálculo de candidatos de bloques de fusión 514 calcula el tamaño de una lista de candidatos de bloques de fusión usando un método descrito más adelante.

Por ejemplo, en el caso mostrado en la figura 3, la unidad de cálculo de candidatos de bloques de fusión 514 selecciona los bloques vecinos A a D como candidatos de bloques de fusión. Además, la unidad de cálculo de candidatos de bloques de fusión 514 calcula, como candidato de bloque de fusión, un bloque de fusión ubicado conjuntamente que tiene un vector de movimiento y otros que se calculan a partir del vector de movimiento de un bloque ubicado conjuntamente usando el modo de predicción de tiempo.

La unidad de cálculo de candidatos de bloques de fusión 514 asigna índices de candidatos de bloques de fusión a los respectivos candidatos de bloques de fusión como se muestra en (a) en la figura 25. A continuación, la unidad de cálculo de candidatos de bloques de fusión 514 calcula una lista de candidatos de bloques de fusión como se muestra en (b) en la figura 25 y el tamaño de la lista de candidatos de bloques de fusión mediante la eliminación de los candidatos no utilizables para la fusión y los candidatos idénticos y la adición de nuevos candidatos mediante un método descrito más adelante.

Los códigos más cortos se asignan a índices de candidatos de bloques de fusión de valores más pequeños. Dicho de otro modo, cuanto menor sea el valor de un índice de candidato de bloque de fusión, menor será la cantidad de información necesaria para indicar el índice de candidato de bloque de fusión.

Por otro lado, cuanto mayor sea el valor de un índice de candidato de bloque de fusión, mayor será la cantidad de información necesaria para el índice de candidato de bloque de fusión. Por lo tanto, la eficiencia de codificación aumentará cuando se asignen índices de candidatos de bloques de fusión de valores más pequeños a candidatos de bloques de fusión que con mayor probabilidad tengan vectores de movimiento de mayor precisión e índices de imágenes de referencia de mayor precisión.

Por lo tanto, un caso posible es que la unidad de cálculo de candidatos de bloques de fusión 514 cuente el número total de veces que se selecciona cada candidato de bloque de fusión como bloque de fusión, y asigne índices de candidatos de bloques de fusión de valores más pequeños a bloques con un mayor número total de veces. Específicamente, esto se puede lograr especificando un bloque de fusión seleccionado de los bloques vecinos y asignando un índice de candidato de bloque de fusión de un valor más pequeño al bloque de fusión especificado cuando se codifica un bloque actual.

En la realización 5, tal candidato de bloque de fusión no utilizable para la codificación se denomina candidato no utilizable para la fusión, y un candidato de bloque de fusión utilizable para la codificación se denomina candidato utilizable para la fusión. Además, entre una pluralidad de candidatos de bloques de fusión, un candidato de bloque de fusión idéntico a cualquier otro bloque de fusión en vector de movimiento, índice de imagen de referencia y dirección de predicción se denomina candidato idéntico.

En la etapa S102, la unidad de control de interpredicción 111 selecciona un modo de predicción basándose en la comparación entre el error de predicción de una imagen de predicción generada usando un vector de movimiento derivado mediante la estimación de movimiento y el error de predicción de una imagen de predicción generada usando un vector de movimiento obtenido de un candidato de bloque de fusión. Cuando el modo de predicción seleccionado es el modo de fusión, la unidad de control de interpredicción 111 establece el indicador de fusión en 1, y cuando no, la unidad de control de interpredicción 111 establece el indicador de fusión en 0.

Cuando el resultado de la determinación en la etapa S103 es verdadero (Sí, S103), la unidad de codificación de longitud variable 516 adjunta el indicador de fusión a un flujo de bits en la etapa S104. Posteriormente, en la etapa S505, la unidad de codificación de longitud variable 516 asigna secuencias de bits según el tamaño de la lista de candidatos de bloques de fusión como se muestra en la figura 5 a los índices de candidatos de bloques de fusión de candidatos de bloques de fusión para usarse para la codificación. Entonces, la unidad de codificación de longitud variable 516 realiza la codificación de longitud variable en la secuencia de bits asignada.

Por otro lado, cuando el resultado de la determinación en la etapa S103 es falso (S103, No), la unidad de codificación de longitud variable 516 adjunta información sobre un indicador de fusión y un modo de vector de estimación de movimiento a un flujo de bits en la etapa S106.

En la realización 5, un índice de candidato de bloque de fusión que tiene un valor de “0” se asigna al bloque vecino A como se muestra en (a) en la figura 25. Se asigna un índice de candidato de bloque de fusión que tiene un valor de “1” al bloque vecino B. Se asigna un índice de candidato de bloque de fusión que tiene un valor de “2” al bloque de fusión ubicado conjuntamente. Se asigna un índice de candidato de bloque de fusión que tiene un valor de “3” al bloque vecino C. Se asigna un índice de candidato de bloque de fusión que tiene un valor de “4” al bloque vecino D.

Cabe señalar que los índices de candidatos de bloques de fusión que tienen tal valor pueden asignarse de otro modo. Por ejemplo, cuando se agrega un nuevo candidato usando el método descrito en la realización 1 o un método descrito más adelante, la unidad de codificación de longitud variable 516 puede asignar valores más pequeños a los candidatos de bloques de fusión preexistentes y un valor mayor al nuevo candidato. Dicho de otro modo, la unidad de codificación de longitud variable 516 puede asignar un índice de candidato de bloque de fusión de un valor más pequeño a un candidato de bloque de fusión preexistente con prioridad a un nuevo candidato.

Además, los candidatos de bloques de fusión no se limitan a los bloques en las posiciones de los bloques vecinos A, B, C y D. Por ejemplo, un bloque vecino ubicado sobre el bloque D vecino inferior izquierdo se puede usar como un candidato de bloque de fusión. Además, no es necesario usar todos los bloques vecinos como candidatos de bloques de fusión. Por ejemplo, también es posible usar solo los bloques vecinos A y B como candidatos de bloques de fusión.

Además, aunque la unidad de codificación de longitud variable 516 adjunta un índice de candidatos de bloques de fusión a un flujo de bits en la etapa S505 en la figura 24 en la realización 5, no siempre es necesario adjuntar un índice de candidato de bloque de fusión de este tipo a un flujo de bits. Por ejemplo, la unidad de codificación de longitud variable 116 no necesita adjuntar un índice de candidato de bloque de fusión a un flujo de bits cuando el tamaño de la lista de candidatos de bloques de fusión es “1”. De este modo, se reduce la cantidad de información sobre el índice de candidato de bloque de fusión.

La figura 26 es un diagrama de flujo que muestra detalles del procedimiento en la etapa S501 en la figura 24. Específicamente, la figura 26 ilustra un método para calcular los candidatos de bloques de fusión y el tamaño de una lista de candidatos de bloques de fusión. La figura 26 se describirá a continuación.

En la etapa S511, la unidad de cálculo de candidatos de bloques de fusión 514 determina si un candidato de bloque de fusión [N] es un candidato utilizable para la fusión o no usando un método descrito más adelante. Entonces, la unidad de cálculo de candidatos de bloques de fusión 514 actualiza el número total de candidatos utilizables para la fusión según el resultado de la determinación.

Aquí, N indica un valor de índice para identificar cada candidato de bloque de fusión. En la realización 5, N toma valores de 0 a 4. Específicamente, el bloque vecino A en la figura 3 se asigna a un candidato de bloque de fusión [0]. El bloque vecino B en la figura 3 se asigna a un candidato de bloque de fusión [1]. El bloque de fusión ubicado conjuntamente se asigna a un candidato de bloque de fusión [2]. El bloque vecino C en la figura 3 se asigna a un candidato de bloque de fusión [3]. El bloque vecino D en la figura 5 se asigna a un candidato de bloque de fusión [4].

En la etapa S512, la unidad de cálculo de candidatos de bloques de fusión 514 obtiene el vector de movimiento, el índice de imagen de referencia y la dirección de predicción del candidato de bloque de fusión [N], y los agrega a una lista de candidatos de bloques de fusión.

En la etapa S513, la unidad de cálculo de candidatos de bloques de fusión 514 busca en la lista de candidatos de bloques de fusión un candidato no utilizable para la fusión y un candidato idéntico, y elimina el candidato no utilizable para la fusión y el candidato idéntico de la lista de candidatos de bloques de fusión, como se muestra en la figura 25.

En la etapa S514, la unidad de cálculo de candidatos de bloques de fusión 514 agrega un nuevo candidato a la lista de candidatos de bloques de fusión usando un método descrito en la realización 1 o un método descrito más adelante. Aquí, cuando se agrega un nuevo candidato, la unidad de cálculo de candidatos de bloques de fusión 514 puede reasignar índices de candidatos de bloques de fusión de modo que se asignen los índices de candidatos de bloques de fusión de valores más pequeños a candidatos de bloques de fusión preexistentes con prioridad al nuevo candidato. Dicho de otro modo, la unidad de cálculo de candidatos de bloques de fusión 514 puede reasignar los índices de candidatos de bloques de fusión de modo que se asigne un índice de candidato de bloque de fusión de un valor mayor al nuevo candidato. De este modo se reduce la cantidad de código de índices de candidatos de bloques de fusión.

En la etapa S515, la unidad de cálculo de candidatos de bloques de fusión 514 establece el número total de candidatos utilizables para la fusión calculado en la etapa S511 como el tamaño de la lista de candidatos de bloques de fusión. En el ejemplo mostrado en la figura 25, el número calculado de candidatos utilizables para la fusión es “4”, y el tamaño de la lista de candidatos de bloques de fusión se establece en “4”.

El nuevo candidato en la etapa S514 es un candidato recién agregado a los candidatos de bloques de fusión usando el método descrito en la realización 1 o un método descrito más adelante cuando el número total de candidatos de bloques de fusión es menor que el número total de candidatos utilizables para la fusión. Por ejemplo, el nuevo candidato es un candidato de bloque de fusión combinado. Los ejemplos de tal nuevo candidato incluyen un bloque vecino ubicado encima del bloque D vecino inferior izquierdo en la figura 3, un bloque correspondiente a cualquiera de los bloques vecinos A, B, C y D para un bloque ubicado conjuntamente. Además, los ejemplos de tal nuevo candidato incluyen además un bloque que tiene un vector de movimiento, un índice de imagen de referencia, una dirección de predicción y similares que se obtienen estadísticamente para la totalidad o una determinada región de una imagen de referencia. Por lo tanto, cuando el número total de candidatos de bloques de fusión es menor que el número total de candidatos utilizables para la fusión, la unidad de cálculo de candidatos de bloques de fusión 514 agrega un nuevo candidato que tiene un nuevo vector de movimiento, un nuevo índice de imagen de referencia y una nueva dirección de predicción de modo que pueda aumentarse la eficiencia de codificación.

La figura 27 es un diagrama de flujo que muestra detalles del procedimiento en la etapa S511 en la figura 26. Específicamente, la figura 27 ilustra un método para determinar si un candidato de bloque de fusión [N] es un candidato utilizable para la fusión o no y actualizar el número total de candidatos utilizables para la fusión. La figura 27 se describirá a continuación.

En la etapa S521, la unidad de cálculo de candidatos de bloques de fusión 514 determina si es verdadero o falso que (1) un candidato de bloque de fusión [N] se ha codificado mediante la interpredicción, (2) el candidato de bloque de fusión [N] es un bloque fuera del límite de un segmento que incluye el bloque actual o el límite de una imagen que incluye el bloque actual, o (3) el candidato de bloque de fusión [N] aún no se ha codificado.

Cuando el resultado de la determinación en la etapa 521 es verdadero (S521, Sí), la unidad de cálculo de candidatos de bloques de fusión 514 establece el candidato de bloque de fusión [N] como candidato no utilizable para la fusión en la etapa S522. Por otro lado, cuando el resultado de la determinación en la etapa S521 es falso (S521, No), la unidad de cálculo de candidatos de bloques de fusión 514 establece el candidato de bloque de fusión [N] como candidato utilizable para fusión en la etapa S523.

En la etapa S524, la unidad de cálculo de candidatos de bloques de fusión 514 determina si es verdadero o falso que el candidato de bloque de fusión [N] es un candidato utilizable para fusión o un candidato de bloque de fusión ubicado conjuntamente. Aquí, cuando el resultado de la determinación en la etapa S524 es verdadero (S524, Sí), la unidad de cálculo de candidatos de bloques de fusión 514 actualiza el número total de candidatos de bloques de fusión incrementándolo en uno en la etapa S525. Por otro lado, cuando el resultado de la determinación en la etapa S524 es falso (S524, No), la unidad de cálculo de candidatos de bloques de fusión 514 no actualiza el número total de candidatos utilizables para la fusión.

Por lo tanto, cuando un candidato de bloque de fusión es un bloque de fusión ubicado conjuntamente en el mismo lugar, la unidad de cálculo de candidatos de bloque de fusión 514 incrementa en uno el número total de candidatos utilizables para la fusión, independientemente de si el bloque ubicado en el mismo lugar es un candidato de bloque de fusión utilizable o un candidato no utilizable para la fusión. Esto evita la discrepancia de los números de candidatos utilizables para la fusión entre el aparato de codificación de imágenes y el aparato de decodificación de imágenes incluso cuando se pierde información en un bloque de fusión ubicado conjuntamente debido a una incidencia, como la pérdida de paquetes.

El número total de candidatos utilizables para la fusión se establece como el tamaño de la lista de candidatos de bloques de fusión en la etapa S515 que se muestra en la figura 26. Además, el tamaño de la lista de candidatos de bloques de fusión se usa en la codificación de longitud variable de los índices de candidatos de bloques de fusión en la etapa S505 que se muestra en la figura 24. Esto hace posible que el aparato de codificación de imágenes 500 genere un flujo de bits que normalmente puede decodificarse de modo que puedan obtenerse índices de candidatos de bloques de fusión incluso cuando se pierde información sobre la imagen de referencia que incluye un bloque ubicado conjuntamente.

La figura 28 es un diagrama de flujo que muestra detalles del procedimiento en la etapa S514 en la figura 26. Específicamente, la figura 28 ilustra un método para agregar un nuevo candidato. La figura 28 se describirá a continuación.

En la etapa S531, la unidad de cálculo de candidatos de bloques de fusión 514 determina si el número total de candidatos de bloques de fusión es menor que el número total de candidatos utilizables para la fusión o no. Dicho de otro modo, la unidad de cálculo de candidatos de bloques de fusión 514 determina si el número total de candidatos de bloques de fusión está todavía por debajo del número total de candidatos utilizables para la fusión o no.

Aquí, cuando el resultado de la determinación en la etapa S531 es verdadero (S531, Sí), en la etapa S532, la unidad de cálculo de candidatos de bloques de fusión 514 determina si hay un nuevo candidato que se puede agregar como candidato de bloque de fusión a la lista de candidatos de bloques de fusión o no. Aquí, cuando el resultado de la determinación en la etapa S532 es verdadero (S532, Sí), en la etapa S533, la unidad de cálculo de candidatos de bloques de fusión 514 asigna un índice de candidato de bloque de fusión al nuevo candidato y agrega el nuevo candidato a la lista de candidatos de bloques de fusión. Además, la unidad de cálculo de candidatos de bloques de fusión 514 incrementa en uno el número total de candidatos de bloques de fusión en la etapa S534.

Por otro lado, cuando el resultado de la determinación en la etapa S101 o en la etapa S532 es falso (S531 o S532, No), finaliza el procedimiento para agregar un nuevo candidato. Dicho de otro modo, finaliza el procedimiento para agregar un nuevo candidato cuando el número total de candidatos de bloques de fusión alcanza el número total de candidatos utilizables para la fusión o cuando no hay un nuevo candidato.

Por lo tanto, el aparato de codificación de imágenes 500 según la realización 5 es capaz de calcular el tamaño de una lista de candidatos de bloques de fusión para usarse en la codificación o decodificación de un índice de candidato de bloque de fusión, usando un método independiente de la información sobre imágenes de referencia que incluye un bloque ubicado conjuntamente. El aparato de codificación de imágenes 500 consigue de ese modo una mayor resistencia a los errores.

Más específicamente, independientemente de si un bloque de fusión ubicado conjuntamente es un candidato utilizable para la fusión o no, el aparato de codificación de imágenes 500 según la realización 5 incrementa en uno el número total de candidatos utilizables para la fusión cada vez que un candidato de bloque de fusión se determina como un bloque de fusión ubicado conjuntamente. Entonces, el aparato de codificación de imágenes 500 determina una secuencia de bits que se asignará a un índice de candidato de bloque de fusión, usando el número total de candidatos utilizables para fusión calculado de esta manera. El aparato de codificación de imágenes 500 es, por lo tanto, capaz de generar un flujo de bits a partir del cual el índice de candidato de bloque de fusión puede decodificarse normalmente incluso cuando se pierde información sobre imágenes de referencia que incluyen un bloque ubicado conjuntamente.

Además, cuando el número total de candidatos de bloques de fusión es menor que el número total de candidatos utilizables para la fusión, el aparato de codificación de imágenes 500 según la realización 5 agrega, como candidatos de bloques de fusión, un nuevo candidato que tiene un nuevo vector de movimiento, un nuevo índice de imagen de referencia y una nueva dirección de predicción de modo que pueda aumentarse la eficiencia de codificación.

Cabe señalar que el ejemplo descrito en la realización 5 en el que el indicador de fusión siempre se adjunta a un flujo de bits en el modo de fusión no es limitativo. Por ejemplo, el modo de fusión puede seleccionarse a la fuerza dependiendo de la forma de un bloque para usarse en la interpredicción de un bloque actual. En este caso, la cantidad de información puede reducirse no adjuntando un indicador de fusión a un flujo de bits.

Cabe señalar que el ejemplo descrito en la realización 5 en el que se usa el modo de fusión en el que se codifica un bloque actual usando una dirección de predicción, un vector de movimiento y un índice de imagen de referencia copiado de un bloque vecino del bloque actual no es limitativo. Por ejemplo, se puede usar un modo de fusión por salto. En el modo de fusión por salto, un bloque actual se codifica de la misma manera que en el modo de fusión, utilizando una dirección de predicción, un vector de movimiento y un índice de imagen de referencia copiado de un bloque vecino del bloque actual con referencia a una lista de candidatos de bloques de fusión creada como se muestra en (b) en la figura 25. Cuando todos los errores de predicción resultantes son cero para el bloque actual, un indicador de salto establecido en 1 y el indicador de salto y un índice de candidato de bloque de fusión se adjuntan a un flujo de bits. Cuando cualquiera de los errores de predicción resultantes es distinto de cero, un indicador de salto se establece en 0 y el indicador de salto, un indicador de fusión, un índice de candidato de bloque de fusión y los datos de los errores de predicción se adjuntan a un flujo de bits.

Cabe señalar que el ejemplo descrito en la realización 5 en el que se usa el modo de fusión en el que se codifica un bloque actual usando una dirección de predicción, un vector de movimiento y un índice de imagen de referencia copiado de un bloque vecino del bloque actual no es limitativo. Por ejemplo, un vector de movimiento en el modo de estimación de vector de movimiento se puede codificar usando una lista de candidatos de bloques de fusión creada como se muestra en (b) en la figura 25. Específicamente, se calcula una diferencia restando un vector de movimiento de un candidato de bloque de fusión indicado por un índice de candidato de bloque de fusión de un vector de movimiento en el modo de estimación de vector de movimiento. Además, la diferencia calculada y el índice de candidato de bloque de fusión pueden adjuntarse a un flujo de bits.

Opcionalmente, se puede calcular una diferencia escalando un vector de movimiento MV_Merge de un candidato de bloque de fusión usando un índice de imagen de referencia RefIdx_ME en el modo de estimación de movimiento y un índice de imagen de referencia RefIdx_Merge del candidato de bloque de fusión representado por la Ecuación 2 y restando un vector de movimiento scaledMV_Merge del candidato de bloque de fusión después del escalado del vector de movimiento en el modo de estimación de movimiento. Además, la diferencia calculada y el índice de candidato de bloque de fusión pueden adjuntarse a un flujo de bits.

[Realización 6]

En la realización 5, el aparato de codificación de imágenes determina una secuencia de bits que va a asignarse a un índice de candidato de bloque de fusión usando el número total de candidatos utilizables para la fusión incrementado en uno cada vez que se determina un candidato de bloque de fusión como bloque de fusión ubicado conjuntamente, independientemente de si un bloque de fusión ubicado conjuntamente es un candidato utilizable para la fusión o no. Opcionalmente, por ejemplo, el aparato de codificación de imágenes puede determinar una secuencia de bits que va a asignarse a un índice de candidato de bloque de fusión usando el número total de candidatos utilizables para la fusión calculado incrementando en uno para cada candidato de bloque de fusión independientemente de si el candidato de bloque de fusión es un bloque de fusión ubicado conjuntamente en la etapa S524 en la figura 27 o no. Dicho de otro modo, el aparato de codificación de imágenes puede asignar una secuencia de bits a un índice de candidato de bloque de fusión usando el tamaño de una lista de candidatos de bloques de fusión fijado en un número máximo N del número total de candidatos de bloques de fusión. Dicho de otro modo, el aparato de codificación de imágenes puede codificar índices de candidatos de bloques de fusión usando el tamaño de una lista de candidatos de bloques de fusión fijada en un valor máximo N del número total de candidatos de bloques de fusión suponiendo que todos los candidatos de bloques de fusión son candidatos utilizables para la fusión.

Por ejemplo, en el caso que se muestra en la realización 5, cuando el valor máximo N del número total de candidatos de bloques de fusión es cinco (el bloque vecino A, el bloque vecino B, el bloque de fusión ubicado conjuntamente, el bloque vecino C, y bloque vecino D), el aparato de codificación de imágenes puede codificar los índices de candidatos de bloques de fusión usando el tamaño de la lista de candidatos de bloques de fusión establecida de manera fija en cinco. Además, por ejemplo, cuando el valor máximo N del número total de candidatos de bloques de fusión es cuatro (el bloque vecino A, el bloque vecino B, el bloque vecino C y el bloque vecino D), el aparato de codificación de imágenes puede codificar los índices de candidatos de bloques de fusión usando el tamaño de la lista de candidatos de bloques de fusión establecido de forma fija en cuatro.

De esta manera, el aparato de codificación de imágenes puede determinar el tamaño de una lista de candidatos de bloques de fusión basándose en el valor máximo del número total de candidatos de bloques de fusión. Por lo tanto, es posible generar un flujo de bits a partir del cual una unidad de decodificación de longitud variable de un aparato de decodificación de imágenes pueda decodificar un índice de candidato de bloque de fusión sin hacer referencia a la información en un bloque vecino o en un bloque ubicado conjuntamente, de modo que la complejidad computacional para la unidad de decodificación de longitud variable puede reducirse.

Dicha modificación del aparato de codificación de imágenes según la realización 5 se describirá específicamente a continuación como un aparato de codificación de imágenes según la realización 6.

La figura 29 es un diagrama de bloques que muestra una configuración de un aparato de codificación de imágenes 600 según la realización 6. El aparato de codificación de imágenes 600 codifica una imagen bloque por bloque para generar un flujo de bits. El aparato de codificación de imágenes 600 incluye una unidad de derivación de candidatos de fusión 610, una unidad de control de predicción 620 y una unidad de codificación 630.

La unidad de derivación de candidatos de fusión 610 corresponde a la unidad de cálculo de candidatos de bloques de fusión 514 en la realización 5. La unidad de derivación de candidatos de fusión 610 deriva candidatos de fusión. La unidad de derivación de candidatos de fusión 610 genera una lista de candidatos de fusión en la que, por ejemplo, índices que identifican cada uno de ellos a un candidato de fusión derivado diferente están asociados con los respectivos candidatos de fusión derivados.

Como se muestra en la figura 29, la unidad de derivación de candidatos de fusión 610 incluye una primera unidad de determinación 611, una primera unidad de derivación 612, una unidad de especificación 613, una segunda unidad de determinación 614 y una segunda unidad de derivación 615.

La primera unidad de determinación 611 determina un número máximo de candidatos de fusión. Dicho de otro modo, la primera unidad de determinación 611 determina un valor máximo N del número total de candidatos de bloques de fusión.

Por ejemplo, la primera unidad de determinación 611 determina un número máximo de candidatos de fusión basándose en las características de la secuencia de imágenes de entrada (tal como una secuencia, una imagen, un segmento o un bloque). Opcionalmente, por ejemplo, la primera unidad de determinación 611 puede determinar un número predeterminado como número máximo de candidatos de fusión.

Más específicamente, la primera unidad de derivación 612 deriva los primeros candidatos de fusión basándose en, por ejemplo, las direcciones de predicción, los vectores de movimiento y los índices de imágenes de referencia que se han usado en la codificación de bloques que son vecinos espaciales o temporales del bloque actual. Aquí, la primera unidad de derivación 612 deriva los primeros candidatos de fusión dentro de un intervalo en el que el número total de los primeros candidatos de fusión no excede el número máximo. Entonces, por ejemplo, la primera unidad de derivación 612 registra los primeros candidatos de fusión derivados de esta manera en la lista de candidatos de fusión, cada uno en asociación con unos índices de candidatos de fusión diferentes.

Cabe señalar que la primera unidad de derivación 612 puede derivar, como primer candidato de fusión, una combinación de una dirección de predicción, un vector de movimiento y un índice de imagen de referencia que se han usado en la codificación de bloques que son vecinos espaciales del bloque actual excepto bloques no utilizables para la fusión. Un bloque no utilizable para la fusión es un bloque codificado por interpredicción, un bloque fuera del límite de un segmento que incluye el bloque actual o el límite de una imagen que incluye el bloque actual, o un bloque que aún no se ha codificado. Con esta configuración, la primera unidad de derivación 612 puede derivar primeros candidatos de fusión a partir de bloques apropiados para obtener candidatos de fusión.

Cuando se ha derivado una pluralidad de primeros candidatos de fusión, la unidad de especificación 613 especifica un candidato idéntico, es decir, un primer candidato de fusión que es una combinación de una dirección de predicción, un vector de movimiento y un índice de imagen de referencia idéntica a una combinación de una dirección de predicción, un vector de movimiento y un índice de imagen de referencia de cualquier otro de los primeros candidatos de fusión derivados. Entonces, la unidad de especificación 613 elimina el candidato idéntico especificado de la lista de candidatos de fusión.

La segunda unidad de determinación 614 determina si el número total de los primeros candidatos de fusión es menor que un número máximo determinado o no. Aquí, la segunda unidad de determinación 614 determina si el número total de los primeros candidatos de fusión excepto el primer candidato de fusión idéntico especificado es menor que el número máximo determinado o no.

Cuando se determina que el número total de los primeros candidatos de fusión es menor que el número máximo determinado, la segunda unidad de derivación 615 deriva un segundo candidato de fusión para la predicción bidireccional haciendo una combinación de los primeros candidatos de fusión. Específicamente, la segunda unidad de derivación 615 deriva los segundos candidatos de fusión dentro de un intervalo en el que la suma del número total de los primeros candidatos de fusión y el número total de los segundos candidatos de fusión no excede el número máximo. Aquí, la segunda unidad de derivación 615 deriva los segundos candidatos de fusión dentro de un intervalo en el que la suma del número total de los primeros candidatos de fusión excepto el candidato idéntico y el número total de los segundos candidatos de fusión no excede el número máximo. Más específicamente, por ejemplo, la segunda unidad de derivación 212 deriva un segundo candidato de fusión de la misma manera que la derivación de un candidato de bloque de fusión combinado en la realización 1 (ver la figura 15, etc.).

Más específicamente, la segunda unidad de derivación 615 deriva un segundo candidato de fusión para la predicción bidireccional al combinar, por ejemplo, un vector de movimiento y un índice de imagen de referencia para una primera dirección de predicción (dirección de predicción 0) que se incluyen en una de los primeros candidatos de fusión y un vector de movimiento y un índice de imagen de referencia para una segunda dirección de predicción (dirección de predicción 1) que se incluyen en uno diferente de los primeros candidatos de fusión.

Entonces, por ejemplo, la segunda unidad de derivación 615 registra segundos candidatos de fusión derivados de esta manera en la lista de candidatos de fusión, cada uno en asociación con un índice de candidato de fusión diferente. En este momento, la segunda unidad de derivación 615 puede registrar los segundos candidatos de fusión en la lista de candidatos de fusión, de modo que los índices de candidatos de fusión asignados a los primeros candidatos de fusión sean más pequeños que los índices de candidatos de fusión asignados a los segundos candidatos de fusión. Con esto, el aparato de codificación de imágenes 600 puede reducir la cantidad de código cuando es más probable que los primeros candidatos de fusión se seleccionen como candidatos de fusión para usarse para codificar que un segundo candidato de fusión de modo que pueda aumentarse la eficiencia de codificación.

Cabe señalar que la segunda unidad de derivación 615 no necesita derivar un segundo candidato de fusión, de modo que la suma del número total de los primeros candidatos de fusión y el número total del segundo candidato de fusión sea igual a un número máximo determinado. Cuando la suma del número total de los primeros candidatos de fusión y el número total del segundo candidato de fusión es menor que el número máximo determinado, por ejemplo, puede haber un índice de candidato de fusión con el que no esté asociado ningún candidato de fusión.

La unidad de control de predicción 620 selecciona un candidato de fusión para usarse para codificar un bloque actual a partir de los primeros candidatos de fusión y los segundos candidatos de fusión. Dicho de otro modo, la unidad de control de predicción 620 selecciona un candidato de fusión para usarse para codificar un bloque actual de la lista de candidatos de fusión.

La unidad de codificación 630 codifica el índice para identificar el candidato de fusión seleccionado (índice de candidato de fusión) usando el número máximo determinado. Específicamente, la unidad de codificación 630 realiza una codificación de longitud variable en una secuencia de bits asignada al valor de índice del candidato de fusión seleccionado como se muestra en la figura 5. Además, la unidad de codificación 630 adjunta el índice codificado a un flujo de bits.

Aquí, la unidad de codificación 630 puede adjuntar además información que indica el número máximo determinado por la primera unidad de determinación 611 al flujo de bits. Específicamente, por ejemplo, la unidad de codificación 630 puede escribir la información que indica el número máximo en un encabezado de segmento. Esto hace posible cambiar los números máximos por la unidad apropiada de modo que pueda aumentarse la eficiencia de codificación.

La unidad de codificación 630 no necesita adjuntar un número máximo a un flujo de bits. Por ejemplo, cuando el número máximo se especifica en una norma, o cuando el número máximo es el mismo que un valor predeterminado, la unidad de codificación 630 no necesita adjuntar información que indique el número máximo a un flujo de bits.

A continuación, se describirán las operaciones del aparato de codificación de imágenes 600 en la configuración descrita anteriormente.

La figura 30 es un diagrama de flujo que muestra las operaciones de procesamiento del aparato de codificación de imágenes 600 según la realización 6.

En primer lugar, la primera unidad de determinación 611 determina un número máximo de candidatos de fusión (S601). La primera unidad de derivación 612 deriva los primeros candidatos de fusión (S602). La unidad de especificación 613 especifica un primer candidato de fusión que es un candidato idéntico, es decir, una combinación de una dirección de predicción, un vector de movimiento y un índice de imagen de referencia idéntica a una combinación de una dirección de predicción, un vector de movimiento y un índice de imagen de referencia de cualquier otro de los primeros candidatos de fusión (S603).

La segunda unidad de determinación 614 determina si el número total de los primeros candidatos de fusión excepto el candidato idéntico es menor que el número máximo determinado (S604) o no. Aquí, cuando se determina que el número total de los primeros candidatos de fusión excepto el candidato idéntico es menor que el número máximo determinado (S604, Sí), la segunda unidad de derivación 615 deriva un segundo candidato de fusión para la predicción bidireccional haciendo una combinación de los primeros candidatos de fusión (S605). Por otra parte, cuando se determina que el número total de los primeros candidatos de fusión excepto el candidato idéntico no es menor que el número máximo determinado (S604, No), la segunda unidad de derivación 615 no deriva ningún segundo candidato de fusión. Estas etapas S604 y S605 corresponden a la etapa S514 en la realización 5.

La unidad de control de predicción 620 selecciona un candidato de fusión para usarse para codificar un bloque actual a partir de los primeros candidatos de fusión y los segundos candidatos de fusión (S606). Por ejemplo, la unidad de control de predicción 620 selecciona un candidato de fusión para el cual el coste representado por la ecuación 1 es un mínimo de la lista de candidatos de fusión como en la realización 1.

La unidad de codificación 630 codifica un índice para identificar el candidato de fusión seleccionado, usando el número máximo determinado (S607). Además, la unidad de codificación 630 adjunta el índice codificado a un flujo de bits.

De esta manera, el aparato de codificación de imágenes 600 según la realización 6 es capaz de derivar un segundo candidato de fusión para la predicción bidireccional haciendo una combinación de los primeros candidatos de fusión derivados basándose en bloques que son vecinos espaciales o temporales de un bloque actual para la codificación. En particular, el aparato de codificación de imágenes 600 es capaz de derivar un segundo candidato de fusión para la predicción bidireccional incluso cuando los primeros candidatos de fusión no incluyen ningún candidato de fusión predicho bidireccionalmente. Como resultado, el aparato de codificación de imágenes 600 aumenta la variedad de combinaciones de una dirección de predicción, un vector de movimiento y un índice de imagen de referencia a partir de las cuales se selecciona un candidato de fusión de modo que pueda aumentarse la eficiencia de codificación.

Además, el aparato de codificación de imágenes 600 según la realización 6 puede codificar un índice para identificar un candidato de fusión utilizando un número máximo determinado. Dicho de otro modo, un índice puede codificarse independientemente del número total de candidatos de fusión realmente derivados. Por lo tanto, incluso cuando se pierde la información necesaria para la derivación de un candidato de fusión (por ejemplo, información sobre un bloque ubicado conjuntamente), aún se puede decodificar un índice y, por lo tanto, se mejora la resistencia a errores. Además, un índice puede decodificarse independientemente del número total de candidatos de fusión realmente derivados. Dicho de otro modo, un índice puede decodificarse sin esperar la derivación de candidatos de fusión. Dicho de otro modo, se puede generar un flujo de bits para el que se pueden realizar en paralelo la derivación de candidatos de fusión y la decodificación de índices.

Además, con el aparato de codificación de imágenes 600 según la realización 6, se puede derivar un segundo candidato de fusión cuando se determina que el número total de los primeros candidatos de fusión es menor que el número máximo. En consecuencia, el número total de candidatos de fusión puede incrementarse dentro de un intervalo que no exceda el número máximo de modo que pueda incrementarse la eficiencia de codificación.

Además, con el aparato de codificación de imágenes 600 según la realización 6, se puede derivar un segundo candidato de fusión basándose en el número total de primeros candidatos de fusión, excepto primeros candidatos de fusión idénticos. Como resultado, el número total de los segundos candidatos de fusión puede incrementarse de manera que la variedad de combinaciones de una dirección de predicción, un vector de movimiento y un índice de imagen de referencia para un candidato de fusión seleccionable puede incrementarse. Por lo tanto, es posible aumentar aún más la eficiencia de codificación.

En la realización 6, la unidad de especificación 613 incluida en el aparato de codificación de imágenes 600 no siempre es necesaria para el aparato de codificación de imágenes 600. Dicho de otro modo, la etapa S603 en el diagrama de flujo mostrado en la figura 30 no siempre es necesario. Incluso en tal caso, el aparato de codificación de imágenes 600 puede codificar un índice para identificar un candidato de fusión usando un número máximo determinado de modo que se pueda mejorar la resistencia a errores.

Además, en la realización 6, aunque la unidad de especificación 613 especifica un candidato idéntico después de que la primera unidad de derivación 612 deriva los primeros candidatos de fusión como se muestra en la figura 30, no es necesario realizar el procedimiento en este orden. Por ejemplo, la primera unidad de derivación 612 puede identificar un candidato idéntico en el procedimiento para derivar los primeros candidatos de fusión, y deriva los primeros candidatos de fusión de manera que el candidato idéntico especificado se excluye de los primeros candidatos de fusión. Dicho de otro modo, la primera unidad de derivación 612 puede derivar, como primer candidato de fusión, un candidato de fusión que es una combinación de una dirección de predicción, un vector de movimiento y un índice de imagen de referencia diferente de una combinación de una dirección de predicción, un vector de movimiento, y un índice de imagen de referencia de cualquier primer candidato de fusión derivado previamente. Más específicamente, por ejemplo, en el caso de que un candidato de fusión basado en un bloque vecino izquierdo ya haya sido seleccionado como primer candidato de fusión, la primera unidad de derivación 612 puede derivar un candidato de fusión basado en un bloque vecino superior como un primer candidato de fusión cuando el candidato de fusión basado en el bloque vecino superior es diferente del candidato de fusión que se basa en el bloque vecino izquierdo.

Dicho de otro modo, la primera unidad de derivación 612 puede derivar primeros candidatos de fusión de manera que cada uno de los primeros candidatos de fusión sea una combinación diferente de una dirección de predicción, un vector de movimiento y un índice de imagen de referencia. De esta manera, la primera unidad de derivación 612 puede eliminar, de los primeros candidatos de fusión, un candidato de fusión que es una combinación de una dirección de predicción, un vector de movimiento y un índice de imagen de referencia idéntica a una combinación de una dirección de predicción, un vector de movimiento, y un índice de imagen de referencia de cualquier primer candidato de fusión derivado previamente. Como resultado, el aparato de codificación de imágenes 600 puede aumentar el número total de los segundos candidatos de fusión y, por lo tanto, aumentar la variedad de combinaciones de una dirección de predicción, un vector de movimiento y un índice de imagen de referencia a partir de las cuales se selecciona un candidato de fusión. La primera unidad de derivación 612 puede así aumentar aún más la eficiencia de codificación.

[Realización 7]

La realización 7, que no forma parte de la presente invención, es diferente en el método de derivación del tamaño de una lista de candidatos de bloques de fusión de la realización 3. El método de derivación del tamaño de una lista de candidatos de bloques de fusión según la realización 7 se describirá a continuación en detalle.

La figura 31 es un diagrama de bloques que muestra una configuración de un aparato de decodificación de imágenes 700 según la realización 7. Para la figura 31, los elementos constitutivos en común con la figura 19 se indican con los mismos signos de referencia y se omite su descripción.

El aparato de decodificación de imágenes 700 es un aparato que corresponde al aparato de codificación de imágenes 500 según la realización 5. Específicamente, por ejemplo, el aparato de decodificación de imágenes 700 decodifica, bloque por bloque, imágenes codificadas incluidas en un flujo de bits generado por el aparato de codificación de imágenes 500 según la realización 5.

Como se muestra en la figura 31, el aparato de decodificación de imágenes 700 incluye una unidad de decodificación de longitud variable 701, una unidad de cuantificación inversa 302, una unidad de transformación ortogonal inversa 303, un sumador 304, una memoria de bloques 305, una memoria de fotogramas 306, una unidad de intrapredicción 307, una unidad de interpredicción 308, una unidad de control de interpredicción 309, un conmutador 310, una unidad de cálculo de candidatos de bloques de fusión 711 y una memoria colPic 312.

La unidad de decodificación de longitud variable 701 genera información de tipo de imagen, un indicador de fusión y un coeficiente cuantificado realizando una decodificación de longitud variable en un flujo de bits de entrada. Además, la unidad de decodificación de longitud variable 701 obtiene un índice de candidato de bloque de fusión realizando una decodificación de longitud variable usando el número total de candidatos utilizables para fusión descritos a continuación.

La unidad de cálculo de candidatos de bloques de fusión 711 deriva candidatos de bloques de fusión para el modo de fusión a partir de vectores de movimiento y otros de bloques vecinos del bloque actual y un vector de movimiento y otros de un bloque ubicado conjuntamente (información colPic) almacenado en la memoria colPic 312, usando un método descrito más adelante. Además, la unidad de cálculo de candidatos de bloques de fusión 711 asigna índices de candidatos de bloques de fusión, cada uno de los cuales tiene un valor diferente, a los candidatos de bloques de fusión derivados. A continuación, la unidad de cálculo de candidatos de bloques de fusión 711 transmite los candidatos de bloques de fusión y los índices de candidatos de bloques de fusión a la unidad de control de interpredicción 309.

La figura 32 es un diagrama de flujo que muestra las operaciones de procesamiento del aparato de decodificación de imágenes según la realización 7.

En la etapa S701, la unidad de decodificación de longitud variable 701 decodifica un indicador de fusión.

En la etapa S702, cuando el indicador de fusión es "1" (S702, Sí), en la etapa S703, la unidad de cálculo de candidatos de bloques de fusión 711 calcula el número total de candidatos utilizables para la fusión utilizando un método descrito más adelante. Entonces, la unidad de cálculo de candidatos de bloques de fusión 711 establece el número calculado de candidatos utilizables para la fusión como el tamaño de una lista de candidatos de bloques de fusión.

A continuación, en la etapa S704, la unidad de decodificación de longitud variable 701 realiza la decodificación de longitud variable en un índice de candidato de bloque de fusión de un flujo de bits usando el tamaño de la lista de candidatos de bloques de fusión. En la etapa S705, la unidad de cálculo de candidatos de bloques de fusión 711 genera candidatos de bloques de fusión a partir de bloques vecinos y un bloque ubicado conjuntamente de un bloque actual para decodificarse usando el método descrito en la realización 1 o en la realización 3 o un método descrito más adelante.

En la etapa S706, la unidad de control de interpredicción 309 hace que la unidad de interpredicción 308 genere una imagen de interpredicción usando el vector de movimiento, el índice de imagen de referencia y la dirección de predicción del candidato de bloque de fusión indicado por el índice de candidato de bloque de fusión decodificado.

Cuando el indicador de fusión es "0" en la etapa S702 (etapa S702, No), en la etapa S707, la unidad de interpredicción 308 genera una imagen de interpredicción usando información sobre el modo de estimación del vector de movimiento decodificado por la unidad de decodificación de longitud variable 701.

Opcionalmente, cuando el tamaño de una lista de candidatos de bloques de fusión calculada en la etapa S703 es "1", un índice de candidato de bloque de fusión puede estimarse como "0" sin decodificarse.

La figura 33 es un diagrama de flujo que muestra detalles del procedimiento en la etapa S703 que se muestra en la figura 32. Específicamente, la figura 33 ilustra un método para determinar si un candidato de bloque de fusión [N] es un candidato utilizable para la fusión o no y calcular el número total de candidatos utilizables para la fusión. La figura 33 se describirá a continuación.

En la etapa S711, la unidad de cálculo de candidatos de bloques de fusión 711 determina si es verdadero o falso que (1) un candidato de bloque de fusión [N] ha sido decodificado por interpredicción, (2) el candidato de bloque de fusión [N] es un bloque fuera del límite de un segmento que incluye el bloque actual o el límite de una imagen que incluye el bloque actual, o (3) el candidato de bloque de fusión [N] aún no se ha decodificado.

Cuando el resultado de la determinación en la etapa S711 es verdadero (S711, Sí), la unidad de cálculo de candidatos de bloques de fusión 711 establece el candidato de bloque de fusión [N] como un candidato no utilizable para la fusión en la etapa S712. Por otro lado, cuando el resultado de la determinación en la etapa S711 es falso (S711, No), la unidad de cálculo de candidatos de bloques de fusión 711 establece el candidato de bloque de fusión [N] como un candidato utilizable para fusión en la etapa S713.

En la etapa S714, la unidad de cálculo de candidatos de bloques de fusión 711 determina si es verdadero o falso que el candidato de bloque de fusión [N] es un candidato utilizable para la fusión o un candidato de bloque de fusión ubicado conjuntamente. Aquí, cuando el resultado de la determinación en la etapa S714 es verdadero (S714, Sí), la unidad de cálculo de candidatos de bloques de fusión 711 actualiza el número total de candidatos de bloques de fusión incrementándolo en uno en la etapa S715. Por otro lado, cuando el resultado de la determinación en la etapa S714 es falso (S714, No), la unidad de cálculo de candidatos de bloques de fusión 711 no actualiza el número total de candidatos utilizables para la fusión.

Por lo tanto, cuando un candidato de bloque de fusión es un bloque de fusión ubicado conjuntamente, la unidad de cálculo de candidatos de bloques de fusión 711 incrementa el número total de candidatos utilizables para la fusión en uno, independientemente de si el bloque ubicado conjuntamente es un candidato utilizable para la fusión o un candidato no utilizable para la fusión. Esto evita la discrepancia de los números de candidatos utilizables para la fusión entre el aparato de codificación de imágenes y el aparato de decodificación de imágenes incluso cuando se pierde información en un bloque de fusión ubicado conjuntamente debido a un incidente tal como la pérdida de paquetes.

El número total de candidatos utilizables para la fusión se establece como el tamaño de una lista de candidatos de bloques de fusión en la etapa S703 que se muestra en la figura 32. Además, el tamaño de la lista de candidatos de bloques de fusión se usa en la decodificación de longitud variable de los índices de candidatos de bloques de fusión en la etapa S704 que se muestra en la figura 32. Esto hace posible que el aparato de decodificación de imágenes 700 decodifique índices de candidatos de bloques de fusión normalmente incluso cuando se pierde información sobre la imagen de referencia que incluye un bloque ubicado conjuntamente.

La figura 34 es un diagrama de flujo que muestra detalles del procedimiento en la etapa S705 que se muestra en la figura 32. Específicamente, la figura 34 ilustra un método para calcular un candidato de bloque de fusión. La figura 34 se describirá a continuación.

En la etapa S721, la unidad de cálculo de candidatos de bloques de fusión 711 obtiene el vector de movimiento, el índice de imagen de referencia y la dirección de predicción de un candidato de bloque de fusión [N], y los agrega a una lista de candidatos de bloques de fusión.

En la etapa S722, la unidad de cálculo de candidatos de bloques de fusión 711 busca en la lista de candidatos de bloques de fusión un candidato no utilizable para la fusión y un candidato idéntico, y elimina el candidato no utilizable para la fusión y el candidato idéntico de la lista de candidatos de bloques de fusión, como se muestra en la figura 25.

En la etapa S723, la unidad de cálculo de candidatos de bloques de fusión 711 agrega un nuevo candidato a la lista de candidatos de bloques de fusión usando el método descrito en la realización 1 o en la realización 3 o el método como se ilustra en la figura 28.

La figura 35 muestra la sintaxis de ejemplo para adjuntar índices de candidatos de bloques de fusión a un flujo de bits. En la figura 35, merge_idx representa un índice de candidato de bloque de fusión y merge_flag representa un indicador de fusión. NumMergeCand representa el tamaño de una lista de candidatos de bloques de fusión. En la realización 7, NumMergeCand se establece en el número total de candidatos utilizables para la fusión calculados en el flujo de procedimiento que se muestra en la figura 33.

Por lo tanto, el aparato de decodificación de imágenes 700 según la realización 7 es capaz de calcular el tamaño de una lista de candidatos de bloques de fusión para su uso en la codificación o decodificación de un índice de candidato de bloque de fusión, usando un método independiente de la información sobre imágenes de referencia que incluye un bloque ubicado conjuntamente. Por lo tanto, el aparato de decodificación de imágenes 700 puede decodificar adecuadamente un flujo de bits que tiene una resistencia a errores mejorada.

Más específicamente, independientemente de si un bloque de fusión ubicado conjuntamente es un candidato utilizable para la fusión o no, el aparato de decodificación de imágenes 700 según la realización 7 incrementa el número total de candidatos utilizables para la fusión en uno cada vez que un candidato de bloque de fusión se determina como un bloque de fusión ubicado conjuntamente. Entonces, el aparato de decodificación de imágenes 700 determina una secuencia de bits asignada a un índice de candidato de bloque de fusión usando el número total de candidatos utilizables para fusión calculado de esta manera. Esto hace posible que el aparato de decodificación de imágenes 700 decodifique índices de candidatos de bloques de fusión normalmente incluso cuando se pierde información sobre la imagen de referencia que incluye un bloque ubicado conjuntamente.

Además, cuando el número total de candidatos de bloques de fusión es menor que el número total de candidatos utilizables para fusión es posible que el aparato de decodificación de imágenes 700 según la realización 7 decodifique adecuadamente un flujo de bits codificado con mayor eficiencia agregando un nuevo candidato que tiene un nuevo vector de movimiento, un nuevo índice de imagen de referencia y una nueva dirección de predicción.

[Realización 8]

En la realización 7, el aparato de decodificación de imágenes determina una secuencia de bits que va a asignarse a un índice de candidato de bloque de fusión usando el número total de candidatos utilizables para la fusión incrementado en uno cada vez que se determina un candidato de bloque de fusión como bloque de fusión ubicado conjuntamente, independientemente de si un bloque de fusión ubicado conjuntamente es un candidato utilizable para la fusión o no. Opcionalmente, por ejemplo, el aparato de decodificación de imágenes puede determinar una secuencia de bits que va a asignarse a un índice de candidato de bloque de fusión usando el número total de candidatos utilizables para la fusión calculado incrementando en uno para cada candidato de bloque de fusión independientemente de si el candidato de bloque de fusión es un bloque de fusión ubicado conjuntamente en la etapa S714 en la figura 33 o no. Dicho de otro modo, el aparato de decodificación de imágenes puede asignar una secuencia de bits a un índice de candidato de bloque de fusión usando el tamaño de una lista de candidatos de bloques de fusión fijado en un número máximo N del número total de candidatos de bloques de fusión. Dicho de otro modo, el aparato de decodificación de imágenes puede decodificar índices de candidatos de bloques de fusión usando el tamaño de una lista de candidatos de bloques de fusión fijada en un valor máximo N del número total de candidatos de bloques de fusión suponiendo que todos los candidatos de bloques de fusión son candidatos utilizables para fusión.

Por ejemplo, en el caso que se muestra en la realización 7, cuando el valor máximo N del número total de candidatos de bloques de fusión es cinco (el bloque vecino A, el bloque vecino B, el bloque de fusión ubicado conjuntamente, el bloque vecino C, y bloque vecino D), el aparato de decodificación de imágenes puede decodificar los índices de candidatos de bloques de fusión usando el tamaño de la lista de candidatos de bloques de fusión establecido de forma fija en cinco. Por lo tanto, es posible que la unidad de decodificación de longitud variable del aparato de decodificación de imágenes decodifique un índice de candidato de bloque de fusión de un flujo de bits sin hacer referencia a información en un bloque vecino o en un bloque ubicado conjuntamente. Como resultado, por ejemplo, se pueden omitir la etapa S714 y la etapa S715 mostradas en la figura 33 de modo que se pueda reducir la complejidad computacional para la unidad de decodificación de longitud variable.

La figura 36 muestra una sintaxis de ejemplo en el caso en que el tamaño de una lista de candidatos de bloques de fusión se fija en el valor máximo del número total de candidatos de bloques de fusión. Como se puede ver en la figura 36, NumMergeCand se puede omitir de la sintaxis cuando el tamaño de una lista de candidatos de bloques de fusión se fija en un valor máximo del número total de candidatos de bloques de fusión.

Tal modificación del aparato de decodificación de imágenes según la realización 7 se describirá específicamente a continuación como un aparato de decodificación de imágenes según la realización 8.

La figura 37 es un diagrama de bloques que muestra una configuración de un aparato de decodificación de imágenes 800 según la realización 8. Un aparato de decodificación de imágenes 800 decodifica una imagen codificada incluida en un flujo de bits bloque por bloque. Específicamente, por ejemplo, el aparato de decodificación de imágenes 800 decodifica, bloque por bloque, imágenes codificadas incluidas en un flujo de bits generado por el aparato de codificación de imágenes 600 según la realización 6. El aparato de decodificación de imágenes 800 incluye una unidad de derivación de candidatos de fusión 810, una unidad de decodificación 820 y una unidad de control de predicción 830.

La unidad de derivación de candidatos de fusión 810 corresponde a la unidad de cálculo de candidatos de bloques de fusión 711 en la realización 7. La unidad de derivación de candidatos de fusión 810 deriva candidatos de fusión. La unidad de derivación de candidatos de fusión 810 genera una lista de candidatos de fusión en la que, por ejemplo, índices que identifican cada uno de ellos a un candidato de fusión derivado diferente (índices de candidatos de fusión) están asociados con los respectivos candidatos de fusión derivados.

Como se muestra en la figura 37, la unidad de derivación de candidatos de fusión 810 incluye una primera unidad de determinación 811, una primera unidad de derivación 812, una unidad de especificación 813, una segunda unidad de determinación 814 y una segunda unidad de derivación 815.

La primera unidad de determinación 811 determina un número máximo de candidatos de fusión. Dicho de otro modo, la primera unidad de determinación 811 determina un valor máximo N del número total de candidatos de bloques de fusión.

Por ejemplo, la primera unidad de determinación 811 puede determinar un número máximo de candidatos de fusión usando el mismo método usado por la primera unidad de determinación 611 en la realización 6. Opcionalmente, por ejemplo, la primera unidad de determinación 811 puede determinar un número máximo basándose en la información adjunta a un flujo de bits e indicando un número máximo. El aparato de decodificación de imágenes 800 puede así decodificar una imagen codificada usando números máximos cambiados por la unidad apropiada.

Aquí, aunque la primera unidad de determinación 811 está incluida en la unidad de derivación de candidatos de fusión 810, la primera unidad de determinación 811 puede incluirse en la unidad de decodificación 820.

La primera unidad de derivación 812 deriva los primeros candidatos de fusión de la misma manera que la primera unidad de derivación 612 en la realización 6. Específicamente, la primera unidad de derivación 812 deriva los primeros candidatos de fusión basándose, por ejemplo, en direcciones de predicción, vectores de movimiento e índices de imágenes de referencia que se han usado en la decodificación de bloques que son vecinos espaciales o temporales de un bloque actual para la decodificación. Entonces, por ejemplo, la primera unidad de derivación 812 registra los primeros candidatos de fusión derivados de esta manera en la lista de candidatos de fusión, cada uno en asociación con unos índices de candidatos de fusión diferentes.

Cabe señalar que la primera unidad de derivación 812 puede derivar, como primer candidato de fusión, una combinación de una dirección de predicción, un vector de movimiento y un índice de imagen de referencia que se han usado en la decodificación de bloques que son vecinos espaciales del bloque actual excepto bloques no utilizables para la fusión. Con esta configuración, la primera unidad de derivación 812 puede derivar primeros candidatos de fusión a partir de bloques apropiados para obtener candidatos de fusión.

La unidad de especificación 813 especifica un candidato idéntico, es decir, un primer candidato de fusión que es una combinación de una dirección de predicción, un vector de movimiento y un índice de imagen de referencia idéntica a una combinación de una dirección de predicción, un vector de movimiento, y un índice de imagen de referencia de cualquier otro de los primeros candidatos de fusión derivados. Entonces, la unidad de especificación 813 elimina el candidato idéntico especificado de la lista de candidatos de fusión.

La segunda unidad de determinación 814 determina si el número total de los primeros candidatos de fusión es menor que un número máximo determinado o no. Aquí, la segunda unidad de determinación 814 determina si el número total de los primeros candidatos de fusión excepto el primer candidato de fusión idéntico especificado es menor que el número máximo determinado o no.

Cuando se determina que el número total de los primeros candidatos de fusión es menor que el número máximo determinado, la segunda unidad de derivación 815 deriva un segundo candidato de fusión para la predicción bidireccional haciendo una combinación de los primeros candidatos de fusión. Específicamente, la segunda unidad de derivación 815 deriva segundos candidatos de fusión de la misma manera que la segunda unidad de derivación 615 en la realización 6. Por ejemplo, la segunda unidad de derivación 815 deriva los segundos candidatos de fusión dentro de un intervalo en el que la suma del número total de los primeros candidatos de fusión y el número total de los segundos candidatos de fusión no excede el número máximo. Aquí, la segunda unidad de derivación 815 deriva los segundos candidatos de fusión dentro de un intervalo en el que la suma del número total de los primeros candidatos de fusión excepto el candidato idéntico y el número total de los segundos candidatos de fusión no excede el número máximo.

Más específicamente, la segunda unidad de derivación 815 deriva un segundo candidato de fusión para la predicción bidireccional al combinar, por ejemplo, un vector de movimiento y un índice de imagen de referencia para una primera dirección de predicción (dirección de predicción 0) que se incluyen en una de los primeros candidatos de fusión y un vector de movimiento y un índice de imagen de referencia para una segunda dirección de predicción (dirección de predicción 1) que se incluyen en uno diferente de los primeros candidatos de fusión.

Entonces, por ejemplo, la segunda unidad de derivación 815 registra segundos candidatos de fusión derivados de esta manera en la lista de candidatos de fusión, cada uno en asociación con un índice de candidato de fusión diferente. En este momento, la segunda unidad de derivación 815 puede registrar los segundos candidatos de fusión en la lista de candidatos de fusión, de modo que los índices de candidatos de fusión asignados a los primeros candidatos de fusión sean más pequeños que los índices de candidatos de fusión asignados a los segundos candidatos de fusión. De esta manera, el aparato de decodificación de imágenes 800 puede decodificar adecuadamente un flujo de bits codificado con mayor eficiencia.

Cabe señalar que la segunda unidad de derivación 815 no necesita derivar un segundo candidato de fusión de modo que la suma del número total de los primeros candidatos de fusión y el número total del segundo candidato de fusión sea igual a un número máximo determinado. Cuando la suma del número total de los primeros candidatos de fusión y el número total del segundo candidato de fusión es menor que el número máximo determinado, por ejemplo, puede haber un índice de candidato de fusión con el que no esté asociado ningún candidato de fusión.

La unidad de decodificación 820 decodifica un índice codificado y adjunto a un flujo de bits, que es un índice para identificar un candidato de fusión, usando el número máximo determinado.

La unidad de control de predicción 830 selecciona, basándose en el índice decodificado, un candidato de fusión para usarse para decodificar un bloque actual de los primeros candidatos de fusión y los segundos candidatos de fusión. Dicho de otro modo, la unidad de control de predicción 830 selecciona un candidato de fusión para usarse para decodificar un bloque actual de la lista de candidatos de fusión.

A continuación, se explicarán las operaciones del aparato de decodificación de imágenes 800 en la configuración descrita anteriormente.

La figura 38 es un diagrama de flujo que muestra las operaciones de procesamiento del aparato de decodificación de imágenes 800 según la realización 8.

Primero, la primera unidad de determinación 811 determina un número máximo de candidatos de fusión (S801). La primera unidad de derivación 812 deriva un primer candidato de fusión (S802). Cuando se ha derivado una pluralidad de primeros candidatos de fusión, la unidad de especificación 813 especifica un primer candidato de fusión que es un candidato idéntico, es decir, una combinación de una dirección de predicción, un vector de movimiento y un índice de imagen de referencia idéntica a una combinación de una dirección de predicción, un vector de movimiento y un índice de imagen de referencia de cualquier otro de los primeros candidatos de fusión (S803).

La segunda unidad de determinación 814 determina si el número total de los primeros candidatos de fusión excepto el candidato idéntico es menor que el número máximo determinado (S804) o no. Aquí, cuando se determina que el número total de los primeros candidatos de fusión excepto el candidato idéntico es menor que el número máximo determinado (S804, Sí), la segunda unidad de derivación 815 deriva los segundos candidatos de fusión (S805). Por otra parte, cuando se determina que el número total de los primeros candidatos de fusión excepto el candidato idéntico no es menor que el número máximo determinado (S804, No), la segunda unidad de derivación 815 no deriva ningún segundo candidato de fusión.

La unidad de decodificación 820 decodifica un índice codificado y adjunto a un flujo de bits, que es un índice para identificar un candidato de fusión, usando el número máximo determinado (S806).

La unidad de control de predicción 830 selecciona, basándose en el índice decodificado, un candidato de fusión para usarse para decodificar un bloque actual de los primeros candidatos de fusión y los segundos candidatos de fusión (S807). Por ejemplo, la unidad de control de predicción 830 selecciona un candidato de fusión para el cual el coste representado por la ecuación 1 es un mínimo de la lista de candidatos de fusión como en la realización 1.

Aunque el procedimiento se realiza de tal manera que la decodificación de un índice (S806) se realiza después de que se deriva un candidato de fusión, no es necesario realizar el procedimiento en este orden. Por ejemplo, se puede derivar un candidato de fusión (S802 a S805) después de decodificar un índice (S806). Opcionalmente, decodificar un índice (S806) y derivar un candidato de fusión (S802 a S805) pueden realizarse en paralelo.

Esto aumenta la velocidad de procesamiento para la decodificación.

De esta manera, el aparato de decodificación de imágenes 800 según la realización 8 es capaz de derivar un segundo candidato de fusión para la predicción bidireccional haciendo una combinación de los primeros candidatos de fusión derivados basándose en bloques que son vecinos espaciales o temporaleas de un bloque actual para la decodificación. En particular, el aparato de decodificación de imágenes 800 es capaz de derivar un segundo candidato de fusión para la predicción bidireccional incluso cuando los primeros candidatos de fusión no incluyen ningún candidato de fusión predicho bidireccionalmente. Como resultado, el aparato de decodificación de imágenes 800 aumenta la variedad de combinaciones de una dirección de predicción, un vector de movimiento y un índice de imagen de referencia a partir de las cuales se selecciona un candidato de fusión de modo que se pueda decodificar adecuadamente un flujo de bits codificado con mayor eficiencia.

Además, el aparato de decodificación de imágenes 800 según la realización 8 puede decodificar un índice para identificar un candidato de fusión, usando un número máximo determinado. Dicho de otro modo, un índice puede decodificarse independientemente del número total de candidatos de fusión realmente derivados. Por lo tanto, incluso cuando se pierde la información necesaria para la derivación de un candidato de fusión (por ejemplo, información sobre un bloque ubicado conjuntamente), el aparato de decodificación de imágenes 800 todavía puede decodificar un índice y, por lo tanto, se mejora la resistencia a errores. Además, el aparato de decodificación de imágenes 800 puede decodificar un índice sin esperar la derivación de candidatos de fusión, de modo que la derivación de candidatos de fusión y la decodificación de índices se pueden realizar en paralelo.

Además, el aparato de decodificación de imágenes 800 según la realización 8 es capaz de derivar un segundo candidato de fusión cuando se determina que el número total de los primeros candidatos de fusión es menor que un número máximo. En consecuencia, el aparato de decodificación de imágenes 800 puede aumentar el número total de candidatos de fusión dentro de un intervalo que no exceda el número máximo y decodificar adecuadamente un flujo de bits codificado con mayor eficiencia.

Además, el aparato de decodificación de imágenes 800 según la realización 8 es capaz de derivar un segundo candidato de fusión basándose en el número total de primeros candidatos de fusión excepto primeros candidatos de fusión idénticos. Como resultado, el aparato de decodificación de imágenes 800 puede aumentar el número total de los segundos candidatos de fusión y, por lo tanto, aumentar la variedad de combinaciones de una dirección de predicción, un vector de movimiento y un índice de imagen de referencia a partir de las cuales se selecciona un candidato de fusión. El aparato de decodificación de imágenes 800 puede así decodificar adecuadamente un flujo de bits codificado con mayor eficiencia de codificación.

Como en la realización 6, la unidad de especificación 813 incluida en el aparato de decodificación de imágenes 800 no siempre es necesaria para el aparato de decodificación de imágenes 800 en la realización 8. Dicho de otro modo, la etapa S803 en el diagrama de flujo mostrado en la figura 38 no siempre es necesaria. Incluso en tal caso, el aparato de decodificación de imágenes 800 puede decodificar un índice para identificar un candidato de fusión usando un número máximo determinado de modo que se pueda mejorar la resistencia a errores.

Además, en la realización 8, aunque la unidad de especificación 813 especifica un candidato idéntico después de que la primera unidad de derivación 812 deriva los primeros candidatos de fusión como se muestra en la figura 38, no es necesario realizar el procedimiento en este orden. Por ejemplo, la primera unidad de derivación 812 puede derivar, como primer candidato de fusión, un candidato de fusión que es una combinación de una dirección de predicción, un vector de movimiento y un índice de imagen de referencia diferente de una combinación de una dirección de predicción, un vector de movimiento, y un índice de imagen de referencia de cualquier primer candidato de fusión derivado previamente. Dicho de otro modo, la primera unidad de derivación 812 puede derivar primeros candidatos de fusión de manera que cada uno de los primeros candidatos de fusión sea una combinación diferente de una dirección de predicción, un vector de movimiento y un índice de imagen de referencia. De esta manera, la primera unidad de derivación 812 puede eliminar, de los primeros candidatos de fusión, un candidato de fusión que es una combinación de una dirección de predicción, un vector de movimiento y un índice de imagen de referencia idéntica a una combinación de una dirección de predicción, un vector de movimiento, y un índice de imagen de referencia de cualquier primer candidato de fusión derivado previamente. Como resultado, el aparato de decodificación de imágenes 800 puede aumentar el número total de los segundos candidatos de fusión y, por lo tanto, aumentar la variedad de combinaciones de una dirección de predicción, un vector de movimiento y un índice de imagen de referencia a partir de las cuales se selecciona un candidato de fusión. Con esto, el aparato de decodificación de imágenes 800 puede decodificar adecuadamente un flujo de bits codificado con mayor eficiencia de codificación.

Aunque el aparato de codificación de imágenes y el aparato de decodificación de imágenes según uno o más aspectos de la presente invención se han descrito basándose en las realizaciones, la presente invención no se limita a las realizaciones de ejemplo. Los expertos en la técnica apreciarán fácilmente que son posibles muchas modificaciones de las realizaciones de ejemplo o realizaciones en las que se combinan los elementos constitutivos de las realizaciones de ejemplo sin apartarse materialmente de las nuevas enseñanzas y ventajas descritas en la presente invención. Todas estas modificaciones y realizaciones también están dentro del alcance de uno o más aspectos de la presente invención.

En las realizaciones de ejemplo, cada uno de los elementos constitutivos puede implementarse como una pieza de hardware dedicada o implementarse mediante la ejecución de un programa de software apropiado para el elemento constitutivo. Los elementos constitutivos pueden implementarse por una unidad de ejecución de programa tal como una CPU o un procesador que lee y ejecuta un programa de software grabado en un medio de grabación tal como un disco duro o una memoria de semiconductores. Aquí, los ejemplos del programa de software que implementa el aparato de codificación de imágenes o el aparato de decodificación de imágenes en las realizaciones incluyen un programa como sigue.

Específicamente, el programa hace que un ordenador ejecute un método que es un método de codificación de imágenes para codificar una imagen bloque por bloque para generar un flujo de bits, y el método incluye: determinar un número máximo de candidatos de fusión, cada uno de los cuales es una combinación de una dirección de predicción, un vector de movimiento y un índice de imagen de referencia para usarse en la codificación de un bloque actual; derivar una pluralidad de primeros candidatos de fusión basándose en direcciones de predicción, vectores de movimiento e índices de imágenes de referencia usados en la codificación de bloques que son vecinos espaciales o temporales del bloque actual; determinar si un número total de los primeros candidatos de fusión derivados es menor que el número máximo o no; derivar, haciendo una combinación de los primeros candidatos de fusión derivados, un segundo candidato de fusión para predicción bidireccional cuando se determina que el número total de los primeros candidatos de fusión derivados es menor que el número máximo; seleccionar un candidato de fusión para usarse para la codificación del bloque actual a partir de los primeros candidatos de fusión derivados y el segundo candidato de fusión derivado; y codificar, usando el número máximo determinado, un índice para identificar el candidato de fusión seleccionado, y adjuntar el índice codificado al flujo de bits.

Además, el programa hace que un ordenador ejecute un método de decodificación de imágenes para decodificar, bloque por bloque, una imagen codificada incluida en un flujo de bits, y el método incluye: determinar un número máximo de candidatos de fusión, cada uno de los cuales es una combinación de una dirección de predicción, un vector de movimiento y un índice de imagen de referencia para usarse en la decodificación de un bloque actual; derivar una pluralidad de primeros candidatos de fusión basándose en direcciones de predicción, vectores de movimiento e índices de imágenes de referencia utilizados en la decodificación de bloques que son vecinos espaciales o temporales del bloque actual; determinar si un número total de los primeros candidatos de fusión derivados es menor que el número máximo o no; derivar, haciendo una combinación de los primeros candidatos de fusión derivados, un segundo candidato de fusión para predicción bidireccional cuando se determina que el número total de los primeros candidatos de fusión derivados es menor que el número máximo; decodificar un índice codificado y adjunto al flujo de bits, usando el número máximo determinado, siendo el índice un índice para identificar un candidato de fusión; y seleccionar, basándose en el índice decodificado, un candidato de fusión que va a usarse para la decodificación de un bloque actual, seleccionándose el candidato de fusión entre los primeros candidatos de fusión derivados y el segundo candidato de fusión derivado.

[Realización 9]

El procesamiento descrito en cada una de las realizaciones puede implementarse simplemente en un sistema informático independiente, grabando, en un medio de grabación, un programa para implementar las configuraciones del método de codificación de imágenes en movimiento (método de codificación de imágenes) y el método de decodificación de imágenes en movimiento (método de decodificación de imágenes) descrito en cada una de las realizaciones. El medio de grabación puede ser cualquier medio de grabación siempre que el programa pueda grabarse, tal como un disco magnético, un disco óptico, un disco óptico magnético, una tarjeta IC y una memoria de semiconductores.

A continuación, se describirán las aplicaciones al método de codificación de imágenes en movimiento (método de codificación de imágenes) y al método de decodificación de imágenes en movimiento (método de decodificación de imágenes) descritos en cada una de las realizaciones, y sistemas que usan los mismos. El sistema tiene una característica de tener un aparato de codificación y de decodificación de imágenes que incluye un aparato de codificación de imágenes que usa el método de codificación de imágenes y un aparato de decodificación de imágenes que usa el método de decodificación de imágenes. Otras configuraciones en el sistema se pueden cambiar según sea apropiado, dependiendo de los casos.

La figura 39 ilustra una configuración global de un sistema proveedor de contenido ex100 para implementar servicios de distribución de contenido. El área para proporcionar servicios de comunicación se divide en celdas del tamaño deseado, y las estaciones base ex106, ex107, ex108, ex109 y ex110, que son estaciones inalámbricas fijas, se colocan en cada una de las celdas.

El sistema proveedor de contenido ex100 está conectado a dispositivos, tal como un ordenador ex111, un asistente digital personal (PDA) ex112, una cámara ex113, un teléfono celular ex114 y una máquina de juegos ex115, a través de Internet ex101, un proveedor de servicio de Internet ex102, una red telefónica ex104, así como las estaciones base ex106 a ex110, respectivamente.

Sin embargo, la configuración del sistema proveedor de contenido ex100 no se limita a la configuración que se muestra en la figura 39, y es aceptable una combinación en la que cualquiera de los elementos esté conectado. Además, cada dispositivo puede conectarse directamente a la red telefónica ex104, en lugar de a través de las estaciones base ex106 a ex110, que son las estaciones inalámbricas fijas. Además, los dispositivos pueden interconectarse entre sí mediante una comunicación inalámbrica de corta distancia y otras.

La cámara ex113, tal como una cámara de vídeo digital, es capaz de capturar vídeo. Una cámara ex116, tal como una cámara digital, es capaz de capturar imágenes fijas y vídeo. Además, el teléfono celular ex114 puede ser aquel que cumpla con alguno de las normas tales como Sistema Global para Comunicaciones Móviles (GSM) (marca registrada), Acceso Múltiple por División de Código (CDMA), Acceso Múltiple por División de Código de Banda Ancha (W-CDMA), Evolución a Largo Plazo (LTE) y Acceso a Paquetes de Alta Velocidad (HSPA). Alternativamente, el teléfono celular ex114 puede ser un sistema móvil personal (PHS).

En el sistema proveedor de contenido ex100, un servidor de transmisión ex103 está conectado a la cámara ex113 y otros a través de la red telefónica ex104 y la estación base ex109, que permite la distribución de imágenes de un programa en vivo y otros. En tal distribución, un contenido (por ejemplo, un vídeo de un programa de música en vivo) capturado por el usuario usando la cámara ex113 se codifica como se describe anteriormente en cada una de las realizaciones (es decir, la cámara funciona como el aparato de codificación de imágenes según un aspecto de la presente invención), y el contenido codificado se transmite al servidor de transmisión ex103. Por otra parte, el servidor de transmisión ex103 lleva a cabo distribución de flujo en los datos de contenido transmitidos a los clientes tras sus solicitudes. Los clientes incluyen el ordenador ex111, la PDA ex112, la cámara ex113, el teléfono celular ex114 y la máquina de juegos ex115 que son capaces de decodificar los datos codificados mencionados anteriormente. Cada uno de los dispositivos que han recibido los datos distribuidos decodifica y reproduce los datos codificados (es decir, funciona como el aparato de decodificación de imágenes según un aspecto de la presente invención).

Los datos capturados pueden codificarse por la cámara ex113 o el servidor de transmisión ex103 que transmite los datos, o los procedimientos de codificación pueden compartirse entre la cámara ex113 y el servidor de transmisión ex103. De forma similar, los datos distribuidos pueden decodificarse por los clientes o el servidor de transmisión ex103, o los procedimientos de decodificaciones pueden compartirse entre los clientes y el servidor de transmisión ex103. Además, los datos de las imágenes fijas y el vídeo capturados no únicamente por la cámara ex113 sino también por la cámara ex116 pueden transmitirse al servidor de transmisión ex103 a través del ordenador ex111. Los procedimientos de codificación pueden realizarse por la cámara ex116, el ordenador ex111 o el servidor de transmisión ex103, o compartidos entre ellos.

Además, los procedimientos de codificación y decodificación pueden realizarse por un LSI ex500 generalmente incluido en cada uno del ordenador ex111 y los dispositivos. El LSI ex500 puede estar configurado de un único chip o una pluralidad de chips. El software para codificar y decodificar vídeo puede integrarse en algún tipo de medio de grabación (tal como un CD-ROM, un disco flexible y un disco duro) que puede leer el ordenador ex111 y otros, y los procedimientos de codificación y decodificación pueden realizarse usando el software. Además, cuando el teléfono celular ex114 está equipado con una cámara, los datos de vídeo obtenidos por la cámara pueden transmitirse. Los datos de vídeo son datos codificados por el LSI ex500 incluido en el teléfono celular ex114.

Además, el servidor de transmisión ex103 puede estar compuesto por servidores y ordenadores, y puede descentralizar los datos y procesar los datos descentralizados, grabar o distribuir datos.

Como se describe anteriormente, los clientes pueden recibir y reproducir los datos codificados en el sistema proveedor de contenido ex100. Dicho de otro modo, los clientes pueden recibir y decodificar la información transmitida por el usuario, y reproducir los datos decodificados en tiempo real en el sistema proveedor de contenido ex100, de modo que el usuario que no tiene ningún derecho y equipo particular pueda implementar la radiodifusión personal.

Aparte del ejemplo del sistema proveedor de contenido ex100, al menos uno del aparato de codificación de imágenes en movimiento (aparato de codificación de imágenes) y el aparato de decodificación de imágenes en movimiento (aparato de decodificación de imágenes) descritos en cada una de las realizaciones puede implementarse en un sistema de radiodifusión digital ex200 ilustrado en la figura 40. Más específicamente, una estación de radiodifusión ex201 comunica o transmite, a través de ondas de radio a un satélite de radiodifusión ex202, datos multiplexados obtenidos al multiplexar datos de audio y otros en datos de vídeo. Los datos de vídeo son datos codificados por el método de codificación de imágenes en movimiento descrito en cada una de las realizaciones (es decir, datos codificados por el aparato de codificación de imágenes según un aspecto de la presente invención). Al recibir los datos multiplexados, el satélite de radiodifusión ex202 transmite ondas de radio para su radiodifusión. A continuación, una antena de uso doméstico ex204 con una función de recepción de radiodifusión por satélite recibe las ondas de radio. A continuación, un dispositivo tal como una televisión (receptor) ex300 y un decodificador (STB) ex217 decodifica los datos multiplexados recibidos y reproduce los datos decodificados (es decir, funciona como el aparato de decodificación de imágenes según un aspecto de la presente invención).

Además, un lector/grabador ex218 (i) lee y decodifica los datos multiplexados grabados en un medio de grabación ex215, tal como un DVD y un BD, o (i) codifica señales de vídeo en el medio de grabación ex215, y en algunos casos, escribe los datos obtenidos al multiplexar una señal de audio en los datos codificados. El lector/grabador ex218 puede incluir el aparato de decodificación de imágenes en movimiento o el aparato de codificación de imágenes en movimiento como se muestra en cada una de las realizaciones. En este caso, las señales de vídeo reproducidas se visualizan en el monitor ex219, y pueden reproducirse por otro dispositivo o sistema usando el medio de grabación ex215 en el que se graban los datos multiplexados. Es también posible implementar el aparato de decodificación de imágenes en movimiento en el decodificador ex217 conectado al cable ex203 para una televisión por cable o a la antena ex204 para radiodifusión por satélite y/o terrestre, para mostrar las señales de vídeo en el monitor ex219 de la televisión ex300. El aparato de decodificación de imágenes en movimiento puede implementarse no en el decodificador sino en la televisión ex300.

La figura 41 ilustra la televisión (receptor) ex300 que usa el método de codificación de imágenes en movimiento y el método de decodificación de imágenes en movimiento descritos en cada una de las realizaciones. La televisión ex300 incluye: un sintonizador ex301 que obtiene o proporciona datos multiplexados obtenidos al multiplexar datos de audio en datos de vídeo, a través de la antena ex204 o el cable ex203, etc. que recibe una radiodifusión; una unidad de modulación/demodulación ex302 que demodula los datos multiplexados recibidos o modula los datos en datos multiplexados para suministrarse al exterior; y una unidad de multiplexado/demultiplexado ex303 que demultiplexa los datos modulados multiplexados en datos de vídeo y datos de audio, o multiplexa datos de vídeo y datos de audio codificados por una unidad de procesamiento de señales ex306 en datos.

La televisión ex300 incluye además: una unidad de procesamiento de señales ex306 que incluye una unidad de procesamiento de señal de audio ex304 y una unidad de procesamiento de señal de vídeo ex305 que decodifican datos de audio y datos de vídeo y codifican datos de audio y datos de vídeo, respectivamente (que funcionan como el aparato de codificación de imágenes y el aparato de decodificación de imágenes según los aspectos de la presente invención); y una unidad de salida ex309 que incluye un altavoz ex307 que proporciona la señal de audio decodificada y una unidad de visualización ex308 que muestra la señal de vídeo decodificada, tal como una pantalla. Además, la televisión ex300 incluye una unidad de interfaz ex317 que incluye una unidad de entrada de operación ex312 que recibe una entrada de una operación de usuario. Además, la televisión ex300 incluye una unidad de control ex310 que controla de manera global cada elemento constitutivo de la televisión ex300, y una unidad de circuito de fuente de alimentación ex311 que suministra potencia a cada uno de los elementos. Además de la unidad de entrada de operación ex312, la unidad de interfaz ex317 puede incluir: un puente ex313 que está conectado a un dispositivo externo, tal como el lector/grabador ex218; una unidad de ranura ex314 para permitir la conexión del medio de grabación ex216, tal como una tarjeta SD; un controlador ex315 para conectarse a un medio de grabación externo, tal como un disco duro; y un módem ex316 para conectarse a una red telefónica. Aquí, el medio de grabación ex216 puede grabar eléctricamente información usando un elemento de memoria de semiconductores no volátil/volátil para almacenamiento. Los elementos constitutivos de la televisión ex300 están conectados entre sí a través de un bus síncrono.

Primero, se describirá la configuración en la que la televisión ex300 decodifica datos multiplexados obtenidos desde el exterior a través de la antena ex204 y otros y reproduce los datos decodificados. En la televisión ex300, ante una operación del usuario a través de un controlador remoto ex220 y otros, la unidad de multiplexado/demultiplexado ex303 demultiplexa los datos multiplexados demodulados por la unidad de modulación/demodulación ex302, bajo el control de la unidad de control ex310 que incluye una CPU. Además, la unidad de procesamiento de señal de audio ex304 decodifica los datos de audio demultiplexados, y la unidad de procesamiento de señal de vídeo ex305 decodifica los datos de vídeo demultiplexados, usando el método de decodificación descrito en cada una de las realizaciones, en la televisión ex300. La unidad de salida ex309 proporciona la señal de vídeo y la señal de audio decodificadas al exterior, respectivamente. Cuando la unidad de salida ex309 proporciona la señal de vídeo y la señal de audio, las señales pueden almacenarse temporalmente en las memorias intermedias ex318 y ex319, y otras de modo que las señales se reproduzcan sincronizadas entre sí. Además, la televisión ex300 puede leer datos multiplexados no a través de una radiodifusión y otros, sino desde los medios de grabación ex215 y ex216, tal como un disco magnético, un disco óptico y una tarjeta SD. A continuación, se describirá una configuración en la que la televisión ex300 codifica una señal de audio y una señal de vídeo, y transmite los datos al exterior o escribe los datos en un medio de grabación. En la televisión ex300, ante una operación del usuario a través del controlador remoto ex220 y otros, la unidad de procesamiento de señal de audio ex304 codifica una señal de audio, y la unidad de procesamiento de señal de vídeo ex305 codifica una señal de vídeo, bajo el control de la unidad de control ex310 usando el método de codificación descrito en cada una de las realizaciones. La unidad de multiplexado/demultiplexado ex303 multiplexa la señal de vídeo y la señal de audio codificadas, y proporciona la señal resultante al exterior. Cuando la unidad de multiplexado/demultiplexado ex303 multiplexa la señal de vídeo y la señal de audio, las señales pueden almacenarse temporalmente en las memorias intermedias ex320 y ex321, y otros de modo que las señales se reproduzcan sincronizadas entre sí. Aquí, las memorias intermedias ex318, ex319, ex320 y ex321 pueden ser plurales como se ilustra, o al menos una memoria intermedia puede compartirse en la televisión ex300. Además, se pueden almacenar datos en una memoria intermedia de modo que puede evitarse el desbordamiento y subdesbordamiento del sistema entre la unidad de modulación/demodulación ex302 y la unidad de multiplexado/demultiplexado ex303, por ejemplo.

Además, la televisión ex300 puede incluir una configuración para recibir una entrada de AV desde un micrófono o una cámara distinta de la configuración para obtener datos de audio y de vídeo desde una radiodifusión o de un medio de grabación, y puede codificar los datos obtenidos. Aunque la televisión ex300 puede codificar, multiplexar y proporcionar datos externos en la descripción, es posible que solo pueda recibir, decodificar y proporcionar datos externos, pero no codificar, multiplexar ni proporcionar datos externos.

Además, cuando el lector/grabador ex218 lee o escribe datos multiplexados desde o en un medio de grabación, una de las televisiones ex300 y el lector/grabador ex218 pueden decodificar o codificar los datos multiplexados, y la televisión ex300 y el lector/grabador ex218 puede compartir la decodificación o la codificación.

Como un ejemplo, la figura 42 ilustra una configuración de una unidad de reproducción/grabación de información ex400 cuando se leen o escriben datos desde o en un disco óptico. La unidad de reproducción/grabación de información ex400 incluye los elementos constitutivos ex401, ex402, ex403, ex404, ex405, ex406 y ex407 que se describirán a continuación. El cabezal óptico ex401 irradia un punto láser en una superficie de grabación del medio de grabación ex215 que es un disco óptico para escribir información, y detecta luz reflejada desde la superficie de grabación del medio de grabación ex215 para leer la información. La unidad de grabación de modulación ex402 acciona eléctricamente un láser de semiconductores incluido en el cabezal óptico ex401, y modula la luz de láser según datos grabados. La unidad de demodulación de reproducción ex403 amplifica una señal de reproducción obtenida detectando eléctricamente la luz reflejada desde la superficie de grabación usando un fotodetector incluido en el cabezal óptico ex401, y demodula la señal de reproducción separando un componente de señal grabado en el medio de grabación ex215 para reproducir la información necesaria. La memoria intermedia ex404 mantiene temporalmente la información que va a grabarse en el medio de grabación ex215 y la información reproducida desde el medio de grabación ex215. El motor de disco ex405 gira el medio de grabación ex215. La unidad de servocontrol ex406 mueve el cabezal óptico ex401 a una pista de información predeterminada mientras controla el mecanismo de rotación del motor de disco ex405 para seguir el punto láser. La unidad de control del sistema ex407 controla la totalidad de la unidad de reproducción/grabación de información ex400. Los procedimientos de lectura y escritura pueden implementarse por la unidad de control del sistema ex407 utilizando diversa información almacenada en la memoria intermedia ex404 y generando y agregando nueva información según sea necesario, y por la unidad de grabación de modulación ex402, la unidad de demodulación de reproducción ex403 y la unidad de servocontrol ex406 que graban y reproducen información a través del cabezal óptico ex401 mientras que se hacen funcionar de manera coordinada. La unidad de control del sistema ex407 incluye, por ejemplo, un microprocesador y ejecuta el procesamiento haciendo que un ordenador ejecute un programa de lectura y escritura.

Aunque el cabezal óptico ex401 irradia un punto láser en la descripción, puede realizar una grabación de alta densidad usando luz de campo cercano.

La figura 43 ilustra el medio de grabación ex215 que es el disco óptico. En la superficie de grabación del medio de grabación ex215, se forman ranuras de guía en espiral, y una pista de información ex230 graba, por adelantado, información de dirección que indica una posición absoluta en el disco según el cambio de forma de las ranuras de guía. La información de dirección incluye información para determinar posiciones de bloques de grabación ex231 que son una unidad para grabar datos. Reproducir la pista de información ex230 y leer la información de dirección en un aparato que graba y reproduce datos pueden conducir a la determinación de las posiciones de los bloques de grabación. Además, el medio de grabación ex215 incluye un área de grabación de datos ex233, un área de circunferencia interna ex232 y un área de circunferencia externa ex234. El área de grabación de datos ex233 es un área para usarse en la grabación de los datos de usuario. El área de circunferencia interna ex232 y el área de circunferencia externa ex234 que están en el interior y el exterior del área de grabación de datos ex233, respectivamente, son para uso específico excepto para la grabación de los datos de usuario. La unidad de reproducción/grabación de información 400 lee y escribe datos de audio codificados, datos de vídeo codificados o datos multiplexados obtenidos al multiplexar los datos de audio y vídeo codificados, desde y sobre el área de grabación de datos ex233 del medio de grabación ex215.

Aunque un disco óptico que tiene una capa, tal como un DVD y un BD, se describe como un ejemplo en la descripción, el disco óptico no se limita a tal, y puede ser un disco óptico que tiene una estructura multicapa y capaz de ser grabado en una parte que no sea la superficie. Además, el disco óptico puede tener una estructura para la grabación/reproducción multidimensional, tal como la grabación de información usando luz de colores con diferentes longitudes de onda en la misma parte del disco óptico y para grabar información que tiene diferentes capas desde varios ángulos.

Además, un coche ex210 que tiene una antena ex205 puede recibir datos desde el satélite ex202 y otros, y reproducir vídeo en un dispositivo de visualización tal como un sistema de navegación de coche ex211 establecido en el coche ex210, en el sistema de radiodifusión digital ex200. Aquí, una configuración del sistema de navegación de coche ex211 será una configuración, por ejemplo, que incluye una unidad receptora de GPS a partir de la configuración ilustrada en la figura 41. Lo mismo se cumplirá para la configuración del ordenador ex111, el teléfono celular ex114, y otros.

La figura 44A ilustra el teléfono celular ex114 que usa el método de codificación de imágenes en movimiento y el método de decodificación de imágenes en movimiento descritos en las realizaciones. El teléfono celular ex114 incluye: una antena ex350 para transmitir y recibir ondas de radio a través de la estación base ex110; una unidad de cámara ex365 capaz de capturar imágenes fijas y en movimiento; y una unidad de visualización ex358, tal como una pantalla de cristal líquido, para visualizar datos tales como vídeo decodificado capturado por la unidad de cámara ex365 o recibido por la antena ex350. El teléfono celular ex114 incluye además: una unidad de cuerpo principal que incluye una unidad de teclado de operación ex366; una unidad de salida de audio ex357 tal como un altavoz para salida de audio; una unidad de entrada de audio ex356 tal como un micrófono para entrada de audio; una unidad de memoria ex367 para almacenar vídeo o imágenes fijas capturados, audio grabado, datos codificados o decodificados del vídeo recibido, imágenes fijas, correos electrónicos u otros; y una unidad de ranura ex364 que es una unidad de interfaz para un medio de grabación que almacena datos de la misma manera que la unidad de memoria ex367.

A continuación, un ejemplo de una configuración del teléfono celular ex114 se describirá con referencia a la figura 44B. En el teléfono celular ex114, una unidad de control principal ex360 diseñada para controlar en general cada unidad de cuerpo principal, incluyendo la unidad de visualización ex358, así como la unidad de teclado de operación ex366, está conectada mutuamente, a través de un bus síncrono ex370, a una unidad de circuito de fuente de alimentación ex361, una unidad de control de entrada de operación ex362, una unidad de procesamiento de señal de vídeo ex355, una unidad de interfaz de cámara ex363, una unidad de control de pantalla de cristal líquido (LCD) ex359, una unidad de modulación/demodulación ex352, una unidad de multiplexado/demultiplexado ex353, una unidad de procesamiento de señal de audio ex354, la unidad de ranura ex364 y la unidad de memoria ex367.

Cuando una tecla de fin de llamada o una tecla de encendido se enciende mediante la operación de un usuario, la unidad de circuito de fuente de alimentación ex361 suministra energía a las respectivas unidades desde un paquete de baterías para activar el teléfono celular ex114.

En el teléfono celular ex114, la unidad de procesamiento de señal de audio ex354 convierte las señales de audio recogidas por la unidad de entrada de audio ex356 en modo de conversación por voz en señales de audio digital bajo el control de la unidad de control principal ex360 que incluye una CPU, ROM y RAM. A continuación, la unidad de modulación/demodulación ex352 realiza un procesamiento de espectro ensanchado sobre las señales de audio digital, y la unidad de transmisión y de recepción ex351 realiza una conversión de analógico a digital y una conversión en frecuencia sobre los datos, con el fin de transmitir los datos resultantes por medio de la antena ex350. Además, en el teléfono celular ex114, la unidad de transmisión y de recepción ex351 amplifica los datos recibidos por la antena ex350 en modo de conversación por voz y realiza la conversión en frecuencia y la conversión de digital a analógico sobre los datos. A continuación, la unidad de modulación/demodulación ex352 realiza un procesamiento de espectro ensanchado inverso sobre los datos, y la unidad de procesamiento de señal de audio ex354 los convierte en señales de audio analógico, con el fin de emitir las mismas por medio de la unidad de salida de audio ex357.

Además, cuando se transmite un correo electrónico en el modo de comunicación de datos, datos de texto del correo electrónico introducido haciendo funcionar la unidad de teclado de operación ex366 y otros del cuerpo principal se envían fuera a la unidad de control principal ex360 por medio de la unidad de control de entrada de operación ex362. La unidad de control principal ex360 hace que la unidad de modulación/demodulación ex352 realice un procesamiento de espectro ensanchado sobre los datos de texto, y la unidad de transmisión y de recepción ex351 realiza la conversión de analógico a digital y la conversión en frecuencia sobre los datos resultantes para transmitir los datos a la estación base ex110 por medio de la antena ex350. Cuando se recibe un correo electrónico, un procesamiento que es aproximadamente inverso al procesamiento para transmitir un correo electrónico se realiza sobre los datos recibidos, y los datos resultantes se proporcionan a la unidad de visualización ex358.

Cuando se transmite(n) vídeo, imágenes fijas o vídeo y audio en modo de comunicación de datos, la unidad de procesamiento de señal de vídeo ex355 comprime y codifica las señales de vídeo suministradas desde la unidad de cámara ex365 usando el método de codificación de imágenes en movimiento que se muestra en cada una de las realizaciones (es decir, funciona como el aparato de codificación de imágenes según el aspecto de la presente invención), y transmite los datos de vídeo codificados a la unidad de multiplexado/demultiplexado ex353. Por el contrario, cuando la unidad de cámara ex365 captura vídeo, imágenes fijas y otros, la unidad de procesamiento de señal de audio ex354 codifica las señales de audio recogidas por la unidad de entrada de audio ex356, y transmite los datos de audio codificados a la unidad de multiplexado/demultiplexado ex353.

La unidad de multiplexado/demultiplexado ex353 multiplexa los datos de vídeo codificados suministrados desde la unidad de procesamiento de señal de vídeo ex355 y los datos de audio codificados suministrados desde la unidad de procesamiento de señal de audio ex354, usando un método predeterminado. A continuación, la unidad de modulación/demodulación (unidad de circuito de modulación/demodulación) ex352 realiza un procesamiento de espectro ensanchado sobre los datos multiplexados, y la unidad de transmisión y de recepción ex351 realiza una conversión de analógico a digital y una conversión en frecuencia sobre los datos con el fin de transmitir los datos resultantes por medio de la antena ex350.

Al recibir datos de un archivo de vídeo que está vinculado a una página web y otras en modo de comunicación de datos o al recibir un correo electrónico con vídeo y/o audio adjunto, para decodificar los datos multiplexados recibidos a través de la antena ex350, la unidad de multiplexado/demultiplexado ex353 demultiplexa los datos multiplexados en un flujo de bits de datos de vídeo y un flujo de bits de datos de audio, y suministra a la unidad de procesamiento de señal de vídeo ex355 los datos de vídeo codificados y a la unidad de procesamiento de señal de audio ex354 los datos de audio codificados, a través del bus síncrono ex370. La unidad de procesamiento de señal de vídeo ex355 decodifica la señal de vídeo usando un método de decodificación de imágenes en movimiento correspondiente al método de codificación de imágenes en movimiento que se muestra en cada una de las realizaciones (es decir, funciona como el aparato de decodificación de imágenes según el aspecto de la presente invención), y entonces la unidad de visualización ex358 muestra, por ejemplo, el vídeo y las imágenes fijas incluidos en el archivo de vídeo vinculado a la página web a través de la unidad de control LCD ex359. Además, la unidad de procesamiento de señal de audio ex354 decodifica la señal de audio, y la unidad de salida de audio ex357 proporciona el audio.

Además, de manera similar a la televisión ex300, un terminal tal como el teléfono celular ex114 probablemente tenga 3 tipos de configuraciones de implementación que incluyen no solo (i) un terminal de transmisión y recepción que incluye tanto un aparato de codificación como un aparato de decodificación, sino también (ii) un terminal de transmisión que incluye solo un aparato de codificación y (iii) un terminal de recepción que incluye solo un aparato de decodificación. Aunque el sistema de radiodifusión digital ex200 recibe y transmite los datos multiplexados obtenidos multiplexando datos de audio en datos de vídeo en la descripción, los datos multiplexados pueden ser datos obtenidos multiplexando no datos de audio, sino datos de caracteres relacionados con vídeo en datos de vídeo, y pueden no ser datos multiplexados, sino datos de vídeo en sí.

Como tal, el método de codificación de imágenes en movimiento y el método de decodificación de imágenes en movimiento en cada una de las realizaciones se pueden usar en cualquiera de los dispositivos y sistemas descritos. Así, se pueden obtener las ventajas descritas en cada una de las realizaciones.

Además, la presente invención no se limita a las realizaciones, y son posibles diversas modificaciones y revisiones sin apartarse del alcance de la presente invención.

[Realización 10]

Los datos de vídeo pueden generarse cambiando, según sea necesario, entre (i) el método de codificación de imágenes en movimiento o el aparato de codificación de imágenes en movimiento que se muestra en cada una de las realizaciones y (ii) un método de codificación de imágenes en movimiento o un aparato de codificación de imágenes en movimiento en conformidad con una norma diferente, tal como MPEG-2, AVC de MPEG-4 y VC-1.

Aquí, cuando se genera una pluralidad de datos de vídeo que cumplen con las diferentes normas y luego se decodifica, los métodos de decodificación deben seleccionarse para cumplir con las diferentes normas. Sin embargo, dado que no se puede detectar con qué norma cumple cada uno de la pluralidad de los datos de vídeo a decodificar, existe el problema de que no se puede seleccionar un método de decodificación apropiado.

Para resolver el problema, los datos multiplexados obtenidos multiplexando datos de audio y otros en datos de vídeo tienen una estructura que incluye información de identificación que indica con qué norma cumplen los datos de vídeo. Se describirá a continuación en el presente documento la estructura específica de los datos multiplexados que incluyen los datos de vídeo generados en el método de codificación de imágenes en movimiento y por el aparato de codificación de imágenes en movimiento mostrados en cada una de las realizaciones. Los datos multiplexados son un flujo digital en el formato de flujo de transporte de MPEG-2.

La figura 45 ilustra una estructura de los datos multiplexados. Como se ilustra en la figura 45, los datos multiplexados pueden obtenerse multiplexando al menos uno de un flujo de vídeo, un flujo de audio, un flujo de gráficos de presentación (PG) y un flujo de gráficos interactivos. El flujo de vídeo representa el vídeo principal y el vídeo secundario de una película, el flujo de audio (IG) representa una parte de audio primario y una parte de audio secundario a mezclarse con la parte de audio primario, y el flujo de gráficos de presentación representa subtítulos de la película. Aquí, el vídeo primario es vídeo normal a visualizarse en una pantalla, y el vídeo secundario es vídeo para visualizarse en una ventana más pequeña en el vídeo primario. Además, el flujo de gráficos interactivos representa una pantalla interactiva a generarse disponiendo los componentes de la GUI en una pantalla. El flujo de vídeo se codifica en el método de codificación de imágenes en movimiento o por el aparato de codificación de imágenes en movimiento mostrado en cada una de las realizaciones, o en un método de codificación de imágenes en movimiento o por un aparato de codificación de imágenes en movimiento en cumplimiento con una norma convencional, tal como MPEG-2, AVC de MPEG-4, y VC-1. El flujo de audio está codificado según una norma, tal como Dolby-AC-3, Dolby Digital Plus, MLP, DTS, DTS-HD y PCM lineal.

Cada flujo incluido en los datos multiplexados se identifica por PID. Por ejemplo, 0x1011 se asigna al flujo de vídeo para usarse para el vídeo de una película, 0x1100 a 0x111F se asignan a los flujos de audio, 0x1200 a 0x121F se asignan a los flujos de gráficos de presentación, 0x1400 a 0x141F se asignan a los flujos de gráficos interactivos, 0x1B00 a 0x1B1F se asignan a los flujos de vídeo para usarse para el vídeo secundario de la película, y 0x1A00 a 0x1A1 F se asignan a los flujos de audio para usarse para mezclar el audio secundario con el audio principal.

La figura 46 ilustra esquemáticamente cómo se multiplexan datos. En primer lugar, un flujo de vídeo ex235 compuesto por fotogramas de vídeo y un flujo de audio ex238 compuesto por tramas de audio se transforman en un flujo de paquetes de PES ex236 y un flujo de paquetes de PES ex239, y adicionalmente en paquetes de TS ex237 y paquetes de TS ex240, respectivamente. De forma similar, los datos de un flujo de gráficos de presentación ex241 y los datos de un flujo de gráficos interactivos ex244 se transforman en un flujo de paquetes de ^pE^sex242 y un flujo de paquetes de PES ex245, y adicionalmente en paquetes de TS ex243 y paquetes de Ts ex246, respectivamente. Estos paquetes de TS se multiplexan en un flujo para obtener datos multiplexados ex247.

La figura 47 ilustra cómo se almacena un flujo de vídeo en un flujo de paquetes de PES en más detalle. La primera barra en la figura 47 muestra un flujo de fotogramas de vídeo en un flujo de vídeo. La segunda barra muestra el flujo de paquetes de PES. Como indican las flechas indicadas como yy1, yy2, yy3 e yy4 en la figura 47, el flujo de vídeo se divide en imágenes como imágenes I, imágenes B e imágenes P, cada una de las cuales es una unidad de presentación de vídeo, y las imágenes se almacenan en una carga útil de cada uno de los paquetes de PES. Cada uno de los paquetes de PES tiene un encabezado de PES, y el encabezado de PES almacena una indicación de tiempo de presentación (Presentation Time-Stamp, PTS) que indica un tiempo de visualización de la imagen, y una indicación de tiempo de decodificación (Decoding Time-Stamp, DTS) que indica un tiempo de decodificación de la imagen.

La figura 48 ilustra un formato de paquetes de TS a escribir finalmente en los datos multiplexados. Cada uno de los paquetes de TS es un paquete de longitud fija de 188 bytes que incluye un encabezado de TS de 4 bytes que tiene información, tal como un PID para identificar un flujo y una carga útil de TS de 184 bytes para almacenar datos. Los paquetes de PES se dividen y se almacenan en las cargas útiles de TS, respectivamente. Cuando se utiliza una ROM BD, cada uno de los paquetes de TS recibe un TP_Extra_Header de 4 bytes, lo que da como resultado paquetes de origen de 192 bytes. Los paquetes de origen se escriben en los datos multiplexados. El TP_Extra_Header almacena información tal como una Arrival_Time_Stamp (ATS). La ATS muestra un tiempo de inicio de transferencia en el que se ha de transferir cada uno de los paquetes de TS a un filtro de PID. Los paquetes de origen se disponen en los datos multiplexados como se muestra en la parte inferior de la figura 48. Los números que incrementan desde la cabecera de los datos multiplexados se denominan números de paquete de origen (Source Packet Numbers,SPN).

Cada uno de los paquetes de TS incluidos en los datos multiplexados incluye no solo flujos de audio, vídeo, subtítulos y otros, sino también una tabla de asociación de programas (Program Association Table, PAT), una tabla de mapa de programas (Program Map Table, PMT) y una referencia de reloj de programa (Program Clock Reference, PCR). La PAT muestra qué indica un PID en una PMT usada en los datos multiplexados, y un PID de la misma PAT se registra como cero. La PMT almacena los PID de los flujos de vídeo, audio, subtítulos y otros incluidos en los datos multiplexados, e información de atributos de los flujos correspondientes a los PID. La PMT también tiene diversos descriptores relacionados con los datos multiplexados. Los descriptores tienen información tal como información de control de copia que muestra si se permite o no el copiado de los datos multiplexados. La PCR almacena información de tiempo de STC correspondiente a un ATS que muestra cuándo se transfiere el paquete de PCR a un decodificador, para lograr la sincronización entre un reloj de tiempo de llegada (Arrival Time Clock, ATC) que es un eje de tiempo de los ATS y un reloj de tiempo del sistema (System Time Clock, STC) que es un eje de tiempo de PTS y DTS.

La figura 49 ilustra la estructura de datos de la PMT en detalle. Un encabezado de PMT está dispuesto en la parte superior de la PMT. El encabezado de PMT describe la longitud de datos incluidos en la PMT y otros. Una pluralidad de descriptores relacionados con los datos multiplexados está dispuesta después del encabezado de PMT. La información tal como la información de control de copia se describe en los descriptores. Después de los descriptores, está dispuesta una pluralidad de fragmentos de información de flujo relacionados con los flujos incluidos en los datos multiplexados. Cada fragmento de información de flujo incluye descriptores de flujo, cada uno de los cuales describe información, tal como un tipo de flujo para identificar un códec de compresión de un flujo, un PID de flujo e información de atributos de flujo (tal como una velocidad de fotogramas o una relación de aspecto). Los descriptores de flujo son iguales en número al número de flujos en los datos multiplexados.

Cuando los datos multiplexados se graban en un medio de grabación y otros, se graban junto con archivos de información de datos multiplexados.

Cada uno de los archivos de información de datos multiplexados es información de gestión de los datos multiplexados como se muestra en la figura 50. Los archivos de información de datos multiplexados están en una correspondencia uno a uno con los datos multiplexados, y cada uno de los archivos incluye información de datos multiplexados, información de atributos de flujo y un mapa de entrada.

Como se ilustra en la figura 50, la información de datos multiplexados incluye una velocidad de sistema, un tiempo de inicio de reproducción y un tiempo de finalización de reproducción. La velocidad de sistema indica la velocidad de trasferencia máxima a la que un decodificador objetivo de sistema que se va a describir más adelante transfiere los datos multiplexados a un filtro de PID. Los intervalos de las ATS incluidas en los datos multiplexados se establecen de modo que no sean superiores a una velocidad de sistema. El tiempo de inicio de reproducción indica una PTS en un fotograma de vídeo en la cabecera de los datos multiplexados. Un intervalo de un fotograma se agrega a una PTS en un fotograma de vídeo al final de los datos multiplexados, y la PTS se establece al tiempo de finalización de reproducción.

Como se muestra en la figura 51, se registra un fragmento de información de atributos en la información de atributos de flujo, para cada PID de cada flujo incluido en los datos multiplexados. Cada fragmento de información de atributos tiene diferente información dependiendo de si el flujo correspondiente es un flujo de vídeo, un flujo de audio, un flujo de gráficos de presentación, o un flujo de gráficos interactivos. Cada fragmento de información de atributos de flujo de vídeo contiene información que incluye qué tipo de códec de compresión se usa para comprimir el flujo de vídeo y la resolución, la relación de aspecto y la velocidad de fotogramas de los fragmentos de datos de imágenes que se incluyen en la transmisión de vídeo. Cada fragmento de información de atributos de flujo de audio contiene información que incluye qué tipo de códec de compresión se usa para comprimir el flujo de audio, cuántos canales se incluyen en el flujo de audio, qué idioma admite el flujo de audio y cómo de alta es la frecuencia de muestreo. La información de atributos de flujo de vídeo y la información de atributos de flujo de audio se usan para la inicialización de un decodificador antes de que el reproductor reproduzca la información.

En la presente realización, los datos multiplexados para usarse son de un tipo de flujo incluido en la PMT. Además, cuando los datos multiplexados se graban en un medio de grabación, se usa la información de atributos de flujo de vídeo incluida en la información de datos multiplexados. De manera más específica, el método de codificación de imágenes en movimiento o el aparato de codificación de imágenes en movimiento descrito en cada una de las realizaciones incluye una etapa o una unidad para asignar información única que indica datos de vídeo generados por el método de codificación de imágenes en movimiento o el aparato de codificación de imágenes en movimiento en cada una de las realizaciones, al tipo de flujo incluido en la PMT o la información de atributos de flujo de vídeo. Con la configuración, los datos de vídeo generados por el método de codificación de imágenes en movimiento o el aparato de codificación de imágenes en movimiento descrito en cada una de las realizaciones pueden distinguirse de los datos de vídeo que cumplen con otra norma.

Además, la figura 52 ilustra las etapas del método de decodificación de imágenes en movimiento según la presente realización. En la etapa exS100, el tipo de flujo incluido en la PMT o la información de atributos de flujo de vídeo incluida en la información de datos multiplexados se obtiene de los datos multiplexados. A continuación, en la etapa exS101, se determina si el tipo de flujo o la información de atributos de flujo de vídeo indica o no que los datos multiplexados se generan por el método de codificación de imágenes en movimiento o el aparato de codificación de imágenes en movimiento en cada una de las realizaciones. Cuando se determina que el tipo de flujo o la información de atributos de flujo de vídeo indica que los datos multiplexados se generan por el método de codificación de imágenes en movimiento o el aparato de codificación de imágenes en movimiento en cada una de las realizaciones, en la etapa exS102, la decodificación se realiza mediante el método de decodificación de imágenes en movimiento en cada una de las realizaciones. Además, cuando el tipo de flujo o la información de atributos de flujo de vídeo indica cumplimiento con las normas convencionales, tal como MPEG-2, AVC de MPEG-4 y VC-1, en la etapa exS103, la decodificación se realiza mediante un método de decodificación de imágenes en movimiento en cumplimiento con las normas convencionales.

Como tal, asignar un nuevo valor único al tipo de flujo o la información de atributos de flujo de vídeo posibilita la determinación de si el método de decodificación de imágenes en movimiento o el aparato de decodificación de imágenes en movimiento que se describe en cada una de las realizaciones puede realizar o no la decodificación. Incluso cuando se introducen datos multiplexados que cumplen con una norma diferente, se puede seleccionar un método o aparato de decodificación apropiado. Así, se hace posible decodificar información sin error alguno. Además, el método o aparato de codificación de imágenes en movimiento o el método o aparato de decodificación de imágenes en movimiento en la presente realización se puede usar en los dispositivos y sistemas anteriormente descritos.

[Realización 11]

Cada uno del método de codificación de imágenes en movimiento, el aparato de codificación de imágenes en movimiento, el método de decodificación de imágenes en movimiento y el aparato de decodificación de imágenes en movimiento en cada una de las realizaciones se logra típicamente en forma de un circuito integrado o un circuito integrado a gran escala (Large Scale Integrated, LSI). Como ejemplo del LSI, la figura 53 ilustra una configuración del LSI ex500 que está fabricado en un chip. El LSI ex500 incluye los elementos ex501, ex502, ex503, ex504, ex505, ex506, ex507, ex508 y ex509 que se describen a continuación, y los elementos están conectados entre sí a través de un bus ex510. La unidad de circuito de fuente de alimentación ex505 se activa suministrando potencia a cada uno de los elementos cuando se enciende la unidad de circuito de fuente de alimentación ex505.

Por ejemplo, cuando se realiza la codificación, el LSI ex500 recibe una señal de AV desde un micrófono ex117, una cámara ex113 y otros a través de un IO de AV ex509 bajo el control de una unidad de control ex501 que incluye una CPU ex502, un controlador de memoria ex503, un controlador de flujo ex504 y una unidad de control de frecuencia de accionamiento ex512. La señal de AV recibida se almacena temporalmente en una memoria externa ex511, tal como una SDRAM. Bajo el control de la unidad de control ex501, los datos almacenados se segmentan en porciones de datos según la cantidad de procesamiento y velocidad a transmitir a una unidad de procesamiento de señal ex507. A continuación, la unidad de procesamiento de señal ex507 codifica una señal de audio y/o una señal de vídeo. Aquí, la codificación de la señal de vídeo es la codificación descrita en cada una de las realizaciones. Además, la unidad de procesamiento de señal ex507 multiplexa en ocasiones los datos de audio codificados y los datos de vídeo codificados, y una IO de flujo ex506 proporciona los datos multiplexados al exterior. Los datos multiplexados proporcionados se transmiten a la estación base ex107, o se escriben en el medio de grabación ex215. Cuando se multiplexan conjuntos de datos, los datos deberían almacenarse temporalmente en la memoria intermedia ex508 de modo que los conjuntos de datos se sincronizan entre sí.

Aunque la memoria ex511 es un elemento externo al LSI ex500, puede estar incluida en el LSI ex500. La memoria intermedia ex508 no está limitada a una memoria intermedia, sino que puede estar compuesta de memorias intermedias. Además, el LSI ex500 puede estar fabricado en un chip o una pluralidad de chips.

Además, aunque la unidad de control ex501 incluye la CPU ex502, el controlador de memoria ex503, el controlador de flujo ex504, la unidad de control de frecuencia de accionamiento ex512, la configuración de la unidad de control ex501 no se limita a tal. Por ejemplo, la unidad de procesamiento de señal ex507 puede incluir además una CPU. La inclusión de otra CPU en la unidad de procesamiento de señal ex507 puede mejorar la velocidad de procesamiento. Además, como otro ejemplo, la CPU ex502 puede servir como o formar parte de la unidad de procesamiento de señal ex507 y, por ejemplo, puede incluir una unidad de procesamiento de señal de audio. En tal caso, la unidad de control ex501 incluye la unidad de procesamiento de señal ex507 o la CPU ex502 que incluye una parte de la unidad de procesamiento de señal ex507.

El nombre usado aquí es LSI, pero también puede llamarse IC, sistema LSI, super LSI o ultra LSI dependiendo del grado de integración.

Además, las maneras para conseguir la integración no se limitan al LSI, y un circuito especial o un procesador de propósito general y así sucesivamente pueden conseguir también la integración. La matriz de puertas lógicas programable en campo (FPGA) que puede programarse después de la fabricación de LSI o un procesador reconfigurable que permite la reconfiguración de la conexión o configuración de un LSI puede usarse para el mismo fin.

En el futuro, con el avance en la tecnología de semiconductores, una nueva tecnología puede reemplazar a LSI. Los bloques funcionales pueden integrarse usando una tecnología de este tipo. La posibilidad es que la presente invención se aplique a biotecnología.

[Realización 12]

Cuando se decodifican los datos de vídeo generados en el método de codificación de imágenes en movimiento o por el aparato de codificación de imágenes en movimiento descrito en cada una de las realizaciones, en comparación con cuando se decodifican datos de vídeo que cumplen con una norma convencional, tal como MPEG-2, AVC de MPEG-4, y VC-1, la cantidad de procesamiento probablemente aumenta. Así, el LSI ex500 debe establecerse a una frecuencia de accionamiento más alta que la de la CPU ex502 para usarse cuando se decodifican datos de vídeo en cumplimiento con la norma convencional. Sin embargo, cuando se establece una frecuencia de accionamiento más alta, existe el problema de que aumenta el consumo de energía.

Para resolver el problema, el aparato de decodificación de imágenes en movimiento, tal como la televisión ex300 y el LSI ex500, está configurado para determinar con qué norma cumplen los datos de vídeo y conmutar entre las frecuencias de control según la norma determinada. La figura 54 ilustra una configuración ex800 en la presente realización. Una unidad de conmutación de frecuencia de accionamiento ex803 establece una frecuencia de accionamiento a una frecuencia de accionamiento más alta cuando se generan datos de vídeo por el método de codificación de imágenes en movimiento o el aparato de codificación de imágenes en movimiento descrito en cada una de las realizaciones. A continuación, la unidad de conmutación de frecuencia de accionamiento ex803 ordena a la unidad de procesamiento de decodificación ex801 que ejecuta el método de decodificación de imágenes en movimiento descrito en cada una de las realizaciones que decodifique los datos de vídeo. Cuando los datos de vídeo cumplen con la norma convencional, la unidad de conmutación de frecuencia de accionamiento ex803 establece una frecuencia de accionamiento a una frecuencia de accionamiento más baja que la de los datos de vídeo generados por el método de codificación de imágenes en movimiento o el aparato de codificación de imágenes en movimiento descrito en cada una de las realizaciones. A continuación, la unidad de conmutación de frecuencia de accionamiento ex803 ordena a la unidad de procesamiento de decodificación ex802 que cumple con la norma convencional que decodifique los datos de vídeo.

Más específicamente, la unidad de conmutación de frecuencia de accionamiento ex803 incluye la CPU ex502 y la unidad de control de frecuencia de accionamiento ex512 en la figura 53. Aquí, cada una de la unidad de procesamiento de decodificación ex801 que ejecuta el método de decodificación de imágenes en movimiento descrito en cada una de las realizaciones y la unidad de procesamiento de decodificación ex802 que cumple con la norma convencional se corresponde con la unidad de procesamiento de señal ex507 en la figura 53. La CPU ex502 determina con qué norma cumplen los datos de vídeo. A continuación, la unidad de control de frecuencia de accionamiento ex512 determina una frecuencia de accionamiento basándose en una señal desde la CPU ex502. Además, la unidad de procesamiento de señal ex507 decodifica los datos de vídeo basándose en la señal desde la CPU ex502. Por ejemplo, la información de identificación descrita en la realización 10 se usa probablemente para identificar los datos de vídeo. La información de identificación no se limita a la descrita en la realización 10 sino que puede ser cualquier información siempre que la información indique con qué norma cumplen los datos de vídeo. Por ejemplo, cuando con qué norma cumplen los datos de vídeo puede determinarse basándose en una señal externa para determinar que los datos de vídeo se usan para una televisión o un disco, etc., la determinación puede realizarse basándose en una señal externa de este tipo. Además, la CPU ex502 selecciona una frecuencia de accionamiento basándose, por ejemplo, en una tabla de consulta en la que las normas de los datos de vídeo están asociadas con las frecuencias de accionamiento, como se muestra en la figura 56. La frecuencia de accionamiento puede seleccionarse almacenando la tabla de consulta en la memoria intermedia ex508 y en una memoria interna de un LSI, y con referencia a la tabla de consulta por la CPU ex502.

La figura 55 ilustra etapas para ejecutar un método en la presente realización. Primero, en la etapa exS200, la unidad de procesamiento de señal ex507 obtiene información de identificación desde los datos multiplexados. A continuación, en la etapa exS201, la CPU ex502 determina si los datos de vídeo se generan o no por el método de codificación y el aparato de codificación descritos en cada una de las realizaciones, basándose en la información de identificación. Cuando los datos de vídeo son generados por el método de codificación de imágenes en movimiento y el aparato de codificación de imágenes en movimiento descritos en cada una de las realizaciones, en la etapa exS202, la CPU ex502 transmite una señal para establecer la frecuencia de accionamiento a una frecuencia de accionamiento más alta a la unidad de control de frecuencia de accionamiento ex512. A continuación, la unidad de control de frecuencia de accionamiento ex512 establece la frecuencia de accionamiento a la frecuencia de accionamiento más alta. Por otro lado, cuando la información de identificación indica que los datos de vídeo cumplen con la norma convencional, tal como MPEG-2, AVC de MPEG-4 y VC-1, en la etapa exS203, la CPU ex502 transmite una señal para establecer la frecuencia de accionamiento a una frecuencia de accionamiento más baja a la unidad de control de frecuencia de accionamiento ex512. A continuación, la unidad de control de frecuencia de accionamiento ex512 establece la frecuencia de accionamiento a la frecuencia de accionamiento más baja que aquella en el caso en el que los datos de vídeo se generan por el método de codificación de imágenes en movimiento y el aparato de codificación de imágenes en movimiento descritos en cada una de las realizaciones.

Además, junto con la conmutación de las frecuencias de accionamiento, el efecto de conservación de potencia puede mejorarse cambiando la tensión que va a aplicarse al LSI ex500 o a un aparato que incluye el LSI ex500. Por ejemplo, cuando se establece una frecuencia de accionamiento más baja, es probable que la tensión que va a aplicarse al LSI ex500 o al aparato que incluye el LSI ex500 se establezca a una tensión más baja que aquella en el caso en el que se establece una frecuencia de accionamiento más alta.

Además, cuando la cantidad de procesamiento para la decodificación es mayor, puede establecerse una frecuencia de accionamiento más alta, y cuando la cantidad de procesamiento para la decodificación es menor, puede establecerse una frecuencia de accionamiento más baja como método para establecer la frecuencia de accionamiento. Así, el método de establecimiento no se limita a los anteriormente descritos. Por ejemplo, cuando la cantidad de procesamiento para decodificar datos de vídeo en cumplimiento con AVC de MPEG-4 es mayor que la cantidad de procesamiento para decodificar datos de vídeo generados por el método de codificación de imágenes en movimiento y el aparato de codificación de imágenes en movimiento descritos en cada una de las realizaciones, es probable que la frecuencia de accionamiento se establezca en orden inverso al ajuste anteriormente descrito.

Además, el método para establecer la frecuencia de accionamiento no se limita al método para establecer una frecuencia de accionamiento más baja. Por ejemplo, cuando la información de identificación indica que los datos de vídeo son generados por el método de codificación de imágenes en movimiento y el aparato de codificación de imágenes en movimiento descritos en cada una de las realizaciones, es probable que se establezca una tensión que va a aplicarse al LSI ex500 o al aparato que incluye el LSI ex500 más alta. Cuando la información de identificación indica que los datos de vídeo cumplen con la norma convencional, tal como MPEG-2, AVC de MPEG-4 y VC-1, es probable que se establezca una tensión que va a aplicarse al LSI ex500 o al aparato que incluye el LSI ex500 más baja. Como otro ejemplo, cuando la información de identificación indica que los datos de vídeo son generados por el método de codificación de imágenes en movimiento y el aparato de codificación de imágenes en movimiento descritos en cada una de las realizaciones, es probable que no se deba suspender el accionamiento de la CPU ex502. Cuando la información de identificación indica que los datos de vídeo cumplen con la norma convencional, tal como MPEG-2, AVC de MPEG-4 y VC-1, es probable que se suspenda el accionamiento de la CPU ex502 en un momento dado porque la CPU ex502 tiene capacidad de procesamiento adicional. Incluso cuando la información de identificación indica que los datos de vídeo son generados por el método de codificación de imágenes en movimiento y el aparato de codificación de imágenes en movimiento descritos en cada una de las realizaciones, en el caso en el que la CPU ex502 tenga capacidad de procesamiento adicional, es probable que se suspenda el accionamiento de la CPU ex502 en un momento dado. En tal caso, es probable que se establezca un tiempo de suspensión más corto que aquello en el caso en el que la información de identificación indica que los datos de vídeo cumplen con la norma convencional, tal como MPEG-2, AVC de MPEG-4, y VC-1.

En consecuencia, el efecto de conservación de potencia puede mejorarse conmutando entre las frecuencias de accionamiento según la norma con la cual cumplen los datos de vídeo. Además, cuando el LSI ex500 o el aparato que incluye el LSI ex500 se acciona con una batería, la vida útil de la batería puede extenderse con el efecto de conservación de energía.

[Realización 13]

Hay casos en los que se proporciona una pluralidad de datos de vídeo que cumplen con diferentes normas a los dispositivos y sistemas, tal como una televisión y un teléfono celular. Para permitir la decodificación de la pluralidad de datos de vídeo que cumplen con las diferentes normas, la unidad de procesamiento de señal ex507 del LSI ex500 debe cumplir con las diferentes normas. Sin embargo, los problemas de aumento en la escala del circuito del LSI ex500 y el aumento en el coste surgen con el uso individual de las unidades de procesamiento de señal ex507 que cumplen con las normas respectivas.

Para resolver el problema, lo que se concibe es una configuración en la que la unidad de procesamiento de decodificación para implementar el método de decodificación de imágenes en movimiento descrito en cada una de las realizaciones y la unidad de procesamiento de decodificación que cumple con la norma convencional, tal como MPEG-2, AVC de MPEG-4 y VC-1, se comparten parcialmente. Ex900 en la figura 57A muestra un ejemplo de la configuración. Por ejemplo, el método de decodificación de imágenes en movimiento descrito en cada una de las realizaciones y el método de decodificación de imágenes en movimiento que cumple con AVC de MPEG-4 tienen, en parte en común, los detalles del procesamiento, tal como la codificación de entropía, la cuantificación inversa, el filtrado de desbloqueo y la predicción compensada por movimiento. Los detalles de procesamiento que van a compartirse probablemente incluyen el uso de una unidad de procesamiento de decodificación ex902 que cumplen con AVC de MPEG-4. Por el contrario, una unidad de procesamiento de decodificación dedicada ex901 probablemente se use para otro procesamiento único de un aspecto de la presente invención. Dado que el aspecto de la presente invención se caracteriza por la cuantificación inversa en particular, por ejemplo, la unidad de procesamiento de decodificación dedicada ex901 se usa para la cuantificación inversa. De lo contrario, la unidad de procesamiento de decodificación probablemente se comparte para uno de la decodificación de entropía, el filtrado de desbloqueo y la compensación por movimiento, o para todo el procesamiento. La unidad de procesamiento de decodificación para implementar el método de decodificación de imágenes en movimiento descrito en cada una de las realizaciones puede compartirse para el procesamiento que va a compartirse, y una unidad de procesamiento de decodificación dedicada puede usarse para procesamiento único al de AVC de MPEG-4.

Además, ex1000 en la figura 57B muestra otro ejemplo en el que el procesamiento se comparte parcialmente. Este ejemplo usa una configuración que incluye una unidad de procesamiento de decodificación dedicada ex1001 que soporta el procesamiento único de un aspecto de la presente invención, una unidad de procesamiento de decodificación dedicada ex1002 que soporta el procesamiento único de otra norma convencional, y una unidad de procesamiento de decodificación ex1003 que soporta procesamiento que va a compartirse entre el método de decodificación de imágenes en movimiento según el aspecto de la presente invención y el método de decodificación de imágenes en movimiento convencional. Aquí, las unidades de procesamiento de decodificación dedicadas ex1001 y ex1002 no están necesariamente especializadas para el procesamiento según el aspecto de la presente invención y el procesamiento de la norma convencional, respectivamente, y pueden ser las que pueden implementar procesamiento general. Además, la configuración de la presente realización puede implementarse por el LSI ex500. Como tal, reducir la escala del circuito de un LSI y reducir el coste son posibles compartiendo la unidad de procesamiento de decodificación para el procesamiento que va a compartirse entre el método de decodificación de imágenes en movimiento según el aspecto de la presente invención y el método de decodificación de imágenes en movimiento en cumplimiento con la norma convencional.

Aplicabilidad industrial

El método de codificación de imágenes y el método de decodificación de imágenes según un aspecto de la presente invención son ventajosamente aplicables a un método de codificación de imágenes en movimiento y a un método de decodificación de imágenes en movimiento.

[Lista de signos de referencia]

100, 200, 500, 600 aparato de codificación de imágenes

101 sustractor

102 unidad de transformación ortogonal

103 unidad de cuantificación

104, 302 unidad de cuantificación inversa

105, 303 unidad de transformación ortogonal inversa

106, 304 sumador

107, 305 memoria de bloques

108, 306 memoria de fotogramas

109, 307 unidad de intrapredicción

110, 308 unidad de interpredicción

111, 309 unidad de control de interpredicción

112 unidad de determinación de tipo de imagen

113, 310 conmutador

114, 311, 514, 711 unidad de cálculo de candidatos de bloques de fusión

115, 312 memoria colPic

116, 516 unidad de codificación de longitud variable

210, 410, 610, 810 unidad de derivación de candidatos de fusión

211, 411,612, 812 primera unidad de derivación

212, 412, 615, 815 segunda unidad de derivación

220, 430, 620, 830 unidad de control de predicción

230, 630 unidad de codificación

300, 400, 700, 800 aparato de decodificación de imágenes

301, 701 unidad de decodificación de longitud variable

420, 820 unidad de decodificación

611, 811 primera unidad de determinación

613, 813 unidad de especificación

614, 814 segunda unidad de determinación

Claims

REIVINDICACIONES

1. Un método de codificación de imágenes para codificar una imagen usando interpredicción bloque por bloque para generar un flujo de bits, comprendiendo el método:

determinar (S601), segmento por segmento, un número predeterminado como un número máximo de candidatos de bloques de fusión, cada uno de los cuales tiene una combinación de una dirección de predicción, un vector de movimiento y un índice de imagen de referencia para usarse en la codificación de un bloque actual, en el que el número máximo es un número entero mayor de dos;

derivar (S101, S601, S602) una pluralidad de candidatos de bloques de fusión basándose en direcciones de predicción, vectores de movimiento e índices de imágenes de referencia usados en la codificación de bloques, cada uno de los cuales es un bloque espacialmente vecino o un bloque ubicado conjuntamente con el bloque actual, incluyendo la pluralidad derivada de candidatos de bloques de fusión al menos un primer candidato de bloque de fusión y un segundo candidato de bloque de fusión,

teniendo el primer candidato de bloque de fusión al menos un primer vector de movimiento y un primer valor de índice de imagen de referencia para identificar una primera imagen de referencia correspondiente al primer vector de movimiento, en el que el primer vector de movimiento y el primer índice de imagen de referencia corresponden a una primera dirección de predicción usada para codificar un primer bloque, y

teniendo el segundo candidato de bloque de fusión al menos un segundo vector de movimiento y un segundo valor de índice de imagen de referencia para identificar una segunda imagen de referencia correspondiente al segundo vector de movimiento, en el que el segundo vector de movimiento y el segundo índice de imagen de referencia corresponden a una segunda dirección de predicción usada para codificar un segundo bloque;

determinar (S131, S604) que un número total de candidatos de bloques de fusión derivados es menor que el número máximo;

derivar (S114) al menos un candidato de bloque de fusión combinado para predicción bidireccional mediante la asignación del primer vector de movimiento y el primer índice de imagen de referencia para la primera dirección de predicción del candidato de bloque de fusión combinado y mediante la asignación del segundo vector de movimiento y el segundo índice de imagen de referencia para la segunda dirección de predicción del candidato de bloque de fusión combinado en respuesta a la determinación de que el número total de candidatos de bloques de fusión derivados es menor que el número máximo, en el que la primera y la segunda direcciones de predicción del candidato de bloque de fusión combinado se indican mediante la primera y segunda dirección de predicción del primer y segundo candidato de bloque de fusión respectivamente, de modo que se selecciona una combinación a partir de la pluralidad derivada de candidatos de bloques de fusión;

seleccionar (S203, S606) un candidato de bloque de fusión para usarse para la codificación del bloque actual a partir de la pluralidad derivada de candidatos de bloques de fusión y el candidato de bloque de fusión combinado derivado; y

codificar (S105, S505, S607), usando el número máximo determinado, un índice para identificar el candidato de bloque de fusión seleccionado, y adjuntar el índice codificado al flujo de bits.

2. El método de codificación de imágenes según la reivindicación 1, en el que el índice codificado para identificar el candidato de bloque de fusión seleccionado se incluye en una secuencia de bits determinada basándose en el tamaño de la lista de candidatos de bloques de fusión, usando el número máximo determinado.

3. El método de codificación de imágenes según la reivindicación 1, que comprende además eliminar un candidato de bloque de fusión idéntico de la pluralidad de candidatos de bloques de fusión antes de determinar que el número total de candidatos de bloques de fusión derivados es menor que el número máximo.

4. Un aparato de codificación de imágenes que codifica una imagen usando interpredicción bloque por bloque para generar un flujo de bits, comprendiendo el aparato:

una primera unidad de determinación (611) configurada para determinar, segmento por segmento, un número predeterminado como un número máximo de candidatos de bloques de fusión, cada uno de los cuales tiene una combinación de una dirección de predicción, un vector de movimiento y un índice de imagen de referencia para usarse en la codificación de un bloque actual, en el que el número máximo es un número entero mayor de dos;

una primera unidad de derivación (612) configurada para derivar una pluralidad de candidatos de bloques de fusión basándose en direcciones de predicción, vectores de movimiento e índices de imágenes de referencia usados en la codificación de bloques, cada uno de los cuales es un bloque espacialmente vecino o un bloque ubicado conjuntamente con el bloque actual, incluyendo la pluralidad derivada de candidatos de bloques de fusión al menos un primer candidato de bloque de fusión y un segundo candidato de bloque de fusión, teniendo el primer candidato de bloque de fusión al menos un primer vector de movimiento y un primer valor de índice de imagen de referencia para identificar una primera imagen de referencia correspondiente al primer vector de movimiento, en el que el primer vector de movimiento y el primer índice de imagen de referencia corresponden a una primera dirección de predicción usada para codificar un primer bloque, y teniendo el segundo candidato de bloque de fusión al menos un segundo vector de movimiento y un segundo valor de índice de imagen de referencia para identificar una segunda imagen de referencia correspondiente al segundo vector de movimiento, en el que el segundo vector de movimiento y el segundo índice de imagen de referencia corresponden a una segunda dirección de predicción usada para codificar un segundo bloque;

una segunda unidad de determinación (614) configurada para determinar que un número total de candidatos de bloques de fusión derivados es menor que el número máximo;

una segunda unidad de derivación (615) configurada para derivar al menos un candidato de bloque de fusión combinado para predicción bidireccional mediante la asignación del primer vector de movimiento y el primer índice de imagen de referencia para la primera dirección de predicción del candidato de bloque de fusión combinado y mediante la asignación del segundo vector de movimiento y el segundo índice de imagen de referencia para la segunda dirección de predicción del candidato de bloque de fusión combinado en respuesta a la determinación de que el número total de candidatos de bloques de fusión derivados es menor que el número máximo, en el que la primera y segunda direcciones de predicción del candidato de bloque de fusión combinado se indican mediante la primera y segunda direcciones de predicción del primer y segundo candidatos de bloques de fusión, respectivamente, de modo que se selecciona una combinación a partir de la pluralidad derivada de candidatos de bloques de fusión;

una unidad de control de predicción (620) configurada para seleccionar un candidato de bloque de fusión para usarse para la codificación del bloque actual a partir de la pluralidad derivada de candidatos de bloques de fusión y el segundo candidato de bloque de fusión derivado; y

una unidad de codificación (630) configurada para codificar, usando el número máximo determinado, un índice para identificar el candidato de bloque de fusión seleccionado, y adjuntar el índice codificado al flujo de bits.

5. El aparato de codificación de imágenes según la reivindicación 4, en el que el índice codificado para identificar el candidato de bloque de fusión seleccionado se incluye en una secuencia de bits determinada basándose en el tamaño de la lista de candidatos de bloques de fusión, usando el número máximo determinado.

6. El aparato de codificación de imágenes según la reivindicación 5, que comprende además eliminar un candidato de bloque de fusión idéntico de la pluralidad de candidatos de bloques de fusión antes de determinar que el número total de candidatos de bloques de fusión derivados es menor que el número máximo.

7. Un método de decodificación de imágenes para decodificar una imagen usando interpredicción a partir de un flujo de bits bloque por bloque, comprendiendo el método:

determinar (S601), segmento por segmento, un número predeterminado como un número máximo de candidatos de bloques de fusión, cada uno de los cuales tiene una combinación de una dirección de predicción, un vector de movimiento y un índice de imagen de referencia para usarse en la decodificación de un bloque actual, en el que el número máximo es un número entero mayor de dos;

derivar (S101, S601, S602) una pluralidad de candidatos de bloques de fusión basándose en direcciones de predicción, vectores de movimiento e índices de imágenes de referencia usados en la decodificación de bloques, cada uno de los cuales es un bloque espacialmente vecino o un bloque ubicado conjuntamente con el bloque actual, incluyendo la pluralidad derivada de candidatos de bloques de fusión al menos un primer candidato de bloque de fusión y un segundo candidato de bloque de fusión,

teniendo el primer candidato de bloque de fusión al menos un primer vector de movimiento y un primer valor de índice de imagen de referencia para identificar una primera imagen de referencia correspondiente al primer vector de movimiento, en el que el primer vector de movimiento y el primer índice de imagen de referencia corresponden a una primera dirección de predicción usada para decodificar un primer bloque, y

teniendo el segundo candidato de bloques de fusión al menos un segundo vector de movimiento y un segundo valor de índice de imagen de referencia para identificar una segunda imagen de referencia correspondiente al segundo vector de movimiento, en el que el segundo vector de movimiento y el segundo índice de imagen de referencia corresponden a una segunda dirección de predicción usada para decodificar un segundo bloque;

decodificar (S105, S505, S704), a partir del flujo de bits, usando el número máximo determinado, un índice para identificar un candidato de bloque de fusión; y

seleccionar (S203, S705), basándose en el índice decodificado, un candidato de bloque de fusión para usarse para la decodificación del bloque actual a partir de la pluralidad derivada de candidatos de bloques de fusión y el candidato de bloque de fusión combinado derivado.

El método de decodificación de imágenes según la reivindicación 7, en el que el índice codificado para identificar el candidato de bloque de fusión seleccionado se incluye en una secuencia de bits determinada basándose en el tamaño de la lista de candidatos de bloques de fusión, usando el número máximo determinado.

9. El aparato de decodificación de imágenes según la reivindicación 7, que comprende además eliminar un candidato de bloque de fusión idéntico de la pluralidad de candidatos de bloques de fusión antes de determinar que el número total de candidatos de bloques de fusión derivados es menor que el número máximo.

10. Un aparato de decodificación de imágenes que decodifica una imagen usando interpredicción a partir de un flujo de bits bloque por bloque, comprendiendo el aparato:

una primera unidad de determinación (811) configurada para determinar, segmento por segmento, un número predeterminado como un número máximo de candidatos de bloques de fusión, cada uno de los cuales tiene una combinación de una dirección de predicción, un vector de movimiento y un índice de imagen de referencia para usarse en la decodificación de un bloque actual, en el que el número máximo es un número entero mayor de dos;

una primera unidad de derivación (812) configurada para derivar una pluralidad de candidatos de bloques de fusión basándose en direcciones de predicción, vectores de movimiento e índices de imágenes de referencia usados en la decodificación de bloques, cada uno de los cuales es un bloque espacialmente vecino o un bloque ubicado conjuntamente con el bloque actual, incluyendo la pluralidad derivada de candidatos de bloques de fusión al menos un primer candidato de bloque de fusión y un segundo candidato de bloque de fusión, teniendo el primer candidato de bloque de fusión al menos un primer vector de movimiento y un primer valor de índice de imagen de referencia para identificar una primera imagen de referencia correspondiente al primer vector de movimiento, en el que el primer vector de movimiento y el primer índice de imagen de referencia corresponden a una primera dirección de predicción usada para decodificar un primer bloque, y teniendo el segundo candidato de bloque de fusión al menos un segundo vector de movimiento y un segundo valor de índice de imagen de referencia para identificar una segunda imagen de referencia correspondiente al segundo vector de movimiento, en el que el segundo vector de movimiento y el segundo índice de imagen de referencia corresponden a una segunda dirección de predicción usada para decodificar un segundo bloque;

una segunda unidad de determinación (814) configurada para determinar que un número total de candidatos de bloques de fusión derivados es menor que el número máximo;

una segunda unidad de derivación (815) configurada para derivar al menos un candidato de bloque de fusión combinado para predicción bidireccional mediante la asignación del primer vector de movimiento y el primer índice de imagen de referencia para la primera dirección de predicción del candidato de bloque de fusión combinado y mediante la asignación del segundo vector de movimiento y el segundo índice de imagen de referencia para la segunda dirección de predicción del candidato de bloque de fusión combinado en respuesta a la determinación de que el número total de candidatos de bloques de fusión derivados es menor que el número máximo, en el que la primera y segunda direcciones de predicción del candidato de bloque de fusión combinado se indican mediante la primera y segunda direcciones de predicción del primer y segundo candidatos de bloques de fusión, respectivamente, de modo que se selecciona una combinación a partir de la pluralidad derivada de candidatos de bloques de fusión;

una unidad de decodificación (820) configurada para decodificar, a partir del flujo de bits, usando el número máximo determinado, un índice para identificar un candidato de bloque de fusión; y

una unidad de control de predicción (830) configurada para seleccionar, basándose en el índice decodificado, un candidato de bloque de fusión para usarse para la decodificación del bloque actual a partir de la pluralidad derivada de candidatos de bloques de fusión y el segundo candidato de bloque de fusión derivado.

11. El aparato de decodificación de imágenes según la reivindicación 10, en el que el índice codificado para identificar el candidato de bloque de fusión seleccionado se incluye en una secuencia de bits determinada basándose en el tamaño de la lista de candidatos de bloques de fusión, usando el número máximo determinado.

12. El aparato de decodificación de imágenes según la reivindicación 10, que comprende además eliminar un candidato de bloque de fusión idéntico de la pluralidad de candidatos de bloques de fusión antes de determinar que el número total de candidatos de bloques de fusión derivados es menor que el número máximo.