ES2683793T3 - Procedimiento de decodificación de imagen, procedimiento de codificación de imagen, dispositivo de decodificación de imagen, dispositivo de codificación de imagen, programa y circuito integrado - Google Patents
Procedimiento de decodificación de imagen, procedimiento de codificación de imagen, dispositivo de decodificación de imagen, dispositivo de codificación de imagen, programa y circuito integrado Download PDFInfo
- Publication number
- ES2683793T3 ES2683793T3 ES11828426.4T ES11828426T ES2683793T3 ES 2683793 T3 ES2683793 T3 ES 2683793T3 ES 11828426 T ES11828426 T ES 11828426T ES 2683793 T3 ES2683793 T3 ES 2683793T3
- Authority
- ES
- Spain
- Prior art keywords
- prediction mode
- mode
- estimated
- prediction
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/46—Embedding additional information in the video signal during the compression process
- H04N19/463—Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
- H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
Abstract
Un procedimiento de decodificación de imagen de decodificación de datos de imagen codificados desde una secuencia de bits generada codificando datos de imagen para cada bloque de acuerdo con la predicción basándose en un modo de predicción, comprendiendo el procedimiento de decodificación de imagen: restaurar (S1401 - S1408) un modo de predicción seleccionado de entre candidatos de modo de predicción predeterminados usados en la predicción en un momento de codificación de un bloque actual incluido en los datos de imagen codificados, basándose en información de modo proporcionada para el bloque actual en la secuencia de bits y que indica un resultado de estimación del modo de predicción ejecutado en el momento de codificación; y decodificar el bloque actual para generar un bloque decodificado, de acuerdo con la predicción basándose en el modo de predicción seleccionado, la restauración incluye: determinar (S1401, S1402) un primer modo de predicción estimado y un segundo modo de predicción estimado para el bloque actual; en el que el primer modo de predicción estimado se determina basándose en un modo de predicción de entre los candidatos de modo de predicción usados para predecir un bloque vecino que ya está decodificado y es adyacente al bloque actual; y el segundo modo de predicción estimado diferente del primer modo de predicción estimado se determina de entre los candidatos de modo de predicción para el bloque actual; y restaurar (S1403 - S1408) el modo de predicción seleccionado basándose en la información de modo, el primer modo de predicción estimado, y el segundo modo de predicción estimado; en el que la información de modo que especifica si el modo de predicción seleccionado concuerda con uno de los dos modos de predicción estimados, y si el modo de predicción seleccionado concuerda con uno de los dos modos de predicción estimados, la información de modo especifica adicionalmente cuál de los modos de predicción estimados concuerda con el modo de predicción seleccionado, caracterizado por la información de modo incluye la bandera de acuerdo de modo que indica si uno del primer y segundo modos de predicción estimados concuerda o no con el modo de predicción seleccionado y la bandera de especificación de modo de predicción que indica que el modo de predicción seleccionado concuerda con el primer modo de predicción estimado o el modo de predicción seleccionado concuerda con el segundo modo de predicción estimado, y en la restauración (S1403 - S1408) incluida en la restauración (S1401 - S1408) de un modo de predicción seleccionado, (i) el primer modo de predicción estimado se determina como el modo de predicción seleccionado cuando la bandera de acuerdo de modo indica que uno del primer y segundo modos de predicción estimados concuerdan con el modo de predicción seleccionado y la bandera de especificación de modo de predicción indica que el modo de predicción seleccionado concuerda con el primer modo de predicción estimado, (ii) el segundo modo de predicción estimado se determina como el modo de predicción seleccionado cuando la bandera de acuerdo de modo indica que uno del primer y segundo modos de predicción estimados concuerdan con el modo de predicción seleccionado y la bandera de especificación de modo de predicción indica que el modo de predicción seleccionado concuerda con el segundo modo de predicción estimado, y (iii) el modo de predicción seleccionado se restaura basándose en información que está incluida adicionalmente en la información de modo y especifica el modo de predicción seleccionado, cuando la bandera de acuerdo de modo indica que el modo de predicción seleccionado no concuerda con cada uno del primer modo de predicción estimado y el segundo modo de predicción estimado.
Description
5
15
25
35
45
55
65
[Fig. 1A] La Figura 1A es un diagrama que muestra un ejemplo de una relación entre un bloque actual al que se aplica estimación de intra predicción basándose en la norma de H.264/AVC convencional y un píxel de referencia. [Fig. 1B] La Figura 1B es un diagrama que muestra direcciones de predicción incluidas en un modo de intra predicción establecido basándose en la norma de H.264/AVC convencional. [Fig. 2] La Figura 2 es un diagrama que muestra un ejemplo de una configuración detallada de una unidad de ajuste, entre componentes de un aparato de codificación de imagen basándose en la norma de H.264/AVC convencional. [Fig. 3] La Figura 3 es un diagrama que muestra un ejemplo de una configuración detallada de una unidad de restauración, entre componentes de un aparato de decodificación de imagen basándose en la norma de H.264/AVC convencional. [Fig. 4] La Figura 4 es un diagrama de bloques que muestra un ejemplo de una configuración de un aparato de codificación de imagen en la realización 1. [Fig. 5] La Figura 5 es un diagrama de bloques que muestra un ejemplo de una configuración detallada de un aparato de codificación de imagen que realiza codificación híbrida en la realización 1. [Fig. 6A] La Figura 6A es un diagrama de bloques que muestra un ejemplo de una configuración detallada de una unidad de ajuste incluida en el aparato de codificación de imagen en la realización 1. [Fig. 6B] La Figura 6B es un diagrama de bloques que muestra otro ejemplo de la configuración detallada de la unidad de ajuste incluida en el aparato de codificación de imagen en la realización 1. [Fig. 7A] La Figura 7A es un diagrama de flujo que muestra un ejemplo de una operación realizada por la unidad de ajuste incluida en el aparato de codificación de imagen en la realización 1. [Fig. 7B] La Figura 7B es un diagrama de flujo que muestra otro ejemplo de la operación realizada por la unidad de ajuste incluida en el aparato de codificación de imagen en la realización 1. [Fig. 8] La Figura 8 es un diagrama de flujo que muestra la operación realizada por la unidad de ajuste incluida en el aparato de codificación de imagen en la realización 1. [Fig. 9] La Figura 9 es un diagrama de bloques que muestra un ejemplo de una configuración de un aparato de decodificación de imagen en la realización 2. [Fig. 10] La Figura 10 es un diagrama de bloques que muestra un ejemplo de una configuración detallada del aparato de decodificación de imagen en la realización 2. [Fig. 11A] La Figura 11A es un diagrama de bloques que muestra un ejemplo de una configuración detallada de una unidad de restauración incluida en el aparato de decodificación de imagen en la realización 2. [Fig. 11B] La Figura 11B es un diagrama de bloques que muestra otro ejemplo de la configuración detallada de la unidad de restauración incluida en el aparato de decodificación de imagen en la realización 2. [Fig. 12A] La Figura 12A es un diagrama de flujo que muestra un ejemplo de una operación realizada por la unidad de restauración incluida en el aparato de decodificación de imagen en la realización 2. [Fig. 12B] La Figura 12B es un diagrama de flujo que muestra otro ejemplo de la operación realizada por la unidad de restauración incluida en el aparato de decodificación de imagen en la realización 2. [Fig. 13] La Figura 13 es un diagrama de flujo que muestra la operación realizada por la unidad de restauración incluida en el aparato de decodificación de imagen en la realización 2. [Fig. 14] La Figura 14 es un diagrama de bloques que muestra un ejemplo de una configuración detallada de una unidad de ajuste incluida en un aparato de codificación de imagen en la realización 3. [Fig. 15] La Figura 15 es un diagrama de bloques que muestra un ejemplo de una configuración detallada de una unidad de restauración incluida en un aparato de decodificación de imagen en la realización 3. [Fig. 16] La Figura 16 es un diagrama de flujo que muestra un ejemplo de una operación realizada por la unidad de ajuste incluida en el aparato de codificación de imagen en la realización 3. [Fig. 17]
7
5
10
15
20
25
30
35
40
45
50
55
unidad 120 de decodificación, la unidad 130 de salida, la unidad 140 de ajuste, una memoria 150 de fotograma, una memoria 160 de instantánea de referencia, y una unidad 170 de control. Debería observarse que los componentes idénticos a aquellos mostrados en la Figura 4 se asignan los mismos signos de referencia según se usan en la Figura 4.
Además, como se muestra en la Figura 5, la unidad 110 de codificación incluye una unidad 111 de resta, una unidad 112 de transformada de frecuencia, una unidad 113 de cuantificación, una unidad 114 de determinación de modo de intra predicción, una unidad 115 de estimación de movimiento, una unidad 116 de intra predicción, una unidad 117 de compensación de movimiento, y los conmutadores 118 y 119. La unidad 120 de decodificación incluye una unidad 121 de cuantificación inversa, una unidad 122 de transformada de frecuencia inversa, y una unidad 123 de adición. La unidad 113 de salida incluye una unidad 131 de codificación de longitud variable.
Una configuración detallada de la unidad 140 de ajuste se describe más adelante con referencia a la Figura 6A y la Figura 6B.
Lo siguiente describe los procedimientos realizados por las unidades de procesamiento, en relación con una operación realizada por el aparato 100 de codificación de imagen para codificar datos de vídeo de entrada que incluyen una pluralidad de fotogramas.
Cada una de las instantáneas incluidas en los datos de vídeo de entrada se almacena en la memoria 150 de fotograma. Cada una de las instantáneas se divide en una pluralidad de bloques y se emite por bloque (por ejemplo, por macrobloque que tiene 16 bloques de manera horizontal y 16 píxeles de manera vertical) desde la memoria 150 de fotograma. Debería observarse que los datos de vídeo de entrada pueden ser progresivos o entrelazados.
Cada uno de los macrobloques se codifica de acuerdo con el modo de intra predicción o el modo de inter predicción. En primer lugar, se describe el caso donde un macrobloque actual se codifica de acuerdo con el modo de intra predicción.
En el modo de intra predicción (es decir, predicción de intra fotograma), se introduce el macrobloque emitido desde la memoria 150 de fotograma en la unidad 114 de determinación de modo de intra predicción (en este momento, el conmutador 118 se conecta a un terminal "a" por la unidad 170 de control). La unidad 114 de determinación de modo de intra predicción determina cómo realizar intra predicción en el macrobloque de entrada.
Para ser más específicos, la unidad 114 de determinación de modo de intra predicción necesita determinar, como el modo de intra predicción (IPM), un tamaño de bloque de intra-predicción (uno de los siguientes: 4 píxeles de manera horizontal por 4 píxeles de manera vertical; 8 píxeles de manera horizontal por 8 píxeles de manera vertical; y 16 píxeles de manera horizontal por 16 píxeles de manera vertical) y una dirección de intra predicción. Por ejemplo, la unidad 114 de determinación de modo de intra predicción determina el tamaño de bloque de intra-predicción y la dirección de intra predicción que permite que la cantidad de datos codificados generados codificando el bloque actual sea menor que un umbral predeterminado. Más preferentemente, la unidad 114 de determinación de modo de intra predicción determina el tamaño de bloque de intra-predicción y la dirección de intra predicción que permite que la cantidad de datos codificados generados sean el mínimo.
Por ejemplo, el bloque 10 actual (4 píxeles de manera horizontal por 4 píxeles de manera vertical) mostrado en la Figura 1A puede predecirse usando los píxeles 20 de referencia de acuerdo con una de las ocho direcciones de intra predicción predefinidas. En este punto, los píxeles 20 de referencia (rectángulos sombreados diagonalmente en la Figura 1A) usados en intra predicción se han codificado y decodificado previamente, y se almacenan en la memoria 160 de instantánea de referencia. La información que indica el modo de intra predicción IPM determinado se emite a la unidad 116 de intra predicción y a la unidad 140 de ajuste.
La unidad 116 de intra predicción obtiene un píxel de referencia (un píxel de intra referencia) a usarse en intra predicción desde la memoria 160 de instantánea de referencia, basándose en el modo de intra predicción IPM determinado por la unidad 114 de determinación de modo de intra predicción. A continuación, la unidad 116 de intra predicción genera una imagen IP como resultado de la intra predicción realizada usando el valor del píxel de referencia, y emite la imagen de intra predicción IP generada a la unidad 111 de resta (en este momento, el conmutador 119 está conectado a un terminal "a" por la unidad 170 de control).
La unidad 111 de resta recibe: el macrobloque (el macrobloque actual) de la instantánea incluido en los datos de vídeo de entrada desde la memoria 150 de fotograma; y la imagen de intra predicción IP generada por la unidad 116 de intra predicción. A continuación, la unidad 111 de resta genera una imagen de diferencia calculando una diferencia (puede denominarse también como una predicción residual) entre el macrobloque actual y la imagen de intra predicción IP, y emite la imagen de diferencia generada a la unidad 112 de transformada de frecuencia.
La unidad 112 de transformada de frecuencia genera un coeficiente de transformada de frecuencia realizando transformada de frecuencia, tal como la transformada de coseno discreta, en la imagen de diferencia generada por la unidad 111 de resta. A continuación, la unidad 112 de transformada de frecuencia emite el coeficiente de transformada de frecuencia generado.
10 5
10
15
20
25
30
35
40
45
50
55
La unidad 113 de cuantificación cuantifica el coeficiente de transformada de frecuencia generado por la unidad 112 de transformada de frecuencia, y emite un coeficiente de transformada de frecuencia cuantificado QT. En este punto, la cuantificación es un procedimiento de división del coeficiente de transformada de frecuencia por un valor predeterminado (una etapa de cuantificación). Obsérvese que esta etapa de cuantificación se proporciona por la unidad 170 de control (la etapa de cuantificación puede estar incluida en una señal de control CTL recibida por la unidad 170 de control). El coeficiente de transformada de frecuencia cuantificado QT se emite a la unidad 131 de codificación de longitud variable y a la unidad 121 de cuantificación inversa.
La unidad 121 de cuantificación inversa realiza cuantificación inversa en el coeficiente de transformada de frecuencia cuantificado QT, y emite el coeficiente de transformada de frecuencia cuantificado a la inversa a la unidad 122 de transformada de frecuencia inversa. En este momento, una etapa de cuantificación que es la misma que la etapa de cuantificación usada en la cuantificación por la unidad 113 de cuantificación se introduce a la unidad 121 de cuantificación inversa por la unidad 170 de control.
La unidad 122 de transformada de frecuencia inversa realiza transformada de frecuencia inversa en el coeficiente de transformada de frecuencia cuantificado a la inversa para generar una imagen de diferencia decodificada LDD. La unidad 122 de transformada de frecuencia inversa emite la imagen de diferencia decodificada generada LDD a la unidad 123 de adición.
La unidad 123 de adición genera una imagen decodificada LD añadiendo la imagen de diferencia decodificada LDD a la imagen de intra predicción IP (o una imagen de inter predicción MP, descrita más adelante, en el caso del modo de inter predicción). La unidad 123 de adición almacena la imagen decodificada generada LD en la memoria 160 de instantánea de referencia. En este punto, la imagen decodificada LD almacenada en la memoria 160 de instantánea de referencia se usa como una imagen de referencia en un procedimiento de codificación posterior.
La unidad 131 de codificación de longitud variable realiza codificación de longitud variable en la transformada de frecuencia cuantificada QT recibida desde la unidad 113 de cuantificación. Además, la unidad 131 de codificación de longitud variable procesa de manera similar la información que indica el modo de intra predicción IPM recibido desde la unidad 114 de determinación de modo de intra predicción mediante la unidad 140 de ajuste, y emite la secuencia de bits para que esté también referenciada como una secuencia codificada. Como se ha mencionado anteriormente, la configuración detallada de la unidad 140 de ajuste se describe más adelante con referencia a la Figura 6A y la Figura 6B.
Los procedimientos de codificación de longitud variable a usarse por la unidad 131 de codificación de longitud variable incluyen un procedimiento de codificación aritmética adaptativo al contexto adoptado por la norma internacional H.264 para codificar vídeo. El procedimiento de codificación aritmética adaptativo al contexto conmuta entre tablas de probabilidad usadas en codificación aritmética, de acuerdo con los datos actuales para codificarse por longitud variable y los datos que se han codificado previamente por longitud variable (adaptativos al contexto). En este caso, la unidad 131 de codificación de longitud variable incluye una memoria para mantener las tablas de probabilidad.
Debería observarse que la unidad 131 de codificación de longitud variable puede realizar codificación de longitud variable en el coeficiente de transformada de frecuencia cuantificado QT usando el procedimiento de codificación de longitud variable adaptativo al contexto.
A continuación, se describe el caso donde el macrobloque actual se codifica en el modo de inter predicción.
En el modo de inter predicción (es decir, predicción de inter fotograma), el macrobloque emitido desde la memoria 150 de fotograma se introduce en la unidad 115 de estimación de movimiento (en este momento, el conmutador 118 está conectado a un terminal "b" por la unidad 170 de control). La unidad 115 de estimación de movimiento estima información de movimiento (información de localización (vector de movimiento)) con respecto a una instantánea de referencia (una instantánea reconstruida que se mantiene en la memoria 160 de instantánea de referencia y es diferente de la instantánea a codificarse) del macrobloque de entrada.
En la estimación de movimiento, se estima típicamente la siguiente información de localización (vector de movimiento) como la información de movimiento: la información de localización (vector de movimiento) que incluye un valor de diferencia mínima entre un bloque a codificarse y una imagen prevista y una suma mínima de pesos de las cantidades de datos codificados como la información de localización (vectores de movimiento). La información de localización estimada (vector de movimiento) se emite como la información de movimiento con respecto al bloque actual, a la unidad 117 de compensación de movimiento y a la unidad 140 de ajuste.
Basándose en la información de movimiento (la información de localización (vector de movimiento)) estimada por la unidad 115 de estimación de movimiento, la unidad 117 de compensación de movimiento obtiene, desde la memoria 160 de instantánea de referencia, un píxel de referencia (un píxel de inter referencia) usado en inter predicción. A continuación, la unidad 117 de compensación de movimiento genera una imagen de inter predicción MP y emite la imagen de inter predicción MP generada a la unidad 111 de resta (en este momento, el conmutador 119 está conectado a un terminal "b" por la unidad 170 de control).
11 5
10
15
20
25
30
35
40
45
50
55
Los procedimientos realizados por la unidad 111 de resta, la unidad 112 de transformada de frecuencia, la unidad 113 de cuantificación, la unidad 121 de cuantificación inversa, la unidad 122 de transformada de frecuencia inversa, y la unidad 123 de adición son los mismos que aquellos procedimientos explicados anteriormente en el caso de intra predicción. Por lo tanto, se omiten explicaciones acerca de estos procedimientos en este punto.
La unidad 131 de codificación de longitud variable realiza codificación de longitud variable en el coeficiente de transformada de frecuencia cuantificado QT recibido desde la unidad 113 de cuantificación. Además, la unidad 131 de codificación de longitud variable también realiza codificación de longitud variable en información de modo que se emite desde la unidad 140 de ajuste e incluye: información que indica un modo de codificación MD; e información que indica el modo de intra predicción IPM o la información de movimiento (información de localización (vector de movimiento)) MV. A continuación, la unidad 131 de codificación de longitud variable emite la secuencia de bits. Como se ha mencionado anteriormente, la configuración detallada de la unidad 140 de ajuste se describe más adelante con referencia a la Figura 6A y la Figura 6B.
En este punto, cuando se codifica la información de movimiento (información de localización (vector de movimiento)) MV de acuerdo con el procedimiento de codificación aritmética adaptativa al contexto, la unidad 131 de codificación de longitud variable incluye una memoria para mantener tablas de probabilidad.
La información de modo incluye un conjunto completo de información requerida por un aparato de decodificación para el lado de decodificación (tal como un aparato 300 de decodificación de imagen (véase la Figura 9) descrita más adelante) para reproducir la predicción realizada por el lado de codificación (tal como el aparato 100 de codificación de imagen) cuando se codifican los datos de vídeo. Por lo tanto, la información de modo define el modo de codificación para cada macrobloque, es decir, define para cada macrobloque si se ha aplicado intra predicción o inter predicción. Además, la información de modo incluye información con respecto a cómo se subdivide el macrobloque. De acuerdo con la norma H.264/AVC, el macrobloque que tiene el tamaño de 16 por 16 píxeles puede subdividirse en sub-bloques teniendo cada uno el tamaño de 8 por 8 píxeles o 4 por 4 píxeles en el caso de intra predicción.
Habiendo una dependencia en el modo de codificación, la información de modo incluye adicionalmente un conjunto de información de localización (información de localización (vector de movimiento)) usada en compensación de movimiento o información que especifica el modo de intra predicción aplicado para realizar intra predicción en el bloque actual.
Debería observarse que la unidad 170 de control selecciona el modo de codificación (el modo de intra predicción o el modo de inter predicción).
Por ejemplo, la unidad 170 de control selecciona el modo de codificación comparando una imagen de bloque actual IMG con la imagen de inter predicción IP generada basándose en el modo de intra predicción IPM y la imagen decodificada LD o la imagen de inter predicción MP generada basándose en la información de localización (vector de movimiento) MV y la imagen decodificada LD. En general, la unidad 170 de control selecciona el modo de codificación donde una suma ponderada del número de bits generados y la distorsión de codificación se encuentran al mínimo.
Por ejemplo, la unidad 170 de control puede usar una función de coste para determinar un modo de predicción óptimo para codificar el bloque actual, basándose la función de coste en la tasa de bits y la distorsión de codificación de acuerdo con la norma H.264. La imagen de diferencia se transforma ortogonalmente, cuantifica, y codifica por longitud variable para cada modo de predicción. A continuación, se calcula la tasa de bits y la distorsión de codificación para cada modo de predicción. Debería observarse que se usa una función de coste de Lagrange J presentada por la Expresión 4, por ejemplo, como la función de coste.
En la expresión 4, "R" representa la tasa de bits usada para codificar la imagen de diferencia (puede denominarse también como la predicción residual) y la información de modo de predicción. Además, "D" representa la distorsión de codificación, y "X" representa un multiplicador de Lagrange calculado de acuerdo con un parámetro cuantificado QP seleccionado para codificación. La unidad 170 de control selecciona el modo de predicción donde la función de coste J es la más baja, como el modo de predicción usado al predecir el bloque actual.
Debería observarse que la unidad 170 de control incluye una memoria que almacena de manera temporal la función de coste J para seleccionar el modo de predicción óptimo.
Cada una de la Figura 6A y la Figura 6B es un diagrama que muestra un ejemplo de una configuración detallada de la unidad 140 de ajuste en la realización 1. Como se muestra en los diagramas, la unidad 140 de ajuste incluye la primera unidad 141 de estimación de modo de predicción, la segunda unidad 142 de estimación de modo de predicción, y la unidad 143 de generación de información de modo. Obsérvese que los componentes idénticos a aquellos mostrados en la Figura 4 se asignan los mismos signos de referencia como se usan en la Figura 4.
La primera unidad 141 de estimación de modo de predicción mostrada en la Figura 6A incluye una memoria 211 de
12 5
10
15
20
25
30
35
40
45
50
55
almacenamiento de modo de predicción y una primera unidad 212 de derivación de estimación de modo de predicción.
Debería observarse que la unidad 140 de ajuste recibe información de modo de codificación SMD que indica el modo de codificación (el modo de intra predicción o el modo de inter predicción) seleccionado por la unidad 170 de control. Por ejemplo, cuando la codificación de predicción de intra-instantánea se selecciona como el modo de codificación, la información de modo de codificación SMD representa información que indica el modo de intra predicción IPM (tal como el tamaño de bloque de intra-predicción y la dirección de intra-predicción). Por otra parte, cuando se selecciona codificación de predicción de inter-instantánea como el modo de codificación, la información de modo de codificación SMD representa información de localización (vector de movimiento) MV.
La memoria 211 de almacenamiento de modo de predicción almacena la información de modo de codificación SMD recibida. La primera unidad 212 de derivación de estimación de modo de predicción deriva, desde la información de modo de codificación previamente codificada en la unidad 211 de almacenamiento de modo de predicción, un primer modo de predicción estimado MPM que es un resultado de estimar el modo de predicción usando un medio predeterminado. A continuación, la primera unidad 212 de derivación de estimación de modo de predicción emite el primer modo de predicción estimado MPM a la unidad 143 de generación de información de modo.
En este punto, como un procedimiento de derivar el primer modo de predicción estimado MPM, el modo de predicción del bloque previamente codificado localizado por encima y adyacente al bloque actual a codificarse puede compararse con el modo de predicción del bloque previamente codificado localizado a la izquierda de y adyacente al bloque actual, y a continuación el modo de predicción asignado al número de índice menor puede usarse como el primer modo de predicción estimado MPM, como se representa por la expresión 1 anterior. Además, los modos de predicción de los bloques que están localizados en la parte superior izquierda y parte superior derecha y adyacentes al bloque actual pueden referenciarse adicionalmente. A continuación, el modo de predicción que tiene lugar con la frecuencia más alta puede derivarse como el primer modo de predicción estimado MPM. El procedimiento de derivación del primer modo de predicción estimado MPM no está limitado a los ejemplos anteriores, y puede ser un procedimiento diferente siempre que el procedimiento diferente derive el modo de predicción que se estima que tiene lugar con la frecuencia más alta.
Debería observarse que cuando el número de modos de predicción de dirección es diferente de acuerdo con el tamaño de bloque, el modo de predicción de dirección que está más cerca al modo de predicción estimado seleccionado por el procedimiento anterior puede derivarse como el primer modo de predicción estimado MPM de los posibles modos de predicción de dirección a seleccionarse para el bloque actual.
La segunda unidad 142 de estimación de modo de predicción obtiene una señal de control desde la unidad 143 de generación de información de modo y emite, a la unidad 143 de generación de información de modo, un segundo modo de predicción estimado SPM que es un valor estimado del segundo modo de predicción establecido de acuerdo con un procedimiento predeterminado.
En este punto, permitiendo el segundo modo de predicción estimado SPM que indique predicción de CC/borde, puede codificarse y decodificarse eficazmente una pieza de información de modo que indica la pluralidad de modos de predicción.
La unidad 143 de generación de información de modo genera la información de modo basándose en el primer modo de predicción estimado MPM, el segundo modo de predicción estimado SPM, y el modo de predicción seleccionado SMD seleccionados por la unidad 110 de codificación. A continuación, la unidad 143 de generación de información de modo emite la información de modo como una señal relacionada con el modo de codificación de predicción SSMD a la unidad 131 de codificación de longitud variable. La unidad 131 de codificación de longitud variable realiza codificación de longitud variable en la señal relacionada con el modo de codificación de predicción SSMD, y a continuación emite la señal como una secuencia de bits.
La Figura 7A es un diagrama de flujo que muestra un ejemplo de una operación para fines de ilustración únicamente realizada por la primera unidad 141 de estimación de modo de predicción, la segunda unidad 142 de estimación de modo de predicción, y la unidad de ajuste 143 que se muestran en la Figura 6A. La generación de la información de modo por la unidad 143 de generación de información de modo se describe en más detalle con referencia a la Figura 7A.
En primer lugar, la unidad 143 de generación de información de modo obtiene el primer modo de predicción estimado MPM derivado por la primera unidad 141 de estimación de modo de predicción (etapa S701). Cuando el modo de predicción seleccionado SMD concuerda con el primer modo de predicción estimado MPM (SÍ en la etapa S702), se establece una primera bandera de especificación de modo de predicción estimado en "1 (que indica la concordancia)" (etapa S703). A continuación, la unidad 131 de codificación de longitud variable codifica la primera bandera de especificación de modo de predicción estimado como la señal relacionada con el modo de codificación de predicción SSMD (etapa S704).
Por otra parte, cuando el modo de predicción seleccionado SMD no concuerda con el primer modo de predicción estimado MPM (NO en la etapa S702), la primera bandera de especificación de modo de predicción estimado se
13
índice del modo de predicción seleccionado SMD se ha de codificar, un valor obtenido restando al menos 1 puede codificarse y, por lo tanto, la cantidad de datos codificados puede reducirse adicionalmente. Un ejemplo indicado en notación similar a la de la Expresión 5 se presenta como la Expresión 6 a continuación. [Cálculo 4]
Además, las funciones pueden cambiarse entre la primera unidad 141 de estimación de modo de predicción y la segunda unidad 142 de estimación de modo de predicción a diferencia de la configuración mostrada en la Figura 6A. La configuración cambiada se muestra en la Figura 6B.
La segunda unidad 142 de estimación de modo de predicción mostrada en la Figura 6B incluye la memoria 211 de
10 almacenamiento de modo de predicción y una segunda unidad 213 de derivación de estimación de modo de predicción.
A menos que se indique de otra manera, los componentes operan de la misma manera que en la Figura 6A.
La primera unidad 141 de estimación de modo de predicción emite, a la unidad 143 de generación de información de modo, el primer modo de predicción estimado MPM que es un valor estimado del primer modo de predicción
15 establecido de acuerdo con un procedimiento predeterminado.
En este punto, permitiendo que el primer modo de predicción estimado MPM indique la predicción de CC/borde, una pieza de información de modo que indica la pluralidad de modos de predicción puede codificarse y decodificarse eficazmente.
La segunda unidad 142 de derivación de estimación de modo de predicción recibe una señal de control desde la
20 unidad 143 de generación de información de modo, y deriva, desde la información de modo de codificación previamente codificada en la unidad 211 de almacenamiento de modo de predicción, un segundo modo de predicción estimado SPM que es un resultado de estimar el modo de predicción usando un medio predeterminado. A continuación, la segunda unidad 142 de derivación de estimación de modo de predicción emite el segundo modo de predicción estimado SPM a la unidad 143 de generación de información de modo.
25 En este punto, el procedimiento de derivación del segundo modo de predicción estimado SPM es el mismo que el procedimiento de derivación del primer modo de predicción estimado MPM como en la Figura 6A. Sin embargo, puede obtenerse el primer modo de predicción estimado MPM, y puede derivarse el segundo modo de predicción
16 5
10
15
20
25
30
35
40
45
50
55
estimado SPM diferente del primer modo de predicción estimado MPM. Por ejemplo, después de excluir el primer modo de predicción estimado MPM de los candidatos de modo, el segundo modo de predicción estimado SPM puede determinarse de acuerdo con un procedimiento predeterminado. Con esto, los candidatos pueden ser diferentes entre el primer y segundo modos de predicción estimados, y esto puede reducir la cantidad de datos codificados.
La unidad 143 de generación de información de modo genera la información de modo basándose en el primer modo de predicción estimado MPM, el segundo modo de predicción estimado SPM, y el modo de predicción seleccionado SMD seleccionados por la unidad 110 de codificación. A continuación, la unidad 143 de generación de información de modo emite la información de modo como una señal relacionada con el modo de codificación de predicción SSMD a la unidad 131 de codificación de longitud variable. La unidad 131 de codificación de longitud variable realiza codificación de longitud variable en la señal relacionada con el modo de codificación de predicción SSMD, y a continuación emite la señal como una secuencia de bits.
La Figura 7B es un diagrama de flujo que muestra un ejemplo de una operación para fines de ilustración únicamente, realizada por la primera unidad 141 de estimación de modo de predicción, la segunda unidad 142 de estimación de modo de predicción, y la unidad de ajuste 143 que se muestran en la Figura 6B.
En primer lugar, la primera unidad 141 de estimación de modo de predicción establece el modo de predicción de CC/borde como el primer modo de predicción estimado MPM, y la unidad 143 de generación de información de modo obtiene el primer modo de predicción estimado MPM establecido (etapa S801). Cuando el modo de predicciónseleccionado SMD concuerda con el primer modo de predicción estimado MPM (SÍ en la etapa S802), se establece una primera bandera de especificación de modo de predicción estimado en "1 (que indica la concordancia)" (etapa S803). A continuación, la unidad 131 de codificación de longitud variable codifica la primera bandera de especificación de modo de predicción estimado como la señal relacionada con el modo de codificación de predicción SSMD (etapa S804).
Por otra parte, cuando el modo de predicción seleccionado SMD no concuerda con el primer modo de predicción estimado MPM (NO en la etapa S802), la primera bandera de especificación de modo de predicción estimado se establece en "0 (que indica la no concordancia)" (etapa S805). A continuación, la unidad 131 de codificación de longitud variable codifica la primera bandera de especificación de modo de predicción estimado como la señal relacionada con el modo de codificación de predicción SSMD (etapa S806).
A continuación, la unidad 143 de generación de información de modo emite una señal de control a la segunda unidad 142 de estimación de modo de predicción. Como resultado, la segunda unidad 142 de estimación de modo de predicción deriva el segundo modo de predicción estimado SPM de acuerdo con un procedimiento predeterminado y emite el segundo modo de predicción estimado SPM derivado a la unidad 143 de generación de información de modo (etapa S807).
A continuación, el modo de predicción seleccionado SMD concuerda con el segundo modo de predicción estimado SPM (SÍ en la etapa S808), una segunda bandera de especificación de modo de predicción estimado que se establece a "1 (que indica la concordancia)" (etapa S7809). A continuación, la unidad 131 de codificación de longitud variable codifica la segunda bandera de especificación de modo de predicción estimado como la señal relacionada con el modo de codificación de predicción SSMD (etapa S810).
Por otra parte, cuando el modo de predicción seleccionado SMD no concuerda con el segundo modo de predicción estimado SPM (NO en la etapa S808), la segunda bandera de especificación de modo de predicción estimado se establece a "0 (que indica la no concordancia)" (etapa S811). A continuación, la unidad 131 de codificación de longitud variable codifica la segunda bandera de especificación de modo de predicción estimado como la señal relacionada con el modo de codificación de predicción SSMD (etapa S812).
Además, el modo de predicción seleccionado SMD se establece como la información de codificación de modo seleccionado que se añade por lo tanto a información de bandera. A continuación, la unidad 131 de codificación de longitud variable codifica la información de codificación de modo seleccionado como la señal relacionada con el modo de codificación de predicción SSMD (etapa S813).
El presente ejemplo describe el caso en el que, cuando el modo de predicción seleccionado SMD no concuerda con el primer modo de predicción estimado MPM o el segundo modo de predicción estimado SPM, el modo de predicción seleccionado SMD se codifica sin cambio como la información de codificación de modo seleccionado. Sin embargo, debería observarse que la presente realización no está limitada a esto. Por ejemplo, cuando no concuerda ningún número con el modo de predicción estimado y el número de índice del modo de predicción seleccionado SMD es mayor que el número de índice del modo de predicción estimado, como se representa por la Expresión 2, un valor obtenido restando el número de modos de predicción estimados (2 en el máximo en los ejemplos mostrados en la Figura 6B y Figura 7B) puede codificarse como la información de codificación de modo seleccionado. Con esto, la cantidad de datos codificados puede reducirse adicionalmente. Un ejemplo indicado en notación similar a la de las Expresiones 5 y 6 está presente como la Expresión 7 a continuación. [Cálculo 5]
17
5
10
15
20
25
30
35
40
45
50
55
seleccionado concuerda con uno del primer y segundo modos de predicción estimados (S903). Cuando el modo de predicción seleccionado concuerda con uno del primer y segundo modos de predicción estimados (Sí en S903), la unidad 143 de generación de información de modo establece la bandera de concordancia de modo a "1 (que indica la concordancia con uno del primer y segundo modos de predicción estimados)" (S904).
Después de esto, la unidad 143 de generación de información de modo determina si el modo de predicción seleccionado concuerda o no con el primer modo de predicción estimado (S905). Debería ser evidente que si el modo de predicción seleccionado concuerda o no con el segundo modo de predicción estimado puede determinarse en la etapa S905.
Cuando el modo de predicción seleccionado concuerda con el primer modo de predicción estimado (Sí en S905), la unidad 143 de generación de información de modo establece la bandera de especificación de modo de predicción a "0 (que indica la concordancia con los primeros modos de predicción estimados)" (S906). Por otra parte, cuando el modo de predicción seleccionado no concuerda con el primer modo de predicción estimado (No en S905), la unidad 143 de generación de información de modo establece la bandera de especificación de modo de predicción a "1 (que indica la concordancia con el segundo modo de predicción estimado)" (S907).
A continuación, la unidad 131 de codificación de longitud variable codifica la bandera de concordancia de modo y la bandera de especificación de modo de predicción establecidas en las etapas S904 a S907, como la señal relacionada con el modo de codificación de predicción SSMD (S908).
Por otra parte, cuando el modo de predicción seleccionado no concuerda con ambos del primer y segundo modos de predicción estimados en la etapa S903 (No en S903), la unidad 143 de generación de información de modo establece la bandera de concordancia de modo a "0 (que indica la no concordancia con ambos del primer y segundo modos de predicción estimados)" (S909). A continuación, la unidad 131 de codificación de longitud variable codifica la bandera de concordancia de modo establecido en la etapa S909 y la información que especifica el modo de predicción seleccionado, como la señal relacionada con el modo de codificación de predicción SSMD (S910).
En este punto, la información que especifica el modo de predicción seleccionado corresponde a la información de codificación de modo seleccionado que puede determinarse de acuerdo con la Expresión 5, por ejemplo. Sin embargo, la información no está limitada a esto siempre que el aparato del lado de decodificación pueda especificar el modo de predicción seleccionado basándose en la información.
En la comparación, el diagrama de flujo mostrado en la Figura 8 es diferente de los diagramas de flujo mostrados en la Figura 7A y la Figura 7B en los significados indicados por las banderas y en la secuencia de procedimientos tales como los procedimientos de comparación. Sin embargo, el diagrama de flujo en la Figura 8 y los diagramas de flujo en la Figura 7A y Figura 7B tienen en común que la cantidad de datos codificados se reduce a medida que la información de modo usa los dos modos de predicción estimados.
Para ser más específicos, en cada uno de los procedimientos mostrados en la Figura 7A, la Figura 7B, y la Figura 8, cuando el modo de predicción seleccionado concuerda con uno del primer y segundo modos de predicción estimados, la información de bandera que indica la concordancia con la cuál se genera del uno del primer y segundo modos de predicción estimados como la información de modo. Por otra parte, cuando el modo de predicción seleccionado no concuerda con ambos del primer y segundo modos de predicción estimados, la información de bandera que indica la no concordancia con ambos del primer y segundo modos de predicción estimados y la información que especifica el modo de predicción seleccionado se generan como la información de modo.
Por ejemplo, cuando el número de índice del modo de predicción seleccionado SMD se ha de codificar, la codificación no necesita realizarse en orden numérico del número de índices. Más específicamente, puede asignarse un número menor secuencialmente a un vector de dirección que está más cerca del primer modo de predicción estimado MPM o del segundo modo de predicción estimado SPM y a continuación la codificación puede realizarse en consecuencia. Esto significa que se codifica un número menor y, por lo tanto, la cantidad de datos codificados puede reducirse. Además, cada uno de los números de modo a asignarse a los modos de predicción puede cambiarse dinámicamente de acuerdo con la frecuencia de aparición del modo de predicción. Para ser más específicos, puede asignarse un número de nodo más pequeño a un modo de predicción que tiene lugar con una frecuencia superior.
Además, la presente invención no está limitada a la norma de codificación de vídeo de H.264, y no está limitada a los valores previstos convencionales anteriormente mencionados del modo de intra predicción y la información de localización (vector de movimiento), tal como el modo de intra predicción que usa la dirección de borde (modo de predicción de borde) como se describe en la Bibliografía no de Patente 2. De hecho, el procedimiento de estimación de modo de predicción de acuerdo con la presente invención puede usarse por cualquier aparato de codificación de vídeo de base bloque a bloque.
Adicionalmente, la unidad de detección de borde usada en el procedimiento de estimación de modo de predicción de acuerdo con la presente invención puede compartirse con algunas funciones de un sistema de codificación de vídeo. Por ejemplo, aplicando la presente invención al sistema de codificación de vídeo que tiene el modo de predicción de borde, la unidad de detección de borde puede compartirse. Por lo tanto, pueden usarse de manera eficaz los
20 5
10
15
20
25
30
35
40
45
50
55
recursos.
Además, la presente invención no está limitada a una aplicación de codificación de vídeo, y puede usarse para codificación de imágenes fijas realizada en una base bloque a bloque.
Adicionalmente, como se ha descrito anteriormente, la presente invención puede implementarse no únicamente como el aparato de codificación de imagen y los procedimientos del mismo, sino también como un programa informático que provoca que un ordenador ejecute cada uno de los procedimientos de codificación de imagen en la realización 1. También, la presente invención puede implementarse como un medio de grabación, tal como un CD-ROM legible por ordenador, que tiene el programa informático grabado en el mismo. Además, la presente invención puede implementarse como información, datos, o una señal que indica el programa informático. El programa informático, la información, los datos y la señal pueden distribuirse mediante una red de comunicación tal como internet.
Por ejemplo, la realización 1 describe el caso, como un ejemplo, donde se asigna la predicción de CC y la predicción de borde al mismo número de índice de predicción. Sin embargo, la presente invención no está limitada a esto. Suponiendo que el mismo número de índice de predicción se asigna a: el modo de predicción de borde; y un modo de predicción que genera un píxel previsto de acuerdo con un procedimiento que no está basado en la predicción de dirección, tal como un procedimiento de generación de píxeles previstos uno a uno. Incluso en este caso, el modo de predicción puede codificarse y decodificarse de manera eficaz realizando el mismo procedimiento como se ha descrito anteriormente.
[Realización 2]
A continuación, se describe una configuración de un aparato 300 de decodificación de imagen en la realización 2.
La Figura 9 es un diagrama de bloques que muestra un ejemplo de la configuración del aparato 300 de decodificación de imagen en la realización 2.
El aparato 300 de decodificación de imagen decodifica datos de imagen codificados generados codificando datos de imagen para cada bloque de acuerdo con predicción basándose en un modo de predicción. Como se muestra en la Figura 9, el aparato 300 de decodificación de imagen incluye una unidad 310 de decodificación y una unidad 320 de restauración.
La unidad 310 de decodificación genera un bloque decodificado decodificando un bloque actual que es uno de una pluralidad de bloques incluidos en datos de imagen codificados, de acuerdo con la predicción basándose en un modo de predicción seleccionado restaurado por la unidad 320 de restauración. El bloque decodificado generado se emite como datos de imagen o datos de vídeo. Debería observarse que, como es el caso con el aparato del lado de codificación, los candidatos de modo de predicción hacen referencia a todos los posibles modos de predicción cada uno de los cuales puede seleccionarse cuando se hace predicción. Por ejemplo, los candidatos de modo de predicción incluyen ocho modos de predicción de dirección, el modo de predicción de CC, y el modo de predicción de borde. Como alternativa, como se ha descrito anteriormente, los candidatos de modo de predicción pueden incluir 33 modos de predicción de dirección como máximo, el modo de predicción de CC y el modo planar.
La unidad 320 de restauración restaura el modo de predicción seleccionado de entre los candidatos de modo de predicción, basándose en información de modo usada para restaurar el modo de predicción seleccionado cuando se realiza codificación. En este punto, la información de modo hace referencia a información que indica un resultado de la selección de modo de predicción hecha cuando se realiza la codificación. Como se muestra en la Figura 9, la unidad 320 de restauración incluye una primera unidad 321 de estimación de modo de predicción, una segunda unidad 322 de estimación de modo de predicción, y una unidad 323 de determinación de señal.
La primera unidad 321 de estimación de modo de predicción y la segunda unidad 322 de estimación de modo de predicción son ejemplos de una unidad de restauración de modo de predicción de acuerdo con la presente invención. La primera unidad 321 de estimación de modo de predicción y la segunda unidad 322 de estimación de modo de predicción pueden establecer uno del modo de predicción de CC y el modo de predicción de borde como un modo de predicción estimado y restaurar una secuencia de bits en la que la cantidad de datos codificados se reduce como el modo de predicción de CC/borde.
Con la configuración descrita hasta ahora, el aparato 300 de decodificación de imagen en la realización 2 decodifica la secuencia de bits en la que se reduce la cantidad de datos codificados como el modo de predicción, estimando la pluralidad de modos de predicción. Para ser más específicos, estimando al menos dos modos de predicción, el aparato 300 de decodificación de imagen en la realización 2 restaura el modo de predicción.
Lo siguiente describe configuraciones detalladas y operaciones de unidades de procesamiento incluidas en el aparato 300 de decodificación de imagen en la realización 2.
La Figura 10 es un diagrama de bloques que muestra un ejemplo de una configuración detallada del aparato 300 de decodificación de imagen en la realización 2. Como se muestra en la Figura 10, el aparato 300 de decodificación de
21 5
10
15
20
25
30
35
40
45
50
55
imagen incluye la unidad 310 de decodificación, la unidad 320 de restauración, una unidad 330 de decodificación de longitud variable, y una unidad 340 de control.
Además, como se muestra en la Figura 10, la unidad 310 de decodificación incluye una unidad 311 de cuantificación inversa, una unidad 312 de transformada de frecuencia inversa, una unidad 313 de adición, una memoria 314 de fotograma, un conmutador 315, una unidad 316 de intra predicción, una unidad 317 de compensación de movimiento, y un conmutador 318. Una configuración detallada de la unidad 320 de restauración se describe más adelante con referencia a la Figura 11A y a la Figura 11B.
Lo siguiente describe los procedimientos realizados por las unidades de procesamiento, en relación con una operación realizada por el aparato 300 de decodificación de imagen para decodificar una secuencia de bits (datos de vídeo codificados). El aparato 300 de decodificación de imagen decodifica los datos de vídeo codificados que incluyen una predicción residual, para cada bloque como un bloque codificado por predicción intra-fotograma o bloque codificado por predicción inter-fotograma, y a continuación emite los datos decodificados como los datos de vídeo o los datos de imagen.
La unidad 330 de decodificación de longitud variable realiza decodificación de longitud variable en la secuencia de bits usando un medio predeterminado, y emite un coeficiente de transformada de frecuencia cuantificado QT e información relacionada con el modo de codificación de predicción SSMD. La unidad 320 de restauración recibe la información relacionada con el modo de codificación de predicción SSMD y una señal de imagen previamente decodificada LD, y emite información que indica: un modo de codificación MD; y un modo de intra predicción IPM o información de localización (vector de movimiento) MV. Como se ha mencionado anteriormente, la configuración detallada de la unidad 320 de restauración se describe más adelante con referencia a la Figura 11A y la Figura 11B.
El modo de codificación MD se introduce en la unidad 340 de control. La información que indica el modo de intra predicción IPM o la información de localización (vector de movimiento) MV se introduce en el conmutador 315. El coeficiente de transformada de frecuencia cuantificado QT se introduce en la unidad 311 de cuantificación inversa.
La unidad 340 de control controla los conmutadores 315 y 318 basándose en el modo de codificación MD. Cuando el modo de codificación MD indica codificación de intra predicción, el conmutador 315 está conectado a un terminal "a" y la información que indica el modo de intra predicción IPM se introduce en la unidad 316 de intra predicción. Cuando el modo de codificación MD indica codificación de inter predicción, el conmutador 315 está conectado a un terminal "b", y la información de localización (vector de movimiento) MV se introduce en la unidad 317 de compensación de movimiento.
Cuando el bloque actual es un bloque codificado por intra-predicción, cada uno de los conmutadores 315 y 318 está conectado al correspondiente terminal "a". A continuación, la información que indica el modo de intra predicción IPM se introduce en la unidad 316 de intra predicción, y el coeficiente de transformada de frecuencia cuantificado QT se introduce en la unidad 311 de cuantificación inversa. Obsérvese que el coeficiente de transformada de frecuencia cuantificado QT corresponde a la predicción residual codificada por un aparato de codificación (tal como el aparato 100 de codificación de imagen).
La unidad 316 de intra predicción obtiene un píxel de referencia de intra-predicción desde la memoria 314 de fotograma basándose en el modo de intra predicción recibido. A continuación, la unidad 316 de intra predicción genera una imagen de intra predicción (un bloque previsto), y emite la imagen de intra predicción a la unidad 313 de adición.
La unidad 311 de cuantificación inversa realiza cuantificación inversa en el coeficiente de transformada de frecuencia cuantificado QT, y emite el coeficiente de transformada de frecuencia cuantificado a la inversa a la unidad 312 de transformada de frecuencia inversa. A continuación, realizando transformada de frecuencia inversa en el coeficiente de transformada de frecuencia cuantificado a la inversa, la unidad 312 de transformada de frecuencia inversa genera una imagen de diferencia decodificada LDD. La unidad 312 de transformada de frecuencia inversa emite la imagen de diferencia decodificada generada LDD a la unidad 313 de adición.
La unidad 313 de adición añade la imagen de diferencia decodificada LDD a la imagen de intra predicción IP para generar una imagen decodificada LD. La imagen decodificada generada LD se almacena en la memoria 314 de fotograma. En este punto, la imagen decodificada LD almacenada en la memoria 314 de fotograma se usa como una instantánea de referencia en un procedimiento de decodificación posterior. Además, la imagen decodificada LD se emite de tal manera que la imagen decodificada LD forma los datos de vídeo decodificados.
Cuando el bloque actual es un bloque de inter predicción, cada uno de los conmutadores 315 y 318 está conectado al correspondiente terminal "b". A continuación, la información que indica la información de localización (vector de movimiento) MV se introduce en la unidad 317 de compensación de movimiento, y el coeficiente de transformada de frecuencia cuantificado QT se introduce en la unidad 311 de cuantificación inversa.
La unidad 317 de compensación de movimiento obtiene un píxel de referencia desde la memoria 314 de fotograma basándose en la información de localización recibida (vector de movimiento) MV. A continuación, la unidad 317 de compensación de movimiento genera una instantánea prevista, y emite la instantánea prevista a la unidad 313 de
22
5
10
15
20
25
30
35
40
Una operación realizada por la unidad 323 de determinación de señal para decodificar la información de modo de codificación realizada se describe en más detalle con referencia a la Figura 12A.
En primer lugar, la unidad 323 de determinación de señal obtiene el primer modo de predicción estimado MPM derivado por la primera unidad 321 de estimación de modo de predicción (etapa S1201). A continuación, la unidad 323 de determinación de señal obtiene la señal relacionada con modo de codificación de predicción SSMD y decodifica una primera bandera de especificación de modo de predicción estimado (etapa S1202). Cuando la primera bandera de especificación de modo de predicción estimado se establece a "1" (SÍ en la etapa S1203), la unidad 323 de determinación de señal establece el modo de predicción seleccionado SMD como el primer modo de predicción estimado MPM (etapa S1204) y emite este primer modo de predicción estimado MPM.
Por otra parte, cuando la primera bandera de especificación de modo de predicción estimado se establece a "0" (NOen la etapa S1203) y el primer modo de predicción estimado MPM indica el modo de predicción de CC/borde (SÍ en la etapa S1205), se decodifica a continuación la información de codificación de modo de predicción seleccionado (etapa S1206). El modo especificado por un número de modo de predicción seleccionado obtenido por la decodificación se establece como el modo de predicción seleccionado SMD (etapa S1207), y se emite el modo de predicción seleccionado SMD.
Cuando el primer modo de predicción estimado MPM no indica el modo de predicción de CC/borde (NO en la etapa S1205), se decodifica una segunda bandera de especificación de modo de predicción estimado (etapa S1208). Cuando la segunda bandera de especificación de modo de predicción estimado se establece a "1" (SÍ en la etapa S1209), el modo de predicción seleccionado SMD se establece como el segundo modo de predicción estimado SPM (etapa S1210) y se emite este segundo modo de predicción estimado SPM. Cuando la segunda bandera de especificación de modo de predicción estimado se establece a "0" (NO en la etapa S1209), se decodifica la información de codificación de modo de predicción seleccionado (etapa S1211). El modo especificado por un número de modo de predicción seleccionado obtenido por la decodificación se establece como el modo de predicción seleccionado SMD (etapa S1212), y se emite el modo de predicción seleccionado SMD.
El presente ejemplo describe el caso en el que, cuando el modo de predicción seleccionado SMD no concuerda con el primer modo de predicción estimado MPM o el segundo modo de predicción estimado SPM, el modo de predicción seleccionado SMD se codifica sin cambio como la información de codificación de modo seleccionado. Sin embargo, debería observarse que la presente realización no está limitada a esto. Por ejemplo, cuando no está presente número de concordancia con el modo de predicción estimado y el número de índice del modo de predicción seleccionado SMD es mayor que el número de índice del modo de predicción estimado, como se representa por la Expresión 3, puede codificarse un valor obtenido restando el número de modos de predicción estimados (2 como máximo en los ejemplos mostrados en la Figura 6A y la Figura 7A). Por lo tanto, cuando se realiza la decodificación, se decodifica un valor obtenido añadiendo el número de modos de predicción estimados (2 como máximo en los ejemplos mostrados en la Figura 11A y Figura 12A) como la información de codificación de modo seleccionado. Con esto, puede decodificarse la secuencia de bits en la que la cantidad de datos codificados se reduce adicionalmente.
Supóngase que: "parse ()" representa que se decodifican datos en "()" de la señal relacionada con el modo de codificación de predicción SSMD; un número de índice del primer modo de predicción estimado MPM se representa por "MPM"; un número de índice del modo de predicción seleccionado SMD se representa por "SMD"; la primera bandera de especificación de modo de predicción estimado se representa por "MPMF"; la segunda bandera de especificación de modo de predicción estimado se representa por "SPMF"; un número de índice de predicción de CC/borde se representa por "DCEDGE"; y la información de codificación de modo seleccionado se representa por "REM". En este caso, el flujo anteriormente mencionado puede representarse por la Expresión 9 por ejemplo. [Cálculo 7]
24
25
Debería observarse que el número de índice del modo de predicción de CC/borde puede ser "0". En este caso, el número de índice del segundo modo de predicción estimado SPM es siempre "0". Por lo tanto, cuando el número de índice del modo de predicción seleccionado SMD se ha de codificar, puede codificarse un valor obtenido restando al menos 1. A continuación, cuando se realiza la decodificación, se decodifica un valor obtenido añadiendo al menos 1.
5 Con esto, puede decodificarse la secuencia de bits en la que la cantidad de datos codificados se reduce adicionalmente. Un ejemplo indicado en notación similar a la de la Expresión 9 se presenta como la Expresión 10 a continuación. [Cálculo 8]
10 Además, las funciones pueden cambiarse entre la primera unidad 321 de estimación de modo de predicción y la segunda unidad 322 de estimación de modo de predicción a diferencia de la configuración mostrada en la Figura 11A. La configuración cambiada se muestra en la Figura 11B. Como se muestra en la Figura 11B, la segunda unidad 322 de estimación de modo de predicción incluye la memoria 411 de almacenamiento de modo de predicción y una segunda unidad 413 de derivación de estimación de modo de predicción.
15 La unidad 320 de restauración recibe la información relacionada con el modo de codificación de predicción SSMD y emite, como la información de modo de codificación SMD, indicando la información: el modo de codificación MD; y el modo de intra predicción IPM o la información de localización (vector de movimiento) MV.
La memoria 411 de almacenamiento de modo de predicción almacena la información de modo de codificación SMD previamente decodificada recibida. La segunda unidad 413 de derivación de estimación de modo de predicción 20 deriva, desde la información de modo de codificación SMD previamente codificada almacenada en la unidad de almacenamiento de modo de predicción 411, un segundo modo de predicción estimado SPM que es un resultado de estimar el modo de predicción usando un medio predeterminado. A continuación, la segunda unidad 413 de derivación de estimación de modo de predicción emite el segundo modo de predicción estimado SPM a la unidad
26
Claims (1)
-
imagen1 imagen2 imagen3 imagen4
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010222996 | 2010-09-30 | ||
| JP2010222996 | 2010-09-30 | ||
| PCT/JP2011/005444 WO2012042860A1 (ja) | 2010-09-30 | 2011-09-28 | 画像復号方法、画像符号化方法、画像復号装置、画像符号化装置、プログラム、及び集積回路 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| ES2683793T3 true ES2683793T3 (es) | 2018-09-27 |
Family
ID=45892349
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| ES11828426.4T Active ES2683793T3 (es) | 2010-09-30 | 2011-09-28 | Procedimiento de decodificación de imagen, procedimiento de codificación de imagen, dispositivo de decodificación de imagen, dispositivo de codificación de imagen, programa y circuito integrado |
Country Status (10)
| Country | Link |
|---|---|
| US (5) | US20130136178A1 (es) |
| EP (2) | EP2624564B1 (es) |
| JP (3) | JP5395274B2 (es) |
| KR (3) | KR101792308B1 (es) |
| CN (2) | CN103053162B (es) |
| CA (1) | CA2806511C (es) |
| ES (1) | ES2683793T3 (es) |
| MX (1) | MX2013001661A (es) |
| PL (1) | PL2624564T3 (es) |
| WO (1) | WO2012042860A1 (es) |
Families Citing this family (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108848379A (zh) | 2010-12-07 | 2018-11-20 | 韩国电子通信研究院 | 视频编解码方法、生成比特流的方法和存储比特流的介质 |
| US9654785B2 (en) | 2011-06-09 | 2017-05-16 | Qualcomm Incorporated | Enhanced intra-prediction mode signaling for video coding using neighboring mode |
| CN103220506B (zh) * | 2012-01-19 | 2015-11-25 | 华为技术有限公司 | 一种编解码方法和设备 |
| WO2014054267A1 (ja) * | 2012-10-01 | 2014-04-10 | パナソニック株式会社 | 画像符号化装置及び画像符号化方法 |
| JP6532542B2 (ja) * | 2015-05-12 | 2019-06-19 | サムスン エレクトロニクス カンパニー リミテッド | イントラ予測を行う映像復号方法及びその装置並びにイントラ予測を行う映像符号化方法 |
| US20190215521A1 (en) * | 2016-09-22 | 2019-07-11 | Mediatek Inc. | Method and apparatus for video coding using decoder side intra prediction derivation |
| KR20200012957A (ko) * | 2017-06-30 | 2020-02-05 | 후아웨이 테크놀러지 컴퍼니 리미티드 | 인터-프레임 예측 방법 및 디바이스 |
| WO2019035658A1 (ko) * | 2017-08-17 | 2019-02-21 | 엘지전자 주식회사 | 인트라 예측 모드 기반 영상 처리 방법 및 이를 위한 장치 |
| CN116389732A (zh) * | 2017-12-22 | 2023-07-04 | 数码士有限公司 | 视频信号处理方法和设备 |
| CN109996066A (zh) * | 2017-12-29 | 2019-07-09 | 富士通株式会社 | 图像编码装置，图像解码装置和电子设备 |
| JP7154770B2 (ja) * | 2018-01-31 | 2022-10-18 | 株式会社豊田自動織機 | ウォータージェット織機の水噴射装置 |
| JP7243732B2 (ja) | 2018-09-14 | 2023-03-22 | 株式会社ソシオネクスト | 動画像符号化方法及び動画像符号化装置 |
| JP7323014B2 (ja) * | 2018-09-19 | 2023-08-08 | 富士通株式会社 | 映像復号方法 |
| CA3112324A1 (en) * | 2018-09-19 | 2020-03-26 | Fujitsu Limited | Video coding and decoding method and apparatus which change the prediction mode according to the combination of the shape of a coding target block and the shape of a block adjacent to the coding target block |
| US10848763B2 (en) * | 2018-11-14 | 2020-11-24 | Tencent America LLC | Method and apparatus for improved context design for prediction mode and coded block flag (CBF) |
| CA3222255A1 (en) | 2018-12-25 | 2020-07-02 | Guangdong Oppo Mobile Telecommunications Corp., Ltd. | Decoding prediction method and apparatus, and computer storage medium |
| KR20210005373A (ko) * | 2019-07-03 | 2021-01-14 | 삼성디스플레이 주식회사 | 압축 영상 비트스트림을 복호화하여 영상을 표시하는 표시 장치, 및 표시 장치의 구동 방법 |
| CN114786012B (zh) * | 2022-06-16 | 2022-09-02 | 深圳比特微电子科技有限公司 | 一种码率控制方法、装置和可读存储介质 |
Family Cites Families (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| FI116819B (fi) * | 2000-01-21 | 2006-02-28 | Nokia Corp | Menetelmä kuvien lähettämiseksi ja kuvakooderi |
| US7289672B2 (en) | 2002-05-28 | 2007-10-30 | Sharp Laboratories Of America, Inc. | Methods and systems for image intra-prediction mode estimation |
| US7236524B2 (en) | 2002-05-28 | 2007-06-26 | Sharp Laboratories Of America, Inc. | Methods and systems for image intra-prediction mode communication |
| EP2860977A1 (en) * | 2002-05-28 | 2015-04-15 | Sharp Kabushiki Kaisha | Method and systems for image intra-prediction mode estimation, communication, and organization |
| US7386048B2 (en) | 2002-05-28 | 2008-06-10 | Sharp Laboratories Of America, Inc. | Methods and systems for image intra-prediction mode organization |
| KR20050112445A (ko) * | 2004-05-25 | 2005-11-30 | 경희대학교 산학협력단 | 예측 부호화/복호화 장치, 예측 부호화/복호화 방법 및 그방법을 수행하는 프로그램이 기록된 컴퓨터 판독가능한기록매체 |
| JP2007116351A (ja) * | 2005-10-19 | 2007-05-10 | Ntt Docomo Inc | 画像予測符号化装置、画像予測復号装置、画像予測符号化方法、画像予測復号方法、画像予測符号化プログラム、及び画像予測復号プログラム |
| DE102005051091A1 (de) * | 2005-10-25 | 2007-04-26 | Siemens Ag | Verfahren und Vorrichtungen zur Bestimmung und Rekonstruktion eines prädizierten Bildbereichs |
| KR100750145B1 (ko) * | 2005-12-12 | 2007-08-21 | 삼성전자주식회사 | 영상의 인트라 예측 부호화, 복호화 방법 및 장치 |
| JP4908180B2 (ja) * | 2006-12-20 | 2012-04-04 | 株式会社東芝 | 動画像符号化装置 |
| EP2081386A1 (en) * | 2008-01-18 | 2009-07-22 | Panasonic Corporation | High precision edge prediction for intracoding |
| KR101306834B1 (ko) | 2008-09-22 | 2013-09-10 | 에스케이텔레콤 주식회사 | 인트라 예측 모드의 예측 가능성을 이용한 영상 부호화/복호화 장치 및 방법 |
| KR101567974B1 (ko) | 2009-01-05 | 2015-11-10 | 에스케이 텔레콤주식회사 | 블록 모드 부호화/복호화 방법 및 장치와 그를 이용한 영상부호화/복호화 방법 및 장치 |
| JP5158003B2 (ja) * | 2009-04-14 | 2013-03-06 | ソニー株式会社 | 画像符号化装置と画像符号化方法およびコンピュータ・プログラム |
| US8902978B2 (en) * | 2010-05-30 | 2014-12-02 | Lg Electronics Inc. | Enhanced intra prediction mode signaling |
| US20110317757A1 (en) * | 2010-06-25 | 2011-12-29 | Qualcomm Incorporated | Intra prediction mode signaling for finer spatial prediction directions |
| US9215470B2 (en) | 2010-07-09 | 2015-12-15 | Qualcomm Incorporated | Signaling selected directional transform for video coding |
-
2011
- 2011-09-28 KR KR1020137001290A patent/KR101792308B1/ko active IP Right Grant
- 2011-09-28 CN CN201180037651.2A patent/CN103053162B/zh active Active
- 2011-09-28 CA CA2806511A patent/CA2806511C/en active Active
- 2011-09-28 ES ES11828426.4T patent/ES2683793T3/es active Active
- 2011-09-28 JP JP2012536206A patent/JP5395274B2/ja active Active
- 2011-09-28 US US13/814,255 patent/US20130136178A1/en not_active Abandoned
- 2011-09-28 WO PCT/JP2011/005444 patent/WO2012042860A1/ja active Application Filing
- 2011-09-28 CN CN201711089646.1A patent/CN107682702B/zh active Active
- 2011-09-28 EP EP11828426.4A patent/EP2624564B1/en active Active
- 2011-09-28 EP EP18167183.5A patent/EP3383046A1/en active Pending
- 2011-09-28 KR KR1020177014640A patent/KR101857935B1/ko active IP Right Grant
- 2011-09-28 PL PL11828426T patent/PL2624564T3/pl unknown
- 2011-09-28 MX MX2013001661A patent/MX2013001661A/es active IP Right Grant
- 2011-09-28 KR KR1020187012728A patent/KR101966605B1/ko active IP Right Grant
-
2013
- 2013-10-03 JP JP2013208648A patent/JP5436719B1/ja active Active
- 2013-10-03 JP JP2013208649A patent/JP5728062B2/ja active Active
- 2013-10-16 US US14/054,974 patent/US9756338B2/en active Active
-
2014
- 2014-11-18 US US14/546,111 patent/US10306234B2/en active Active
-
2016
- 2016-08-10 US US15/233,069 patent/US10887599B2/en active Active
-
2020
- 2020-11-30 US US17/106,685 patent/US11206409B2/en active Active
Also Published As
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| ES2683793T3 (es) | Procedimiento de decodificación de imagen, procedimiento de codificación de imagen, dispositivo de decodificación de imagen, dispositivo de codificación de imagen, programa y circuito integrado | |
| US11800150B2 (en) | Method for deriving a motion vector | |
| ES2753760T3 (es) | Codificación y descodificación de vídeo con resiliencia mejorada frente a errores | |
| KR101538710B1 (ko) | 시간적 블록 병합 모드 | |
| US9066104B2 (en) | Spatial block merge mode | |
| US8737480B2 (en) | Joint spatial and temporal block merge mode for HEVC | |
| EP3399749B1 (en) | Method and apparatus for encoding video and method and apparatus for decoding video | |
| KR101239567B1 (ko) | 움직임 추정에 대한 검색 범위 선택 방법과 그의 시스템 및 컴퓨터 판독가능 저장 매체 | |
| JP5579937B2 (ja) | 低複雑度の動きベクトルを導出するシステム及び方法 | |
| ES2853700T3 (es) | Compensación de movimiento utilizando interpolación de imagen temporal | |
| ES2778227T3 (es) | Dispositivo, método y programa de decodificación bipredictiva de imágenes | |
| KR20080088040A (ko) | 영상의 부호화, 복호화 방법 및 장치 | |
| GB2492778A (en) | Motion compensated image coding by combining motion information predictors | |
| JP6501532B2 (ja) | 画像符号化装置、画像符号化方法及びプログラム | |
| TWI653881B (zh) | 運動向量預測的方法與裝置 | |
| JP2019022120A (ja) | 動画像符号化装置、動画像符号化方法、動画像符号化用コンピュータプログラム、動画像復号装置及び動画像復号方法ならびに動画像復号用コンピュータプログラム | |
| JP5281597B2 (ja) | 動きベクトル予測方法，動きベクトル予測装置および動きベクトル予測プログラム | |
| CA3039039C (en) | Offset temporal motion vector predictor (tmvp) | |
| JP2016134852A (ja) | 符号化装置、符号化方法及びプログラム |