ES2805313T3 - Procedimiento de codificación de imágenes, procedimiento de descodificación de imágenes, aparato de codificación de imágenes, aparato de descodificación de imágenes y aparato de codificación / descodificación de imágenes - Google Patents

Procedimiento de codificación de imágenes, procedimiento de descodificación de imágenes, aparato de codificación de imágenes, aparato de descodificación de imágenes y aparato de codificación / descodificación de imágenes Download PDF

Info

Publication number
ES2805313T3
ES2805313T3 ES12821785T ES12821785T ES2805313T3 ES 2805313 T3 ES2805313 T3 ES 2805313T3 ES 12821785 T ES12821785 T ES 12821785T ES 12821785 T ES12821785 T ES 12821785T ES 2805313 T3 ES2805313 T3 ES 2805313T3
Authority
ES
Spain
Prior art keywords
image
tiles
boundary
data
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
ES12821785T
Other languages
English (en)
Inventor
Daisaku Komiya
Takahiro Nishi
Youji Shibahara
Hisao Sasai
Toshiyasu Sugio
Kyoko Tanikawa
Toru Matsunobu
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sun Patent Trust Inc
Original Assignee
Sun Patent Trust Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sun Patent Trust Inc filed Critical Sun Patent Trust Inc
Application granted granted Critical
Publication of ES2805313T3 publication Critical patent/ES2805313T3/es
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46Embedding additional information in the video signal during the compression process
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124Quantisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00Image coding
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00Image coding
    • G06T9/005Statistical coding, e.g. Huffman, run length coding
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00Image coding
    • G06T9/007Transform coding, e.g. discrete cosine transform
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00Image coding
    • G06T9/008Vector quantisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/436Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation using parallelised computational arrangements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Abstract

Un procedimiento de codificación de imágenes que comprende: dividir (S201) una imagen en mosaicos; codificar (S202) los mosaicos para generar piezas de datos codificados, cada uno de los cuales corresponde a uno diferente de los mosaicos; y generar (S203) un flujo de bits que incluye las piezas de datos codificados; en el que la codificación de los mosaicos incluye: generar una primera cadena de código mediante la codificación de un primer mosaico que es uno de los mosaicos, (i) haciendo referencia a la información de codificación de uno codificado de los mosaicos que está junto al primer mosaico cuando un límite entre el primer mosaico y el mosaico codificado es un primer límite, y (ii) sin hacer referencia a la información de codificación del mosaico codificado cuando el límite entre el primer mosaico y el mosaico codificado es un segundo límite; y agregar (S213) una cadena de bits después de la primera cadena de código para hacer una longitud de bits de los primeros datos codificados, que es una de las piezas de datos codificados, un múltiplo de N bits predeterminados, siendo N un número entero mayor o igual a 2; en el que en la generación (S203) de un flujo de bits, se genera el flujo de bits que incluye información de independencia de límite de mosaico; caracterizado porque la información de independencia del límite de mosaico se señala individualmente para cada par de mosaicos adyacentes e indica si un límite entre los mosaicos es el primer límite o el segundo límite para cada par de mosaicos.

Description

DESCRIPCIÓN
Procedimiento de codificación de imágenes, procedimiento de descodificación de imágenes, aparato de codificación de imágenes, aparato de descodificación de imágenes y aparato de codificación / descodificación de imágenes
La presente invención se refiere a un procedimiento de codificación de imágenes, un procedimiento de descodificación de imágenes, un aparato de codificación de imágenes, un aparato de descodificación de imágenes y un aparato de codificación y descodificación de imágenes.
Técnica antecedente
El H.264 es ampliamente conocido como un procedimiento de codificación de imagen estandarizado. En dicho procedimiento de codificación de imágenes, los sectores se utilizan como una técnica para dividir y codificar una imagen. Mediante el uso de sectores, un aparato de descodificación de imágenes puede descodificar los sectores respectivos incluidos en la imagen de forma independiente.
Además, en los últimos años, se ha propuesto una técnica de codificación llamada mosaico como una nueva técnica para dividir y codificar una imagen (por ejemplo, véase la literatura no patente 1).
Literatura no patente
[NPL 1] “Tiles” (JCTVC-F335) Joint Collaborative Team on Vídeo Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11 6a Reunión: Torino, IT, 14 - 22 de julio de 2011
[NPL 2 “New results for parallel decoding for Tiles” (JCTVC-F594) Joint Collaborative Team on Vídeo Coding (JCT-VC) de ITU-T SG16 WP3 e ISO/IEC JTC1/SC29/WG11 6a Reunión: Torino, IT, 14-22 de julio de 2011
Las demandas para la reducción de la carga de procesamiento y la mejora de la eficiencia de codificación se han colocado en dicho procedimiento de codificación de imagen y procedimiento de descodificación de imagen. En vista de esto, la presente invención tiene como objeto proporcionar procedimientos de codificación de imágenes y procedimientos de descodificación de imágenes que sean capaces de reducir la carga de procesamiento y mejorar la eficiencia de codificación.
Esto se consigue mediante las características de las reivindicaciones independientes. Los ejemplos adicionales llamados realizaciones en la descripción son ejemplos ilustrativos.
Debe observarse que estos aspectos generales y específicos pueden implementarse usando un sistema, un procedimiento, un circuito integrado, un programa de ordenador o un medio de grabación legible por ordenador tal como un CDROM, o cualquier combinación de sistemas, procedimientos, circuitos integrados, programas de ordenador o medios de grabación legibles por ordenador.
Efectos ventajosos de la invención
La presente invención proporciona un procedimiento de codificación de imágenes y un procedimiento de descodificación de imágenes que son capaces de reducir la carga de procesamiento y mejorar la eficiencia de codificación.
[Figura 1] La Figura 1 es un diagrama de bloques de un aparato de codificación de imágenes de acuerdo con la realización 1 de la presente invención.
[Figura 2] La Figura 2 es un diagrama de flujo de división de imágenes de acuerdo con la realización 1 de la presente invención.
[Figura 3A] La Figura 3A es un diagrama que muestra un ejemplo de un patrón de división en mosaico de acuerdo con la Realización 1 de la presente invención.
[Figura 3B] La Figura 3B es un diagrama que muestra un ejemplo de un patrón de división en mosaico de acuerdo con la Realización 1 de la presente invención.
[Figura 3C] La Figura 3C es un diagrama que muestra un ejemplo de un patrón de división en mosaico de acuerdo con la Realización 1 de la presente invención.
[Figura 4A] La Figura 4A es un diagrama que muestra un ejemplo de información de independencia de límite de mosaico de acuerdo con la Realización 1 de la presente invención.
[Figura 4B] La Figura 4B es un diagrama que muestra un ejemplo de información de independencia de límite de mosaico de acuerdo con la Realización 1 de la presente invención.
[Figura 5] La Figura 5 es un diagrama de bloques de un aparato de descodificación de imágenes de acuerdo con la realización 1 de la presente invención.
[Figura 6] La Figura 6 es un diagrama de bloques de un aparato de codificación de imágenes de acuerdo con la Realización 2 de la presente invención.
[Figura 7A] La Figura 7A es un diagrama que muestra un ejemplo de un orden de exploración de mosaicos de acuerdo con la Realización 2 de la presente invención.
[Figura 7B] La Figura 7B es un diagrama que muestra un ejemplo de un orden de exploración de mosaico de acuerdo con la Realización 2 de la presente invención.
[Figura 7C] La Figura 7C es un diagrama que muestra un ejemplo de un orden de exploración de mosaicos de acuerdo con la Realización 2 de la presente invención.
[Figura 7D] La Figura 7D es un diagrama que muestra un ejemplo de un orden de exploración de mosaicos de acuerdo con la Realización 2 de la presente invención.
[Figura 8] La Figura 8 es un diagrama de bloques de un aparato de descodificación de imágenes de acuerdo con la Realización 2 de la presente invención.
[Figura 9] La Figura 9 es un diagrama de bloques de un aparato de codificación de imágenes de acuerdo con la realización 3 de la presente invención.
[Figura 10] La Figura 10 es un diagrama de flujo de un proceso de inserción de marcador de acuerdo con la Realización 3 de la presente invención.
[Figura 11] La Figura 11 es un diagrama de bloques de un aparato de descodificación de imágenes de acuerdo con la realización 3 de la presente invención.
[Figura 12] La Figura 12 es un diagrama de bloques de un aparato de codificación de imágenes de acuerdo con la realización 4 de la presente invención.
[Figura 13A] La Figura 13A es un diagrama de flujo para un procedimiento de codificación de imágenes de acuerdo con la realización 4 de la presente invención.
[Figura 13B] La Figura 13B es un diagrama de flujo para codificar de acuerdo con la Realización 4 de la presente invención.
[Figura 14] La Figura 14 es un diagrama que muestra la alineación de bytes de acuerdo con la realización 4 de la presente invención.
[Figura 15] La Figura 15 es un diagrama de bloques de un aparato de descodificación de imágenes de acuerdo con la Realización 4 de la presente invención.
[Figura 16A] La Figura 16A es un diagrama de flujo para un procedimiento de descodificación de imágenes de acuerdo con la realización 4 de la presente invención.
[Figura 16B] La Figura 16B es un diagrama de flujo para descodificar de acuerdo con la Realización 4 de la presente invención.
[Figura 17A] La Figura 17A es un diagrama que muestra un ejemplo de un patrón de división en mosaico.
[Figura 17B] La Figura 17B es un diagrama que muestra un orden de procesamiento de bloques incluidos en un mosaico.
[Figura 18] La Figura 18 es un diagrama de una configuración general de un sistema que proporciona contenido para implementar servicios de distribución de contenido.
[Figura 19] La Figura 19 es un diagrama de una configuración general de un sistema de radiodifusión digital.
[Figura 20] La Figura 20 es un diagrama de bloques que muestra un ejemplo de una configuración de un televisor.
[Figura 21] La Figura 21 es un diagrama de bloques que muestra un ejemplo de una configuración de una unidad de reproducción grabación de información que lee y escribe información desde o sobre un medio de grabación que es un disco óptico.
[Figura 22] La Figura 22 es un diagrama que muestra un ejemplo de una configuración de un medio de grabación que es un disco óptico.
[Figura 23A] La Figura 23A es un diagrama que muestra un ejemplo de un teléfono móvil.
[Figura 23B] La Figura 23B es un diagrama de bloques que muestra un ejemplo de una configuración de un teléfono móvil.
[Figura 24] La Figura 24 es un diagrama que ilustra una estructura de datos multiplexados.
[Figura 25] La Figura 25 es un diagrama que ilustra esquemáticamente cómo cada transmisión de flujo de datos se multiplexa en datos multiplexados.
[Figura 26] La Figura 26 es un diagrama que ilustra con más detalle cómo se almacena una transmisión de flujo de datos de vídeo en una transmisión de flujo de datos de paquetes PES.
[Figura 27] La Figura 27 es un diagrama que ilustra una estructura de paquetes TS y paquetes fuente en los datos multiplexados.
[Figura 28] La Figura 28 es un diagrama que ilustra una estructura de datos de un PMT.
[Figura 29] La Figura 29 es un diagrama que ilustra una estructura interna de información de datos multiplexados.
[Figura 30] La Figura 30 es un diagrama que ilustra una estructura interna de información de atributos de flujo.
[Figura 31] La Figura 31 es un diagrama que ilustra las etapas para identificar datos de vídeo.
[Figura 32] La Figura 32 es un diagrama de bloques que ilustra un ejemplo de una configuración de un circuito integrado para implementar el procedimiento de codificación de imágenes en movimiento y el procedimiento de descodificación de imágenes en movimiento de acuerdo con cada una de las realizaciones.
[Figura 33] La Figura 33 es un diagrama que ilustra una configuración para cambiar entre frecuencias de conducción.
[Figura 34] La Figura 34 es un diagrama que ilustra las etapas para identificar datos de vídeo y cambiar entre frecuencias de conducción.
[Figura 35] La Figura 35 es un diagrama que ilustra un ejemplo de una tabla de consulta en la que los estándares de datos de vídeo están asociados con las frecuencias de conducción.
[Figura 36A] La Figura 36A es un diagrama que ilustra un ejemplo de una configuración para compartir un módulo de una unidad de procesamiento de señal.
[Figura 36B] La Figura 36B es un diagrama que ilustra otro ejemplo de una configuración para compartir un módulo de la unidad de procesamiento de señal.
(Conocimiento subyacente que forma la base de la presente invención)
Primero, los mosaicos se describirán usando la Figura 17A y la Figura 17B.
Una imagen se divide en un número arbitrario de columnas y filas. Entonces, cada región que está rodeada por límites se llama mosaico.
La Figura 17A muestra un ejemplo en el que una imagen se divide en tres columnas y tres filas. Como resultado de la división, nueve mosaicos, T1 a T9, están presentes en la imagen. El ancho de columna se puede establecer en un valor diferente por columna, con la unidad de codificación más grande (LCU) como unidad. Además, también se puede establecer un ancho idéntico para todas las columnas. De la misma manera, la altura de la fila (el ancho vertical de los mosaicos) se puede establecer en un valor diferente por fila, con la LCU como unidad. Además, también se puede establecer una altura idéntica para todas las filas.
Al codificar una imagen, los mosaicos se procesan en orden de exploración de ráster en la imagen. Específicamente, los mosaicos se procesan en orden numérico, desde el mosaico T1 en la esquina superior izquierda, hasta T2, T3, hasta T9 en la esquina inferior derecha.
La Figura 17B muestra un ejemplo de LCU incluidas en los mosaicos respectivos. Cada uno de los mosaicos incluye una o más LCU. Por ejemplo, el mosaico T1 incluye las 16 LCU del número 1 al número 15. Al codificar una imagen, las LCU se procesan en orden de exploración de ráster en la imagen. Como se describió anteriormente, los mosaicos se procesan en orden de exploración de ráster en la imagen y, por lo tanto, las LCU se procesan en un orden tal como del número 1 al número 53 como se muestra en la Figura 17B.
De esta manera, cuando una imagen se divide en mosaicos, hay casos en que el orden de procesamiento de las LCU cambia en comparación con cuando la imagen no se divide. Por otro lado, cuando una imagen se divide en sectores, el orden de procesamiento de las LCU no cambia en comparación con cuando la imagen no se divide. De esta manera, el uso de mosaicos permite una división arbitraria y una configuración óptima del orden de procesamiento y, por lo tanto, la eficiencia de la codificación se puede mejorar en comparación con cuando se utilizan sectores.
Para procesar, normalmente, se utiliza la información de codificación de las LCU vecinas de la LCU actual. Por ejemplo, en la intrapredicción y la predicción del vector de movimiento, se hace referencia a la información de las LCU vecinas de la LCU actual, y dicha información se utiliza en la codificación de la LCU actual. En otras palabras, la LCU actual depende de las LCU vecinas. En general, la precisión de la predicción aumenta con un mayor número de LCU que se pueden usar como referencia. De acuerdo con lo anterior, la eficiencia de codificación mejora. Sin embargo, una LCU que depende de otra LCU no se puede descodificar por separado de la LCU de la que depende.
Además, se proporciona un indicador (indicador de independencia de límite de mosaico: idc de independencia de límite de mosaico) que indica la relación de dependencia de codificación en el límite de los mosaicos. Este indicador de independencia de límite de mosaico tiene asignado 1 bit. Además, el indicador de independencia de límite de mosaico se envía al aparato de descodificación de imagen al ser incluido en un conjunto de parámetros de secuencia (SPS) o un conjunto de parámetros de imagen (PPS).
Cuando el indicador de independencia de límite de mosaico está ACTIVADO, los mosaicos respectivos son independientes. Específicamente, cuando se codifica una cierta LCU en el mosaico, no es posible referirse a la información de codificación de LCU más allá de los límites del mosaico, y solo la información de codificación de LCU dentro del mosaico se usa en la predicción. Por el contrario, cuando el indicador de independencia de límite de mosaico está DESACTIVADO, los mosaicos respectivos están en una relación de dependencia. En otras palabras, la información de todas las LCU incluidas en el mosaico en el que se incluye la LCU actual y los otros mosaicos, que están en una relación utilizable, se pueden utilizar en la codificación.
Debe observarse que un mosaico puede incluir más de un sector, y un sector puede incluir más de un mosaico. Sin embargo, cuando un sector incluye más de un mosaico, las LCU que pertenecen al mismo sector están presentes en varios mosaicos. Como resultado, la independencia de codificación de los pares de mosaicos no se puede mantener, y el indicador de independencia de límites de mosaicos debe estar DESACTIVADO.
Las demandas para la reducción de la carga de procesamiento y la mejora de la eficiencia de codificación se han colocado en dicho procedimiento de codificación de imagen y procedimiento de descodificación de imagen. En vista de esto, en estas realizaciones se describirá un procedimiento de codificación de imagen, un procedimiento de descodificación de imagen, un aparato de codificación de imagen y un aparato de descodificación de imagen que son capaces de reducir la carga de procesamiento o mejorar la eficiencia de codificación.
Para resolver tal problema, un procedimiento de codificación de imágenes de acuerdo con un aspecto de la presente invención incluye: dividir una imagen en mosaicos; codificar los mosaicos para generar piezas de datos codificados, cada uno de los cuales corresponde a uno diferente de los mosaicos; y generar un flujo de bits que incluye las piezas de datos codificados, en donde la codificación de los mosaicos incluye: generar una primera cadena de código codificando un primer mosaico que es uno de los mosaicos, sin referirse a la información de codificación utilizada para codificar otro de los mosaicos; y agregar una cadena de bits después de la primera cadena de código para hacer una longitud de bits de los primeros datos codificados, que es una de las piezas de datos codificados, un múltiplo de N bits predeterminados, siendo N un número entero mayor o igual a 2.
De acuerdo con lo anterior, los datos codificados de cada mosaico se convierten en un múltiplo de un número predeterminado de bits. Por lo tanto, se hace fácil manejar datos codificados en el aparato de descodificación de imágenes. Además, el aparato de descodificación de imágenes puede identificar fácilmente la posición principal de los datos codificados de un mosaico. De esta manera, el procedimiento de codificación de imágenes puede reducir la carga de procesamiento de un aparato de descodificación de imágenes.
Por ejemplo, la generación de una primera cadena de código puede incluir realizar una codificación aritmética para generar la primera cadena de código, y en la realización de una codificación aritmética, puede realizarse la terminación que concluye la primera cadena de código.
De acuerdo con lo anterior, un aparato de descodificación de imágenes puede manejar los datos codificados de cada mosaico de forma independiente.
Por ejemplo, en la división, los límites entre los mosaicos pueden clasificarse en un primer límite o un segundo límite, en la codificación de los mosaicos, cada mosaico puede codificarse haciendo referencia a la información de codificación de un mosaico ubicado a través del primer límite sin referirse a la información de codificación de un mosaico ubicado a través del segundo límite, entre los codificados de los mosaicos adyacentes a cada mosaico, y en la generación de un flujo de bits, se puede generar el flujo de bits que incluye información de independencia de límite de mosaico, la información de independencia de límite de mosaico indicando si cada uno de los límites es el primer límite o el segundo límite.
De acuerdo con lo anterior, las relaciones de dependencia para los pares de mosaicos se establecen en base a los límites de los mosaicos. Por lo tanto, la eficiencia de codificación se mejora en comparación con cuando las relaciones de dependencia del par de mosaicos se establecen, por ejemplo, sobre una base de imagen.
Por ejemplo, la información de independencia de límite de mosaico puede incluirse en un conjunto de parámetros de imagen o un conjunto de parámetros de secuencia incluidos en el flujo de bits.
Por ejemplo, en la división, puede determinarse un orden de codificación de los mosaicos, en la codificación de los mosaicos, los mosaicos pueden codificarse en el orden de codificación determinado, y en la generación de un flujo de bits, el flujo de bits incluye el mosaico se puede generar información de orden de procesamiento que indica el orden de codificación.
De acuerdo con lo anterior, el orden de descodificación de mosaico en un aparato de descodificación de imágenes puede establecerse arbitrariamente. Por lo tanto, por ejemplo, entre las imágenes de regiones incluidas en una imagen, la imagen de una región que tiene una alta prioridad puede descodificarse por delante en el aparato de descodificación de imágenes.
Por ejemplo, la información del orden de procesamiento de mosaico puede incluirse en un conjunto de parámetros de imagen o un conjunto de parámetros de secuencia incluidos en el flujo de bits.
Por ejemplo, en la generación de un flujo de bits, se puede insertar un marcador solo en un límite de datos para el cual un límite entre dos de los mosaicos, respectivamente, correspondiente a dos de los datos codificados ubicados en lados opuestos del límite de datos es un segundo límite, entre los límites de datos de los datos codificados, el marcador que identifica el límite de datos.
De acuerdo con lo anterior, el procedimiento de codificación de imagen puede mejorar la eficiencia de codificación en comparación con cuando se insertan marcadores en todos los límites de mosaico.
Además, un procedimiento de descodificación de imagen de acuerdo con un aspecto de la presente invención incluye: obtener piezas de datos codificados incluidos en un flujo de bits y generados codificando mosaicos obtenidos dividiendo una imagen; y descodificar las piezas de datos codificados para generar datos de imagen de los mosaicos, en el que la descodificación de los datos codificados incluye: generar datos de imagen de un primer mosaico que es uno de los mosaicos al descodificar una primera cadena de código incluida en los primeros datos codificados sin referirse a la información de descodificación utilizada para descodificar otro de los mosaicos, siendo los primeros datos codificados uno de los datos codificados; y omitir una cadena de bits predeterminada ubicada después de la primera cadena de código en los primeros datos codificados.
De acuerdo con lo anterior, el procedimiento de descodificación de imagen puede identificar fácilmente la posición de avance de los datos codificados de un mosaico. De esta manera, el procedimiento de descodificación de imágenes puede reducir la carga de procesamiento de un aparato de descodificación de imágenes.
Por ejemplo, la generación de datos de imagen puede incluir realizar la descodificación aritmética en la primera cadena de código, y la realización de la descodificación aritmética puede incluir, antes del salto, la terminación que concluye la descodificación aritmética en la primera cadena de código.
De acuerdo con lo anterior, un aparato de descodificación de imágenes puede manejar los datos codificados de cada mosaico de forma independiente.
Por ejemplo, la descodificación de las piezas de datos codificados puede incluir generar datos de imagen de un segundo mosaico que es uno de los mosaicos, descodificando una segunda cadena de código incluida en los segundos datos codificados que se encuentra después de los primeros datos codificados en las piezas de los datos codificados
Además, un aparato de codificación de imágenes de acuerdo con un aspecto de la presente invención incluye: una unidad de división configurada para dividir una imagen en mosaicos; una unidad de codificación configurada para codificar los mosaicos para generar piezas de datos codificados, cada uno de los cuales corresponde a uno diferente de los mosaicos; y una unidad de generación de flujo de bits configurada para generar un flujo de bits que incluye las piezas de datos codificados, en el que la unidad de codificación está configurada para: generar una primera cadena de código codificando un primer mosaico que es uno de los mosaicos sin referirse a la información de codificación utilizada en la codificación de otro uno de los mosaicos; y agregue una cadena de bits después de la primera cadena de código para hacer una longitud de bits de los primeros datos codificados, que es una de las piezas de datos codificados, un múltiplo de N bits predeterminados, siendo N un número entero mayor o igual a 2.
De acuerdo con lo anterior, los datos codificados de cada mosaico se convierten en un múltiplo de un número predeterminado de bits. Por lo tanto, se hace fácil manejar datos codificados en el aparato de descodificación de imágenes. Además, el aparato de descodificación de imágenes puede identificar fácilmente la posición principal de los datos codificados de un mosaico. De esta manera, el aparato de codificación de imágenes es capaz de reducir la carga de procesamiento de un aparato de descodificación de imágenes.
Además, un aparato de descodificación de imágenes de acuerdo con un aspecto de la presente invención incluye: una unidad de análisis configurada para obtener piezas de datos codificados incluidos en un flujo de bits y generados codificando mosaicos obtenidos dividiendo una imagen; y una unidad de descodificación configurada para descodificar los datos codificados para generar datos de imagen de los mosaicos, en el que la unidad de descodificación está configurada para: generar datos de imagen de un primer mosaico que es uno de los mosaicos al descodificar una primera cadena de código incluida en los primeros datos codificados sin referirse a la información de descodificación utilizada para descodificar otro de los mosaicos, siendo los primeros datos codificados uno de las piezas de datos codificados; y omitir una cadena de bits predeterminada ubicada después de la primera cadena de código en los primeros datos codificados.
De acuerdo con lo anterior, el aparato de descodificación de imágenes es capaz de identificar fácilmente la posición de avance de los datos codificados de un mosaico. De esta manera, el aparato de descodificación de imágenes es capaz de reducir la carga de procesamiento.
Además, un aparato de codificación y descodificación de imágenes de acuerdo con un aspecto de la presente invención incluye: el aparato de codificación de imágenes; y el aparato de descodificación de imagen.
Debe notarse que estos aspectos generales y específicos pueden implementarse usando un sistema, un procedimiento, un circuito integrado, un programa de ordenador o un medio de grabación legible por ordenador tal como un CDROM, o cualquier combinación de sistemas, procedimientos, circuitos integrados, programas de ordenador o medios de grabación legibles por ordenador.
A continuación, se describirán realizaciones de la presente invención con referencia a los dibujos.
Debe observarse que cada una de las realizaciones descritas a continuación muestra un ejemplo general o específico. Los valores numéricos, las formas, los materiales, los elementos estructurales, la disposición y la conexión de los elementos estructurales, las etapas, el orden de procesamiento de las etapas, etc., mostrados en las siguientes realizaciones, son meros ejemplos y, por lo tanto, no limitan la presente invención. Por lo tanto, entre los elementos estructurales en las siguientes realizaciones ejemplares, los elementos estructurales no mencionados en cualquiera de las reivindicaciones independientes que definen el concepto más genérico se describen como elementos estructurales arbitrarios.
[Realización 11
Como se describió anteriormente, cuando las relaciones de dependencia de los pares de mosaicos se establecen sobre una base de imagen, las relaciones de dependencia de todos los pares de mosaicos de la imagen se cortan de acuerdo con dicha configuración. Con esto, los inventores han descubierto que existe el problema de que la eficiencia de la codificación se deteriora.
Por el contrario, en el aparato de codificación de imágenes de acuerdo con esta realización, las relaciones de dependencia del par de mosaicos se establecen sobre una base de límite de mosaico. Con esto, el aparato de codificación de imagen es capaz de mejorar la eficiencia de codificación en comparación con cuando las relaciones de dependencia del par de mosaicos se establecen en una imagen.
La Figura 1 es un diagrama de bloques que muestra la configuración de un aparato 100 de codificación de imágenes que utiliza el procedimiento de codificación de imágenes de acuerdo con esta realización.
El aparato 100 de codificación de imágenes mostrado en la Figura 1 codifica una señal 120 de imagen de entrada para generar una señal 134 de imagen codificada. El aparato 100 de codificación de imagen incluye una unidad 115 de codificación, una unidad 112 de control de división de imagen y una unidad 114 multiplex. Además, la unidad 115 de codificación incluye un restador 101, una unidad 102 de transformación ortogonal, una unidad 103 de cuantificación, una unidad 104 de cuantificación inversa, una unidad 105 de transformación inversa ortogonal, un sumador 106, una memoria 107 de bloque, una memoria 108 de trama, una unidad 109 de intrapredicción, una unidad 110 de interpredicción, una unidad 111 de determinación de tipo de imagen, y una unidad 113 de codificación de longitud variable.
La unidad 112 de control de división de imagen, que es un ejemplo de la unidad de división, divide una imagen en más de un mosaico y determina la relación de dependencia del par de mosaicos en los límites de mosaico respectivos. Posteriormente, la unidad 112 de control de división de imagen transmite, a la unidad 114 multiplex, información 135 de división de imagen que es información con respecto a la división en mosaico. Específicamente, la información 135 de división de imagen indica el patrón de división de imagen y las relaciones de dependencia del par de mosaicos.
Además, la unidad 112 de control de división de imagen transmite la información 135 de división de imagen a la unidad 114 de multiplexación, como parte de un conjunto de parámetros de secuencia (SPS) o conjunto de parámetros de imagen (PPS). El conjunto de parámetros de imagen es un conjunto de parámetros que corresponde al encabezado de una imagen. El conjunto de parámetros de secuencia es un conjunto de parámetros que corresponde a un encabezado que se puede usar en común para una o más imágenes. El conjunto de parámetros de imagen incluye el tipo de codificación de longitud variable, el valor inicial de la etapa de cuantificación, el número de imágenes de referencia, etc. El conjunto de parámetros de secuencia incluye el número máximo de imágenes a las que se puede hacer referencia, el tamaño de la imagen, la información de visualización de vídeo (VUI: Información de usabilidad de vídeo), etc.
Además, la unidad 112 de control de división de imagen genera, en base al patrón de división de imagen y las relaciones de dependencia del par de mosaicos, una señal 132 de control de división para controlar la unidad 109 de intrapredicción, la unidad 110 de interpredicción y la unidad 113 de codificación de longitud variable. La unidad 115 de codificación codifica la señal 120 de imagen de entrada para generar datos 133 codificados. El restador 101 calcula la diferencia entre los datos 131 de imagen predichos generados por una unidad de procesamiento descrita más adelante y la señal 120 de imagen de entrada para generar datos 121 de error de predicción. La unidad 102 de transformación ortogonal transforma los datos 121 de error de predicción, desde un dominio de imagen a un dominio de frecuencia, para generar coeficientes 122 de transformación. La unidad 103 de cuantificación cuantifica los coeficientes 122 de transformación para generar coeficientes 123 cuantificados. La unidad 104 de cuantificación inversa cuantifica inversamente los coeficientes 123 cuantificados para generar coeficientes 124 transformados. La unidad 105 de transformación inversa-ortogonal transforma los coeficientes 124 transformados, del dominio de frecuencia al dominio de imagen, para generar datos 125 de error de predicción. El sumador 106 suma los datos 131 de imagen predichos y los datos 125 de error de predicción para generar datos 126 de imagen descodificados. La memoria 107 de bloque almacena los datos 126 de imagen descodificados, en unidades de bloque, como datos 127 de imagen descodificados. La memoria 108 de trama almacena los datos 126 de imagen descodificados, en unidades de trama, como datos 128 de imagen descodificados.
La unidad 109 de intrapredicción realiza una intrapredicción usando una unidad de bloque de los datos 127 de imagen descodificados almacenados en la memoria 107 de bloque, para generar datos 129 de imagen predichos del bloque actual. Además, la unidad 109 de intrapredicción detecta las relaciones de dependencia del par de mosaicos, en base a la señal 132 de control de división enviada desde la unidad 112 de control de división de imagen. Luego, la unidad 109 de intrapredicción realiza intrapredicción sin usar la información de imagen de un bloque incluido en un mosaico cuya relación de dependencia con el mosaico actual a procesar se corta.
La unidad 110 de interpredicción realiza interpredicción usando una unidad de trama de los datos 128 de imagen descodificados almacenados en la memoria 108 de trama, para generar datos 130 de imagen predichos del bloque actual. Además, la unidad 110 de interpredicción detecta las relaciones de dependencia del par de mosaicos, basándose en la señal 132 de control de división enviada desde la unidad 112 de control de división de imagen. Luego, la unidad 110 de interpredicción realiza la predicción del vector de movimiento sin usar la información del vector de movimiento de un bloque incluido en un mosaico cuya relación de dependencia con el mosaico actual se corta.
La unidad 113 de codificación de longitud variable realiza una codificación de longitud variable en los coeficientes 123 cuantificados para generar datos 133 codificados. La unidad 113 de codificación de longitud variable detecta las relaciones de dependencia del par de mosaicos, en base a la información 132 de control de división enviada desde la unidad 112 de control de división de imagen. Además, la unidad 113 de codificación de longitud variable restablece la codificación de entropía en un límite de mosaico en el que se corta la relación de dependencia. La unidad 114 multiplex, que es un ejemplo de la unidad de generación de flujo de bits, obtiene un conjunto de parámetros de imagen o un conjunto de parámetros de secuencia que se incluye en la información 135 de división de imagen, y multiplexa los parámetros con los datos 133 codificados para generar un flujo 134 de bits. A continuación, se describirá el proceso de dividir una imagen en mosaicos de acuerdo con la unidad 112 de control de división de imagen. La Figura 2 es un diagrama de flujo de la imagen que se divide por la unidad 112 de control de división de imagen de acuerdo con esta realización.
Primero, la unidad 112 de control de división de imagen determina el número de columnas, que es el número de columnas de mosaicos (S101). A continuación, la unidad 112 de control de división de imagen determina el número de filas que es el número de filas de mosaicos (S102). A continuación, la unidad 112 de control de división de imagen determina si tanto el número determinado de columnas como el número de filas son 1 (S103). Específicamente, la unidad 112 de control de división de imagen determina si la imagen se puede dividir o no en mosaicos. Cuando tanto el número de columnas como el número de filas son 1 (Sí en S103), es decir, cuando la imagen no se puede dividir en mosaicos, la unidad 112 de control de división de imagen finaliza el proceso. Por otro lado, cuando al menos una de la cantidad de columnas y la cantidad de filas es 2 o más (No en S103), es decir, cuando la imagen se puede dividir en mosaicos, la unidad 112 de control de división de imagen determina la relación de dependencia de codificación en el límite de mosaico y genera información de independencia de límite de mosaico que indica la relación de dependencia determinada (S104).
A continuación, la unidad 112 de control de división de imagen determina el ancho de cada columna (el ancho horizontal de los mosaicos), utilizando la Unidad de Codificación Más Grande como una unidad. Específicamente, primero, la unidad 112 de control de división de imagen determina si establecer o no el mismo ancho para todas las columnas incluidas en la imagen (S105). Cuando los anchos de todas las columnas son iguales (Sí en S105), la unidad 112 de control de división de imagen establece un indicador uniforme de ancho de columna en “1” (S106). Por otro lado, cuando los anchos de las columnas son diferentes dentro de la imagen (No en S105), la unidad 112 de control de división de imágenes establece el indicador uniforme de ancho de columna en “0” (S107) y determina el ancho de cada columna (S108).
A continuación, la unidad 112 de control de división de imagen determina la altura de las filas, con la LCU como unidad. Específicamente, primero, la unidad 112 de control de división de imagen determina si establecer o no la misma altura para todas las filas incluidas en la imagen (S109). Cuando las alturas de todas las filas son iguales (Sí en S109), la unidad 112 de control de división de imagen establece un indicador uniforme de altura de fila en “1” (S110). Por otro lado, cuando las alturas de las columnas son diferentes dentro de la imagen (No en S109), la unidad 112 de control de división de imagen establece el indicador uniforme de altura de fila en “0” (Umbral) y determina la altura de cada fila (S112).
De tal manera, la unidad 112 de control de división de imagen divide una imagen en mosaicos. Entonces, la unidad 112 de control de división de imagen genera información 135 de división de imagen que incluye información que indica el patrón de división de imagen, así como la información de independencia de límite de mosaico, y transmite, a la unidad 114 multiplex, la información de división de imagen generada 135 como parte de la secuencia conjunto de parámetros (SPS) o el conjunto de parámetros de imagen (PPS). Aquí, la información que indica el patrón de división de la imagen incluye, por ejemplo, el número de columnas, el número de filas, el indicador uniforme de ancho de columna y el indicador uniforme de altura de fila. Además, dicha información incluye, según sea necesario, el ancho de la columna o el alto de la fila.
La Figura 3A a la Figura 3C son diagramas que muestran ejemplos de patrones en la división de una imagen en mosaicos. Una línea discontinua en la Figura 3A a la Figura 3C indica que los mosaicos en ambos lados de un límite son dependientes, y una línea continua indica que los mosaicos en ambos lados del límite de mosaico son independientes entre sí, es decir, se corta su relación de dependencia. Específicamente, cuando dos mosaicos están en una relación de dependencia, el aparato 100 de codificación de imágenes codifica uno de los mosaicos haciendo referencia a la información de codificación del otro. Además, cuando dos mosaicos son independientes entre sí, el aparato 100 de codificación de imágenes codifica uno de los mosaicos sin hacer referencia a la información de codificación del otro. Aquí, la información de codificación es información que se utiliza en la codificación, y es específicamente la información de píxeles (valor de píxeles) en la intrapredicción, así como la información del vector de movimiento en la interpredicción. En la siguiente descripción, cuando dos mosaicos están en una relación de dependencia, se dice que las dos mosaicos (par de mosaicos) son dependientes, y cuando la relación de dependencia entre dos mosaicos se corta, se dice que las dos mosaicos (par de mosaicos) son independientes Además, cuando los mosaicos en ambos lados de un límite son dependientes, se dice que el límite es dependiente, y cuando los mosaicos en ambos lados del límite del mosaico son independientes, se dice que el límite es independiente.
En la Figura 3A, los pares de mosaicos en la dirección vertical (por ejemplo, el par de T1 y T4) son dependientes, y los pares de mosaicos en la dirección horizontal (por ejemplo, el par de T1 y T2) son independientes. Además, la relación de dependencia de mosaico en el límite de mosaico se indica utilizando información de independencia de límite de mosaico para la cual se asignan 2 bits. Por ejemplo, el primer bit indica las relaciones de dependencia del par de mosaicos en la dirección horizontal, y el segundo bit indica las relaciones de dependencia del par de mosaicos en la dirección vertical. Un bit se establece en “1” cuando los mosaicos son independientes, y el bit se establece en “0” cuando los mosaicos son dependientes. En este caso, la información de independencia de límite de mosaico para La Figura 3A es “0b10”.
En la Figura 3B, los mosaicos en la dirección horizontal son independientes, y los mosaicos en la dirección vertical son independientes. Por lo tanto, la información de independencia de límite de mosaico es “0b01”. Debe notarse que la información de independencia de límite de mosaico es “0x11” cuando todos los pares de mosaico son independientes, y la información de independencia de límite de mosaico es “0b00” cuando todos los pares de mosaico son dependientes.
En la Figura 3C la relación de dependencia del par de mosaicos es diferente en cada límite de mosaico. Incluso para los pares de mosaicos en la dirección vertical, el mosaico T1 y el mosaico T4 son independientes, mientras que los mosaicos T2 y T5 son dependientes. Cabe señalar que la Figura 3(c) es un ejemplo, y la relación de dependencia del par de mosaicos durante la codificación y descodificación puede establecerse arbitrariamente para cada límite de mosaicos vecinos.
La Figura 4A y la Figura 4B son diagramas que muestran información de independencia del límite de mosaico cuando se establecen las relaciones de dependencia del par de mosaicos sobre una base de límite de mosaico. La información 140 de independencia de límite de mosaico mostrada en la Figura 4A incluye: 1 bit de información 141 de dependencia global que indica la relación de dependencia de par de mosaico general; bits múltiples ((número de columnas - 1) x número de filas) de información 142 de dependencia horizontal que indica la relación de dependencia del par de mosaicos en la dirección horizontal; y múltiples bits (número de columnas x (número de filas - 1)) de información 143 de dependencia vertical que indica la relación de dependencia del par de mosaicos en la dirección vertical. Además, la Figura 4A y la Figura 4B son ejemplos de información de independencia de límite de mosaico en el caso de la relación de dependencia mostrada en la Figura 3C.
Los bits respectivos incluidos en la información 142 de dependencia horizontal indican secuencialmente, a partir del bit principal, la relación de dependencia entre T1 y T2, la relación de dependencia entre T2 y T3, la relación de dependencia entre T3 y T4, la relación de dependencia entre T4 y T5, la relación de dependencia entre T5 y T6, la relación de dependencia entre T6 y T7, la relación de dependencia entre T7 y T8, y la relación de dependencia entre T8 y T9. Además, los bits respectivos incluidos en la información 143 de dependencia vertical indican secuencialmente, a partir del bit principal, la relación de dependencia entre T1 y T4, la relación de dependencia entre T2 y T5, la relación de dependencia entre T3 y T6, la relación de dependencia entre T4 y T7, la relación de dependencia entre T5 y T8, y la relación de dependencia entre T6 y T9.
En el ejemplo de la Figura 3C, debido a que T2 y T5, y T5 y T8 son dependientes, el segundo bit y el quinto bit del bit inicial de la información 143 de dependencia vertical se ponen a “0” en la información 140 de independencia de límite de mosaico mostrada en la Figura 4A. Debe observarse que cuando todos los pares de mosaicos son independientes, el 1 bit inicial de la información 141 de dependencia global se establece en “1”, y la información 142 de dependencia horizontal y la información 143 de dependencia vertical se omiten.
La Figura 4B es un diagrama que muestra otro ejemplo de información de independencia de límite de mosaico. La información 145 de independencia de límite de mosaico mostrada en la Figura 4B incluye: 2 bits de información 146 de dependencia general que indica las relaciones de dependencia del par de mosaicos; bits múltiples ((número de columnas - 1) x número de filas) de la información 142 de dependencia horizontal que indica las relaciones de dependencia del par de mosaicos en la dirección horizontal; y múltiples bits (número de columnas x (número de filas - 1)) de la información 143 de dependencia vertical que indica las relaciones de dependencia del par de mosaicos en la dirección vertical. Aquí, los dos bits principales de la información 146 de independencia de límite de mosaico son la información de independencia de límite de mosaico utilizada en la Figura 3A y la Figura 3A. Específicamente, el primer bit de la información 146 de independencia de límite de mosaico indica las relaciones de dependencia del par de mosaicos en la dirección horizontal, y el segundo bit indica las relaciones de dependencia del par de mosaicos en la dirección vertical. Debe observarse que la información 142 de dependencia horizontal y la información 143 de dependencia vertical son las mismas que las descritas en la Figura 4A. En el ejemplo de la Figura 3C, los pares de mosaicos en la dirección horizontal son independientes. Por lo tanto, la información 146 de dependencia general es “0b10”. Además, dado que los pares de mosaicos en la dirección horizontal son independientes, se omite la información 142 de dependencia horizontal. Específicamente, cuando la relación de dependencia entre todos los pares de mosaicos en la dirección horizontal es independiente en la información 145 de independencia del límite de mosaico mostrada en la Figura 4B, se omite la información 142 de dependencia horizontal. Además, cuando la relación de dependencia entre todos los pares de mosaicos en la dirección vertical es independiente, se omite la información 143 de dependencia vertical. Con esto, se puede reducir el número de bits de la información 145 de independencia de límite de mosaico.
En la presente memoria, una de las ventajas de dividir una imagen es que hace posible el procesamiento paralelo. Por ejemplo, en la Figura 3A a la Figura 3C, la imagen se divide en nueve mosaicos, y cuando todos los mosaicos son independientes, el aparato de codificación de imágenes y el aparato de descodificación de imágenes pueden codificar o descodificar los nueve mosaicos en paralelo. En la codificación y descodificación de imágenes de alta definición llamadas Super Hi-Vision y Ultra High Definition Television (UHDTV) que exceden el nivel de definición en Hi-Vision, la carga de cómputo es alta y el procesamiento en tiempo real es difícil. Como tal, cuando se codifican y descodifican imágenes de alta definición, la necesidad de procesamiento paralelo es particularmente alta. Por otro lado, en la codificación, la precisión de la predicción se deteriora cuanto más se cortan las relaciones de dependencia de los pares de mosaicos. De acuerdo con lo anterior, la eficiencia de codificación se deteriora. Por lo tanto, cortar las relaciones de dependencia de los pares de mosaicos más allá de lo necesario es indeseable desde el punto de vista de la eficiencia de codificación.
Por ejemplo, se supone que el aparato de codificación de imágenes y el aparato de descodificación de imágenes pueden usar hasta tres procesadores y pueden realizarse 3 procesamientos en paralelo. En esta situación, incluso en el caso de división en nueve mosaicos como se muestra en la Figura 3A a la Figura 3C, es suficiente establecer los grupos de mosaicos independientes (grupos que incluyen uno o más mosaicos) en 3, que es equivalente al número de procesadores con los que es posible el procesamiento en paralelo. Dividir la imagen en más de tres grupos de mosaicos independientes conduce a una reducción innecesaria en la eficiencia de codificación. Específicamente, cuando las relaciones de dependencia de pares de mosaicos (que hacen que los pares de mosaicos sean dependientes o independientes) se establecen en una imagen, incluso cuando el aparato de codificación de imágenes o el aparato de descodificación de imágenes solo es capaz de procesar en 3 paralelos, las relaciones de dependencia de todos los mosaicos Se cortan los pares de la imagen. Esto conduce al deterioro de la eficiencia de codificación.
Por otro lado, de acuerdo con esta realización, la relación de dependencia de los pares de mosaicos se puede establecer de forma límite. Con esto, por ejemplo, es posible generar grupos de mosaicos independientes que coincidan con el número de paralelos que el aparato de codificación de imágenes o el aparato de descodificación de imágenes pueden procesar en paralelo. Por lo tanto, el aparato 100 de codificación de imágenes de acuerdo con esta realización es capaz de suprimir el deterioro de la eficiencia de codificación y realizar el procesamiento en paralelo de un número arbitrario de paralelos. De esta manera, el aparato 100 de codificación de imágenes de acuerdo con esta realización es capaz de mejorar la eficiencia de codificación.
Como se describió anteriormente, en el aparato 100 de codificación de imágenes de acuerdo con esta realización, la unidad 112 de control de división de imagen divide una imagen en mosaicos. La unidad 115 de codificación codifica los mosaicos respectivos para generar piezas de datos 133 codificados cada uno correspondiente a uno diferente de los mosaicos. La unidad 114 multiplex genera un flujo de bits que incluye las piezas de datos 133 codificados.
Además, la unidad 112 de control de división de imagen clasifica cada límite entre pares respectivos de mosaicos, entre los mosaicos plurales, en un primer límite (dependiente) y un segundo límite (independiente). Para cada uno de los mosaicos, la unidad 115 de codificación codifica el mosaico haciendo referencia a la información de codificación de un mosaico que se encuentra a través de un primer límite, y sin referirse a la información de codificación de un mosaico ubicado a través de un segundo límite, entre los mosaicos codificados adyacente al mosaico a codificar. Además, la unidad 114 multiplex genera el flujo 134 de bits que incluye información de independencia del límite de mosaico que indica si cada uno de los límites del par de mosaicos de los mosaicos plurales es un primer límite o un segundo límite.
Esto permite establecer la relación de dependencia entre mosaicos en base a un límite de par de mosaicos. Por lo tanto, la eficiencia de codificación se mejora en comparación con cuando se establecen las relaciones de dependencia de los mosaicos, por ejemplo, sobre una base de imagen.
A continuación, se describirá el aparato de descodificación de imágenes de acuerdo con esta realización.
La Figura 5 es un diagrama de bloques de un aparato 200 de descodificación de imágenes que utiliza el procedimiento de descodificación de imágenes de acuerdo con esta realización.
El aparato 200 de descodificación de imágenes mostrado en la Figura 5 descodifica un flujo 234 de bits para generar datos 226 de imagen descodificados. El aparato 200 de descodificación de imágenes incluye una unidad 215 de descodificación, una unidad 201 de análisis y una unidad 212 de control de división de imagen. Además, la unidad 215 de descodificación incluye una unidad 204 de cuantificación inversa, una unidad 205 de transformación inversa ortogonal, un sumador 206, una memoria 207 de bloque, una memoria 208 de trama, una unidad 209 de intrapredicción, una unidad 210 de interpredicción, una unidad 211 de determinación de tipo de imagen y una unidad 213 de descodificación de longitud variable.
En este caso, el flujo 234 de bits corresponde al flujo 134 de bits generado por el aparato 100 de codificación de imágenes descrito anteriormente.
La unidad 201 de análisis analiza el flujo 234 de bits para obtener datos 233 codificados e información 235 de división de imagen que se incluye en un conjunto de parámetros de secuencia o un conjunto de parámetros de imagen del flujo 234 de bits. La información 235 de división de imagen corresponde a la información 135 de división de imagen descrita anteriormente, e indica el patrón de división de imagen y las relaciones de dependencia del par de mosaicos.
En base al patrón de división de imagen y las relaciones de dependencia del par de mosaicos que se indican mediante la información 235 de división de imagen, la unidad 212 de control de división de imagen genera una señal 232 de control de división para controlar la unidad 209 de intrapredicción, la unidad 210 de interpredicción, y la unidad 213 de descodificación de longitud variable.
La unidad 215 de descodificación descodifica los datos 233 codificados para generar datos 226 de imagen descodificados.
La unidad 213 de descodificación de longitud variable realiza una descodificación de longitud variable en los datos 233 codificados para generar coeficientes 223 cuantificados.
La unidad 204 de cuantificación inversa cuantifica inversamente los coeficientes 223 cuantificados para generar coeficientes 224 transformados. La unidad 205 de transformación inversa-ortogonal transforma los coeficientes 224 transformados, del dominio de frecuencia al dominio de imagen, para generar datos 225 de error de predicción. El sumador 206 suma los datos 231 de imagen predichos y los datos 225 de error de predicción para generar datos 226 de imagen descodificados. La memoria 207 de bloque almacena los datos 226 de imagen descodificados, en unidades de bloque, como datos 227 de imagen descodificados. La memoria 208 de trama almacena datos 226 de imagen descodificados, en unidades de trama, como datos 228 de imagen descodificados.
La unidad 209 de intrapredicción realiza una intrapredicción usando una unidad de bloque de los datos 227 de imagen descodificados almacenados en la memoria 207 de bloque, para generar datos 229 de imagen predichos del bloque actual a descodificar. Además, la unidad 209 de intrapredicción detecta las relaciones de dependencia del par de mosaicos, en base a la señal 232 de control de división enviada desde la unidad 212 de control de división de imagen. Luego, la unidad 209 de intrapredicción realiza intrapredicción sin usar la información de imagen de un bloque incluido en un mosaico cuya relación de dependencia se corta.
La unidad 210 de interpredicción realiza una interpredicción usando una unidad de trama de los datos 228 de imagen descodificados almacenados en la memoria 208 de trama, para generar datos 230 de imagen predichos del bloque actual. Además, la unidad 210 de interpredicción detecta las relaciones de dependencia del par de mosaicos, basándose en la señal 232 de control de división enviada desde la unidad 212 de control de división de imagen. Luego, la unidad 210 de interpredicción realiza la predicción del vector de movimiento sin usar la información del vector de movimiento de un bloque incluido en un mosaico cuya relación de dependencia se corta.
De acuerdo con la configuración descrita anteriormente, el aparato 200 de descodificación de imagen de acuerdo con esta realización es capaz de descodificar el flujo de bits generado por el aparato 100 de codificación de imagen descrito anteriormente.
[Realización 21
En esta realización, se describirá una modificación del aparato 100 de codificación de imágenes descrito previamente de acuerdo con la Realización 1. Cabe señalar que, en lo sucesivo, la descripción se llevará a cabo principalmente en los puntos de diferencia con la Realización 1 y se omitirá la descripción superpuesta.
La Figura 6 es un diagrama de bloques que muestra la configuración de un aparato de codificación de imágenes que utiliza el procedimiento de codificación de imágenes de acuerdo con esta realización. Se da la misma referencia numérica a elementos constituyentes que son los mismos que los de la Figura 1.
Un aparato 100A de codificación de imágenes mostrado en la Figura 6 incluye una unidad 150 de control de imagen de entrada, además de la configuración del aparato 100 de codificación de imagen mostrado en la Figura 1. Además, la función de una unidad 112A de control de división de imagen es diferente de la de la unidad 112 de control de división de imagen.
Específicamente, además de la función de dividir una imagen en mosaicos como se describe en la Realización 1, la unidad 112A de control de división de imagen, que es un ejemplo de la unidad de división, determina el orden para codificar y descodificar los mosaicos, y genera información 135A de división de imagen que incluye información de orden de procesamiento de mosaico que indica el orden determinado. Entonces, la unidad 112a de control de división de imagen transmite, a la unidad 114 multiplex, la información 135A de división de imagen que incluye la información de orden de procesamiento de mosaico, como parte de un conjunto de parámetros de secuencia (SPS) o un conjunto de parámetros de imagen (PPS).
Además, la unidad 112A de control de división de imagen genera, basándose en el patrón de división de imagen, las relaciones de dependencia del par de mosaicos y el orden de codificación, una señal 132A de control de división para controlar la unidad 109 de intrapredicción, la unidad 110 de interpredicción, la unidad 113 de codificación de longitud variable, la memoria 108 de trama y la unidad 150 de control de imagen de entrada. Debe observarse que la operación de información 135A de división de imagen basada en la unidad 109 de intrapredicción, la unidad 110 de interpredicción y la unidad 113 de longitud variable es la misma que en la Realización 1.
La unidad 150 de control de imagen de entrada reorganiza la señal 120 de imagen de entrada, en forma de bloque, a un orden predeterminado, para así ingresar una señal 160 de imagen reorganizada a la unidad de codificación. Cuando la imagen se divide en mosaicos, la unidad 150 de control de imagen de entrada determina el orden de los bloques de acuerdo con el orden de codificación indicado por la señal 132A de control de división transmitida desde la unidad 112 de control de división de imagen.
De acuerdo con la señal 132A de control de división, la memoria 108 de trama reconoce el orden en que se procesarán los mosaicos, y almacena los datos 128 de imagen descodificados en un área de memoria apropiada.
A continuación, se describirá la información de orden de procesamiento de mosaico que indica el orden para procesar (escanear) los mosaicos. Al utilizar la información del orden de procesamiento de mosaicos, el aparato de codificación de imágenes y el aparato de descodificación de imágenes pueden identificar la dirección de exploración de mosaicos y el orden de exploración de columnas o filas, e identificar de forma única el orden de codificación o descodificación de los mosaicos en la imagen.
La Figura 7A a la Figura 7D son diagramas que muestran cada uno, para una imagen que se ha dividido en nueve mosaicos, un orden en el que los mosaicos deben procesarse (escanearse). Cabe señalar que los mosaicos deben procesarse en un orden de T1 a T9.
La Figura 7A muestra el caso de una exploración de ráster. Específicamente, se selecciona la fila superior y, en la fila seleccionada, los mosaicos se seleccionan secuencialmente en una dirección horizontal (hacia la derecha) desde el mosaico de la izquierda. Cuando se seleccionan todos los mosaicos en una fila, se selecciona la siguiente fila a continuación y, en la fila seleccionada, los mosaicos también se seleccionan secuencialmente hacia la derecha desde el mosaico de la izquierda.
En la Figura 7B, se selecciona la columna izquierda y, en la columna seleccionada, los mosaicos se seleccionan secuencialmente en la dirección vertical (dirección hacia abajo) desde el mosaico en la parte superior. Cuando se seleccionan todos los mosaicos en una columna, se selecciona la siguiente columna a la izquierda y, en la columna seleccionada, los mosaicos también se seleccionan secuencialmente hacia abajo desde el mosaico en la parte superior. En otras palabras, los mosaicos se escanean en dirección vertical.
De esta manera, las direcciones de exploración se clasifican ampliamente en la dirección horizontal y la dirección vertical. A continuación, se describirá el orden de exploración de filas. en la Figura 7A, los mosaicos se escanean en dirección horizontal, y las filas se escanean de arriba a abajo (en el orden de la primera fila, la segunda fila y la tercera fila). Por el contrario, en la Figura 7C, la exploración de los mosaicos en la dirección horizontal es el mismo que en la Figura 7A, pero las filas se escanean en el orden de centro, arriba, abajo (segunda columna, primera columna, tercera columna). Además, aunque no se muestra en la figura, las filas se pueden escanear en el orden de centro, inferior, superior (tercero, segundo, primero) o de abajo hacia arriba (tercero, segundo, primero).
Además, al orden de exploración de las filas se le asigna una ID predeterminada de antemano, y el aparato de codificación de imágenes y el aparato de descodificación de imágenes comparten dicha información. Por ejemplo, “1” se asigna como una ID de exploración de fila al orden de exploración en la Figura 7A, y “2” se asigna como ID de exploración de fila al orden de exploración en la Figura 7C. Luego, la ID de exploración de fila se envía desde el aparato de codificación de imagen al aparato de descodificación de imagen. Con esto, el aparato de descodificación de imágenes es capaz de identificar el orden de exploración de filas utilizando la ID de exploración de filas.
Los detalles para el orden de exploración de columna son los mismos que en el orden de exploración de fila. en la Figura 7B, los mosaicos se escanean en la dirección vertical, y las columnas se escanean de izquierda a derecha (en el orden de la primera columna, segunda columna y tercera columna). Por el contrario, en la Figura 7D, la exploración de los mosaicos en la dirección vertical es el mismo, pero las columnas se escanean en el orden de centro, izquierda, derecha (segunda columna, primera columna, tercera columna). Además, aunque no se muestra en la figura, las columnas se pueden escanear en el orden de centro, derecha, izquierda (segundo, tercero, primero) o de derecha a izquierda (tercero, segundo, primero).
Además, al orden de exploración de las columnas también se le asigna una ID predeterminada de antemano, y el aparato de codificación de imágenes y el aparato de descodificación de imágenes comparten dicha información. La información del orden de procesamiento de mosaico incluye la dirección de exploración de mosaico (la dirección horizontal o la dirección vertical) y la ID de exploración de columna o fila. Al utilizar la información del orden de procesamiento de los mosaicos, el aparato de descodificación de imágenes puede identificar de forma única el orden de descodificación de los mosaicos en la imagen. Cabe señalar que, aunque en la Figura 2 se muestra un ejemplo en el que una imagen se divide en 9 mosaicos. 7A a la Figura 7D, otros procedimientos de división de mosaico (número de columnas y número de filas) son aceptables.
De esta manera, el aparato 100A de codificación de imágenes en esta realización es capaz de cambiar el orden de procesamiento de los mosaicos en una imagen. Al controlar el orden de procesamiento de los mosaicos de esta manera, es posible transmitir solo el grupo de mosaicos principal según el estado de las comunicaciones y la aplicación. Por ejemplo, para una conferencia telefónica y similares, un grupo de mosaicos en una columna central en la que aparece una persona puede codificarse primero.
Como se describió anteriormente, en el aparato 100A de codificación de imagen de acuerdo con esta realización, la unidad 112A de control de división de imagen determina el orden de codificación de múltiples mosaicos. La unidad 115 de codificación codifica los mosaicos en el orden de codificación determinado por la unidad 112A de control de división de imagen. La unidad 114 multiplex genera el flujo 134 de bits que incluye la información del orden de procesamiento en mosaico que indica el orden de codificación determinado.
Con esto, el orden de descodificación de mosaico en el aparato de descodificación de imagen puede establecerse arbitrariamente. Por lo tanto, por ejemplo, entre las imágenes de regiones incluidas en una imagen, la imagen de una región que tiene una alta prioridad puede descodificarse por delante en el aparato de descodificación de imágenes.
A continuación, se describirá el aparato de descodificación de imágenes de acuerdo con esta realización.
La Figura 8 es un diagrama de bloques que muestra la configuración de un aparato de descodificación de imágenes que utiliza el procedimiento de descodificación de imágenes de acuerdo con esta realización. Cabe señalar que se da la misma referencia numérica a elementos constituyentes que son los mismos que los de la Figura 5)
En la presente memoria, el flujo 234 de bits corresponde al flujo 134 de bits generado por el aparato 100A de codificación de imágenes descrito anteriormente.
Un aparato 200A de descodificación de imagen mostrado en la Figura 8 incluye una unidad 250 de control de imagen de salida, además de la configuración del aparato 200 de descodificación de imagen mostrado en la Figura 5. Además, las funciones de una unidad 201A de análisis y una unidad 212A de control de división de imagen son diferentes de las de la unidad 201 de análisis y la unidad 212 de control de división de imagen. Específicamente, la unidad 201A de análisis analiza el flujo 234 de bits para obtener los datos 233 codificados y la información 235A de división de imagen. La información 235A de división de imagen corresponde a la información 135A de división de imagen descrita anteriormente, e incluye información de orden de procesamiento de mosaico que indica el orden en que se descodificarán los mosaicos.
La unidad 212A de control de división de imagen genera, basándose en el patrón de división de imagen, las relaciones de dependencia del par de mosaicos y el orden de descodificación que se indica mediante la información 235A de división de imagen, una señal 232A de control de división para controlar la unidad 209 intra predicción, la unidad 210 de interpredicción, la unidad 213 de descodificación de longitud variable, la memoria 208 de trama y la unidad 250 de control de imagen de salida. Debe observarse que la operación de información 135A de división de imagen de la unidad 209 de intrapredicción, la unidad 210 de interpredicción, y la unidad 213 de descodificación de longitud variable es la misma que en la Realización 1.
La unidad 250 de control de imagen de salida reorganiza los datos 226 de imagen descodificados en un orden predeterminado en bloque, y emite una señal 260 de imagen reorganizada hacia el exterior del aparato. Cuando la imagen se divide en mosaicos, la unidad 250 de control de imagen de salida determina el orden de los bloques de acuerdo con el orden de descodificación indicado por la señal 232A de control de división transmitida desde la unidad 212A de control de división de imagen.
De acuerdo con la señal 232A de control de división, la memoria 208 de trama reconoce el orden en el que se procesarán los mosaicos, y almacena los datos 228 de imagen descodificados en un área de memoria apropiada.
De acuerdo con la configuración descrita anteriormente, el aparato 200A de descodificación de imagen de acuerdo con esta realización es capaz de descodificar el flujo de bits generado por el aparato 100A de codificación de imagen descrito anteriormente.
[Realización 31
En esta realización, se describirá una modificación del aparato 100 de codificación de imágenes descrito previamente de acuerdo con la Realización 1. Cabe señalar que, en lo sucesivo, la descripción se llevará a cabo principalmente en los puntos de diferencia con la Realización 1 y se omitirá la descripción superpuesta.
Como se describe en la Realización 1, en la descodificación de imágenes de alta definición llamadas Super Hi-Vision y UHDTV que exceden el nivel de definición en Hi-Vision, la carga de cálculo es alta y el procesamiento en tiempo real es difícil. Como tal, cuando descodifica imágenes de alta definición, el aparato de descodificación de imágenes necesita realizar un procesamiento paralelo en el flujo de bits. Dado que las relaciones de dependencia del par de mosaicos se cortan, el aparato de descodificación de imágenes puede descodificar un mosaico independientemente de otros mosaicos.
Sin embargo, en la descodificación, el procesamiento en paralelo no puede implementarse a menos que el aparato de descodificación de imagen pueda detectar la posición de avance (punto de entrada) de cada mosaico en el flujo de bits. Ya se conoce un procedimiento para resolver este problema (véase, Literatura no de patentes 2). De acuerdo con este procedimiento, el aparato de codificación de imágenes inserta un marcador de mosaico en la posición principal de cada mosaico en el flujo de bits. El aparato de descodificación de imágenes es capaz de reconocer la posición de avance (punto de entrada) de cada mosaico en el flujo de bits escaneando el flujo de bits y detectando los marcadores de mosaico.
Sin embargo, insertar un marcador de mosaico en la posición de avance (límite de mosaico) de todos los mosaicos en el flujo de bits conduciría al deterioro de la eficiencia de codificación. La salida de flujo de bits por la unidad de codificación de longitud variable no está alineada en bytes en los límites de mosaico. Por lo tanto, para insertar un marcador de mosaico en la posición inicial de cada mosaico, es necesario restablecer la codificación de entropía (por ejemplo, CABAC) mediante la unidad de codificación de longitud variable. Además, restablecer la codificación de entropía conduce al deterioro de la eficiencia de codificación.
En contraste, el aparato de codificación de imágenes de acuerdo con esta realización determina, para cada límite de mosaico en el flujo de bits, si se inserta o no un marcador de mosaico, e inserta un marcador de mosaico solo en parte de los marcadores de mosaico. De acuerdo con lo anterior, el aparato de codificación de imágenes puede reducir el número de veces que se reinicia la codificación de entropía, y de este modo se puede mejorar la eficiencia de codificación.
La Figura 9 es un diagrama de bloques que muestra la configuración de un aparato 100B de codificación de imágenes que usa el procedimiento de codificación de imágenes de acuerdo con esta realización. Cabe señalar que se da la misma referencia numérica a elementos constituyentes que son los mismos que los de la Figura 1) El aparato 100B de codificación de imagen mostrado en la Figura 9 incluye una unidad 151 de inserción de marcador, además de la configuración del aparato 100 de codificación de imágenes mostrado en la Figura 1. Además, las funciones de una unidad 113B de codificación de longitud variable y una unidad 114B multiplex son diferentes de las de la unidad 113 de codificación de longitud variable y la unidad 114 multiplex, respectivamente. Basado en la señal 132 de control de división transmitida desde la unidad 112 de control de división de imagen, la unidad 151 de inserción de marcador inserta, en cada límite de mosaico entre piezas de datos 133 codificados, un marcador 161 de mosaico para identificar el límite de mosaico. Específicamente, la unidad 151 de inserción de marcador controla la unidad 113B de codificación de longitud variable para restablecer la codificación de entropía (CABAC) en un límite independiente, notificando a la unidad 113B de codificación de longitud variable de dicho límite de mosaico independiente. Además, la unidad 151 de inserción de marcador transmite un marcador 161 de mosaico a la unidad 114B multiplex, en un límite de mosaico independiente.
La unidad 113B de codificación de longitud variable restablece la codificación de entropía (CABAC) en el límite de mosaico especificado, de acuerdo con la notificación de la unidad 151 de inserción de marcador.
La unidad 114B multiplex genera el flujo 134 de bits insertando el marcador 161 de mosaico transmitido por la unidad 151 de inserción de marcador, en el límite de mosaico especificado de las piezas de datos 133 codificados.
La Figura 10 es un diagrama de flujo del proceso de inserción de marcador realizado por la unidad 151 de inserción de marcador de acuerdo con esta realización.
Primero, la unidad 151 de inserción de marcador recibe la señal 132 de control de división desde la unidad 112 de control de división de imagen (S121). Esta señal 132 de control de división representa información con respecto a la división en mosaico. Debe observarse que la unidad 151 de inserción de marcador puede recibir la información 135 de división de imagen en lugar de la señal 132 de control de división. Cabe señalar que la información con respecto a la división de todos los mosaicos en la imagen no necesita recibirse de una vez, y la información con respecto a un mosaico puede recibirse en el momento en que dicho mosaico debe ser procesado por el aparato 100B de codificación de imágenes.
A continuación, la unidad 151 de inserción de mosaico obtiene la relación de dependencia en el límite entre el mosaico que se está procesando actualmente y el mosaico a procesar a partir de aquí, que está incluido en la señal 132 de control de división (S122), y determina la relación de dependencia entre el mosaico que se está procesando actualmente y el mosaico que se procesará desde aquí (S123).
Cuando los mosaicos son dependientes (Sí en S123), la unidad 151 de inserción de marcador finaliza el proceso. Por otro lado, cuando los mosaicos no son dependientes, es decir, los mosaicos son independientes (No en S123), la unidad 151 de inserción de marcador controla la unidad 113B de codificación de longitud variable para restablecer la codificación de entropía (CABAC) (S124). Con esto, la unidad 113B de codificación de longitud variable restablece la codificación de entropía (CABAC) al final del mosaico que se está procesando actualmente, y realiza la alineación de bytes. Entonces, la unidad 113B de codificación de longitud variable envía los datos 133 codificados del mosaico que se está procesando actualmente a la unidad 114B multiplex.
A continuación, la unidad 151 de inserción de marcador transmite un marcador 161 de mosaico a la unidad 114B multiplex. La unidad 114B múltiplex inserta el marcador 161 de mosaico inmediatamente después del flujo de bits del mosaico que se está procesando actualmente, es decir, al comienzo del flujo de bits del mosaico a procesar desde aquí (S125).
Como se describió anteriormente, la unidad 151 de inserción de marcador alterna entre insertar y no insertar marcadores de mosaico 161 en los límites de mosaico respectivos en el flujo de bits, dependiendo de la relación de dependencia en el límite de mosaico.
Debe observarse que, en la etapa S121, cuando la señal 132 de control de división recibida indica que todos los límites de mosaico en la imagen son dependientes, la unidad 151 de inserción de marcador puede omitir el proceso desde las etapas S122 a S125 para dicha imagen.
De esta manera, el aparato 100B de codificación de imagen de acuerdo con esta realización es capaz de reducir el número de veces que se reinicia la codificación de entropía (CABAC), controlando la inserción de marcadores de mosaico en los límites de mosaico respectivos de un flujo de bits. En consecuencia, el aparato 100B de codificación de imágenes es capaz de mejorar la eficiencia de codificación.
Como se describió anteriormente, en el aparato 100B de codificación de imágenes de acuerdo con esta realización, entre los límites de datos de piezas de datos 133 codificados, la unidad 151 de inserción de marcador se inserta, solo en un límite de datos para el cual el límite entre dos mosaicos corresponde a dos piezas de datos codificados en lados opuestos del límite de datos es un segundo límite (independiente), un marcador para identificar dicho límite de datos.
De acuerdo con lo anterior, el aparato 100B de codificación de imagen es capaz de mejorar la eficiencia de codificación en comparación con cuando se insertan marcadores en todos los límites del mosaico.
A continuación, se describirá el aparato de descodificación de imágenes de acuerdo con esta realización.
La Figura 11 es un diagrama de bloques que muestra la configuración de un aparato de descodificación de imágenes que utiliza el procedimiento de descodificación de imágenes de acuerdo con esta realización. Cabe señalar que se da la misma referencia numérica a elementos constituyentes que son los mismos que los de la Figura 5)
En la presente memoria, el flujo 234 de bits corresponde al flujo 134 de bits generado por el aparato 100B de codificación de imágenes descrito anteriormente.
En un aparato 200A de descodificación de imagen mostrado en la Figura 11, la función de una unidad 201B de análisis es diferente de la de la unidad 201 de análisis.
Específicamente, la unidad 201B de análisis analiza el flujo 234 de bits para obtener los datos 233 codificados y la información 235 de división de imagen. Además, la unidad 201B de análisis detecta el marcador 161 de mosaico insertado en un límite de mosaico, y reconoce la posición detectada como el límite de mosaicos. Además, la unidad 201B de análisis notifica el límite de mosaico detectado a la unidad 213 de descodificación de longitud variable.
Además, cuando la unidad 215 de descodificación realiza un procesamiento paralelo, la unidad 201B de análisis extrae, del flujo 234 de bits, los datos 233 codificados correspondientes a cada mosaico dependiendo del límite del mosaico, y envía los datos 233 codificados a la unidad 215 de descodificación.
De acuerdo con la configuración descrita anteriormente, el aparato 200B de descodificación de imagen de acuerdo con esta realización es capaz de descodificar el flujo de bits generado por el aparato 100B de codificación de imagen descrito anteriormente.
[Realización 41
En esta realización, se describirá un aparato de codificación de imágenes y un aparato de descodificación de imágenes que realizan la alineación de bytes en un límite de mosaico.
La Figura 12 es un diagrama de bloques que muestra la configuración de un aparato 100C de codificación de imágenes de acuerdo con esta realización. Se da la misma referencia numérica a elementos constituyentes que son los mismos que los de la Figura 1.
El aparato 100C de codificación de imagen mostrado en la Figura 12 es diferente en comparación con la configuración del aparato 100 de codificación de imágenes mostrado en la Figura 1 en que las funciones de una unidad 112C de control de división de imagen y una unidad 113C de codificación de longitud variable son diferentes de las de la unidad 112 de control de división de imagen y la unidad 113 de codificación de longitud variable.
La unidad 112C de control de división de imagen, que es un ejemplo de la unidad de división, divide una imagen en mosaicos. Además, aunque la unidad 112 de control de división de imagen cambia la relación de dependencia en base al límite de mosaico en la Realización 1, la unidad 112C de control de división de imagen maneja todos los mosaicos como independientes. Además, la unidad 112C de control de división de imagen genera información 135C de división de imagen que indica el patrón de división de imagen. En la presente memoria, la información que indica el patrón de división de imágenes incluye, por ejemplo, el número de columnas, el número de filas, el indicador uniforme de ancho de columna y el indicador uniforme de altura de fila, el ancho de columna y la altura de fila, que han sido previamente descritos.
Debe observarse que, aunque a continuación se describirá un ejemplo en el que la unidad 112C de control de división de imagen maneja todos los mosaicos como independientes, la unidad 112C de control de división de imagen también puede cambiar la relación de dependencia de mosaico sobre una base de límite de mosaico en de la misma manera que en la Realización 1.
Entonces, la unidad 112C de control de división de imagen transmite, a la unidad 114 multiplex, la información 135C de división de imagen generada como parte de un conjunto de parámetros de secuencia o un conjunto de parámetros de imagen.
Además, la unidad 112C de control de división de imagen genera, en base al patrón de división de imagen, una señal 132C de control de división para controlar la unidad 109 de intrapredicción, la unidad 110 de interpredicción y la unidad 113C de codificación de longitud variable. Debe observarse que el funcionamiento basado en la información 135C de división de imagen en la unidad 109 de intrapredicción y la unidad 110 de interpredicción es la misma que la operación cuando los mosaicos son independientes en la Realización 1.
La codificación 113C de longitud variable realiza el procesamiento para restablecer la codificación de entropía en los límites del mosaico y realiza la alineación de bytes.
A continuación, se describirá el flujo del funcionamiento del aparato 100C de codificación de imágenes de acuerdo con esta realización.
La Figura 13A es un diagrama de flujo del procedimiento de codificación de imágenes realizado por el aparato 100C de codificación de imágenes de acuerdo con esta realización.
Primero, la unidad 112C de control de división de imagen divide una imagen en mosaicos (S201). Además, la unidad 112C de control de división de imagen genera información 135C de división de imagen que indica el patrón de división de imagen.
A continuación, la unidad 115 de codificación codifica los mosaicos respectivos para generar piezas de datos 133 codificados cada una correspondiente a uno de los mosaicos diferentes (S202).
A continuación, la unidad 114 multiplex genera el flujo 134 de bits que incluye los datos 133 codificados y la información 135C de división de imagen (S203).
La Figura 13B es un diagrama de flujo de la codificación (S202) realizado por la unidad 115 de codificación. Primero, la unidad 115 de codificación codifica un mosaico actual para ser procesado, que es uno de los mosaicos, para generar una cadena de código (S211). Debe observarse que el procedimiento específico para la codificación por la unidad 115 de codificación es, por ejemplo, el mismo que en la Realización 1. Además, la unidad 115 de codificación codifica el mosaico actual sin referirse a la información de codificación utilizada en la codificación de otro mosaico
En la presente memoria, la codificación incluye el proceso de generar una cadena de código a través de la codificación de entropía (codificación aritmética) realizada por la unidad 113C de codificación de longitud variable.
Además, la unidad 113C de codificación de longitud variable restablece la codificación de entropía (codificación aritmética) después de que finaliza la codificación del mosaico actual (S212). En la presente memoria, el reinicio incluye la terminación (también llamada vaciado) en la codificación aritmética. La terminación es el proceso de hacer que la cadena de código del mosaico actual sea independiente de la cadena de código de otro mosaico. Dicho de otra manera, la terminación es el proceso de concluir la cadena de código del mosaico actual. Específicamente, a modo de terminación, todas las cadenas de código que se procesan se emiten en un estado indescodificable de forma independiente.
A continuación, la codificación 113C de longitud variable realiza la alineación de bytes en la cadena de código actual a procesar (S213). Aquí, la alineación de bytes es un proceso de agregar una cadena de bits predeterminada después de la cadena de código actual para generar una unidad de bytes de los datos 133 codificados. Dicho de otra manera, la alineación de bytes es un proceso de ajustar el número de bits de la cadena de códigos actual para generar los datos 133 codificados en unidades de bytes.
La Figura 14 es un diagrama que muestra un ejemplo de alineación de bytes. Como se muestra en la Figura 14, la unidad 113C de codificación de longitud variable agrega una cadena de bits 282 detrás de una cadena de código actual a procesar 281 para generar los datos 133 codificados en unidades de bytes. Por ejemplo, la cadena de bits 282 es una cadena de bits que comienza con “1” y luego continúa con “0”.
Debe observarse que, aunque aquí se describe un ejemplo en el que la unidad 113C de codificación de longitud variable realiza la alineación de bytes para generar los datos 133 codificados en unidades de bytes, es suficiente que la alineación sea un proceso para ajustar los datos 133 codificados a un múltiplo de N bits predeterminados (N es un número entero mayor o igual a 2). Por ejemplo, la codificación 113C de longitud variable puede realizar la alineación para generar los datos 133 codificados en unidades de palabras.
Además, aunque se describe un ejemplo aquí en el que la alineación se realiza cuando la codificación aritmética (por ejemplo, CABAC) se realiza como la codificación de entropía, la misma alineación se puede realizar incluso cuando se realiza una codificación de entropía distinta de la codificación aritmética.
Además, la unidad 112C de control de división de imagen puede generar la información 135C de división de imagen que incluye información que indica la posición principal de los datos 133 codificados. Además, la información que indica la posición principal puede ser información que indica la posición en unidades de bytes (o en una unidad que sea igual a la utilizada en la alineación).
Con esto, el aparato 100C de codificación de imagen de acuerdo con esta realización realiza la alineación de bytes en los límites del mosaico. En consecuencia, los datos 133 codificados de cada mosaico se convierten en una unidad de bytes. Por lo tanto, se hace fácil manejar datos codificados en el aparato de descodificación de imágenes. Además, el aparato de descodificación de imágenes puede identificar fácilmente la posición principal de los datos codificados de un mosaico. De esta manera, el aparato 100C de codificación de imágenes es capaz de reducir la carga de procesamiento del aparato de descodificación de imágenes.
Además, el aparato 100C de codificación de imagen restablece la codificación de entropía en los límites del mosaico. En consecuencia, el aparato de descodificación de imágenes puede manejar los datos 133 codificados de cada mosaico de forma independiente.
A continuación, se describirá el aparato de descodificación de imágenes de acuerdo con esta realización.
La Figura 15 es un diagrama de bloques que muestra la configuración de un aparato de descodificación de imágenes que utiliza el procedimiento de descodificación de imágenes de acuerdo con esta realización. Cabe señalar que se da la misma referencia numérica a elementos constituyentes que son los mismos que los de la Figura 5.
En la presente memoria, el flujo 234 de bits corresponde al flujo 134 de bits generado por el aparato 100C de codificación de imágenes descrito anteriormente.
El aparato 200C de descodificación de imagen mostrado en la Figura 15 es diferente en comparación con el aparato 200 de descodificación de imágenes mostrado en la Figura 5 en que las funciones de una unidad 201C de análisis, una unidad 212C de control de división de imagen y una unidad 213C de descodificación de longitud variable son diferentes de las de la unidad 201 de análisis, la unidad 212 de control de división de imagen y la unidad 213 de descodificación de longitud variable
Específicamente, la unidad 201C de análisis analiza el flujo 234 de bits para obtener los datos 233 codificados y la información 235C de división de imagen. La información 235C de división de imagen corresponde a la información 135C de división de imagen descrita anteriormente, e indica el patrón de división de imagen.
Basado en el patrón de división de imagen indicado por la información 235C de división de imagen, la unidad 212C de control de división de imagen genera una señal 232C de control de división para controlar la unidad 209 intra predicción, la unidad 210 interpredicción y la unidad 213C de descodificación de longitud variable. Debe observarse que el funcionamiento basado en la información 135C de división de imagen en la unidad 209 de intrapredicción y la unidad 210 de interpredicción es la misma que la operación cuando los mosaicos son independientes en la Realización 1.
La unidad 213C de descodificación de longitud variable omite la cadena de bits predeterminada ubicada después de la cadena de código en los datos 233 codificados. Específicamente, la unidad 213C de descodificación de longitud variable omite la cadena de bits predeterminada insertada en el límite de mosaico en la alineación. A continuación, se describirá el flujo del funcionamiento del aparato 200C de descodificación de imágenes de acuerdo con esta realización.
La Figura 16A es un diagrama de flujo del procedimiento de descodificación de imágenes realizado por el aparato 200C de descodificación de imágenes de acuerdo con esta realización.
Primero, la unidad 201C de análisis obtiene la información 235C de división de imagen y los datos 233 codificados generados al codificar los mosaicos respectivos, que se incluyen en el flujo 234 de bits (S221). A continuación, la unidad 215 de descodificación descodifica cada una de las piezas de datos 233 codificados para generar los datos 226 de imagen descodificados que son los datos de imagen de los mosaicos (S222). La Figura 16B es un diagrama de flujo de la descodificación (S222) realizado por la unidad 215 de descodificación. Además, la Figura 16B muestra la descodificación de una única pieza de datos 233 codificados para procesar.
Primero, la unidad 215 de descodificación descodifica la cadena de código incluida en los datos 233 codificados actuales para procesar que corresponde a uno de los mosaicos, para generar datos 226 de imagen descodificados actuales para procesar (S231). Debe observarse que el procedimiento específico para la descodificación por la unidad 215 de descodificación es, por ejemplo, el mismo que en la Realización 1. Además, la unidad 215 de descodificación descodifica el mosaico actual a procesar, sin referirse a la información de descodificación utilizada en la descodificación de otro mosaico.
En la presente memoria, la descodificación incluye el proceso de generar una cadena de código (coeficientes 223 cuantificados) a través de la descodificación de entropía (descodificación aritmética) por la unidad 213C de descodificación de longitud variable.
Además, la unidad 213C de descodificación de longitud variable restablece la descodificación de entropía (descodificación aritmética) después de que finaliza la descodificación del mosaico actual (S232). En la presente memoria, el reinicio incluye la terminación (también llamada descarga) en la descodificación aritmética. La terminación se está procesando para concluir la codificación aritmética en la cadena de código actual que se procesará.
A continuación, la unidad 213C de descodificación de longitud variable omite la cadena de bits predeterminada ubicada después de la cadena de código en los datos 233 codificados actuales (S233). Esta cadena de bits corresponde al flujo 282 de bits que se insertó en la alineación de bytes por el aparato 100C de codificación de imagen
El procesamiento descrito anteriormente se realiza para cada una de las piezas de datos 233 codificados que corresponden a los mosaicos respectivos. Específicamente, la unidad 213C de descodificación de longitud variable descodifica una primera cadena de código incluida en los primeros datos codificados que es una de las piezas de datos 233 codificados para generar datos de imagen de un primer mosaico, y omite una cadena de bits predeterminada ubicada después de la primera cadena de código en los primeros datos codificados y codifica una segunda cadena de código incluida en los segundos datos codificados ubicados después de los primeros datos codificados para generar datos de imagen de un segundo mosaico.
Con este procesamiento, la unidad 213C de descodificación de longitud variable puede ignorar la cadena de bits insertada en el límite de mosaico en la alineación de bytes por el aparato 100C de codificación de imagen, y descodificar solo los datos necesarios. Dicho de otra manera, la unidad 213C de descodificación de longitud variable es capaz de omitir dicha cadena de bits y realizar la descodificación desde el comienzo de la siguiente pieza de datos 233 codificados.
De acuerdo con la configuración descrita anteriormente, el aparato 200C de descodificación de imagen de acuerdo con esta realización es capaz de descodificar el flujo de bits generado por el aparato 100C de codificación de imagen descrito anteriormente.
Debe observarse que, aunque la descripción anterior describe un ejemplo en el que el aparato 200C de descodificación de imágenes descodifica las piezas de datos 233 codificados que corresponden cronológicamente a los mosaicos respectivos, el aparato 200C de descodificación de imágenes puede descodificar las piezas de datos 233 codificados en paralelo. En este caso, el aparato 200C de descodificación de imágenes identifica la posición principal de cada pieza de datos 233 haciendo referencia a la información que indica la posición principal de las piezas de datos 233 codificados que se incluye en la información 235C de división de imagen. Además, la información que indica la posición principal puede ser información que indica la posición en unidades de bytes.
Aunque hasta ahora se han descrito aparatos de codificación de imágenes y aparatos de descodificación de imágenes de acuerdo con las realizaciones de la presente invención, la presente invención no se limita a tales realizaciones.
Además, las respectivas unidades de procesamiento incluidas en los aparatos de codificación de imágenes y los aparatos de descodificación de imágenes de acuerdo con las realizaciones descritas anteriormente se implementan típicamente como un LSI que es un circuito integrado. Estas unidades de procesamiento pueden configurarse individualmente como chips individuales o pueden configurarse para que una parte o la totalidad de las unidades de procesamiento estén incluidas en un solo chip.
Además, el procedimiento de integración de circuitos no se limita a LSI, y también es posible la implementación a través de un circuito dedicado o un procesador de propósito general. También se puede utilizar una matriz de puerta programable de campo (FPGA) que permite la programación después de la fabricación de LSI o un procesador reconfigurable que permite la reconfiguración de las conexiones y configuraciones de las celdas del circuito dentro del LSI.
En las realizaciones respectivas, los elementos constituyentes respectivos se configuran usando hardware dedicado, pero también pueden implementarse ejecutando programas de software adecuados para los elementos constituyentes respectivos. Los elementos constitutivos respectivos pueden implementarse mediante la lectura y ejecución de un programa de software grabado en un medio de grabación tal como un disco duro o memoria de semiconductores por una unidad de ejecución de programa tal como una CPU o un procesador. Además, la presente invención puede ser el programa de software mencionado anteriormente, o un grabador legible por ordenador no transitorio en el que se almacena el programa mencionado anteriormente. Además, debería ser obvio que el programa mencionado se puede distribuir a través de un medio de transmisión como Internet.
Además, todas las figuras numéricas utilizadas en la descripción anterior son meramente ejemplos para describir la presente invención en términos específicos, y por lo tanto la presente invención no se limita a las figuras numéricas ilustradas.
Además, la separación de los bloques de funciones en los diagramas de bloques es simplemente un ejemplo, y los bloques de funciones plurales pueden implementarse como un bloque de funciones único, un bloque de funciones único puede separarse en bloques de funciones plurales, o parte de funciones de un bloque de funciones puede transferirse a otro bloque de funciones. Además, las funciones de los bloques de funciones que tienen funciones similares pueden ser procesadas, en paralelo o por tiempo compartido, por un solo hardware o software.
Además, la secuencia en la que se ejecutan las etapas descritas anteriormente incluidos en los procedimientos de codificación de imagen y procedimientos de descodificación de imagen descritos anteriormente se da como un ejemplo para describir la presente invención en términos específicos, y por lo tanto son posibles otras secuencias. Además, parte de las etapas descritas anteriormente se pueden ejecutar simultáneamente (en paralelo) con otro paso.
[Realización 51
El procesamiento descrito en cada una de las realizaciones puede implementarse simplemente en un sistema informático independiente, grabando, en un medio de grabación, un programa para implementar las configuraciones del procedimiento de codificación de imágenes en movimiento (procedimiento de codificación de imágenes) y el procedimiento de descodificación de imágenes en movimiento (procedimiento de descodificación de imagen) descrito en cada una de las realizaciones. Los medios de grabación pueden ser cualquier medio de grabación siempre que se pueda grabar el programa, como un disco magnético, un disco óptico, un disco óptico magnético, una tarjeta IC y una memoria de semiconductores.
A continuación, se describirán las aplicaciones al procedimiento de codificación de imágenes en movimiento (procedimiento de codificación de imágenes) y al procedimiento de descodificación de imágenes en movimiento (procedimiento de descodificación de imágenes) descritos en cada una de las realizaciones y sistemas que usan los mismos. El sistema tiene la característica de tener un aparato de codificación y descodificación de imágenes que incluye un aparato de codificación de imágenes que utiliza el procedimiento de codificación de imágenes y un aparato de descodificación de imágenes que utiliza el procedimiento de descodificación de imágenes. Se pueden cambiar otras configuraciones en el sistema según corresponda según los casos.
La Figura 18 ilustra una configuración general de un sistema que proporciona contenido ex100 para implementar servicios de distribución de contenido. El área para proporcionar servicios de comunicación se divide en celdas del tamaño deseado, y las estaciones base ex106, ex107, ex108, ex109 y ex110, que son estaciones inalámbricas fijas, se colocan en cada una de las celdas.
El sistema de suministro de contenido ex100 está conectado a dispositivos, tales como un ordenador ex111, un asistente digital personal (PDA) ex112, una cámara ex113, un teléfono móvil ex114 y una máquina de juegos ex115, a través de Internet ex101, un proveedor de servicio de Internet ex102, una red telefónica exl04, así como las estaciones base ex106 a ex110, respectivamente.
Sin embargo, la configuración del sistema de suministro de contenido ex100 no se limita a la configuración mostrada en la Figura 18, y una combinación en la que cualquiera de los elementos está conectado es aceptable. Además, cada dispositivo puede conectarse directamente a la red telefónica ex104, en lugar de a través de las estaciones base ex106 a ex110, que son las estaciones inalámbricas fijas. Además, los dispositivos pueden estar interconectados entre sí a través de una comunicación inalámbrica de corta distancia y otros.
La cámara ex113, como una cámara de vídeo digital, es capaz de capturar vídeo. Una cámara ex116, como una cámara digital, es capaz de capturar imágenes fijas y vídeo. Además, el teléfono móvil ex114 puede ser el que cumpla con cualquiera de los estándares, como el Sistema Global para Comunicaciones Móviles (GSM) (marca registrada), Acceso múltiple por división de código (CDMA), Acceso múltiple por división de código de banda ancha (W-CDMA), Evolución a largo plazo (LTE) y acceso a paquetes de alta velocidad (HSPA). Alternativamente, el teléfono móvil ex114 puede ser un Sistema de teléfono personal (PHS).
En el sistema de suministro de contenido ex100, un servidor de transmisión de flujo de datos ex103 está conectado a la cámara ex113 y otros a través de la red telefónica ex104 y la estación base ex109, que permite la distribución de imágenes de un espectáculo en vivo y otros. En dicha distribución, un contenido (por ejemplo, vídeo de un espectáculo de música en vivo) capturado por el usuario usando la cámara ex113 se codifica como se describe anteriormente en cada una de las realizaciones (es decir, la cámara funciona como el aparato de codificación de imágenes de acuerdo con un aspecto de la presente invención), y el contenido codificado se transmite al servidor de transmisión de flujo de datos ex103. Por otro lado, el servidor de transmisión de flujo de datos ex103 lleva a cabo la distribución de flujo de los datos de contenido transmitidos a los clientes cuando lo solicitan. Los clientes incluyen el ordenador ex111, la PDA ex112, la cámara ex113, el teléfono móvil ex114 y la máquina de juegos ex115 que son capaces de descodificar los datos codificados mencionados anteriormente. Cada uno de los dispositivos que han recibido los datos distribuidos descodifica y reproduce los datos codificados (es decir, funciona como el aparato de descodificación de imágenes de acuerdo con un aspecto de la presente invención).
Los datos capturados pueden ser codificados por la cámara ex113 o el servidor de transmisión de flujo de datos ex103 que transmite los datos, o los procesos de codificación pueden compartirse entre la cámara ex113 y el servidor de transmisión de flujo de datos ex103. De manera similar, los datos distribuidos pueden ser descodificados por los clientes o el servidor de transmisión de flujo de datos ex103, o los procesos de descodificación pueden compartirse entre los clientes y el servidor de transmisión de flujo de datos ex103. Además, los datos de las imágenes fijas y el vídeo capturados no solo por la cámara ex113 sino también por la cámara ex116 pueden transmitirse al servidor de transmisión de flujo de datos ex103 a través del ordenador ex111. Los procesos de codificación pueden ser realizados por la cámara ex116, el ordenador ex111 o el servidor de transmisión de flujo de datos ex103, o compartidos entre ellos.
Además, los procesos de codificación y descodificación pueden realizarse mediante un LSI ex500 generalmente incluido en cada uno de los ordenadores ex111 y los dispositivos. El LSI ex500 puede configurarse con un solo chip o una pluralidad de chips. El software para codificar y descodificar vídeo puede integrarse en algún tipo de medio de grabación (como un CD-ROM, un disco flexible y un disco duro) que pueda leer el ordenador ex111 y otros, y los procesos de codificación y descodificación pueden ser realizado usando el software. Además, cuando el teléfono móvil ex114 está equipado con una cámara, los datos de vídeo obtenidos por la cámara pueden transmitirse. Los datos de vídeo son datos codificados por el LSI ex500 incluido en el teléfono móvil ex114. Además, el servidor de transmisión de flujo de datos ex103 puede estar compuesto por servidores y ordenadores, y puede descentralizar datos y procesar los datos descentralizados, registrar o distribuir datos. Como se describió anteriormente, los clientes pueden recibir y reproducir los datos codificados en el sistema de suministro de contenido ex100. En otras palabras, los clientes pueden recibir y descodificar la información transmitida por el usuario y reproducir los datos descodificados en tiempo real en el sistema de suministro de contenido ex100, de modo que el usuario que no tiene ningún derecho y equipo en particular puede implementar la transmisión personal.
Además del ejemplo del sistema de suministro de contenido ex100, al menos uno de los aparatos de codificación de imágenes en movimiento (aparato de codificación de imágenes) y el aparato de descodificación de imágenes en movimiento (aparato de descodificación de imágenes) descritos en cada una de las realizaciones pueden implementarse en un sistema de radiodifusión ex200 ilustrado en la Figura 19. Más específicamente, una estación de transmisión ex201 comunica o transmite, a través de ondas de radio a un satélite de radiodifusión ex202, datos multiplexados obtenidos al multiplexar datos de audio y otros en datos de vídeo. Los datos de vídeo son datos codificados por el procedimiento de codificación de imágenes en movimiento descrito en cada una de las realizaciones (es decir, datos codificados por el aparato de codificación de imágenes de acuerdo con un aspecto de la presente invención). Al recibir los datos multiplexados, el satélite de radiodifusión ex202 transmite ondas de radio para su difusión. Luego, una antena de uso doméstico ex204 con una función de recepción de transmisión satelital recibe las ondas de radio. A continuación, un dispositivo tal como un televisor (receptor) ex300 y un descodificador (STB) ex217 descodifica los datos multiplexados recibidos y reproduce los datos descodificados (es decir, funciona como el aparato de descodificación de imágenes de acuerdo con un aspecto de la presente invención).
Además, un lector/grabador ex218 (i) lee y descodifica los datos multiplexados grabados en un medio de grabación ex215, como un DVD y un BD, o (i) codifica señales de vídeo en el medio de grabación ex215, y en algunos casos, escribe datos obtenidos al multiplexar una señal de audio en los datos codificados. El lector/grabador ex218 puede incluir el aparato de descodificación de imágenes en movimiento o el aparato de codificación de imágenes en movimiento como se muestra en cada una de las realizaciones. En este caso, las señales de vídeo reproducidas se muestran en el monitor ex219, y pueden ser reproducidas por otro dispositivo o sistema utilizando el medio de grabación ex215 en el que se graban los datos multiplexados. También es posible implementar el aparato de descodificación de imágenes en movimiento en el descodificador ex217 conectado al cable ex203 para un televisor por cable o a la antena ex204 para transmisión satelital yo terrestre, a fin de mostrar las señales de vídeo en el monitor ex219 de la televisión ex300. El aparato de descodificación de imágenes en movimiento puede implementarse no en el descodificador sino en el televisor ex300.
La Figura 20 ilustra el televisor (receptor) ex300 que usa el procedimiento de codificación de imágenes en movimiento y el procedimiento de descodificación de imágenes en movimiento descrito en cada una de las realizaciones. El televisor ex300 incluye: un sintonizador ex301 que obtiene o proporciona datos multiplexados obtenidos al multiplexar datos de audio en datos de vídeo, a través de la antena ex204 o el cable ex203, etc. que recibe una radiodifusión; una unidad de modulación/desmodulación ex302 que demodula los datos multiplexados recibidos o modula los datos en datos multiplexados para ser suministrados fuera; y una unidad de multiplexación/desmultiplexación ex303 que desmultiplexa los datos multiplex modulados en datos de vídeo y audio, o multiplexa datos de vídeo y audio codificados por una unidad de procesamiento de señal ex306 en datos.
El televisor ex300 incluye además: una unidad de procesamiento de señal ex306 que incluye una unidad de procesamiento de señal de audio ex304 y una unidad de procesamiento de señal de vídeo ex305 que descodifica datos de audio y datos de vídeo y codifica datos de audio y datos de vídeo, respectivamente (que funcionan como el aparato de codificación de imagen y aparato de descodificación de imágenes de acuerdo con los aspectos de la presente invención); y una unidad de salida ex309 que incluye un altavoz ex307 que proporciona la señal de audio descodificada, y una unidad de visualización ex308 que muestra la señal de vídeo descodificada, tal como una pantalla. Además, el televisor ex300 incluye una unidad de interfaz ex317 que incluye una unidad de entrada en funcionamiento ex312 que recibe una entrada de una operación de usuario. Además, el televisor ex300 incluye una unidad de control ex310 que controla en general cada elemento constituyente del televisor ex300, y una unidad de circuito de suministro de energía ex311 que suministra energía a cada uno de los elementos. Además de la unidad de entrada en funcionamiento ex312, la unidad de interfaz ex317 puede incluir: un puente ex313 que está conectado a un dispositivo externo, como el lector/grabador ex218; una unidad de ranura ex314 para permitir la conexión del medio de grabación ex216, como una tarjeta SD; un controlador ex315 para conectarse a un medio de grabación externo, como un disco duro; y un módem ex316 para conectarse a una red telefónica. En la presente memoria, el medio de grabación ex216 puede grabar eléctricamente información usando un elemento de memoria semiconductor no volátil para almacenamiento. Los elementos constitutivos del televisor ex300 están conectados entre sí a través de un bus síncrono.
Primero, se describirá la configuración en la cual el televisor ex300 descodifica datos multiplexados obtenidos desde el exterior a través de la antena ex204 y otros y reproduce los datos descodificados. En el televisor ex300, tras una operación del usuario a través de un controlador remoto ex220 y otros, la unidad de multiplexación/desmultiplexación ex303 desmultiplexa los datos multiplexados desmodulados por la unidad de modulación/desmodulación ex302, bajo el control de la unidad de control ex310 que incluye una CPU. Además, la unidad de procesamiento de señal de audio ex304 descodifica los datos de audio desmultiplexados, y la unidad de procesamiento de señal de vídeo ex305 descodifica los datos de vídeo desmultiplexados, utilizando el procedimiento de descodificación descrito en cada una de las realizaciones, en el televisor ex300. La unidad de salida ex309 proporciona la señal de vídeo descodificada y la señal de audio externa, respectivamente. Cuando la unidad de salida ex309 proporciona la señal de vídeo y la señal de audio, las señales pueden almacenarse temporalmente en las memorias intermedias ex318 y ex319, y otras para que las señales se reproduzcan en sincronización entre sí. Además, el televisor ex300 puede leer datos multiplexados no a través de una transmisión y otros, sino de los medios de grabación ex215 y ex216, como un disco magnético, un disco óptico y una tarjeta SD. A continuación, se describirá una configuración en la que el televisor ex300 codifica una señal de audio y una señal de vídeo, y transmite los datos al exterior o escribe los datos en un medio de grabación. En el televisor ex300, tras una operación del usuario a través del controlador remoto ex220 y otros, la unidad de procesamiento de señal de audio ex304 codifica una señal de audio, y la unidad de procesamiento de señal de vídeo ex305 codifica una señal de vídeo, bajo el control de la unidad de control ex310 utilizando la codificación del procedimiento descrito en cada una de las realizaciones. La unidad de multiplexación/desmultiplexación ex303 multiplexa la señal de vídeo codificada y la señal de audio, y proporciona la señal resultante al exterior. Cuando la unidad de multiplexación/desmultiplexación ex303 multiplexa la señal de vídeo y la señal de audio, las señales pueden almacenarse temporalmente en las memorias intermedias ex320 y ex321, y otras para que las señales se reproduzcan en sincronización entre sí. Aquí, las memorias intermedias ex318, ex319, ex320 y ex321 pueden ser plurales como se ilustra, o al menos una memoria intermedia puede compartirse en el televisor ex300. Además, los datos pueden almacenarse en un búfer para evitar el desbordamiento y el subflujo del sistema entre la unidad de modulación/desmodulación ex302 y la unidad de multiplexación/desmultiplexación ex303, por ejemplo.
Además, el televisor ex300 puede incluir una configuración para recibir una entrada AV de un micrófono o una cámara que no sea la configuración para obtener datos de audio y vídeo de una radiodifusión o un medio de grabación, y puede codificar los datos obtenidos. Aunque el televisor ex300 puede codificar, multiplexar y proporcionar datos externos en la descripción, puede ser capaz de recibir, descodificar y proporcionar datos externos solamente, pero no la codificación, multiplexación y proporcionar datos externos.
Además, cuando el lector/grabador ex218 lee o escribe datos multiplexados desde o en un medio de grabación, uno de los televisores ex300 y el lector/grabador ex218 puede descodificar o codificar los datos multiplexados, y el televisor ex300 y lector/grabador ex218 puede compartir la descodificación o codificación.
Como ejemplo, la Figura 21 ilustra una configuración de una unidad de reproducción/grabación de información ex400 cuando los datos se leen o escriben desde o en un disco óptico. La unidad de reproducción/grabación de información ex400 incluye elementos constituyentes ex401, ex402, ex403, ex404, ex405, ex406 y ex407 que se describirán más adelante. El cabezal óptico ex401 irradia un punto láser en una superficie de grabación del medio de grabación ex215 que es un disco óptico para escribir información, y detecta la luz reflejada desde la superficie de grabación del medio de grabación ex215 para leer la información. La unidad de grabación de modulación ex402 acciona eléctricamente un láser semiconductor incluido en el cabezal óptico ex401, y modula la luz láser de acuerdo con los datos grabados. La unidad de desmodulación de reproducción ex403 amplifica una señal de reproducción obtenida mediante la detección eléctrica de la luz reflejada desde la superficie de grabación utilizando un fotodetector incluido en el cabezal óptico ex401, y demodula la señal de reproducción separando un componente de señal grabado en el medio de grabación ex215 para reproducir la información necesaria. El búfer ex404 contiene temporalmente la información a grabar en el medio de grabación ex215 y la información reproducida desde el medio de grabación ex215. El motor de disco ex405 gira el medio de grabación ex215. La unidad de servocontrol ex406 mueve el cabezal óptico ex401 a una pista de información predeterminada mientras controla el accionamiento de rotación del motor de disco ex405 para seguir el punto láser. La unidad de control del sistema ex407 controla en general la unidad de reproducción/grabación de información ex400. La unidad de control del sistema ex407 puede implementar los procesos de lectura y escritura utilizando diversa información almacenada en el buffer ex404 y generando y agregando nueva información según sea necesario, y mediante la unidad de grabación de modulación ex402, la unidad de desmodulación de reproducción ex403 y la unidad de servo control ex406 que registra y reproduce información a través del cabezal óptico ex401 mientras se opera de manera coordinada. La unidad de control del sistema ex407 incluye, por ejemplo, un microprocesador, y ejecuta el procesamiento al hacer que un ordenador ejecute un programa de lectura y escritura.
Aunque el cabezal óptico ex401 irradia un punto láser en la descripción, puede realizar una grabación de alta densidad usando luz de campo cercano.
La Figura 22 ilustra el medio de grabación ex215 que es el disco óptico. En la superficie de grabación del medio de grabación ex215, las ranuras de guía se forman en espiral, y una pista de información ex230 registra, por adelantado, información de dirección que indica una posición absoluta en el disco de acuerdo con el cambio en la forma de las ranuras de guía. La información de dirección incluye información para determinar las posiciones de los bloques de grabación ex231 que son una unidad para grabar datos. La reproducción de la pista de información ex230 y la lectura de la información de dirección en un aparato que registra y reproduce datos puede conducir a la determinación de las posiciones de los bloques de grabación. Además, el medio de grabación ex215 incluye un área de grabación de datos ex233, un área de circunferencia interna ex232 y un área de circunferencia externa ex234. El área de grabación de datos ex233 es un área para usar en la grabación de datos del usuario. El área de circunferencia interna ex232 y el área de circunferencia externa ex234 que están dentro y fuera del área de grabación de datos ex233, respectivamente, son para uso específico, excepto para registrar los datos del usuario. La unidad de reproducción/grabación de información 400 lee y escribe audio codificado, datos de vídeo codificados o datos multiplexados obtenidos al multiplexar los datos codificados de audio y vídeo, desde y sobre el área de grabación de datos ex233 del medio de grabación ex215.
Aunque un disco óptico que tiene una capa, como un DVD y un BD, se describe como un ejemplo en la descripción, el disco óptico no está limitado a eso, y puede ser un disco óptico que tiene una estructura multicapa y es capaz de ser grabado en una parte que no sea la superficie. Además, el disco óptico puede tener una estructura para la grabación/reproducción multidimensional, como la grabación de información utilizando luz de colores con diferentes longitudes de onda en la misma porción del disco óptico y para grabar información que tiene diferentes capas desde varios ángulos.
Además, un automóvil ex210 que tiene una antena ex205 puede recibir datos del satélite ex202 y otros, y reproducir vídeo en un dispositivo de visualización como un sistema de navegación para automóvil ex211 configurado en el automóvil ex210, en el sistema de radiodifusión digital ex200. En la presente memoria, una configuración del sistema de navegación del automóvil ex211 será una configuración, por ejemplo, que incluye una unidad de recepción GPS de la configuración ilustrada en la Figura 20. Lo mismo será cierto para la configuración del ordenador ex111, el teléfono móvil ex114 y otros.
La Figura 23A ilustra el teléfono móvil ex114 que usa el procedimiento de codificación de imágenes en movimiento y el procedimiento de descodificación de imágenes en movimiento descrito en las realizaciones. El teléfono móvil ex114 incluye: una antena ex350 para transmitir y recibir ondas de radio a través de la estación base ex110; una unidad de cámara ex365 capaz de capturar imágenes en movimiento y fijas; y una unidad de visualización ex358 tal como una pantalla de cristal líquido para visualizar los datos tales como vídeo descodificado capturado por la unidad de cámara ex365 o recibido por la antena ex350. El teléfono móvil ex114 incluye además: una unidad de cuerpo principal que incluye una unidad de tecla de operación ex366; una unidad de salida de audio ex357 tal como un altavoz para salida de audio; una unidad de entrada de audio ex356 tal como un micrófono para entrada de audio; una unidad de memoria ex367 para almacenar vídeo capturado o imágenes fijas, audio grabado, datos codificados o descodificados del vídeo recibido, las imágenes fijas, correos electrónicos u otros; y una unidad de ranura ex364 que es una unidad de interfaz para un medio de grabación que almacena datos de la misma manera que la unidad de memoria ex367.
A continuación, se describirá un ejemplo de una configuración del teléfono móvil ex114 con referencia a la Figura 23B. En el teléfono móvil ex114, una unidad de control principal ex360 diseñada para controlar en general cada unidad del cuerpo principal, incluida la unidad de pantalla ex358, así como la unidad de tecla de operación ex366, se conectan mutuamente, a través de un bus síncrono ex370, a una unidad de circuito de suministro de energía ex361, una unidad de control de entrada de operación ex362, una unidad de procesamiento de señal de vídeo ex355, una unidad de interfaz de cámara ex363, una unidad de control de pantalla de cristal líquido (LCD) ex359, una unidad de modulación/desmodulación ex352, una unidad de multiplexación/desmultiplexación ex353, una señal de audio unidad de procesamiento ex354, la unidad de ranura ex364 y la unidad de memoria ex367. Cuando la operación de un usuario enciende una tecla de finalización de llamada o una tecla de encendido, la unidad de circuito de suministro de energía ex361 suministra a las unidades respectivas energía de un paquete de baterías para activar el teléfono móvil ex114.
En el teléfono móvil ex114, la unidad de procesamiento de señal de audio ex354 convierte las señales de audio recogidas por la unidad de entrada de audio ex356 en modo de conversación de voz en señales de audio digital bajo el control de la unidad de control principal ex360 que incluye una CPU, ROM y RAM. Luego, la unidad de modulación/desmodulación ex352 realiza un procesamiento de espectro extendido en las señales de audio digital, y la unidad de transmisión y recepción ex351 realiza conversión de digital a analógico y conversión de frecuencia en los datos, para transmitir los datos resultantes a través de la antena ex350. Además, en el teléfono móvil ex114, la unidad de transmisión y recepción ex351 amplifica los datos recibidos por la antena ex350 en modo de conversación de voz y realiza la conversión de frecuencia y la conversión de analógico a digital en los datos. Luego, la unidad de modulación/desmodulación ex352 realiza un procesamiento inverso de espectro ensanchado en los datos, y la unidad de procesamiento de señal de audio ex354 lo convierte en señales de audio analógicas, para emitirlas a través de la unidad de salida de audio ex357.
Además, cuando se transmite un correo electrónico en modo de comunicación de datos, los datos de texto del correo electrónico ingresado al operar la unidad de tecla de funcionamiento ex366 y otros del cuerpo principal se envían a la unidad de control principal ex360 a través de la unidad de control de entrada de funcionamiento ex362. La unidad de control principal ex360 hace que la unidad de modulación/desmodulación ex352 realice un procesamiento de espectro extendido en los datos de texto, y la unidad de transmisión y recepción ex351 realiza la conversión de digital a analógico y la conversión de frecuencia en los datos resultantes para transmitir los datos a la estación base ex110 a través de la antena ex350. Cuando se recibe un correo electrónico, el procesamiento que es aproximadamente inverso al procesamiento para transmitir un correo electrónico se realiza sobre los datos recibidos, y los datos resultantes se proporcionan a la unidad de visualización ex358.
Cuando se transmiten o transmiten vídeo, imágenes fijas o vídeo y audio en modo de comunicación de datos, la unidad de procesamiento de señal de vídeo ex355 comprime y codifica las señales de vídeo suministradas desde la unidad de cámara ex365 usando el procedimiento de codificación de imágenes en movimiento mostrado en cada una de las realizaciones (es decir, funciona como el aparato de codificación de imágenes de acuerdo con el aspecto de la presente invención), y transmite los datos de vídeo codificados a la unidad de multiplexación/desmultiplexación ex353. En contraste, cuando la unidad de cámara ex365 captura vídeo, imágenes fijas y otros, la unidad de procesamiento de señal de audio ex354 codifica las señales de audio recolectadas por la unidad de entrada de audio ex356 y transmite los datos de audio codificados a la unidad de multiplexación/desmultiplexación ex353.
La unidad de multiplexación/desmultiplexación ex353 multiplexa los datos de vídeo codificados suministrados desde la unidad de procesamiento de señal de vídeo ex355 y los datos de audio codificados suministrados desde la unidad de procesamiento de señal de audio ex354, usando un procedimiento predeterminado. Luego, la unidad de modulación/desmodulación (unidad de circuito de modulación/desmodulación) ex352 realiza el procesamiento de espectro ensanchado en los datos multiplexados, y la unidad de transmisión y recepción ex351 realiza la conversión de digital a analógico y la conversión de frecuencia en los datos para transmitir los datos resultantes a través de la antena ex350.
Al recibir datos de un archivo de vídeo que está vinculado a una página web y a otros en modo de comunicación de datos o al recibir un correo electrónico con vídeo y/o audio adjunto, para descodificar los datos multiplexados recibidos a través de la antena ex350 , la unidad de multiplexación/desmultiplexación ex353 desmultiplexa los datos multiplexados en un flujo de bits de datos de vídeo y un flujo de bits de datos de audio, y suministra a la unidad de procesamiento de señal de vídeo ex355 los datos de vídeo codificados y la unidad de procesamiento de señal de audio ex354 con los datos de audio codificados, a través del bus síncrono ex370. La unidad de procesamiento de señal de vídeo ex355 descodifica la señal de vídeo usando un procedimiento de descodificación de imágenes en movimiento correspondiente al procedimiento de codificación de imágenes en movimiento que se muestra en cada una de las realizaciones (es decir, funciona como el aparato de descodificación de imágenes de acuerdo con el aspecto de la presente invención), y luego el La unidad de visualización ex358 muestra, por ejemplo, el vídeo y las imágenes fijas incluidas en el archivo de vídeo vinculado a la página web a través de la unidad de control LCD ex359. Además, la unidad de procesamiento de señal de audio ex354 descodifica la señal de audio, y la unidad de salida de audio ex357 proporciona el audio.
Además, de manera similar al televisor ex300, es posible que un terminal como el teléfono móvil ex114 tenga 3 tipos de configuraciones de implementación que incluyen no solo (i) un terminal de transmisión y recepción que incluye un aparato de codificación y un aparato de descodificación, pero también (ii) un terminal transmisor que incluye solo un aparato de codificación y (iii) un terminal receptor que incluye solo un aparato de descodificación. Aunque el sistema de radiodifusión digital ex200 recibe y transmite los datos multiplexados obtenidos al multiplexar datos de audio en datos de vídeo en la descripción, los datos multiplexados pueden ser datos obtenidos al multiplexar no datos de audio sino datos de caracteres relacionados con el vídeo en datos de vídeo, y puede no ser datos multiplexados pero datos de vídeo en sí.
Como tal, el procedimiento de codificación de imágenes en movimiento y el procedimiento de descodificación de imágenes en movimiento en cada una de las realizaciones se pueden usar en cualquiera de los dispositivos y sistemas descritos. Por lo tanto, se pueden obtener las ventajas descritas en cada una de las realizaciones. Además, la presente invención no se limita a realizaciones, y son posibles diversas modificaciones y revisiones sin apartarse del alcance de la presente invención.
[Realización 61
Los datos de vídeo pueden generarse cambiando, según sea necesario, entre (i) el procedimiento de codificación de imágenes en movimiento o el aparato de codificación de imágenes en movimiento mostrado en cada una de las realizaciones y (ii) un procedimiento de codificación de imágenes en movimiento o un aparato de codificación de imágenes en movimiento en conformidad con un estándar diferente, como MPEG-2, MPEG-4 AVC y VC-1. En la presente memoria, cuando se genera una pluralidad de datos de vídeo que se ajusta a los diferentes estándares y luego se descodifica, los procedimientos de descodificación deben seleccionarse para cumplir con los diferentes estándares. Sin embargo, dado que no se puede detectar el estándar al que se ajusta cada una de la pluralidad de datos de vídeo a descodificar, existe el problema de que no se puede seleccionar un procedimiento de descodificación apropiado.
Para resolver el problema, los datos multiplexados obtenidos multiplexando datos de audio y otros en datos de vídeo tienen una estructura que incluye información de identificación que indica a qué estándar se ajustan los datos de vídeo. A continuación, se describirá la estructura específica de los datos multiplexados que incluyen los datos de vídeo generados en el procedimiento de codificación de imágenes en movimiento y por el aparato de codificación de imágenes en movimiento mostrado en cada una de las realizaciones. Los datos multiplexados son una transmisión de flujo de datos digitales en el formato Transmisión de flujo de datos de Transporte de MPEG-2.
La Figura 24 ilustra una estructura de datos multiplexados. Como se ilustra en la Figura 24, los datos multiplexados pueden obtenerse multiplexando al menos uno de una transmisión de flujo de datos de vídeo, una transmisión de flujo de datos de audio, una transmisión de flujo de datos de gráficos de presentación (PG) y una transmisión de flujo de datos de gráficos interactivos. La transmisión de flujo de datos de vídeo representa el vídeo primario y el vídeo secundario de una película, la transmisión de flujo de datos de audio (IG) representa una parte de audio primaria y una parte de audio secundaria para mezclar con la parte de audio primaria, y la transmisión de flujo de gráficos de presentación representa subtítulos de la película. Aquí, el vídeo principal es el vídeo normal que se mostrará en una pantalla, y el vídeo secundario es el vídeo que se mostrará en una ventana más pequeña en el vídeo principal. Además, la transmisión de flujo de gráficos interactivos representa una pantalla interactiva que se generará organizando los componentes de la GUI en una pantalla. La transmisión de flujo de datos de vídeo se codifica en el procedimiento de codificación de imágenes en movimiento o por el aparato de codificación de imágenes en movimiento que se muestra en cada una de las realizaciones, o en un procedimiento de codificación de imágenes en movimiento o por un aparato de codificación de imágenes en movimiento de conformidad con un estándar convencional, como MPEG-2, MPEG-4 AVC y VC-1. La transmisión de flujo de datos de audio se codifica de acuerdo con un estándar, como Dolby-AC-3, Dolby Digital Plus, MLP, DTS, DTS-HD y PCM lineal.
Cada transmisión de flujo de datos incluido en los datos multiplexados se identifica por PID. Por ejemplo, 0x1011 se asigna a la transmisión de flujo de datos de vídeo que se usará para el vídeo de una película, 0x1100 a 0x111F se asignan a las transmisiones de flujo de datos de audio, 0x1200 a 0x121F se asignan a las transmisiones de flujo de datos de gráficos de presentación, 0x1400 a 0x141F se asignan a las transmisiones de flujo de datos de gráficos interactivos, 0x1B00 a 0x1B1F se asignan a las transmisiones de flujo de datos de vídeo que se utilizarán para el vídeo secundario de la película, y 0x1A00 a 0x1A1F se asignan a las transmisiones de flujo de datos de audio para que el audio secundario se mezcle con el audio primario.
La Figura 25 ilustra esquemáticamente cómo se multiplexan los datos. Primero, una transmisión de flujo de datos de vídeo ex235 compuesta por tramas de vídeo y una transmisión de flujo de datos de audio ex238 compuesta de tramas de audio se transforman en una transmisión de flujo de datos de paquetes PES ex236 y una transmisión de flujo de datos de paquetes PES ex239, y luego en paquetes TS ex237 y paquetes TS ex240, respectivamente. De manera similar, los datos de una transmisión de flujo de datos de gráficos de presentación ex241 y los datos de una transmisión de flujo de datos de gráficos interactivos ex244 se transforman en una transmisión de flujo de datos de paquetes PES ex242 y una transmisión de flujo de datos de paquetes PES ex245, y posteriormente en paquetes TS ex243 y paquetes TS ex246, respectivamente. Estos paquetes TS se multiplexan en una transmisión de flujo de datos para obtener datos multiplexados ex247.
La Figura 26 ilustra cómo se almacena una transmisión de flujo de datos de vídeo en una transmisión de flujo de datos de paquetes PES con más detalle. La primera barra en la Figura 26 muestra una transmisión de flujo de tramas de vídeo en una transmisión de flujo de datos de vídeo. La segunda barra muestra la transmisión de flujo de paquetes PES. Como se muestra mediante flechas indicadas como yy1, yy2, yy3 e yy4 en la Figura 26, la transmisión de flujo de datos de vídeo se divide en imágenes como imágenes I, imágenes B e imágenes P, cada una de las cuales es una unidad de presentación de vídeo, y las imágenes se almacenan en una carga útil de cada uno de los paquetes PES. Cada uno de los paquetes PES tiene un encabezado PES, y el encabezado PES almacena un sello de tiempo de presentación (PTS) que indica un tiempo de visualización de la imagen, y un sello de tiempo de descodificación (DTS) que indica un tiempo de descodificación de la imagen.
La Figura 27 ilustra un formato de paquetes TS que se escribirán finalmente en los datos multiplexados. Cada uno de los paquetes TS es un paquete de longitud fija de 188 bytes que incluye un encabezado TS de 4 bytes que tiene información, como un p Id para identificar un flujo y una carga útil Ts de 184 bytes para almacenar datos. Los paquetes PES se dividen y almacenan en las cargas útiles de TS, respectivamente. Cuando se usa un BD ROM, cada uno de los paquetes TS recibe un Encabezado Extra TP de 4 bytes, lo que da como resultado paquetes fuente de 192 bytes. Los paquetes fuente se escriben en los datos multiplexados. El Encabezado Extra TP almacena información como un Timbre de Hora de Arribo (ATS). El ATS muestra un tiempo de inicio de transferencia en el que cada uno de los paquetes TS debe transferirse a un filtro PID. Los paquetes fuente están dispuestos en los datos multiplexados como se muestra en la parte inferior de la Figura 27. Los números que se incrementan desde el encabezado de los datos multiplexados se denominan números de paquete fuente (SPN). Cada uno de los paquetes TS incluidos en los datos multiplexados incluye no solo transmisiones de flujo de datos de audio, vídeo, subtítulos y otros, sino también una Tabla de Asociación de Programas (PAT), una Tabla de Mapa de Programas (PMT) y una Referencia de Reloj de Programa (PCR). El PAT muestra lo que indica un PID en un PMT usado en los datos multiplexados, y un PID del PAT mismo se registra como cero. El PMT almacena los PID de las transmisiones de flujo de datos de video, audio, subtítulos y otros incluidos en los datos multiplexados, y la información de atributos de las transmisiones de flujo de datos correspondientes a los PID. El PMT también tiene varios descriptores relacionados con los datos multiplexados. Los descriptores tienen información tal como información de control de copia que muestra si la copia de los datos multiplexados está permitida o no. El PCR almacena la información de tiempo STC correspondiente a un ATS que muestra cuándo se transfiere el paquete de PCR a un descodificador, para lograr la sincronización entre un reloj de tiempo de llegada (ATC) que es un eje de tiempo de ATS y un reloj de tiempo del sistema (STC) ese es un eje de tiempo de PTS y DTS.
La Figura 28 ilustra la estructura de datos de la PMT en detalle. Un encabezado PMT está dispuesto en la parte superior de la PMT. El encabezado PMT describe la longitud de los datos incluidos en el PMT y otros. Una pluralidad de descriptores relacionados con los datos multiplexados se dispone después del encabezado PMT. Información como la información de control de copia se describe en los descriptores. Después de los descriptores, se dispone una pluralidad de piezas de información de flujo relacionadas con las transmisiones de flujo de datos incluidas en los datos multiplexados. Cada pieza de información de las transmisiones de flujo de datos incluye descriptores de transmisiones de flujo de datos, cada uno de los cuales describe información, como un tipo de transmisión de flujo de datos para identificar un códec de compresión de una transmisión de flujo de datos, un PID de las transmisiones de flujo de datos e información de atributos de las transmisiones de flujo de datos (como una velocidad de tramas o una relación de aspecto). Los descriptores de las transmisiones de flujo de datos son iguales en número al número de transmisiones de flujo de datos en los datos multiplexados.
Cuando los datos multiplexados se graban en un medio de grabación y otros, se graban junto con archivos de información de datos multiplexados.
Cada uno de los archivos de información de datos multiplexados es información de gestión de los datos multiplexados como se muestra en la Figura 29. Los archivos de información de datos multiplexados están en correspondencia uno a uno con los datos multiplexados, y cada uno de los archivos incluye información de datos multiplexados, información de atributos de transmisiones de flujo de datos y un mapa de entrada.
Como se ilustra en la Figura 29, la información de datos multiplexados incluye una velocidad del sistema, un tiempo de inicio de reproducción y un tiempo de finalización de reproducción. La velocidad del sistema indica la velocidad de transferencia máxima a la que un descodificador objetivo del sistema que se describirá más tarde transfiere los datos multiplexados a un filtro PID. Los intervalos de los ATS incluidos en los datos multiplexados se establecen en una velocidad no superior a la del sistema. El tiempo de inicio de reproducción indica un PTS en una trama de vídeo en la cabecera de los datos multiplexados. Se agrega un intervalo de una trama a un PTS en una trama de vídeo al final de los datos multiplexados, y el PTS se establece en el tiempo de finalización de la reproducción.
Como se muestra en la Figura 30, una parte de información de atributo se registra en la información de atributo de transmisión de flujo de datos, para cada PID de cada transmisión de flujo de datos incluido en los datos multiplexados. Cada pieza de información de atributo tiene información diferente dependiendo de si la transmisión de flujo de datos correspondiente es una transmisión de flujo de datos de vídeo, una transmisión de flujo de datos de audio, una transmisión de flujo de datos de gráficos de presentación o una transmisión de flujo de datos de gráficos interactivos. Cada parte de la información del atributo de la transmisión de flujo de datos de vídeo contiene información que incluye qué tipo de códec de compresión se usa para comprimir la transmisión de flujo de datos de vídeo, y la resolución, la relación de aspecto y la velocidad de tramas de los datos de imágenes que se incluyen en la transmisión de flujo de datos de vídeo. Cada parte de la información del atributo de transmisión de flujo de datos de audio contiene información que incluye qué tipo de códec de compresión se usa para comprimir la transmisión de flujo de datos de audio, cuántos canales se incluyen en la transmisión de flujo de datos de audio, qué idioma admite la transmisión de flujo de datos de audio y qué tan alta es la frecuencia de muestreo. La información del atributo de transmisión de vídeo y la información del atributo de transmisión de audio se utilizan para inicializar un descodificador antes de que el reproductor reproduzca la información.
En la presente realización, los datos multiplexados a utilizar son de un tipo de transmisión de flujo de datos incluido en el PMT. Además, cuando los datos multiplexados se graban en un medio de grabación, se utiliza la información del atributo de transmisión de flujo de datos de vídeo incluida en la información de datos multiplexados. Más específicamente, el procedimiento de codificación de imágenes en movimiento o el aparato de codificación de imágenes en movimiento descrito en cada una de las realizaciones incluye una etapa o una unidad para asignar información única que indica datos de vídeo generados por el procedimiento de codificación de imágenes en movimiento o el aparato de codificación de imágenes en movimiento en cada una de las realizaciones, al tipo de transmisión de flujo de datos incluido en el PMT o la información del atributo de transmisión de flujo de datos de vídeo. Con la configuración, los datos de vídeo generados por el procedimiento de codificación de imágenes en movimiento o el aparato de codificación de imágenes en movimiento descrito en cada una de las realizaciones pueden distinguirse de los datos de vídeo que se ajustan a otro estándar.
Además, la Figura 31 ilustra las etapas del procedimiento de descodificación de imágenes en movimiento de acuerdo con la presente realización. En la Etapa exS100, el tipo de transmisión de flujo de datos incluido en la PMT o la información de atributo de transmisión de flujo de datos de vídeo incluida en la información de datos multiplexados se obtiene de los datos multiplexados. A continuación, en la Etapa exS101, se determina si el tipo de transmisión de flujo de datos o la información del atributo de la transmisión de flujo de datos de vídeo indica que los datos multiplexados se generan mediante el procedimiento de codificación de imágenes en movimiento o el aparato de codificación de imágenes en movimiento en cada una de las realizaciones. Cuando se determina que el tipo de transmisión de flujo de datos o la información del atributo de la transmisión de flujo de datos de vídeo indica que los datos multiplexados se generan mediante el procedimiento de codificación de imágenes en movimiento o el aparato de codificación de imágenes en movimiento en cada una de las realizaciones, en la Etapa exS102, la descodificación se realiza mediante el procedimiento de descodificación de imágenes en movimiento en cada una de las realizaciones. Además, cuando el tipo de transmisión de flujo de datos o la información del atributo de transmisión de flujo de datos de vídeo indica conformidad con los estándares convencionales, tales como MPEG-2, MPEG-4 AVC y VC-1, en la Etapa exS103, la descodificación se realiza mediante un procedimiento de descodificación de imágenes en movimiento de conformidad con los estándares convencionales.
Como tal, la asignación de un nuevo valor único al tipo de transmisión de flujo de datos o la información del atributo de la transmisión de flujo de datos de vídeo permite determinar si el procedimiento de descodificación de imágenes en movimiento o el aparato de descodificación de imágenes en movimiento que se describe en cada una de las realizaciones puede realizar la descodificación. Incluso cuando se ingresan datos multiplexados que se ajustan a un estándar diferente, se puede seleccionar un procedimiento o aparato de descodificación apropiado. Por lo tanto, se hace posible descodificar información sin ningún error. Además, el procedimiento o aparato de codificación de imágenes en movimiento, o el procedimiento o aparato de descodificación de imágenes en movimiento en la presente realización se pueden usar en los dispositivos y sistemas descritos anteriormente.
[Realización 71
Cada uno de los procedimientos de codificación de imágenes en movimiento, el aparato de codificación de imágenes en movimiento, el procedimiento de descodificación de imágenes en movimiento, y el aparato de descodificación de imágenes en movimiento en cada una de las realizaciones se logra típicamente en forma de un circuito integrado o un circuito integrado a gran escala (LSI). Como ejemplo del LSI, la Figura 32 ilustra una configuración del LSI ex500 que se hace en un chip. El LSI ex500 incluye los elementos ex501, ex502, ex503, ex504, ex505, ex506, ex507, ex508 y ex509 que se describen a continuación, y los elementos están conectados entre sí a través de un bus ex510. La unidad de circuito de fuente de alimentación ex505 se activa al suministrar energía a cada uno de los elementos cuando se enciende la unidad de circuito de fuente de alimentación ex505. Por ejemplo, cuando se realiza la codificación, el LSI ex500 recibe una señal AV de un micrófono ex117, una cámara ex113 y otros a través de un AV IO ex509 bajo el control de una unidad de control ex501 que incluye una CPU ex502, un controlador de memoria ex503, un controlador de transmisión de flujo de datos ex504 y una unidad de control de frecuencia de accionamiento ex512. La señal AV recibida se almacena temporalmente en una memoria externa ex511, como una SDRAM. Bajo el control de la unidad de control ex501, los datos almacenados se segmentan en porciones de datos de acuerdo con la cantidad de procesamiento y la velocidad a transmitir a una unidad de procesamiento de señales ex507. Entonces, la unidad de procesamiento de señal ex507 codifica una señal de audio yo una señal de vídeo. En la presente memoria, la codificación de la señal de vídeo es la codificación descrita en cada una de las realizaciones. Además, la unidad de procesamiento de señal ex507 a veces multiplexa los datos de audio codificados y los datos de vídeo codificados, y una transmisión de flujo de datos de IO ex506 proporciona los datos multiplexados fuera. Los datos multiplexados proporcionados se transmiten a la estación base ex107, o se escriben en el medio de grabación ex215. Cuando los conjuntos de datos se multiplexan, los datos deben almacenarse temporalmente en el búfer ex508 para que los conjuntos de datos se sincronicen entre sí.
Aunque la memoria ex511 es un elemento externo al LSI ex500, puede incluirse en el LSI ex500. La memoria intermedia ex508 no está limitado a una memoria intermedia, sino que puede estar compuesto de memorias intermedias. Además, el LSI ex500 puede convertirse en un chip o en una pluralidad de chips.
Además, aunque la unidad de control ex501 incluye la CPU ex502, el controlador de memoria ex503, el controlador de transmisión de flujo de datos ex504, la unidad de control de frecuencia de accionamiento ex512, la configuración de la unidad de control ex501 no se limita a tal. Por ejemplo, la unidad de procesamiento de señal ex507 puede incluir además una CPU. La inclusión de otra CPU en la unidad de procesamiento de señal ex507 puede mejorar la velocidad de procesamiento. Además, como otro ejemplo, la CPU ex502 puede servir o ser parte de la unidad de procesamiento de señal ex507 y, por ejemplo, puede incluir una unidad de procesamiento de señal de audio. En tal caso, la unidad de control ex501 incluye la unidad de procesamiento de señal ex507 o la CPU ex502 que incluye una parte de la unidad de procesamiento de señal ex507.
El nombre usado aquí es LSI, pero también puede llamarse IC, sistema LSI, super LSI o ultra LSI dependiendo del grado de integración.
Además, las formas de lograr la integración no se limitan al LSI, y un circuito especial o un procesador de propósito general y demás también pueden lograr la integración. La matriz de puerta programable de campo (FPGA) que se puede programar después de la fabricación de LSI o un procesador reconfigurable que permite la reconfiguración de la conexión o la configuración de un LSI se puede utilizar para el mismo propósito.
En el futuro, con el avance en la tecnología de semiconductores, una tecnología completamente nueva puede reemplazar a LSI. Los bloques funcionales pueden integrarse utilizando dicha tecnología. La posibilidad es que la presente invención se aplique a la biotecnología.
[Realización 81
Cuando se descodifican los datos de vídeo generados en el procedimiento de codificación de imágenes en movimiento o por el aparato de codificación de imágenes en movimiento descrito en cada una de las realizaciones, es posible que la cantidad de procesamiento aumente en comparación con los datos de vídeo que se ajustan a un estándar convencional, como como MPEG-2, MPEG-4 AVC y VC-1 se descodifican. Por lo tanto, el LSI ex500 debe configurarse a una frecuencia de accionamiento superior a la de la CPU ex502 para usarse cuando se descodifican datos de vídeo de conformidad con el estándar convencional. Sin embargo, cuando la frecuencia de accionamiento es más alta, existe el problema de que aumenta el consumo de energía.
Para resolver el problema, el aparato de descodificación de imágenes en movimiento, como el televisor ex300 y el LSI ex500, está configurado para determinar a qué estándar se ajustan los datos de vídeo, y cambiar entre las frecuencias de conducción de acuerdo con el estándar determinado. La Figura 33 ilustra una configuración ex800 en la presente realización. Una unidad de conmutación de frecuencia de accionamiento ex803 establece una frecuencia de accionamiento a una frecuencia de accionamiento más alta cuando los datos de vídeo se generan mediante el procedimiento de codificación de imágenes en movimiento o el aparato de codificación de imágenes en movimiento descrito en cada una de las realizaciones. Entonces, la unidad de conmutación de frecuencia de accionamiento ex803 ordena a una unidad de procesamiento de descodificación ex801 que ejecute el procedimiento de descodificación de imágenes en movimiento descrito en cada una de las realizaciones para descodificar los datos de vídeo. Cuando los datos de vídeo se ajustan al estándar convencional, la unidad de conmutación de frecuencia de accionamiento ex803 establece una frecuencia de accionamiento a una frecuencia de accionamiento menor que la de los datos de vídeo generados por el procedimiento de codificación de imágenes en movimiento o el aparato de codificación de imágenes en movimiento descrito en cada una de las realizaciones. Luego, la unidad de conmutación de frecuencia de accionamiento ex803 ordena a la unidad de procesamiento de descodificación ex802 que se ajuste al estándar convencional para descodificar los datos de vídeo.
Más específicamente, la unidad de conmutación de frecuencia de accionamiento ex803 incluye la CPU ex502 y la unidad de control de frecuencia de accionamiento ex512 en la Figura 32. Aquí, cada una de la unidad de procesamiento de descodificación ex801 que ejecuta el procedimiento de descodificación de imágenes en movimiento descrito en cada una de las realizaciones y la unidad de procesamiento de descodificación ex802 que se ajusta al estándar convencional corresponde a la unidad de procesamiento de señal ex507 en la Figura 32. La CPU ex502 determina a qué estándar se ajustan los datos de vídeo. Luego, la unidad de control de frecuencia de accionamiento ex512 determina una frecuencia de accionamiento basada en una señal de la CPU ex502. Además, la unidad de procesamiento de señal ex507 descodifica los datos de vídeo basados en la señal de la CPU ex502. Por ejemplo, es posible que la información de identificación descrita en la Realización 6 se use para identificar los datos de vídeo. La información de identificación no se limita a la descrita en la Realización 6, sino que puede ser cualquier información siempre que la información indique a qué estándar se ajustan los datos de vídeo. Por ejemplo, cuando los datos de vídeo estándar se pueden determinar en función de una señal externa para determinar que los datos de vídeo se usan para un televisor o un disco, etc., la determinación se puede hacer en función de dicha señal externa. Además, la CPU ex502 selecciona una frecuencia de accionamiento basada, por ejemplo, en una tabla de búsqueda en la que los estándares de los datos de vídeo están asociados con las frecuencias de conducción como se muestra en la Figura 35. La frecuencia de accionamiento se puede seleccionar almacenando la tabla de búsqueda en el búfer ex508 y en una memoria interna de un LSI, y con referencia a la tabla de búsqueda de la CPU ex502.
La Figura 34 ilustra las etapas para ejecutar un procedimiento en la presente realización. Primero, en la Etapa exS200, la unidad de procesamiento de señal ex507 obtiene información de identificación de los datos multiplexados. A continuación, en la Etapa exS201, la CPU ex502 determina si los datos de vídeo se generan o no mediante el procedimiento de codificación y el aparato de codificación descrito en cada una de las realizaciones, en base a la información de identificación. Cuando los datos de vídeo se generan mediante el procedimiento de codificación de imágenes en movimiento y el aparato de codificación de imágenes en movimiento descrito en cada una de las realizaciones, en la Etapa exS202, la CPU ex502 transmite una señal para establecer la frecuencia de accionamiento a una frecuencia de accionamiento más alta a la unidad de control de frecuencia de accionamiento ex512. Entonces, la unidad de control de frecuencia de accionamiento ex512 establece la frecuencia de accionamiento a la frecuencia de accionamiento más alta. Por otro lado, cuando la información de identificación indica que los datos de vídeo se ajustan al estándar convencional, como MPEG-2, MPEG-4 AVC y VC-1, en la Etapa exS203, la CPU ex502 transmite una señal para configurar la frecuencia de accionamiento a una frecuencia de accionamiento inferior a la unidad de control de frecuencia de accionamiento ex512. Entonces, la unidad de control de frecuencia de accionamiento ex512 establece la frecuencia de accionamiento a la frecuencia de accionamiento más baja que en el caso en que los datos de vídeo se generan mediante el procedimiento de codificación de imágenes en movimiento y el aparato de codificación de imágenes en movimiento descrito en cada una de las realizaciones.
Además, junto con la conmutación de las frecuencias de activación, el efecto de conservación de energía puede mejorarse cambiando el voltaje que se aplicará al LSI ex500 o un aparato que incluye el LSI ex500. Por ejemplo, cuando la frecuencia de accionamiento se establece más baja, es posible que el voltaje que se aplicará al LSI ex500 o al aparato que incluye el LSI ex500 se configure a un voltaje más bajo que en el caso en que la frecuencia de accionamiento se establece más alta.
Además, cuando la cantidad de procesamiento para la descodificación es mayor, la frecuencia de accionamiento puede establecerse más alta, y cuando la cantidad de procesamiento para la descodificación es menor, la frecuencia de accionamiento puede establecerse más baja como el procedimiento para establecer la frecuencia de accionamiento. Por lo tanto, el procedimiento de configuración no se limita a los descritos anteriormente. Por ejemplo, cuando la cantidad de procesamiento para descodificar datos de vídeo de conformidad con MPEG-4 AVC es mayor que la cantidad de procesamiento para descodificar datos de vídeo generados por el procedimiento de codificación de imágenes en movimiento y el aparato de codificación de imágenes en movimiento descrito en cada una de las realizaciones, es posible que la frecuencia de accionamiento se establezca en orden inverso al ajuste descrito anteriormente.
Además, el procedimiento para establecer la frecuencia de accionamiento no se limita al procedimiento para establecer la frecuencia de accionamiento más baja. Por ejemplo, cuando la información de identificación indica que los datos de vídeo se generan mediante el procedimiento de codificación de imágenes en movimiento y el aparato de codificación de imágenes en movimiento descrito en cada una de las realizaciones, es posible que el voltaje se aplique al LSI ex500 o al aparato que incluye el LSI ex500 está configurado más alto. Cuando la información de identificación indica que los datos de vídeo se ajustan al estándar convencional, como MPEG-2, MPEG-4 AVC y VC-1, es posible que el voltaje se aplique al LSI ex500 o al aparato que incluye el LSI ex500 se establece más bajo. Como otro ejemplo, es posible que, cuando la información de identificación indica que los datos de vídeo se generan mediante el procedimiento de codificación de imágenes en movimiento y el aparato de codificación de imágenes en movimiento descrito en cada una de las realizaciones, el accionamiento de la CPU ex502 no se suspende, y cuando la información de identificación indica que los datos de vídeo se ajustan al estándar convencional, como MPEG-2, MPEG-4 AVC y VC-1, la conducción de la CPU ex502 se suspende en un momento dado porque la CPU ex502 tiene capacidad de procesamiento adicional. Es posible que, incluso cuando la información de identificación indique que los datos de vídeo se generan mediante el procedimiento de codificación de imágenes en movimiento y el aparato de codificación de imágenes en movimiento descrito en cada una de las realizaciones, en el caso en que la CPU ex502 tenga capacidad de procesamiento adicional, la CPU ex502 se suspende en un momento dado. En tal caso, es posible que el tiempo de suspensión se establezca más corto que en el caso en que la información de identificación indica que los datos de vídeo se ajustan al estándar convencional, como MPEG-2, MPEG-4 AVC y VC -1)
De acuerdo con lo anterior, el efecto de conservación de potencia puede mejorarse cambiando entre las frecuencias de conducción de acuerdo con el estándar al que se ajustan los datos de vídeo. Además, cuando el LSI ex500 o el aparato que incluye el LSI ex500 se maneja con una batería, la vida útil de la batería se puede extender con el efecto de conservación de energía.
[Realización 91
Hay casos en los que se proporciona una pluralidad de datos de vídeo que se ajusta a diferentes estándares a los dispositivos y sistemas, tales como un televisor y un teléfono móvil. Para permitir la descodificación de la pluralidad de datos de vídeo que se ajusta a los diferentes estándares, la unidad de procesamiento de señal ex507 del LSI ex500 debe cumplir con los diferentes estándares. Sin embargo, los problemas de aumento en la escala del circuito del LSI ex500 y aumento en el coste surgen con el uso individual de las unidades de procesamiento de señal ex507 que cumplen con los estándares respectivos.
Para resolver el problema, lo que se concibe es una configuración en la que la unidad de procesamiento de descodificación para implementar el procedimiento de descodificación de imágenes en movimiento descrito en cada una de las realizaciones y la unidad de procesamiento de descodificación que se ajusta al estándar convencional, tal como MPEG- 2, MPEG-4 AVC y VC-1 se comparten parcialmente. Ex900 en la Figura 36A muestra un ejemplo de la configuración. Por ejemplo, el procedimiento de descodificación de imágenes en movimiento descrito en cada una de las realizaciones y el procedimiento de descodificación de imágenes en movimiento que se ajusta a MPEG-4 AVC tienen, en parte en común, los detalles del procesamiento, como la codificación de entropía, la cuantificación inversa, el filtrado de desbloqueo y la predicción de movimiento compensada. Es posible que una unidad de procesamiento de descodificación ex902 que se ajuste a MPEG-4 AVC sea compartida por operaciones de procesamiento comunes, y que una unidad de procesamiento de descodificación dedicada ex901 se use para procesamiento que es exclusivo de un aspecto de la presente invención y no conforme a MPEG-4 AVC. En particular, dado que el aspecto de la presente invención se caracteriza por la descodificación de entropía, es posible, por ejemplo, que la unidad de procesamiento de descodificación dedicada ex901 se use para la descodificación de entropía, y que la unidad de procesamiento de descodificación sea compartida por cualquiera o todos del otro procesamiento, como cuantificación inversa, filtrado de desbloqueo y compensación de movimiento. La unidad de procesamiento de descodificación para implementar el procedimiento de descodificación de imágenes en movimiento descrito en cada una de las realizaciones se puede compartir para que el procesamiento se comparta, y se puede usar una unidad de procesamiento de descodificación dedicada para procesar de forma única a la de MPEG-4 AVC.
Además, ex1000 en la Figura 36B muestra otro ejemplo en que el procesamiento se comparte parcialmente. Este ejemplo utiliza una configuración que incluye una unidad de procesamiento de descodificación dedicada ex1001 que admite el procesamiento exclusivo de un aspecto de la presente invención, una unidad de procesamiento de descodificación dedicada ex1002 que admite el procesamiento exclusivo de otro estándar convencional y una unidad de procesamiento de descodificación ex1003 que admite procesamiento para ser compartido entre el procedimiento de descodificación de imágenes en movimiento de acuerdo con el aspecto de la presente invención y el procedimiento convencional de descodificación de imágenes en movimiento. En la presente memoria, las unidades de procesamiento de descodificación dedicadas ex1001 y ex1002 no están necesariamente especializadas para el procesamiento de acuerdo con el aspecto de la presente invención y el procesamiento del estándar convencional, respectivamente, y pueden ser las capaces de implementar el procesamiento general. Además, la configuración de la presente realización puede implementarse mediante el LSI ex500.
Como tal, es posible reducir la escala del circuito de un LSI y reducir el coste compartiendo la unidad de procesamiento de descodificación para que el procesamiento se comparta entre el procedimiento de descodificación de imágenes en movimiento de acuerdo con el aspecto de la presente invención y el procedimiento de movimiento de descodificación de imágenes de conformidad con el estándar convencional.
Aunque los procedimientos de codificación de imagen y los procedimientos de descodificación de imagen de acuerdo con los aspectos plurales se describen en base a las Realizaciones, la presente invención no se limita a tales Realizaciones. Las diversas modificaciones a las realizaciones de la presente invención que pueden ser concebidas por los expertos en la técnica, y las formas configuradas combinando elementos constituyentes en diferentes realizaciones sin apartarse de las enseñanzas de la presente invención se incluyen en el alcance de uno o más de los aspectos.
Aplicabilidad industrial
La presente invención puede aplicarse a un procedimiento de codificación de imágenes, un procedimiento de descodificación de imágenes, un aparato de codificación de imágenes y un aparato de descodificación de imágenes. Además, la presente invención se puede usar en dispositivos de visualización de información de alta definición o dispositivos de captura de imágenes que incluyen un aparato de codificación de imágenes, como un televisor, una grabadora de vídeo digital, un sistema de navegación para automóviles, un teléfono móvil, una cámara digital, una cámara de vídeo digital, y así sucesivamente.
Lista de signos de referencia
100, 100A, 100B, 100C Aparato de codificación de imágenes
101 Restador
102 Unidad de transformación ortogonal
103 Unidad de cuantificación
104, 204 Unidad de cuantificación inversa
105, 205 Unidad de transformación inversa-ortogonal
106, 206 Sumador
107, 207 Memoria de bloque
108, 208 Marco memoria
109, 209 Unidad de intrapredicción
110, 210 Unidad de interpredicción
111,211 Unidad de determinación del tipo de imagen
112, 112A, 112C, 212, 212A, 212C Unidad de control de división de imagen
113 Unidad de codificación de longitud variable
114, 114B Unidad multiplex
115 Unidad de codificación
120 Señal de imagen de entrada
121, 125, 225 Datos de error de predicción
122, 124, 224 Coeficientes de transformación
123, 223 Coeficientes cuantificados
126, 127, 128, 226, 227, 228 Datos de imagen descodificados
129, 130, 131,229, 230, 231 Datos de imagen pronosticada
132, 132A, 132C, 232, 232A, 232C Señal de control de división
133, 233 Datos codificados
134, 234 Flujo de bits
135, 135A, 135C, 235, 235A, 235C Información de división de imagen
140, 145 Información de independencia de límite de mosaico
141, 146 Información de dependencia general
Información de dependencia horizontal
Información de dependencia vertical
Unidad de control de imagen de entrada
Unidad de inserción de marcador
, 260 Señal de imagen
Marcador de mosaico
, 200A, 200B, 200C Unidad de descodificación de imagen ,201A, 201B, 201C Unidad de análisis
, 213C Unidad de descodificación de longitud variable Unidad de descodificación
Unidad de control de imagen de salida 2
Cadena de código
Cadena de bits

Claims (9)

REIVINDICACIONES
1. Un procedimiento de codificación de imágenes que comprende:
dividir (S201) una imagen en mosaicos;
codificar (S202) los mosaicos para generar piezas de datos codificados, cada uno de los cuales corresponde a uno diferente de los mosaicos; y
generar (S203) un flujo de bits que incluye las piezas de datos codificados; en el que
la codificación de los mosaicos incluye:
generar una primera cadena de código mediante la codificación de un primer mosaico que es uno de los mosaicos, (i) haciendo referencia a la información de codificación de uno codificado de los mosaicos que está junto al primer mosaico cuando un límite entre el primer mosaico y el mosaico codificado es un primer límite, y (ii) sin hacer referencia a la información de codificación del mosaico codificado cuando el límite entre el primer mosaico y el mosaico codificado es un segundo límite; y agregar (S213) una cadena de bits después de la primera cadena de código para hacer una longitud de bits de los primeros datos codificados, que es una de las piezas de datos codificados, un múltiplo de N bits predeterminados, siendo N un número entero mayor o igual a 2; en el que
en la generación (S203) de un flujo de bits, se genera el flujo de bits que incluye información de independencia de límite de mosaico;
caracterizado porque
la información de independencia del límite de mosaico se señala individualmente para cada par de mosaicos adyacentes e indica si un límite entre los mosaicos es el primer límite o el segundo límite para cada par de mosaicos.
2. El procedimiento de codificación de imágenes de acuerdo con la reivindicación 1, en el que
la generación de una primera cadena de código incluye realizar una codificación aritmética para generar la primera cadena de código; y
en la realización de la codificación aritmética, se realiza la terminación que concluye la primera cadena de código.
3. El procedimiento de codificación de imágenes de acuerdo con la reivindicación 1 o 2, en el que la información de independencia de límite de mosaico se incluye en un conjunto de parámetros de imagen o un conjunto de parámetros de secuencia incluidos en el flujo de bits.
4. El procedimiento de codificación de imágenes de acuerdo con cualquiera de las reivindicaciones 1 a 3, en el que
en la división (S201), se determina un orden de codificación de los mosaicos;
en la codificación (S202) de los mosaicos, los mosaicos se codifican en el orden de codificación determinado; y en la generación (S203) de un flujo de bits, se genera el flujo de bits que incluye información de orden de procesamiento de mosaico que indica el orden de codificación.
5. El procedimiento de codificación de imágenes de acuerdo con la reivindicación 4, en el que la información del orden de procesamiento de mosaico se incluye en un conjunto de parámetros de imagen o un conjunto de parámetros de secuencia incluidos en el flujo de bits.
6. El procedimiento de codificación de imágenes de acuerdo con cualquiera de las reivindicaciones 1 a 3, en el que, en la generación (S203) de un flujo de bits, se inserta un marcador solo en un límite de datos para el cual existe un límite entre dos de los mosaicos que corresponden respectivamente a dos de las piezas de datos codificados ubicados en lados opuestos del límite de datos es un segundo límite, entre los límites de datos de las piezas de datos codificados, identificando el marcador el límite de datos.
7. Un aparato de codificación de imágenes que comprende:
una unidad de división (112, 112A, 112C, 212, 212A, 212C) configurada para dividir una imagen en mosaicos;
una unidad de codificación (113,115) configurada para codificar los mosaicos para generar piezas de datos codificados, cada uno de los cuales corresponde a uno diferente de los mosaicos; y
una unidad de generación de flujo de bits configurada para generar un flujo de bits que incluye las piezas de datos codificados; en el que
la unidad de codificación (113,115) está configurada para:
generar una primera cadena de código mediante la codificación de un primer mosaico que es uno de los mosaicos, (i) haciendo referencia a la información de codificación de uno codificado de los mosaicos que está junto al primer mosaico cuando un límite entre el primer mosaico y el mosaico codificado es un primer límite, y (ii) sin hacer referencia a la información de codificación del mosaico codificado cuando el límite entre el primer mosaico y el mosaico codificado es un segundo límite; y
agregar una cadena de bits después de la primera cadena de código para hacer una longitud de bits de los primeros datos codificados, que es una de las piezas de datos codificados, un múltiplo de N bits predeterminados, siendo N un número entero mayor o igual a 2; en el que
la unidad de generación de flujo de bits está configurada para generar el flujo de bits que incluye información de independencia de límite de mosaico;
caracterizado porque
la información de independencia del límite de mosaico se señala individualmente para cada par de mosaicos adyacentes e indica si un límite entre los mosaicos es el primer límite o el segundo límite para todos los pares de mosaicos.
8. Un procedimiento de descodificación de imágenes que comprende:
obtener (S221) piezas de datos codificados incluidos en un flujo de bits y generados codificando mosaicos obtenidos al dividir una imagen; y
descodificar (S222) las piezas de datos codificados para generar datos de imagen de los mosaicos; en el que
en la obtención de piezas de datos codificados, la información de independencia de límite de mosaico se obtiene adicionalmente del flujo de bits, indicando la información de independencia de límite de mosaico, para un par de mosaicos adyacentes, si el límite entre el par de mosaicos adyacentes es un primer límite o un segundo límite; y
la descodificación de las piezas de datos codificados incluye:
generar datos de imagen de un primer mosaico que es uno de los mosaicos (i) mediante la descodificación de una primera cadena de código incluida en los primeros datos codificados haciendo referencia a la información de descodificación de otro de los mosaicos que ya está descodificado, cuando el primer límite se indica mediante la información de independencia del límite de mosaico, y (ii) mediante la descodificación de la primera cadena de código sin hacer referencia a la información de descodificación del otro de los mosaicos, cuando se indica el segundo límite, siendo los primeros datos codificados una de las piezas de los datos codificados; y omitir una cadena de bits predeterminada ubicada después de la primera cadena de código en los primeros datos codificados.
9. Un aparato de descodificación de imágenes que comprende:
unidad de obtención (201) configurada para obtener piezas de datos codificados incluidos en un flujo de bits y generados mediante la codificación de mosaicos obtenidos al dividir una imagen; y
unidad de descodificación (215) configurada para descodificar las piezas de datos codificados para generar datos de imagen de los mosaicos; en el que
en la unidad de obtención (201), la información de independencia de límite de mosaico se obtiene adicionalmente del flujo de bits, indicando la información de independencia de límite de mosaico, para un par de mosaicos adyacentes, si un límite entre el par de mosaicos adyacentes es un primer límite o un segundo límite; y
la unidad de descodificación (215) configurada además para:
generar datos de imagen de un primer mosaico que es uno de los mosaicos (i) mediante la descodificación de una primera cadena de código incluida en los primeros datos codificados haciendo referencia a la información de descodificación de otro de los mosaicos que ya está descodificado, cuando el primer límite se indica mediante la información de independencia del límite de mosaico, y (ii) mediante la descodificación de la primera cadena de código sin hacer referencia a la información de descodificación del otro de los mosaicos, cuando se indica el segundo límite, siendo los primeros datos codificados una de las piezas de datos codificados; y omitir una cadena de bits predeterminada ubicada después de la primera cadena de código en los primeros datos codificados.
ES12821785T 2011-08-11 2012-08-07 Procedimiento de codificación de imágenes, procedimiento de descodificación de imágenes, aparato de codificación de imágenes, aparato de descodificación de imágenes y aparato de codificación / descodificación de imágenes Active ES2805313T3 (es)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201161522382P 2011-08-11 2011-08-11
PCT/JP2012/005000 WO2013021619A1 (ja) 2011-08-11 2012-08-07 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、及び、画像符号化復号装置

Publications (1)

Publication Number Publication Date
ES2805313T3 true ES2805313T3 (es) 2021-02-11

Family

ID=47668156

Family Applications (1)

Application Number Title Priority Date Filing Date
ES12821785T Active ES2805313T3 (es) 2011-08-11 2012-08-07 Procedimiento de codificación de imágenes, procedimiento de descodificación de imágenes, aparato de codificación de imágenes, aparato de descodificación de imágenes y aparato de codificación / descodificación de imágenes

Country Status (14)

Country Link
US (10) US8620097B2 (es)
EP (1) EP2744202B1 (es)
JP (2) JP5362150B2 (es)
KR (1) KR101815727B1 (es)
CN (2) CN103718553B (es)
AU (1) AU2012294053B2 (es)
CA (1) CA2827849C (es)
ES (1) ES2805313T3 (es)
MX (1) MX2013010003A (es)
MY (1) MY167857A (es)
PL (1) PL2744202T3 (es)
RU (1) RU2595626C2 (es)
TW (1) TWI566580B (es)
WO (1) WO2013021619A1 (es)

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103004208B (zh) 2011-07-18 2017-09-12 太阳专利托管公司 图像编码方法和装置、图像解码方法和装置
AU2012294053B2 (en) * 2011-08-11 2016-07-07 Sun Patent Trust Image coding method, image decoding method, image coding apparatus, image decoding apparatus, and image coding and decoding apparatus
WO2013060250A1 (en) * 2011-10-24 2013-05-02 Mediatek Inc. Method and apparatus for non-cross-tile loop filtering
US20130107973A1 (en) * 2011-10-28 2013-05-02 Qualcomm Incorporated Loop filtering control over tile boundaries
US10349077B2 (en) * 2011-11-21 2019-07-09 Canon Kabushiki Kaisha Image coding apparatus, image coding method, image decoding apparatus, image decoding method, and storage medium
WO2013111593A1 (ja) 2012-01-27 2013-08-01 パナソニック株式会社 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置及び画像符号化復号装置
WO2014047943A1 (zh) * 2012-09-29 2014-04-03 华为技术有限公司 视频编码及解码方法、装置及系统
US9788002B2 (en) * 2012-11-29 2017-10-10 Samsung Electronics Co., Ltd. Image processing apparatus and method
US10368078B2 (en) * 2013-07-15 2019-07-30 Sony Corporation Extensions of motion-constrained tile sets SEI message for interactivity
GB2516825B (en) * 2013-07-23 2015-11-25 Canon Kk Method, device, and computer program for encapsulating partitioned timed media data using a generic signaling for coding dependencies
JP6209026B2 (ja) * 2013-08-30 2017-10-04 キヤノン株式会社 画像符号化装置及びその制御方法
CN110225349B (zh) * 2013-10-14 2023-06-02 韩国电子通信研究院 用于支持多层的视频编码/解码方法和计算机可读记录介质
CN107005694B (zh) * 2014-09-30 2020-05-19 瑞典爱立信有限公司 在独立处理单元中编码和解码视频帧的方法、装置和计算机可读介质
US10506244B2 (en) * 2015-03-06 2019-12-10 Qualcomm Incorporated Method and apparatus for video coding using adaptive tile sizes
US10609419B2 (en) * 2015-06-24 2020-03-31 Sony Corporation Encoding apparatus, decoding apparatus and transmission control method
KR102345660B1 (ko) * 2015-11-24 2021-12-30 삼성전자주식회사 비디오 복호화 방법 및 장치, 그 부호화 방법 및 장치
CN106851323B (zh) * 2015-12-07 2019-07-19 腾讯科技(深圳)有限公司 解码方法及解码装置
CN107046370B (zh) * 2016-02-09 2020-05-26 松下知识产权经营株式会社 变换器、电力传输系统及控制器
CN115174936A (zh) * 2016-05-10 2022-10-11 三星电子株式会社 用于对图像进行编码/解码的方法及其装置
US10880548B2 (en) * 2016-06-01 2020-12-29 Samsung Electronics Co., Ltd. Methods and apparatuses for encoding and decoding video according to coding order
US10418002B2 (en) * 2016-10-18 2019-09-17 Mediatek Inc. Merged access units in frame buffer compression
JP7320352B2 (ja) * 2016-12-28 2023-08-03 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 三次元モデル送信方法、三次元モデル受信方法、三次元モデル送信装置及び三次元モデル受信装置
CN116248864A (zh) * 2017-07-03 2023-06-09 汉阳大学校产学协力团 利用包含追加区域的分割单位的影像解码方法以及装置
KR102270786B1 (ko) 2017-07-19 2021-06-29 삼성전자주식회사 부호화 방법 및 그 장치, 복호화 방법 및 그 장치
GB2569107B (en) * 2017-11-29 2022-04-06 Displaylink Uk Ltd Managing display data
WO2019240539A1 (ko) 2018-06-15 2019-12-19 엘지전자 주식회사 Cabac에 기반한 엔트로피 코딩 방법 및 그 장치
KR20240027873A (ko) 2018-07-02 2024-03-04 노키아 테크놀로지스 오와이 비디오 코딩에서 타일 관련 어드레싱을 위한 방법 및 장치
US10841602B2 (en) * 2018-07-16 2020-11-17 Tencent America LLC Hierarchical tiles
WO2020185145A1 (en) * 2019-03-08 2020-09-17 Telefonaktiebolaget Lm Ericsson (Publ) Methods providing encoding/decoding of dependent/independent partitions and related devices
EP3939278A4 (en) 2019-03-11 2023-03-22 Tencent America LLC TILE AND SUB-DIVISION
AU2020407461B2 (en) * 2019-12-19 2024-02-29 Telefonaktiebolaget Lm Ericsson (Publ) Picture segment ordering

Family Cites Families (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US1000960A (en) 1910-09-22 1911-08-15 Arthur Bell Box-lid.
US6370273B1 (en) * 1998-04-10 2002-04-09 Flashpoint Technology, Inc. Method and system for tiled image data decompression
JP4124910B2 (ja) 1999-05-18 2008-07-23 キヤノン株式会社 画像データの復号化方法及びその装置
US6792153B1 (en) * 1999-11-11 2004-09-14 Canon Kabushiki Kaisha Image processing method and apparatus, and storage medium
US6671413B1 (en) * 2000-01-24 2003-12-30 William A. Pearlman Embedded and efficient low-complexity hierarchical image coder and corresponding methods therefor
US7428338B2 (en) * 2002-01-10 2008-09-23 Ricoh Co., Ltd. Header-based processing of images compressed using multi-scale transforms
US7330596B2 (en) * 2002-07-17 2008-02-12 Ricoh Company, Ltd. Image decoding technique for suppressing tile boundary distortion
EP1595405B1 (en) * 2003-02-18 2019-12-04 Nokia Technologies Oy Method and device for transmitting media data in nal units over rtp
JP2004297321A (ja) * 2003-03-26 2004-10-21 Minolta Co Ltd 画像処理システム
CA2499163A1 (en) * 2004-03-03 2005-09-03 Her Majesty The Queen In Right Of Canada, As Represented By The Minister Of Industry, Through The Communication Research Centre Canada Curved wavelet transform for image and video compression
JP4931034B2 (ja) * 2004-06-10 2012-05-16 株式会社ソニー・コンピュータエンタテインメント 復号装置および復号方法、並びに、プログラムおよびプログラム記録媒体
US20060269151A1 (en) * 2005-05-25 2006-11-30 Hiroyuki Sakuyama Encoding method and encoding apparatus
WO2007116551A1 (ja) * 2006-03-30 2007-10-18 Kabushiki Kaisha Toshiba 画像符号化装置及び画像符号化方法並びに画像復号化装置及び画像復号化方法
US7949054B2 (en) * 2006-06-01 2011-05-24 Microsoft Corporation Flexible data organization for images
US7460725B2 (en) 2006-11-09 2008-12-02 Calista Technologies, Inc. System and method for effectively encoding and decoding electronic information
US8515194B2 (en) * 2007-02-21 2013-08-20 Microsoft Corporation Signaling and uses of windowing information for images
EP2259432A1 (en) 2008-03-31 2010-12-08 Panasonic Corporation Variable-length code decoding apparatus and method
JP5340091B2 (ja) * 2008-12-19 2013-11-13 キヤノン株式会社 画像符号化装置及びその制御方法
US10244239B2 (en) * 2010-12-28 2019-03-26 Dolby Laboratories Licensing Corporation Parameter set for picture segmentation
US8990435B2 (en) * 2011-01-17 2015-03-24 Mediatek Inc. Method and apparatus for accessing data of multi-tile encoded picture stored in buffering apparatus
US9325999B2 (en) 2011-03-10 2016-04-26 Sharp Kabushiki Kaisha Video decoder for slices
CA2834123C (en) 2011-05-27 2020-02-11 Panasonic Corporation Image coding method, image coding apparatus, image decoding method, image decoding apparatus, and image coding and decoding apparatus
US9485518B2 (en) 2011-05-27 2016-11-01 Sun Patent Trust Decoding method and apparatus with candidate motion vectors
EP4270953A3 (en) 2011-05-31 2023-11-22 Sun Patent Trust Video decoding method, video decoding device
US9398307B2 (en) * 2011-07-11 2016-07-19 Sharp Kabushiki Kaisha Video decoder for tiles
EP2741499A4 (en) 2011-08-03 2014-12-10 Panasonic Ip Corp America VIDEO CODING METHOD, VIDEO CODING METHOD, VIDEO CODING DEVICE, VIDEO ENCODING DEVICE AND VIDEO ENCODING / DECODING DEVICE
AU2012294053B2 (en) * 2011-08-11 2016-07-07 Sun Patent Trust Image coding method, image decoding method, image coding apparatus, image decoding apparatus, and image coding and decoding apparatus
US9584819B2 (en) * 2011-10-24 2017-02-28 Qualcomm Incorporated Grouping of tiles for video coding
US9247258B2 (en) * 2011-10-26 2016-01-26 Qualcomm Incorporated Unified design for picture partitioning schemes
JPWO2013065673A1 (ja) * 2011-10-31 2015-04-02 三菱電機株式会社 動画像復号装置
US9077998B2 (en) * 2011-11-04 2015-07-07 Qualcomm Incorporated Padding of segments in coded slice NAL units
US9124895B2 (en) * 2011-11-04 2015-09-01 Qualcomm Incorporated Video coding with network abstraction layer units that include multiple encoded picture partitions
US20130208808A1 (en) * 2012-02-08 2013-08-15 Panasonic Corporation Image coding method and image decoding method
CN116708768A (zh) * 2013-01-04 2023-09-05 Ge视频压缩有限责任公司 高效可伸缩编码概念
US9749627B2 (en) * 2013-04-08 2017-08-29 Microsoft Technology Licensing, Llc Control data for motion-constrained tile set
US9628792B2 (en) * 2013-07-15 2017-04-18 Qualcomm Incorporated Cross-layer parallel processing and offset delay parameters for video coding
US10368078B2 (en) * 2013-07-15 2019-07-30 Sony Corporation Extensions of motion-constrained tile sets SEI message for interactivity
GB2516824A (en) * 2013-07-23 2015-02-11 Nokia Corp An apparatus, a method and a computer program for video coding and decoding

Also Published As

Publication number Publication date
US20170201750A1 (en) 2017-07-13
CA2827849C (en) 2018-01-16
US20140079331A1 (en) 2014-03-20
US20130039593A1 (en) 2013-02-14
US8620097B2 (en) 2013-12-31
CN103718553A (zh) 2014-04-09
KR20140057188A (ko) 2014-05-12
AU2012294053B2 (en) 2016-07-07
RU2595626C2 (ru) 2016-08-27
US20200304793A1 (en) 2020-09-24
US9355467B2 (en) 2016-05-31
US10009609B2 (en) 2018-06-26
AU2012294053A1 (en) 2013-09-05
EP2744202B1 (en) 2020-05-27
KR101815727B1 (ko) 2018-01-05
TW201316779A (zh) 2013-04-16
PL2744202T3 (pl) 2020-12-28
US20160249052A1 (en) 2016-08-25
CN106878732B (zh) 2019-09-17
CN103718553B (zh) 2017-03-01
US8879860B2 (en) 2014-11-04
EP2744202A4 (en) 2015-03-04
CA2827849A1 (en) 2013-02-14
EP2744202A1 (en) 2014-06-18
US10412389B2 (en) 2019-09-10
TWI566580B (zh) 2017-01-11
US10715808B2 (en) 2020-07-14
CN106878732A (zh) 2017-06-20
JP2013219806A (ja) 2013-10-24
MY167857A (en) 2018-09-26
US11706416B2 (en) 2023-07-18
US9648328B2 (en) 2017-05-09
MX2013010003A (es) 2013-12-06
US20180278935A1 (en) 2018-09-27
JP5362150B2 (ja) 2013-12-11
RU2013138222A (ru) 2015-09-20
US11228765B2 (en) 2022-01-18
US20190356920A1 (en) 2019-11-21
JPWO2013021619A1 (ja) 2015-03-05
WO2013021619A1 (ja) 2013-02-14
JP6074743B2 (ja) 2017-02-08
US20220094934A1 (en) 2022-03-24
US20230345002A1 (en) 2023-10-26
US20150010063A1 (en) 2015-01-08

Similar Documents

Publication Publication Date Title
ES2805313T3 (es) Procedimiento de codificación de imágenes, procedimiento de descodificación de imágenes, aparato de codificación de imágenes, aparato de descodificación de imágenes y aparato de codificación / descodificación de imágenes
ES2786503T3 (es) Método de filtrado, método de decodificación de imágenes en movimiento, método de codificación de imágenes en movimiento, aparato de decodificación de imágenes en movimiento, aparato de codificación de imágenes en movimiento y aparato de codificación/decodificación de imágenes en movimiento
ES2961495T3 (es) Procedimiento de decodificación de imágenes y procedimiento de codificación de imágenes
ES2908152T3 (es) Procedimiento de decodificación de imágenes
ES2863625T3 (es) Señalización de banderas de bloque codificado (CBF) de luminancia-crominancia en codificación de vídeo
ES2936271T3 (es) Procedimiento de codificación de imágenes
ES2962519T3 (es) Procedimiento de decodificación de imágenes, procedimiento de codificación de imágenes
ES2800049T3 (es) Procedimientos y aparatos para codificar y decodificar vídeo utilizando una descripción actualizada de memoria intermedia
ES2865101T3 (es) Procedimiento de codificación de imágenes, procedimiento de decodificación de imágenes, dispositivo de codificación de imágenes, dispositivo de decodificación de imágenes y dispositivo de codificación/decodificación de imágenes
ES2669978T3 (es) Método de filtrado, dispositivo de codificación de imágenes dinámicas, dispositivo de decodificación de imágenes dinámicas y dispositivo de codificación/decodificación de imágenes dinámicas
ES2782227T3 (es) Procedimiento de codificación de imagen, procedimiento de decodificación de imagen, dispositivo de codificación de imagen, dispositivo de decodificación de imagen y dispositivo de codificación/decodificación de imagen
JP6226158B2 (ja) 画像復号化方法及び画像復号化装置
ES2908100T3 (es) Procedimiento de decodificación de imágenes, dispositivo de decodificación de imágenes
ES2768573T3 (es) Procedimiento de codificación de imágenes, procedimiento de descodificación de imágenes, dispositivo de codificación de imágenes y dispositivo de descodificación de imágenes
ES2874762T3 (es) Procedimiento de codificación de vídeo y procedimiento de decodificación de vídeo
JP5680812B1 (ja) 画像符号化方法、画像復号方法、画像符号化装置および画像復号装置
WO2013014884A1 (ja) 動画像符号化方法、動画像符号化装置、動画像復号化方法、および動画像復号化装置