ES2285264T3 - Almacenamiento temporal de imagenes para referencias y presentacion de prediccion. - Google Patents
Almacenamiento temporal de imagenes para referencias y presentacion de prediccion. Download PDFInfo
- Publication number
- ES2285264T3 ES2285264T3 ES03810480T ES03810480T ES2285264T3 ES 2285264 T3 ES2285264 T3 ES 2285264T3 ES 03810480 T ES03810480 T ES 03810480T ES 03810480 T ES03810480 T ES 03810480T ES 2285264 T3 ES2285264 T3 ES 2285264T3
- Authority
- ES
- Spain
- Prior art keywords
- images
- image
- buffer
- order
- decoder
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
- 239000000872 buffer Substances 0.000 claims description 157
- 230000015654 memory Effects 0.000 claims description 72
- 238000000034 method Methods 0.000 claims description 25
- 230000005540 biological transmission Effects 0.000 claims description 18
- 230000008569 process Effects 0.000 claims description 11
- 238000012545 processing Methods 0.000 claims description 5
- 239000000543 intermediate Substances 0.000 description 16
- 238000005192 partition Methods 0.000 description 8
- 230000008707 rearrangement Effects 0.000 description 7
- 230000008859 change Effects 0.000 description 6
- 230000006835 compression Effects 0.000 description 5
- 238000007906 compression Methods 0.000 description 5
- 230000033001 locomotion Effects 0.000 description 5
- 230000002123 temporal effect Effects 0.000 description 5
- 230000007774 longterm Effects 0.000 description 3
- 238000011084 recovery Methods 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000001174 ascending effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000000153 supplemental effect Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/23406—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving management of server-side video buffer
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
- H04N19/31—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the temporal domain
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
- H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/573—Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
- H04N19/89—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/44004—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving video buffer management, e.g. video decoder buffer or video display buffer
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
- Image Processing (AREA)
- Compression Of Band Width Or Redundancy In Fax (AREA)
- Control Of Indicators Other Than Cathode Ray Tubes (AREA)
- Color Television Systems (AREA)
Abstract
Decodificador hipotético (5) para decodificar hipotéticamente un flujo de imágenes codificadas, y comprendiendo dicho decodificador hipotético (5) una memoria intermedia de imagen (5.2) para almacenar temporalmente imágenes de referencia e imágenes a reordenar, caracterizado porque dicho decodificador hipotético (5) está configurado para recibir de un codificador (1) un atributo que define un número de imágenes dispuestas para ser almacenadas temporalmente que es suficiente para recuperar el orden de salida de imágenes de la memoria intermedia de imagen (5.2) cuando las imágenes se introducen para almacenarlas temporalmente en el orden de decodificación, y comprendiendo dicho decodificador hipotético (5) lo siguiente: un bloque de procesamiento para realizar lo siguiente antes de insertar una imagen recién decodificada en la memoria intermedia (5.2), - examinar si la imagen recién decodificada puede insertarse en la memoria intermedia (5.2) sin eliminar ninguna otra imagen de dicha memoriaintermedia (5.2), - a partir de dicho examen, seleccionar una imagen para eliminarla de la memoria intermedia (5.2), cuando la imagen recién decodificada no puede insertarse en la memoria intermedia (5.2) sin eliminar ninguna otra imagen de dicha memoria intermedia (5.2), - eliminar la imagen seleccionada de la memoria intermedia (5.2).
Description
Almacenamiento temporal de imágenes para
referencias y presentación de predicción.
La presente invención se refiere a un
almacenamiento temporal de imágenes para referencias y presentación
de predicción, consistiendo el método en una etapa de codificación
para formar imágenes codificadas en un codificador, una etapa
opcional de decodificación hipotética para decodificar dichas
imágenes codificadas en el codificador, una etapa de transmisión
para transmitir dichas imágenes codificadas a un decodificador, una
etapa de decodificación para decodificar las imágenes codificadas
para formar imágenes decodificadas, y una etapa de reordenación
para disponer las imágenes decodificadas en el orden de
presentación.
Los estándares de codificación de video
publicados incluyen ITU-T H.261,
ITU-T H.263, ISO/IEC MPEG-1, ISO/IEC
MPEG-2, e ISO/IEC MPEG-4 Parte 2.
Estos estándares se refieren aquí como estándares de codificación de
video convencional.
Hay en marcha un esfuerzo de estandarización en
un Equipo Mixto de Vídeo (JVT) de la ITU-T e
ISO/IEC. El trabajo de la JVT se basa en un proyecto de
estandarización anterior de la ITU-T llamado H.26L.
El objetivo de la estandarización JVT es liberar el mismo texto
estándar que la Recomendación ITU-T H.264 y el
Estándar Internacional ISO/IEC 14496-10
(MPEG-4 Parte 10). El estándar del borrador es
referido como el estándar de codificación JVT en este documento, y
el codificador-decodificador (codec) de acuerdo con
el estándar del borrador es referido como
codificador-decodificador JVT.
El modo opcional de selección de imágenes de
referencia del H.263 y la herramienta de codificación NEWPRED del
MPEG-4 Parte 2 permiten la selección de la trama de
referencia para la compensación de movimiento por cada segmento de
imagen, por ejemplo, por cada segmento en H.263. Además, el modo
opcional Selección de Imágenes de Referencia Mejoradas del H.263 y
el estándar de codificación JVT permiten la selección de la trama de
referencia por cada macrobloque de forma separada.
La selección de imágenes de referencia permite
muchos tipos de esquemas de escalabilidad temporal. La figura 1
muestra un ejemplo de un esquema de escalabilidad temporal que es
referida aquí como escalabilidad temporal recurrente. El esquema de
ejemplo puede ser decodificado con tres tasas de trama constantes.
La figura 2 representa un esquema referido como Codificación de
Vídeo con Redundancia, donde una secuencia de imágenes es dividida
en dos o más pasos codificados independientemente de forma
intercalada. Las flechas en estas y en todas las figuras
subsiguientes indican la dirección de la compensación de movimiento
y los valores bajo las tramas corresponden a los instantes
relativos de captura y presentación de las tramas.
En los estándares de codificación de video
convencional, el orden de decodificación de la imágenes es el mismo
que el orden de muestra excepto por las imágenes B. Un bloque en una
imagen B convencional puede ser predicha bidireccionalmente de
forma temporal a partir de dos imágenes de referencia, donde una
imagen de referencia se predice temporalmente y la otra imagen de
referencia le sucede temporalmente en el orden de presentación.
Sólo la última imagen de referencia en el orden de decodificación
puede suceder a la imagen B en el orden de presentación (excepción:
codificación entrelazada en H.263 donde ambas imágenes de campo de
una trama de referencia subsiguiente temporalmente puede preceder a
una imagen B en el orden de decodificación). Una imagen B
convencional no puede utilizarse como imagen de referencia para
predicción temporal y, por lo tanto, una imagen B convencional
puede ser dispuesta sin que afecte a la decodificación de cualquiera
de las otras imágenes.
El estándar de codificación JVT incluye las
siguientes características técnicas nuevas comparadas con los
estándares anteriores:
- El orden de decodificación de las imágenes se
encuentra desacoplado del orden de presentación. El número de
imagen indica el orden de decodificación y la cuenta de orden de
imagen indica el orden de presentación.
- Imágenes de referencia para un bloque en una
imagen B pueden estar antes o después de la imagen B en el orden de
presentación. De forma consecuente, una imagen B significa una
imagen de doble predicción en vez de una imagen
bi-direccional.
- Las imágenes que no se utilizan como imágenes
de referencia se marcan de forma explícita. Una imagen de cualquier
tipo (intra, inter, B, etc.), puede ser una imagen de referencia o
una imagen de no referencia. (De ese modo, una imagen B puede
utilizarse como una imagen de referencia para predicción temporal de
otras imágenes).
- Una imagen puede contener segmentos que son
codificados con un tipo de codificación diferente. En otras
palabras, una imagen codificada puede consistir, por ejemplo, en un
segmento intra-codificado y un segmento codificado
B.
El desacoplamiento del orden de presentación del
orden de decodificación puede resultar beneficioso desde el punto
de vista de la eficiencia de compresión y de la capacidad de
recuperación de error.
En la figura 3 se presenta un ejemplo de
estructura de predicción que mejora potencialmente la eficiencia de
compresión. Las cajas indican imágenes, las letras mayúsculas dentro
de las cajas indican tipos de codificación, los números dentro de
las cajas son números de imagen de acuerdo al estándar de
codificación JVT, y las flechas indican dependencias de predicción.
Se indica que la imagen B17 es una imagen de referencia para las
imágenes B18. La eficiencia de compresión potencialmente se mejora
al compararla con la codificación convencional, ya que las imágenes
de referencia para las imágenes B18 se encuentran temporalmente más
próximas comparadas con la codificación convencional con patrones
de imágenes codificadas PBBP o PBBBP. La eficacia de compresión
potencialmente se mejora al compararla con el patrón convencional de
imágenes codificadas PBP, ya que parte de las imágenes de
referencia se predicen de forma bidireccional.
La figura 4 presenta un ejemplo del método de
aplazamiento intra imagen que puede utilizarse para mejorar la
capacidad de recuperación de error. De forma convencional, una intra
imagen se codifica inmediatamente después de un corte de escena o
como una respuesta a un periodo de refresco de una intra imagen que
ha expirado, por ejemplo. En el método de aplazamiento intra
imagen, una intra imagen no se codifica inmediatamente después de
que surja la necesidad de codificar una intra imagen, sino que se
selecciona una imagen subsiguiente temporalmente como intra imagen.
Cada imagen entre la intra imagen codificada y la localización
convencional de una intra imagen se predice a partir de la
siguiente imagen posterior temporalmente. Como muestra la figura 4,
el método de aplazamiento intra imagen genera dos cadenas de
predicción inter imagen independientes, mientras que los algoritmos
de codificación convencionales producen una sola cadena inter
imagen. Resulta intuitivamente claro que la aproximación de doble
cadena es más robusta frente a error de borrado que la aproximación
convencional de una cadena. Si una cadena sufre una pérdida de un
paquete, la otra cadena todavía puede ser recibida correctamente.
En la codificación convencional, una pérdida de paquete provoca
siempre la propagación del error al resto de la cadena de predicción
inter
imagen.
imagen.
En el estándar de codificación JVT, las imágenes
decodificadas tienen que ser almacenadas temporalmente por dos
razones: Primero, las imágenes decodificadas se utilizan como
imágenes de referencia para predecir las imágenes codificadas con
posterioridad. Segundo, debido al desacoplamiento del orden de
decodificación del orden de presentación, las imágenes
decodificadas tienen que ser reordenadas en el orden de
presentación.
El siguiente ejemplo se utiliza para explicar
que la presente invención supera el problema del almacenamiento
temporal separado.
Considere la siguiente secuencia de imágenes,
donde P en una imagen predicha, BS a una imagen de referencia de
doble predicción, y BN una imagen de no referencia de doble
predicción y el número se refiere al orden de presentación:
Esto puede ser decodificado con tres memorias de
imágenes de la memoria intermedia de imagen de referencia, pero
cuando se decodifica BN5, aún no es el instante de presentarlo:
Por lo tanto, BN5 no tiene que ser almacenado
para reordenar las imágenes en el orden de presentación.
El problema no existe en los estándares de video
de codificación convencional, ya que el orden de presentación para
todas las imágenes de referencia es el mismo que su orden de
decodificación y debido a que sólo la última imagen de referencia
decodificada tiene que almacenarse temporalmente para reordenar las
imágenes en el orden de presentación cuando las imágenes B se
encuentran en uso. El estándar de codificación de video convencional
que soporta la selección de imágenes de referencia tiene una
memoria intermedia de imagen de referencia pero no tiene una
memoria intermedia de imagen para el reordenamiento de
presentación.
La siguiente propuesta directa fue propuesta
para el estándar de codificación JVT: Tener una memoria intermedia
de imagen para imágenes de referencia que esté separada de una
memoria intermedia de imagen para el reordenamiento de
presentación. Especifica el número máximo de imágenes separadamente
para ambas memorias intermedias.
Consideremos de nuevo el ejemplo descrito
anteriormente. Una imagen de referencia entra de la memoria
intermedia de imagen de referencia tan pronto como se decodifica.
Una imagen de no referencia no entra de la memoria intermedia de
imagen de referencia. En cuanto una imagen decodificada ya no
resulta necesaria para referencia, se elimina de la memoria
intermedia de imagen de referencia. Por ejemplo, la imagen P1 puede
eliminarse después de la decodificación de la imagen BN3. Una
imagen entra en la memoria intermedia de reordenamiento de imágenes
en cuanto se decodifica. Cuando una imagen decodificada puede ser
presentada, se elimina de la memoria intermedia de reordenamiento
de imágenes. La siguiente figura muestra los contenidos de las
memorias intermedias justo después de decodificar cada imagen.
Puede verse que los tamaños requeridos de la
memoria intermedia de imagen de referencia y almacenamiento temporal
de reordenamiento de imágenes son 3 imágenes y 2 imágenes
respectivamente. El documento de trabajo JVT-B050
producido por la 2ª reunión del Equipo Mixto de Vídeo (JVT) de
ISO/IEC MPEG & ITU-T VCEG (ISO/IEC
JTC1/SC29/WG11 e ITU-T SG16 Q.6) en Ginebra, Suiza,
29 Enero al 1 de Febrero de 2002, propone un nuevo verificador de
complejidad de video. Este verificador, cuando se utiliza como
parte del Decodificador de Referencia Hipotético (HDR), caracteriza
la cantidad de retardo y el tamaño de la memoria intermedia que se
necesita para decodificar y presentar un flujo binario dado a un
cierto nivel de capacidad de cálculo del decodificador.
En la presente invención se combinan la memoria
intermedia de imágenes de referencia y la memoria intermedia de
reordenamiento de imágenes, en donde ambas, las imágenes de
referencia y las imágenes a reordenar se almacenan en la misma
memoria intermedia para evitar la necesidad de almacenar la misma
imagen en dos lugares diferentes.
La presente invención proporciona un
decodificador hipotético, una señal, un codificador, un método, un
dispositivo, un sistema y un programa de ordenador de acuerdo con
las reivindicaciones adjuntas para utilizar en cualquier tipo de
dispositivo de red y dispositivo terminal, en donde la misma memoria
intermedia puede utilizarse para almacenar en el decodificador
ambas, las imágenes de referencia y las imágenes que esperan a ser
presentadas. Además, las imágenes no se almacenan en memoria dos
veces.
La invención soluciona el problema del
almacenamiento temporal de imágenes decodificadas en el estándar de
codificación JVT que no existe en los estándares de codificación de
video convencional. La invención ahorra memoria en comparación con
la otra solución propuesta para el estándar de codificación JVT. La
ventaja de que la memoria necesaria para almacenar temporalmente
las imágenes pueda ser minimizada es una ventaja significativa en
dispositivos pequeños tales como terminales móviles.
La figura 1, muestra un ejemplo de un esquema de
escalabilidad recurrente temporal,
La figura 2 representa un esquema referido como
Codificación de Vídeo con Redundancia, donde una secuencia de
imágenes se divide en dos o más hilos codificados independientemente
en forma intercalada,
La figura 3 presenta un ejemplo de una
estructura de predicción que mejora potencialmente la eficiencia de
compresión,
La figura 4 presenta un ejemplo de un método de
aplazamiento intra imagen que puede utilizarse para mejorar la
capacidad de recuperación de error,
La figura 5 representa una realización ventajosa
del sistema de acuerdo con la presente invención,
La figura 6 representa una realización ventajosa
del codificador de acuerdo con la presente invención,
La figura 7 representa una realización ventajosa
del decodificador de acuerdo con la presente invención.
En la solución de almacenamiento temporal
unificado todas las imágenes decodificadas permanecen en la memoria
intermedia unificada hasta que ya no se utilizan como imágenes de
referencia y hasta que llega su orden de presentación. El
almacenamiento temporal unificado ahorra memoria comparado con
memorias intermedias separadas para imágenes de referencia y para
el reordenamiento en el orden de presentación.
Consideremos de nuevo el ejemplo anterior en el
que se encuentra en utilización de una memoria temporal
unificada.
No obstante, hay algunos temas que deben ser
tenidos en cuenta en la solución de la memoria intermedia unificada.
El tamaño de la memoria intermedia debe establecerse
suficientemente grande para almacenar todas las imágenes que aún
son necesarias, es decir, todas las imágenes de referencia y las
imágenes a reordenar. La capacidad de la memoria a menudo se
encuentra limitada por lo que el tamaño de la memoria intermedia
tiene algún tipo de compromiso. El codificador tiene que verificar
que el decodificador sea capaz de almacenar suficientes imágenes
para decodificar y dar salida a todas las imágenes sin errores. Esta
verificación puede realizarse mediante un Decodificador de
Referencia Hipotético (HDR) opcional en el dispositivo codificador.
El HDR comprende una memoria intermedia de imágenes codificadas
para almacenar el flujo de datos codificados y una memoria
intermedia de imagen decodificadas para almacenar imágenes de
referencia decodificadas y para el reordenamiento de las imágenes
decodificadas en el orden de presentación. El HDR mueve los datos
entre las memorias intermedias de modo similar a como lo hace el
decodificador de un dispositivo de decodificación. No obstante, el
HDR no necesita decodificar completamente las imágenes codificadas
ni dar salida a las imágenes decodificadas, sino que el HDR sólo
verifica que la decodificación del flujo de imágenes pueda
realizarse con las limitaciones dadas en el estándar de
codificación. Cuando el HDR esta funcionando, recibe un flujo de
datos codificados y lo almacena en la memoria intermedia de
imágenes codificadas. Además, el HDR elimina las imágenes
codificadas de la memoria intermedia de imágenes codificadas y
almacena, al menos, algunas de las correspondientes imágenes
hipotéticamente decodificadas de la memoria intermedia de imagen
decodificadas. El HDR conoce la tasa de entrada de acuerdo a la
cual los datos codificados fluyen de la memoria intermedia de
imágenes codificadas, la tasa de eliminación de imágenes de la
memoria intermedia de imágenes codificadas, y la tasa de salida de
las imágenes de la memoria intermedia de imagen decodificadas. El
HDR verifica desbordamientos en las memorias intermedias de
imágenes codificadas o decodificadas, e indica si la decodificación
es posible con la configuración actual. Luego el HDR informa al
codificador acerca de la violación del almacenamiento temporal,
donde el codificador puede cambiar los parámetros de codificación,
por ejemplo, reduciendo el número de tramas de referencia, para
evitar la violación del almacenamiento temporal. Adicionalmente o
alternativamente, el codificador comienza a codificar las imágenes
con los nuevos parámetros y envía las imágenes codificadas al HDR
que de nuevo realiza la decodificación de las imágenes y las
verificaciones necesarias. Aún como otra alternativa, el codificador
puede descargar la última trama codificada y codificar tramas
posteriores de modo que no ocurra violación del almacenamiento
temporal.
La unidad mínima recomendada para encapsular en
un paquete de transmisión es un segmento o partición de datos. La
unidad mínima que puede decodificarse relativamente de forma
independiente es un segmento. De forma consecuente, el modelo de
almacenamiento temporal unificado asume que un segmento completo o
una partición de datos completa se transmite a la vez. El modelo
también asume que se usan redes basadas en paquetes y protocolos de
trasmisión y, por lo tanto, un segmento completo o una partición de
datos completa se recibe a la vez.
Se supone que un segmento es decodificado de una
vez. De ese modo, los datos son eliminados de la memoria intermedia
hipotética de entrada segmento a segmento. El modelo de complejidad
propuesto se utiliza para determinar el tiempo necesario para
decodificar virtualmente un segmento. Cuando ese tiempo ha expirado,
el siguiente segmento puede ser virtualmente decodificado.
\global\parskip0.900000\baselineskip
El decodificador de referencia se basa en un
modelo de tampón presentado en esta sección. El modelo se basa en
tres memorias intermedias: la memoria intermedia
pre-decodificador, la memoria intermedia de
decodificación, y la memoria intermedia
post-decodificador. La memoria intermedia
pre-decodificador almacena temporalmente datos
comprimidos. El funcionamiento de la memoria intermedia de
decodificación representa la operación de un decodificador real y
establece las limitaciones de complejidad del procesamiento. La
memoria intermedia post-decodificador contiene
imágenes reconstruidas que se utilizan para imágenes de referencia
para compensación de movimiento y/o esperan un instante correcto
para ser virtualmente presentadas.
Los tamaños por defecto de las memorias
intermedias son dados en las definiciones de nivel y perfil. El
tamaño de la memoria intermedia también puede negociarse. El tamaño
de la memoria intermedia de decodificación da el tamaño máximo de
un segmento. El tamaño de la memoria intermedia
post-codificador puede darse, por ejemplo, en bits
o en unidades de 16x16 píxeles.
La operación de la memoria intermedia pre- y
post-codificador puede controlarse mediante dos
parámetros. El periodo de almacenamiento temporal
pre-codificador inicial y el periodo de
almacenamiento temporal post-codificador inicial
definen cuanto se llenan las memorias intermedias antes de que
cualquier dato sea eliminado de ellas. Los periodos se señalan para
cada flujo binario de forma separada.
Tres indicaciones de tiempo pueden asociarse
para una unidad de datos (una partición de datos, un segmento, o
una imagen). Cada segmento y partición de datos está asociado con un
instante de transmisión. En el caso de acceso de archivos, el
instante de transmisión se indica en el archivo. De otro modo, se
utiliza el instante real de transmisión. Cada segmento puede estar
asociado con un instante de decodificación. El instante de
decodificación puede utilizarse para retrasar la decodificación de
un segmento con el fin de evitar desbordamiento de la memoria
intermedia post-codificador. Cada imagen se
encuentra asociada a un instante presentación.
Los parámetros relacionados con el tiempo son
dados en una escala de tiempo común, como tictac de reloj de un
reloj a 90 kHz o uno a 27 MHz.
El modelo puede aplicarse a cualquier parte con
capacidad de decidir de forma independiente y continua de un flujo
binario codificado. En el caso de discontinuidades, tales como el
acceso de un flujo binario desde una posición aleatoria, el modelo
se reinicia.
El modelo se define como sigue:
- 1.
- Las memorias intermedias se encuentran inicialmente vacías.
- 2.
- Un segmento o una partición de datos, excluyendo su cabecera real, se añade a la memoria intermedia pre-codificador en su instante de transmisión. Una cierta cantidad de memoria, por ejemplo ocho bits, de memoria adicional se reserva para cada segmento para almacenar su cabecera. (Las cabeceras de segmento reales pueden estar estrechamente enlazadas con algunos datos específicos de datos útiles de cabecera, tales como el parámetro indicador de conjunto en el formato de datos útiles del borrador RTP (VCEG-N72R1). No resulta práctico eliminar este tipo de datos de la parte de cabecera del segmento sólo para propósitos de HDR. De ese modo, se asume un tamaño constante de la cabecera de segmento).
- 3.
- No se elimina ningún dato de la memoria intermedia pre-decodificador durante un periodo llamado el periodo de almacenamiento temporal pre-decodificador inicial. El periodo comienza cuando se añade el primer segmento o partición de datos a la memoria intermedia.
- 4.
- Cuando el periodo de almacenamiento temporal pre-decodificador inicial ha expirado y si las indicaciones de instante de decodificación se encuentran en uso, el contador de decodificación se pone en marcha desde el instante de decodificación de la imagen más temprano de la memoria intermedia de imagen. De otro modo, no se necesita el contador de decodificación.
- 5.
- Las imágenes se eliminan de la memoria intermedia pre-decodificador segmento a segmento en orden ascendente de identificadores de imágenes (utilizando aritmética de módulos). Los segmentos de una imagen concreta se eliminan en su orden de transmisión. Un segmento, incluyendo sus particiones de datos, es movido desde la memoria intermedia pre-decodificador a la memoria intermedia de decodificación de una vez cuando la memoria intermedia de decodificación se queda vacía. No obstante, un segmento no se elimina de la memoria intermedia pre-decodificador antes de que el contador de decodificación alcance el instante de decodificación del segmento.
- 6.
- Un segmento permanece en la memoria intermedia de decodificación tanto como su duración de decodificación calculada. La duración es la mayor de los dos candidatos: candidato 1 = número de macrobloques en un segmento/maxMacrobloquePorSegundo y candidato 2 = número de bits en un segmento/maxBitsPorSegundo.
\global\parskip1.000000\baselineskip
- 7.
- Una imagen sin comprimir entra en la memoria intermedia post-codificador cuando el último segmento (en el orden de decodificación) de la correspondiente imagen codificada es eliminada de la memoria intermedia de decodificación.
- 8.
- Los datos no se eliminan de la memoria intermedia post-codificador durante un periodo llamado el periodo de almacenamiento temporal post-codificador inicial. El periodo comienza cuando la primera imagen ha sido situada en la memoria intermedia post-decodificador.
- 9.
- Cuando el periodo de almacenamiento temporal post-codificador inicial ha expirado, el contador de reproducción se inicia desde el instante presentación más temprano de las imágenes residentes en la memoria intermedia post-decodificador en ese instante.
- 10.
- Una imagen es virtualmente mostrada cuando el contador de reproducción alcanza el instante presentación programado de la imagen.
- 11.
- Una imagen se elimina de la memoria intermedia post-codificador cuando es realmente presentada y cuando ya no es necesaria como imagen de referencia.
Cualquier flujo binario transmitido o almacenado
cumplirá con los siguientes requerimientos:
- La ocupación de la memoria intermedia
pre-codificador no excederá el tamaño de la memoria
intermedia señalado o por defecto.
- Ningún segmento será mayor que el tamaño de la
memoria intermedia de decodificación.
- La ocupación de la memoria intermedia
pre-codificador no excederá el tamaño de la memoria
intermedia señalado o por defecto.
- Cada imagen será insertada en la memoria
intermedia post-decodificador antes o en su instante
de presentación.
Cuando se utilizan los tamaños de las memorias
intermedias por defecto de acuerdo a un cierto perfil y nivel, un
flujo binario cumple con este perfil y nivel.
Un decodificador será capaz de recibir y
decodificar todas las imágenes de un flujo binario que cumple los
requerimiento cuando se asumen los mismos tamaños de memoria
intermedia en ambos, en el decodificador y en el flujo binario.
Además, el decodificador pasará cada imagen a un proceso de
presentación en el mismo instante en que el decodificador de
referencia hipotético mostraría la imagen virtualmente.
A continuación, se describirá la invención en
más detalle con referencia al sistema de la figura 5, el codificador
1 y el decodificador de referencia hipotético (HDR) 5 de la figura
6 y el decodificador 2 de la figura 7. Las imágenes a codificar
pueden ser, por ejemplo, imágenes de un flujo de video procedentes
de una fuente de video 3, por ejemplo, una cámara, un grabador de
video, etc. Las imágenes (tramas) del flujo de video pueden ser
divididas en porciones más pequeñas tales como segmentos. Los
segmentos pueden además ser divididos en bloques. En el codificador
1, el flujo de video se codifica para reducir la información a
transmitir a través de un canal de transmisión 4, o a un medio de
almacenamiento (no mostrado). Las imágenes del flujo de video son
introducidas en el codificador 1. El codificador tiene una memoria
intermedia de codificación 1.1 (figura 6) para almacenar
temporalmente algunas de las imágenes a codificar. El codificador 1
también incluye una memoria 1.3 y un procesador 1.2 en el que
pueden aplicarse las tareas de codificación de acuerdo con la
invención. La memoria 1.3 y el procesador 1.2 puede ser común con
el dispositivo transmisor 6 o el dispositivo transmisor 6 puede
tener otro procesador y/o memoria (no mostrado) para otras funciones
del dispositivo transmisor 6. El codificador 1 realiza la
estimación de movimiento y/o algunas otras tareas para comprimir el
flujo de video. En la estimación de movimiento se buscan
similitudes entre la imagen a codificar (la imagen actual) y una
imagen previa y/o la última. Si se encuentran similitudes la imagen
comparada o parte de ella puede utilizarse como una imagen de
referencia para la imagen a codificar. En JVT el orden de
presentación y el orden de decodificación de las imágenes no son
necesariamente iguales, en donde la imagen de referencia tiene que
ser almacenada en una memoria intermedia (por ejemplo, en la
memoria intermedia de codificación 1.1) en tanto se utilice como
imagen de referencia. El codificador 1 también inserta información
en el orden de presentación de las imágenes en el flujo de
transmisión.
Desde el proceso de codificación las imágenes
codificadas son movidas a una memoria intermedia de imágenes
codificadas opcional 1.5, si resulta necesario. Las imágenes
codificadas se transmiten desde el codificador 1 al decodificador 2
a través del canal de transmisión 4. En el decodificador 2 se
decodifican las imágenes codificadas para formar imágenes
descomprimidas que se corresponden tanto como sea posible a las
imágenes codificadas. Cada imagen decodificada es almacenada
temporalmente en el DPB 2.1 del decodificador 2 a menos que sea
presentada de forma sustancial inmediatamente después de la
decodificación y no sea utilizada como imagen de referencia. En el
sistema de acuerdo con la presente invención ambos, almacenamiento
temporal de imágenes de referencia y almacenamiento temporal de
imágenes a presentar se combinan y utilizan la misma memoria
intermedia de imágenes decodificadas 2.1. Esto elimina la necesidad
de almacenar las mismas imágenes en dos lugares diferentes
reduciendo, de ese modo, los requerimientos de memoria del
decodificador 2.
El decodificador 1 también incluye una memoria
2.3 y un procesador 2.2 en los que pueden aplicarse las tareas de
decodificación de acuerdo con la invención. La memoria 2.3 y el
procesador 2.2 puede ser comunes con el dispositivo receptor 8 o el
dispositivo receptor puede tener otro procesador y/o memoria (no
mostrado) para otras funciones del dispositivo receptor 8.
Consideremos ahora el proceso de
codificación-decodificación en más detalle. Las
imágenes procedentes de la fuente de video 3 se introducen en el
codificador 1 y se almacenan de forma ventajosa en la memoria
intermedia de codificación 1.1. El proceso de codificación no se
inicia de forma necesaria inmediatamente después de que se
introduzca la primera imagen en el codificador, sino después de que
se encuentren disponibles en la memoria intermedia de codificación
1.1 una cierta cantidad de imágenes. Luego el codificador 1 intenta
encontrar candidatos adecuados a partir de las imágenes a utilizar
como tramas de referencia. El codificador 1 realiza entonces la
codificación para formar imágenes codificadas. Las imágenes
codificadas pueden, por ejemplo, ser imágenes predichas (P),
imágenes de doble predicción (B), o imágenes
intra-codificadas (I). Las imágenes
intra-codificadas pueden ser decodificadas sin
utilizar ninguna otra imagen, pero otro tipo de imágenes necesitan,
al menos, una imagen de referencia antes de que puedan ser
decodificadas. Imágenes de cualquiera de los tipos de imágenes
mencionadas anteriormente pueden utilizarse como imágenes de
referencia.
El codificador adjunta dos indicadores de tiempo
a las imágenes: un indicador de instante de decodificación (DTS) y
un indicador de instante de salida (OTS). El decodificador puede
utilizar los indicadores de tiempo para determinar el instante
correcto de decodificación y el instante para dar salida (presentar)
a las imágenes. No obstante, esos indicadores de tiempo no son
transmitidos necesariamente al decodificador o no los utiliza.
Si el codificador tiene el HDR 5, el codificador
define el tamaño del DPB 5.2 (tamaño DPB). El tamaño inicial puede
depender de algunos parámetros relacionados con el flujo de video
(por ejemplo, resolución, color/BN, etc.). También puede haber un
tamaño máximo definido para el DPB 5.2 (Capacidad DPB). El tamaño
inicial puede no ser, de forma necesaria, el mismo que el tamaño
máximo sino que también puede ser menor que el tamaño máximo.
También se define el número máximo de tramas de referencia
almacenadas en el DPB. Este valor se refiere como num_tramas_ref en
esta descripción.
En el decodificador el DPB 2.1 tiene un tamaño
limitado (tamaño DPB) que en algunas aplicaciones puede variar
durante el proceso de decodificación, si es necesario. El tamaño
inicial del DPB 2.1 puede depender de algunos parámetros
relacionados con el flujo de video (por ejemplo, resolución,
color/BN, etc.). También puede haber un tamaño máximo definido para
el DPB 2.1 (Capacidad DPB). El tamaño inicial puede no ser
necesariamente igual al tamaño máximo sino que también puede ser de
forma necesaria menor que el tamaño máximo. También se define el
número máximo de tramas de referencia almacenadas en el DPB. Este
valor se refiere en esta descripción como num_tramas_ref.
La transmisión y/o almacenamiento de las
imágenes codificadas (y la decodificación virtual opcional) puede
iniciarse inmediatamente después de que la primera imagen codificada
se encuentre preparada. Esta imagen no es necesariamente la primera
en el orden de salida del decodificador ya que el orden de
decodificación y el orden de salida pueden no ser iguales. No
obstante, debido a que el tamaño del DPB 2.1 del decodificador 2 se
encuentra limitado resulta necesario definir cuanto durará el
retardo entre el instante de decodificación de una imagen y el
instante presentación de la imagen que puede encontrase en el
máximo, es decir, el número máximo de las imágenes a reordenar para
la presentación. Este valor se refiere n esta descripción como
num_tramas_reordenar. El num_tramas_reordenar es el número de
tramas consecutivas en el orden de decodificación que se requiere
para recuperar el orden de salida de las imágenes en cualquier
instante. La suma del número máximo de tramas de referencia
almacenadas en el DPB y el número máximo de las imágenes a reordenar
para la presentación, excluyendo aquellas imágenes que ya se
encuentran almacenadas como imágenes de referencia, no debe ser
mayor que la capacidad actual del DPB. El tamaño DPB ilustra
cuantas imágenes pueden almacenarse en el DPB 2.1. Puede calcularse
dividiendo el tamaño del DPB (en bits) por el tamaño de una imagen
(en bits).
Cuando se codifica la primera imagen del flujo
de video puede iniciarse la transmisión. Las imágenes codificadas
se almacenan opcionalmente de la memoria intermedia de imágenes
codificadas 1.5. La transmisión también puede comenzar en una etapa
posterior, por ejemplo, después de haber codificado una cierta parte
del flujo de video.
El decodificador 2, 5 debe dar salida a las
imágenes decodificadas en el orden correcto, por ejemplo, utilizando
el ordenamiento de las cuentas de orden de imágenes y, por lo
tanto, el proceso de reordenamiento precisa ser definido claramente
y de forma normativa.
A continuación, se describirá el funcionamiento
del decodificador 2 de acuerdo con una realización de la presente
invención. El DPB 2.1 contiene posiciones de memoria para almacenar
un determinado número de imágenes. Estas posiciones también son
llamados almacenes de tramas en esta descripción. Un atributo
UsoAlmacenTramas se utiliza aquí como indicador del estado de
reserva de un almacén de tramas (en uso/sin usar). El valor de
UsoAlmacenTramas refleja la utilización del almacén de tramas
actual. Un primer valor (por ejemplo, 0) significa que el almacén
de tramas está vacío y se puede sobrescribir de forma segura. Un
segundo valor (por ejemplo, 1) significa que éste es un almacén de
tramas utilizado para referencia (pero no para reordenamiento), un
tercer valor (por ejemplo, 2) significa que éste es un almacén de
tramas utilizado para reordenamiento (pero no para referencia). Un
cuarto valor (por ejemplo, 3) significa que éste es un almacén de
tramas utilizado para referencia y reordenamiento. El valor inicial
de UsoAlmacenTramas será el primer valor. También es posible
utilizar un segundo atributo independiente para definir si una
imagen es presentada (virtualmente) o no. Puede tener valores "no
utilizada para salida" o "utilizada para salida". Una
imagen marcada como "utilizada para salida" significa que la
imagen todavía permanece en el DPB y espera a su turno de salida.
Será marcada como "no utilizada para salida" como un resultado
de salida de la imagen. Si se utiliza el segundo atributo, sólo el
primero y segundo valores se utilizarían con el UsoAlmacenTramas,
en donde la combinación del primero y segundo atributo da la misma
información que el UsoAlmacenTramas con las cuatro alternativas
diferentes de valores. También es posible definir un atributo para
la validez de una imagen (válida/no válida). Una imagen ser marca
como "No válida" si se inserta de forma intencionada con el
fin de rellenar los huecos detectados entre num_tramas vecinas. De
otro modo, la imagen se marca como "Válida", la cual puede ser
decodificada o reconstruida correctamente por medio de ocultación
de error. Los almacenes de tramas también pueden ser indexados de
forma única lo que implica el orden de decodificación de las
imágenes almacenadas
temporalmente.
temporalmente.
Al comienzo del procedimiento de decodificación,
el estado de todos los almacenes de tramas se establece como vacío,
o libre. Esto se hace estableciendo UsoAlmacenTramas en el primer
valor para todos los almacenes de tramas. El decodificador 2
también puede establecer las siguientes variables en un valor
inicial (por ejemplo, 0): num_tramas_en_uso, que contiene el número
de almacenes de tramas utilizados para referencia o salida;
num_tramas_
uso_ref, que contiene el número de almacenes de tramas utilizados para referencia; y num_tramas_uso_salida, que contiene el número de almacenes de tramas utilizados para salida.
uso_ref, que contiene el número de almacenes de tramas utilizados para referencia; y num_tramas_uso_salida, que contiene el número de almacenes de tramas utilizados para salida.
Se utiliza un almacén de tramas adicional para
guardar las imágenes recién decodificadas. El DPB más el almacén de
tramas adicional es llamado DPB Extendido (EDPB).
Etapa
1
El decodificador 2 comienza a decodificar las
imágenes codificadas comenzando a partir de la imagen que tiene el
indicador de instante de decodificación menor. Cuando la imagen es
decodificada se almacenará en el almacén de tramas adicional. La
imagen a decodificar puede ser una trama o un campo. Si es una
imagen de referencia, el UsoAlmacenTramas se establece en el cuarto
valor, de otro modo en el tercer valor. Si es etiquetado al
principio como "utilizado para reordenamiento", porque no puede
determinarse si la imagen recién decodificada necesita
reordenamiento o no en esta etapa sin la información acerca del
DPB.
Etapa
2
Antes de las siguientes etapas, el decodificador
2 necesita saber si hay, al menos, una imagen más a decodificar y
alguna información a partir de la cabecera del segmento de la
siguiente imagen a decodificar.
Etapa
2.1
Si hay, al menos, una imagen más a decodificar y
el número de tramas a reordenar en DPB es menor que
num_tramas_reordenar, el decodificador 2 no da salida a una imagen.
Si la imagen recién decodificada se utiliza para referencia,
entonces se ejecutará la Etapa 3, si no se ejecutará la Etapa 4.
Etapa
2.2
Si hay, al menos, una imagen más a decodificar y
el número de tramas a reordenar en DPB es igual a
num_tramas_
reordenar, se verificarán las siguientes condiciones:
reordenar, se verificarán las siguientes condiciones:
- La imagen recién decodificada es una
trama.
- El almacén de tramas adicional contiene dos
campos.
- Si un solo campo reside en el almacén de
tramas adicional, la siguiente imagen a decodificar no es su paridad
opuesta de la siguiente trama.
Si no es cierta ninguna de las condiciones
anteriores, va a la etapa 1 para decodificar el campo paridad
opuesta de la misma trama.
\newpage
Entonces, si al menos una de las condiciones
anteriores es cierta, los almacenes de tramas en DPB y el almacén
de tramas adicional será revisado para encontrar qué imagen necesita
tener salida. La imagen, que es la primera imagen en el orden de
salida entre las imágenes a reordenar en DPB y el almacén de tramas
adicional, tendrán salida. Más adelante se describirá cómo
determinar la primera imagen en el orden de salida. Si la imagen que
sale es un campo y el campo paridad opuesta de la misma trama está
presente, ambos campos tienen salida. Las imágenes de salida deben
ser marcadas como "no utilizadas para reordenamiento".
Si la imagen recién decodificada tiene salida y
no se utiliza para referencia, entonces va a la Etapa 1 para
decodificar la siguiente imagen. Si la imagen recién decodificada se
utiliza para referencia (pero no se utiliza para reordenamiento),
UsoAlmacenTramas se establece en el segundo valor (1) y sigue la
Etapa 3. Si la imagen recién decodificada se utiliza para
reordenamiento (pero no se utiliza para referencia),
UsoAlmacenTramas se establece en un tercer valor (2) y luego va a
la Etapa 4 para almacenar la imagen para el reordenamiento. Si la
imagen recién decodificada se utiliza para referencia y
reordenamiento, UsoAlmacenTramas se establece en el cuarto valor
(3) y luego va a la Etapa
3.
3.
Etapa
2.3
Si no hay más imágenes a decodificar, todas las
imágenes que aún se encuentran marcadas como "utilizadas para
reordenamiento" tendrán salida en el orden de salida. Entonces el
decodificador deja de trabajar hasta que haya más imágenes a
decodificar.
Etapa
3
Si la imagen recién decodificada es una imagen
de referencia, se aplica un mecanismo de "Ventana de
Deslizamiento" o "Control de Memoria Adaptable" al conjunto
de almacenes de tramas consistentes en imágenes marcadas como
"utilizadas para referencia".
Etapa
4
Si la imagen recién decodificada es una trama,
se realizará la etapa 4.1, o bien la etapa 4.2.
Etapa
4.1
Debe haber, al menos, un almacén de tramas vacío
en el DPB 2.1 antes de almacenar la trama recién decodificada.
UsoAlmacenTramas se establece que sea igual a UsoAlmacenTramas del
almacén de tramas adicional. Va a la Etapa 1 para decodificar la
siguiente imagen.
Etapa
4.2
Para un campo recién decodificado, el almacén de
tramas de destino será un almacén de tramas vacío si su campo
paridad opuesta de la misma trama no está en el DPB 2.1. En este
caso se establece que UsoAlmacenTramas sea igual a UsoAlmacenTramas
del almacén de tramas adicional. De otro modo, la imagen recién
decodificada deberá almacenarse en el mismo almacén de tramas que
su campo paridad opuesta y UsoAlmacenTramas permanece sin cambios.
Va a la Etapa 4.3 para decodificar la siguiente imagen.
Etapa
4.3
Después de almacenar la imagen recién
decodificada en el DPB, se asume que la última imagen decodificada
está almacenada en un almacén de tramas cuyo IndiceAlmacénTramas es
0, la penúltima imagen decodificada se almacena en un almacén de
tramas cuyo IndiceAlmacénTramas es 1, y así sucesivamente.
Finalmente, se realiza la Etapa 1 para decodificar la siguiente
imagen.
Debe indicarse que marcar una imagen como "no
utilizada para referencia" y marcar una imagen como "no
utilizada para reordenamiento" no están acoplados.
Para ayudar a comprender las operaciones de las
etapas presentadas anteriormente, se muestran dos ejemplos para el
proceso de reordenamiento. Los números en itálica después (o debajo)
de las etiquetas de la imagen indican el num_trama. Las imágenes de
referencia se indican subrayando la letra de la etiqueta de imagen.
"x" significa que no se reordena ninguna imagen antes de
decodificar la siguiente imagen.
\vskip1.000000\baselineskip
Si el decodificador 2 descubre que las imágenes
codificadas no pueden ser decodificadas, el tamaño del DPB 2.1
puede ser demasiado pequeño. En algunas aplicaciones el
decodificador 2 puede informar al codificador para cambiar los
parámetros de codificación, por ejemplo, utilizar menos imágenes de
referencia, o utilizar un tamaño DPB mayor. En la situación de
error el decodificador 2 puede aún dar salida a aquellas imágenes
decodificadas que gestionó para decodificar y/o dar salida a algunas
imágenes por defecto (por ejemplo, tramas vacías).
El num_tramas_reordenar se utiliza para definir
el funcionamiento de la ventana de deslizamiento para el propósito
del reordenamiento. Las imágenes a reordenar se disponen en el orden
de salida para encontrar la imagen que debe saltar primero del
alcance de la ventana. Una vez que el número de imágenes a reordenar
alcanza el num_tramas_reordenar, la primera imagen en el orden de
salida es seguro que saldrá de la ventana como resultado de una
operación de la ventana de deslizamiento. Esta
sub-sección especifica como encontrar la imagen más
temprana en el orden de salida entre las imágenes que están
marcadas como "utilizadas para reordenamiento".
Etapa
1
Establece que la imagen más antigua en el orden
de decodificación en DPB1 sea la imagen candidata.
Etapa
2
Bucle a partir de la segunda imagen más antigua
a la última imagen (en el orden de decodificación) y utiliza i como
el contador de bucle. El cuerpo de bucle está compuesto por la Etapa
2.1 y la Etapa 2.2.
Etapa
2.1
Si la imagen i es una imagen IDR, la imagen
candidata es la imagen a encontrar, rompe el bucle.
Etapa
2.2
Si el POC de imagen i es menor que el POC de la
imagen candidata, establece la imagen i como la imagen
candidata.
Etapa
3
La imagen candidata es la imagen más antigua en
el orden de salida.
El num_tramas_referencia y el
num_tramas_reordenar son señalizadas al decodificador 2 de alguna
forma, por ejemplo, mediante una conjunto de parámetros de
secuencia. Cada vez que se vuelve efectivo un conjunto de
parámetros de secuencia diferente, el num_tramas_referencia y el
num_tramas_reordenar pueden cambiar y, de ese modo, debe tenerse
especial cuidado en el DPB.
No se precisa realizar acciones especiales
cuando aumenta el num_tramas_referencia.
Cuando el num_tramas_referencia disminuye, se
propone una operación sencilla bajo el DPB: Igualemos
dif_
tramas_referencia al nuevo num_tramas_referencia menos el antiguo num_tramas_referencia. Todas las tramas de referencia dif_tramas_referencia desde la más antigua en el orden de decodificación será marcada como "no utilizado para referencia".
tramas_referencia al nuevo num_tramas_referencia menos el antiguo num_tramas_referencia. Todas las tramas de referencia dif_tramas_referencia desde la más antigua en el orden de decodificación será marcada como "no utilizado para referencia".
Cuando el num_tramas_reordenar aumenta, 0
imágenes por una imagen decodificada tiene salida en (nuevo
num_
tramas_reordenar) - (antiguo num_tramas_reordenar) imágenes después (antiguo num_tramas_reordenar) imagen desde la imagen decodificada que usa el nuevo conjunto de parámetros de secuencia. Por ejemplo, el num_tramas_
reordenar de dos partes del flujo binario son 1 y 2 respectivamente. Cuando P3 se decodifica, no tiene salida ninguna imagen.
tramas_reordenar) - (antiguo num_tramas_reordenar) imágenes después (antiguo num_tramas_reordenar) imagen desde la imagen decodificada que usa el nuevo conjunto de parámetros de secuencia. Por ejemplo, el num_tramas_
reordenar de dos partes del flujo binario son 1 y 2 respectivamente. Cuando P3 se decodifica, no tiene salida ninguna imagen.
Cuando el num_tramas_reordenar disminuye, tiene
salida más de una imagen en la imagen decodificada que usa el nuevo
conjunto de parámetros de secuencia. Por ejemplo, el
num_tramas_reordenar de dos partes del flujo binario son 2 y 1
respectivamente. Cuando I0 se decodifica, tienen salida dos imágenes
B5 y P6 al mismo tiempo.
Una imagen que se almacena para predicción,
referida como una imagen de referencia, se marca como "utilizada
para referencia", y se etiqueta como una imagen de referencia a
corto plazo, en cuyo caso se identifica por su num_trama y paridad.
Una imagen a corto plazo puede asignarse a un índice de trama de
referencia a largo plazo, en cuyo caso se identifica por su índice
de largo plazo. Una imagen que no se almacena para predicción se
etiqueta como "no utilizada para predicción". La memoria
intermedia de imágenes de referencia es un conjunto de imágenes que
está compuesto por imágenes marcadas como "utilizadas para
referencia" en DPB. Eliminar una imagen de la memoria intermedia
de imagen de referencia significa marcar la imagen como "no
utilizada para referencia". Reiniciar la memoria intermedia de
imágenes de referencia significa marcar todas las imágenes de la
memoria intermedia de imagen de referencia como "no utilizadas
para referencia". Imágenes de referencia a corto plazo pueden
permanecer marcadas para referencia por un tiempo finito, dado por
MaxNumTramas. Imágenes de referencia a largo plazo pueden
permanecer marcadas "utilizadas para referencia" hasta la
siguiente imagen IDR. Los comandos de
operación_control_gestión_memoria pueden utilizarse para modificar
los contenidos de la memoria intermedia de imagen de
referencia.
En otra realización de la presente invención el
HRD se utiliza con el codificador 1 para realizar virtualmente la
decodificación de las imágenes codificadas similarmente a como lo
hace el decodificador 2. La memoria intermedia de imágenes
codificadas 1.5 puede utilizarse como memoria intermedia de
pre-decodificación para un HRD 5. Un objetivo de la
decodificación virtual en el HRD 5 es eliminar un riesgo de errores
de decodificación debido a tareas no equilibradas de
codificación/decodificación. El HRD 5 incluye una memoria intermedia
de imágenes decodificadas 5.2 (DPB) para almacenar temporalmente
imágenes decodificadas mediante el HRD 5. En HRD 5 también se
combinan el almacenamiento temporal de imágenes de referencia y el
almacenamiento temporal de imágenes a presentar y utilizan la misma
memoria intermedia de imágenes decodificadas 5.2 reduciendo, de ese
modo, los requerimientos de memoria del codificador 1. Todas las
imágenes decodificadas permanecen en la memoria intermedia
unificada hasta que ya no se usan como imágenes de referencia y
hasta que se alcanza su periodo de presentación (virtual). El
término virtual se refiere al hecho de que en el HRD 5 del
codificador 1, en el cual se realiza la decodificación en esta
realización ventajosa, las imágenes decodificadas no son presentadas
sino que el HRD 5 sólo verifica si pudo haber errores en el proceso
de decodificación del decodificador 2 debido, por ejemplo, a un
tamaño de la memoria intermedia demasiado pequeño. Si existen
errores el HRD 5 puede informar al codificador para que cambie
algunos parámetros de codificación, o puede aumentarse el tamaño del
DPB 2.1 del decodificador 1, por ejemplo, enviando un mensaje SEI
(Información Suplementaria de Mejora) al decodificador 1 en algunas
ejecuciones (a menos que ya esté en uso el tamaño máximo del
DPB).
La decodificación puede ser una operación
simultánea con la codificación, o el codificador crea primero el
flujo binario, y cuando el flujo binario está listo, se introduce al
HRD 5 para verificar que el flujo binario cumple los requerimientos
del HRD 5 y del nivel de procesamiento. El HRD también puede crear y
modificar algunos parámetros HRD, tales como el retardo del
almacenamiento temporal inicial de la memoria intermedia de imágenes
codificadas, de acuerdo con las características del flujo
codificado.
Para cumplir el propósito anterior, el proceso
de reordenamiento no dependerá de ninguna información de tiempo
relacionada con el HRD, debido a que tal información puede estar
ausente en el decodificador. Al mismo tiempo, debe permitirse que
el decodificador no obedezca de forma precisa OTS y DTS del HRD. Por
ejemplo, a una aplicación como la grabación de transmisión continua
le gustaría recibir flujos binarios, decodificarlos y almacenar la
secuencia decodificada tan rápido como sea posible u opera más lento
debido a la capacidad de transmisión del canal. En este caso, el
OTS y DTS del HRD pueden no ser obedecidos.
La presente invención puede aplicarse en muchos
tipos de sistemas y dispositivos. El dispositivo transmisor 6
incluyendo el codificador 1 y opcionalmente el HRD 5 de forma
ventajosa incluye también un transmisor 7 para transmitir las
imágenes codificadas al canal de transmisión 4. El dispositivo
receptor 8 incluye el decodificador 2, un receptor 9 para recibir
las imágenes codificadas, y una pantalla de presentación 10 en que
las imágenes decodificadas pueden ser presentadas. El canal de
transmisión puede ser, por ejemplo, un canal de comunicación de
línea terrestre y/o un canal de comunicación inalámbrico. El
dispositivo transmisor y el dispositivo receptor incluyen también
uno o más procesadores 1.2, 2.2 que pueden realizar las etapas
necesarias para controlar el proceso de codificación/decodificación
del flujo de video de acuerdo con la invención. Por lo tanto, el
método de acuerdo con la presente invención puede llevarse a cabo
principalmente como una etapa ejecutable por máquina de los
procesadores. El almacenamiento temporal de las imágenes puede
llevarse a cabo en la memoria 1.3, 2.3 de los dispositivos. El
código de programa 1.4 del codificador puede almacenarse en la
memoria 1.3. De forma respectiva, el código de programa 2.4 del
decodificador puede almacenarse en la memoria 2.3.
Claims (34)
1. Decodificador hipotético (5) para decodificar
hipotéticamente un flujo de imágenes codificadas, y comprendiendo
dicho decodificador hipotético (5) una memoria intermedia de imagen
(5.2) para almacenar temporalmente imágenes de referencia e
imágenes a reordenar, caracterizado porque dicho
decodificador hipotético (5) está configurado para recibir de un
codificador (1) un atributo que define un número de imágenes
dispuestas para ser almacenadas temporalmente que es suficiente
para recuperar el orden de salida de imágenes de la memoria
intermedia de imagen (5.2) cuando las imágenes se introducen para
almacenarlas temporalmente en el orden de decodificación, y
comprendiendo dicho decodificador hipotético (5) lo siguiente:
un bloque de procesamiento para realizar lo
siguiente antes de insertar una imagen recién decodificada en la
memoria intermedia (5.2),
- examinar si la imagen recién decodificada
puede insertarse en la memoria intermedia (5.2) sin eliminar ninguna
otra imagen de dicha memoria intermedia (5.2),
- a partir de dicho examen, seleccionar una
imagen para eliminarla de la memoria intermedia (5.2), cuando la
imagen recién decodificada no puede insertarse en la memoria
intermedia (5.2) sin eliminar ninguna otra imagen de dicha memoria
intermedia (5.2),
- eliminar la imagen seleccionada de la memoria
intermedia (5.2).
2. Decodificador hipotético (5) de acuerdo con
la reivindicación 1, caracterizado porque comprende:
- un primer atributo que define el número de
imágenes de referencia en la memoria intermedia (5.2), y
- un segundo atributo que define el número de
imágenes dispuestas a ser almacenadas temporalmente en el orden de
decodificación que es suficiente para recuperar el orden de salida
de imágenes de la memoria intermedia (5.2).
3. Señal que contiene un flujo de imágenes
codificadas, conteniendo dicha señal, al menos, una imagen de
referencia y una segunda imagen de referencia, conteniendo dicha
señal, al menos, un primer elemento de señal para permitir a la
primera imagen de referencia preceder a la segunda imagen de
referencia en el orden de decodificación y la segunda imagen de
referencia preceder a la primera imagen de referencia en el orden de
salida, caracterizada porque dicha señal contiene una
indicación del número de imágenes dispuestas a ser almacenadas
temporalmente que es suficiente para recuperar el orden de salida de
las imágenes cuando las imágenes se introducen para almacenarlas
temporalmente en el orden de decodificación.
4. Señal de acuerdo con la reivindicación 3,
caracterizada porque si la señal fuera procesada por un
decodificador hipotético (5) de acuerdo con la reivindicación 1, el
decodificador hipotético (5) no indicaría error.
5. Codificador (1) para formar un flujo de
imágenes codificadas, estando dispuesto dicho codificador (1) para
incluir en el flujo de imágenes, al menos, una primera imagen de
referencia y una segunda imagen de referencia, y, al menos, un
elemento de señal para permitir a la primera imagen de referencia
preceder a la segunda imagen de referencia en el orden de
decodificación y a la segunda imagen de referencia preceder a la
primera imagen de referencia en el orden de salida,
caracterizado porque dicho codificador está dispuesto para
formar en el flujo de imágenes una indicación del número de
imágenes dispuestas para ser almacenadas temporalmente en un
decodificador que es suficiente para recuperar el orden de salida de
las imágenes cuando las imágenes se introducen para almacenarlas
temporalmente en el orden de decodificación.
6. Codificador (1) de acuerdo con la
reivindicación 5, caracterizado porque dicho codificador (1)
está dispuesto para formar una señal tal que si la señal fuera
procesada por un decodificador hipotético (5) de acuerdo con la
reivindicación 1, el decodificador hipotético (5) no indicaría
error.
7. Codificador (1) de acuerdo con la
reivindicación 5 o 6, caracterizado porque cuando la imagen a
eliminar aún no ha sido presentada, no se elimina.
8. Codificador (1) de acuerdo con la
reivindicación 5, 6 o 7, caracterizado porque se define el
tamaño de la memoria intermedia, y se define el número de imágenes
utilizadas como imágenes de referencia.
9. Codificador (1) de acuerdo con la
reivindicación 8, caracterizado porque en cualquier instante
concreto se define dicho número de imágenes dispuestas para ser
almacenadas temporalmente que es suficiente para recuperar el orden
de salida de las imágenes, de modo que la suma del número de
imágenes utilizadas como imágenes de referencia y dicho número de
imágenes a almacenar temporalmente en el orden de decodificación que
no se usan como imágenes de referencia es menor o igual que el
tamaño de la memoria intermedia (5.2; 2.1).
\global\parskip0.900000\baselineskip
10. Codificador (1) de acuerdo a cualquiera de
las reivindicaciones 5 a 9, caracterizado porque las
imágenes son definidas como imágenes de referencia o imágenes de no
referencia, se define el tamaño de la memoria intermedia (5.2;
2.1), se define el número de imágenes de referencia en la memoria
intermedia (5.2; 2.1) está definido, y se define el número de
imágenes dispuestas para ser almacenadas temporalmente en el orden
de decodificación que es suficiente para recuperar el orden de
salida en la memoria intermedia (5.2; 2.1), en donde se define el
número de imágenes a reordenar de modo que la suma del número de
imágenes utilizadas como imágenes de referencia y el número de
imágenes dispuestas a ser almacenadas temporalmente en el orden de
decodificación que no se usan como imágenes de referencia es menor
o igual que el tamaño de la memoria intermedia (5.2; 2.1).
11. Codificador (1) de acuerdo a cualquiera de
las reivindicaciones 5 a 10, caracterizado porque las
imágenes se definen como imágenes de referencia o imágenes de no
referencia, se define el tamaño de la memoria intermedia (5.2;
2.1), se define el número de imágenes de referencia en la memoria
intermedia (5.2; 2.1), y se define el número de imágenes dispuestas
a ser almacenadas temporalmente en el orden de decodificación que es
suficiente para recuperar el orden de salida de las imágenes, en
donde se define el tamaño de la memoria intermedia (5.2; 2.1) de
modo que la suma del número de imágenes utilizadas como imágenes de
referencia y el número de imágenes dispuestas a ser almacenadas
temporalmente en el orden de decodificación que no se usan como
imágenes de referencia es menor o igual que el tamaño de la memoria
intermedia (5.2; 2.1).
12. Codificador (1) que comprende un
decodificador hipotético (5) para decodificar hipotéticamente un
flujo de imágenes codificadas, y el codificador hipotético (1)
comprende una memoria intermedia de imagen (5.2) para almacenar
temporalmente imágenes de referencia e imágenes reordenar,
caracterizado porque dicho decodificador hipotético (5)
está configurado para recibir de un codificador (1) un atributo que
define un número de imágenes dispuestas a ser almacenadas
temporalmente que es suficiente para recuperar el orden de salida de
las imágenes de la memoria intermedia de imagen (5.2) cuando las
imágenes se introducen de la memoria intermedia de imagen (5.2) en
el orden de decodificación, y comprendiendo dicho decodificador
hipotético (5) lo siguiente:
un bloque de procesamiento para realizar lo
siguiente antes de insertar una imagen recién decodificada en la
memoria intermedia (5.2),
- examinar si la imagen recién decodificada
puede insertarse en la memoria intermedia (5.2) sin eliminar ninguna
otra imagen de la memoria intermedia (5.2),
- a partir de dicho examen, seleccionar una
imagen para eliminarla de la memoria intermedia (5.2) cuando la
imagen recién decodificada no puede insertarse en la memoria
intermedia (5.2) sin eliminar ninguna otra imagen de la memoria
intermedia (5.2),
- eliminar la imagen seleccionada de dicha
memoria intermedia (5.2).
13. Codificador (1) de acuerdo con la
reivindicación 12, caracterizado porque dicho codificador
está configurado para definir:
- otro atributo que define el número máximo de
imágenes de referencia en la memoria intermedia (5.2).
14. Método para formar un flujo de imágenes
codificadas que comprende incluir la señal con, al menos, una
primera imagen de referencia y una segunda imagen de referencia, y,
al menos, un elemento de señal para permitir a la primera imagen de
referencia preceder a la segunda imagen de referencia en el orden de
decodificación y a la segunda imagen de referencia preceder a la
primera imagen de referencia en el orden de salida,
caracterizado porque dicho método
comprende la etapa de:
- definir una indicación de un número de
imágenes dispuestas para ser almacenadas temporalmente en un
decodificador que es suficiente para recuperar el orden de salida
de las imágenes del flujo de imágenes cuando las imágenes se
introducen para almacenarlas temporalmente en el orden de
decodificación.
15. Método de acuerdo con la reivindicación 14,
caracterizado porque se forma una señal de tal modo que si
la señal fuera procesada por un decodificador hipotético (5) de
acuerdo con la reivindicación 1, el decodificador hipotético (5) no
indicaría error.
16. Método para almacenar temporalmente imágenes
decodificadas, definiéndose el tamaño de la memoria intermedia
(5.2; 2.1), el número máximo de imágenes de referencia en la memoria
intermedia (5.2), y utilizándose una memoria intermedia de imagen
(5.2) para almacenar temporalmente las referencias de predicción y
las imágenes decodificadas para disponerlas en el orden de salida,
caracterizado porque el número de imágenes a ser almacenadas
temporalmente en el orden de decodificación que es suficiente para
recuperar el orden de salida de las imágenes se recibe desde un
codificador y definiéndose el tamaño de la memoria intermedia de
imagen a partir del número recibido.
17. Método de acuerdo con la reivindicación 16,
caracterizado porque el decodificador (2) está dispuesto
para dar como salida imágenes, utilizando la información relativa a
dicho número de imágenes dispuestas para ser almacenadas
temporalmente en el orden de decodificación que es suficiente para
recuperar el orden de salida de las imágenes, y comprendiendo dicho
método lo siguiente:
realizar lo siguiente antes de insertar una
imagen recién decodificada en la memoria intermedia (5.2),
\global\parskip1.000000\baselineskip
- examinar si la imagen recién decodificada
puede insertarse en la memoria intermedia (5.2) sin eliminar otra
imagen de la memoria intermedia (5.2),
- a partir de dicho examen, cuando la imagen
recién decodificada no puede insertarse en la memoria intermedia
(5.2) sin eliminar ninguna otra imagen de la memoria intermedia
(5.2), seleccionar una imagen para eliminarla a partir de esas
imágenes de la memoria intermedia (5.2) que no se utilizan como
imágenes de referencia y que ya han salido de la memoria intermedia
(5.2),
- cuando se selecciona una imagen, eliminar
dicha imagen seleccionada de la memoria intermedia (5.2).
18. Decodificador (2) que incluye medios (2.3)
para almacenar temporalmente imágenes decodificadas, estando
definidas dichas imágenes como imágenes de referencia o imágenes de
no referencia, definiéndose el tamaño de la memoria intermedia y
definiéndose el número de imágenes de referencia en la memoria
intermedia, una entrada para introducir una señal que contiene, al
menos, una primera imagen de referencia y una segunda imagen de
referencia, y, al menos, un elemento de señal para permitir a la
primera imagen de referencia preceder a la segunda imagen de
referencia en el orden de decodificación y a la segunda imagen de
referencia preceder a la primera imagen de referencia en el orden
de salida, y conteniendo además la señal, al menos, una indicación
del número de imágenes dispuestas para ser almacenadas temporalmente
que es suficiente para recuperar el orden de salida de las imágenes
del flujo de imágenes cuando las imágenes se introducen para ser
almacenadas temporalmente en el orden de decodificación, y que los
medios (2.3) para almacenar temporalmente incluyen una memoria
intermedia de imagen (2.1) para almacenar temporalmente las
referencias de predicción y las imágenes decodificadas para
disponerlas en el orden de salida, caracterizado porque dicho
decodificador (2) comprende un dispositivo de definición para
definir el tamaño de la memoria intermedia de imagen a partir de
dicha indicación.
19. Decodificador (2) de acuerdo con la
reivindicación 18, caracterizado porque se define el número
de imágenes dispuestas a ser almacenadas temporalmente en el orden
de decodificación que es suficiente para recuperar el orden de
salida de las imágenes.
20. Decodificador (2) de acuerdo con la
reivindicación 19, caracterizado porque el decodificador (2)
está dispuesto para dar como salida imágenes que utilizan la
información relativa a dicho número de imágenes dispuestas a ser
almacenadas temporalmente en el orden de decodificación que es
suficiente para recuperar el orden de salida de las imágenes, y
comprendiendo dicho decodificador (2) lo siguiente:
un bloque de procesamiento (2.2) para realizar
lo siguiente antes de insertar una imagen recién decodificada en la
memoria intermedia,
- examinar si la imagen recién decodificada
puede insertarse en la memoria intermedia (2.1) sin eliminar otra
imagen de la memoria intermedia (2.1),
- a partir de dicho examen, cuando la imagen
recién decodificada nuevamente no puede insertarse en la memoria
intermedia (2.1) sin eliminar otra imagen de la memoria intermedia
(2.1), seleccionar una imagen a eliminar a partir de esas imágenes
en la memoria intermedia (2.1), que no se utilizan como imágenes de
referencia y que ya tenido salida de la memoria intermedia
(2.1),
- cuando se selecciona una imagen, eliminar la
imagen seleccionada de la memoria intermedia (2.1).
21. Decodificador (2) de acuerdo con la
reivindicación 20, caracterizado porque si la imagen a
eliminar aún no ha sido presentada, no se elimina.
22. Decodificador (2) de acuerdo a cualquiera de
las reivindicaciones 18 a 21, caracterizado porque se define
el tamaño de la memoria intermedia (2.1), y se define el número de
imágenes utilizadas como imágenes de referencia.
23. Decodificador (2) de acuerdo con la
reivindicación 22, caracterizado porque en cualquier instante
en particular se define dicho número de imágenes dispuestas a ser
almacenadas en el orden de decodificación que es suficiente para
recuperar el orden de salida de las imágenes, de modo que la suma
del número de imágenes utilizadas como imágenes de referencia y
dicho número de imágenes dispuestas para ser almacenadas
temporalmente en el orden de decodificación que no se usan como
imágenes de referencia es menor o igual que el tamaño de la memoria
intermedia (2.1).
24. Decodificador (2) de acuerdo a cualquiera de
las reivindicaciones 18 a 23, caracterizado porque las
imágenes son definidas como imágenes de referencia o imágenes de no
referencia, se define el tamaño de la memoria intermedia (2.1), se
define el número de imágenes de referencia en la memoria intermedia
(2.1), y se define el número de imágenes dispuestas a ser
almacenadas temporalmente en el orden de decodificación que es
suficiente para recuperar el orden de salida de las imágenes, donde
antes de insertar una imagen recién decodificada en la memoria
intermedia, se elimina una imagen de la memoria intermedia (2.1), y
la imagen a eliminar se selecciona a partir de esas imágenes en la
memoria intermedia (2.1) que no se usan como imágenes de referencia
y que ya han salido de la memoria intermedia (2.1).
25. Decodificador (2) de acuerdo a cualquiera de
las reivindicaciones 18 a 24, caracterizado porque las
imágenes se definen como imágenes de referencia o imágenes de no
referencia, se define el tamaño de la memoria intermedia (2.1), se
define el número de imágenes de referencia en la memoria intermedia
(2.1), y se define el número de imágenes dispuestas para ser
almacenadas temporalmente en el orden de decodificación que es
suficiente para recuperar el orden de salida de las imágenes, donde
se define el número de imágenes dispuestas para ser almacenadas
temporalmente en el orden de decodificación que es suficiente para
recuperar el orden de salida de las imágenes, de modo que la suma
del número de imágenes utilizadas como imágenes de referencia y el
número de imágenes que están dispuestas para ser almacenadas
temporalmente en el orden de decodificación que es suficiente para
recuperar el orden de salida de las imágenes, y que no se usan como
imágenes de referencia es menor o igual que el tamaño de la memoria
intermedia (2.1).
26. Decodificador (2) de acuerdo a cualquiera de
las reivindicaciones 18 a 25, caracterizado porque las
imágenes son definidas como imágenes de referencia o imágenes de no
referencia, se define el tamaño de la memoria intermedia (2.1), se
define el número de imágenes de referencia en la memoria intermedia
(2.1), y se define el número de imágenes dispuestas para ser
almacenadas temporalmente en el orden de decodificación que es
suficiente para recuperar el orden de salida de las imágenes, donde
se define el tamaño de la memoria intermedia (2.1) de modo que la
suma del número de imágenes utilizadas como imágenes de referencia y
el número de imágenes que están dispuestas para ser almacenadas
temporalmente en el orden de decodificación que no se usan como
imágenes de referencia es menor o igual que el tamaño de la memoria
intermedia (2.1).
27. Programa de software que comprende etapas
ejecutables por máquina para formar un flujo de imágenes codificadas
y etapas ejecutables por máquina para insertar en dicho flujo de
imágenes, al menos, una primera imagen de referencia y una segunda
imagen de referencia y, al menos, un elemento de señal para permitir
a la primera imagen de referencia preceder a la segunda imagen de
referencia en el orden de decodificación y a la segunda imagen de
referencia preceder a la primera imagen de referencia en el orden de
salida, caracterizado porque dicho programa de software
comprende etapas ejecutables por máquina para insertar en dicho
flujo de imágenes una indicación de un número de imágenes
dispuestas para ser almacenadas temporalmente que es suficiente para
recuperar el orden de salida de las imágenes decodificadas cuando
dichas imágenes decodificadas se introducen para ser almacenadas
temporalmente en el orden de decodificación.
28. Programa de software que comprende etapas
ejecutables por máquina para decodificar hipotéticamente un flujo
de imágenes codificado, y comprendiendo dicho programa de software
etapas ejecutables por máquina para almacenar temporalmente
imágenes de referencia e imágenes a reordenar en una memoria
intermedia de imagen (5.2, 2.1), caracterizado porque dicho
programa de software además comprende lo siguiente:
etapas ejecutables por máquina para realizar lo
siguiente antes de insertar una imagen recién decodificada en la
memoria intermedia (5.2; 2.1),
- recibir de un codificador (1) un atributo que
define un número de imágenes dispuestas para ser almacenadas
temporalmente que es suficiente para recuperar el orden de salida de
las imágenes de la memoria intermedia de imagen (5.2) cuando las
imágenes se introducen de la memoria intermedia de imagen (5.2) en
el orden de decodificación,
- examinar si la imagen decodificada nuevamente
puede insertarse en la memoria intermedia (5.2; 2.1) sin eliminar
ninguna otra imagen de la memoria intermedia (5.2; 2.1), a partir
del atributo recibido,
a partir de dicho examen, seleccionar una imagen
para eliminarla de la memoria intermedia (5.2; 2.1), cuando la
imagen recién decodificada no puede insertarse en la memoria
intermedia (5.2; 2.1) sin eliminar ninguna otra imagen de la memoria
intermedia (5.2; 2.1),
- eliminar la imagen seleccionada de la memoria
intermedia (5.2; 2.1).
29. Programa de software que comprende etapas
ejecutables por máquina para almacenar temporalmente imágenes
decodificadas, se define el tamaño de la memoria intermedia, y se
define el número máximo de imágenes de referencia en la memoria
intermedia, y etapas ejecutables por máquina para procesar una
señal que contiene, al menos, una primera imagen de referencia y
una segunda imagen de referencia y, al menos, un elemento de señal
para permitir a la primera imagen de referencia preceder a la
segunda imagen de referencia en el orden de decodificación y a la
segunda imagen de referencia preceder a la primera imagen de
referencia en el orden de salida, caracterizado porque la
señal contiene además una indicación del número de imagen dispuestas
para ser almacenadas temporalmente en un decodificador que es
suficiente para recuperar el orden de salida de las imágenes
decodificadas cuando dichas imágenes decodificadas se introducen
para almacenarlas temporalmente en el orden de decodificación,
donde dicho programa de software comprende etapas ejecutables por
máquina para almacenar temporalmente las referencias de predicción
y las imágenes decodificadas para disponerlas en el orden de
presentación en una memoria intermedia de imagen (5.2; 2.1), y
etapas ejecutables por máquina para definir el tamaño de la memoria
intermedia (5.2; 2.1) a partir de dicha indicación.
30. Medio de almacenamiento para almacenar un
programa de software que comprende etapas ejecutables por máquina
para formar un flujo de imágenes codificadas, e incluir la señal
con, al menos, una primera imagen de referencia y una segunda
imagen de referencia y, al menos, un elemento de señal para permitir
a la primera imagen de referencia preceder a la segunda imagen de
referencia en el orden de decodificación y a la segunda imagen de
referencia preceder a la primera imagen de referencia en el orden de
salida, caracterizado porque el programa de software
comprende etapas ejecutables por máquina para formar en el flujo
binario una indicación del número de imágenes dispuestas para ser
almacenadas temporalmente en un decodificador que es suficiente para
recuperar el orden de salida de las imágenes cuando las imágenes se
introducen para almacenarlas temporalmente en el orden de
decodificación.
31. Dispositivo electrónico que comprende un
codificador (1) para formar un flujo de imágenes codificadas,
estando dispuesto dicho codificador (1) para insertar en dicho flujo
de imágenes, al menos, una primera imagen de referencia y una
segunda imagen de referencia y, al menos, un elemento de señal para
permitir a la primera imagen de referencia preceder a la segunda
imagen de referencia en el orden de decodificación y a la segunda
imagen de referencia preceder a la primera imagen de referencia en
el orden de salida, caracterizado porque dicho codificador
está dispuesto para insertar en el flujo de imágenes una indicación
del número de imágenes dispuestas para ser almacenadas
temporalmente en un decodificador que es suficiente para recuperar
el orden de salida de las imágenes cuando las imágenes se
introducen para almacenarlas temporalmente en el orden de
decodificación.
32. Dispositivo electrónico (8) comprendiendo un
decodificador (2) que incluye medios (2.3) para almacenar
temporalmente imágenes decodificadas, definiéndose el número máximo
de imágenes de referencia en la memoria intermedia, y comprendiendo
dicho dispositivo electrónico (8) una entrada para introducir una
señal que contiene, al menos, una primera imagen de referencia y
una segunda imagen de referencia y, al menos, un elemento de señal
para permitir a la primera imagen de referencia preceder a la
segunda imagen de referencia en el orden de decodificación y a la
segunda imagen de referencia preceder a la primera imagen de
referencia en el orden de salida, caracterizado porque la
señal además contiene, al menos, una indicación del número de
imágenes dispuestas para ser almacenadas temporalmente que es
suficiente para recuperar el orden de salida de las imágenes cuando
las imágenes se introducen para almacenarlas temporalmente en el
orden de decodificación, y que los medios (2.3) para almacenar
temporalmente incluyen una memoria intermedia de imagen (2.1) para
almacenar temporalmente las referencias de predicción y las
imágenes decodificadas para disponerlas en el orden de salida, donde
el decodificador (2) comprende un dispositivo de definición (2.2;
2.4) para definir el tamaño de la memoria intermedia (2.1) a partir
de dicha indicación.
33. Sistema que comprende un codificador (1)
para formar una señal que contiene un flujo de imágenes codificadas,
un canal de transmisión (4) para transmitir la señal a un
decodificador (2), incluyendo dicho decodificador (2) medios (2.3)
para almacenar temporalmente imágenes decodificadas, y estando
dispuesto dicho sistema para incluir en el flujo de imágenes, al
menos, una primera imagen de referencia y una segunda imagen de
referencia y, al menos, un elemento de señal para permitir a la
primera imagen de referencia preceder a la segunda imagen de
referencia en el orden de decodificación y a la segunda imagen de
referencia preceder a la primera imagen de referencia en el orden
de salida, caracterizado porque el codificador está dispuesto
para formar en el flujo de imágenes una indicación del número de
imágenes dispuestas para ser almacenadas temporalmente en dicho
decodificador que es suficiente para recuperar el orden de salida de
las imágenes cuando las imágenes se introducen para almacenarlas
temporalmente en el orden de decodificación.
34. Dispositivo (1) que comprende una entrada
para introducir información de, al menos, una primera imagen de
referencia y una segunda imagen de referencia y, al menos, un
elemento de señal para permitir a la primera imagen de referencia
preceder a la segunda imagen de referencia en el orden de
decodificación y a la segunda imagen de referencia preceder a la
primera imagen de referencia en el orden de salida,
caracterizado porque dicho dispositivo está dispuesto para
formar una indicación de un número de imágenes dispuestas para ser
almacenadas temporalmente en el orden de decodificación que es
suficiente para recuperar el orden de salida de las imágenes cuando
las imágenes se introducen para almacenarlas temporalmente en el
orden de decodificación.
Applications Claiming Priority (6)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US42440902P | 2002-11-06 | 2002-11-06 | |
| US424409P | 2002-11-06 | ||
| US42995302P | 2002-11-29 | 2002-11-29 | |
| US429953P | 2002-11-29 | ||
| US43071202P | 2002-12-03 | 2002-12-03 | |
| US430712P | 2002-12-03 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| ES2285264T3 true ES2285264T3 (es) | 2007-11-16 |
Family
ID=32314883
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| ES03810480T Expired - Lifetime ES2285264T3 (es) | 2002-11-06 | 2003-11-06 | Almacenamiento temporal de imagenes para referencias y presentacion de prediccion. |
Country Status (13)
| Country | Link |
|---|---|
| US (1) | US8107744B2 (es) |
| EP (1) | EP1559274B1 (es) |
| JP (2) | JP4516016B2 (es) |
| KR (1) | KR100769234B1 (es) |
| AT (1) | ATE359673T1 (es) |
| AU (1) | AU2003276300A1 (es) |
| DE (1) | DE60313205T2 (es) |
| ES (1) | ES2285264T3 (es) |
| MX (1) | MXPA05004627A (es) |
| MY (1) | MY134659A (es) |
| RU (1) | RU2310290C2 (es) |
| TW (1) | TWI249356B (es) |
| WO (1) | WO2004043071A1 (es) |
Families Citing this family (80)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6717927B2 (en) | 2002-04-05 | 2004-04-06 | Interdigital Technology Corporation | System for efficient recovery of node B buffered data following serving high speed downlink shared channel cell change |
| US7706405B2 (en) | 2002-09-12 | 2010-04-27 | Interdigital Technology Corporation | System for efficient recovery of Node-B buffered data following MAC layer reset |
| MY134659A (en) * | 2002-11-06 | 2007-12-31 | Nokia Corp | Picture buffering for prediction references and display |
| US8423643B2 (en) * | 2003-11-19 | 2013-04-16 | International Business Machines Corporation | Autonomic assignment of communication buffers by aggregating system profiles |
| US8351514B2 (en) * | 2004-01-16 | 2013-01-08 | General Instrument Corporation | Method, protocol, and apparatus for transporting advanced video coding content |
| FR2874292B1 (fr) * | 2004-08-10 | 2007-01-26 | Thales Sa | Procede de mise en forme de trames d'une sequence video |
| US20090168866A1 (en) * | 2004-12-02 | 2009-07-02 | Sony Corporation | Encoding device, method, and program |
| JP2006211602A (ja) * | 2005-01-31 | 2006-08-10 | Toshiba Corp | データ送信機及びプログラム |
| US7536487B1 (en) * | 2005-03-11 | 2009-05-19 | Ambarella, Inc. | Low power memory hierarchy for high performance video processor |
| BRPI0610404A2 (pt) * | 2005-04-07 | 2012-01-10 | Nokia Corp | método, sistema e dispositivo para armazenar pacotes de um fluxo de mìdia, dispositivo de comunicação sem fio, servidor, servidor de radiodifusão de multimìdia/serviço multipontos, dispositivo para receber os pacotes possuindo uma programação de transmissão e ao menos um quadro de transmissão, sinal associado a um fluxo de mìdia, produto de programa de computador |
| EP1908303A4 (en) * | 2005-07-01 | 2011-04-06 | Sonic Solutions | METHOD, DEVICE AND SYSTEM FOR USE IN MULTIMEDIA SIGNAL CODING |
| US7933294B2 (en) | 2005-07-20 | 2011-04-26 | Vidyo, Inc. | System and method for low-delay, interactive communication using multiple TCP connections and scalable coding |
| US8289370B2 (en) | 2005-07-20 | 2012-10-16 | Vidyo, Inc. | System and method for scalable and low-delay videoconferencing using scalable video coding |
| KR100770704B1 (ko) * | 2005-08-04 | 2007-10-29 | 삼성전자주식회사 | 픽쳐 스킵 방법 및 장치 |
| JP2009508454A (ja) * | 2005-09-07 | 2009-02-26 | ヴィドヨ，インコーポレーテッド | スケーラブルなビデオ符号化を用いたスケーラブルで低遅延のテレビ会議用システムおよび方法 |
| CN101317460A (zh) * | 2005-10-11 | 2008-12-03 | 诺基亚公司 | 用于有效的可伸缩流适配的系统和方法 |
| KR20080066784A (ko) * | 2005-10-11 | 2008-07-16 | 노키아 코포레이션 | 규모가변적 비디오 코딩을 위한 효율적 디코딩 화상 버퍼관리 |
| KR100663467B1 (ko) * | 2006-02-17 | 2007-01-02 | 삼성전자주식회사 | 휴대단말기의 이미지 표시 방법 |
| US8170116B2 (en) | 2006-03-27 | 2012-05-01 | Nokia Corporation | Reference picture marking in scalable video encoding and decoding |
| JP5213064B2 (ja) | 2006-03-29 | 2013-06-19 | トムソン ライセンシング | マルチビュービデオ符号化方法及びその装置 |
| WO2008010932A2 (en) * | 2006-07-20 | 2008-01-24 | Thomson Licensing | Method and apparatus for signaling view scalability in multi-view video coding |
| US7456760B2 (en) * | 2006-09-11 | 2008-11-25 | Apple Inc. | Complexity-aware encoding |
| US8875199B2 (en) * | 2006-11-13 | 2014-10-28 | Cisco Technology, Inc. | Indicating picture usefulness for playback optimization |
| US8873932B2 (en) | 2007-12-11 | 2014-10-28 | Cisco Technology, Inc. | Inferential processing to ascertain plural levels of picture interdependencies |
| US8416859B2 (en) | 2006-11-13 | 2013-04-09 | Cisco Technology, Inc. | Signalling and extraction in compressed video of pictures belonging to interdependency tiers |
| US20090180546A1 (en) | 2008-01-09 | 2009-07-16 | Rodriguez Arturo A | Assistance for processing pictures in concatenated video streams |
| JP5535646B2 (ja) * | 2007-01-05 | 2014-07-02 | トムソン ライセンシング | スケーラブル映像符号化用の仮想リファレンスデコーダ |
| WO2008084443A1 (en) * | 2007-01-09 | 2008-07-17 | Nokia Corporation | System and method for implementing improved decoded picture buffer management for scalable video coding and multiview video coding |
| KR101132386B1 (ko) * | 2007-04-13 | 2012-07-16 | 노키아 코포레이션 | 비디오 코더 |
| JP5011017B2 (ja) * | 2007-07-30 | 2012-08-29 | 株式会社日立製作所 | 画像復号化装置 |
| US8958486B2 (en) | 2007-07-31 | 2015-02-17 | Cisco Technology, Inc. | Simultaneous processing of media and redundancy streams for mitigating impairments |
| US8804845B2 (en) | 2007-07-31 | 2014-08-12 | Cisco Technology, Inc. | Non-enhancing media redundancy coding for mitigating transmission impairments |
| KR100951008B1 (ko) * | 2007-12-17 | 2010-04-02 | 한국전자통신연구원 | 인터레이스 부호화에서의 실시간 비트율 제어 방법 및시스템 |
| US8416858B2 (en) | 2008-02-29 | 2013-04-09 | Cisco Technology, Inc. | Signalling picture encoding schemes and associated picture properties |
| WO2009152450A1 (en) | 2008-06-12 | 2009-12-17 | Cisco Technology, Inc. | Picture interdependencies signals in context of mmco to assist stream manipulation |
| US8971402B2 (en) | 2008-06-17 | 2015-03-03 | Cisco Technology, Inc. | Processing of impaired and incomplete multi-latticed video streams |
| US8705631B2 (en) | 2008-06-17 | 2014-04-22 | Cisco Technology, Inc. | Time-shifted transport of multi-latticed video for resiliency from burst-error effects |
| US8699578B2 (en) | 2008-06-17 | 2014-04-15 | Cisco Technology, Inc. | Methods and systems for processing multi-latticed video streams |
| US9788018B2 (en) * | 2008-06-30 | 2017-10-10 | Microsoft Technology Licensing, Llc | Error concealment techniques in video decoding |
| US9083976B2 (en) * | 2008-09-05 | 2015-07-14 | Freescale Semiconductor, Inc. | Processing a video stream in real time based on binary information of the video stream |
| US9602821B2 (en) * | 2008-10-01 | 2017-03-21 | Nvidia Corporation | Slice ordering for video encoding |
| EP2356812B1 (en) | 2008-11-12 | 2015-06-10 | Cisco Technology, Inc. | Processing of a video program having plural processed representations of a single video signal for reconstruction and output |
| US8326131B2 (en) | 2009-02-20 | 2012-12-04 | Cisco Technology, Inc. | Signalling of decodable sub-sequences |
| JP5072893B2 (ja) * | 2009-03-25 | 2012-11-14 | 株式会社東芝 | 画像符号化方法および画像復号化方法 |
| US8782261B1 (en) | 2009-04-03 | 2014-07-15 | Cisco Technology, Inc. | System and method for authorization of segment boundary notifications |
| US8949883B2 (en) | 2009-05-12 | 2015-02-03 | Cisco Technology, Inc. | Signalling buffer characteristics for splicing operations of video streams |
| US8279926B2 (en) | 2009-06-18 | 2012-10-02 | Cisco Technology, Inc. | Dynamic streaming with latticed representations of video |
| US8340510B2 (en) | 2009-07-17 | 2012-12-25 | Microsoft Corporation | Implementing channel start and file seek for decoder |
| JP2011199396A (ja) * | 2010-03-17 | 2011-10-06 | Ntt Docomo Inc | 動画像予測符号化装置、動画像予測符号化方法、動画像予測符号化プログラム、動画像予測復号装置、動画像予測復号方法、及び動画像予測復号プログラム |
| EP2568705B1 (en) | 2010-05-07 | 2018-09-26 | Nippon Telegraph And Telephone Corporation | Moving image encoding control method, moving image encoding apparatus and moving image encoding program |
| KR101391661B1 (ko) | 2010-05-12 | 2014-05-07 | 니폰덴신뎅와 가부시키가이샤 | 동화상 부호화 제어 방법, 동화상 부호화 장치 및 동화상 부호화 프로그램 |
| WO2012042916A1 (ja) * | 2010-09-30 | 2012-04-05 | 富士通株式会社 | 動画像符号化装置、動画像符号化方法及び動画像符号化用コンピュータプログラム |
| JP5563148B2 (ja) | 2011-03-09 | 2014-07-30 | 株式会社東芝 | 動画像符号化方法及び動画像復号化方法 |
| AU2012225513B2 (en) | 2011-03-10 | 2016-06-23 | Vidyo, Inc. | Dependency parameter set for scalable video coding |
| US9706227B2 (en) * | 2011-03-10 | 2017-07-11 | Qualcomm Incorporated | Video coding techniques for coding dependent pictures after random access |
| TWI587693B (zh) | 2011-06-30 | 2017-06-11 | 微軟技術授權有限責任公司 | 用於減少視訊編碼及解碼中之延遲的方法、系統及電腦可讀取媒體 |
| WO2013016871A1 (en) * | 2011-08-03 | 2013-02-07 | Mediatek Inc. | Method and video decoder for decoding scalable video stream using inter-layer racing scheme |
| ES2685431T3 (es) * | 2011-09-07 | 2018-10-09 | Sun Patent Trust | Procedimiento de decodificación de imágenes y aparato de decodificación de imágenes |
| US20140233653A1 (en) * | 2011-09-30 | 2014-08-21 | Telefonaktiebolaget L M Ericsson (Publ) | Decoder and encoder for picture outputting and methods thereof |
| US9451284B2 (en) * | 2011-10-10 | 2016-09-20 | Qualcomm Incorporated | Efficient signaling of reference picture sets |
| JP5698644B2 (ja) * | 2011-10-18 | 2015-04-08 | 株式会社Ｎｔｔドコモ | 動画像予測符号化方法、動画像予測符号化装置、動画像予測符号化プログラム、動画像予測復号方法、動画像予測復号装置及び動画像予測復号プログラム |
| KR20130058584A (ko) | 2011-11-25 | 2013-06-04 | 삼성전자주식회사 | 복호화기의 버퍼 관리를 위한 영상 부호화 방법 및 장치, 그 영상 복호화 방법 및 장치 |
| KR101652928B1 (ko) | 2012-01-31 | 2016-09-01 | 브이아이디 스케일, 인크. | 스케일러블 고효율 비디오 코딩(hevc)을 위한 참조 픽처 세트(rps) 시그널링 |
| US9578326B2 (en) * | 2012-04-04 | 2017-02-21 | Qualcomm Incorporated | Low-delay video buffering in video coding |
| US9319679B2 (en) * | 2012-06-07 | 2016-04-19 | Qualcomm Incorporated | Signaling data for long term reference pictures for video coding |
| US9313486B2 (en) | 2012-06-20 | 2016-04-12 | Vidyo, Inc. | Hybrid video coding techniques |
| US9332255B2 (en) * | 2012-06-28 | 2016-05-03 | Qualcomm Incorporated | Signaling long-term reference pictures for video coding |
| WO2014003682A1 (en) * | 2012-06-29 | 2014-01-03 | Telefonaktiebolaget L M Ericsson (Publ) | Encoding and decoding video sequences comprising reference picture sets |
| JP5972687B2 (ja) * | 2012-07-02 | 2016-08-17 | 株式会社Ｎｔｔドコモ | 動画像予測符号化装置、動画像予測符号化方法、動画像予測符号化プログラム、動画像予測復号装置、動画像予測復号方法及び動画像予測復号プログラム |
| US9374583B2 (en) * | 2012-09-20 | 2016-06-21 | Qualcomm Incorporated | Video coding with improved random access point picture behaviors |
| US9351005B2 (en) | 2012-09-24 | 2016-05-24 | Qualcomm Incorporated | Bitstream conformance test in video coding |
| SG10201913539SA (en) | 2013-04-07 | 2020-02-27 | Dolby Int Ab | Signaling change in output layer sets |
| US9591321B2 (en) | 2013-04-07 | 2017-03-07 | Dolby International Ab | Signaling change in output layer sets |
| US10283091B2 (en) | 2014-10-13 | 2019-05-07 | Microsoft Technology Licensing, Llc | Buffer optimization |
| US9979983B2 (en) * | 2015-03-16 | 2018-05-22 | Microsoft Technology Licensing, Llc | Application- or context-guided video decoding performance enhancements |
| US10129566B2 (en) | 2015-03-16 | 2018-11-13 | Microsoft Technology Licensing, Llc | Standard-guided video decoding performance enhancements |
| US20170006303A1 (en) * | 2015-06-30 | 2017-01-05 | Intel Corporation | Method and system of adaptive reference frame caching for video coding |
| RU2615677C1 (ru) * | 2015-10-30 | 2017-04-06 | Кабусики Кайся Тосиба | Способ кодирования изображений и способ декодирования изображений |
| GB2570879B (en) * | 2018-02-06 | 2022-08-17 | Advanced Risc Mach Ltd | Encoding data arrays |
| WO2021133721A1 (en) | 2019-12-26 | 2021-07-01 | Bytedance Inc. | Techniques for implementing a decoding order within a coded picture |
Family Cites Families (27)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| BR9105987A (pt) | 1990-09-19 | 1993-02-02 | Philips Nv | Portador de registro no qual foram registrados um arquivo de dados principais e um arquivo de controle,processo e dispositivo para registrar um arquivo de dados principais e um arquivo de controle num portador de registro,e dispositivo para ter um portador de registro |
| US5652627A (en) * | 1994-09-27 | 1997-07-29 | Lucent Technologies Inc. | System and method for reducing jitter in a packet-based transmission network |
| KR100376904B1 (ko) * | 1994-11-18 | 2003-06-02 | 산요 덴키 가부시키가이샤 | 인코드된비디오데이타를제어할수있는비디오디코딩장치 |
| US5543853A (en) * | 1995-01-19 | 1996-08-06 | At&T Corp. | Encoder/decoder buffer control for variable bit-rate channel |
| US5835149A (en) * | 1995-06-06 | 1998-11-10 | Intel Corporation | Bit allocation in a coded video sequence |
| TW303570B (es) | 1995-09-29 | 1997-04-21 | Matsushita Electric Ind Co Ltd | |
| FR2748623B1 (fr) * | 1996-05-09 | 1998-11-27 | Thomson Multimedia Sa | Encodeur a debit variable |
| US5793436A (en) * | 1996-06-17 | 1998-08-11 | Samsung Electronics Co., Ltd. | Buffer occupancy control method for use in video buffering verifier |
| KR100262453B1 (ko) * | 1996-08-19 | 2000-08-01 | 윤종용 | 비디오데이터처리방법및장치 |
| US5909224A (en) * | 1996-10-18 | 1999-06-01 | Samsung Electronics Company, Ltd. | Apparatus and method for managing a frame buffer for MPEG video decoding in a PC environment |
| US6028539A (en) * | 1997-02-07 | 2000-02-22 | Matsushita Electric Industrial Co., Ltd. | Buffer control method, and decoding apparatus performing buffer control |
| US5926227A (en) * | 1997-07-28 | 1999-07-20 | Lsi Logic Corporation | Video decoder dynamic memory allocation system and method with error recovery |
| AU9388298A (en) | 1997-09-19 | 1999-04-12 | Sony Electronics Inc. | Motion compensated digital video decoding with buffered picture storage memory map |
| WO1999052282A1 (en) * | 1998-04-02 | 1999-10-14 | Sarnoff Corporation | Bursty data transmission of compressed video data |
| US6289129B1 (en) * | 1998-06-19 | 2001-09-11 | Motorola, Inc. | Video rate buffer for use with push dataflow |
| JP2000232649A (ja) * | 1998-12-10 | 2000-08-22 | Fujitsu Ltd | Ｍｐｅｇビデオ復号器及びｍｐｅｇビデオ復号方法 |
| US6658056B1 (en) | 1999-03-30 | 2003-12-02 | Sony Corporation | Digital video decoding, buffering and frame-rate converting method and apparatus |
| US6480539B1 (en) * | 1999-09-10 | 2002-11-12 | Thomson Licensing S.A. | Video encoding method and apparatus |
| JP2001204032A (ja) * | 2000-01-20 | 2001-07-27 | Nec Corp | Ｍｐｅｇ復号装置 |
| US6522693B1 (en) * | 2000-02-23 | 2003-02-18 | International Business Machines Corporation | System and method for reencoding segments of buffer constrained video streams |
| US6845129B2 (en) * | 2001-01-31 | 2005-01-18 | Lucent Technologies Inc. | Controlling a video-buffer-verifier buffer using an MPEG-like encoder |
| FI118830B (fi) * | 2001-02-08 | 2008-03-31 | Nokia Corp | Tietovirran toisto |
| KR100748495B1 (ko) * | 2001-04-20 | 2007-08-13 | 엘지전자 주식회사 | 복수 참조 프레임을 이용한 ｂ프레임 코딩시 직접 예측 방법 |
| US7170938B1 (en) * | 2001-08-21 | 2007-01-30 | Cisco Systems Canada Co. | Rate control method for video transcoding |
| US6980594B2 (en) * | 2001-09-11 | 2005-12-27 | Emc Corporation | Generation of MPEG slow motion playout |
| US7149247B2 (en) * | 2002-01-22 | 2006-12-12 | Microsoft Corporation | Methods and systems for encoding and decoding video data to enable random access and splicing |
| MY134659A (en) * | 2002-11-06 | 2007-12-31 | Nokia Corp | Picture buffering for prediction references and display |
-
2003
- 2003-11-05 MY MYPI20034239A patent/MY134659A/en unknown
- 2003-11-05 TW TW092130870A patent/TWI249356B/zh not_active IP Right Cessation
- 2003-11-06 US US10/703,109 patent/US8107744B2/en active Active
- 2003-11-06 JP JP2005502120A patent/JP4516016B2/ja not_active Expired - Lifetime
- 2003-11-06 KR KR1020057007982A patent/KR100769234B1/ko active IP Right Grant
- 2003-11-06 WO PCT/FI2003/000832 patent/WO2004043071A1/en active IP Right Grant
- 2003-11-06 EP EP03810480A patent/EP1559274B1/en not_active Expired - Lifetime
- 2003-11-06 MX MXPA05004627A patent/MXPA05004627A/es active IP Right Grant
- 2003-11-06 DE DE60313205T patent/DE60313205T2/de not_active Expired - Lifetime
- 2003-11-06 AT AT03810480T patent/ATE359673T1/de active
- 2003-11-06 ES ES03810480T patent/ES2285264T3/es not_active Expired - Lifetime
- 2003-11-06 AU AU2003276300A patent/AU2003276300A1/en not_active Abandoned
- 2003-11-06 RU RU2005117360/09A patent/RU2310290C2/ru active
-
2005
- 2005-10-12 JP JP2005297838A patent/JP2006094544A/ja not_active Withdrawn
Also Published As
| Publication number | Publication date |
|---|---|
| AU2003276300A1 (en) | 2004-06-07 |
| MY134659A (en) | 2007-12-31 |
| EP1559274A1 (en) | 2005-08-03 |
| RU2310290C2 (ru) | 2007-11-10 |
| KR20050084678A (ko) | 2005-08-26 |
| DE60313205D1 (de) | 2007-05-24 |
| TW200421878A (en) | 2004-10-16 |
| JP4516016B2 (ja) | 2010-08-04 |
| TWI249356B (en) | 2006-02-11 |
| US20040179619A1 (en) | 2004-09-16 |
| ATE359673T1 (de) | 2007-05-15 |
| WO2004043071A1 (en) | 2004-05-21 |
| DE60313205T2 (de) | 2007-10-25 |
| JP2006094544A (ja) | 2006-04-06 |
| KR100769234B1 (ko) | 2007-10-22 |
| EP1559274B1 (en) | 2007-04-11 |
| JP2006506027A (ja) | 2006-02-16 |
| RU2005117360A (ru) | 2006-01-20 |
| MXPA05004627A (es) | 2005-06-08 |
| US8107744B2 (en) | 2012-01-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| ES2285264T3 (es) | Almacenamiento temporal de imagenes para referencias y presentacion de prediccion. | |
| US10986357B2 (en) | Signaling change in output layer sets | |
| JP7309478B2 (ja) | オーバーレイを伴うビデオを符号化するための方法およびシステム | |
| JP5116175B2 (ja) | 多視点ビデオ符号化を含む参照ピクチャの管理方法 | |
| US9100659B2 (en) | Multi-view video coding method and device using a base view | |
| EP1150514B1 (en) | Encoding system and encoding method | |
| US20090323824A1 (en) | Methods and Apparatus for Use in Multi-View Video Coding | |
| US20160191926A1 (en) | Signaling indications and constraints | |
| KR101878537B1 (ko) | 동화상 부호화 장치, 동화상 복호 장치, 동화상 부호화 방법 및 동화상 복호 방법 | |
| KR20200116538A (ko) | 비디오 데이터 스트림 개념 | |
| US20150103924A1 (en) | On operation of decoded picture buffer for interlayer pictures | |
| US9516330B2 (en) | Virtual field buffer based decoding | |
| AU2012203039B2 (en) | Methods and apparatus for use in a multi-view video coding system | |
| JP2000358249A (ja) | 動画像符号化装置 |