ES2879635T3 - Vaciado de imágenes e inferencia de parámetros de búfer de imágenes decodificadas para flujos de bits multicapa - Google Patents

Vaciado de imágenes e inferencia de parámetros de búfer de imágenes decodificadas para flujos de bits multicapa Download PDF

Info

Publication number
ES2879635T3
ES2879635T3 ES15712772T ES15712772T ES2879635T3 ES 2879635 T3 ES2879635 T3 ES 2879635T3 ES 15712772 T ES15712772 T ES 15712772T ES 15712772 T ES15712772 T ES 15712772T ES 2879635 T3 ES2879635 T3 ES 2879635T3
Authority
ES
Spain
Prior art keywords
image
video
images
layer
irap
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
ES15712772T
Other languages
English (en)
Inventor
Adarsh Krishnan Ramasubramonian
Ye-Kui Wang
Fnu Hendry
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Application granted granted Critical
Publication of ES2879635T3 publication Critical patent/ES2879635T3/es
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/33—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/18—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a set of transform coefficients
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

Un procedimiento de codificación de información de vídeo, que comprende: usar uno o más dispositivos informáticos que comprenden hardware informático para realizar las etapas de almacenar, en una memoria, datos de vídeo asociados a una pluralidad de capas que incluyen una capa de referencia, comprendiendo la memoria un búfer de imágenes decodificadas, DPB, asociado a cada capa; obtener, a partir de la capa de referencia, una imagen de punto de acceso aleatorio interno, IRAP, en una unidad de acceso, AU, actual a codificar, en el que la imagen IRAP está asociada a un NoRaslOutputFlag que tiene un valor de 1 y en el que NoRaslOutputFlag indica si una imagen principal omitida de acceso aleatorio, RASL, debe proporcionarse; determinar si la imagen IRAP de capa de referencia activa un nuevo conjunto de parámetros de vídeo, VPS, o si la imagen IRAP de capa de referencia está asociada a un NoClrasOutputFlag que tiene un valor de 1, en el que NoClrasOutputFlag indica si se debe proporcionar una imagen de omisión de acceso aleatorio entre capas, CL-RAS; en respuesta a determinar que la imagen IRAP de capa de referencia activa un nuevo VPS o que la imagen IRAP de capa de referencia está asociada a un NoClrasOutputFlag que tiene un valor de 1, eliminar imágenes en el DPB asociado a cada una de la pluralidad de capas; y en respuesta a determinar que la imagen IRAP de capa de referencia no activa un nuevo VPS y que la imagen IRAP de capa de referencia no está asociada a un NoClrasOutputFlag que tiene un valor de 1, eliminar solamente imágenes del DPB asociado a la capa de referencia.

Description

DESCRIPCIÓN
Vaciado de imágenes e inferencia de parámetros de búfer de imágenes decodificadas para flujos de bits multicapa
Campo técnico
[0001] Esta divulgación se refiere al campo de la codificación de vídeo multicapa. La codificación de vídeo multicapa puede incluir codificación de vídeo escalable, codificación de vídeo multivista, codificación de vídeo tridimensional (3D), etc.
Antecedentes
[0002] Las capacidades de vídeo digital se pueden incorporar a una amplia gama de dispositivos, que incluye televisores digitales, sistemas de radiodifusión directa digital, sistemas de radiodifusión inalámbrica, asistentes personales digitales (PDA), ordenadores portátiles o de escritorio, cámaras digitales, dispositivos de grabación digitales, reproductores de medios digitales, dispositivos de videojuegos, consolas de videojuegos, teléfonos de radio celulares o por satélite, dispositivos de videoconferencia y similares. Los dispositivos de vídeo digital implementan técnicas de compresión de vídeo, tales como las descritas en las normas definidas por MPEG-2, m PeG-4, ITU-T H.263, ITU-T H.264/MPEG-4, parte 10, Codificación Avanzada de Vídeo (AVC), la norma de Codificación de Vídeo de Alta Eficacia (HEVC) y las ampliaciones de dichas normas. Los dispositivos de vídeo pueden transmitir, recibir, codificar, decodificar y/o almacenar información de vídeo digital más eficazmente implementando dichas técnicas de codificación de vídeo.
[0003] Las técnicas de compresión de vídeo realizan una predicción espacial (intraimagen) y/o una predicción temporal (interimagen) para reducir o eliminar la redundancia intrínseca a las secuencias de vídeo. En la codificación de vídeo basada en bloques, un fragmento de vídeo (por ejemplo, una trama de vídeo, una parte de una trama de vídeo, etc.) se puede dividir en bloques de vídeo, que también se pueden denominar bloques de árbol, unidades de codificación (CU) y/o nodos de codificación. Los bloques de vídeo en un fragmento intracodificado (I) de una imagen se codifican usando predicción espacial con respecto a unas muestras de referencia de bloques vecinos de la misma imagen. Los bloques de vídeo de un fragmento intercodificado (P o B) de una imagen pueden usar predicción espacial con respecto a unas muestras de referencia de bloques vecinos de la misma imagen o predicción temporal con respecto a unas muestras de referencia de otras imágenes de referencia. Las imágenes se pueden denominar tramas, y las imágenes de referencia se pueden denominar tramas de referencia.
[0004] La predicción espacial o temporal da como resultado un bloque predictivo para un bloque que se va a codificar. Los datos residuales representan diferencias de píxeles entre el bloque original que se va a codificar y el bloque predictivo. Un bloque intercodificado se codifica de acuerdo con un vector de movimiento que apunta a un bloque de muestras de referencia que forman el bloque predictivo y de acuerdo con los datos residuales que indican la diferencia entre el bloque codificado y el bloque predictivo. Un bloque intracodificado se codifica de acuerdo con un modo de intracodificación y los datos residuales. Para una mayor compresión, los datos residuales se pueden transformar desde el dominio de píxel a un dominio de transformada, dando como resultado unos coeficientes de transformada residuales que, a continuación, se pueden cuantificar. Los coeficientes de transformada cuantificados, dispuestos inicialmente en una matriz bidimensional, se pueden explorar para generar un vector unidimensional de coeficientes de transformada, y se puede aplicar codificación por entropía para lograr aún más compresión.
[0005] El documento de RAMASUBRAMONIAN AK ETAL.: "MV-HEVC/SHVC HLS: On flushing of decoded pictures from the DPB based on NoOutputOfPriorPicsFlag",15. CONVENCIÓN DEL JCT-VC; 23/10/2013 -1/11/2013; GINEBRA; (EQUIPO DE COLABORACIÓN CONJUNTA EN CODIFICACIÓN DE VÍDEO DE ISO/IEC JTC1/SC29/WG11 E ITU-T SG.16), n.2 JCTVC-00266, 15 de octubre de 2013 (15/10/2013), XP030115331, analiza el vaciado de imágenes decodificadas del DPB en base al parámetro NoOutputOfPriorPicsFlag en MV-HEVC y SHVC. El documento propone que el vaciado de imágenes sea específico de capa para ambos tipos de conformidad de decodificador. De acuerdo con la propuesta, el proceso de vaciado está habilitado para producirse en cada imagen IRAP con NoRaslOutputFlag igual a 1, y en cada imagen LIP, en lugar de ocurrir solo en cada imagen IRAP que tiene NoRaslOutputFlag igual a 1 y nuh_layer_id igual a 0.
Breve explicación
[0006] La presente invención está definida en las reivindicaciones adjuntas, a las cuales se deberá hacer referencia a continuación. La divulgación habilitante de la invención se proporciona en los modos de realización descritos con referencia a la figura 5 y en el “Modo de realización 1” descrito a continuación. Cualquier otro modo de realización o aspecto descritos a continuación tienen meramente propósitos informativos y no forman parte de la invención. La codificación de vídeo escalable se refiere a la codificación de vídeo en la que se usan una capa base (BL), a veces denominada capa de referencia (RL), y una o más capas de mejora (EL) escalables. En la codificación de vídeo escalable, la capa base puede transportar datos de vídeo con un nivel de calidad base. Las una o más capas de mejora pueden transportar datos de vídeo adicionales para admitir, por ejemplo, niveles espaciales, temporales y/o de señal a ruido (SNR) más altos. Las capas de mejora se pueden definir con respecto a una capa codificada previamente. Por ejemplo, una capa inferior puede servir como una BL, mientras que una capa superior puede servir como una EL. Las capas intermedias pueden servir como EL o RL, o como ambas. Por ejemplo, una capa intermedia (por ejemplo, una capa que ni es la capa más baja ni la capa más alta) puede ser una EL para las capas por debajo de la capa intermedia, tal como la capa base o cualquier capa de mejora interviniente, y al mismo tiempo servir como una RL para una o más capas de mejora por encima de la capa intermedia. De forma similar, en la ampliación multivista o 3D de la norma HEVC, puede haber múltiples vistas, y la información de una vista se puede utilizar para codificar (por ejemplo, codificar o decodificar) la información de otra vista (por ejemplo, estimación de movimiento, predicción de vector de movimiento y/u otras redundancias).
[0007] Un aparato para codificar información de vídeo de acuerdo con determinados aspectos incluye una memoria y un procesador. La unidad de memoria está configurada para almacenar información de vídeo asociada a una pluralidad de capas que incluyen una capa de referencia, comprendiendo la memoria un búfer de imágenes decodificadas (DPB) asociada a cada capa. El procesador está configurado para obtener, a partir de la capa de referencia, una imagen de punto de acceso aleatorio interno (IRAP) en una unidad de acceso actual (AU) a codificar. El procesador está configurado además para: en respuesta a la determinación de que la imagen IRAP de capa de referencia inicia una nueva secuencia de vídeo codificada (CVS) en la AU actual: determinar si la imagen IRAP de capa de referencia activa un nuevo conjunto de parámetros de vídeo (VPS) o define un límite de predicción en la UA actual; en respuesta a la determinación de que la imagen IRAP de capa de referencia activa un nuevo VPS o a la determinación de que la imagen IRAP de capa de referencia define un límite de predicción en la AU actual, eliminar imágenes en el DPB asociado a cada una de la pluralidad de capas; y en respuesta a la determinación de que la imagen IRAP de capa de referencia no activa un nuevo VPS y a la determinación de que la imagen IRAP de capa de referencia no define un límite de predicción en la AU actual, eliminar solamente imágenes del DPB asociado a la capa de referencia.
[0008] Cada uno de los sistemas, procedimientos y dispositivos de esta divulgación tiene varios aspectos innovadores, ninguno de los cuales es el único responsable de los atributos deseables divulgados en el presente documento. Los detalles de uno o más ejemplos se exponen en los dibujos adjuntos y en la siguiente descripción, que no pretenden limitar el alcance completo de los conceptos inventivos descritos en el presente documento. Otras características, objetivos y ventajas resultarán evidentes a partir de la descripción y los dibujos, y a partir de las reivindicaciones.
Breve descripción de los dibujos
[0009]
La FIG. 1A es un diagrama de bloques que ilustra un sistema de codificación y decodificación de vídeo de ejemplo que puede utilizar técnicas de acuerdo con aspectos descritos en esta divulgación.
La FIG. 1B es un diagrama de bloques que ilustra otro sistema de codificación y decodificación de vídeo de ejemplo que puede llevar a cabo técnicas de acuerdo con aspectos descritos en esta divulgación.
La FIG. 2A es un diagrama de bloques que ilustra un ejemplo de un codificador de vídeo que puede implementar técnicas de acuerdo con aspectos descritos en esta divulgación.
La FIG. 2B es un diagrama de bloques que ilustra un ejemplo de un codificador de vídeo que puede implementar técnicas de acuerdo con aspectos descritos en esta divulgación.
La FIG. 3A es un diagrama de bloques que ilustra un ejemplo de un decodificador de vídeo que puede implementar técnicas de acuerdo con aspectos descritos en esta divulgación.
La FIG. 3B es un diagrama de bloques que ilustra un ejemplo de un decodificador de vídeo que puede implementar técnicas de acuerdo con aspectos descritos en esta divulgación.
La FIG. 4 es un diagrama de bloques que ilustra una configuración de ejemplo de imágenes en diferentes capas de acuerdo con un modo de realización de la presente divulgación.
La FIG. 5 es un diagrama de flujo que ilustra un procedimiento de codificación de información de vídeo, de acuerdo con un modo de realización de la presente divulgación.
Descripción detallada
[0010] Esta divulgación se refiere, en general, a la predicción entre capas para la codificación de vídeo escalable en el contexto de códecs de vídeo avanzados, tal como la HEVC (codificación de vídeo de alta eficacia). Más específicamente, la presente divulgación se refiere a sistemas y procedimientos para mejorar el rendimiento de la predicción entre capas en la ampliación de la codificación de vídeo escalable de HEVC, que puede denominarse SHVC.
[0011] En la siguiente descripción, se describen técnicas de codificación de vídeo avanzada (AVC)/H.264 relacionadas con determinados modos de realización; también se analizan la norma HEVC y las técnicas relacionadas. Aunque determinados modos de realización se describen en el presente documento en el contexto de las normas HEVC y/o H.264, un experto en la técnica puede apreciar que los sistemas y procedimientos divulgados en el presente documento se pueden aplicar a cualquier norma de codificación de vídeo adecuada. Por ejemplo, los modos de realización divulgados en el presente documento pueden aplicarse a una o más de las siguientes normas: Sector de Normalización de las Telecomunicaciones de la Unión Internacional de Telecomunicaciones (ITU) (ITU-T) H.261, Organización Internacional de Normalización (ISO) y Grupo de Expertos en Imágenes en Movimiento (MPEG) 1 (MPEG-1) de la Comisión Electrotécnica Internacional (IEC) (ISO/IEC) Visual, ITU-T H.262 o ISO/IEC MPEG-2 Visual, ITU-T H.263, ISO/IEC MPEG-4 Visual e ITU-T H.264 (también conocida como ISO/IEC MPEG-4 AVC), incluidas sus ampliaciones de codificación de vídeo escalable (SVC) y codificación de vídeo multivista (MVC).
[0012] HEVC sigue, en general, el marco de las normas de codificación de vídeo anteriores en muchos aspectos. La unidad de predicción en HEVC es diferente de las unidades de predicción (por ejemplo, macrobloque) en determinadas normas de codificación de vídeo anteriores. De hecho, el concepto de un macrobloque no existe en HEVC como se entiende en determinadas normas de codificación de vídeo anteriores. Un macrobloque se reemplaza por una estructura jerárquica basada en un esquema de árbol cuaternario, que puede proporcionar una gran flexibilidad, entre otros beneficios posibles. Por ejemplo, en el esquema de HEVC se definen tres tipos de bloques, unidad de codificación (CU), unidad de predicción (PU) y unidad de transformada (TU). La CU se puede referir a la unidad básica de división en regiones. La CU se puede considerar análoga al concepto de macrobloque, pero HEVC no limita el tamaño máximo de las CU y puede permitir una división recursiva en cuatro CU del mismo tamaño para mejorar la adaptabilidad del contenido. La PU se puede considerar la unidad básica de inter/intrapredicción, y una única PU puede contener múltiples particiones de forma arbitraria para codificar eficazmente patrones de imagen irregulares. La TU se puede considerar la unidad básica de transformada. La TU se puede definir independientemente de la PU; sin embargo, el tamaño de una TU puede estar limitado al tamaño de la CU a la que pertenece la TU. Esta separación de la estructura de bloques en tres conceptos diferentes puede permitir optimizar cada unidad de acuerdo con la función respectiva de la unidad, lo que puede dar como resultado una mejora de la eficacia de codificación.
[0013] Solamente con fines ilustrativos, determinados modos de realización divulgados en el presente documento se describen con ejemplos que solo incluyen dos capas (por ejemplo, una capa inferior tal como la capa base y una capa superior tal como la capa de mejora) de datos de vídeo. Una "capa" de datos de vídeo puede referirse, en general, a una secuencia de imágenes que tiene al menos una característica común, tal como una vista, una velocidad de trama, una resolución o similar. Por ejemplo, una capa puede incluir datos de vídeo asociados a una vista particular (por ejemplo, perspectiva) de datos de vídeo multivista. Como otro ejemplo, una capa puede incluir datos de vídeo asociados a una capa particular de datos de vídeo escalables. Por lo tanto, esta divulgación puede referirse indistintamente a una capa y a una vista de datos de vídeo. Es decir, una vista de datos de vídeo puede denominarse capa de datos de vídeo, y una capa de datos de vídeo puede denominarse vista de datos de vídeo. Además, un códec multicapa (también denominado codificador de vídeo multicapa o codificador-decodificador multicapa) puede referirse conjuntamente a un códec multivista o a un códec escalable (por ejemplo, un códec configurado para codificar y/o decodificar datos de vídeo usando MV-HEVC, 3D-HEVC, SHVC u otra técnica de codificación multicapa). La codificación de vídeo y la decodificación de vídeo pueden, en general, denominarse codificación de vídeo. Se debe entender que dichos ejemplos pueden aplicarse a configuraciones que incluyen múltiples capas base y/o de mejora. Además, para facilitar la explicación, la siguiente divulgación incluye los términos "tramas" o "bloques" con referencia a determinados modos de realización. Sin embargo, estos términos no pretenden ser limitativos. Por ejemplo, las técnicas descritas a continuación se pueden usar con cualquier unidad de vídeo adecuada, tal como bloques (por ejemplo, CU, PU, TU, macrobloques, etc.), fragmentos, tramas, etc.
Normas de codificación de vídeo
[0014] Una imagen digital, tal como una imagen de vídeo, una imagen de televisión, una imagen fija o una imagen generada por una grabadora de vídeo o un ordenador puede consistir en píxeles o muestras dispuestas en líneas horizontales y verticales. El número de píxeles en una sola imagen es, típicamente, de decenas de miles. Cada píxel contiene típicamente información de luminancia y crominancia. Sin compresión, la gran cantidad de información que se debe transmitir desde un codificador de imágenes a un decodificador de imágenes haría imposible la transmisión de imágenes en tiempo real. Para reducir la cantidad de información a transmitir, se ha desarrollado una serie de procedimientos de compresión diferentes, tales como las normas JPE G, MPEG y H.263.
[0015] Las normas de codificación de vídeo incluyen ITU-T H.261, ISO/IEC MPEG-1 Visual, ITU-T H.262 o ISO/IEC MPEG-2 Visual, ITU-T H.263, ISO/IEC MPEG-4 Visual e ITU-T H.264 (también conocida como ISO/IEC MPEG-4 AVC), incluidas sus ampliaciones SVC y MVC.
[0016] Además, existe una nueva norma de codificación de vídeo, concretamente la codificación de vídeo de alta eficacia (HEVC), que está siendo desarrollada por el Equipo de Colaboración Conjunta en Codificación de Vídeo (JCT-VC) del Grupo de Expertos en Codificación de Vídeo (VCEG) de ITU-T y el Grupo de Expertos en Imágenes en Movimiento (MPEG) de ISO/IEC. La cita completa del borrador 10 de HEVC es el documento JCTVC-L1003,de Bross et al., titulado "High Efficiency Video Coding (HEVC) Text Specification Draft 10", Equipo de Colaboración Conjunta en Codificación de Vídeo (JCT-VC) de ITU-T SG16 WP3 e ISO/IEC JTC1/SC29/WG11, 12a convención: Ginebra, Suiza, del 14 de enero de 2013 al 23 de enero de 2013. La ampliación multivista de HEVC, a saber, MV-HEVC, y la ampliación escalable de HEVC, a saber, SHVC, también están siendo desarrolladas por el JCT-3V (Equipo de colaboración conjunta de ITU-T/ISO/IEC para el desarrollo de la ampliación de la codificación de vídeo 3D) y JCT-VC, respectivamente.
Visión general
[0017] Las imágenes de punto de acceso aleatorio interno (IRAP) pueden proporcionar puntos de acceso aleatorio para decodificar un flujo de bits. Un decodificador puede comenzar a decodificar un flujo de bits decodificando una imagen IRAP sin tener que decodificar imágenes que preceden a la imagen IRAP. En el momento de decodificar una imagen IRAP, el búfer de imágenes decodificadas (DPB) puede tener varias imágenes decodificadas en el búfer. Si la salida de las imágenes existentes en el DPB afectara al rendimiento del decodificador (por ejemplo, existen demasiadas imágenes en el DPB para que el decodificador pueda proporcionarlas, la provisión de todas la imágenes podría dar como resultado una velocidad de trama desigual, etc.), puede ser conveniente eliminar dichas imágenes existentes sin proporcionarlas (por ejemplo, vaciar las imágenes existentes).
[0018] En desarrollos y/o análisis de versiones anteriores de SHVC y MV-HEVC (por ejemplo, el borrador de trabajo 7 de MV-HEVC y también en los borradores de trabajo de SHVC posteriores al borrador de trabajo 5), el proceso de vaciado se invoca para cada capa cuando existen múltiples capas o múltiples vistas en un flujo de bits. Durante este proceso, las imágenes se pueden proporcionar en base al valor de NoOutputOfPriorPicsFlag obtenido para la capa respectiva. La variable NoOutputOfPriorPicsFlag puede indicar, al decodificar una imagen IRAP, si las imágenes en el DPB deben proporcionarse antes de ser eliminadas del DPB. Si una unidad de acceso (AU) no tiene imágenes que pertenezcan a una capa en la lista de capas a decodificar, entonces las imágenes que preceden a la unidad de acceso en el orden de decodificación no se vaciarán aunque estén marcadas como "no utilizadas como referencia". Estas imágenes persistentes podrían terminar usando la memoria DPB y podrían dar como resultado un desbordamiento del búfer al decodificar imágenes subsiguientes.
[0019] Para abordar estos y otros desafíos, las técnicas de acuerdo con determinados aspectos pueden proporcionar varias formas y/o modos de realización para vaciar correctamente imágenes de los DPB de diferentes capas incluso cuando una AU puede no incluir una imagen en una capa particular. Por ejemplo, el vaciado de las DPB para todas las capas se puede activar en base a si la imagen de capa base cumple determinadas condiciones. Al activar el vaciado de todas las capas en función de la imagen de capa base, las técnicas pueden invocar el vaciado de todas las capas en una AU incluso si una capa en particular en esa AU no tiene una imagen.
[0020] Además, en versiones anteriores de SHVC y MV-HEVC (por ejemplo, el borrador de trabajo 5 de SHVC y el borrador de trabajo 7 de MV-HEVC), cualquier flujo de bits de HEVC o cualquier flujo de bits de SHVC/MV-HEVC se ajusta a uno o más perfiles del Anexo A y uno o más perfiles del Anexo G o H. Por ejemplo, un flujo de bits de HEVC se ajusta a un perfil del Anexo A. Un flujo de bits de SHVC/MV-HEVC se ajusta a un perfil del Anexo G o H; la capa base en un flujo de bits de SHVC/MV-HEVC también se ajusta, en general, al Anexo A para una compatibilidad con versiones anteriores. Además, incluso el propio flujo de bits de SHVC/MV-HEVC puede ajustarse a un perfil del Anexo A. En consecuencia, cuando los flujos de bits se decodifican usando estos anexos de la norma, los parámetros de DPB que se usarán son ambiguos o no están disponibles. Además, los parámetros de DPB señalizados en la ampliación de VPS no se señalizan ni se infieren para el 0-ésimo conjunto de capas de salida, donde el conjunto de capas solo comprende la capa base y solo se proporcionan las imágenes de capa base.
[0021] Para abordar estos y otros desafíos, las técnicas de acuerdo con determinados aspectos pueden establecer diversos atributos en el SPS activo de la capa base para que sean iguales a los valores máximos correspondientes permitidos para los diversos atributos. Por ejemplo, el SPS puede incluir varios parámetros de DPB, tales como MaxLayerDecPicBuffMinus1, MaxNumReorderPics, MaxLatencylncreasePlus1, MaxLatencyPictures y MaxDecPicBufferingMinusI. De forma alternativa, los valores máximos para varios atributos se establecen iguales a los valores de los diversos atributos del SPS activo. Al establecerse los valores de los diversos atributos del SPS activo iguales a los valores máximos permitidos para los diversos atributos, las técnicas pueden reducir o eliminar la ambigüedad o no disponibilidad de los parámetros de DPB que se van a aplicar.
Sistema de codificación de vídeo
[0022] A continuación en el presente documento se describen de forma más detallada diversos aspectos de los sistemas, aparatos y procedimientos novedosos, con referencia a los dibujos adjuntos. Sin embargo, esta divulgación se puede realizar de muchas formas diferentes y no se debería interpretar que está limitada a alguna estructura o función específica presentada a lo largo de esta divulgación. Más bien, estos aspectos se proporcionan de modo que esta divulgación sea exhaustiva y completa, y transmita de forma detallada el alcance de la divulgación a los expertos en la técnica. En base a las enseñanzas del presente documento, un experto en la técnica debería apreciar que el alcance de la divulgación pretende abarcar cualquier aspecto de los sistemas, aparatos y procedimientos novedosos divulgados en el presente documento, ya sean implementados de forma independiente de, o en combinación con, cualquier otro aspecto de la presente divulgación. Por ejemplo, un aparato se puede implementar o un procedimiento se puede llevar a la práctica usando un número cualquiera de los aspectos expuestos en el presente documento. Además, el alcance de la presente divulgación pretende abarcar dicho aparato o procedimiento que se lleva a la práctica usando otra estructura, funcionalidad o estructura y funcionalidad, además, o aparte, de los diversos aspectos de la presente divulgación expuestos en el presente documento. Se debe entender que cualquier aspecto divulgado en el presente documento se puede realizar mediante uno o más elementos de una reivindicación.
[0023] Los dibujos adjuntos ilustran ejemplos. Los elementos indicados mediante números de referencia en los dibujos adjuntos corresponden a elementos indicados mediante números de referencia similares en la siguiente descripción. En la presente divulgación, los elementos que tienen nombres que comienzan con palabras ordinales (por ejemplo, "primero/a", "segundo/a", "tercero/a" y así sucesivamente) no implican necesariamente que los elementos tienen un orden particular. En cambio, dichas palabras ordinales se usan simplemente para hacer referencia a diferentes elementos de un mismo tipo o similar.
[0024] La FIG. 1A es un diagrama de bloques que ilustra un sistema de codificación de vídeo 10 de ejemplo que puede utilizar técnicas de acuerdo con aspectos descritos en esta divulgación. Como se usa y describe en el presente documento, el término "codificador de vídeo" se refiere, en general, tanto a codificadores de vídeo como a decodificadores de vídeo. En esta divulgación, los términos "codificación de vídeo" o "codificación" se pueden referir genéricamente a la codificación de vídeo y a la decodificación de vídeo. Además de los codificadores de vídeo y los decodificadores de vídeo, los aspectos descritos en la presente solicitud se pueden extender a otros dispositivos relacionados, tales como los transcodificadores (por ejemplo, dispositivos que pueden decodificar un flujo de bits y recodificar otro flujo de bits) y dispositivos intermedios (por ejemplo, dispositivos que pueden modificar, transformar y/o manipular de otro modo un flujo de bits).
[0025] Como se muestra en la FIG. 1A, el sistema de codificación de vídeo 10 incluye un dispositivo de origen 12 que genera datos de vídeo codificados que serán decodificados posteriormente por un dispositivo de destino 14. En el ejemplo de la FIG. 1A, el dispositivo de origen 12 y el dispositivo de destino 14 constituyen dispositivos independientes. Sin embargo, se observa que los dispositivos de origen y de destino 12, 14 pueden estar en el mismo dispositivo, o ser parte del mismo, como se muestra en el ejemplo de la FIG. 1B.
[0026] Con referencia de nuevo a la FIG. 1A, el dispositivo de origen 12 y el dispositivo de destino 14 pueden comprender, respectivamente, cualquiera entre una amplia gama de dispositivos, incluidos ordenadores de escritorio, ordenadores tipo notebook (por ejemplo, ordenadores portátiles), tabletas electrónicas, decodificadores, equipos telefónicos tales como los denominados teléfonos "inteligentes", los denominados paneles "inteligentes", televisores, cámaras, dispositivos de visualización, reproductores de medios digitales, consolas de videojuegos, dispositivos de flujo continuo de vídeo o similares. En algunos casos, el dispositivo de origen 12 y el dispositivo de destino 14 pueden estar equipados para la comunicación inalámbrica.
[0027] El dispositivo de destino 14 puede recibir, a través del enlace 16, los datos de vídeo codificados a decodificar. El enlace 16 puede comprender cualquier tipo de medio o dispositivo capaz de transferir los datos de vídeo codificados desde el dispositivo de origen 12 al dispositivo de destino 14. En el ejemplo de la FIG. 1A, el enlace 16 puede comprender un medio de comunicación para permitir que el dispositivo de origen 12 transmita datos de vídeo codificados al dispositivo de destino 14 en tiempo real. Los datos de vídeo codificados pueden modularse de acuerdo con una norma de comunicación, tal como un protocolo de comunicación inalámbrica, y transmitirse al dispositivo de destino 14. El medio de comunicación puede comprender cualquier medio de comunicación inalámbrica o alámbrica, tal como un espectro de radiofrecuencia (RF) o una o más líneas físicas de transmisión. El medio de comunicación puede formar parte de una red basada en paquetes, tal como una red de área local, una red de área amplia o una red global, tal como Internet. El medio de comunicación puede incluir encaminadores, conmutadores, estaciones base o cualquier otro equipo que pueda ser útil para facilitar la comunicación desde el dispositivo de origen 12 al dispositivo de destino 14.
[0028] De forma alternativa, los datos codificados se pueden proporcionar desde una interfaz de salida 22 hasta un dispositivo de almacenamiento 31 opcional. De forma similar, se puede acceder a los datos codificados desde el dispositivo de almacenamiento 31 mediante una interfaz de entrada 28, por ejemplo, del dispositivo de destino 14. El dispositivo de almacenamiento 31 puede incluir cualquiera entre una diversidad de medios de almacenamiento de datos, de acceso distribuido o local, tales como una unidad de disco duro, memoria flash, memoria volátil o no volátil o cualquier otro medio adecuado de almacenamiento digital para almacenar datos de vídeo codificados. En otro ejemplo, el dispositivo de almacenamiento 31 puede corresponder a un servidor de archivos o a otro dispositivo de almacenamiento intermedio que pueda guardar el vídeo codificado generado mediante el dispositivo de origen 12. El dispositivo de destino 14 puede acceder a datos de vídeo almacenados del dispositivo de almacenamiento 31 por medio de transmisión continua o descarga. El servidor de archivos puede ser cualquier tipo de servidor que pueda almacenar datos de vídeo codificados y transmitir esos datos de vídeo codificados al dispositivo de destino 14. Ejemplos de servidores de archivos incluyen un servidor web (por ejemplo, para un sitio web), un servidor de protocolo de transferencia de archivos (FTP), dispositivos de almacenamiento conectado a red (NAS) o una unidad de disco local. El dispositivo de destino 14 puede acceder a los datos de vídeo codificados mediante cualquier conexión de datos estándar, incluida una conexión a Internet. Esto puede incluir un canal inalámbrico (por ejemplo, una conexión de red inalámbrica de área local (WLAN)), una conexión alámbrica (por ejemplo, una línea de abonado digital (DSL), un módem por cable, etc.), o una combinación de ambos que sea adecuada para acceder a los datos de vídeo codificados almacenados en un servidor de archivos. La transmisión de datos de vídeo codificados desde el dispositivo de almacenamiento 31 puede ser una transmisión continua, una transmisión de descarga o una combinación de ambas.
[0029] Las técnicas de esta divulgación no se limitan a aplicaciones o configuraciones inalámbricas. Las técnicas pueden aplicarse a la codificación de vídeo para admitir cualquiera de una diversidad de aplicaciones multimedia, tales como radiodifusiones de televisión por el aire, transmisiones de televisión por cable, transmisiones de televisión por satélite, transmisiones de vídeo mediante flujo continuo, por ejemplo, por medio de Internet (por ejemplo, transmisión continua adaptable y dinámica a través del protocolo de transferencia de hipertexto (HTTP), etc.), codificación de vídeo digital para su almacenamiento en un medio de almacenamiento de datos, decodificación de vídeo digital almacenado en un medio de almacenamiento de datos, u otras aplicaciones. En algunos ejemplos, el sistema de codificación de vídeo 10 puede estar configurado para admitir una transmisión de vídeo unidireccional o bidireccional para admitir aplicaciones tales como transmisión continua de vídeo, reproducción de vídeo, radiodifusión de vídeo y/o videotelefonía.
[0030] En el ejemplo de la FIG. 1A, el dispositivo de origen 12 incluye una fuente de vídeo 18, un codificador de vídeo 20 y la interfaz de salida 22. En algunos casos, la interfaz de salida 22 puede incluir un modulador/demodulador (módem) y/o un transmisor. En el dispositivo de origen 12, la fuente de vídeo 18 puede incluir una fuente tal como un dispositivo de captura de vídeo, por ejemplo, una videocámara, un archivo de vídeo que contiene vídeo previamente capturado, una interfaz de alimentación de vídeo para recibir vídeo desde un proveedor de contenido de vídeo y/o un sistema de gráficos por ordenador para generar datos de gráficos por ordenador como vídeo de origen, o una combinación de dichas fuentes. Como un ejemplo, si la fuente de vídeo 18 es una videocámara, el dispositivo de origen 12 y el dispositivo de destino 14 pueden formar los denominados "teléfonos con cámara" o "videoteléfonos", tal como se ilustra en el ejemplo de la FIG. 1B. Sin embargo, las técnicas descritas en esta divulgación pueden ser aplicables a la codificación de vídeo en general, y se pueden aplicar a aplicaciones inalámbricas y/o alámbricas.
[0031 ] El vídeo capturado, precapturado o generado por ordenador se puede codificar mediante el codificador de vídeo 20. Los datos de vídeo codificados pueden ser transmitidos al dispositivo de destino 14 por medio de la interfaz de salida 22 del dispositivo de origen 12. Los datos de vídeo codificados también pueden almacenarse (o de forma alternativa) en el dispositivo de almacenamiento 31 para un acceso posterior mediante el dispositivo de destino 14 u otros dispositivos, para su decodificación y/o reproducción. El codificador de vídeo 20 ilustrado en la FIG. 1A y la FIG. 1B puede comprender el codificador de vídeo 20 ilustrado en la FIG. 2A , el codificador de vídeo 23 ilustrado en la FIG. 2B , o cualquier otro codificador de vídeo descrito en el presente documento.
[0032] En el ejemplo de la FIG. 1A, el dispositivo de destino 14 incluye una interfaz de entrada 28, un decodificador de vídeo 30 y un dispositivo de visualización 32. En algunos casos, la interfaz de entrada 28 puede incluir un receptor y/o un módem. La interfaz de entrada 28 del dispositivo de destino 14 puede recibir los datos de vídeo codificados a través del enlace 16 y/o desde el dispositivo de almacenamiento 31. Los datos de vídeo codificados, comunicados a través del enlace 16, o proporcionados en el dispositivo de almacenamiento 31, pueden incluir una variedad de elementos de sintaxis generados por el codificador de vídeo 20, para su uso por un decodificador de vídeo, tal como el decodificador de vídeo 30, en la decodificación de los datos de vídeo. Dichos elementos de sintaxis se pueden incluir con los datos de vídeo codificados transmitidos en un medio de comunicación, almacenar en un medio de almacenamiento o almacenar en un servidor de archivos. El decodificador de vídeo 30 ilustrado en la FIG. 1A y la FIG. 1B puede comprender el decodificador de vídeo 30 ilustrado en la FIG. 3A , el decodificador de vídeo 33 ilustrado en la FIG. 3B , o cualquier otro decodificador de vídeo descrito en el presente documento.
[0033] El dispositivo de visualización 32 puede estar integrado con, o ser externo a, el dispositivo de destino 14. En algunos ejemplos, el dispositivo de destino 14 puede incluir un dispositivo de visualización integrado y también estar configurado para interactuar con un dispositivo de visualización externo. En otros ejemplos, el dispositivo de destino 14 puede ser un dispositivo de visualización. En general, el dispositivo de visualización 32 muestra los datos de vídeo decodificados a un usuario, y puede comprender cualquiera de una variedad de dispositivos de visualización, tales como una pantalla de cristal líquido (LCD), una pantalla de plasma, una pantalla de diodos orgánicos emisores de luz (OLED) u otro tipo de dispositivo de visualización.
[0034] En aspectos relacionados, la FIG. 1B muestra un sistema de codificación y decodificación de vídeo 10' de ejemplo en el que los dispositivos de origen y de destino 12, 14 están en, o forman parte de, un dispositivo 11. El dispositivo 11 puede ser un equipo telefónico de mano, tal como un teléfono "inteligente" o similar. El dispositivo 11 puede incluir un dispositivo controlador/procesador 13 opcional en comunicación operativa con los dispositivos de origen y de destino 12, 14. El sistema 10' de la FIG. 1B puede incluir, además, una unidad de procesamiento de vídeo 21 entre el codificador de vídeo 20 y la interfaz de salida 22. En algunas implementaciones, la unidad de procesamiento de vídeo 21 es una unidad separada, como se ilustra en la FIG . 1B ; sin embargo, en otras implementaciones, la unidad de procesamiento de vídeo 21 puede implementarse como parte del codificador de vídeo 20 y/o del dispositivo procesador/controlador 13. El sistema 10' también puede incluir un rastreador 29 opcional, que puede rastrear un objeto de interés en una secuencia de vídeo. El objeto de interés a rastrear se puede segmentar mediante una técnica descrita en relación con uno o más aspectos de la presente divulgación. En aspectos relacionados, el rastreo se puede realizar mediante el dispositivo de visualización 32, por sí solo o junto con el rastreador 29. El sistema 10’ de la FIG. 1B, y componentes del mismo, son similares de otro modo al sistema 10 de la FIG. 1A y a componentes del mismo.
[0035] El codificador de vídeo 20 y el decodificador de vídeo 30 pueden funcionar de acuerdo con una norma de compresión de vídeo, tal como la HEVC, y pueden ajustarse a un modelo de prueba de HEVC (HM). De forma alternativa, el codificador de vídeo 20 y el decodificador de vídeo 30 pueden funcionar de acuerdo con otras normas privadas o de la industria, tales como la norma ITU-T H.264, denominada de forma alternativa MPEG-4, Parte 10, AVC, o ampliaciones de dichas normas. Sin embargo, las técnicas de esta divulgación no se limitan a ninguna norma de codificación particular. Otros ejemplos de normas de compresión de vídeo incluyen MPEG-2 e ITU-T H.263.
[0036] Aunque no se muestra en los ejemplos de la FIG. 1A y la FIG. 1B, el codificador de vídeo 20 y el decodificador de vídeo 30 pueden estar integrados, cada uno, con un codificador y decodificador de audio, y pueden incluir unidades MUX-DEMUX apropiadas, u otro hardware y software, para gestionar la codificación tanto de audio como de vídeo en un flujo de datos común o flujos de datos independientes. Si procede, en algunos ejemplos, las unidades MUX-DEMUX se pueden ajustar al protocolo de multiplexación ITU H.223 o a otros protocolos, tales como el protocolo de datagramas de usuario (UDP).
[0037] Tanto el codificador de vídeo 20 como el decodificador de vídeo 30 se pueden implementar como cualquiera de una variedad de circuitos codificadores adecuados, tales como uno o más microprocesadores, procesadores de señales digitales (DSP), circuitos integrados específicos de la aplicación (ASIC), matrices de puertas programables por campo (FPGA), lógica discreta, software, hardware, firmware o cualquier combinación de los mismos. Cuando las técnicas se implementan parcialmente en software, un dispositivo puede almacenar instrucciones para el software en un medio adecuado no transitorio legible por ordenador y ejecutar las instrucciones en hardware usando uno o más procesadores para realizar las técnicas de esta divulgación. Tanto el codificador de vídeo 20 como el decodificador de vídeo 30 se pueden incluir en uno o más codificadores o decodificadores, cualquiera de los cuales se puede integrar como parte de un codificador/decodificador (CÓDEC) combinado en un dispositivo respectivo.
Proceso de codificación de vídeo
[0038] Como se ha mencionado brevemente en lo que antecede, el codificador de vídeo 20 codifica datos de vídeo. Los datos de vídeo pueden comprender una o más imágenes. Cada una de las imágenes es una imagen fija que forma parte de un vídeo. En algunos casos, una imagen se puede denominar "trama" de vídeo. Cuando el codificador de vídeo 20 codifica los datos de vídeo, el codificador de vídeo 20 puede generar un flujo de bits. El flujo de bits puede incluir una secuencia de bits que forma una representación codificada de los datos de vídeo. El flujo de bits puede incluir imágenes codificadas y datos asociados. Una imagen codificada es una representación codificada de una imagen.
[0039] Para generar el flujo de bits, el codificador de vídeo 20 puede llevar a cabo operaciones de codificación en cada imagen en los datos de vídeo. Cuando el codificador de vídeo 20 realiza operaciones de codificación en las imágenes, el codificador de vídeo 20 puede generar una serie de imágenes codificadas y datos asociados. Los datos asociados pueden incluir conjuntos de parámetros de vídeo (VPS), conjuntos de parámetros de secuencia (SPS), conjuntos de parámetros de imagen (PPS), conjuntos de parámetros de adaptación (APS) y otras estructuras de sintaxis. Un SPS puede contener parámetros aplicables a cero o más secuencias de imágenes. Un PPS puede contener parámetros aplicables a cero o más imágenes. Un APS puede contener parámetros aplicables a cero o más imágenes. Los parámetros de un APS pueden ser parámetros que cambian con mayor probabilidad que los parámetros de un PPS.
[0040] Para generar una imagen codificada, el codificador de vídeo 20 puede dividir una imagen en bloques de vídeo de igual tamaño. Un bloque de vídeo puede ser una matriz bidimensional de muestras. Cada uno de los bloques de vídeo está asociado a un bloque de árbol. En algunos casos, un bloque de árbol también se puede denominar unidad de codificación más grande (LCU). Los bloques de árbol de HEVC pueden ser, en términos generales, análogos a los macrobloques de normas previas, tales como la H.264/AVC. Sin embargo, un bloque de árbol no se limita necesariamente a un tamaño particular y puede incluir una o más unidades de codificación (CU). El codificador de vídeo 20 puede usar la división en árbol cuaternario para dividir los bloques de vídeo de bloques de árbol en bloques de vídeo asociados a las CU, de ahí el nombre "bloques de árbol".
[0041] En algunos ejemplos, el codificador de vídeo 20 puede dividir una imagen en una pluralidad de fragmentos. Cada uno de los fragmentos puede incluir un número entero de CU. En algunos casos, un fragmento comprende un número entero de bloques de árbol. En otros casos, un límite de un fragmento puede estar dentro de un bloque de árbol.
[0042] Como parte de la realización de una operación de codificación en una imagen, el codificador de vídeo 20 puede realizar operaciones de codificación en cada fragmento de la imagen. Cuando el codificador de vídeo 20 realiza una operación de codificación en un fragmento, el codificador de vídeo 20 puede generar datos codificados asociados al fragmento. Los datos codificados asociados al fragmento se pueden denominar "fragmento codificado".
[0043] Para generar un fragmento codificado, el codificador de vídeo 20 puede llevar a cabo operaciones de codificación en cada bloque de árbol en un fragmento. Cuando el codificador de vídeo 20 realiza una operación de codificación en un bloque de árbol, el codificador de vídeo 20 puede generar un bloque de árbol codificado. El bloque de árbol codificado puede comprender datos que representan una versión codificada del bloque de árbol.
[0044] Cuando el codificador de vídeo 20 genera un fragmento codificado, el codificador de vídeo 20 puede realizar operaciones de codificación (por ejemplo, una codificación) en los bloques de árbol en el fragmento de acuerdo con una orden de exploración por trama. Por ejemplo, el codificador de vídeo 20 puede codificar los bloques de árbol del fragmento en un orden que avanza de izquierda a derecha en la fila más alta de los bloques de árbol en el fragmento, después de izquierda a derecha en la siguiente fila inferior de los bloques de árbol, y así sucesivamente hasta que el codificador de vídeo 20 ha codificado cada uno de los bloques de árbol del fragmento.
[0045] Como resultado de codificar los bloques de árbol de acuerdo con el orden de exploración por trama, los bloques de árbol por encima y a la izquierda de un bloque de árbol dado se pueden haber codificado, pero los bloques de árbol por debajo y a la derecha del bloque de árbol dado aún no se han codificado. En consecuencia, el codificador de vídeo 20 puede tener acceso a la información generada por la codificación de los bloques de árbol de arriba y a la izquierda del bloque de árbol dado cuando codifica el bloque de árbol dado. Sin embargo, el codificador de vídeo 20 puede no ser capaz de acceder a la información generada por la codificación de los bloques de árbol de debajo y a la derecha del bloque de árbol dado al codificar el bloque de árbol dado.
[0046] Para generar un bloque de árbol codificado, el codificador de vídeo 20 puede llevar a cabo de forma recursiva la división en árbol cuaternario en el bloque de vídeo del bloque de árbol para dividir el bloque de vídeo en bloques de vídeo progresivamente más pequeños. Cada uno de los bloques de vídeo más pequeños se puede asociar a una CU diferente. Por ejemplo, el codificador de vídeo 20 puede dividir el bloque de vídeo de un bloque de árbol en cuatro subbloques de igual tamaño, dividir uno o más de los subbloques en cuatro subsubbloques de igual tamaño y así sucesivamente. Una CU dividida puede ser una CU cuyo bloque de vídeo está dividido en bloques de vídeo asociados a otras CU. Una CU no dividida puede ser una CU cuyo bloque de vídeo no está dividido en bloques de vídeo asociados a otras CU.
[0047] Uno o más elementos de sintaxis en el flujo de bits pueden indicar un número máximo de veces que el codificador de vídeo 20 puede dividir el bloque de vídeo de un bloque de árbol. Un bloque de vídeo de una CU puede tener forma cuadrada. El tamaño del bloque de vídeo de una CU (es decir, el tamaño de la CU) puede variar desde 8x8 píxeles hasta el tamaño de un bloque de vídeo de un bloque de árbol (es decir, el tamaño del bloque de árbol) con un máximo de 64x64 píxeles o más.
[0048] El codificador de vídeo 20 puede realizar operaciones de codificación (por ejemplo, una codificación) en cada CU de un bloque de árbol de acuerdo con un orden de exploración en z. En otras palabras, el codificador de vídeo 20 puede codificar una CU superior izquierda, una CU superior derecha, una CU inferior izquierda y, a continuación, una CU inferior derecha, en ese orden. Cuando el codificador de vídeo 20 realiza una operación de codificación en una CU dividida, el codificador de vídeo 20 puede codificar las CU asociadas a subbloques del bloque de vídeo de la CU dividida de acuerdo con el orden de exploración en z. En otras palabras, el codificador de vídeo 20 puede codificar una CU asociada a un subbloque superior izquierdo, una CU asociada a un subbloque superior derecho, una CU asociada a un subbloque inferior izquierdo y, a continuación, una CU asociada a un subbloque inferior derecho, en ese orden.
[0049] Como resultado de la codificación de las CU de un bloque de árbol de acuerdo con un orden de exploración en z, las CU por encima, por encima y a la izquierda, por encima y a la derecha, a la izquierda y por debajo y a la izquierda de una CU dada se pueden haber codificado. Las CU por debajo y a la derecha de la CU dada todavía no se han codificado. En consecuencia, el codificador de vídeo 20 puede ser capaz de acceder a la información generada codificando algunas CU que se encuentran próximas a la CU dada cuando codifica la CU dada. Sin embargo, el codificador de vídeo 20 puede no ser capaz de acceder a la información generada codificando otras CU que se encuentran próximas a la CU dada cuando codifica la CU dada.
[0050] Cuando el codificador de vídeo 20 codifica una CU no dividida, el codificador de vídeo 20 puede generar una o más unidades de predicción (PU) para la CU. Cada una de las PU de la CU se puede asociar a un bloque de vídeo diferente dentro del bloque de vídeo de la CU. El codificador de vídeo 20 puede generar un bloque de vídeo predicho para cada PU de la CU. El bloque de vídeo predicho de una PU puede ser un bloque de muestras. El codificador de vídeo 20 puede usar intrapredicción o interpredicción para generar el bloque de vídeo predicho para una PU.
[0051] Cuando el codificador de vídeo 20 usa intrapredicción para generar el bloque de vídeo predicho de una PU, el codificador de vídeo 20 puede generar el bloque de vídeo predicho de la PU basándose en muestras decodificadas de la imagen asociada a la PU. Si el codificador de vídeo 20 usa intrapredicción para generar bloques de vídeo predichos de las PU de una CU, la CU es una CU intrapredicha. Si el codificador de vídeo 20 usa interpredicción para generar el bloque de vídeo predicho de la PU, el codificador de vídeo 20 puede generar el bloque de vídeo predicho de la PU basándose en muestras decodificadas de una o más imágenes distintas a la imagen asociada a la PU. Si el codificador de vídeo 20 usa interpredicción para generar bloques de vídeo predichos de las PU de una CU, la CU es una CU interpredicha.
[0052] Además, cuando el codificador de vídeo 20 usa interpredicción para generar un bloque de vídeo predicho para una PU, el codificador de vídeo 20 puede generar información de movimiento para la PU. La información de movimiento para una PU puede indicar uno o más bloques de referencia de la PU. Cada bloque de referencia de la PU puede ser un bloque de vídeo dentro de una imagen de referencia. La imagen de referencia puede ser una imagen distinta de la imagen asociada a la PU. En algunos casos, un bloque de referencia de una PU también se puede denominar "muestra de referencia" de la PU. El codificador de vídeo 20 puede generar el bloque de vídeo predicho para la PU en base a los bloques de referencia de la PU.
[0053] Después de que el codificador de vídeo 20 genere bloques de vídeo predichos para una o más PU de una CU, el codificador de vídeo 20 puede generar datos residuales para la CU basándose en los bloques de vídeo predichos para las PU de la CU. Los datos residuales para la CU pueden indicar diferencias entre muestras en los bloques de vídeo predichos para las PU de la CU y el bloque de vídeo original de la CU.
[0054] Además, como parte de la realización de una operación de codificación en una CU no dividida, el codificador de vídeo 20 puede realizar la división recursiva en árbol cuaternario en los datos residuales de la CU para dividir los datos residuales de la CU en uno o más bloques de datos residuales (es decir, bloques de vídeo residuales) asociados a las unidades de transformada (TU) de la CU. Cada TU de una CU puede estar asociada a un bloque de vídeo residual diferente.
[0055] El codificador de vídeo 20 puede aplicar una o más transformadas a bloques de vídeo residuales asociados a las TU para generar bloques de coeficientes de transformada (por ejemplo, bloques de coeficientes de transformada) asociados a las TU. Conceptualmente, un bloque de coeficientes de transformada puede ser una matriz bidimensional (2D) de coeficientes de transformada.
[0056] Después de generar un bloque de coeficientes de transformada, el codificador de vídeo 20 puede realizar un proceso de cuantificación en el bloque de coeficientes de transformada. La cuantificación se refiere, en general, a un proceso en el que unos coeficientes de transformada se cuantifican para reducir, posiblemente, la cantidad de datos usados para representar los coeficientes de transformada, proporcionando más compresión. El proceso de cuantificación puede reducir la profundidad de bits asociada a algunos, o a la totalidad, de los coeficientes de transformada. Por ejemplo, un coeficiente de transformada de n bits se puede redondear por defecto hasta un coeficiente de transformada de m bits durante la cuantificación, donde n es mayor que m.
[0057] El codificador de vídeo 20 puede asociar cada CU a un valor de parámetro de cuantificación (QP). El valor QP asociado a una CU puede determinar cómo el codificador de vídeo 20 cuantifica los bloques de coeficientes de transformada asociados a la CU. El codificador de vídeo 20 puede ajustar el grado de cuantificación aplicado a los bloques de coeficientes de transformada asociados a una CU ajustando el valor QP asociado a la CU.
[0058] Después de que el codificador de vídeo 20 cuantifica un bloque de coeficientes de transformada, el codificador de vídeo 20 puede generar conjuntos de elementos de sintaxis que representan los coeficientes de transformada en el bloque de coeficientes de transformada cuantificado. El codificador de vídeo 20 puede aplicar operaciones de codificación por entropía, tales como operaciones de codificación aritmética binaria adaptable al contexto (CABAC), a algunos de estos elementos de sintaxis. También podrían usarse otras técnicas de codificación por entropía, tales como la codificación de longitud variable adaptable al contexto (CAVLC), la codificación por entropía de división en intervalos de probabilidad (PIPE) u otra codificación aritmética binaria.
[0059] El flujo de bits generado por el codificador de vídeo 20 puede incluir una serie de unidades de capa de abstracción de red (NAL). Cada una de las unidades NAL puede ser una estructura de sintaxis que contiene una indicación de un tipo de datos de la unidad NAL y octetos que contienen los datos. Por ejemplo, una unidad NAL puede contener datos que representan un conjunto de parámetros de vídeo, un conjunto de parámetros de secuencia, un conjunto de parámetros de imagen, un fragmento codificado, información de mejora complementaria (SEI), un delimitador de unidad de acceso, datos de relleno u otro tipo de datos. Los datos de una unidad NAL pueden incluir diversas estructuras de sintaxis.
[0060] El decodificador de vídeo 30 puede recibir el flujo de bits generado por el codificador de vídeo 20. El flujo de bits puede incluir una representación codificada de los datos de vídeo codificados por el codificador de vídeo 20. Cuando el decodificador de vídeo 30 recibe el flujo de bits, el decodificador de vídeo 30 puede realizar una operación de análisis sintáctico en el flujo de bits. Cuando el decodificador de vídeo 30 realiza la operación de análisis sintáctico, el decodificador de vídeo 30 puede extraer elementos de sintaxis del flujo de bits. El decodificador de vídeo 30 puede reconstruir las imágenes de los datos de vídeo basándose en los elementos de sintaxis extraídos del flujo de bits. El proceso para reconstruir los datos de vídeo en base a los elementos de sintaxis puede ser, en general, recíproco al proceso realizado por el codificador de vídeo 20 para generar los elementos de sintaxis.
[0061] Después de que el decodificador de vídeo 30 extraiga los elementos de sintaxis asociados a una CU, el decodificador de vídeo 30 puede generar bloques de vídeo predichos para las PU de la CU basándose en los elementos de sintaxis. Además, el decodificador de vídeo 30 puede cuantificar de forma inversa bloques de coeficientes de transformada asociados a las TU de la CU. El decodificador de vídeo 30 puede realizar transformaciones inversas en los bloques de coeficientes de transformada para reconstruir bloques de vídeo residuales asociados a las TU de la CU. Después de generar los bloques de vídeo predichos y reconstruir los bloques de vídeo residuales, el decodificador de vídeo 30 puede reconstruir el bloque de vídeo de la CU basándose en los bloques de vídeo predichos y los bloques de vídeo residuales. De esta manera, el decodificador de vídeo 30 puede reconstruir los bloques de vídeo de las CU basándose en los elementos de sintaxis del flujo de bits.
Codificador de vídeo
[0062] La FIG. 2A es un diagrama de bloques que ilustra un ejemplo del codificador de vídeo 20, que puede implementar técnicas de acuerdo con aspectos descritos en esta divulgación. El codificador de vídeo 20 puede configurarse para procesar una sola capa de una trama de vídeo, tal como para HEVC. Además, el codificador de vídeo 20 puede configurarse para realizar cualquiera o todas las técnicas de esta divulgación, que incluyen, pero sin limitarse a, los procedimientos para inferir NoOutputOfPriorPicsFlag y procesos relacionados descritos con mayor detalle anteriormente y posteriormente con respecto a las FIGS. 4 y 5. Como ejemplo, la unidad de procesamiento de predicción 100 se puede configurar para realizar cualquiera o todas las técnicas descritas en esta divulgación. En otro modo de realización, el codificador de vídeo 20 incluye una unidad de predicción entre capas 128 opcional que está configurada para realizar cualquiera o todas las técnicas descritas en esta divulgación. En otros modos de realización, la predicción entre capas se puede realizar por la unidad de procesamiento de predicción 100 (por ejemplo, la unidad de interpredicción 121 y/o la unidad de intrapredicción 126), en cuyo caso la unidad de predicción entre capas 128 se puede omitir. Sin embargo, los aspectos de esta divulgación no se limitan a esto. En algunos ejemplos, las técnicas descritas en esta divulgación pueden compartirse entre los diversos componentes del codificador de vídeo 20. En algunos ejemplos, de forma adicional o alternativa, un procesador (no mostrado) puede estar configurado para realizar cualquiera de o todas las técnicas descritas en esta divulgación.
[0063] Con fines explicativos, esta divulgación describe el codificador de vídeo 20 en el contexto de la codificación HEVC. Sin embargo, las técnicas de esta divulgación pueden aplicarse a otras normas o procedimientos de codificación. El ejemplo representado en la FIG. 2A es para un códec de una sola capa. Sin embargo, como se describirá en mayor detalle con respecto a la FIG. 2B , una parte o la totalidad del codificador de vídeo 20 se puede duplicar para procesar un códec multicapa.
[0064] El codificador de vídeo 20 puede realizar la intracodificación y la intercodificación de bloques de vídeo dentro de fragmentos de vídeo. La intracodificación se basa en la predicción espacial para reducir o eliminar la redundancia espacial en el vídeo dentro de una trama o imagen de vídeo dada. La intercodificación se basa en la predicción temporal para reducir o eliminar la redundancia temporal de un vídeo dentro de tramas o imágenes contiguas de una secuencia de vídeo. Intramodo (modo I) se puede referir a cualquiera de varios modos de codificación de base espacial. Los intermodos, tales como la predicción unidireccional (modo P) o la predicción bidireccional (modo B), se pueden referir a cualquiera de varios modos de codificación de base temporal.
[0065] En el ejemplo de la FIG. 2A, el codificador de vídeo 20 incluye una pluralidad de componentes funcionales. Los componentes funcionales del codificador de vídeo 20 incluyen una unidad de procesamiento de predicción 100, una unidad de generación residual 102, una unidad de procesamiento de transformada 104, una unidad de cuantificación 106, una unidad de cuantificación inversa 108, una unidad de transformada inversa 110, una unidad de reconstrucción 112, una unidad de filtro 113, un búfer de imágenes decodificadas 114 y una unidad de codificación por entropía 116. La unidad de procesamiento de predicción 100 incluye una unidad de interpredicción 121, una unidad de estimación de movimiento 122, una unidad de compensación de movimiento 124, una unidad de intrapredicción 126 y una unidad de predicción entre capas 128. En otros ejemplos, el codificador de vídeo 20 puede incluir más, menos o diferentes componentes funcionales. Además, la unidad de estimación de movimiento 122 y la unidad de compensación de movimiento 124 pueden estar altamente integradas, pero están representadas en el ejemplo de la FIG. 2A de forma separada con fines explicativos.
[0066] El codificador de vídeo 20 puede recibir datos de vídeo. El codificador de vídeo 20 puede recibir los datos de vídeo desde diversas fuentes. Por ejemplo, el codificador de vídeo 20 puede recibir los datos de vídeo desde la fuente de vídeo 18 (por ejemplo, mostrada en la FIG. 1A o 1B) u otra fuente. Los datos de vídeo pueden representar una serie de imágenes. Para codificar los datos de vídeo, el codificador de vídeo 20 puede realizar una operación de codificación en cada una de las imágenes. Como parte de realizar la operación de codificación en una imagen, el codificador de vídeo 20 puede realizar operaciones de codificación en cada fragmento de la imagen. Como parte de realizar una operación de codificación en un fragmento, el codificador de vídeo 20 puede realizar operaciones de codificación en bloques de árbol en el fragmento.
[0067] Como parte de realizar una operación de codificación en un bloque de árbol, la unidad de procesamiento de predicción 100 puede realizar la división en árbol cuaternario en el bloque de vídeo del bloque de árbol para dividir el bloque de vídeo en bloques de vídeo progresivamente más pequeños. Cada uno de los bloques de vídeo más pequeños se puede asociar a una CU diferente. Por ejemplo, la unidad de procesamiento de predicción 100 puede dividir un bloque de vídeo de un bloque de árbol en cuatro subbloques de igual tamaño, dividir uno o más de los subbloques en cuatro subsubbloques de igual tamaño, etc.
[0068] Los tamaños de los bloques de vídeo asociados a las CU pueden variar desde muestras de 8x8 hasta el tamaño del bloque de árbol, con un máximo de 64x64 muestras o más. En esta divulgación, ''NxN'' y "N por N" se pueden usar de manera intercambiable para hacer referencia a las dimensiones de muestra de un bloque de vídeo en términos de dimensiones verticales y horizontales, por ejemplo, 16x16 muestras o 16 por 16 muestras. En general, un bloque de vídeo de 16x16 tiene dieciséis muestras en una dirección vertical (y = 16) y dieciséis muestras en una dirección horizontal (x = 16). Asimismo, un bloque de NxN tiene, en general, N muestras en una dirección vertical y N muestras en una dirección horizontal, donde N representa un valor entero no negativo.
[0069] Además, como parte de realizar la operación de codificación en un bloque de árbol, la unidad de procesamiento de predicción 100 puede generar una estructura de datos jerárquica en árbol cuaternario para el bloque de árbol. Por ejemplo, un bloque de árbol puede corresponder a un nodo raíz de la estructura de datos en árbol cuaternario. Si la unidad de procesamiento de predicción 100 divide el bloque de vídeo del bloque de árbol en cuatro subbloques, el nodo raíz tiene cuatro nodos hijo en la estructura de datos en árbol cuaternario. Cada uno de los nodos hijo corresponde a una CU asociada a uno de los subbloques. Si la unidad de procesamiento de predicción 100 divide uno de los subbloques en cuatro subsubbloques, el nodo correspondiente a la CU asociada al subbloque puede tener cuatro nodos hijo, cada uno de los cuales corresponde a una CU asociada a uno de los subsubbloques.
[0070] Cada nodo de la estructura de datos en árbol cuaternario puede contener datos de sintaxis (por ejemplo, elementos de sintaxis) para el bloque de árbol o CU correspondiente. Por ejemplo, un nodo en el árbol cuaternario puede incluir un indicador de división que indica si el bloque de vídeo de la CU correspondiente al nodo está dividido (es decir, partido) en cuatro subbloques. Los elementos de sintaxis para una CU se pueden definir de manera recursiva y pueden depender de si el bloque de vídeo de la CU está dividido en subbloques. Una CU cuyo bloque de vídeo no está dividido puede corresponder a un nodo hoja en la estructura de datos en árbol cuaternario. Un bloque de árbol codificado puede incluir datos en base a la estructura de datos en árbol cuaternario para un bloque de árbol correspondiente.
[0071] El codificador de vídeo 20 puede realizar operaciones de codificación en cada CU no dividida de un bloque de árbol. Cuando el codificador de vídeo 20 realiza una operación de codificación en una CU no dividida, el codificador de vídeo 20 genera datos que representan una representación codificada de la CU no dividida.
[0072] Como parte de realizar una operación de codificación en una CU, la unidad de procesamiento de predicción 100 puede dividir el bloque de vídeo de la CU entre una o más PU de la CU. El codificador de vídeo 20 y el decodificador de vídeo 30 pueden admitir varios tamaños de PU. Suponiendo que el tamaño de una CU particular sea 2Nx2N, el codificador de vídeo 20 y el decodificador de vídeo 30 pueden admitir tamaños de PU de 2Nx2N o NxN, e interpredicción en tamaños de PU simétricas de 2Nx2N, 2NxN, Nx2N, NxN, 2NxnU, nLx2N, nRx2N o similares. El codificador de vídeo 20 y el decodificador de vídeo 30 también pueden admitir divisiones asimétricas para tamaños de PU de 2NxnU, 2NxnD, nLx2N y nRx2N. En algunos ejemplos, la unidad de procesamiento de predicción 100 puede realizar una división geométrica para dividir el bloque de vídeo de una CU entre las PU de la CU a lo largo de un límite que no coincide con los lados del bloque de vídeo de la CU en ángulos rectos.
[0073] La unidad de interpredicción 121 puede realizar interpredicción en cada PU de la CU. La interpredicción puede proporcionar compresión temporal. Para realizar interpredicción en una PU, la unidad de estimación de movimiento 122 puede generar información de movimiento para la PU. La unidad de compensación de movimiento 124 puede generar un bloque de vídeo predicho para la PU en base a la información de movimiento y las muestras decodificadas de imágenes distintas a la imagen asociada a la CU (por ejemplo, imágenes de referencia). En esta divulgación, un bloque de vídeo predicho generado por la unidad de compensación de movimiento 124 se puede denominar bloque de vídeo interpredicho.
[0074] Los fragmentos pueden ser fragmentos I, fragmentos P o fragmentos B. La unidad de estimación de movimiento 122 y la unidad de compensación de movimiento 124 pueden realizar diferentes operaciones para una PU de una Cu dependiendo de si la PU está en un fragmento I, un fragmento P o un fragmento B. En un fragmento I, todas las PU se intrapredicen. Por lo tanto, si la PU está en un fragmento I, la unidad de estimación de movimiento 122 y la unidad de compensación de movimiento 124 no realizan la interpredicción en la PU.
[0075] Si la PU está en un fragmento P, la imagen que contiene la PU se asocia a una lista de imágenes de referencia denominada "lista 0". Cada una de las imágenes de referencia de la lista 0 contiene muestras que se pueden usar para la interpredicción de otras imágenes. Cuando la unidad de estimación de movimiento 122 realiza la operación de estimación de movimiento con respecto a una PU en un fragmento P, la unidad de estimación de movimiento 122 puede buscar en las imágenes de referencia en la lista 0 un bloque de referencia para la PU. El bloque de referencia de la PU puede ser un conjunto de muestras, por ejemplo, un bloque de muestras, que se corresponde más estrechamente con las muestras del bloque de vídeo de la PU. La unidad de estimación de movimiento 122 puede usar una variedad de métricas para determinar cuán estrechamente un conjunto de muestras en una imagen de referencia se corresponde con las muestras del bloque de vídeo de una PU. Por ejemplo, la unidad de estimación de movimiento 122 puede determinar cuán estrechamente un conjunto de muestras en una imagen de referencia se corresponde con las muestras en el bloque de vídeo de una PU mediante una suma de diferencias absolutas (SAD), una suma de diferencias al cuadrado (SSD) u otras métricas de diferencia.
[0076] Después de identificar un bloque de referencia de una PU en un fragmento P, la unidad de estimación de movimiento 122 puede generar un índice de referencia que indica la imagen de referencia de la lista 0 que contiene el bloque de referencia y un vector de movimiento que indica un desplazamiento espacial entre la PU y el bloque de referencia. En diversos ejemplos, la unidad de estimación de movimiento 122 puede generar vectores de movimiento con diferentes grados de precisión. Por ejemplo, la unidad de estimación de movimiento 122 puede generar vectores de movimiento con una precisión de un cuarto de muestra, una precisión de un octavo de muestra u otra precisión de fracción de muestra. En el caso de una precisión de fracción de muestra, los valores de bloque de referencia se pueden interpolar a partir de valores de muestra de posición de entero en la imagen de referencia. La unidad de estimación de movimiento 122 puede proporcionar el índice de referencia y el vector de movimiento como información de movimiento de la PU. La unidad de compensación de movimiento 124 puede generar un bloque de vídeo predicho de la PU en base al bloque de referencia identificado por la información de movimiento de la PU.
[0077] Si la PU está en un fragmento B, la imagen que contiene la PU puede estar asociada a dos listas de imágenes de referencia, denominadas "lista 0" y "lista 1". En algunos ejemplos, una imagen que contiene un fragmento B puede estar asociada a una combinación de listas, que es una combinación de la lista 0 y la lista 1.
[0078] Además, si la PU está en un fragmento B, la unidad de estimación de movimiento 122 puede llevar a cabo la predicción unidireccional o la predicción bidireccional para la PU. Cuando la unidad de estimación de movimiento 122 realiza la predicción unidireccional para la PU, la unidad de estimación de movimiento 122 puede buscar en las imágenes de referencia de la lista 0 o la lista 1 un bloque de referencia para la PU. La unidad de estimación de movimiento 122 puede entonces generar un índice de referencia que indica la imagen de referencia en la lista 0 o la lista 1 que contiene el bloque de referencia y un vector de movimiento que indica un desplazamiento espacial entre la PU y el bloque de referencia. La unidad de estimación de movimiento 122 puede proporcionar el índice de referencia, un indicador de dirección de predicción y el vector de movimiento como información de movimiento de la PU. El indicador de dirección de predicción puede indicar si el índice de referencia indica una imagen de referencia en la lista 0 o la lista 1. La unidad de compensación de movimiento 124 puede generar el bloque de vídeo predicho de la PU basándose en el bloque de referencia indicado por la información de movimiento de la PU.
[0079] Cuando la unidad de estimación de movimiento 122 realiza la predicción bidireccional para una PU, la unidad de estimación de movimiento 122 puede buscar en las imágenes de referencia de la lista 0 un bloque de referencia para la PU y también puede buscar en las imágenes de referencia de la lista 1 otro bloque de referencia para la PU. La unidad de estimación de movimiento 122 puede entonces generar índices de referencia que indican las imágenes de referencia en la lista 0 y la lista 1 que contienen los bloques de referencia y los vectores de movimiento que indican desplazamientos espaciales entre los bloques de referencia y la PU. La unidad de estimación de movimiento 122 puede proporcionar los índices de referencia y los vectores de movimiento de la PU como información de movimiento de la PU. La unidad de compensación de movimiento 124 puede generar el bloque de vídeo predicho de la PU basándose en los bloques de referencia indicados por la información de movimiento de la PU.
[0080] En algunos casos, la unidad de estimación de movimiento 122 no proporciona un conjunto completo de información de movimiento para una PU a la unidad de codificación por entropía 116. En cambio, la unidad de estimación de movimiento 122 puede señalizar la información de movimiento de una PU con referencia a la información de movimiento de otra PU. Por ejemplo, la unidad de estimación de movimiento 122 puede determinar que la información de movimiento de la PU es suficientemente similar a la información de movimiento de una PU vecina. En este ejemplo, la unidad de estimación de movimiento 122 puede indicar, en una estructura sintáctica asociada a la PU, un valor que indica al decodificador de vídeo 30 que la PU tiene la misma información de movimiento que la PU vecina. En otro ejemplo, la unidad de estimación de movimiento 122 puede identificar, en una estructura de sintaxis asociada a la PU, una PU vecina y una diferencia de vectores de movimiento (MVD). La diferencia de vectores de movimiento indica una diferencia entre el vector de movimiento de la PU y el vector de movimiento de la PU vecina indicada. El decodificador de vídeo 30 puede usar el vector de movimiento de la PU vecina indicada y la diferencia de vectores de movimiento para determinar el vector de movimiento de la PU. Haciendo referencia a la información de movimiento de una primera PU cuando se señaliza la información de movimiento de una segunda PU, el codificador de vídeo 20 puede ser capaz de señalizar la información de movimiento de la segunda PU usando menos bits.
[0081] Como se analizará con más detalle posteriormente con referencia a la FIG. 5, la unidad de procesamiento de predicción 100 puede estar configurada para codificar (por ejemplo, codificar o decodificar) la PU (o cualquier otra capa de referencia y/o bloques de capa de mejora o unidades de vídeo) realizando los procedimientos ilustrados en la FIG. 5. Por ejemplo, la unidad de interpredicción 121 (por ejemplo, por medio de la unidad de estimación de movimiento 122 y/o la unidad de compensación de movimiento 124), la unidad de intrapredicción 126, o la unidad de predicción entre capas 128 pueden configurarse para realizar los procedimientos ilustrados en la FIG. 5 ya sea juntos o por separado.
[0082] Como parte de realizar una operación de codificación en una CU, la unidad de intrapredicción 126 puede llevar a cabo intrapredicción en las PU de la CU. La intrapredicción puede proporcionar compresión espacial. Cuando la unidad de intrapredicción 126 realiza intrapredicción en una PU, la unidad de intrapredicción 126 puede generar datos de predicción para la PU basándose en muestras decodificadas de otras PU en la misma imagen. Los datos de predicción para la PU pueden incluir un bloque de vídeo predicho y diversos elementos de sintaxis. La unidad de intrapredicción 126 puede realizar intrapredicción en las PU en fragmentos I, fragmentos P y fragmentos B.
[0083] Para realizar intrapredicción en una PU, la unidad de intrapredicción 126 puede usar múltiples modos de intrapredicción para generar múltiples conjuntos de datos de predicción para la PU. Cuando la unidad de intrapredicción 126 usa un modo de intrapredicción para generar un conjunto de datos de predicción para la PU, la unidad de intrapredicción 126 puede extender muestras de bloques de vídeo de PU vecinas a través del bloque de vídeo de la PU en una dirección y/o gradiente asociados al modo de intrapredicción. Las PU vecinas pueden estar por encima, por encima y a la derecha, por encima y a la izquierda o a la izquierda de la PU, suponiendo un orden de codificación de izquierda a derecha y de arriba abajo para las PU, las CU y los bloques de árbol. La unidad de intrapredicción 126 puede usar diversos números de modos de intrapredicción, por ejemplo, 33 modos de intrapredicción direccional, dependiendo del tamaño de la PU.
[0084] La unidad de procesamiento de predicción 100 puede seleccionar los datos de predicción para una PU de entre los datos de predicción generados por la unidad de compensación de movimiento 124 para la PU o los datos de predicción generados por la unidad de intrapredicción 126 para la PU. En algunos ejemplos, la unidad de procesamiento de predicción 100 selecciona los datos de predicción para la PU basándose en las métricas de velocidad/distorsión de los conjuntos de datos de predicción.
[0085] Si la unidad de procesamiento de predicción 100 selecciona datos de predicción generados por la unidad de intrapredicción 126, la unidad de procesamiento de predicción 100 puede señalizar el modo de intrapredicción que se usó para generar los datos de predicción para las PU, por ejemplo, el modo de intrapredicción seleccionado. La unidad de procesamiento de predicción 100 puede señalizar el modo de intrapredicción seleccionado de varias maneras. Por ejemplo, es probable que el modo de intrapredicción seleccionado sea el mismo que el modo de intrapredicción de una PU vecina. En otras palabras, el modo de intrapredicción de la PU vecina puede ser el modo más probable para la PU actual. De este modo, la unidad de procesamiento de predicción 100 puede generar un elemento de sintaxis para indicar que el modo de intrapredicción seleccionado es el mismo que el modo de intrapredicción de la PU vecina.
[0086] Como se analiza anteriormente, el codificador de vídeo 20 puede incluir la unidad de predicción entre capas 128. La unidad de predicción entre capas 128 está configurada para predecir un bloque actual (por ejemplo, un bloque actual en la EL) usando una o más capas diferentes que están disponibles en la codificación de vídeo escalable (por ejemplo, una capa base o de referencia). Dicha predicción se puede denominar predicción entre capas. La unidad de predicción entre capas 128 utiliza procedimientos de predicción para reducir la redundancia entre capas, mejorando así la eficacia de codificación y reduciendo los requisitos de recursos computacionales. Algunos ejemplos de predicción entre capas incluyen la intrapredicción entre capas, la predicción de movimiento entre capas y la predicción de residuo entre capas. La intrapredicción entre capas usa la reconstrucción de bloques ubicados conjuntamente en la capa base para predecir el bloque actual en la capa de mejora. La predicción de movimiento entre capas usa información de movimiento de la capa base para predecir el movimiento en la capa de mejora. La predicción de residuo entre capas usa el residuo de la capa base para predecir el residuo de la capa de mejora. Cada uno de los esquemas de predicción entre capas se analiza a continuación con mayor detalle.
[0087] Después de que la unidad de procesamiento de predicción 100 seleccione los datos de predicción para las PU de una CU, la unidad de generación de residuo 102 puede generar datos residuales para la CU restando (por ejemplo, indicado por el signo menos) los bloques de vídeo predichos de las PU de la CU al bloque de vídeo de la CU. Los datos residuales de una CU pueden incluir bloques de vídeo 2D residuales que corresponden a diferentes componentes de muestra de las muestras del bloque de vídeo de la CU. Por ejemplo, los datos residuales pueden incluir un bloque de vídeo residual que corresponde a diferencias entre componentes de luminancia de muestras en los bloques de vídeo predichos de las PU de la CU y componentes de luminancia de muestras en el bloque de vídeo original de la CU. Además, los datos residuales de la CU pueden incluir bloques de vídeo residuales que corresponden a las diferencias entre componentes de crominancia de muestras en los bloques de vídeo predichos de las PU de la CU y las componentes de crominancia de las muestras en el bloque de vídeo original de la CU.
[0088] La unidad de procesamiento de predicción 100 puede realizar la división en árbol cuaternario para dividir los bloques de vídeo residuales de una CU en subbloques. Cada bloque de vídeo residual no dividido puede estar asociado a una TU diferente de la CU. Los tamaños y las posiciones de los bloques de vídeo residuales asociados a las TU de una CU pueden estar basados, o no, en los tamaños y las posiciones de bloques de vídeo asociados a las PU de la CU. Una estructura en árbol cuaternario conocida como "árbol cuaternario residual" (RQT) puede incluir nodos asociados a cada uno de los bloques de vídeo residuales. Las TU de una CU pueden corresponder a nodos hoja del RQT.
[0089] La unidad de procesamiento de transformada 104 puede generar uno o más bloques de coeficientes de transformada para cada TU de una CU aplicando una o más transformadas a un bloque de vídeo residual asociado a la TU. Cada uno de los bloques de coeficientes de transformada puede ser una matriz 2D de coeficientes de transformada. La unidad de procesamiento de transformada 104 puede aplicar diversas transformadas al bloque de vídeo residual asociado a una TU. Por ejemplo, la unidad de procesamiento de transformada 104 puede aplicar una transformada de coseno discreta (DCT), una transformada direccional o una transformada conceptualmente similar al bloque de vídeo residual asociado a una TU.
[0090] Después de que la unidad de procesamiento de transformada 104 genere un bloque de coeficientes de transformada asociado a una TU, la unidad de cuantificación 106 puede cuantificar los coeficientes de transformada en el bloque de coeficientes de transformada. La unidad de cuantificación 106 puede cuantificar un bloque de coeficientes de transformada asociado a una TU de una CU basándose en un valor de QP asociado a la CU.
[0091] El codificador de vídeo 20 puede asociar un valor de QP a una CU de varias maneras. Por ejemplo, el codificador de vídeo 20 puede realizar un análisis de velocidad-distorsión en un bloque de árbol asociado a la CU. En el análisis de velocidad-distorsión, el codificador de vídeo 20 puede generar múltiples representaciones codificadas del bloque de árbol realizando una operación de codificación varias veces en el bloque de árbol. El codificador de vídeo 20 puede asociar diferentes valores de QP a la CU cuando el codificador de vídeo 20 genera diferentes representaciones codificadas del bloque de árbol. El codificador de vídeo 20 puede señalizar que un valor de QP dado está asociado a la CU cuando el valor de QP dado está asociado a la CU en una representación codificada del bloque de árbol que tiene una velocidad binaria y una métrica de distorsión más bajas.
[0092] La unidad de cuantificación inversa 108 y la unidad de transformada inversa 110 pueden aplicar cuantificación inversa y transformadas inversas al bloque de coeficientes de transformada, respectivamente, para reconstruir un bloque de vídeo residual a partir del bloque de coeficientes de transformada. La unidad de reconstrucción 112 puede añadir el bloque de vídeo residual reconstruido a muestras correspondientes de uno o más bloques de vídeo predichos generados por la unidad de procesamiento de predicción 100 para producir un bloque de vídeo reconstruido asociado a una TU. Mediante la reconstrucción de bloques de vídeo para cada TU de una CU de esta manera, el codificador de vídeo 20 puede reconstruir el bloque de vídeo de la CU.
[0093] Después de que la unidad de reconstrucción 112 reconstruya el bloque de vídeo de una CU, la unidad de filtro 113 puede realizar una operación de eliminación de efecto pixelado para reducir los artefactos de efecto pixelado en el bloque de vídeo asociado a la CU. Después de realizar la una o más operaciones de eliminación de efecto pixelado, la unidad de filtro 113 puede almacenar el bloque de vídeo reconstruido de la CU en el búfer de imágenes decodificadas 114. La unidad de estimación de movimiento 122 y la unidad de compensación de movimiento 124 pueden usar una imagen de referencia que contiene el bloque de vídeo reconstruido para realizar la interpredicción en las PU de imágenes subsiguientes. Además, la unidad de intrapredicción 126 puede usar bloques de vídeo reconstruidos en el búfer de imágenes decodificadas 114 para realizar intrapredicción en otras PU en la misma imagen que la CU.
[0094] La unidad de codificación por entropía 116 puede recibir datos de otros componentes funcionales del codificador de vídeo 20. Por ejemplo, la unidad de codificación por entropía 116 puede recibir bloques de coeficientes de transformada desde la unidad de cuantificación 106 y puede recibir elementos de sintaxis desde la unidad de procesamiento de predicción 100. Cuando la unidad de codificación por entropía 116 recibe los datos, la unidad de codificación por entropía 116 puede realizar una o más operaciones de codificación por entropía para generar datos codificados por entropía. Por ejemplo, el codificador de vídeo 20 puede realizar una operación de codificación de longitud variable adaptable al contexto (CAVLC), una operación CABAC, una operación de codificación de longitud variable a variable (V2V), una operación de codificación aritmética binaria adaptable al contexto basada en sintaxis (SBAC), una operación de codificación por entropía de división en intervalos de probabilidad (PIPE) u otro tipo de operación de codificación por entropía en los datos. La unidad de codificación por entropía 116 puede proporcionar un flujo de bits que incluye los datos codificados por entropía.
[0095] Como parte de realizar una operación de codificación por entropía en los datos, la unidad de codificación por entropía 116 puede seleccionar un modelo de contexto. Si la unidad de codificación por entropía 116 está realizando una operación CABAC, el modelo de contexto puede indicar estimaciones de probabilidades de que bins particulares tengan unos valores particulares. En el contexto de CABAC, el término "bin" se usa para hacer referencia a un bit de una versión binarizada de un elemento de sintaxis.
Codificador de vídeo multicapa
[0096] La FIG. 2B es un diagrama de bloques que ilustra un ejemplo de un codificador de vídeo multicapa 23 (también denominado simplemente codificador de vídeo 23) que puede implementar técnicas de acuerdo con los aspectos descritos en esta divulgación. El codificador de vídeo 23 puede estar configurado para procesar tramas de vídeo multicapa, tal como para SHVC y codificación multivista. Además, el codificador de vídeo 23 puede estar configurado para realizar cualquiera o todas las técnicas de esta divulgación.
[0097] El codificador de vídeo 23 incluye un codificador de vídeo 20A y un codificador de vídeo 20B, cada uno de los cuales puede estar configurado como el codificador de vídeo 20 y puede realizar las funciones descritas anteriormente con respecto al codificador de vídeo 20. Además, como se indica mediante la reutilización de los números de referencia, los codificadores de vídeo 20A y 20B pueden incluir, al menos, algunos de los sistemas y subsistemas del codificador de vídeo 20. Aunque se ilustra que el codificador de vídeo 23 incluye dos codificadores de vídeo 20A y 20B, el codificador de vídeo 23 no está limitado a esto y puede incluir cualquier número de capas de codificador de vídeo 20. En algunos modos de realización, el codificador de vídeo 23 puede incluir un codificador de vídeo 20 para cada imagen o trama en una unidad de acceso. Por ejemplo, una unidad de acceso que incluye cinco imágenes se puede procesar o codificar mediante un codificador de vídeo que incluye cinco capas de codificador. En algunos modos de realización, el codificador de vídeo 23 puede incluir más capas de codificador que tramas en una unidad de acceso. En algunos de dichos casos, algunas de las capas de codificador de vídeo pueden estar inactivas al procesar algunas unidades de acceso.
[0098] Además de los codificadores de vídeo 20A y 20B, el codificador de vídeo 23 puede incluir una unidad de remuestreo 90. La unidad de remuestreo 90 puede, en algunos casos, muestrear de manera ascendente una capa base de una trama de vídeo recibida para, por ejemplo, crear una capa de mejora. La unidad de remuestreo 90 puede muestrear de manera ascendente información particular asociada a la capa base recibida de una trama, pero no otra información. Por ejemplo, la unidad de remuestreo 90 puede muestrear de manera ascendente el tamaño espacial o el número de píxeles de la capa base, pero el número de fragmentos o el recuento de orden de imágenes puede permanecer constante. En algunos casos, la unidad de remuestreo 90 puede no procesar el vídeo recibido y/o puede ser opcional. Por ejemplo, en algunos casos, la unidad de procesamiento de predicción 100 puede realizar un muestreo ascendente. En algunos modos de realización, la unidad de remuestreo 90 está configurada para muestrear de manera ascendente una capa y reorganizar, redefinir, modificar o ajustar uno o más fragmentos para cumplir con un conjunto de reglas de límite de fragmento y/o reglas de exploración de trama. Aunque se describe principalmente como el muestreo ascendente de una capa base, o de una capa inferior en una unidad de acceso, en algunos casos, la unidad de remuestreo 90 puede muestrear una capa de manera descendente. Por ejemplo, si durante la transmisión continua de un vídeo se reduce el ancho de banda, una trama puede muestrearse de manera descendente en lugar de ascendente.
[0099] La unidad de remuestreo 90 puede estar configurada para recibir una imagen o trama (o información de imagen asociada a la imagen) desde el búfer de imágenes decodificadas 114 del codificador de capa inferior (por ejemplo, el codificador de vídeo 20A) y para muestrear la imagen de manera ascendente (o la información de imagen recibida). Esta imagen muestreada de manera ascendente se puede proporcionar a continuación a la unidad de procesamiento de predicción 100 de un codificador de capa superior (por ejemplo, el codificador de vídeo 20B) configurado para codificar una imagen en la misma unidad de acceso que el codificador de capa inferior. En algunos casos, el codificador de capa superior es una capa eliminada del codificador de capa inferior. En otros casos, puede haber uno o más codificadores de capa superior entre el codificador de vídeo de capa 0 y el codificador de capa 1 de la FIG. 2B.
[0100] En algunos casos, la unidad de remuestreo 90 se puede omitir o ignorar. En dichos casos, la imagen del búfer de imágenes decodificadas 114 del codificador de vídeo 20A se puede proporcionar directamente, o al menos sin proporcionarse a la unidad de remuestreo 90, a la unidad de procesamiento de predicción 100 del codificador de vídeo 20B. Por ejemplo, si los datos de vídeo proporcionados al codificador de vídeo 20B y la imagen de referencia del búfer de imágenes decodificadas 114 del codificador de vídeo 20A son del mismo tamaño o resolución, la imagen de referencia se puede proporcionar al codificador de vídeo 20B sin remuestreo.
[0101] En algunos modos de realización, el codificador de vídeo 23 realiza un muestreo descendente de los datos de vídeo que se van a proporcionar al codificador de capa inferior usando la unidad de muestreo descendente 94 antes de proporcionar los datos de vídeo al codificador de vídeo 20A. De forma alternativa, la unidad de muestreo descendente 94 puede ser una unidad de remuestreo 90 capaz de realizar un muestreo ascendente o un muestreo descendente de los datos de vídeo. Aún en otros modos de realización, la unidad de muestreo descendente 94 se puede omitir.
[0102] Como se ilustra en la FIG. 2B , el codificador de vídeo 23 puede incluir además un multiplexor 98 o mux. El mux 98 puede proporcionar un flujo de bits combinado desde el codificador de vídeo 23. El flujo de bits combinado se puede crear tomando un flujo de bits de cada uno de los codificadores de vídeo 20A y 20B y alternando qué flujo de bits se proporciona en un momento dado. Mientras que en algunos casos los bits de los dos (o más en el caso de más de dos capas de codificador de vídeo) flujos de bits se pueden alternar un bit a la vez, en muchos casos los flujos de bits se combinan de manera diferente. Por ejemplo, el flujo de bits de salida se puede crear alternando el flujo de bits seleccionado un bloque a la vez. En otro ejemplo, el flujo de bits de salida se puede crear proporcionando una proporción de bloques diferente a 1:1 desde cada uno de los codificadores de vídeo 20A y 20B. Por ejemplo, se pueden proporcionar dos bloques desde el codificador de vídeo 20B para cada salida de bloque del codificador de vídeo 20A. En algunos modos de realización, el flujo de salida del mux 98 puede estar preprogramado. En otros modos de realización, el mux 98 puede combinar los flujos de bits de los codificadores de vídeo 20A, 20B en base a una señal de control recibida desde un sistema externo al codificador de vídeo 23, tal como desde un procesador en un dispositivo de origen que incluye el dispositivo de origen 12. La señal de control se puede generar en base a la resolución o velocidad binaria de un vídeo de la fuente de vídeo 18, en base al ancho de banda del enlace 16, en base a una suscripción asociada a un usuario (por ejemplo, una suscripción de pago frente a una suscripción gratuita) o en base a cualquier otro factor para determinar una salida de resolución deseada del codificador de vídeo 23.
Decodificador de vídeo
[0103] La FIG. 3A es un diagrama de bloques que ilustra un ejemplo del decodificador de vídeo 30 que puede implementar técnicas de acuerdo con aspectos descritos en esta divulgación. El decodificador de vídeo 30 puede estar configurado para procesar una sola capa de una trama de vídeo, tal como para HEVC. Además, el decodificador de vídeo 30 puede estar configurado para realizar cualquiera o todas las técnicas de esta divulgación, que incluyen, pero no se limitan a, los procedimientos para inferir NoOutputOfPriorPicsFlag y procesos relacionados descritos con mayor detalle anteriormente y posteriormente con respecto a las FIGS. 4 y 5. Como ejemplo, la unidad de compensación de movimiento 162 y/o la unidad de intrapredicción 164 pueden estar configuradas para realizar cualquiera o la totalidad de las técnicas descritas en esta divulgación. En un modo de realización, el decodificador de vídeo 30 puede incluir opcionalmente una unidad de predicción entre capas 166 que está configurada para realizar cualquiera o todas las técnicas descritas en esta divulgación. En otros modos de realización, la predicción entre capas se puede realizar por la unidad de procesamiento de predicción 152 (por ejemplo, la unidad de compensación de movimiento 162 y/o la unidad de intrapredicción 164), en cuyo caso la unidad de predicción entre capas 166 se puede omitir. Sin embargo, los aspectos de esta divulgación no se limitan a esto. En algunos ejemplos, las técnicas descritas en esta divulgación pueden compartirse entre los diversos componentes del decodificador de vídeo 30. En algunos ejemplos, de forma adicional o alternativa, un procesador (no mostrado) puede estar configurado para realizar cualquiera de o todas las técnicas descritas en esta divulgación.
[0104] Con fines explicativos, esta divulgación describe el decodificador de vídeo 30 en el contexto de la codificación HEVC. Sin embargo, las técnicas de esta divulgación pueden aplicarse a otras normas o procedimientos de codificación. El ejemplo representado en la FIG. 3A es para un códec de una sola capa. Sin embargo, como se describe en mayor detalle con respecto a la FIG. 3B , una parte o la totalidad del decodificador de vídeo 30 se puede duplicar para el procesamiento de un códec multicapa.
[0105] En el ejemplo de la FIG. 3A, el decodificador de vídeo 30 incluye una pluralidad de componentes funcionales. Los componentes funcionales del decodificador de vídeo 30 incluyen una unidad de decodificación por entropía 150, una unidad de procesamiento de predicción 152, una unidad de cuantificación inversa 154, una unidad de transformada inversa 156, una unidad de reconstrucción 158, una unidad de filtro 159 y un búfer de imágenes decodificadas 160. La unidad de procesamiento de predicción 152 incluye una unidad de compensación de movimiento 162, una unidad de intrapredicción 164 y una unidad de predicción entre capas 166. En algunos ejemplos, el decodificador de vídeo 30 puede realizar una pasada de decodificación, en general, recíproca a la pasada de codificación descrita con respecto al codificador de vídeo 20 de la FIG. 2A. En otros ejemplos, el decodificador de vídeo 30 puede incluir más, menos o diferentes componentes funcionales.
[0106] El decodificador de vídeo 30 puede recibir un flujo de bits que comprende datos de vídeo codificados. El flujo de bits puede incluir una pluralidad de elementos de sintaxis. Cuando el decodificador de vídeo 30 recibe el flujo de bits, la unidad de decodificación por entropía 150 puede realizar una operación de análisis sintáctico en el flujo de bits. Como resultado de realizar la operación de análisis sintáctico en el flujo de bits, la unidad de decodificación por entropía 150 puede extraer elementos de sintaxis del flujo de bits. Como parte de realizar la operación de análisis sintáctico, la unidad de decodificación por entropía 150 puede realizar una decodificación por entropía de elementos de sintaxis codificados por entropía en el flujo de bits. La unidad de procesamiento de predicción 152, la unidad de cuantificación inversa 154, la unidad de transformada inversa 156, la unidad de reconstrucción 158 y la unidad de filtro 159 pueden realizar una operación de reconstrucción que genera datos de vídeo decodificados en base a los elementos de sintaxis extraídos del flujo de bits.
[0107] Como se analiza anteriormente, el flujo de bits puede comprender una serie de unidades NAL. Las unidades NAL del flujo de bits pueden incluir unidades NAL de conjunto de parámetros de vídeo, unidades NAL de conjunto de parámetros de secuencia, unidades NAL de conjunto de parámetros de imagen, unidades NAL SEI, etc. Como parte de realizar la operación de análisis sintáctico en el flujo de bits, la unidad de decodificación por entropía 150 puede realizar operaciones de análisis sintáctico que extraen y decodifican por entropía conjuntos de parámetros de secuencia de unidades NAL de conjuntos de parámetros de secuencia, conjuntos de parámetros de imagen de unidades NAL de conjuntos de parámetros de imagen, datos SEI de unidades NAL SEI, etc.
[0108] Además, las unidades NAL del flujo de bits pueden incluir unidades NAL de fragmentos codificados. Como parte de realizar la operación de análisis sintáctico en el flujo de bits, la unidad de decodificación por entropía 150 puede realizar operaciones de análisis sintáctico que extraen y decodifican por entropía fragmentos codificados de las unidades NAL de fragmentos codificados. Cada uno de los fragmentos codificados puede incluir una cabecera de fragmento y datos de fragmento. La cabecera de fragmento puede contener elementos de sintaxis pertenecientes a un fragmento. Los elementos de sintaxis de la cabecera de fragmento pueden incluir un elemento de sintaxis que identifica un conjunto de parámetros de imagen asociado a una imagen que contiene el fragmento. La unidad de decodificación por entropía 150 puede realizar operaciones de decodificación por entropía, tales como operaciones de decodificación de CABAC, en elementos de sintaxis de la cabecera de fragmento codificado para recuperar la cabecera de fragmento.
[0109] Como parte de extraer los datos de fragmento a partir de unidades NAL de fragmentos codificados, la unidad de decodificación por entropía 150 puede realizar operaciones de análisis sintáctico que extraen elementos de sintaxis de las CU codificadas en los datos de fragmento. Los elementos de sintaxis extraídos pueden incluir elementos de sintaxis asociados a bloques de coeficientes de transformada. La unidad de decodificación por entropía 150 puede entonces realizar operaciones de decodificación de CABAC en algunos de los elementos de sintaxis.
[0110] Después de que la unidad de decodificación por entropía 150 realice una operación de análisis sintáctico en una CU no dividida, el decodificador de vídeo 30 puede realizar una operación de reconstrucción en la CU no dividida. Para realizar la operación de reconstrucción en una CU no dividida, el decodificador de vídeo 30 puede realizar una operación de reconstrucción en cada TU de la CU. Realizando la operación de reconstrucción para cada TU de la CU, el decodificador de vídeo 30 puede reconstruir un bloque de vídeo residual asociado a la CU.
[0111] Como parte de realizar una operación de reconstrucción en una TU, la unidad de cuantificación inversa 154 puede cuantificar de forma inversa, es decir, descuantificar, un bloque de coeficientes de transformada asociado a la TU. La unidad de cuantificación inversa 154 puede cuantificar de forma inversa el bloque de coeficientes de transformada de una manera similar a los procesos de cuantificación inversa propuestos para HEVC o definidos por la norma de decodificación H.264. La unidad de cuantificación inversa 154 puede usar un parámetro de cuantificación QP calculado por el codificador de vídeo 20 para una CU del bloque de coeficientes de transformada para determinar un grado de cuantificación y, del mismo modo, un grado de cuantificación inversa para la unidad de cuantificación inversa 154 a aplicar.
[0112] Después de que la unidad de cuantificación inversa 154 cuantifique de forma inversa un bloque de coeficientes de transformada, la unidad de transformada inversa 156 puede generar un bloque de vídeo residual para la TU asociada al bloque de coeficientes de transformada. La unidad de transformada inversa 156 puede aplicar una transformada inversa al bloque de coeficientes de transformada para generar el bloque de vídeo residual para la TU. Por ejemplo, la unidad de transformada inversa 156 puede aplicar una DCT inversa, una transformada de número entero inversa, una transformada de Karhunen-Loeve (KLT) inversa, una transformada de rotación inversa, una transformada direccional inversa u otra transformada inversa al bloque de coeficientes de transformada. En algunos ejemplos, la unidad de transformada inversa 156 puede determinar una transformación inversa que aplicar al bloque de coeficientes de transformada basándose en la señalización del codificador de vídeo 20. En dichos ejemplos, la unidad de transformada inversa 156 puede determinar la transformada inversa en base a una transformada señalizada en el nodo raíz de un árbol cuaternario para un bloque de árbol asociado al bloque de coeficientes de transformada. En otros ejemplos, la unidad de transformada inversa 156 puede inferir la transformada inversa a partir de una o más características de codificación, tales como tamaño de bloque, modo de codificación o similares. En algunos ejemplos, la unidad de transformada inversa 156 puede aplicar una transformada inversa en cascada.
[0113] En algunos ejemplos, la unidad de compensación de movimiento 162 puede refinar el bloque de vídeo predicho de una PU mediante interpolación en base a filtros de interpolación. Los identificadores para los filtros de interpolación que se van a usar para la compensación de movimiento con una precisión de submuestra se pueden incluir en los elementos de sintaxis. La unidad de compensación de movimiento 162 puede usar los mismos filtros de interpolación usados por el codificador de vídeo 20 durante la generación del bloque de vídeo predicho de la PU para calcular valores interpolados para muestras fraccionarias de un bloque de referencia. La unidad de compensación de movimiento 162 puede determinar los filtros de interpolación usados por el codificador de vídeo 20 de acuerdo con la información de sintaxis recibida y usar los filtros de interpolación para producir el bloque de vídeo predicho.
[0114] Como se analiza adicionalmente más adelante con referencia a la FIG. 5 , la unidad de procesamiento de predicción 152 puede codificar (por ejemplo, codificar o decodificar) la PU (o cualquier otra capa de referencia y/o bloques de capa de mejora o unidades de vídeo) realizando los procedimientos ilustrados en la FIG. 5. Por ejemplo, la unidad de compensación de movimiento 162, la unidad de intrapredicción 164 o la unidad de predicción entre capas 166 pueden estar configuradas para realizar los procedimientos ilustrados en la FIG. 5 , ya sea juntos o por separado.
[0115] Si se codifica una PU usando intrapredicción, la unidad de intrapredicción 164 puede realizar intrapredicción para generar un bloque de vídeo predicho para la PU. Por ejemplo, la unidad de intrapredicción 164 puede determinar un modo de intrapredicción para la PU en base a elementos de sintaxis del flujo de bits. El flujo de bits puede incluir elementos de sintaxis que la unidad de intrapredicción 164 puede usar para determinar el modo de intrapredicción de la PU.
[0116] En algunos casos, los elementos de sintaxis pueden indicar que la unidad de intrapredicción 164 debe usar el modo de intrapredicción de otra PU para determinar el modo de intrapredicción de la PU actual. Por ejemplo, puede ser probable que el modo de intrapredicción de la PU actual sea el mismo que el modo de intrapredicción de una PU vecina. En otras palabras, el modo de intrapredicción de la PU vecina puede ser el modo más probable para la PU actual. Por consiguiente, en este ejemplo, el flujo de bits puede incluir un pequeño elemento de sintaxis que indica que el modo de intrapredicción de la PU es el mismo que el modo de intrapredicción de la PU vecina. La unidad de intrapredicción 164 puede entonces usar el modo de intrapredicción para generar datos de predicción (por ejemplo, muestras predichas) para la PU en base a los bloques de vídeo de PU espacialmente vecinas.
[0117] Como se analizó anteriormente, el decodificador de vídeo 30 también puede incluir la unidad de predicción entre capas 166. La unidad de predicción entre capas 166 está configurada para predecir un bloque actual (por ejemplo, un bloque actual en la EL) usando una o más capas diferentes que están disponibles en la codificación de vídeo escalable (por ejemplo, una capa base o de referencia). Dicha predicción se puede denominar predicción entre capas. La unidad de predicción entre capas 166 utiliza procedimientos de predicción para reducir la redundancia entre capas, mejorando así la eficacia de codificación y reduciendo los requisitos de recursos computacionales. Algunos ejemplos de predicción entre capas incluyen la intrapredicción entre capas, la predicción de movimiento entre capas y la predicción de residuo entre capas. La intrapredicción entre capas usa la reconstrucción de bloques ubicados conjuntamente en la capa base para predecir el bloque actual en la capa de mejora. La predicción de movimiento entre capas usa información de movimiento de la capa base para predecir el movimiento en la capa de mejora. La predicción de residuo entre capas usa el residuo de la capa base para predecir el residuo de la capa de mejora. Cada uno de los esquemas de predicción entre capas se analiza a continuación con mayor detalle.
[0118] La unidad de reconstrucción 158 puede usar los bloques de vídeo residuales asociados a las TU de una CU y los bloques de vídeo predichos de las PU de la CU, por ejemplo, datos de intrapredicción o datos de interpredicción, según corresponda, para reconstruir el bloque de vídeo de la CU. De este modo, el decodificador de vídeo 30 puede generar un bloque de vídeo predicho y un bloque de vídeo residual basándose en los elementos de sintaxis del flujo de bits y puede generar un bloque de vídeo basándose en el bloque de vídeo predicho y el bloque de vídeo residual.
[0119] Después de que la unidad de reconstrucción 158 reconstruya el bloque de vídeo de la CU, la unidad de filtro 159 puede realizar una operación de eliminación de efecto pixelado para reducir los artefactos de efecto pixelado asociados a la CU. Después de que la unidad de filtro 159 realiza una operación de desbloqueo para reducir los artefactos de bloqueo asociados a la CU, el decodificador de vídeo 30 puede almacenar el bloque de vídeo de la CU en el búfer de imágenes decodificadas 160. El búfer de imágenes decodificadas 160 puede proporcionar imágenes de referencia a una compensación de movimiento subsiguiente, intrapredicción y presentación en un dispositivo de visualización, tal como el dispositivo de visualización 32 de la FIG. 1A o 1B. Por ejemplo, el decodificador de vídeo 30 puede realizar, basándose en los bloques de vídeo del búfer de imágenes decodificadas 160, operaciones de intrapredicción o de interpredicción en las PU de otras CU.
Decodificador multicapa
[0120] La FIG. 3B es un diagrama de bloques que ilustra un ejemplo de un decodificador de vídeo multicapa 33 (también denominado simplemente decodificador de vídeo 33) que puede implementar técnicas de acuerdo con los aspectos descritos en esta divulgación. El decodificador de vídeo 33 puede estar configurado para procesar tramas de vídeo multicapa, tal como para SHVC y la codificación multivista. Además, el decodificador de vídeo 33 puede estar configurado para realizar cualquiera o todas las técnicas de esta divulgación.
[0121] El decodificador de vídeo 33 incluye un decodificador de vídeo 30A y un decodificador de vídeo 30B, cada uno de los cuales puede estar configurado como el decodificador de vídeo 30 y puede realizar las funciones descritas anteriormente con respecto al decodificador de vídeo 30. Además, como se indica mediante la reutilización de los números de referencia, los decodificadores de vídeo 30A y 30B pueden incluir al menos algunos de los sistemas y subsistemas del decodificador de vídeo 30. Aunque se ilustra que el decodificador de vídeo 33 incluye dos decodificadores de vídeo 30A y 30B, el decodificador de vídeo 33 no está limitado a esto y puede incluir cualquier número de capas de decodificador de vídeo 30. En algunos modos de realización, el decodificador de vídeo 33 puede incluir un decodificador de vídeo 30 para cada imagen o trama en una unidad de acceso. Por ejemplo, una unidad de acceso que incluye cinco imágenes se puede procesar o decodificar por un decodificador de vídeo que incluye cinco capas de decodificador. En algunos modos de realización, el decodificador de vídeo 33 puede incluir más capas de decodificador que tramas en una unidad de acceso. En algunos de dichos casos, algunas de las capas de decodificador de vídeo pueden estar inactivas al procesar algunas unidades de acceso.
[0122] Además de los decodificadores de vídeo 30A y 30B, el decodificador de vídeo 33 puede incluir una unidad de muestreo ascendente 92. En algunos modos de realización, la unidad de muestreo ascendente 92 puede muestrear de manera ascendente una capa base de una trama de vídeo recibida para crear una capa mejorada que se añadirá a la lista de imágenes de referencia para la trama o la unidad de acceso. Esta capa mejorada se puede almacenar en el búfer de imágenes decodificadas 160. En algunos modos de realización, la unidad de muestreo ascendente 92 puede incluir algunos o todos los modos de realización descritos con respecto a la unidad de remuestreo 90 de la FIG. 2A. En algunos modos de realización, la unidad de muestreo ascendente 92 está configurada para muestrear de manera ascendente una capa y reorganizar, redefinir, modificar o ajustar uno o más fragmentos para cumplir con un conjunto de reglas de límite de fragmento y/o reglas de exploración de trama. En algunos casos, la unidad de muestreo ascendente 92 puede ser una unidad de remuestreo configurada para muestrear de manera ascendente y/o descendente una capa de una trama de vídeo recibida.
[0123] La unidad de muestreo ascendente 92 puede estar configurada para recibir una imagen o trama (o información de imagen asociada a la imagen) desde el búfer de imágenes decodificadas 160 del decodificador de capa inferior (por ejemplo, el decodificador de vídeo 30A) y para muestrear de manera ascendente la imagen (o la información de imagen recibida). Esta imagen muestreada de manera ascendente se puede proporcionar a continuación a la unidad de procesamiento de predicción 152 de un decodificador de capa superior (por ejemplo, el decodificador de vídeo 30B) configurado para decodificar una imagen en la misma unidad de acceso que el decodificador de capa inferior. En algunos casos, el decodificador de capa superior es una capa eliminada del decodificador de capa inferior. En otros casos, puede haber uno o más decodificadores de capa superior entre el decodificador de capa 0 y el decodificador de capa 1 de la FIG. 3B.
[0124] En algunos casos, la unidad de muestreo ascendente 92 se puede omitir o ignorar. En dichos casos, la imagen del búfer de imágenes decodificadas 160 del decodificador de vídeo 30A se puede proporcionar directamente, o al menos sin proporcionarse a la unidad de muestreo ascendente 92, a la unidad de procesamiento de predicción 152 del decodificador de vídeo 30B. Por ejemplo, si los datos de vídeo proporcionados al decodificador de vídeo 30B y la imagen de referencia del búfer de imágenes decodificadas 160 del decodificador de vídeo 30A son del mismo tamaño o resolución, la imagen de referencia se puede proporcionar al decodificador de vídeo 30B sin muestreo ascendente. Además, en algunos modos de realización, la unidad de muestreo ascendente 92 puede ser una unidad de remuestreo 90 configurada para realizar un muestreo ascendente o descendente de una imagen de referencia recibida desde el búfer de imágenes decodificadas 160 del decodificador de vídeo 30A.
[0125] Como se ilustra en la FIG. 3B , el decodificador de vídeo 33 puede incluir además un desmultiplexor 99 o demux. El demux 99 puede dividir un flujo de bits de vídeo codificado en múltiples flujos de bits, suministrándose cada flujo de bits proporcionado por el demux 99 a un decodificador de vídeo 30A y 30B diferente. Los múltiples flujos de bits se pueden crear recibiendo un flujo de bits y cada uno de los decodificadores de vídeo 30A y 30B recibe una parte del flujo de bits en un momento dado. Mientras que en algunos casos los bits del flujo de bits recibido en el demux 99 se pueden alternar un bit a la vez entre cada uno de los decodificadores de vídeo (por ejemplo, los decodificadores de vídeo 30A y 30B en el ejemplo de la FIG. 3B), en muchos caso el flujo de bits se divide de manera diferente. Por ejemplo, el flujo de bits se puede dividir alternando qué decodificador de vídeo recibe el flujo de bits un bloque a la vez. En otro ejemplo, el flujo de bits se puede dividir por una proporción de bloques diferente a 1:1 para cada uno de los decodificadores de vídeo 30A y 30B. Por ejemplo, se pueden proporcionar dos bloques al decodificador de vídeo 30B por cada bloque proporcionado al decodificador de vídeo 30A. En algunos modos de realización, la división del flujo de bits por el demux 99 se puede preprogramar. En otros modos de realización, el demux 99 puede dividir el flujo de bits basándose en una señal de control recibida desde un sistema externo al decodificador de vídeo 33, tal como desde un procesador en un dispositivo de destino que incluye el módulo de destino 14. La señal de control se puede generar en base a la resolución o la velocidad binaria de un vídeo de la interfaz de entrada 28, en base al ancho de banda del enlace 16, en base a una suscripción asociada a un usuario (por ejemplo, una suscripción de pago frente a una suscripción gratuita) o en base a cualquier otro factor para determinar una resolución obtenible por el decodificador de vídeo 33.
Imágenes de punto de acceso aleatorio interno (IRAP)
[0126] Algunos esquemas de codificación de vídeo pueden proporcionar diversos puntos de acceso aleatorio en todo el flujo de bits de modo que el flujo de bits se puede decodificar comenzando desde cualquiera de esos puntos de acceso aleatorio sin necesidad de decodificar ninguna imagen que preceda a esos puntos de acceso aleatorio en el flujo de bits. Por ejemplo, esto puede ser el caso cuando el flujo de bits incluye una sola capa o cuando un punto de acceso aleatorio tiene imágenes IRAP en todas las capas. En dichos esquemas de codificación de vídeo, todas las imágenes que siguen a un punto de acceso aleatorio en orden de salida (por ejemplo, incluidas aquellas imágenes que están en la misma unidad de acceso que la imagen que proporciona el punto de acceso aleatorio) se pueden decodificar correctamente sin usar ninguna imagen que preceda al punto de acceso aleatorio. Por ejemplo, incluso si una parte del flujo de bits se pierde durante la transmisión o durante la decodificación, un decodificador puede reanudar la decodificación del flujo de bits comenzando desde el siguiente punto de acceso aleatorio. Algunos esquemas de vídeo pueden proporcionar puntos de acceso aleatorio de modo que la decodificación de imágenes de capa base y, además, de imágenes que pertenecen a cero o más capas en el flujo de bits, puede iniciarse desde cualquiera de estos puntos de acceso aleatorio sin decodificar ninguna imagen que preceda a esos puntos de acceso aleatorio, pero no todas las capas pueden decodificarse correctamente cuando la decodificación comienza en esos puntos de acceso aleatorio. La decodificación correcta de todas las capas puede ocurrir en una unidad de acceso posterior. La compatibilidad con el acceso aleatorio puede facilitar, por ejemplo, servicios dinámicos de transmisión continua, operaciones de búsqueda, conmutación de canales, etc.
[0127] En algunos esquemas de codificación, dichos puntos de acceso aleatorio se pueden proporcionar mediante imágenes que se denominan imágenes IRAP. Por ejemplo, un punto de acceso aleatorio (por ejemplo, proporcionado por una imagen IRAP de capa de mejora) en una capa de mejora ("capaA") contenida en una unidad de acceso ("auA") puede proporcionar acceso aleatorio específico de capa de modo que para cada capa de referencia ("capaB") de la capaA (por ejemplo, una capa de referencia que es una capa que se usa para predecir la capaA) que tiene un punto de acceso aleatorio contenido en una unidad de acceso ("auB") que está en la capaB y precede a la auA en orden de decodificación (o a un punto de acceso aleatorio contenido en la auA), las imágenes en la capaA que siguen a la auA en orden de salida (incluidas las imágenes ubicadas en la auA) se pueden decodificar correctamente sin necesidad de decodificar ninguna imagen de la capaA que preceda a la auA cuando la decodificación comienza en la unidad de acceso auB o en la unidad de acceso que precede a la auB en orden de decodificación.
[0128] Las imágenes IRAP pueden codificarse usando intrapredicción (por ejemplo, codificarse sin hacer referencia a otras imágenes), y pueden incluir, por ejemplo, imágenes de actualización de decodificación instantánea (IDR), imágenes de acceso aleatorio limpio (CRA) e imágenes de acceso de enlace roto (BLA). Cuando hay una imagen IDR en el flujo de bits, todas las imágenes que preceden a la imagen IDR en orden de decodificación no se usan para la predicción mediante las imágenes que siguen a la imagen IDR en orden de decodificación. Cuando hay una imagen CRA en el flujo de bits, las imágenes que siguen a la imagen CRA pueden usar, o no, imágenes que preceden a la imagen CRA en orden de decodificación para la predicción. Dichas imágenes que siguen a la imagen CRA en orden de decodificación, pero que usan imágenes que preceden a la imagen CRA en orden de decodificación, se pueden denominar imágenes principales omitidas de acceso aleatorio (RASL). Otro tipo de imagen que sigue a una imagen IRAP en orden de decodificación y que precede a la imagen IRAP en orden de salida es una imagen principal decodificable de acceso aleatorio (RADL), que puede no contener referencias a ninguna imagen que preceda a la imagen IRAP en orden de decodificación. Las imágenes RASL se pueden descartar por el decodificador si las imágenes que preceden a la imagen CRA no están disponibles. Una imagen BLA indica al decodificador que las imágenes que preceden a la imagen BLA pueden no estar disponibles para el decodificador (por ejemplo, porque dos flujos de bits están unidos entre sí y la imagen BLA es la primera imagen del segundo flujo de bits en orden de decodificación). Una unidad de acceso (por ejemplo, un grupo de imágenes que consisten en todas las imágenes codificadas asociadas al mismo tiempo de salida en las múltiples capas) que contiene una imagen de capa base (por ejemplo, una imagen que tiene un valor de ID de capa de 0) que es una imagen IRAP se puede denominar unidad de acceso IRAP.
Alineación de imágenes IRAP entre capas
[0129] En la codificación de vídeo escalable, es posible que no se requiera que las imágenes IRAP estén alineadas (por ejemplo, contenidas en la misma unidad de acceso) en diferentes capas. Por ejemplo, si se requiere que las imágenes IRAP estén alineadas, cualquier unidad de acceso que contenga al menos una imagen IRAP solo contendría imágenes IRAP. Por otro lado, si no se requiere que las imágenes IRAP estén alineadas, en una sola unidad de acceso, una imagen (por ejemplo, en una primera capa) puede ser una imagen IRAP, y otra imagen (por ejemplo, en una segunda capa) puede ser una imagen no IRAP. Tener dichas imágenes IRAP no alineadas en un flujo de bits puede proporcionar algunas ventajas. Por ejemplo, en un flujo de bits de dos capas, si hay más imágenes IRAP en la capa base que en la capa de mejora, en aplicaciones de radiodifusión y multidifusión, se puede lograr un bajo retardo de ajuste y una alta eficacia de codificación.
[0130] En algunos esquemas de codificación de vídeo, se puede usar un recuento de orden de imágenes (POC) para realizar un seguimiento del orden relativo en el que se muestran las imágenes decodificadas. Algunos de estos esquemas de codificación pueden hacer que los valores de POC se restablezcan (por ejemplo, se establezcan en cero o se establezcan en algún valor señalizado en el flujo de bits) siempre que determinados tipos de imágenes aparezcan en el flujo de bits. Por ejemplo, los valores de POC de determinadas imágenes IRAP pueden restablecerse, lo que hace que los valores de POC de otras imágenes que preceden a esas imágenes IRAP en orden de decodificación también se restablezcan. Esto puede ser problemático cuando no se requiere que las imágenes IRAP se alineen en las diferentes capas. Por ejemplo, cuando una imagen ("picA") es una imagen IRAP y otra imagen ("picB") en la misma unidad de acceso no es una imagen IRAP, el valor de POC de una imagen ("picC"), que se restablece debido a que picA es una imagen IRAP, en la capa que contiene la picA puede ser diferente del valor de POC de una imagen ("picD"), que no se ha restablecido, en la capa que contiene la picB, donde picC y picD están en la misma unidad de acceso. Esto hace que picC y picD tengan diferentes valores de POC aunque pertenezcan a la misma unidad de acceso (por ejemplo, al mismo tiempo de salida). Por tanto, en este ejemplo, el proceso de obtención para obtener los valores de POC se puede modificar para producir valores de POC que sean coherentes con la definición de valores de POC y unidades de acceso.
Imagen de inicialización de capa (LIP)
[0131] En algunos esquemas de codificación, una imagen de inicialización de capa ("imagen LIP") se puede definir como una imagen que es una imagen IRAP que tiene un indicador NoRaslOutputFlag (por ejemplo, un indicador que indica que las imágenes RASL no se proporcionarán si se establece en 1 e indica que las imágenes RASL se proporcionarán si se establece en 0) establecida en 1 o una imagen que está contenida en una unidad de acceso IRAP inicial, que es una unidad de acceso IRAP en la que la imagen de capa base (por ejemplo, una imagen que tiene un ID de capa de 0 o el ID de capa más pequeño definido en el flujo de bits) tiene el NoRaslOutputFlag establecido en 1.
[0132] En algunos modos de realización, se puede activar un SPS en cada imagen LIP. Por ejemplo, cada imagen IRAP tiene un indicador NoRaslOutputFlag establecido en 1 o cada imagen está contenida en una unidad de acceso IRAP inicial, un nuevo SPS, que puede ser diferente (por ejemplo, especificando diferentes resoluciones de imagen, etc.) del SPS que se activó previamente. Sin embargo, en un caso donde la imagen LIP no es una imagen IRAP (por ejemplo, cualquier imagen contenida en una unidad de acceso IRAP inicial) y la imagen de capa base en la unidad de acceso IRAP inicial es una imagen IDR con un indicador NoClrasOutputFlag (por ejemplo, un indicador que indica que las imágenes de omisión de acceso aleatorio entre capas no se deben proporcionar si se establece en 1 y que indica que las imágenes de omisión de acceso aleatorio entre capas se deben proporcionar si se establece en 0) establecida en 0, no se debe permitir que la imagen LIP active un nuevo SPS. Si se activa un nuevo SPS en dicha imagen LIP en dicho caso, en particular cuando el contenido de la RBSP de SPS del nuevo SPS es diferente al del SPS que estaba activo previamente antes de la unidad de acceso IRAP inicial, podría haber problemas en diferentes resoluciones de imagen y recuperación frente a errores. Por ejemplo, el nuevo SPS puede actualizar la resolución y usar la predicción temporal para referirse a imágenes de diferentes tamaños.
Expulsión y vaciado de imágenes
[0133] Las imágenes que se decodifican (por ejemplo, para que se puedan visualizar o usar para predecir otras imágenes) se almacenan en un DPB. Las imágenes que se van a proporcionar se pueden marcar como "necesarias para transmitir", y las imágenes que se van a usar para predecir otras imágenes se pueden marcar como "usadas como referencia". Las imágenes decodificadas que no están marcadas como "necesarias para transmitir" ni como "usadas como referencia" (por ejemplo, imágenes que se marcaron inicialmente como "usadas como referencia" o "necesarias para transmitir" pero posteriormente se marcaron como "no usadas como referencia" o "no necesarias para transmitir") pueden estar presentes en el DPB hasta que se eliminen por el proceso de decodificación. En decodificadores que se ajustan al orden de salida, el proceso de eliminación de imágenes del DPB a menudo sigue inmediatamente a la salida de imágenes que están marcadas como "necesarias para transmitir". Este proceso de provisión y posterior eliminación se puede denominar "expulsión".
[0134] También hay situaciones donde el decodificador puede eliminar las imágenes del DPB sin proporcionarlas, aunque estas imágenes pueden estar marcadas como "necesarias para transmitir". Para facilitar la descripción en el presente documento, las imágenes decodificadas que están presentes en el DPB en el momento de decodificar una imagen IRAP (independientemente de si las imágenes decodificadas están marcadas como "necesarias para transmitir" o "usadas como referencia") se denominan "imágenes del DPB con retardo" asociadas con la imagen IRAP o "imágenes del DPB con retardo asociadas" de la imagen IRAP. A continuación se describen algunos ejemplos de dichas situaciones en el contexto de HEVC.
[0135] En un ejemplo, cuando una imagen CRA con NoRaslOutputFlag igual a un valor de "1" está presente en medio de un flujo de bits (por ejemplo, no es la primera imagen en el flujo de bits), las imágenes del DPB con retardo asociadas a la imagen CRA no se proporcionarán y deberían eliminarse del DPB. Es probable que dichas situaciones se produzcan en puntos de empalme, donde dos flujos de bits se unen entre sí y la primera imagen del último flujo de bits es una imagen CRA con NoRaslOutputFlag igual a un valor de "1". En otro ejemplo, cuando una imagen IRAP picA que tiene NoRaslOutputFlag igual a un valor de "1" y que no es una imagen CRA (por ejemplo, una imagen IDR) está presente en medio de un flujo de bits y la resolución de la imagen cambia en picA (por ejemplo, con la activación de un nuevo SPS), las imágenes del DPB con retardo asociadas de picA se pueden eliminar del DPB antes de que puedan proporcionarse, ya que si las imágenes del DPB con retardo asociadas continúan ocupando el DPB, la decodificación de las imágenes comenzando a partir de picA se puede volver problemática, por ejemplo, debido al desbordamiento del búfer. En este caso, el valor de no_output_of_prior_pics_flag (por ejemplo, un indicador que indica que las imágenes que se decodificaron y se almacenaron previamente en el DPB se deben eliminar del DPB sin proporcionarse si se establece en 1, e indica que las imágenes que se decodificaron y se almacenaron previamente en el DPB no deben eliminarse del DPB sin proporcionarse si se establece en 0) asociado a picA se debe establecer igual a un valor de "1" por el codificador o empalmador, o NoOutputOfPriorPicsFlag (por ejemplo, un valor obtenido que se puede determinar en base a la información incluida en el flujo de bits) se puede obtener para que sea igual a un valor de "1" por el decodificador, para vaciar las imágenes con retardo sin proporcionarse desde el DPB. Esta operación de empalme se describe con más detalle a continuación con referencia a la FIG. 4.
[0136] Este proceso de eliminación de imágenes del DPB con retardo asociadas del DPB sin proporcionarse se puede denominar "vaciado". Incluso en situaciones no descritas anteriormente, una imagen IRAP puede especificar el valor de no_output_of_prior_pics_flag igual a un valor de "1", de modo que el decodificador descargará las imágenes con retardo del DPB asociadas de la imagen IRAP.
Flujo de bits que incluye un punto de empalme
[0137] Con referencia a la FIG. 4 , se describirá un flujo de bits de ejemplo que tiene un punto de empalme. La FIG. 4 muestra un flujo de bits multicapa 400 creado por el empalme de los flujos de bits 410 y 420. El flujo de bits 410 incluye una capa de mejora (EL) 410A y una capa base (BL) 410B, y el flujo de bits 420 incluye una EL 420A y una BL 420B. La EL 410A incluye una imagen EL 412A, y la BL 410B incluye una imagen BL 412B. La EL 420A incluye imágenes de EL 422A, 424A y 426A, y la BL 420B incluye imágenes de BL 422B, 424B y 426B. El flujo de bits multicapa 400 incluye además unidades de acceso (AU) 430-460. La AU 430 incluye la imagen EL 412A y la imagen BL 412B, la AU 440 incluye la imagen EL 422A y la imagen BL 422B, la AU 450 incluye la imagen EL 424A y la imagen BL 424B, y la AU 460 incluye la imagen EL 426A y la imagen BL 426B. En el ejemplo de la FIG. 4 , la imagen BL 422B es una imagen IRAP, y la imagen EL 422A correspondiente en la AU 440 es una imagen final (por ejemplo, una imagen no IRAP), y, en consecuencia, la AU 440 es una AU IRAP no alineada. Además, se debe tener en cuenta que la AU 440 es una unidad de acceso que sigue inmediatamente a un punto de empalme 470.
[0138] Aunque el ejemplo de la FIG. 4 ilustra un caso donde dos flujos de bits diferentes se unen entre sí, en algunos modos de realización, un punto de empalme puede estar presente cuando se elimina una parte del flujo de bits. Por ejemplo, un flujo de bits puede tener partes A, B y C, estando la parte B entre las partes A y C. Si la parte B se elimina del flujo de bits, las partes restantes A y C se pueden unir entre sí, y el punto en el que se unen entre sí se puede denominar un punto de empalme. Más en general, se puede considerar que un punto de empalme como se analiza en la presente solicitud está presente cuando uno o más parámetros o indicadores señalizados u obtenidos tienen valores predeterminados. Por ejemplo, sin recibir una indicación específica de que existe un punto de empalme en una ubicación particular, un decodificador puede determinar el valor de un indicador (por ejemplo, NoClrasOutputFlag) y realizar una o más técnicas descritas en esta aplicación basándose en el valor del indicador.
Vaciado de imágenes en un contexto multicapa
[0139] El proceso de vaciado de imágenes también es relevante en flujos de bits multicapa. Más específicamente, es relevante para todas las imágenes que pertenecen a una unidad de acceso IRAP inicial, y también para imágenes IRAP que no están en una unidad de acceso IRAP inicial. Como se describe anteriormente, en algunas implementaciones existentes tales como SHVC y MV-HEVC, una unidad de acceso IRAP se puede definir como una unidad de acceso que contiene una imagen IRAP que tiene nuh_layer_id igual a un valor de "0" (independientemente de si otras imágenes en la unidad de acceso son imágenes IRAP), y una unidad de acceso IRAP inicial se puede definir como una unidad de acceso que contiene una imagen IRAP que tiene nuh_layer_id igual a un valor de "0" y que tiene NoRaslOutputFlag igual a un valor de "1" (de nuevo independientemente de si otras imágenes en la unidad de acceso son imágenes IRAP).
[0140] Con la posibilidad de tener imágenes IRAP no alineadas en las unidades de acceso (por ejemplo, una unidad de acceso puede contener imágenes IRAP e imágenes no IRAP) en SHVC y MV-HEVC, las situaciones descritas en la sección anterior en el contexto de HEVC se pueden producir en diferentes capas de un flujo de bits de SHVC/MV-HEVC. Por ejemplo, una imagen CRA picA que tiene NoRaslOutputFlag igual a un valor de "1" puede estar presente en una capa de mejora en el medio de un flujo de bits (por ejemplo, no en la primera unidad de acceso del flujo de bits) que comienza con una unidad de acceso IRAP inicial que no tiene una imagen CRA en la misma capa que picA. Además, el cambio de resolución de una imagen se podría producir en imágenes IRAP en una capa de mejora en una unidad de acceso donde la resolución de la capa base no cambia, o viceversa. Pueden surgir situaciones similares para diferentes tamaños del DPB.
Vaciado de imágenes en SVC y MVC
[0141] Debido al diseño de codificación de bucle único de SVC, solo se inserta una imagen reconstruida por unidad de acceso en el DPB, excepto en los casos en los que se usa la denominada escalabilidad granular media (MGS) (en cuyo caso puede haber dos imágenes decodificadas de las denominadas unidades de acceso de imagen clave que se almacenan en el DPB). Sin embargo, en cada unidad de acceso solo se puede proporcionar la imagen decodificada de la capa más alta. Por lo tanto, las operaciones para gestionar el DPB, incluido el vaciado de imágenes, solo se refieren a las imágenes de la capa más alta, principalmente porque no se requiere que una imagen decodificada de una capa base esté presente en el DPB para predecir la capa de mejora.
[0142] En MVC, más de una vista puede ser la vista de salida objetivo, y los componentes de vista decodificados se deben mantener para predecir los componentes de vista en otra capa, incluso si no son necesarios para predecir los componentes de vista en la misma capa. Por lo tanto, los componentes de vista de más de una vista pueden estar presentes en el DPB. El indicador no_output_of_prior_pics_flag se señaliza para cada componente de vista IDR (por ejemplo, un componente de vista IDR de una vista no base se señaliza con non_idr_flag igual a un valor de "0"), y el vaciado de los componentes de vista es específica de capa (o específica de vista). En MVC, por simplicidad, los componentes de vista IDR en una unidad de acceso en MVC están alineados. Por ejemplo, si un componente de vista en una unidad de acceso es un componente de vista IDR, todos los componentes de vista en esa unidad de acceso también son componentes de vista IDR. Por lo tanto, la operación de vaciado también se realiza en todas las vistas en el flujo de bits, aunque la operación puede ser específica de vista/capa.
Conformidad con la temporización de salida
[0143] En algunas implementaciones (por ejemplo, SHVC, MV-HEVC, etc.), tal como el borrador de trabajo (WD) 7 de MV-HEVC, la salida y eliminación de imágenes del DPB para la conformidad con la temporización de salida se realizan como se describe a continuación. Se pueden aplicar conceptos idénticos o similares a SHVC y se han reflejado o se reflejarán en los borradores de trabajo de SHVC posteriores al borrador de trabajo 5.
Tabla 1 - Conformidad con la temporización de salida en WD 7 de MV-HEVC
Figure imgf000025_0001
Figure imgf000026_0001
Conformidad con el orden de salida
[0144] En algunas implementaciones (por ejemplo, SHVC, MV-HEVC, etc.), la salida y eliminación de imágenes del DPB para la conformidad con el orden de salida se realizan como se describe a continuación. En el siguiente ejemplo, la eliminación de imágenes, cuando se invoca, es específica de capa.
Tabla 2 - Conformidad con el orden de salida en WD 7 de MV-HEVC
Figure imgf000026_0002
Figure imgf000027_0001
Señalización de indicador que indica la provisión de imágenes anteriores
[0145] En algunos modos de realización, la variable NoOutputOfPriorPicsFlag (por ejemplo, un valor obtenido por el decodificador para determinar, al decodificar una imagen IRAP, si se proporcionan o no las imágenes del DPB antes de que se vacíe el DPB) se obtiene en base a no_output_of_prior_pics_flag y otras condiciones. Por ejemplo, no_output_of_prior_pics_flag puede ser un valor que se señaliza en el flujo de bits, mientras que NoOutputOfPriorPicsFlag puede ser un valor obtenido por un codificador en base a la información incluida en el flujo de bits. Un decodificador puede obtener el valor de NoOutputOfPriorPicsFlag basándose en el valor de no_output_of_prior_pics_flag y otras condiciones y, a continuación, usar el valor obtenido de NoOutputOfPriorPicsFlag para determinar si se proporcionan imágenes o no. En algunos modos de realización, el indicador NoOutputOfPriorPicsFlag puede indicar si la unidad de acceso actual comprende un punto de empalme, en el que se unen dos flujos de bits diferentes.
[0146] En algunos modos de realización, NoClRasOutputFlag y NoRaslOutputFlag pueden ser variables obtenidas en base a la información incluida en el flujo de bits. Por ejemplo, NoRaslOutputFlag se puede obtener para cada imagen IRAP (por ejemplo, en BL y/o EL), y NoClRasOutputFlag se puede obtener solo para las imágenes de capa más baja (por ejemplo, imágenes de BL). El valor de cada uno de NoClRasOutputFlag y NoRaslOutputFlag puede indicar que algunas imágenes en el flujo de bits pueden no estar decodificadas correctamente debido a la falta de disponibilidad de determinadas imágenes de referencia. Dicha falta de disponibilidad de imágenes de referencia se puede producir en puntos de acceso aleatorio. Las imágenes de omisión de acceso aleatorio de entre capas (CL-RAS) son, de alguna manera, el equivalente multicapa de las imágenes de RASL. Si un decodificador comienza a decodificar un flujo de bits en un punto de acceso aleatorio (por ejemplo, una unidad de acceso que tiene una imagen IRAP BL), y la imagen EL en la unidad de acceso no es una imagen IRAP, entonces esa imagen EL es una imagen de CL-RAS. Todas las imágenes en la EL pueden ser imágenes CL-RAS (por ejemplo, decodificables, pero no correctamente decodificables) hasta que se produzca una imagen IRAP en la EL. Cuando se proporciona una imagen IRAP EL en este tipo en el flujo de bits, se puede decir que la EL se ha inicializado.
[0147] Por ejemplo, en el ejemplo de la FIG. 4, la imagen EL 422A puede ser una imagen de LIP que no es una imagen IRAP, y la imagen BL 422B puede ser una imagen IRAP que tiene un indicador NoClRasOutputFlag asociado a la misma. En este ejemplo, el valor de NoOutputOfPriorPicsFlag asociado a la imagen EL 422A se puede inferir en base al valor de NoCIRasOutputFIag asociado a la imagen BL 422B. Por ejemplo, si NoCIRasOutputFIag es igual a un valor de "1", NoOutputOfPriorPicsFlag para la imagen EL 422A también se puede establecer en un valor de "1", lo que hace que las imágenes en el DPB no se proporcionen antes de que se eliminen del DPB. Por otro lado, si NoClRasOutputFlag es igual a un valor de "0", NoOutputOfPriorPicsFlag para la imagen EL 422A también se puede establecer en un valor de "0", lo que hace que las imágenes en el DPB se eliminen del DPB después de proporcionarse.
Vaciado de imágenes e inferencia de parámetro DPB mejorados para flu jos de bits multicapa
[0148] Las imágenes de IRAP pueden proporcionar puntos de acceso aleatorio para decodificar un flujo de bits. Un decodificador puede comenzar a decodificar un flujo de bits decodificando una imagen IRAP sin tener que decodificar imágenes que preceden a la imagen IRAP. En el momento de decodificar una imagen IRAP, el DPB puede tener una pluralidad de imágenes decodificadas en el búfer. Si la salida de las imágenes existentes en el DPB afectara al rendimiento del decodificador (por ejemplo, existen demasiadas imágenes en el DPB para que el decodificador pueda proporcionarlas, la provisión de todas la imágenes podría dar como resultado una velocidad de trama desigual, etc.), puede ser conveniente eliminar dichas imágenes existentes sin proporcionarlas (por ejemplo, vaciar las imágenes existentes).
[0149] La variable NoOutputOfPriorPicsFlag puede indicar, al decodificar una imagen IRAP, si las imágenes en el DPB deben proporcionarse antes de ser eliminadas del DPB. Por ejemplo, al decodificar una imagen IRAP, el valor de NoOutputOfPriorPicsFlag se puede establecer en 1 cuando las imágenes en el DPB no se deben proporcionar antes de eliminarse. El valor de NoOutputOfPriorPicsFlag puede determinarse en base a un elemento de sintaxis correspondiente y/o diversas condiciones e información. Por ejemplo, el valor de NoOutputOfPriorPicsFlag puede determinarse en base a, al menos, la variable NoRaslOutputFlag y/o la variable NoClrasOutputFlag. La variable NoRaslOutputFlag puede indicar si una nueva secuencia de vídeo codificada (CVS) comienza en la unidad de acceso actual. La variable NoClrasOutputFlag puede indicar si existe un límite de predicción, por ejemplo, en todas las capas, en la unidad de acceso actual.
[0150] En desarrollos y/o análisis de versiones anteriores de SHVC y MV-HEVC (por ejemplo, el borrador de trabajo 7 de MV-HEVC y también en los borradores de trabajo de SHVC posteriores al borrador de trabajo 5), el proceso de vaciado se invoca para cada capa cuando existen múltiples capas o múltiples vistas en un flujo de bits. Por ejemplo, cuando una unidad de acceso auA en un flujo de bits tiene una imagen de capa base que es una imagen IRAP con NoRaslOutputFlag igual a 1 y tiene NoClRasOutputFlag igual a 1, se obtiene el valor respectivo de NoOutputOfPriorPicsFlag para la imagen IRAP en la capa base y para las imágenes de capa de mejora. Las imágenes que preceden a la unidad de acceso auA en el orden de decodificación se vacían a continuación. Durante este proceso, las imágenes se pueden proporcionar en base al valor de NoOutputOfPriorPicsFlag obtenido para la capa respectiva. Si la unidad de acceso auA no tiene imágenes que pertenezcan a una capa en la lista de capas a decodificar (por ejemplo, TargetDecLayerIdList), entonces las imágenes que preceden a la unidad de acceso auA en orden de decodificación no se vaciarán aunque estén marcadas como "no utilizadas como referencia". Esto se debe a que el vaciado puede activarse solo cuando hay una imagen en la AU actual para una capa en particular. Estas imágenes persistentes podrían terminar usando la memoria DPB y podrían dar como resultado un desbordamiento del búfer al decodificar imágenes subsiguientes.
[0151] Para abordar estos y otros desafíos, las técnicas de acuerdo con determinados aspectos pueden proporcionar varias formas y/o modos de realización para vaciar correctamente imágenes de los DPB de diferentes capas incluso cuando una AU puede no incluir una imagen en una capa particular. Por ejemplo, el vaciado de las DPB para todas las capas se puede activar en base a si la imagen de capa base cumple determinadas condiciones. En un ejemplo, el vaciado de los DPB para todas las capas se puede activar cuando la imagen de capa base es una imagen IRAP que inicia un nuevo CVS (por ejemplo, NoRaslOutputFlag = 1), activa un nuevo VPS o define un límite de predicción (por ejemplo, NoClRasOutputFlag = 1). Al activar el vaciado de todas las capas en función de la imagen de capa base, las técnicas pueden invocar el vaciado de todas las capas en una AU incluso si una capa en particular en esa AU no tiene una imagen.
[0152] Además, en versiones anteriores de SHVC y MV-HEVC (por ejemplo, el borrador de trabajo 5 de SHVC y el borrador de trabajo 7 de MV-HEVC), cualquier flujo de bits de HEVC o cualquier flujo de bits de SHVC/MV-HEVC se ajusta a uno o más perfiles del Anexo A y uno o más perfiles del Anexo G o H. Por ejemplo, un flujo de bits de HEVC se ajusta a un perfil del Anexo A. Un flujo de bits de SHVC/MV-HEVC se ajusta a un perfil del Anexo G o H; la capa base en un flujo de bits de SHVC/MV-HEVC también se ajusta, en general, al Anexo A para una compatibilidad con versiones anteriores. Además, incluso el propio flujo de bits de SHVC/MV-HEVC puede ajustarse a un perfil del Anexo A. En consecuencia, cuando los flujos de bits se decodifican usando estos anexos de la norma, los parámetros de DPB que se usarán son ambiguos o no están disponibles. Además, los parámetros de DPB señalizados en la ampliación de VPS no se señalizan ni se infieren para el 0-ésimo conjunto de capas de salida, donde el conjunto de capas solo comprende la capa base y solo se proporcionan las imágenes de capa base.
[0153] Para abordar estos y otros desafíos, las técnicas de acuerdo con determinados aspectos pueden establecer diversos atributos en el SPS activo de la capa base para que sean iguales a los valores máximos correspondientes permitidos para los diversos atributos. Por ejemplo, el SPS puede incluir varios parámetros de DPB, tales como MaxLayerDecPicBuffMinus1, MaxNumReorderPics, MaxLatencyIncreasePlus1, MaxLatencyPictures y MaxDecPicBufferingMinusI. De forma alternativa, los valores máximos para varios atributos se establecen iguales a los valores de los diversos atributos del SPS activo. Al establecerse los valores de los diversos atributos del SPS activo iguales a los valores máximos permitidos para los diversos atributos, las técnicas pueden reducir o eliminar la ambigüedad o no disponibilidad de los parámetros de DPB que se van a aplicar.
[0154] Determinados detalles relacionados con el vaciado de imágenes y la inferencia de parámetros de DPB para flujos de bits multicapa se explican más adelante. Varios términos usados a lo largo de esta divulgación son términos generales que mantienen su significado habitual. Además, en algunos modos de realización, determinados términos se refieren a los siguientes conceptos de vídeo. Una secuencia de vídeo codificada puede referirse a una secuencia de unidades de acceso que incluye, en orden de decodificación, una unidad de acceso IRAP inicial, seguida de cero o más unidades de acceso que no son unidades de acceso IRAP iniciales, incluidas todas las unidades de acceso subsiguientes hasta, pero sin incluir, ninguna unidad de acceso subsiguiente que sea una unidad de acceso IRAP inicial. Un límite de predicción puede referirse a una imagen (por ejemplo, picA) para la cual cualquier imagen que sigue a la imagen (picA) en orden de decodificación, inclusive, no se refiere a ninguna imagen que preceda a la imagen (picA) en el orden de decodificación, o para la cual las imágenes que preceden a la imagen (picA) en el orden de decodificación no están disponibles. De acuerdo con determinados aspectos, definir un límite de predicción en la AU actual puede referirse a definir un límite de predicción en todas las capas de la AU actual. Por ejemplo, si una imagen IRAP en una capa de referencia define un límite de predicción en la AU actual, la imagen IRAP de capa de referencia define un límite de predicción en todas las capas de la AU, y las imágenes en la AU actual pueden no hacer referencia a ninguna imagen antes de la AU actual. En determinados casos, un punto de empalme puede ser un ejemplo de límite de predicción. Los medios externos pueden referirse a cualquier aparato o entidad que no es parte de un codificador o decodificador pero que interactúa con el codificador o decodificador, por ejemplo, a través de una interfaz de programación de aplicaciones (API). En determinados modos de realización, los medios externos también pueden denominarse aparato externo.
Vaciado de imágenes para flu jos de bits multicapa
[0155] Las técnicas de acuerdo con determinados aspectos pueden proporcionar varios modos de realización de vaciado de imágenes para una imagen IRAP, como se describe. Todos los modos de realización descritos en esta divulgación pueden implementarse por separado, o en combinación entre sí. Se puede incluir señalización adicional en diversos conjuntos de parámetros en el flujo de bits, incluidos, pero sin limitarse a, VPS, SPS y PPS de vídeo, y también se puede incluir en cabeceras de fragmento o mensajes SEI, e incluso se puede especificar por medios externos.
Modo de realización 1
[0156]
• Cuando la imagen IRAP de capa base con NoRaslOutputFlag igual a 1 activa un nuevo VPS o tiene NoClrasOutputFlag igual a 1, el proceso de eliminación de imagen durante la operación de vaciado se aplica en todas las capas. Cuando la imagen IRAP de capa base con NoRaslOutputFlag es igual a un primer valor (por ejemplo, 0 o 1) y no activa un nuevo VPS y tiene NoClrasOutputFlag igual a 0, el proceso de eliminación de imágenes durante la operación de vaciado solo se aplica a las imágenes de capa base.
[0157] En este modo de realización de la invención, cuando la imagen IRAP de capa base que inicia un nuevo CVS activa un nuevo VPS o define un límite de predicción en la AU actual, el proceso de eliminación de imágenes durante la operación de vaciado se aplica a todas las capas. Cuando la imagen IRAP de capa base que inicia un nuevo CVS no activa un nuevo VPS y no define un límite de predicción en la AU actual, el proceso de eliminación de imágenes durante la operación de vaciado solo se aplica a las imágenes de capa base.
[0158] De esta manera, el vaciado del DPB se activa para todas las capas en base a la imagen IRAP de capa base y los valores de las variables asociadas a la imagen IRAP de capa base, tal como NoRaslOutputFlag y NoClrasOutputFlag, en lugar de activarse para cada capa por separado. En el enfoque anterior, el vaciado se activaba en base a la presencia de una imagen en una capa en particular. La eliminación de imágenes y la provisión de imágenes se pueden gestionar por separado, lo que puede simplificar el proceso de vaciado.
Modo de realización 2
[0159]
• Los procesos relacionados con NoOutputOfPriorPicsFlag se definen para la capa más baja del flujo de bits, y el valor de NoOutputOfPriorPicsFlag puede proporcionarse externamente al decodificador u obtenerse.
- Por ejemplo, el modo de realización 1 puede modificarse para indicar: "Cuando la imagen IRAP de capa más baja con NoRaslOutputFlag igual a 1 activa un nuevo VPS o tiene NoClrasOutputFlag igual a 1, el proceso de eliminación de imágenes durante la operación de vaciado se aplica en todas las capas. Cuando la imagen IRAP de la capa más baja con NoRaslOutputFlag es igual a un primer valor (por ejemplo, 0 o 1) y no activa un nuevo VPS y tiene NoClrasOutputFlag igual a 0, el proceso de eliminación de imágenes durante la operación de vaciado solo se aplica a las imágenes de la capa más baja.
[0160] Este modo de realización se puede implementar en combinación con el modo de realización 1 anterior. El modo de realización 1 se explica anteriormente con referencia a una imagen IRAP de capa base, pero el modo de realización 2 puede ampliar la técnica del modo de realización 1 a la capa más baja que podría no ser la capa base. La capa más baja puede referirse a una capa que tiene el ID de capa más bajo en la AU actual. La variable nuh_layer_id puede indicar el ID de capa de una capa. Por ejemplo, el ID de capa de una capa base es 0. En un flujo de bits que no tiene una imagen de capa base (capa 0), pero tiene imágenes de capa 1 y capa 2, el proceso de vaciado de imagen se activa en base a la capa 1, ya que tiene el ID de capa más bajo distinto de 0 y, por lo tanto, es la capa más baja.
[0161] Este modo de realización puede adaptarse a escenarios en los que la AU actual no tiene una imagen de capa base, pero tiene imágenes en otras capas. Tales casos podrían producirse cuando las imágenes decodificadas de capa base se proporcionan externamente, cuando la capa base podría decodificarse usando un códec o norma diferente, o cuando la capa más baja en el flujo de bits es una capa que puede decodificarse de forma independiente. En consecuencia, el proceso de vaciado puede ser más flexible y admitir diferentes tipos de flujos de bits y escenarios de empalme. En determinados modos de realización, el valor de NoOutputOfPriorPicsFlag se proporciona por medios externos o un aparato externo. Por ejemplo, los medios externos o el aparato externo pueden decodificar la capa base y determinar el valor de NoOutputOfPriorPicsFlag.
Modo de realización 3
[0162]
• NoOutputOfPriorPicsFlag no se obtiene para imágenes que tienen nuh_layer_id superior a 0.
- De forma alternativa, NoOutputOfPriorPicsFlag no se obtiene para imágenes que pertenezcan a cualquier capa dependiente, y NoOutputOfPriorPicsFlag se obtiene para imágenes que pertenecen a capas independientes.
[0163] En este modo de realización, el valor de NoOutputOfPriorPicsFlag no se obtiene para imágenes que tengan un ID de capa mayor que 0 (por ejemplo, la capa base). Por ejemplo, el valor de NoOutputOfPriorPicsFlag se obtiene solo para imágenes en la capa base. En muchos casos, la capa base (por ejemplo, la capa con nuh_layer_id igual a 0) es una capa de la que dependen todas las demás capas. En dichos casos, la decisión de obtener el valor de NoOutputOfPriorPicsFlag para capas con nuh_layer_id mayor que 0 puede no ser útil ya que las operaciones de salida o no salida asociadas a esa unidad de acceso se habrían realizado cuando NoOutputOfPriorPicsFlag se obtuvo para la capa base. No obtener el valor de NoOutputOfPriorPicsFlag para capas con nuh_layer_id mayor que 0 puede reducir las operaciones del decodificador.
[0164] Como alternativa, NoOutputOfPriorPicsFlag no se obtiene para imágenes que son de una capa dependiente. NoOutputOfPriorPicsFlag se obtiene para imágenes que son de una capa independiente. Una capa dependiente puede referirse a una capa que contiene una imagen que puede usar una imagen de otra capa como referencia. En algunos casos, las capas dependientes pueden ser aquellas que se indican en base a la información de dependencia de las capas señalizadas en el VPS. Una capa independiente puede referirse a una capa que no puede utilizar imágenes de otra capa como referencia.
Modo de realización 4
[0165]
• Cuando una unidad de acceso auA contiene una imagen de capa base que es IRAP con NoRaslOutputFIag igual a 1 y NoCIrasOutputFIag igual a 1, todas las imágenes en el DPB que preceden, en orden de decodificación, a esta auA se proporcionan dependiendo del valor de NoOutputOfPriorPicsFlag de la imagen de capa base en la auA, y, a continuación, se vacían del DPB.
[0166] En este modo de realización, cuando la imagen IRAP de capa base en la AU actual inicia un nuevo CVS y define un límite de predicción en la AU actual, todas las imágenes en el DPB que preceden a la AU actual en el orden de decodificación se proporcionan en base al valor de NoOutputOfPriorPicsFlag de la imagen IRAP de capa base, vaciándose a continuación del DPB. Al tomar la decisión de provisión de cualquier capa en base al valor de NoOutputOfPriorPicsFlag en la imagen IRAP de capa base cuando la AU actual inicia un nuevo CVS y define un límite de predicción en la AU actual, las imágenes que preceden a la AU actual en todas las capas pueden procesarse (por ejemplo, proporcionarse o no proporcionarse) incluso si la AU actual no tiene una imagen en la capa en particular.
Modo de realización 5
[0167]
• Todas las imágenes marcadas como "necesarias para transmitir" que preceden a una imagen IRAP en la capa base que tiene NoRaslOutputFlag igual a 1 se proporcionan si el valor de NoOutputOfPriorPicsFlag es igual a 0 en los decodificadores que se ajustan al orden de salida.
[0168] En este modo de realización, cuando la imagen IRAP de capa base define un límite de predicción en la AU actual, todas las imágenes que están marcadas como "necesarias para transmitir" que preceden a la imagen IRAP de capa base se proporcionan si el valor de NoOutputOfPriorPicsFlag es igual a 0 (por ejemplo, se deben proporcionar imágenes anteriores). Este modo de realización se aplica a decodificadores que se ajustan al orden de salida, pero también puede ampliarse a otros tipos de decodificadores, tales como decodificadores que se ajustan al tiempo de salida. Las ventajas de este modo de realización pueden ser similares a las de los modos de realización anteriores.
Modo de realización 6
[0169]
• Cuando una unidad de acceso auA contiene una imagen de capa base que es IRAP con NoRaslOutputFlag igual a 1 y NoClrasOutputFlag igual a 1, todas las imágenes en el DPB que preceden, en orden de decodificación, a este auA se vacían sin proporcionarse.
[0170] En este modo de realización, cuando una imagen IRAP de capa base inicia en la AU actual un nuevo CVS y define un límite de predicción, todas las imágenes en el DPB que preceden a la AU actual se vacían sin proporcionarse. Las ventajas de este modo de realización pueden ser similares a las de los modos de realización anteriores.
Modo de realización 7
[0171]
• Cuando una unidad de acceso (AU) contiene una imagen de capa base que es IRAP con NoRaslOutputFlag igual a 1 y NoClrasOutputFlag igual a 1, todas las imágenes de las capas de mejora en el DPB que preceden, en orden de decodificación, a esta AU, se vacían sin proporcionarse, y las imágenes de la capa base que preceden, en orden de decodificación, a la unidad de acceso primero se proporcionan primero dependiendo del valor de NoOutputOfPriorPicsFlag de la imagen de capa base y después se vacían.
[0172] En este modo de realización, cuando la imagen IRAP de capa base en la AU actual inicia un nuevo CVS y define un límite de predicción, todas las imágenes de las capas de mejora del DPB que preceden a la AU actual en el orden de decodificación se eliminan sin proporcionarse, y las imágenes de la capa base que preceden a la AU actual en orden de decodificación se proporcionan en base al valor de NoOutputOfPriorPicsFlag y, a continuación, se eliminan.
Modo de realización 8
[0173]
• Cuando una unidad de acceso (AU) auA contiene una imagen de capa base que es IRAP con NoRaslOutputFlag igual a 1 y NoClrasOutputFlag igual a 1, todas las imágenes que preceden, en orden de decodificación, a esta AU y están contenidas en las capas de mejora que no tienen una imagen en la unidad de acceso auA se vacían sin proporcionarse, y las imágenes que preceden, en orden de decodificación, a la unidad de acceso auA y que pertenecen a aquellas capas que tienen una imagen en la unidad de acceso auA se proporcionan primero dependiendo del valor de NoOutputOfPriorPicsFlag de la capa correspondiente y, a continuación, se vacían.
[0174] En este modo de realización, cuando la imagen IRAP de capa base en la AU actual inicia un nuevo CVS y define un límite de predicción, todas las imágenes que preceden a la AU actual en orden de decodificación y pertenecen a las capas de mejora que no tienen una imagen en la AU actual se eliminan sin proporcionarse, y las imágenes que preceden a la AU actual en orden de decodificación y que pertenecen a capas que tienen una imagen en la AU actual se proporcionan en base al valor de NoOutputOfPriorPicsFlag y, a continuación, se eliminan.
Modo de realización 9
[0175]
• El elemento de sintaxis no_output_of_prior_pics_flag no está señalizado para imágenes que tienen nuh_layer_id mayor que 0.
[0176] En este modo de realización, el elemento de sintaxis no_output_of_prior_pics_flag no se señaliza para imágenes que no están en la capa base. El elemento de sintaxis no_output_of_prior_pics_flag puede indicar el valor de la variable NoOutputOfPriorPicsFlag. El valor de NoOutputOfPriorPicsFlag se puede establecer igual al valor del elemento de sintaxis no_output_of_prior_pics_flag, u obtenerse o inferirse en base a varias condiciones y/o algoritmos, dependiendo del modo de realización. El número de bits usados para transmitir imágenes puede reducirse al no señalizarse el elemento de sintaxis no_output_of_prior_pics_flag para imágenes que no pertenecen a la capa base.
Modo de realización 10
[0177]
• El elemento de sintaxis no_output_of_prior_pics_flag no está señalizado para imágenes que pertenecen a capas dependientes.
[0178] En este modo de realización, el elemento de sintaxis no_output_of_prior_pics_flag no se señaliza para imágenes que pertenecen a capas dependientes, por ejemplo, capas que se refieren a otras capas. El número de bits usados para transmitir imágenes puede reducirse al no señalizarse el elemento de sintaxis no_output_of_prior_pics_flag para imágenes que pertenecen a capas dependientes.
Modo de realización 11
[0179]
• El elemento de sintaxis no_output_of_prior_pics_flag solo se señaliza en aquellas imágenes de capa de mejora que no tienen capas de referencia directa.
- En otra alternativa, el elemento de sintaxis no_output_of_prior_pics_flag se señaliza en todas las imágenes IRAP y el valor de no_output_of_prior_pics_flag está limitado a ser el mismo en todas las imágenes IRAP en una unidad de acceso.
- En otra alternativa, el valor de NoOutputOfPriorPicsFlag, cuando se obtiene, se infiere o se proporciona externamente, está limitado a ser el mismo en todas las imágenes de una unidad de acceso.
[0180] En este modo de realización, el elemento de sintaxis no_output_of_prior_pics_flag solo se señaliza en las imágenes de capa de mejora que no tienen capas de referencia directa. Como alternativa, el elemento de sintaxis no_output_of_prior_pics_flag se señaliza en todas las imágenes IRAP y el valor de no_output_of_prior_pics_flag está limitado a ser el mismo en todas las imágenes IRAP en una AU. Como alternativa, cuando el valor de NoOutputOfPriorPicsFlag se obtiene, se infiere o se proporciona externamente, el valor de NoOutputOfPriorPicsFlag se limita a ser el mismo en todas las imágenes de una AU. El número de bits usados para transmitir las imágenes puede reducirse al no señalizar el elemento de sintaxis no_output_of_prior_pics_flag para imágenes que pertenecen a capas para las que se obtiene el valor de NoOutputOfPriorPicsFlag.
[0181] A continuación se proporcionan modos de realización adicionales para el vaciado de imágenes para una imagen IRAP. Cada uno de los siguientes modos de realización puede ser una implementación detallada de los modos de realización descritos anteriormente. Los modos de realización de ejemplo se proporcionan en el contexto de versiones anteriores de SHVC y MV-HEVC (por ejemplo, WD 5 de s Hv C y/o W d 7 de MV-HEVC). Las adiciones a las versiones anteriores de SHVC y MV-HEVC se indican en cursiva, y las eliminaciones de las versiones anteriores de MV-HEVC se indican mediante tachado. La sección C.3.2 describe las operaciones de DPB de temporización de salida en la eliminación de imágenes en el WD 7 de MV-HEVC. La sección C.5.2.2 describe el orden de salida de operaciones DPB en la eliminación de imágenes en el WD 7 de MV-HEVC. Se aplican conceptos y/o textos similares o iguales a SHVC, y se han reflejado o se reflejarán en los borradores de trabajo de SHVC posteriores al WD 5. Por consiguiente, los modos de realización de ejemplo también pueden aplicarse a SHVC.
Modo de realización A de ejemplo
[0182] El modo de realización A de ejemplo se refiere al modo de realización 1 anterior y puede ser una implementación detallada del modo de realización 1. En este modo de realización, el vaciado de imágenes solo se invoca para imágenes IRAP de capa base. En los decodificadores que se ajustan al orden de salida, cuando NoOutputOfPriorPicsFlag es igual a 0, se proporcionan todas las imágenes de todos los sub-DPB. Un sub-DPB puede referirse a un DPB asociado a una capa individual. Un sub-DPB puede incluir búferes de almacenamiento de imágenes de un DPB que están asociados a una capa individual. Por ejemplo, la capa base puede tener un sub-DPB dentro del DPB, y una capa de mejora correspondiente también puede tener un sub-DPB dentro del DPB. En decodificadores que se ajustan tanto al orden de salida como a la temporización de salida, cuando la imagen de capa base tiene NoClrasOutputFlag igual a 1 o activa un nuevo VPS, todas las imágenes de todos los sub-DPB se eliminan después de determinar el comportamiento de salida en base a NoOutputOfPriorPicsFlag. En decodificadores que se ajustan tanto al orden de salida como a la temporización de salida, cuando la imagen de capa base tiene NoClrasOutputFlag igual a 0 y no activa un nuevo VPS, todas las imágenes que tienen nuh_layer_id igual a 0 se eliminan después de determinarse el comportamiento de salida en base a NoOutputOfPriorPicsFlag.
Tabla 3 - Modo de realización A de ejemplo
Figure imgf000033_0001
Figure imgf000034_0001
Figure imgf000035_0001
[0183] De forma alternativa, como se describe con respecto al modo de realización 2 anterior, en decodificadores que se ajustan tanto al orden de salida como a la temporización de salida, el proceso relacionado con NoOutputOfPriorPicsFlag descrito en el modo de realización A no se aplica a las imágenes en la capa base, sino a las imágenes de la capa más baja en el flujo de bits (por ejemplo, la capa en el flujo de bits con el nuh_layer_id más pequeño), y el valor de NoOutputOfPriorPicsFlag puede proporcionarse externamente al decodificador.
Modo de realización B de ejemplo
[0184] En este modo de realización, las versiones anteriores de SHVC y MV-HEVC se modifican para que el valor de NoOutputOfPriorPicsFlag se obtenga para mejorar las imágenes no IRAP que son las primeras imágenes que se decodificarán en cada capa después de decodificar una imagen IRAP de capa base con NoClrasOutputFlag igual a 1. Este modo de realización puede mantener el diseño existente de SHVC/MV-HEVC y abordar el problema de la eliminación de imágenes de una capa de mejora que no contiene una imagen en una unidad de acceso que tiene una imagen IRAP de capa base, invocando la eliminación cuando esté presente la próxima imagen en la capa de mejora.
Modo de realización C de ejemplo
[0185] El modo de realización C de ejemplo se refiere al modo de realización 6 anterior y puede ser una implementación detallada del modo de realización 6. En este modo de realización, cuando una imagen IRAP de capa base inicia un nuevo CVS y define un límite de predicción, todas las imágenes en el DPB se vacían sin proporcionarse.
Tabla 4 - Modo de realización C de ejemplo
Figure imgf000036_0001
Figure imgf000037_0001
Figure imgf000038_0001
Modo de realización D de ejemplo
[0186] En este modo de realización, la operación de vaciado se realiza a través de capas y se produce cuando la imagen de la capa base inicia un nuevo CVS. La determinación de provisión o no provisión también se determina en la imagen de la capa base.
Tabla 5 - Modo de realización D de ejemplo
Figure imgf000038_0002
Figure imgf000039_0001
Figure imgf000040_0001
Procedimiento de vaciado de imágenes para flu jos de bits multicapa
[0187] La FIG. 5 es un diagrama de flujo que ilustra un procedimiento de codificación de información de vídeo, de acuerdo con un modo de realización de la presente invención. El procedimiento se refiere al almacenamiento en búfer de imágenes para flujos de bits multicapa. El proceso 500 puede realizarse mediante un codificador (por ejemplo, el codificador mostrado en la FIG. 2A, 2B, etc.), un decodificador (por ejemplo, el decodificador mostrado en la FIG. 3A, 3B, etc.) o cualquier otro componente, dependiendo del modo de realización. Los bloques del proceso 500 se describen con respecto al decodificador 33 en la FIG. 3B, pero el proceso 500 puede ser realizado por otros componentes, tal como un codificador, como se mencionó anteriormente. El decodificador de vídeo de capa 130B del decodificador 33 y/o el decodificador de capa 030A del decodificador 33 pueden realizar el proceso 500, dependiendo del modo de realización. Todos los modos de realización descritos con respecto a la FIG. 5 pueden implementarse por separado o en combinación entre sí. Determinados detalles relacionados con el proceso 500 se explican anteriormente, por ejemplo, con respecto a la FIG. 4.
[0188] El proceso 500 se inicia en el bloque 501. El decodificador 33 incluye una memoria (por ejemplo, el búfer de imágenes decodificadas 160) para almacenar información de vídeo asociada a una pluralidad de capas que incluyen una capa de referencia. La memoria incluye un DPB asociado a cada capa. En algunos modos de realización, el DPB asociado a cada capa puede denominarse sub-DPB y puede incluirse como parte de un DPB.
[0189] En el bloque 502, el decodificador 33 obtiene, a partir de la capa de referencia, una imagen IRAP en una unidad de acceso (AU) actual a codificar. En determinados modos de realización, la capa de referencia es la capa base. En otros modos de realización, la capa de referencia es la capa más baja de la pluralidad de capas, distintas de una capa base, de las cuales la AU actual incluye una imagen. Es posible que la AU actual no incluya una imagen en la capa base.
[0190] En respuesta a la determinación de que la imagen IRAP de capa de referencia inicia un nuevo CVS en el bloque 503, el decodificador 33 determina si la imagen IRAP de capa de referencia activa un nuevo conjunto de parámetros de vídeo (VPS) o define un límite de predicción en la AU actual en el bloque 504. En respuesta a determinar que la imagen IRAP de capa de referencia activa un nuevo conjunto de parámetros de vídeo (VPS) o determinar que la imagen IRAP de capa de referencia define un límite de predicción en la AU actual en el bloque 505, el decodificador 33 elimina imágenes en el DPB asociado a cada una de la pluralidad de capas en el bloque 506. En respuesta a determinar que la imagen IRAP de la capa de referencia no activa un nuevo VPS y determinar que la imagen IRAP de capa de referencia no define un límite de predicción en la AU actual en el bloque 505, el decodificador 33 elimina solo imágenes en el DPB asociado a la capa de referencia en el bloque 507. Si la imagen IRAP de capa de referencia no inicia un nuevo CVS en el bloque 503, el proceso 500 finaliza en el bloque 508.
[0191] En algunos modos de realización, el decodificador 33 determina el valor de un primer indicador que indica si se proporcionan imágenes en un DPB, donde la determinación se realiza solo para una imagen en la capa de referencia que es una capa base. El primer indicador puede ser NoOutputOfPriorPicsFlag. En determinados modos de realización, el decodificador 33 determina el valor de un primer indicador que indica si se proporcionan imágenes en un DPB, donde la determinación se realiza para una imagen en una capa independiente de la pluralidad de capas pero no se realiza para una imagen en una capa dependiente de la pluralidad de capas. En otros modos de realización, en respuesta a la determinación de que la imagen IRAP de capa de referencia inicia un nuevo CVS y define un límite de predicción en la AU actual: el decodificador 33 determina el valor de un primer indicador que indica si proporcionar imágenes en una DPB, estando el primer indicador asociado a la imagen IRAP de referencia; en respuesta a la determinación de que el valor del primer indicador indica que las imágenes en un DPB deben proporcionarse, proporciona imágenes que preceden a la AU actual en orden de decodificación en los DPB asociados a la pluralidad de capas; y elimina las imágenes que preceden a la AU actual en orden de decodificación en los DPB asociados a la pluralidad de capas.
[0192] En un modo de realización, el decodificador 33 determina el valor de un primer indicador que indica si se deben proporcionar imágenes de un DPB, estando el primer indicador asociado a la imagen IRAP de referencia; y en respuesta a la determinación de que el valor de la primera bandera indica que las imágenes de un DPB deben proporcionarse y que la imagen IRAP de capa de referencia inicia un nuevo CVS, proporciona imágenes que preceden a la imagen IRAP de capa de referencia. En este modo de realización, el decodificador 33 puede ser un decodificador que se ajusta al orden de salida.
[0193] En determinados modos de realización, el decodificador 33 proporciona imágenes que se eliminarán de los DPB asociados a la pluralidad de capas en base al valor de un primer indicador que indica si proporcionar imágenes de una DPB, estando el primer indicador asociado a la imagen IRAP de capa de referencia. Por ejemplo, en respuesta a la determinación de que el valor del primer indicador indica que las imágenes en un DPB deben proporcionarse, el decodificador 33 proporciona las imágenes que se eliminarán en los DPB asociados a la pluralidad de capas antes de eliminar las imágenes que se eliminarán. Como se mencionó anteriormente, el primer indicador en los diferentes modos de realización puede referirse a NoOutputOfPriorPicsFlag.
[0194] El proceso termina en el bloque 508. Pueden añadirse y/u omitirse bloques en el proceso 500, dependiendo del modo de realización, y los bloques del proceso 500 pueden realizarse en diferentes órdenes, dependiendo del modo de realización.
[0195] Cualquier característica y/o modo de realización descrito con respecto al vaciado de imágenes para flujos de bits multicapa en esta divulgación puede implementarse por separado o en cualquier combinación de los mismos. Por ejemplo, cualquier característica y/o modo de realización descrito en relación con las FIGS. 1­ 4 y otras partes de la divulgación puede implementarse en cualquier combinación con cualquiera de las características y/o modos de realización descritos en relación con la FIG. 5, y viceversa.
Inferencia de parámetros DPB para flu jos de bits multicapa
[0196] Un flujo de bits multicapa, tal como un SHVC o un flujo de bits de MV-HEVC, se ajustaría a uno o más perfiles del Anexo A, así como a uno o más perfiles del Anexo G o H. Algunos parámetros DPB de las especificaciones SHVC y/o MV-HEVC pueden obtenerse o inferirse en base al anexo que contiene el perfil que se usa para decodificar el flujo de bits. Considérese los siguientes párrafos del Anexo C de la especificación MV-HEVC (por ejemplo, el borrador de trabajo 7 de MV-HEVC, también reflejado o que se reflejará en los borradores de trabajo de SHVC posteriores al borrador de trabajo 5). Los siguientes párrafos describen diversas variables, tales como MaxLayerDecPicBuffMinusl1, MaxNumReorderPics, MaxLatencyIncreasePlus1, MaxLatencyPictures y MaxDecPicBufferingMinusl.
[0197] El siguiente párrafo es de la subcláusula C.1:
Tabla 6 - Anexo C, subcláusula C.1
Figure imgf000041_0001
Figure imgf000042_0001
[0198] El siguiente párrafo es de la subcláusula C.5.2.1:
Tabla 7 - Anexo C, subcláusula c.5.2.1
Figure imgf000042_0002
[0199] Cualquier flujo de bits de HEVC o cualquier flujo de bits de SHVC/MV-HEVC se ajustaría a uno o más perfiles del anexo A y uno o más perfiles del anexo G o H. Cuando se aplican las subcláusulas anteriores, el valor de los parámetros de DPB es ambiguo o no está disponible . Además, los parámetros de DPB señalizados en la ampliación de VPS no se señalizan ni se infieren para el 0-ésimo conjunto de capas de salida, donde el conjunto de capas solo comprende la capa base y solo se proporcionan las imágenes de capa base.
Modo de realización E de ejemplo
[0200] De acuerdo con determinados aspectos, sería suficiente inferir los valores de MaxLayerDecPicBuffMinusI, MaxNumReorderPics, MaxLatencyIncreasePlus1, MaxLatencyPictures y MaxDecPicBufferingMinus1 para el 0-ésimo conjunto de capas de salida como iguales a los valores señalizados para la SPS activa de la capa base. Haciendo referencia únicamente a estos valores inferidos en el anexo C, se puede eliminar la ambigüedad.
[0201] En el modo de realización E de ejemplo, los valores de las variables que están asociadas a los parámetros de DPB del 0-ésimo conjunto de capas de salida (por ejemplo, max_vps_dec_pic_buffering_minus1, max_vps_layer_dec_pic_buffering_minus1 y max_vps_latency_increase_plus1) en el anexo C, subcláusula C.1, se establecen igual a los valores de los atributos correspondientes en el SPS activo. El modo de realización de ejemplo se proporciona en el contexto de versiones anteriores de SHVC y MV-HEVC (por ejemplo, WD 5 de Sh VC y/o w D 7 de MV-HEVC). Las adiciones a las versiones anteriores de SHVC y MV-HEVC se indican en cursiva, y las eliminaciones de las versiones anteriores de SHVC y MV-HEVC se indican mediante tachado. Se aplican conceptos y/o textos similares o iguales a SHVC, y se han reflejado o se reflejarán en los borradores de trabajo de SHVC posteriores al WD 5. Por consiguiente, el modo de realización de ejemplo también puede aplicarse a SHVC. En el modo de realización E de ejemplo, los valores de las variables especificadas en el anexo C, subcláusula C.1 se establecen igual a los valores de los atributos correspondientes en el SPS activo; en otros modos de realización, los valores de los atributos correspondientes en el SPS activo se pueden establecer iguales a los valores de las variables especificadas en el Anexo C, subcláusula C.1.
Tabla 8 - Modo de realización E de ejemplo
Figure imgf000043_0001
Figure imgf000044_0001
Figure imgf000045_0001
[0202] La información y las señales divulgadas en el presente documento se pueden representar usando cualquiera de una variedad de tecnologías y técnicas diferentes. Por ejemplo, los datos, las instrucciones, los comandos, la información, las señales, los bits, los símbolos y los chips que se pueden haber mencionado a lo largo de la descripción anterior se pueden representar mediante tensiones, corrientes, ondas electromagnéticas, campos o partículas magnéticos, campos o partículas ópticos, o cualquier combinación de los mismos.
[0203] Los diversos bloques lógicos, circuitos y etapas de algoritmo ilustrativos, descritos en relación con los modos de realización divulgados en el presente documento se pueden implementar como hardware electrónico, software informático o combinaciones de ambos. Para ilustrar claramente esta intercambiabilidad de hardware y software, anteriormente se han descrito, en general, diversos componentes, bloques, módulos, circuitos y etapas ilustrativos desde el punto de vista de su funcionalidad. Que dicha funcionalidad se implemente como hardware o software depende de la aplicación particular y de las restricciones de diseño impuestas al sistema global. Los expertos en la técnica pueden implementar la funcionalidad descrita de formas distintas para cada aplicación particular, pero no debería interpretarse que dichas decisiones de implementación suponen apartarse del alcance de la presente invención.
[0204] Las técnicas descritas en el presente documento se pueden implementar en hardware, software, firmware o en cualquier combinación de los mismos. Dichas técnicas se pueden implementar en cualquiera entre una variedad de dispositivos tales como ordenadores de propósito general, dispositivos manuales de comunicación inalámbrica o dispositivos de circuitos integrados que tienen múltiples usos, incluida su aplicación en dispositivos manuales de comunicación inalámbrica y otros dispositivos. Todas las características descritas como módulos o componentes se pueden implementar juntos en un dispositivo lógico integrado, o por separado, como dispositivos lógicos discretos pero interoperables. Si se implementan en software, las técnicas se pueden realizar, al menos en parte, por un medio de almacenamiento de datos legible por ordenador que comprenda código de programa que incluya instrucciones que, cuando se ejecuten, realicen uno o más de los procedimientos descritos anteriormente. El medio de almacenamiento de datos legible por ordenador puede formar parte de un producto de programa informático, que puede incluir materiales de embalaje. El medio legible por ordenador puede comprender memoria o medios de almacenamiento de datos, tales como memoria de acceso aleatorio (RAM), tal como memoria de acceso aleatorio dinámica síncrona (SDRAM), memoria de solo lectura (ROM), memoria de acceso aleatorio no volátil (NVRAM), memoria de solo lectura programable y borrable eléctricamente (EEPROM), memoria FLASH, medios de almacenamiento de datos magnéticos u ópticos, y similares. De forma adicional o alternativa, las técnicas se pueden realizar, al menos en parte, por un medio de comunicación legible por ordenador que transporta o comunica código de programa en forma de instrucciones o estructuras de datos y al que se puede acceder, leer y/o ejecutar mediante un ordenador, tales como señales u ondas propagadas.
[0205] El código de programa se puede ejecutar por un procesador, que puede incluir uno o más procesadores, tales como uno o más procesadores de señales digitales (DSP), microprocesadores de propósito general, circuitos integrados específicos de la aplicación (ASIC), matrices lógicas programables en el terreno (FPGA) u otros circuitos lógicos equivalentes, integrados o discretos. Un procesador de este tipo puede estar configurado para realizar cualquiera de las técnicas descritas en esta divulgación. Un procesador de propósito general puede ser un microprocesador pero, de forma alternativa, el procesador puede ser cualquier procesador, controlador, microcontrolador o máquina de estados convencional. Un procesador también se puede implementar como una combinación de dispositivos informáticos, por ejemplo, una combinación de un DSP y un microprocesador, una pluralidad de microprocesadores, uno o más microprocesadores junto con un núcleo de DSP, o cualquier otra configuración de este tipo. Por consiguiente, el término "procesador", como se usa en el presente documento, se puede referir a cualquier estructura anterior, cualquier combinación de la estructura anterior, o cualquier otra estructura o aparato adecuados para la implementación de las técnicas descritas en el presente documento. Además, en algunos aspectos, la funcionalidad descrita en el presente documento se puede proporcionar dentro de módulos de software o módulos de hardware dedicados, configurados para la codificación y la decodificación, o incorporados en un codificador-decodificador de vídeo combinado (CODEC). Asimismo, las técnicas se podrían implementar por completo en uno o más circuitos o elementos lógicos.
[0206] Las técnicas de esta divulgación se pueden implementar en una amplia variedad de dispositivos o aparatos, incluidos un teléfono inalámbrico, un circuito integrado (IC) o un conjunto de IC (por ejemplo, un conjunto de chips). En esta divulgación se describen diversos componentes, módulos o unidades para destacar aspectos funcionales de dispositivos configurados para realizar las técnicas divulgadas, pero no se requiere necesariamente su realización mediante diferentes unidades de hardware. En cambio, como se describe anteriormente, diversas unidades se pueden combinar en una unidad de hardware de códec o proporcionar mediante un grupo de unidades de hardware interoperativas, que incluyen uno o más procesadores descritos anteriormente, junto con software y/o firmware adecuados.

Claims (15)

REIVINDICACIONES
1. Un procedimiento de codificación de información de vídeo, que comprende:
usar uno o más dispositivos informáticos que comprenden hardware informático para realizar las etapas de almacenar, en una memoria, datos de vídeo asociados a una pluralidad de capas que incluyen una capa de referencia, comprendiendo la memoria un búfer de imágenes decodificadas, DPB, asociado a cada capa;
obtener, a partir de la capa de referencia, una imagen de punto de acceso aleatorio interno, IRAP, en una unidad de acceso, AU, actual a codificar, en el que la imagen IRAP está asociada a un NoRaslOutputFlag que tiene un valor de 1 y en el que NoRaslOutputFlag indica si una imagen principal omitida de acceso aleatorio, RASL, debe proporcionarse; determinar si la imagen IRAP de capa de referencia activa un nuevo conjunto de parámetros de vídeo, VPS, o si la imagen IRAP de capa de referencia está asociada a un NoClrasOutputFlag que tiene un valor de 1, en el que NoClrasOutputFlag indica si se debe proporcionar una imagen de omisión de acceso aleatorio entre capas, CL-RAS; en respuesta a determinar que la imagen IRAP de capa de referencia activa un nuevo VPS o que la imagen IRAP de capa de referencia está asociada a un NoClrasOutputFlag que tiene un valor de 1, eliminar imágenes en el DPB asociado a cada una de la pluralidad de capas; y
en respuesta a determinar que la imagen IRAP de capa de referencia no activa un nuevo VPS y que la imagen IRAP de capa de referencia no está asociada a un NoClrasOutputFlag que tiene un valor de 1, eliminar solamente imágenes del DPB asociado a la capa de referencia.
2. El procedimiento de la reivindicación 1, en el que la capa de referencia es una capa base.
3. El procedimiento de la reivindicación 1, en el que la capa de referencia es la capa más baja de la pluralidad de capas, distinta de una capa base, desde la cual la AU actual incluye una imagen, en el que la AU actual no incluye una imagen en la capa base.
4. El procedimiento de la reivindicación 1, que comprende además:
determinar un valor de un primer indicador que indica si se proporcionan imágenes en un DPB, en el que la determinación se realiza solo para una imagen en la capa de referencia que es una capa base.
5. El procedimiento de la reivindicación 1, que comprende además:
determinar un valor de un primer indicador que indica si se proporcionan imágenes en un DPB, en el que la determinación se realiza para una imagen en una capa independiente de la pluralidad de capas pero no se realiza para una imagen en una capa dependiente de la pluralidad de capas.
6. El procedimiento de la reivindicación 1, que comprende además:
en respuesta a determinar que la imagen IRAP de capa de referencia inicia un nuevo CVS y define un límite de predicción en la AU actual:
determinar un valor de un primer indicador que indica si hay que proporcionar imágenes de un DPB, estando asociado el primer indicador con la imagen IRAP de referencia;
en respuesta a determinar que el valor del primer indicador indica que las imágenes de un DPB deben proporcionarse, proporcionar imágenes que preceden a la AU actual en orden de decodificación de los DPB asociados a la pluralidad de capas; y
eliminar las imágenes que preceden a la AU actual en orden de decodificación en los DPB asociados a la pluralidad de capas.
7. El procedimiento de la reivindicación 1, que comprende además:
determinar un valor de un primer indicador que indica si hay que proporcionar imágenes de un DPB, estando asociado un primer indicador con la imagen IRAP de referencia; y
en respuesta a determinar que el valor del primer indicador indica que las imágenes en un DPB deben proporcionarse y que la imagen IRAP de capa de referencia inicia un nuevo CVS, proporcionar imágenes que preceden a la imagen IRAP de capa de referencia.
8. El procedimiento de la reivindicación 1, en el que el uno o más dispositivos informáticos incluyen un decodificador que se ajusta al orden de salida.
9. El procedimiento de la reivindicación 1, que comprende además proporcionar imágenes que se eliminarán de los DPB asociados a la pluralidad de capas en base al valor de un primer indicador que indica si proporcionar imágenes de una DPB, estando el primer indicador asociado a la imagen IRAP de capa de referencia.
10. El procedimiento de la reivindicación 9, que comprende además:
en respuesta a determinar que el valor del primer indicador indica que las imágenes en un DPB deben proporcionarse, proporcionar las imágenes que se eliminarán en los DPB asociados a la pluralidad de capas antes de eliminar las imágenes que se eliminarán.
11. El procedimiento de la reivindicación 10, en el que el primer indicador es NoOutputOfPriorPicsFlag.
12. Un medio no transitorio legible por ordenador que comprende instrucciones que, cuando son ejecutadas en un procesador que comprende hardware informático, hacen que el procesador ejecute el procedimiento de una cualquiera de las reivindicaciones 1 a 11.
13. Un aparato para codificar información de vídeo, que comprende:
medios para almacenar datos de vídeo asociados a una pluralidad de capas que incluyen una capa de referencia, comprendiendo los medios de almacenamiento un búfer de imágenes decodificadas, DPB, asociado a cada capa; y
medios para obtener, a partir de la capa de referencia, una imagen de punto de acceso aleatorio interno, IRAP, en una unidad de acceso, AU, actual a codificar, en el que la imagen IRAP está asociada a un NoRaslOutputFlag que tiene un valor de 1 y en el que el NoRaslOutputFlag indica si se va a proporcionar una imagen principal omitida de acceso aleatorio, RASL, y en el que los medios de obtención están configurados para:
determinar si la imagen IRAP de capa de referencia activa un nuevo conjunto de parámetros de vídeo, VPS, o si la imagen IRAP de capa de referencia está asociada a un NoClrasOutputFlag que tiene un valor de 1, en el que el NoClrasOutputFlag indica si se va a proporcionar una imagen de omisión de acceso aleatorio entre capas, CL-RAS;
en respuesta a determinar que la imagen IRAP de capa de referencia activa un nuevo VPS o que la imagen IRAP de capa de referencia está asociada a un NoClrasOutputFlag que tiene un valor de 1, eliminar imágenes en el DPB asociado a cada una de la pluralidad de capas; y en respuesta a determinar que la imagen IRAP de capa de referencia no activa un nuevo VPS y que la imagen IRAP de capa de referencia no está asociada a un NoClrasOutputFlag que tiene un valor de 1, eliminar solamente imágenes del DPB asociado a la capa de referencia.
14. El aparato de la reivindicación 13, en el que los medios para obtener la imagen IRAP están configurados además para proporcionar imágenes que se eliminarán de los DPB asociados a la pluralidad de capas en base al valor de un primer indicador que indica si proporcionar imágenes de una DPB, estando el primer indicador asociado a la imagen IRAP de capa de referencia.
15. El aparato de la reivindicación 14, en el que los medios para obtener la imagen IRAP están configurados además para: en respuesta a determinar que el valor del primer indicador indica que las imágenes en un DPB deben proporcionarse, proporcionar las imágenes que se eliminarán en los DPB asociados a la pluralidad de capas antes de eliminar las imágenes que se eliminarán.
ES15712772T 2014-03-17 2015-03-13 Vaciado de imágenes e inferencia de parámetros de búfer de imágenes decodificadas para flujos de bits multicapa Active ES2879635T3 (es)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201461954536P 2014-03-17 2014-03-17
US201461955152P 2014-03-18 2014-03-18
US201461955763P 2014-03-19 2014-03-19
US14/656,469 US9807406B2 (en) 2014-03-17 2015-03-12 Picture flushing and decoded picture buffer parameter inference for multi-layer bitstreams
PCT/US2015/020496 WO2015142655A1 (en) 2014-03-17 2015-03-13 Picture flushing and decoded picture buffer parameter inference for multi-layer bitstreams

Publications (1)

Publication Number Publication Date
ES2879635T3 true ES2879635T3 (es) 2021-11-22

Family

ID=54070442

Family Applications (1)

Application Number Title Priority Date Filing Date
ES15712772T Active ES2879635T3 (es) 2014-03-17 2015-03-13 Vaciado de imágenes e inferencia de parámetros de búfer de imágenes decodificadas para flujos de bits multicapa

Country Status (9)

Country Link
US (1) US9807406B2 (es)
EP (1) EP3120549B1 (es)
JP (1) JP6554477B2 (es)
KR (1) KR102142836B1 (es)
CN (1) CN106233727B (es)
BR (1) BR112016021489B1 (es)
ES (1) ES2879635T3 (es)
MX (1) MX360525B (es)
WO (1) WO2015142655A1 (es)

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6348188B2 (ja) * 2014-06-18 2018-06-27 テレフオンアクチーボラゲット エルエム エリクソン（パブル） ビデオにおけるピクチャのロバストな符号化および復号化
EP3158752B1 (en) 2014-06-18 2021-08-04 Telefonaktiebolaget LM Ericsson (publ) Dependent random access point pictures
US10542288B2 (en) * 2014-06-18 2020-01-21 Telefonaktiebolaget Lm Ericsson (Publ) Random access in a video bitstream
US10136153B2 (en) * 2015-02-04 2018-11-20 Telefonaktiebolaget Lm Ericsson (Publ) DRAP identification and decoding
US10455242B2 (en) * 2015-03-04 2019-10-22 Qualcomm Incorporated Signaling output indications in codec-hybrid multi-layer video coding
CN117857812A (zh) * 2018-02-20 2024-04-09 弗劳恩霍夫应用研究促进协会 支持变化的分辨率和/或有效地处理区域级打包的图片/视频编码
US10904574B2 (en) 2018-09-13 2021-01-26 Tencent America LLC Method and device using an out of band end of stream NAL unit in decoding
CN113597768A (zh) * 2019-01-28 2021-11-02 Op方案有限责任公司 扩展长期参考图片保留的在线和离线选择
US11109041B2 (en) * 2019-05-16 2021-08-31 Tencent America LLC Method and apparatus for video coding
WO2020249124A1 (en) 2019-06-14 2020-12-17 Beijing Bytedance Network Technology Co., Ltd. Handling video unit boundaries and virtual boundaries based on color format
US11032548B2 (en) * 2019-06-24 2021-06-08 Tencent America LLC Signaling for reference picture resampling
WO2021052453A1 (en) 2019-09-18 2021-03-25 Beijing Bytedance Network Technology Co., Ltd. Two-part signaling of adaptive loop filters in video coding
US11245899B2 (en) * 2019-09-22 2022-02-08 Tencent America LLC Method and system for single loop multilayer coding with subpicture partitioning
CN117278747A (zh) 2019-09-22 2023-12-22 北京字节跳动网络技术有限公司 自适应环路滤波中的填充过程
BR112022005370A2 (pt) * 2019-09-24 2022-06-14 Huawei Tech Co Ltd Sinalização de parâmetros de dpb para fluxos de bits de vídeo de múltiplas camadas
CA3152298A1 (en) * 2019-09-24 2021-04-01 Ye-Kui Wang Support of mixed irap and non-irap pictures within an access unit in multi-layer video bitstreams
AU2020352905A1 (en) * 2019-09-24 2022-04-14 Huawei Technologies Co., Ltd. Disallowing unused layers in multi-layer video bitstreams
CN117834924A (zh) 2019-09-27 2024-04-05 北京字节跳动网络技术有限公司 不同视频单元之间的自适应环路滤波
KR20220071203A (ko) 2019-10-10 2022-05-31 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 적응적 루프 필터링에서 이용 불가능한 샘플 위치들에서의 패딩 프로세스
KR20220083715A (ko) 2019-10-29 2022-06-20 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 루마 차이를 이용한 크로스 컴포넌트 적응적 루프 필터
JP7393550B2 (ja) 2019-12-11 2023-12-06 北京字節跳動網絡技術有限公司 クロス成分適応ループフィルタリングのためのサンプルパディング
KR20230013080A (ko) * 2020-05-18 2023-01-26 엘지전자 주식회사 영상 디코딩 방법 및 그 장치
KR20230029670A (ko) 2020-06-30 2023-03-03 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 적응적 루프 필터링을 위한 경계 위치
US11770498B2 (en) 2020-09-29 2023-09-26 Lemon Inc. Supplemental enhancement information for multi-layer video streams

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9185439B2 (en) * 2010-07-15 2015-11-10 Qualcomm Incorporated Signaling data for multiplexing video components
JP5833682B2 (ja) * 2011-03-10 2015-12-16 ヴィディオ・インコーポレーテッド スケーラブルなビデオ符号化のための依存性パラメータセット
KR20140057533A (ko) * 2011-07-15 2014-05-13 텔레폰악티에볼라겟엘엠에릭슨(펍) 랜덤 액세스 픽처를 청정하게 하기 위해 가장 낮은 계층 식별을 할당하기 위한 인코더 및 방법
US9491477B2 (en) * 2012-03-30 2016-11-08 Hitachi, Ltd. Image decoding method and image decoding apparatus
US20150215632A1 (en) * 2012-07-06 2015-07-30 Samsung Electronics Co., Ltd. Method and apparatus for multilayer video encoding for random access, and method and apparatus for multilayer video decoding for random access

Also Published As

Publication number Publication date
KR20160132878A (ko) 2016-11-21
MX2016011209A (es) 2017-01-09
EP3120549B1 (en) 2021-04-14
CN106233727B (zh) 2019-11-01
US9807406B2 (en) 2017-10-31
JP6554477B2 (ja) 2019-07-31
CN106233727A (zh) 2016-12-14
MX360525B (es) 2018-11-07
WO2015142655A1 (en) 2015-09-24
EP3120549A1 (en) 2017-01-25
BR112016021489B1 (pt) 2023-11-21
JP2017509252A (ja) 2017-03-30
BR112016021489A8 (pt) 2021-07-06
US20150264370A1 (en) 2015-09-17
KR102142836B1 (ko) 2020-08-10
BR112016021489A2 (pt) 2017-08-15

Similar Documents

Publication Publication Date Title
ES2879635T3 (es) Vaciado de imágenes e inferencia de parámetros de búfer de imágenes decodificadas para flujos de bits multicapa
ES2778463T3 (es) Inferencia mejorada de indicador de no emisión de imagen previa en codificación de video
ES2854274T3 (es) Dispositivo y procedimiento para codificación escalable de información de vídeo
ES2889976T3 (es) Derivación de información de anidación de ID temporal de SPS para flujos de datos multicapa
ES2834481T3 (es) Dispositivo y procedimiento para codificación escalable de información de vídeo
ES2795682T3 (es) Dispositivo y procedimiento para codificación escalable de información de vídeo
JP6513684B2 (ja) マルチレイヤビデオコーディングにおける異なるコーデックのベースレイヤのサポート
BR112016008225B1 (pt) Aparelhos e métodos para codificação e decodificação de informações de vídeo e memória legível por computador
BR112016024233B1 (pt) Método e aparelho para codificar uma imagem de camada de aperfeiçoamento em um fluxo de bits de múltiplas camadas
BR112016015893B1 (pt) Método de decodificação de informações de vídeo, aparelho configurado para decodificar informações de vídeo e memória legível por computador
BR112016030377B1 (pt) Método e aparelho para converter informações de vídeo em código em um fluxo de bits, assim como memória legível por computador
BR112016008337B1 (pt) Aparelho configurado para codificar informações de vídeo, método para codificar informações de vídeo e memória legível por computador
BR112016029611B1 (pt) Aparelho e método para codificar informações de vídeo em codificação de vídeo de alta eficiência, e, memória legível por computador
BR112016015552B1 (pt) Métodos para codificação de um conjunto de imagens de referência (rps) entre camadas e codificação de unidades da camada de acesso à rede (nal) do fim do fluxo de bits
BR112016030211B1 (pt) Restrições de conformidade de fluxo de bits em codificação de vídeo escalonável
BR112016015568B1 (pt) Método e aparelho para codificar ou decodificar dados de vídeo e memória legível por computador
BR112016015931B1 (pt) Suporte de camada-base de não hevc em extensões de muticamadas de hevc
BR112016001121B1 (pt) Dispositivo e método para codificação escalável de informações de vídeo e memória legível por computador
BR112016015918B1 (pt) Suporte de camada base não-hevc em extensões de muticamada de hevc
NZ719895B2 (en) Improved inference of nooutputofpriorpicsflag in video coding