ES2601811T3

ES2601811T3 - Sistema y método del manejo de información de escalabilidad en sistemas de codificación de video escalables utilizando mensajes de control

Info

Publication number: ES2601811T3
Application number: ES07759451.3T
Authority: ES
Inventors: Alexandros Eleftheriadis
Original assignee: Vidyo Inc
Current assignee: Vidyo Inc
Priority date: 2006-03-27
Filing date: 2007-03-27
Publication date: 2017-02-16
Anticipated expiration: 2027-03-27
Also published as: JP2009543386A; CN101411080B; JP5697332B2; CN101411080A; CA2647823A1

Abstract

Un método para decodificar medios digitales, en donde los medios digitales incluyen datos de video escalablemente codificados y datos de información de escalabilidad que incluyen datos de información de escalabilidad inicializante en el mensaje de información de mejoramiento suplementario de información de escalabilidad (SSEI) y al menos un cambio en dichos datos de información de escalabilidad inicializante con el tiempo, el método comprende: en un decodificador, utilizar los datos de información de escalabilidad para informarle al decodificador acerca de la presencia y estructura de dependencia de las capas contenidas en los datos de video codificados creando de esta manera una estructura de información SSEI, en donde al menos un cambio en los datos de información de escalabilidad inicializante indica que al menos uno de: al menos una capa de escalabilidad se agrega al flujo de bits desde ese momento en adelante, codificado en un mensaje (SEI) de información de mejoramiento suplementario scalability_info_add que agrega al menos una capa de escalabilidad a la estructura de información SSEI, al menos una capa de escalabilidad se retira del flujo de bits desde ese momento en adelante codificada en un mensaje SSEI scalability_info_delete que suprime al menos una capa de escalabilidad desde la estructura de información SSEI, o la información de escalabilidad para al menos una capa presente en el flujo de bits es reemplazada con la información de escalabilidad contenida en el mensaje SEI de remplazo scalability_info que contiene los cambios para iniciar los datos de información de escalabilidad desde ese momento en adelante, en donde el mensaje SEI de remplazo scalability_info reemplaza la al menos una capa de la estructura de información SSEI, en donde cualquiera de los datos de información de escalabilidad para una capa que no está explícitamente codificada en los cambios para inicializar los datos de información de escalabilidad se asume que retiene el valor previo de los datos de información de escalabilidad, y en donde los datos de video escalables se codifican de acuerdo a la codificación de video escalable (SVC) H. 264, el método además comprende aplicar los cambios a la información de escalabilidad en el decodificador acumulativamente.

Description

5

10

15

20

25

30

35

40

45

50

DESCRIPCION

Sistema y metodo del manejo de informacion de escalabilidad en sistemas de codificacion de video escalables utilizando mensajes de control.

Campo de la invencion

La presente invencion se relaciona con sistemas de comunicacion de video. En particular, la invencion se relaciona con tecnicas para comunicar la estructura de un flujo de bits decodificado de video escalable, y cambios a estos, en un sistema de comunicacion de video de manera que reduzca tanto la velocidad de bits como la complejidad computacional.

Antecedentes de la invencion

Las nuevas tecnicas de codificacion “escalables” de video y audio digitales, que estan dirigidas a mejoras generales en la eficiencia de codificacion, tienen un numero de nuevas caracterlsticas estructurales. Especlficamente, una caracterlstica importante nueva es la escalabilidad. En la codificacion escalable, un original o senal fuente es representada utilizando dos o mas flujos de bits jerarquicamente estructurados. La estructura jerarquica implica decodificar un flujo de bits dado depende de la disponibilidad de algunos o de todos los flujos de bits que son inferiores en jerarqula. Cada flujo de bits, junto con los flujos de bits que dependen de este, ofrecen una representacion de la senal original a un temporal particular, fidelidad (por ejemplo, en terminos de proporcion de senal a ruido (SNR)), o resolucion espacial (para video).

Se entiende que el termino “escalable” no se refiere a la magnitud o escala en terminos de numeros, sino a la capacidad de la tecnica de codificar para ofrecer un conjunto de diferentes flujos de bits que correspondan a representaciones eficientes del original o senal fuente a diferentes “escala” de resoluciones u otras calidades en general. La proxima especificacion de Anexo F y ITU-TH.264, que se denomina como una codificacion de video escalable (SVC), es un ejemplo de un estandar de codificacion de video que ofrece escalabilidad de codificacion de video en todas las dimensiones temporales, espaciales y de fidelidad. El (SVC) es una extension del estandar H.264 (tambien conocido como codificacion de video avanzada (AVC)). Un ejemplo de un estandar anterior, que tambien ofrecla todos los 3 tipos de escalabilidad, es el ISO MPEG-2 (tambien publicado como ITU-TH. 262). El iTu G. 729.1 (tambien conocido como G.729EV) es un ejemplo de un estandar que ofrece codificacion de audio escalable.

La escalabilidad se introdujo en la codificacion de video y audio como una solucion a los problemas de distribucion en transmision y difusion, y con una vista para permitir un sistema de comunicacion dado para operar con redes de acceso variables (por ejemplo clientes conectados con diferentes anchos de bandas), condiciones de red (por ejemplo fluctuation del ancho de banda), y dispositivos de cliente (por ejemplo un ordenador personal que utiliza un monitor grande vs. un dispositivo de mano con una pantalla mucho mas pequena ).

Las tecnicas de codificacion de video escalables, que son especlficamente disenadas para aplicaciones de comunicacion de video interactivo tales como video conferencias, se describen en la publication de Patente Internacional comunmente cedida WO 2008/060262. Adicionalmente, la Publicacion de Patente Internacional comunmente cedida WO2008/060262 describe el diseno de un nuevo tipo de servidor, denominado Servidor de Comunicacion de Video Escalable (SVCS). El SVCS puede utilizar ventajosamente video codificado escalable para comunicacion de video de alta calidad y bajo retraso y tiene una complejidad, que es significativamente reducida comparada con la conmutacion tradicional o las unidades de control multipunto trascodificantes (MCU). De manera similar, la publicacion de la Patente Internacional comunmente cedida WO2007/076486 describe un servidor de codificacion de video escalable de composition (SVCS), que tiene los mismos beneficios que un SVSC pero produce un flujo de bits de salida codificado unico. El diseno de codificacion de video escalable y la arquitectura SVCS/CSVCS se puede utilizar de maneras adicionales y ventajosa, que se describen, por ejemplo, e n las publicaciones de patente Internacional comunmente cedidas WO2007/075196, WO2008/051181, WO2007/067990, WO2007/095640, WO2007/103889. Estas aplicaciones describen el uso de tecnicas de codificacion escalables y la arquitectura SVCS/CVCS para servicios para un enlazamiento efectivo entre servidores, retraso reducido del bufer de fluctuacion, resiliencia de error y acceso aleatorio, “adelgazamiento” de los flujos de bits de video escalables para mejorar la eficiencia de codificacion con perdidas reducidas de paquete, y control de la velocidad, respectivamente.

Se hace ahora consideration de los sistemas de comunicacion mejorados de video y audio que utilizan codificacion de video o audio escalable. En particular, con vista a mejorar tales sistemas, se dirige la atencion hacia el manejo de la informacion de escalabilidad comunicada desde una fuente de un video o un flujo de bits de audio a un receptor, directamente o a traves de uno o mas servidores. La fuente puede ser un punto final de transmision que codifica y transmite video en vivo sobre una red de comunicacion, un servidor de transmision que transmite video precodificado, o un modulo de software que suministra acceso a un archivo almacenado en un almacenamiento en masa u otro dispositivo de acceso. De manera similar, receptor puede ser un punto final de receptor que obtiene la

5

10

15

20

25

30

35

40

45

corriente de bit de video o audio codificados sobre una red de comunicacion, o directamente de un dispositivo de almacenamiento en masa u otro acceso.

Resumen de la invencion

Es un objeto de la presente invencion suministrar sistemas y metodos para manejo mejorado de la informacion de escalabilidad en un sistema de comunicacion de video que utiliza codificacion escalable. Este objeto se puede lograr mediante las caracterlsticas tales como se definieron en las reivindicaciones independientes. Mejoras adicionales estan caracterizadas en las reivindicaciones dependientes.

Varios ejemplos de los sistemas y metodos comunican la estructura de un flujo de bits codificado escalable, as! como tambien cambios que puedan ocurrir durante el tiempo, a los componentes del sistema. Las tecnicas de comunicacion utilizan codificacion diferencial de la informacion relevante y lograr ventajosamente el overhead reducido de la velocidad de bits y una complejidad computacional reducida.

En una realizacion preferida, para un sistema de comunicacion de video que utiliza el formato de codificacion estandar H.264 SVC, los mensajes SEI de informacion de escalabilidad estandar se modifican y tambien se suplementan para incluir la capacidad de senalar los cambios de informacion de escalabilidad. El conjunto expandido de los mensajes SEI de informacion de escalabilidad pueden informar a los receptores (por ejemplo servidores, decodificadores/puntos finales) de la estructura de capa de escalabilidad de las senales transmitidas y los cambios en esta. Los receptores pueden utilizar la informacion de capa de escalabilidad para procesar adecuadamente o decodificar las senales recibidas.

Breve descripcion de los dibujos

Caracterlsticas adicionales, la naturaleza, y varias ventajas de la invencion seran mas evidentes de la siguiente descripcion detallada por via de ejemplo de la realizacion preferida y de los dibujos que la acompanan en los cuales:

La Fig. 1 es un diagrama de bloque que ilustra una arquitectura de ejemplo de un sistema de transmision SVC de acuerdo con una realizacion de la presente invencion;

La Fig. 2 es un diagrama de flujo del proceso de manejo de estado de informacion de escalabilidad de acuerdo con una realizacion de la presente invencion;

La Fig. 3 es un diagrama de flujo del proceso de manejo de estado de informacion de escalabilidad para una solucion de ejemplo alternativa.

En todas las figuras los mismos numerales de referencia y caracteres, a menos que se establezca otra cosa, se utilizan para denotar caracterlsticas, elementos, componentes o porciones similares de las realizaciones ilustradas. Mas aun, aunque la presente invencion se describira ahora por via de ejemplo con referencia a las figuras, esto se hace en conexion con las realizaciones ilustrativas.

Descripcion detallada

Los sistemas y metodos se suministran para el manejo mejorado de la informacion de escalabilidad en un sistema de comunicacion de video y audio que utiliza codificacion escalable.

La Figura 1 muestra una arquitectura de ejemplo de un sistema 100 de comunicacion que utiliza codificacion escalable. El sistema 100 de comunicacion escalable incluye un servidor de medio o un codificador 110 (por ejemplo un servidor de transmision o un punto final de transmision), que comunica senales de video y/o audio a un cliente/receptor 120 sobre una red 130 a traves de una entrada 140 de medio.

Por brevedad, la descripcion aqul se limita a la porcion de video de tal sistema de comunicacion. Se entendera, sin embargo, que los sistemas y metodos descritos aqul para la porcion de video se pueden utilizar para las porciones de audio escalables, con el entendimiento de que no se puede suministrar dimension de escalabilidad a una senal de audio, pero la codificacion multicanal se puede adicionalmente utilizar en codificacion de senal de audio. Ademas, los sistemas y metodos descritos aqul tambien se pueden utilizar para otros datos de multimedia (por ejemplo graficos) que estan codificados en una forma escalable.

En una realizacion preferida del sistema 100 de comunicacion, el formato de Codificacion H.264 SVC (“SVC”) se utiliza para comunicacion de video. (Ver, por ejemplo, la especificacion SVC JD5, T. Wiegand, G. Sullivan, J. Reichel, H. Schwarz, M. Wien, eds., “Joint Draft 5: Scalable Video Coding,” Joint Video Team, Doc. JVT-R201,

5

10

15

20

25

30

35

40

45

50

55

Bangkok, Thailand, Enero 2005, El SVC es la extension de codificacion de video escalable (Anexo F) del estandar de codificacion de video H.264 AVC.

El SVC ofrece flexibilidad considerable para crear estructuras de flujos de bits con escalabilidad en varias dimensiones (por ejemplo dimensiones espacial, temporal, de fidelidad o calidad). Un flujo de bits codificado SVC se puede estructurar en varios componentes o capas. Una capa base ofrece una representacion de la senal fuente de alguna fidelidad basica. Las capas adicionales (capas de mejoramiento) suministran information para la representacion mejorada de la senal en las dimensiones de escalabilidad adicionales por encima de la dimension de fidelidad basica. Se nota que las capas sobre los flujos de bit codificados son tlpicamente formadas en una estructura piramidal, en la cual la decodificacion de una capa puede requerir la presencia de una o mas capas inferiores. Tlpicamente, la disponibilidad de la capa base se requiere para decodificar cualquiera de las capas de mejoramiento. La estructura piramidal de las capas no es necesariamente siempre del caso. Por ejemplo, cuando se suministra la escalabilidad a traves de la codificacion de description multiple o difusion simultanea, puede ser posible la decodificacion independiente de algunas o todas las capas. Los sistemas y metodos descritos aqul son aplicables a todos estos formatos de escalabilidad.

La escalabilidad puede manejar varios retos a nivel del sistema tales como las redes heterogeneas y/o los clientes, el desempeno de red variante en el tiempo, el suministro de red con mejor esfuerzo, etc. Con el fin de posibilitar el uso efectivo de estas caracterlsticas, sin embargo, es imperativo que ellas sean accesibles a los componentes del sistema mas alla del codificador y decodificador de video.

Varias realizaciones de los sistemas y metodos de la presente invention, que efectivamente utilizan todas las caracterlsticas de escalabilidad, se entienden con referencia a la Fig. 1. Primero, se nota que el uso de la entrada 140 de medios en el sistema 100 es opcional. Varias modalidades de los sistemas y metodos de la presente invencion son iguales o similares, cuando se utiliza un servidor de medios directo a la conexion del cliente, o cuando el servidor de medios es reemplazado por un archivo que es directamente accesible al cliente sobre un dispositivo de almacenamiento en masa u otro acceso, directa o indirectamente (por ejemplo un acceso a archivo a traves de una red de comunicacion).

Considere un escenario operacional simple en el cual el servidor/codificador 110 de medios (por ejemplo un servidor o codificador de difusion o un codificador de punto extremo de transmision) comunica a los medios escalables con el cliente/receptor 120 a traves de la entrada 140 de medios. El simple escenario requiere que sea hecha una conexion entre el servidor de medios y el cliente para transmitir un conjunto de capas acordadas, las cuales pueden, por ejemplo, ser unidades SVC NAL encapsuladas RTP. Adicionalmente, la entrada 140 de medios tiene que ser instruida (o inferir por si misma) como utilizar mejor operacionalmente los paquetes de entrada (por ejemplo las unidades SVC NAL encapsuladas RTP). En este caso donde la entrada 140 de medios tiene la arquitectura SVCS/CSVCS esta decision operacional corresponde a decidir que paquetes caen y cuales enviar. Ademas, para la adecuada operation del decodificador, el cliente/receptor 120 deben saber o poder deducir que conjunto de capas se supone se reciben.

Para posibilitar estas funcionalidades, el Sistema 100 debe representar y comunicar la estructura de escalabilidad del flujo de bits transmitidos a los varios componentes del sistema. Como un ejemplo ilustrativo, considere una senal de video con dos resoluciones temporales, 15 y 30 fps, y dos resoluciones espaciales, QCI F y CIF. Esta corresponde a una estructura de escalabilidad de 4 capas: capa L0 que contiene la senal QCIF en 15 fps; la capa L1 que contiene el mejoramiento de senal QCIF para 30 fps; la capa S0 que contiene el mejoramiento de senal CIF para 15 fps; y la capa S1 que contiene el mejoramiento de senal CIF para 30 fps. La dependencia de codificacion en la estructura de escalabilidad de 4 capas podrla ser tal que L0 sea la capa base, L1 dependa de L0, S0 dependa de L0, y S1 dependa de tanto L1 como de S0. El sistema 100 debe describir esta estructura de 4 capas a los componentes del sistema de tal manera que ellos puedan procesar adecuadamente la senal de video.

El SVC ofrece un mecanismo para describir la estructura de escalabilidad de un flujo de bits de video codificados SVC a traves de su mensaje SEI de Informacion de Escalabilidad (SSI). Los mensajes de informacion de mejoramiento suplementario (SEI) son estructuras de datos contenidas en un flujo de datos SVC que suministran informacion auxiliar acerca de la senal de video codificada pero no son necesarias para la operacion del proceso de decodificacion. El SSEI definida la section F.10.1.1 de la especificacion SVC JD5, incluye informacion descriptiva acerca de cada capa (por ejemplo velocidad de marco, informacion del perfil) y significativamente codificar la informacion de dependencia, es decir, que otras capas de una capa dada dependen para la adecuada decodificacion. Cada capa se identifica, dentro del alcance del flujo de datos, por una unica “id de capas”. La informacion de dependencia de codificacion para una capa particular se comunica al codificar el numero de capas dependientes directamente (num_directly_dependent_layers), y una serie de valores de diferencia (directly_dependent_layer_id_delta), que cuando se agregan al id de la capa de capas particular identifican los id de la capa de las capas de la que depende la capa particular para decodificacion.

El SSEI como se definio en la seccion F.10.1.1. de la especificacion SVC JD5 se diseno con el fin de posibilitar la negotiation de capacidad (por ejemplo durante una configuration de conexion), adaptation de flujos (mediante

5

10

15

20

25

30

35

40

45

50

55

servidor de video o entrada de medios intermedios), y procesamiento de baja complejidad (por ejemplo sin interferencia basado en el analisis sintactico del flujo de bits detallado). El diseno SSEI JD5, sin embargo, tiene varias limitaciones, que se vuelven evidentes mediante el examen cercano de la via que tiene que ser utilizada para la information del mensaje SSEI en un sistema de comunicacion.

En la operation de un sistema de comunicacion (por ejemplo el sistema 100), puede haber varias ocasiones donde la estructura de flujo transmitido se establezca modifique (en el servidor/fuente de la entrada de medios):

- la definition inicial durante la negotiation de capacidad. El servidor de medios ofrece un conjunto de capas de escalabilidad, y el cliente acepta todas o un subconjunto de ellas, directamente, o por via de un proceso de negociacion (por ejemplo utilizando un protocolo de description de section (SDP)).

- La modification de la estructura de capas por el servidor de medios o la entrada de medios para acomodar las condiciones del sistema de cambio (por ejemplo perdidas crecientes de paquetes entre la entrada de medios y el cliente o el cambio de la resolution de pantalla deseada en el cliente).

- Modificacion de la estructura de capas debido a decisiones del codificador. Un ejemplo de lo que tal decision de codificador se relaciona con escalabilidad de granularidad fina (FGS), un mecanismo para suministrar escalabilidad de fidelidad donde una fraction del flujo de datos de la capa FGS se puede utilizar para producir una senal a una calidad reducida. Como resultado de la via el FGS se disena en SVC JD5, es posible para la dependencia de capa cambiar de una fotografla a la siguiente (o de hecho, de una lamina a la siguiente). Especlficamente, considera el caso donde se efectua una prediction en una capa dada utilizando una referencia de una capa inferior que utiliza FGS, y la prediccion se basa en solamente una fraccion de esa capa. En este caso, es posible que diferentes fotograflas de la misma capa puedan depender de diferentes capas inferiores, ya que algunas capas podrlan ser completamente eliminadas debido al control de velocidad. Una posible solution, que no cambiarla la estructura de dependencia de capa, es utilizar una unidad NAL vacla. Sin embargo, esto no se permite en el SVC JD5. Este caso se puede visualizar como siendo similar al inmediatamente precedente, con la diferencia de que la escala de tiempo en la cual ocurre la dependencia de capa es extremadamente alta (por lamina).

La negociacion de capacidad es una caracterlstica en el sistema de comunicacion que esta por fuera del alcance de la especificacion SVC, y la codification escalable en general. Los dominios de aplicacion de comunicacion relacionados, tales como la telefonla IP, han desarrollado procedimientos extensos para negociacion de capacidad. Por ejemplo, los sistemas de comunicacion basados en protocolo de initiation de sesion (SIP) utilizan un ofrecimiento/respuesta basada en SDP. Se nota que el uso del SSEI para esta funcionalidad de negociacion de capacidad sola es superflua. De acuerdo con una realization de la presente invention, el SSEI no debe simplemente indicar lo que el codificador es capaz de producir, sino que preferiblemente debe indicar que esta (o estara) realmente contenido en el flujo de bits transmitido. A este respecto, el SSEI, de acuerdo con una realizacion de la presente invencion, se modifica para definir la estructura de informacion de escalabilidad total para el flujo de bits, lo que se asume que sea en efecto a menos que se comunique otra cosa.

La modificacion de la estructura de capa (es decir la adaptation de flujo) puede ocurrir en la operacion de un sistema de comunicacion en cualquier servidor/codificador de medios o entradas de medios intermedias (mas de una de tales entradas de medio puede estar presente). Un ejemplo de adaptacion de flujo es el caso donde el cliente/receptor 120 decide conmutar o cambiar la resolucion (por ejemplo de CIF a QCIF). La conmutacion o cambio en las resoluciones se efectua al dejar caer los correspondientes paquetes o en la entrada 140 de medios o en el servidor 110 de medios de transmision. Disparar el cambio de resolucion se logra utilizando la serialization tradicional (mostrada como senda 150 de senalizacion en la Fig. 1). Una consideration importante para la adecuada operacion de conmutacion es cuando al cliente/receptor 120 se le puede senalizar que ha tenido lugar el cambio solicitado. En la ausencia de cualquiera de tal informacion senalizada, el cliente/receptor 120, en algun punto, recibira solamente un subconjunto de los paquetes totales o bits (aquellos que corresponden a la resolucion QCF). No se puede saber, sin embargo, si la perdida de paquetes de alta resolucion o bits es intencional (el resultado de esta solicitud) o debido al paquete o perdida de bits. Las consideraciones relacionadas con la decodificacion de un bucle sencillo pueden exacerbar el problema, ya que la fotografla de capa inferior puede no estar disponible en el cliente/receptor 120 para ser desplegada en ausencia de unos datos de capa objetivo.

Como se anoto previamente tal informacion de conmutacion puede ser suministrada por mensajes de senalizacion desde el servidor de medios o la entrada de medios al cliente/receptor 120 de una manera tradicional (por ejemplo por via de senda 150 de senalizacion). Sin embargo, varias realizaciones de la presente invencion reconocen que existen considerables beneficios (por ejemplo en terminos de sincronizacion y tiempos de respuesta a condiciones de error) si la informacion de la estructura de capas es llevada dentro de la banda con los datos codificados. Si la informacion de la estructura de capas (o cambios a esta) se puede llevar dentro de la banda en mensajes SSEI modificados.

Otro ejemplo de la adaptacion de flujo debido a las condiciones del sistema de cambo, se relaciona con la adaptacion a la perdida de paquetes inducida por la red. En tal caso, la entrada de medios puede decidir cambiar o

5

10

15

20

25

30

35

40

45

50

55

reducir, por ejemplo, el ancho de banda del flujo transmitido utilizando caracterlsticas de escalabilidad de calidad. De nuevo para la operacion adecuada, el cliente/receptor 120 debe ser informado o instruido a tiempo acerca del cambio en el flujo de bits a ser recibidos. La informacion de la estructura de capa de cambio se puede llevar a tiempo en mensajes SSEI modificados dentro de la banda con los datos codificados.

Similar a los casos de adaptacion de flujo, son los casos de los cambios de estructura de capa manejados por el codificador. En contraste a los casos de la adaptacion de flujo discutida anteriormente, los cambios de la estructura de capa manejados por el codificador no son iniciados por el cliente o el servidor de medios en respuesta a los cambios de parametros del sistema, sino que en su lugar son un “artefacto” del proceso de codificacion utilizado por el codificador de video. Como en los casos de adaptacion de senal, la informacion acerca de los cambios en la estructura de capas se puede senalizar a tiempo por via s delos mensajes SSEI modificados dentro de la banda con los datos codificados para la adecuada sincronizacion con la entrada de medios y el decodificador.

La consideracion de la operacion del sistema 100 en los anteriores casos muestra que existe necesidad de suministrar mensajes de informacion de escalabilidad en varios puntos en el curso de una sesion de comunicacion, y en escalas de tiempo (o frecuencia) que pueden ser tan altas como el nivel de lamina.

Se nota que suministrar los mensajes de informacion de escalabilidad (por ejemplo por via de los mensajes SSEI modificado) puede ser practica solamente si el overhead en el uso de los mensajes se hace extremadamente pequeno. Ademas, ya que el numero de clientes soportado por un servidor o entrada es a menudo maximizado por economla en un sistema de comunicacion, es obviamente deseable minimizar la carga computacional en el sistema de comunicacion en analisis sintactico as! como tambien generar los mensaje relevantes.

Se nota que la especificacion SVC JD5 exige el uso del SSEI solo en la unidad de acceso de refresco de decodificacion instantanea (IDR) (Seccion F 10.2.1.). Las unidades de acceso IDR son equivalentes a intrafotograflas, que tienen un overhead de velocidad de bits considerable, y son a menudo utilizadas solamente una vez en sistemas de comunicacion de video interactivo (para la codificacion de la primera fotografla). Esta limitacion ademas prohlbe el uso del SSEI estandar a los cambios de informacion de escalabilidad de senal.

Ya que uno de los usos primarios del SSEI es ayudar a los servidores y a las entradas de medios al manejo adecuado de los flujos SVC, es ventajoso si la complejidad del procesamiento de tales mensajes se minimiza. Esto es tlpicamente logrado utilizando los campos de longitud fija y tan pocas opciones como sea posible. Esta simplicidad contradice la necesidad de una compresion eficiente, con el fin de minimizar el overhead de la velocidad de bits asociada con los mensajes SSEI. La eficiencia de codificacion es particularmente importante si la granularidad de la transmision del mensaje SSEI es muy alta (lo cual como se anoto anteriormente, podrla ser a nivel de la lamina).

Se han hecho propuestas para una representacion mas eficiente, de la informacion SSEI desde un punto de vista de compresion. (Ver, por ejemplo, I. Amonou, N. Cammas, S. Kervadec, and S. Pateux, “Improved Signaling of Scalability Information,” Joint Video Team, Doc. JVT-R068, Nice, Bangkok, enero 2006, que se incorpora como referencia aqul en su totalidad). Sin embargo, las representaciones propuestas tienen considerable complejidad computacional. Por ejemplo, el Doc. JVT-R068 anteriormente mencionado propone una representacion, que muestra una reduccion de aproximadamente 50 % en el overhead, cuando se utiliza un gran numero de capas de escalabilidad. La representacion propuesta se basa en una aproximacion triestructurada al codificar las diferentes capas, donde cada nivel de nodo corresponde a una de las 3 dimensiones de escalabilidad (espacial, temporal, y calidad, en ese orden). Los puntos de presentacion corresponden a las hojas del arbol. En contraste, la sintaxis SVC JD5 se basa en un analisis sintactico secuencial de los puntos de presentacion, codificados en orden arbitrario. Esto es similar al analisis sintactico de las hojas solamente de la estructura del arbol mencionado en el Doc. JVT-R068, con el inconveniente anotado de que alguna informacion es innecesariamente duplicada de una capa a la siguiente. En la aproximacion basada en el arbol, no es necesario para las hojas con un ancestro comun duplicar la informacion representada por su padre o padres comunes. La duplication innecesaria, sin embargo, se puede evitar mediante una aproximacion de codificacion alternativa que emplea el uso juicioso de banderas de option cuando se crea el SSEI. Por ejemplo, cuando solamente los cambios a nivel temporal de una capa a la siguiente, es una practica para inferir directamente que los tamanos de marco en ambas capas son los mismos y as! se requiere suministrar el tamano de marco solamente una vez (por ejemplo en la capa mas baja).

Con ambas aproximaciones anteriormente mencionadas (es decir, la sintaxis del Doc. JVT-R068 el SVC JD5 con la interpretation alternativa de codificar las banderas de opcion) se nota que la compensation “computacion- compresion” no es ideal. En contraste con estas aproximaciones, varias realizaciones de la presente invention emplean una tecnica basada en la codificacion diferencial de la informacion de dependencia de capa, de tal manera que las capas se puedan agregar, reemplazar, o retirar segun se desee. En contraste con las aproximaciones anteriormente mencionadas, varias realizaciones de la tecnica inventiva reducen simultaneamente el overhead de la velocidad de bits y la complejidad computacional a niveles mlnimos.

5

10

15

20

25

30

35

40

45

50

La tecnica inventiva para transportar la information SSEI necesaria se puede entender con referenda a su aplicacion a un ejemplo en el cual se asume que el SSEI inicial se obtiene y se mantiene como la informacion de estado en el servidor, entrada, o cliente en el sistema de comunicacion. Los bits necesarios para retirar una capa o un subconjunto de capas del estado SSEI pueden ser muy pequenos, ya que solo requiere transmitir suficiente informacion “diferencial” para identificar la capa en la cual la estructura de informacion SSEI sera truncada. En otras palabras, la capa indicada as! como tambien todas las capas dependientes de esta se pueden eliminar de la informacion de estado luego de la identification de la capa. De manera similar, con el fin de agregar una nueva capa o un nuevo conjunto de capas al estado SSEI, es suficiente transmitir solamente la informacion diferencial que pertenezca a la capa o capas a ser agregadas. Mediante el diseno, esta aproximacion elimina todo el overhead relacionado con duplicar la codification de la informacion de la estructura de capas desde una instancia SSEI a la siguiente.

La reduction de la velocidad de bit total asociada con la codificacion de la informacion SSEI debido a tal codificacion diferencial permite el uso de estructuras de codificacion simple para los mensajes requeridos, de tal manera que su analisis sintactico por medio de las entradas desconocidas de medios (al menos a nivel de codificacion de video o VLC en la terminologla H.264) se simplifique. Se nota que las tecnicas no hacen ninguna presuncion acerca de como estos mensajes SSEI seran transportados o - mas importante - si y como ellos son transportados confiablemente. Es suficiente con simplemente asegurar la consistencia del estado si el mismo mensaje es recibido mas de una vez.

Los mensajes SSEI se pueden suplementar con la informacion de estructura de capa de cualquier manera adecuada. En la realization A, el SSEI es suplementado mediante los mensajes SEI de control de informacion de escalabilidad adicional, que corresponden a las operaciones de agregar, reemplazar, o retirar una o mas capas. Estas operaciones son aplicadas acumulativamente; en otras palabras, el estado de entrada asumido al aplicar la operation indicada es aquel en efecto al momento justo antes de la operation. En una solution de ejemplo alternativa (solucion de ejemplo B), la informacion SSEI es suplementada por dos mensajes SEI de control de informacion de escalabilidad adicional que indican que capas no estan presentes, y que capas han cambiado la informacion de dependencia de decodificacion, respectivamente. En contraste a las operaciones acumuladas de la realizacion A, las operaciones en la solucion de ejemplo B, no se aplican de manera acumulativa, sino en su lugar se asume que el estado de entrada para aplicar la operacion indicada es aquel establecido por el mensaje SSEI mas reciente. La solucion de ejemplo B puede ser preferida en ambientes donde los mensajes SEI puedan ser sujeto a perdidas. En este caso, el SSEI inicial se puede comunicar al receptor o entrada de medios durante la configuration de sesion utilizando mecanismos de transporte confiables. La perdida de cualquiera de los mensajes de control de informacion de escalabilidad intermedios en la solucion de ejemplo B no afectara el receptor o la informacion de estado de la entrada de medios de la solucion de ejemplo B ya que este estarla en la realizacion A.

La realizacion A de la presente invention introduce 3 nuevos tipos de carga util SEI en el Anexo D del SVC JD5 (Section D.1):

scalability_info_add (tipo de carga util 26), que agrega una o mas capas a una estructura de informacion SSEI existente;

scalability_info_replace (tipo de carga util 27) que reemplaza una o mas capas de una estructura de informacion SSEI existente; y

scalability_info_delete (tipo de carga util 28) que suprime una o mas capas de una estructura de informacion SSEI existente.

La sintaxis para las versiones “add” y “replace” es identica a aquella de la estructura basica escalability_info (SSEI). Solamente las semanticas de los datos contenidos se cambian, y solamente en terminos de como se efectua el manejo de estado SSEI (en otras palabras, las interpretaciones del campo individual permanecen iguales). La sintaxis para la version “delete” puede ser simple ya que esta solo requiere identificar los id de capa de las capas a ser retiradas. Se nota que la version “replace” es la mayormente utilizada para manejar los cambios en la informacion de dependencia de capa. Ya que no se requiere codificar otra informacion, el tamano de tal mensaje puede ser extremadamente pequeno (por ejemplo del orden de 30-40 bits dependiendo del numero de capas).

En lo que sigue, el uso de terminos informacion “SSEI” se refiere a cualquiera de estos cuatro tipos de informacion de escalabilidad, al menos que expllcitamente se indique otra cosa.

Ya que la especificacion SVC JD5 corriente exige el uso del SSEI solamente en la unidad de acceso IDR (Seccion F, 10.2.1), la informacion SSEI en varias realizaciones de la presente invencion se permite que ocurra al inicio de cualquier unidad de acceso.

5

10

15

20

25

30

Cuando el parametro SPS (Conjunto de Parametro de Secuencia en SVC) nal_extension_flag se establece en 0, los valores dependency_id, tempora_level, y quality_level_ (denominados aqui como valores DTQ) para todas las capas se definen en el SPS (Seccion F. 7. 3. 2. ). La asociacion de una unidad NAL dada a estos valores se efectua utilizando el simple_priority_id, si el elemento de sintaxis NAL extension_es 0. Si el extension_flag es 1, entonces simple_priority_id se ignora de acuerdo a la especificacion corriente, y se utilizan los valores de encabezado NAL para los parametros DTQ. Notese que cuando el profile_idc no es igual a 83, entonces todas las unidades NAL del tipo 20 y 21 tienen que tener su conjunto de extension_flag (Seccion F. 7. 4. 2).

Si asumimos que el nivel SPS nal_extension_flag se establece en 0, entonces todos los encabezados de SVC NAL solamente emplearan el simple_priority_id en lugar del conjunto DTQ completo. Con el fin de permitirle al servidor o entrada procesar el flujo NAL, ambos mensajes tienen que ser analizados sintacticamente. El SSEI suministra la informacion de capa detallada, mientras que las capas particulares de los mapas SPS priorizan los valores id. Parece no haber razones convincentes para incluir esta informacion en el SPS, y pueden haber de hecho varias razones para no hacerlo asi. Luego del examen del resto de la informacion contenida en el SPS, se nota que ninguna se relaciona con temas de transporte. De acuerdo con esto, bajo la presente invencion, la porcion relevante del SPS se puede retirar y su codificacion movida en lugar del SSEI.

El uso de nal_extension_flag debe preferiblemente ser de amplio flujo, en otras palabras la coexistencia de los NAL con y sin el encabezado NAL extendido no se debe permitir. Aunque en teoria posibilitar tal capacidad puede parecer ofrecer mas flexibilidad, en la practica tal capacidad complica la operacion de los servidores y las entradas sin beneficios tangibles reales. Como resultado, codificar el nal_extension_flag bajo varias realizaciones de la presente invencion no se hace por capa, sino por SSEI. Esto esta de acuerdo con el SVC JD5 donde la codificacion se hace sobre una base por SPS.

Con la simple codificacion simple_prority_id hecha a nivel SSEI, ya no es necesario tener la codificacion de los valores DTQ para que sean opcionales, y como resultado la correspondiente bandera (decoding_dependency_info_present_flag) del SSEI se puede retirar.

Se ha notado previamente que el SVC es una extension de codificacion de video escalable (Anexo F) del estandar de codificacion de video H.264 AVC. La capa compatible con AVC utiliza los encabezados de la unidad NAL sin el simple_priority_id o extensiones de campo DTQ. De acuerdo con la especificacion SVC JD5, se asume que los valores son 0. En varias realizaciones de la presente invencion los valores del simple_priority_id de las extensiones de campo DTQ son senalizadas al nivel SSEI.

La Tabla 1 muestra los cambios de sintaxis de ejemplo que son hechos a la seccion F. 7.3.2, la sintaxis de extension del Conjunto de Parametro de Secuencia SVC, de la especificacion SVC JD5 de acuerdo con los principios de una realizacion de la presente invencion. Los cambios consisten en la remocion de los elementos de sintaxis relacionados con el id de prioridad y el DTQ.

TABLAI

MODIFICACIONES DE EXTENSIONES SPS SVC

Seq_parameter_set_SVC_extension() {: C Descriptor

extended_spatial_scalability: 0 u(2)

If (extended_spatial_scalability > 0 ) {

if ( chroma_format_idc > 0 ) {

chroma_phase_x_plus1: 0 u(2)

chroma_phase_y_plus1: 0 u(2)

}

if( extended_spatial_scalability == 1 ) {

scaled_base_left_offset: 0 se(v)

scaled_base_top_offset: 0 se(v)

scaled_base_right_offset: 0 se(v)

scaled_base_bottom_offset: 0 se(v)

}

}

}

La Tabla II muestra los cambios de sintaxis de ejemplo (adiciones) que son hechos en el Anexo D, D.1, sintaxis de tipo de carga util SEI, de acuerdo con los principios de una realizacion de la presente invencion. Se agregan 3 nuevos tipos de carga util (26-28) que corresponden a las operaciones de agregar, reemplazar y suprimir.

5 TABLA II

TIPOS DE CARGA UTIL SEI

sei_payload( payloadType, payloadSize ) {: C Descriptor

if( payloadType = = 0 )

Buffering_period( payloadSize ): 5

else if( payloadType = = 1 )

pic_timing( payloadSize )

etc.

e if( payloadType = = 22 )

scalabilty_info( payloadSize ) /* specified in Annex F */: 5

etc.

else if (payloadType == 26)

scalability_info_add(payloadSize) /* specified in Annex F */: 5

else if (payloadType == 27)

scalability_info_replace(payloadSize) /* specified in Annex F */: 5

else if (payloadType == 28)

scalability_info_delete(payloadSize) /* specified in Annex F */: 5

else

reserved_sei_message( payloadSize ): 5

if( !byte_aligned( ) ) {

bit_equal_to_one /* equal to 1 */: 5 f(1)

hile( !byte_aligned( ) )

bit_equal_to_zero /* equal to 0 */: 5 f(1)

}

}

La Tabla III muestra cambios de sintaxis de ejemplo que son hechos en la Seccion F.10.1.1, la sintaxis de los mensajes SEI de informacion de escalabilidad, de acuerdo con los principios de una realizacion de la presente invencion. Notamos la introduccion del nal_unit_extension_flag (movido del SPS), y la introduccion del 5 avc_compatible_flag. Ademas, notamos que la codificacion DTQ esta siempre presente para las capas no-AVC, y

esa priority_id a la Asociacion DTQ se establece si la nal__unit_extension_flat no se establece (es decir, cuando las

unidades NAL no llevan la informacion DTQ explicita).

TABLA III

SINTAXIS DEL MENSAJE SEI DE INFORMACION DE ESCALABILIDAD

scalability_info( payloadSize ) {: c Descriptor

num_layers_minus1: 5 ue(v)

nal_unit_extension_flag: 5 u(1)

for( i = 0; i <= num_layers_minus1; i++ ) {

layer_id[ i ]: 5 u(8)

avc_compatible_flag[ i ]: 5 u(1)

fgs_layer_flag[ i ]: 5 u(1)

sub_pic_layer_flag[ i ]: 5 u(1)

sub_region_layer_flag[ i ]: 5 u(1)

profile_level_info_present_flag[ i ]: 5 u(1)

bitrate_info_present_flag[ i ]: 5 u(1)

frm_rate_info_present_flag[ i ]: 5 u(1)

frm_size_info_present_flag[ i ]: 5 u(1)

if (! avc_compatible_flag[ i ]) {

layer_dependency_info_present_flag[ i ]: 5 u(1)

}

init_parameter_sets_info_present_flag[ i ]: 5 u(1)

if (profile_level_info_present_flag[ i ]) {

layer_profile_idc[ i ]: 5 u(8)

layer_constraint_set0_flag[ i ]: 5 u(1)

layer_constraint_set1_flag[ i ]: 5 u(1)

layer_constraint_set2_flag[ i ]: 5 u(1)

layer_constraint_set3_flag[ i ]: 5 u(1)

reserved_zero_4bits /* equal to 0 */: 5 u(4)

layer_level_idc[ i ]: 5 u(8)

}

if(! avc_compatible_flag[ i ]) {

if (! nal_unit_extension_flag) {

priority_id[ i ]: 5 u(6)

}

temporal_level[ i ]: 5 u(3)

dependency_id[ i ]: 5 u(13)

quality_level[ i ]: 5 u(12)

}

if( bitrate_info_present_flag[ i ] ) {

avg_bitrate[ i ]: 5 u(16)

max_bitrate[ i ]: 5 u(16)

}

if( frm_rate_info_present_flag[ i ] ) {

constant_frm_rate_idc[ i ]: 5 u(12)

avg_frm_rate[ i ]: 5 u(16)

}


: ![ | ]i,snu|LU jes jejeiuejed ojd iunu => f lo = f )joj.

(A)en: S [ | ](,snu!LU_i0s_j0i0LUBjed_o!d_i!U! “iunu

(A)en: S [ f][ ! ]B^|0p_pj—^0S_JB^BLUBJBd-b0S_^jUj


: (++ (■[! ](,snu!LU_i0s_j0i0LUBJBd_b0s_iunu => f !o = ()J°i

(A)en: S [ | ][,snu!LU_i0s_j0i0LUBJBd_b0s_i!U! “iunu


: } ([! ]6B|i_iu0S0jd_oiursi0s_j0j0LUBJBd_i!U! )i!


: {

(A)en: S [ f][! ]B}|0p-prj0ABnu0pu0d0p-A|}O0J!p


: ( ++( l[ | ]sj0AB|-}U0pu0d0p-A|}O0J!p-iunu > f lo = f )jo^

(A)en: S [ | ]sj0AB|-}U0pu0d0p-A|}O0J!p-iunu


: {[(,](6e|i_iu0S0jd_oiurAou0pu0d0p_j0AB|):n

(e)n: S [ | ] P!_|oj


: ([ | ]6B|i_j0AB|_O!d_qns )i|


: {


: {

(9U)n: S [ | ]jh6!0H_uo!60J

(9U)n: S [ | ]hjp!M_uo!60J

(9U)n: S [ | ]}0sjio-|e!O!p0A

(9U)n: S [ | ]}0SyO-|B}UOZLIOH


: } ([! ]6B|i_jO0j_O!LUBuAp )i|

(l-)n: S [ | ]6B|i_JO0J_O!LUBUAp

(8)n: S [ | ]prj0AB|_uo!60j_0SBq


: } ([! ]6B|i_j0AB|_uo!60j_qns )i|


: {

(A)en: S [ | ](,snu!LU_sqiu_unq6!0q_LU4

(A)en: S [ | ](,snu!LU_sqiu_urqip!M_LU4


: } ([! ]6B|i_iU0S0jd_oiur0jBJ_LU4 )i|

910Z-U-W

l-St76SZZ03

5

10

15

20

25

30

35

40

45

50

J++)

init_pic_parameter_set_id_delta[i ][ j ]: 5 ue(v)

}

}

}

Los cambios correspondientes tambien son hechos a la interpretacion semantica de los elementos de sintaxis del mensaje SSEI (Seccion F.10.2.1, semanticas del mensaje SEI de informacion de escalabilidad, de la especificacion SVC JD5). Especlficamente, la restriccion de reemplazo de unidad de acceso IDR se retira. Adicionalmente, cuando esta presente, el mensaje SSEI tendra efecto para todas las unidades NAL que siguen y remplazan cualquiera y toda la informacion de escalabilidad previa efectiva para el flujo corriente. Las semanticas del mensaje son validas hasta que el siguiente mensaje SEI del tipo scalability_info, scalability_info_add, scalability_info_replace, o scalability_info_del. Las semanticas del nal_unit_extension_flag[i] son que el valor igual a 0 especifica que el mapeo del dependency_id[i ], temporal_level[ i ], y quality_id[ i ] a simple_priority_id[i] para la capa layer_id[i] se incluye en este mensaje SEI de informacion de escalabilidad. nal_unit_extension_flag igual a 1 especifica que el parametro simple_priority_id[i] no esta presente. Cuando el nal_unit_extension_flag no esta presente, se infiere que sea igual a 1. El elemento de sintaxis unitario NAL extension_flag de todas las unidades NAL con el nal_unit_type igual a 20 y 21 que sigue este mensaje SEI de informacion de escalabilidad debe ser igual a nal_unit_extension_flag. Cuando profile_idc no es igual a 83 (SVC de identificacion), el elemento de sintaxis extension_flag de las unidades NAL con nal_unit_type igual a 20 21 que referencia el conjunto de parametro de secuencia corriente sera igual a 1. Adicionalmente, el valor de nal_unit_extension_flag no se permite que sea diferente en cualquiera de los mensajes scalability_info_add o scalability_info_replace, a menos que se modifique primero por un mensaje scalability_info. Las semanticas del avc_compatible_flag[i] son aquellas de un valor igual a 1 especifican que la capa layer_id[i] se conforma a la especificacion AVC. Cuando el avc_compatible_flag[i] es igual a 0, la capa corriente se conforma a la especificacion SVC. Cuando el avc_compatible_flag[i] es igual a 1, el encabezado de la unidad NAL no lleva la informacion de encabezado extendida. Cuando el avc_compatible_flag es igual a 1, entonces los valores de dependency_id[i], temporal_level[i], y quality_level[i] para la capa i corriente se asume que es para todo 0. Las semanticas del priority_id[i] que este especifique el valor simple_priority_id a ser utilizado en el proceso de inferencia para los elementos de sintaxis dependency_id, temporal_level, y quality_level (como se especifico en la Seccion F.7.4.1 de la especificacion SVC JD5. Para todos los valores de priority_id[i], para los cuales el dependency_id[i], y temporal_level [i], y quality_level_list[i] no estan presentes, el dependency_id[i], el temporal_level[i], y el quality_level[i] se debe inferir que son iguales a 0. Finalmente, el temporal_level[i], dependency_id[i] y quality_level[i] son iguales al temporal_level, dependency_id y quality_level, respectivamente, de las unidades NaL en la capa escalable con el identificador de capa igual a i. Si el temporal_level[i], dependency_id[i], y quality_level[i] no estan presentes, se asume que son 0.

La sintaxis del Nuevo mensaje SEI “scalability_info_add” es identico al mensaje SEI “scalability_info”. En terminos de su semantica cuando esta presente, este mensaje SEI tendra efecto para todas las unidades NAL que siguen. Este agrega un numero de capas a la informacion de escalabilidad efectiva corrientemente. Si la layer_id de la capa descrita en este mensaje ya esta presente en la informacion de escalabilidad mantenida en el receptor, entonces la informacion completa de esa capa se suprime y la informacion contenida de este mensaje se utiliza en su lugar. El estado de informacion de escalabilidad efectivo despues de la aplicacion de este mensaje permanece valido hasta el siguiente mensaje SEI del tipo scalability_info, scalability_info_add, scalability_info_replace, o scalability_info_del. Las semanticas de todos los campos son identicas a scalability_info.

La sintaxis del Nuevo mensaje SEI “scalability_info_replace” es identica al mensaje “scalability_info”. En terminos de su semantica, cuando esta presente, este mensaje SEI tendra efecto para todas las unidades NAL que siguen. Este reemplaza la informacion para un numero de capas, como se especifico por su layer_id, en la informacion de escalabilidad corrientemente efectiva. Solamente la informacion contenida en el mensaje se remplaza; cualquier configuracion anterior que no se modifique por un mensaje dado permanece en efecto no modificada. El estado de informacion de escalabilidad efectivo despues de la aplicacion de este mensaje permanece valido hasta el siguiente mensaje SEI del tipo scalability_info, scalability_info_add, scalability_info_replace, o scalability_info_del. Las semanticas de todos los campos son identicas a scalability_info.

La Tabla IV muestra la sintaxis de ejemplo para el nuevo mensaje SEI “scalability_info_del”, de acuerdo con los principios de una realizacion de la presente invencion. Como se muestra en la tabla, el mensaje consiste de una lista de los id de las capas que no van a ser consideradas para retirar del flujo de bits. Cuando esta presente, este mensaje SEI tendra efecto para todas las unidades NAL que siguen. Este suprime la informacion para un numero de

5

10

15

20

25

30

35

40

capas, como se especifico por su layer_id, en la informacion de escalabilidad corrientemente efectiva. El estado de informacion de escalabilidad efectivo despues de la aplicacion de este mensaje permanece valido hasta que el siguiente mensaje SEI del tipo scalability_info, scalability_info_add, scalability_info_replace, o scalability_info_del. Las semanticas de todos los campos son identicas a las correspondientes en scalability_info.

TABLA IV

LA INFORMACION DE ESCALABILIDAD SUPRIME LA SINTAXIS DEL MENSAJE SEI

scalability_info_del( payloadSize ) {: c Descriptor

num_layers_minus1: 5 Ue(v)

for( i = 0; i <= num_layers_minus1; i++ ) {

layer_id[ i ]: 5 u(8)

}

}

La FIG. 2 muestra un diagrama de flujo de un algoritmo de procesamiento de estado de ejemplo 200 en la realizacion A. El estado de estructura de la capa inicial (Estado) del receptor esta vaclo. En la etapa 22, el receptor tiene mensajes SEI de informacion de escalabilidad, del flujo de datos o a traves de medios alternativos tales como la senalizacion. Un mensaje SEI obtenido scalability_info pude actuar como un mensaje SSEI de inicializacion y sirve para inicializar el Estado. Los mensajes SEI de info de escalabilidad similarmente obtenidos “add”, “delete”, y “replace” se pueden agregar, retirar, o modificar, respectivamente, del Estado corriente para una o mas capas. Se nota que las capas multiples se pueden afectar por cada uno de estos mensajes. Sin embargo, por claridad el diagrama de la Fig. 2 muestra el efecto sobre una capa (capa(i)).

En algunos de los sistemas de comunicacion o escenarios de comunicacion, la comunicacion del mensaje de informacion SSEI puede estar nunca dentro de la banda con los datos de video, pero siempre comunicado durante el establecimiento de la seccion, o a traves de otros de los medios de comunicacion confiables. Ya que los datos de video se pueden transportar sobre los canales con velocidades de perdida de paquete no 0, puede ser deseable asegurar que tal informacion crltica no este sujeta a la posibilidad de perdida.

Para tales sistemas de comunicacion o escenarios de comunicacion, en la solucion B de ejemplo de alternativa de la invention de presentation, la informacion de escalabilidad se puede establecer en el mensaje SEI scalability_info, u ofrecida durante la negotiation SDP o presente en la unidad de acceso IDR (por ejemplo en un formato de archivo). La informacion en tal mensaje SEI scalability_info establece la informacion de escalabilidad hasta el final de la secuencia, o hasta que es recibido otro mensaje SEI s cal a bi l ity_i nfo, o renegociado en el caso de SDP. En la informacion de escalabilidad no se permite cambiar durante ese tiempo excepto de las dependencias internas entre las capas. Una diferencia adicional en la solucion B de ejemplo con respecto a la realizacion A se relaciona con la manera en que se maneja el manejo de estado. En la realizacion A los cambios de estado son aplicados en una forma acumulativa, lo cual tiene el inconveniente de que la perdida de un mensaje simple podrla corromper la informacion de estado. En una solucion B de ejemplo alternativa, los cambios de estado son siempre aplicados con respecto al mensaje SEI scalability_info mas reciente, y los efectos de las perdidas no estan compuestos.

En la solucion B de Ejemplo, el mensaje SSEI “add” no se utiliza, mientras que el mensaje SSEI “delete” es renombrado “layers_notpresent” A “layers_notpresent”, el mensaje SSEI indica que una capa particular, y todas las capas dependientes, no estaran presentes en el flujo de bits que inician desde la unidad de acceso en la cual esta contenido el mensaje SEI. La indication de cuales capas no estan presentes es siempre efectuado con respecto al mensaje SEI corrientemente activo scalability_info. Se hace notar que un mecanismo conveniente para indicar que no se ha agregado una capa particular despues de que esta se ha retirado es transmitir un mensaje “layers_notpresent” que retire todas las capas corrientemente ausentes excepto la capa particular que se agrego. Como un ejemplo ilustrativo, se asume un flujo de datos que tiene 3 capas, numeradas 0, 1, y 2. Ademas se asume que despues de transmitir inicialmente todas las 3 capas, un servidor de medios transmite un mensaje “layers_notpresent” indicando que las capas 1 y 2 no estan presentes. En este caso, la capa 1 se puede agregar en un momento posterior al transmitir un mensaje “layers_notpresent” que indica que solamente la capa 2 no esta presente. Esto es, en efecto, indica que la capa 1 ha sido agregada. El servidor de medios (o entrada de medios)

puede iniciar transmitiendo la information de la capa 1 inmediatamente despues de transmitir este mensaje SEI “layers_notpresent”.

En la solution de Ejemplo B, el mensaje SSEI “replace” de la primera realization es cambiado al mensaje “dependency_change”. El mensaje SEI de cambio de dependencia de informacion de escalabilidad indica que la 5 dependencia de capa para un layer_id particular ha cambiado, y suministra una nueva informacion de dependencia de capa. La sintaxis para el mensaje SSEI de cambio de dependencia no permite otro cambio en la informacion asociada con la informacion de escalabilidad.

La Tabla V muestra la sintaxis de ejemplo para los nuevos tipos de carga util SEI alternativos scalability_info_layers_notpresent (nr. 26) y scalability_info_dependency_change (nr. 27), remplazando la sintaxis en 10 la Section D.1 en la especificacion SVC JD5. En contraste con la realizacion A, en la solucion B de ejemplo el mensaje SEI de informacion de escalabilidad se permite que este presente solamente en una fotografla IDR. Las semanticas del mensaje, con la exception de la informacion de dependencia de capa son validas hasta el siguiente mensaje SEI del mismo tipo.

TABLA V

TIPOS DE CARGA UTIL SEI ALTERNATIVOS

sei_payload( payloadType, payloadSize ) {: C Descriptor

if( payloadType = = 0 )

Buffering_period( payloadSize ): 5

else if( payloadType = = 1 )

etc.: 5

else if( payloadType = = 22 )

scalabilty_info( payloadSize) 5 /* especificado en el Anexo F */: 5

etc.

else if (payloadType == 26)

scalability_info_layers_notpresent(payloadSize) /* especificado en el Anexo F */: 5

else if (payloadType == 27)

scalability_info_dependency_change(payloadSize) /* especificado en el Anexo F */: 5

else

reserved_sei_message( payloadSize ): 5

if( !byte_aligned( ) ) {

bit_equal_to_one /* equal to 1 */: 5 f(1)

while( !byte_aligned( ) )

bit_equal_to_zero /* equal to 0 */: 5 f(1)

}

}

Las capas especificas se pueden indicar como inactivas (ya no presentes en el flujo de bits) con el mensaje SEI scalability_info_layers_notpresent . La sintaxis de ejemplo para este mensaje se muestra en la TABLA VI.

TABLA VI

MENSAJE SEI LAYERS-NOT-PRESENT DE INFORMACION DE ESCALABILIDAD

scalability_info_layers_notpresent( payloadSize ) {: C Descriptor

num_layers: 5 ue(v)

for( I = 0; i < num_layers; i++ ) {

layer_id[ i ]: 5 u(8)

}

}

5

Cuando esta presente, el mensaje SEI tendra efecto en todas las unidades NAL que siguen. El mensaje indica que las capas especificadas, como se indico por su layer_id, no estara presente en el flujo de bits. El estado de informacion de escalabilidad efectivo despues de la aplicacion de este mensaje permanece valido hasta que el siguiente mensaje SEI del tipo scalability_info o scalability_info_layers_notpresent. El num_layers indica el numero 10 de capas escalables o los puntos de presentacion que no estaran presentes en el flujo de bits despues de decodificar este mensaje SEI. El valor del num_layers esta en el alcance de 0 a 255, inclusive. Cuando el num_layers tiene el valor 0 este indica que todas las capas estan presentes. El layer_id[i] indica el identificador de la capa escalable que es indicado como no presente en el flujo de bits. El mensaje simplemente contiene una lista de las capas que estan identificadas como no presentes.

15 La TABLA VII muestra la sintaxis de ejemplo para el mensaje SEI scalability_info_dependency_change. Cuando esta presente, el mensaje SEI tendra efecto para todas las unidades Nal que siguen. La informacion de dependencia de capa para una capa particular consiste de la informacion que resulta de la decodificacion de los elementos de sintaxis num_directly_dependent_layer, directly_dependent_layer_id_delta_minus1, o alternativamente el Nuevo elemento de sintaxis layer_dependency_info_src_layer_id_delta_minus1. Este nuevo elemento le permite al Sistema 20 identificar el Id de capa de otra capa que tenga una informacion de dependencia de capa identica a la presente capa (al codificar la diferencia de id de capa menos 1).

TABLA VII

MENSAJE SEI DE CAMBIO DE DEPENDENCIA DE INFORMACION DE ESCALABILIDAD

scalability_info_dependency_change ( payloadSize ) {: C Descriptor

num_layers_minus1: 5 ue(v)

for( i = 0; i <= num_layers_minus1; i++ ) {

5

10

15

20

25

layer_id[ i ]: 5 u(8)

layer_dependency_info_present_flag[i]: 5 u(1)

if (layer_dependency_info_present_flag[ i ]) {

num_directly_dependent_layers[ i ]: 5 ue(v)

for ( j = 0; j < num_directly_dependent_layers[ i ]; j++ )

directly_dependent_layer_id_delta_minus1[ i ][ j ]: 5 ue(v)

} else {

layer_dependency_info_src_layer_id_delta_minus1: 5 ue(v)

[ i ]

}

}

}

El mensaje SEI scalability_info_dependency_change indica que la informacion de dependencia de capa para las capas especificadas, como se identificaron por layer_id, cambiaran tal como se especificaron por los contenidos de este mensaje. El estado de informacion de escalabilidad efectivo despues de la aplicacion de este mensaje permanece valido hasta el siguiente mensaje SEI del tipo scalability_info o scalability_info_dependency_change.

num_layers_minus1 mas 1 indica el numero de capas escalables o puntos de presentation para los cuales la informacion de dependencia de capa cambiara despues de decodificar este mensaje SEI. El valor del num_layers_minus1 esta en el alcance de 0 a 255, inclusive.

El layer_id[i] indica el identificador de la capa escalable para la cual la informacion de dependencia de capa cambiara.

El layer_dependency_info_present_flag[i] igual a 1 indica la presencia de la informacion de dependencia de capa para la capa escalable con el identificador de capa igual a layer_id[i] en el mensaje SEI. El valor 0 indica que la informacion de dependencia de capa para la capa escalable con el identificador de capa igual a i no esta presente en el mensaje SEI, y es el mismo que otra capa indicada por la layer_dependency_info_src_layer_id_delta_minus1[i].

num_directly_dependent_layers[i] indica el numero de capas escalables que la capa escalable con el identificador de capa igual a layer_id[i] del cual es directamente dependiente. Por ejemplo, la capa M es directamente dependiente de la capa Q si existe al menos una fotografla codificada en la capa M que utilice la prediction intercapa de la capa Q. El valor de num_directly_dependent_layers esta en el alcance de 0 a 255, inclusive.

directly_dependent_layer_id_delta_minus1[i][j] indica la diferencia entre layer_id[i] y el identificador de capa de la capa j esima escalable que la capa escalable con el identificador de capa igual a layer_id[i] de la que es directamente dependiente i. el identificador de capa de la capa escalable directamente dependiente es igual a (layer_id[i]_directly_dependent_layer_id_delta_minus1—1).

layer_dependency_info_src_layer_id_delta_minus1[i] especifica que la capa con el identificador de capa igual a layer_id[i] tiene la misma informacion de dependencia de capa ya que la capa con el identificador de capa es igual a (layer_id[i]—layer_dependency_info_src_layer_id_delta_minus1[i]—1).

La FIG. 3 muestra un diagrama de flujo de un algoritmo 300 de procesamiento de estado de ejemplo en la solution B de ejemplo. El estado de estructura de capa inicial (Estado) del receptor esta vaclo. En la etapa 33, el receptor obtiene mensajes SEI de informacion de escalabilidad, del flujo de datos o a traves de medios alternativos tales

5

10

15

20

25

30

35

40

45

como senalizacion. El mensaje SEI scalability_info actua como un mensaje SSEI de inicializacion y sirve para inicializar el estado. Los mensajes “layers_notpresent” y “dependency_change” marcan una o mas capas como no presentes, o modifican su informacion de dependencia de decodificacion respectivamente. Se debe notar que en esta solucion de ejemplo alternativa B, las capas no se agregan ni retiran mediante los mensaje de no inicializacion. Esto asegura consistencia de estado (con la posible exception de la dependencia de decodificacion), en tanto que los mensajes de inicializacion son confiablemente recibidos. Se hace notar que las multiples capas se pueden afectar por cada uno de estos mensajes. Sin embargo, para claridad el diagrama de la Fig. 3 como el diagrama de la Fig. 2 muestran el efecto sobre una capa simple capa (layer(i)).

Aunque la realization preferida descrita aqul el estandar H.264 SVC, no sera obvio para las personas expertas en la tecnica que las tecnicas descritas aqul se puedan aplicar directamente o extendidas a cualquier estructura de codification que permitan multiple espacial/calidad, y niveles temporales, para video o para audio, o para cualquier otros datos multimedia.

Tambien se entendera que los sistemas y metodos de la presente invention se pueden implementar utilizando cualquier combination adecuada de hardware y software. El software (es decir instrucciones) para implementar y operar los sistemas y metodos anteriormente mencionados se pueden suministrar en un medio lelble por ordenador, que pueden incluir sin limitacion, firmware, memoria, dispositivos de almacenamiento, microcontroladores, microprocesadores, circuitos integrados, ASICS, medios descargables en llnea y otros medios disponibles.

De acuerdo a un primer ejemplo, un decodificador de medios digitales que se configuran para procesar los datos de medios codificados comprende:

Datos de medios escalablemente codificados;

Datos de informacion de escalabilidad inicializantes; y

Cambios en los datos de informacion de escalabilidad inicializante con el tiempo,

En donde los datos de informacion de escalabilidad se utilizan para informar el decodificado acerca de la presencia y estructura de dependencia de las capas contenidas en los datos de medios codificados, y en donde los cambios a los datos de informacion de escalabilidad inicializantes son codificados en forma diferencial.

De acuerdo con un segundo ejemplo, el decodificador del primer ejemplo, en donde esta codificado el medio escalable de acuerdo al H.264 SVC, la informacion de escalabilidad inicializante es el mensaje SEI SVC scalability- _info, y en donde los cambios en la informacion de escalabilidad se aplican al decodificador de manera acumulativa.

De acuerdo a un tercer ejemplo, el decodificador del segundo ejemplo, en donde los cambios de la informacion de escalabilidad incluyen ademas un mensaje SEI scalability_info_add indicando que al menos se ha agregado una capa de escalabilidad al flujo de bits desde ese momento en adelante.

De acuerdo con un cuarto ejemplo, el decodificador del segundo ejemplo, en donde los cambios de informacion de escalabilidad incluyen ademas un mensaje SEI scalability_info_replace indicando que la informacion de escalabilidad para al menos una capa presente en el flujo de bit es remplazada con la informacion de escalabilidad contenida en dicho SEI scalability_info_replace desde ese momento en adelante,

Y en donde cualquier informacion de escalabilidad para una capa que no esta expllcitamente codificada en el mensaje SEI scalability_info_replace se asume para retener su valor previo.

De acuerdo a un quinto ejemplo, el decodificador del segundo ejemplo, en donde los cambios en la informacion de escalabilidad incluyen ademas un mensaje SEI scalability_info_deI indicando que al menos una capa es retirada del flujo de bits desde ese momento en adelante.

De acuerdo con un sexto ejemplo, el decodificador del segundo ejemplo, en donde los cambios en la informacion de escalabilidad pueden aparecer en cualquier unidad de acceso de la senal de video codificada.

De acuerdo con un septimo ejemplo, el decodificador del primer ejemplo, en donde los datos de medios escalables se codifican de acuerdo al H.264 SVC, la informacion de escalabilidad inicializante es el mensaje SVC SEI scalability_info, y en donde los cambios en la informacion de escalabilidad se aplican en el decodificador individualmente utilizando el mensaje SEI mas reciente scalability_info como una referencia.

De acuerdo con un octavo ejemplo, el decodificador del septimo ejemplo, en donde los cambios en la informacion de escalabilidad incluyen ademas un mensaje SEI scalability_info_layers_notpresent indicando que una o mas capas

5

10

15

20

25

30

35

40

45

de escalabilidad indican que la information de escalabilidad inicializante no esta presente en el flujo de bits desde ese momento en adelante.

De acuerdo a un noveno ejemplo, el decodificador del septimo ejemplo, en donde los cambios en la informacion de escalabilidad incluyen ademas un mensaje SEI scalability_info_dependency_change indicando que la informacion de dependencia de capa para al menos una capa indicada en la informacion de escalabilidad inicializante mas reciente es reemplazada con la informacion de dependencia de capa contenida en dicho mensaje SEI scalability_info_dependency_change desde ese momento en adelante.

De acuerdo con un decimo ejemplo, el decodificador del septimo ejemplo, en donde los cambios en la informacion de escalabilidad pueden aparecer en cualquier unidad de acceso de la senal de video codificada.

Un ejemplo decimoprimero, comprende un metodo para decodificar medios digitales en un decodificador, en donde los medios digitales incluyen datos de medios escalablemente codificados, datos de informacion escalablemente inicializante, y cambios en los datos de informacion de escalabilidad inicializante con el tiempo codificado en forma diferente, el metodo comprende:

utilizar datos de informacion de escalabilidad para informarle al decodificador acerca de la presencia y estructura de dependencia de las capas contenidas en los datos de los medios codificados.

De acuerdo a un decimosegundo ejemplo, el metodo del decimoprimer ejemplo, en donde los datos de los medios escalables se codifican de acuerdo al H.264 SVC, la informacion de escalabilidad inicializante en el mensaje SEI SVC scalability_info, el metodo ademas comprende aplicar los cambios en la informacion de escalabilidad en el decodificador de manera acumulativa.

De acuerdo a un decimotercero ejemplo, el metodo del decimosegundo ejemplo, en donde los cambios en la informacion de escalabilidad incluyen ademas un mensaje SEI scalability_info_add, indicando que al menos una capa de escalabilidad se agrega al flujo de los bits desde ese momento en adelante.

De acuerdo a un decimocuarto ejemplo, el metodo del decimosegundo ejemplo, en donde los cambios de la informacion de escalabilidad incluyen ademas el mensaje SEI scalability_info_replace indicando que la informacion de escalabilidad para al menos una capa presente en el flujo de bits es reemplazada con la informacion de escalabilidad contenida en dicho SEI scalability_info_replace desde ese momento en adelante,

El metodo comprende ademas:

Asumir que cualquier informacion de escalabilidad para una capa que no esta expllcitamente codificada en el mensaje SEI scalability_info_replace retiene su valor previo.

De acuerdo a un decimoquinto ejemplo, el metodo del decimosegundo ejemplo, en donde los cambios en la informacion de escalabilidad incluyen ademas un mensaje SEI scalability_info_deI indicando que al menos una capa se retira del flujo de bits desde ese momento en adelante.

De acuerdo a un decimosexto ejemplo, el metodo del ejemplo decimosegundo, en donde los cambios de la informacion de escalabilidad pueden aparecer en cualquier unidad de acceso de la senal de video codificada.

De acuerdo a un decimoseptimo ejemplo, el metodo del ejemplo decimoprimero, en donde los datos de los medios escalables se codifican de acuerdo al H.264 SVC, y la informacion de escalabilidad inicializante es el mensaje SEI SVC scalability_info, el metodo ademas comprende:

Aplicar los cambios a la informacion de escalabilidad en el decodificador individualmente y utilizando el mensaje SEI scalability_info mas reciente como una referencia.

De acuerdo a un decimoctavo ejemplo, el metodo del decimoseptimo ejemplo, en donde los cambios en la informacion de escalabilidad incluyen ademas un mensaje SEI scalability_info_layers_notpresent indicando que una o mas capas de escalabilidad indicadas en la informacion de escalabilidad inicializante no estan presentes en el flujo de bits desde ese momento en adelante.

De acuerdo a un decimonoveno ejemplo, el metodo del ejemplo decimoseptimo, en donde los cambios en la informacion de escalabilidad incluyen ademas un mensaje SEI scalability_info_dependency_change indicando que la informacion de dependencia de capa para al menos una capa indicada en la informacion de escalabilidad inicializante mas reciente es reemplazada con la informacion de dependencia de capa contenida en dicho mensaje SEI scalability_info_dependency_change desde ese momento en adelante.

De acuerdo con un vigesimo ejemplo, el metodo del ejemplo decimoseptimo, en donde los cambios de informacion de escalabilidad pueden aparecer en cualquier unidad de acceso de la senal de video codificada.

De acuerdo a un ejemplo vigesimoprimero, el medio lelble por ordenador comprende un conjunto de instrucciones para efectuar las etapas citadas en al menos uno de los ejemplos previos.

Claims

REIVINDICACIONES

1. Un metodo para decodificar medios digitales, en donde los medios digitales incluyen datos de video escalablemente codificados y datos de informacion de escalabilidad que incluyen datos de informacion de escalabilidad inicializante en el mensaje de informacion de mejoramiento suplementario de informacion de

5 escalabilidad (SSEI) y al menos un cambio en dichos datos de informacion de escalabilidad inicializante con el tiempo, el metodo comprende:

en un decodificador, utilizar los datos de informacion de escalabilidad para informarle al decodificador acerca de la presencia y estructura de dependencia de las capas contenidas en los datos de video codificados creando de esta manera una estructura de informacion SSEI, en donde al menos un cambio en los datos de informacion de 10 escalabilidad inicializante indica que al menos uno de:

al menos una capa de escalabilidad se agrega al flujo de bits desde ese momento en adelante, codificado en un mensaje (SEI) de informacion de mejoramiento suplementario scalability_info_add que agrega al menos una capa de escalabilidad a la estructura de informacion SSEI,

al menos una capa de escalabilidad se retira del flujo de bits desde ese momento en adelante codificada en un 15 mensaje SSEI scalability_info_delete que suprime al menos una capa de escalabilidad desde la estructura de informacion SSEI, o la informacion de escalabilidad para al menos una capa presente en el flujo de bits es reemplazada con la informacion de escalabilidad contenida en el mensaje SEI de remplazo scalability_info que contiene los cambios para iniciar los datos de informacion de escalabilidad desde ese momento en adelante, en donde el mensaje SEI de remplazo scalability_info reemplaza la al menos una capa de la estructura de informacion 20 SSEI,

en donde cualquiera de los datos de informacion de escalabilidad para una capa que no esta expllcitamente codificada en los cambios para inicializar los datos de informacion de escalabilidad se asume que retiene el valor previo de los datos de informacion de escalabilidad, y en donde los datos de video escalables se codifican de acuerdo a la codificacion de video escalable (SVC) H. 264, el metodo ademas comprende aplicar los cambios a la 25 informacion de escalabilidad en el decodificador acumulativamente.
2. El metodo de la reivindicacion 1, en donde los cambios de la informacion de escalabilidad pueden aparecer en cualquier unidad de acceso de la senal de video codificada.
3. Un sistema que comprende:

Un dispositivo decodificador de medio digital configurado para procesar datos de medios codificados, los datos de 30 medios codificados comprenden, en el mensaje de informacion de mejoramiento suplementario de informacion de escalabilidad (SSEI):

datos de video escalablemente codificados; datos de informacion de escalabilidad inicializante; y

al menos un cambio en dichos datos de informacion de escalabilidad inicializante con el tiempo,

35 en donde los datos de informacion de escalabilidad se utilizan para informarle al dispositivo decodificante acerca de la presencia y estructura de dependencia de las capas contenidas en los datos de video codificados creando una estructura de informacion SSEI, y el al menos un cambio en la informacion de escalabilidad indica que al menos una de:

al menos una capa de escalabilidad se agrega en el flujo de bits desde ese momento en adelante, codificado en un 40 mensaje de informacion de mejoramiento suplementario (SEI) escalability_info_add que agrega al menos una capa de escalabilidad a la estructura de informacion SSEI,

al menos una capa de escalabilidad se retira del flujo de bits desde ese momento en adelante codificada en un mensaje SEI scalability_info_delete que suprime al menos una capa de escalabilidad desde la estructura de informacion SSEI, o

45 la informacion de escalabilidad para al menos una capa presente en el flujo de bits es reemplazada con la informacion de escalabilidad contenida en un mensaje SSEI de remplazo scalability_info que contiene los cambios para inicializar los datos de informacion de escalabilidad desde ese momento en adelante, en donde el mensaje SEI de remplazo scalability_info reemplaza la al menos una capa de la estructura de informacion SSEI,

en donde cualquier informacion de escalabilidad para una capa que no esta expilcitamente codificada en los cambios de la informacion de escalabilidad se asume por retener el valor previo de informacion de escalabilidad, y

en donde los datos de video escalables se codifican de acuerdo a la codificacion de video escalable H.264 (SVC), y en donde los cambios de la informacion de escalabilidad se aplican en el dispositivo de decodificacion de manera 5 acumulativa.
4. El sistema de la reivindicacion 3, en donde los cambios en la informacion de escalabilidad pueden aparecer en cualquier unidad de acceso de la senal de video codificada.
5. Un medio no transitorio lelble por ordenador que comprende un conjunto de instrucciones ejecutables para dirigir un procesador para efectuar el metodo de las reivindicaciones 1 o 2.