BR122012013078B1

BR122012013078B1 - Método para processamento de codificação de vídeo de múltiplas vistas

Info

Publication number: BR122012013078B1
Application number: BR122012013078-8A
Authority: BR
Inventors: Linhua Zhu; Jiancong Luo; Peng Yin; Jiheng Yang
Original assignee: Dolby International Ab
Priority date: 2007-04-18
Filing date: 2008-04-07
Publication date: 2020-09-15
Also published as: EP2528340A1; JP2013062866A; JP5317247B2; EP4054201A1; KR20150061009A; KR101663438B1; CN102685556B; TW201306589A; TWI530196B; TW201618542A; US20100195738A1; CN102685557A; TWI599228B; KR101777706B1; KR101393169B1; JP6180495B2; BRPI0810366A2; KR20150068481A; JP2012199999A; EP2533545B1

Abstract

método para processamento de codificação de vídeo de múltiplas vistas. em uma implementação, uma estrutura de conjunto de parâmetros de sequência suplementar ("sps") é fornecida que tem seu próprio tipo de unidade de camada de abstração de rede ("nal") e permite a transmissão de parâmetros dependentes de camada para camadas não base em um ambiente svc. a estrutura sps suplementar pode ser utilizada também para visualizar informações em um ambiente mvc. em um aspecto geral, uma estrutura é fornecida que inclui (1) informações (1410) a partir de uma unidade nal sps, as informações descrevendo um parâmetro para uso na decodificação de uma codificação de primeira camada de uma sequência de imagens, e (2) informações (1420) a partir de uma unidade nal sps suplementar tendo uma estrutura diferente da unidade nal sps, e as informações a partir da unidade nal sps suplementar descrevendo um parâmetro para uso na decodificação de uma codificação de segunda camada da sequência de imagens. métodos e aparelhos associados são fornecidos nos lados de codificador e decodificador, bem com para o sinal.

Description

Dividido do PI 0810366-6, depositado em 07/04/2008. Referência remissiva a pedidos relacionados

Esse pedido reivindica o benefício de cada um de e pelo presente incorpora a título de referência para todas as finalidades na íntegra cada um de: (1) pedido provisional US número de série 60/923.993, intitulado “Supplemental Sequence parameter set for scalable video coding ou multi-view view coding,” e depositado em 18 de abril de 2007 (número de referência do advogado PU070101) e (2) pedido de patente US número de série 11/824.006, intitulado “Supplemental sequence parameter set for scalable video coding or multi-view video coding,” e depositado em 28 de junho de 2007 (número de referência do advogado PA070032).

Campo técnico

Pelo menos uma implementação refere-se à codificação e decodificação de dados de vídeo em um modo escalonável.

Antecedentes

A codificação de dados de vídeo, de acordo com várias camadas, pode ser útil quando terminais para os quais os dados são destinados, têm capacidades diferentes e portanto não decodificam um fluxo total de dados porém somente parte de um fluxo total de dados. Quando os dados de vídeo são codificados de acordo com várias camadas em um modo escalonável, o terminal de recepção pode extrair do fluxo de bits recebido uma porção dos dados, de acordo com o perfil do terminal. Um fluxo total de dados também pode transmitir informações overhead para cada camada suportada, para facilitar decodificação de cada uma das camadas em um terminal.

Sumário

De acordo com um aspecto geral, informações são acessadas a partir de uma unidade de camada de abstração de rede (“NAL”) de conjunto de parâmetros de sequência (“SPS”). As informações descrevem um parâmetro para uso na decodificação de uma codificação de primeira camada de uma sequência de imagens. Informações também são acessadas a partir de uma unidade NAL SPS suplementar tendo uma estrutura diferente da unidade NAL SPS. As informações da unidade NAL SPS suplementar descrevem um parâmetro para uso na decodificação de codificação de uma segunda camada da sequência de imagens. Uma decodificação da sequência de imagens é gerada com base na codificação de primeira camada, codificação de segunda camada, as informações acessadas a partir da unidade NAL SPS, e as informações acessadas a partir da unidade NAL SPS suplementar.

De acordo com outro aspecto geral, uma estrutura de sintaxe é utilizada que provê decodificação de uma sequência de imagens em múltiplas camadas. A estrutura de sintaxe inclui sintaxe para uma unidade NAL SPS que inclui informações descrevendo um parâmetro para uso na decodificação de uma codificação de primeira camada de uma sequência de imagens. A estrutura de sintaxe também inclui sintaxe para uma unidade NAL SPS suplementar tendo uma estrutura diferente da unidade NAL SPS. A unidade NAL SPS suplementar inclui informações que descrevem um parâmetro para uso na decodificação de codificação de uma segunda camada da sequência de imagens. Uma decodificação da sequência de imagens pode ser gerada com base na codificação de primeira camada, codificação de segunda camada, informações a partir da unidade NAL SPS, e informações a partir da unidade NAL SPS suplementar.

De acordo com outro aspecto geral, um sinal é formatado para incluir informações a partir de uma unidade NAL SPS. As informações descrevem um parâmetro para uso na de-codificação de uma codificação de primeira camada de uma sequência de imagens. O sinal é adicionalmente formatado para incluir informações a partir de uma unidade NAL SPS su-plementar tendo uma estrutura diferente da unidade NAL SPS. As informações a partir da unidade NAL SPS suplementar descrevem um parâmetro para uso na decodificação de uma codificação de segunda camada da sequência de imagens.

De acordo com outro aspecto geral, uma unidade NAL SPS é gerada que inclui in-formações descrevendo um parâmetro para uso na decodificação de uma codificação de primeira camada de uma sequência de imagens. Uma unidade NAL SPS suplementar é gerada que tem uma estrutura diferente da unidade NAL SPS. A unidade NAL SPS suplementar inclui informações que descrevem um parâmetro para uso na decodificação de uma codificação de segunda camada da sequência de imagens. Um conjunto de dados é fornecido que inclui a codificação de primeira camada da sequência de imagens, a codificação de segunda camada da sequência de imagens, a unidade NAL SPS, e a unidade NAL SPS.

De acordo com outro aspecto geral, uma estrutura de sintaxe é utilizada que provê codificação de uma sequência de imagens em múltiplas camadas. A estrutura de sintaxe inclui sintaxe para uma unidade NAL SPS. A unidade NAL SPS inclui informações que descrevem um parâmetro para uso na decodificação de uma codificação de primeira camada de uma sequência de imagens. A estrutura de sintaxe inclui sintaxe para uma unidade NAL SPS suplementar. A unidade NAL SPS suplementar tem uma estrutura diferente da unidade NAL SPS. A unidade NAL SPS suplementar inclui informações que descrevem um parâmetro para uso na decodificação de uma codificação de segunda camada da sequência de imagens. Um conjunto de dados pode ser fornecido que inclui a codificação de primeira camada da sequência de imagens, a codificação de segunda camada da sequência de imagens, a unidade NAL SPS, e a unidade NAL SPS suplementar.

De acordo com outro aspecto geral, as informações dependentes de primeira camada são acessadas em um primeiro conjunto de parâmetros normativos. As informações dependentes de primeira camada acessadas são para uso na decodificação de uma codificação de primeira camada de uma sequência de imagens. As informações dependentes de segunda camada são acessadas em um segundo conjunto de parâmetros normativos. O segundo conjunto de parâmetros normativos tem uma estrutura diferente do primeiro conjunto de parâmetros normativos. As informações dependentes de segunda camada acessadas são para uso na decodificação de uma codificação de segunda camada da sequência de imagens. A sequência de imagens é decodificada com base em uma ou mais das informações dependentes de primeira camada acessadas ou informações dependentes de segunda camada acessadas.

De acordo com outro aspecto geral, um primeiro conjunto de parâmetros normativos é gerado que inclui informações dependentes de primeira camada. As informações dependentes de primeira camada são para uso na decodificação de uma codificação de primeira camada de uma sequência de imagens. Um segundo conjunto de parâmetros normativo é gerado tendo uma estrutura diferente do primeiro conjunto de parâmetros normativos. O segundo conjunto de parâmetros normativos inclui informações dependentes de segunda camada para uso na decodificação de uma codificação de segunda camada da sequência de imagens. Um conjunto de dados é fornecido que inclui o primeiro conjunto de parâmetros normativos e o segundo conjunto de parâmetros normativos.

Os detalhes de uma ou mais implementações são expostos nos desenhos em anexo e descrição abaixo. Mesmo se descrito em um modo específico, deve ser evidente que implementações podem ser configuradas ou incorporadas de várias maneiras. Por exemplo, uma implementação pode ser executada como um método, ou incorporada como um aparelho como, por exemplo, um aparelho configurado para executar um conjunto de operações ou um aparelho que armazena instruções para executar um conjunto de operações, ou incorporado em um sinal. Outros aspectos e características tornar-se-ão evidentes a partir da seguinte descrição detalhada considerada em combinação com os desenhos em anexo e reivindicações.

Breve descrição dos desenhos

A figura 1 é um diagrama de blocos para uma implementação de um codificador.

A figura 1a é um diagrama de blocos para outra implementação de um codificador. A figura 2 é um diagrama de blocos para uma implementação de um decodificador.

A figura 2a é um diagrama de blocos para outra implementação de um decodificador.

A figura 3 é uma estrutura de uma implementação de uma unidade de Camada de abstração de rede (“NAL”) de conjunto de parâmetros de sequência de camada única (“SPS”).

A figura 4 é uma vista de bloco de um exemplo de porções de um fluxo de dados que ilustra uso de uma unidade NAL SPS.

A figura 5 é uma estrutura de uma implementação de uma unidade NAL SPS su-plementar (“SPS SUP”).

A figura 6 é uma implementação de uma hierarquia organizacional entre uma unidade SPS e múltiplas unidades SPS SUP.

A figura 7 é uma estrutura de outra implementação de uma unidade NAL SPS SUP.

A figura 8 é uma vista funcional de uma implementação de um codificador de vídeo escalonável que gera unidades SPS SUP.

A figura 9 é uma vista hierárquica de uma implementação da geração de um fluxo de dados que contém unidades SPS SUP.

A figura 10 é uma vista de blocos de um exemplo de um fluxo de dados gerado pela implementação da figura 9.

A figura 11 é um diagrama de blocos de uma implementação de um codificador.

A figura 12 é um diagrama de blocos de outra implementação de um codificador.

A figura 13 é um fluxograma de uma implementação de um processo de codificação utilizado pelos codificadores das figuras 11 ou 12.

A figura 14 é uma vista de blocos de um exemplo de um fluxo de dados gerado pelo processo da figura 13.

Afigura 15 é um diagrama de blocos de uma implementação de um decodificador.

Afigura 16 é um diagrama de blocos de outra implementação de um decodificador.

A figura 17 é um fluxograma de uma implementação de um processo de decodificação utilizado pelos decodificadores das figuras 15 ou 16.

Descrição detalhada

Vários padrões de codificação de vídeo existem atualmente que podem codificar dados de vídeo de acordo com diferentes camadas e/ou perfis. Entre eles, pode-se citar H.264/MPEG-4 AVC (o “padrão AVC”) também referenciado como a recomendação H.264 da International Organization for Standardization/lnternational Electrotechnical Commission (ISO/IEC) Moving Picture Experts Group-4 (MPEG-4) parte 10 padrão Advanced Video Coding (AVC)Zlnternational Telecommunication Union, Telecommunication Sector (ITU-T). Adi- cionalmente, extensões do padrão AVC existem. Uma primeira tal extensão é uma extensão de codificação de vídeo escalonável (“SVC”) (Anexo G) mencionada como extensão de codi-ficação de vídeo escalonável, H.264/MPEG-4 AVC (a “extensão SVC”). Uma segunda tal extensão é uma extensão de codificação de vídeo de múltiplas vistas (“MVC”)(Anexo H) mencionado como extensão MVC, H.264/MPEG-4 AVC (a “extensão MVC”).

Pelo menos uma implementação descrita nessa revelação pode ser utilizada com o padrão AVC bem como as extensões MVC e SVC. A implementação provê uma unidade de camada de abstração de rede (“NAL”) de conjunto de parâmetros de sequência (“SPS”) su- plementar (“SUP”) tendo um tipo de unidade NAL diferente das unidades NAL SPS. Uma unidade SPS inclui, tipicamente, porém não necessita, informações para pelo menos uma camada única. Além disso, a unidade NAL SPS SUP inclui informações dependentes de camada para pelo menos uma camada adicional. Desse modo, por acessar unidades SPS SUP e SPS, um decodificador tem certas informações dependentes de camada (e tipicamente todas) disponíveis necessárias para decodificar um fluxo de bits.

Utilizando essa implementação em um sistema AVC, as unidades NAL SPS SUP não necessitam ser transmitidas, e uma unidade NAL SPS de camada única (como descrito abaixo) pode ser transmitida. Utilizando essa implementação em um sistema SVC (ou MVC), a(s) unidade(s) NAL SPS SUP podem ser transmitidas para as camadas (ou vistas) adicionais desejadas, além de uma unidade NAL SPS. Utilizando essa implementação em um sistema que inclui tanto decodificadores compatíveis com AVC como decodificadores compatíveis com SVC (ou compatíveis com MVC), os decodificadores compatíveis com AVC podem ignorar as unidades NAL SPS SUP por detectar o tipo de unidade NAL. Em cada caso, eficiência e compatibilidade são obtidas.

A implementação acima também provê benefícios para sistemas (padrões ou de outro modo) que impõem uma exigência de que certas camadas compartilhem informações de cabeçalho, como, por exemplo, um SPS ou informação específica tipicamente contida em um SPS. Por exemplo, se uma camada base e suas camadas temporais compósitas necessitarem compartilhar um SPS, então as informações dependentes de camada não podem ser transmitidas com o SPS compartilhado. Entretanto, o SPS SUP provê um mecanismo para transmitir as informações dependentes de camada.

O SPS SUP de várias implementações também fornece uma vantagem de eficiência em que o SPS SUP não necessita incluir, e portanto repetir, todos os parâmetros no SPS. O SPS SUP será tipicamente focalizado nos parâmetros dependentes de camada. Entretanto, várias implementações incluem uma estrutura SPS SUP que inclui parâmetros não dependentes de camada, ou mesmo repete tudo de uma estrutura SPS.

Várias implementações se referem à extensão SVC. A extensão SVC propõe a transmissão de dados de vídeo de acordo com vários níveis espaciais, níveis temporais, e níveis de qualidade. Para um nível espacial, pode-se codificar de acordo com vários níveis temporais, e para cada nível temporal de acordo com vários níveis de qualidade. Portanto, quando são definidos m níveis espaciais, n níveis temporais, e 0 níveis de qualidade, os dados de vídeo podem ser codificados de acordo com combinações diferentes m*n*0. Essas combinações são mencionadas como camadas, ou como pontos de interoperabilidade (“IOPS”). De acordo com as capacidades do decodificador (também mencionado como o receptor do cliente), diferentes camadas podem ser transmitidas até uma certa camada que corresponde ao máximo das capacidades do cliente.

Como utilizado aqui, informações “dependentes de c,amada” se referem a informações que se referem especificamente a uma camada única. Isto é, como o nome sugere, as informações dependem da camada específica. Tais informações não necessitam variar ne-cessariamente de camada para camada, porém seriam tipicamente fornecidas separadamente para cada camada.

Como utilizado aqui, “sintaxe de nível elevado” se refere à sintaxe presente no fluxo de bits que reside hierarquicamente acima da camada de macroblocos. Por exemplo, sintaxe de nível elevado, como utilizado aqui, pode se referir a, porém não é limitado a, sintaxe no nível de cabeçalho de fatia, nível de informações de Intensificação suplementar (SEI), nível de Conjunto de Parâmetros de imagem (PPS), nível de Conjunto de parâmetros de sequência (SPS) e nível de cabeçalho de unidade de Camada de abstração de rede (NAL).

Com referência à figura 1, um codificador SVC exemplar é indicado genericamente pelo numeral de referência 100. O codificador SVC 100 também pode ser utilizado para co-dificação AVC, isto é, para uma camada única (por exemplo, camada base). Além disso, o codificador SVC 100 pode ser utilizado para codificação MVC como uma pessoa com co-nhecimentos na técnica reconhecerá. Por exemplo, vários componentes do codificador SVC 100, ou variações desses componentes, podem ser utilizados na codificação de múltiplas vistas.

Uma primeira saída de um módulo de decomposição temporal 142 é conectada em comunicação de sinal com uma primeira entrada de uma intrapredição para módulo de in-trabloco 146. Uma segunda saída do módulo de decomposição temporal 142 é conectada em comunicação de sinal com uma primeira entrada de um módulo de codificação de movimento 144. Uma saída da intrapredição para módulo de intrabloco 146 é conectada em comunicação de sinal com uma entrada de um codificador de entropia/transformação (relação de sinal para ruído (SNR) escalonável) 149. Uma primeira saída do codificador de entropia/transformação 149 é conectada em comunicação de sinal com uma primeira entrada de um multiplexor 170.

Uma primeira saída de um módulo de decomposição temporal 132 é conectada em comunicação de sinal com uma primeira entrada de uma intrapredição para módulo de in-trabloco 146. Uma segunda saída do módulo de decomposição temporal 132 é conectada em comunicação de sinal com uma primeira entrada de um módulo de codificação de movimento 134. Uma saída da intrapredição para módulo de intrabloco 136 é conectada em comunicação de sinal com uma entrada de um codificador de entropia/transformação (relação de sinal para ruído (SNR) escalonável) 139. Uma primeira saída do codificador de entropia/transformação 139 é conectada em comunicação de sinal com uma primeira entrada de um multiplexor í 70.

Uma segunda saída do codificador de entropia/transformação 149 é conectada em comunicação de sinal com uma entrada de um módulo de interpolação espacial 2D 138. Uma saída de módulo de interpolação espacial 2D 138 é conectada em comunicação de sinal com uma segunda entrada da intrapredição para módulo de intrabloco 136. Uma segunda saída do módulo de codificação de movimento 144 é conectada em comunicação de sinal com uma entrada do módulo de codificação de movimento 134.

Uma primeira saída de um módulo de decomposição temporal 122 é conectada em comunicação de sinal com uma primeira entrada de um meio de intrapredição 126. Uma segunda saída do módulo de decomposição temporal 122 é conectada em comunicação de sinal com uma primeira entrada de um módulo de codificação de movimento 124. Uma saída do intrapreditor 126 é conectada em comunicação de sinal com uma entrada de um codificador de entropia/transformação (relação de sinal para ruído (SNR) escalonável) 129. Uma saída do codificador de entropia/transformação 129 é conectada em comunicação de sinal com uma primeira entrada de um multiplexor 170.

Uma segunda saída do codificador de entropia/transformação 139 é conectada em comunicação de sinal com uma entrada de um módulo de interpolação espacial 2D 128. Uma saída de módulo de interpolação espacial 2D 128 é conectada em comunicação de sinal com uma segunda entrada do módulo intrapreditor 126. Uma segunda saída do módulo de codificação de movimento 134 é conectada em comunicação de sinal com uma entrada do módulo de codificação de movimento 124.

Uma primeira saída do módulo de codificação de movimento 124, uma primeira saída do módulo de codificação de movimento 134, e uma primeira saída do módulo de codificação de movimento 144 são individualmente conectadas em comunicação de sinal com uma segunda entrada do multiplexor 170.

Uma primeira saída de um módulo de decimação espacial 2D 104 é conectado em comunicação de sinal com uma entrada do módulo de decomposição temporal 132. Uma segunda saída do módulo de decimação espacial 2D 104 é conectada em comunicação de sinal com uma entrada do módulo de decomposição temporal 142.

Uma entrada do módulo de decomposição temporal 122 e uma entrada do módulo de decimação espacial 2D 104 são disponíveis como entradas do codificador 100, para receber vídeo de entrada 102.

Uma saída do multiplexor 170 é disponível como uma saída do codificador 100, para fornecer um fluxo de bits 180.

O módulo de decomposição temporal 122, o módulo de decomposição temporal 132, o módulo de decomposição temporal 142, o módulo de codificação de movimento 124, o módulo de codificação de movimento 134, o módulo de codificação de movimento 144, o intrapreditor 126, o intrapreditor 136, o intrapreditor 146, o codificador de entropia/transformação 129, o codificador de entropia/transformação 139, o codificador de entro- pia/transformação 149, o módulo de interpolação espacial 2D 128, e o módulo de interpolação espacial 2D 138 são incluídos em uma porção de codificador de núcleo 187 do codificador 100.

A figura 1 inclui três codificadores de núcleo 187. Na implementação mostrada, o codificador de núcleo mais inferior 187 pode codificar uma camada base, com os codificadores de núcleo médio e superior 187 codificando camadas mais elevadas.

Voltando para a figura 2, um decodificador SVC exemplar é indicado genericamente pelo numeral de referência 200. O decodificador SVC 200 também pode ser utilizado para decodificação AVC, isto é, para uma vista única. Além disso, o decodificador SVC 200 pode ser utilizado para decodificação de MVC como uma pessoa com conhecimentos comuns na técnica reconhecerá. Por exemplo, vários componentes do decodificador de SVC 200, ou variações desses componentes, podem ser utilizados na decodificação de múltiplas vistas.

Observe que o codificador 100 e decodificador 200, bem como outros codificadores e decodificadores discutidos nessa revelação, podem ser configurados para executar vários métodos mostrados em toda essa revelação. Além de executar operações de codificação, os codificadores descritos nessa revelação podem executar várias operações de decodificação durante um processo de reconstrução para espelhar as ações esperadas de um decodificador. Por exemplo, um codificador pode decodificar unidades SPS SUP para decodificar dados de vídeo codificados para produzir uma reconstrução dos dados de vídeo codificados para uso na previsão de dados de vídeo adicionais. Consequentemente, um codificador pode executar substancialmente todas as operações que são executadas por um decodificador.

Uma entrada de um demultiplexor 202 é disponível como uma entrada para o deco-dificador de vídeo escalonável 200, para receber um fluxo de bits escalonável. Uma primeira saída do demultiplexor 202 é conectada em comunicação de sinal com uma entrada de um decodificador de entropia escalonável SNR de transformada inversa especial, 204. Uma primeira saída do decodificador de entropia escalonável SNR de transformada inversa espacial 204 é conectada em comunicação de sinal com uma primeira entrada de um módulo de predição 206. Uma saída do módulo de predição 206 é conectada em comunicação de sinal com uma primeira entrada de um combinador 230.

Uma segunda saída do decodificador de entropia escalonável SNR de transformada inversa espacial 204 é conectada em comunicação de sinal com uma primeira entrada de um decodificador de vetor de movimento (MV) 210. Uma saída do decodificador de MV 210 é conectada em comunicação de sinal com uma entrada de um compensador de movimento 232. Uma saída do compensador de movimento 232 é conectada em comunicação de sinal com uma segunda entrada do combinador 230.

Uma segunda saída do demultiplexor 202 é conectada em comunicação de sinal com uma entrada de um decodificador de entropia escalonável SNR de transformada inversa espacial 212. Uma primeira saída do decodificador de entropia escalonável SNR de transformada inversa espacial 212 é conectada em comunicação de sinal com uma primeira entrada de um módulo de predição 214. Uma primeira saída do módulo de predição 214 é conectada em comunicação de sinal com uma entrada de um módulo de interpolação 216. Uma saída do módulo de interpolação 216 é conectada em comunicação de sinal com uma segunda entrada do módulo de predição 206. Uma segunda saída do módulo de predição 214 é conectada em comunicação de sinal com uma primeira entrada de um combinador 240.

Uma segunda saída do decodificador de entropia escalonável SNR de transformada inversa espacial 212 é conectada em comunicação de sinal com uma primeira entrada de um decodificador MV 220. Uma primeira saída do decodificador MV 220 é conectada em comunicação de sinal com uma segunda entrada do decodificador MV 210. Uma segunda saída do decodificador MV 220 é conectada em comunicação de sinal com uma entrada de um compensador de movimento 242. Uma saída do compensador de movimento 242 é conectada em comunicação de sinal com uma segunda entrada do combinador 240.

Uma terceira saída do demultiplexor 202 é conectada em comunicação de sinal com uma entrada de um decodificador de entropia escalonável SNR de transformàda inversa espacial 222. Uma primeira saída do decodificador de entropia escalonável SNR de transformada inversa espacial 222 é conectada em comunicação de sinal com uma entrada de um módulo de predição 224. Uma primeira saída do módulo de predição 224 é conectada em comunicação de sinal com uma entrada de um módulo de interpolação 226. Uma saída do módulo de interpolação 226 é conectado em comunicação de sinal com uma segunda entrada do módulo de predição 214.

Uma segunda saída do módulo de predição 224 é conectado em comunicação de sinal com uma primeira entrada de um combinador 250. Uma segunda saída do decodificador de entropia escalonável SNR de transformada inversa espacial 222 é conectado em comunicação de sinal com uma entrada do decodificador MV 230. Uma primeira saída do decodificador MV 230 é conectada em comunicação de sinal com uma segunda entrada do decodificador MV 220. Uma segunda saída do decodificador MV 230 é conectada em comunicação de sinal com uma entrada de um compensador de movimento 252. Uma saída do compensador de movimento 252 é conectada em comunicação de sinal com uma segunda entrada do combinador 250.

Uma saída do combinador 250 é disponível como uma saída do decodificador 200, para transmitir um sinal de camada 0. Uma saída do combinador 240 é disponível como uma saída do decodificador 200, para transmitir um sinal de camada 1. Uma saída do combinador 230 é disponível como uma saída do decodificador 200, para transmitir um sinal de camada 2.

Com referência à figura 1a, um codificador AVC exemplar é indicado genericamente pelo numeral de referência 2100. O codificador AVC 2100 pode ser utilizado, por exemplo, para codificar uma camada única (por exemplo, camada base).

O codificador de vídeo 2100 inclui um armazenamento intermediário de ordenação de quadro 2110 tendo uma saída em comunicação de sinal com uma entrada de não inversão de um combinador2185. Uma saída do combinador2185 é conectada em comunicação de sinal com uma primeira entrada de um transformador e quantizador 2125. Uma saída do transformador e quantizador 2125 é conectada em comunicação de sinal com uma primeira entrada de um codificador de entropia 2145 e uma primeira entrada de um transformador inverso e quantizador inverso 2150. Uma saída do codificador de entropia 2145 é conectado em comunicação de sinal com uma primeira entrada de não inversão de um combinador 2190. Uma saída do combinador 2190 é conectada em comunicação de sinal com uma primeira entrada de um armazenamento intermediário de saída 2135.

Uma primeira saída de um controlador de codificador 2105 é conectada em comunicação de sinal com uma segunda entrada do armazenamento intermediário de ordenação de quadro 2110, uma segunda entrada do transformador inverso e quantizador inverso 2150, uma entrada de um módulo de decisão do tipo de imagem 2115, uma entrada de um módulo de decisão do tipo macrobloco (tipo MB) 2120, uma segunda entrada de um módulo de intrapredição 2160, uma segunda entrada de um filtro de desbloqueio 2165, uma primeira entrada de um compensador de movimento 2170, uma primeira entrada de um estimador de movimento 2175, e uma segunda entrada de um armazenamento intermediário de imagem de referência 2180.

Uma segunda saída do controlador de codificador 2105 é conectada em comunicação de sinal com uma primeira entrada de um inseridor de Informação de Intensificação suplementar (“SEI”) 2130, uma segunda entrada do transformador e quantizador 2125, uma segunda entrada do codificador de entropia 2145, uma segunda entrada do armazenamento intermediário de saída 2135, e uma entrada do inseridor de Conjunto de parâmetros de sequência (SPS) e Conjunto de parâmetros de imagem (PPS) 2140.

Uma primeira saída do módulo de decisão do tipo de imagem 2115 é conectada em comunicação de sinal com uma terceira entrada de um armazenamento intermediário de ordenação de quadro 2110. Uma segunda saída do módulo de decisão do tipo de imagem 2115 é conectada em comunicação de sinal com uma segunda entrada de um módulo de decisão do tipo de macrobloco 2120.

Uma saída do inseridor de Conjunto de parâmetros de sequência (“SPS”) e Conjunto de parâmetros de imagem (“PPS”) 2140 é conectado em comunicação de sinal com uma terceira entrada de não inversão do combinador 2190. Uma saída do inseridor SEI 2130 é conectada em comunicação de sinal com uma segunda entrada de não inversão do combinador 2190.

Uma saída do quantizador inverso e transformador inverso 2150 é conectada em comunicação de sinal com uma primeira entrada de não inversão de um combinador 2127. Uma saída do combinador 2127 é conectada em comunicação de sinal com uma primeira entrada do módulo de intrapredição 2160 e uma primeira entrada do filtro de desbloqueio 2165. Uma saída do filtro de desbloqueio 2165 é conectado em comunicação de sinal com uma primeira entrada de um armazenamento intermediário de imagem de referência 2180. Uma saída do armazenamento intermediário de imagem de referência 2180 é conectada em comunicação de sinal com uma segunda entrada do estimador de movimento 2175 e com uma primeira entrada de um compensador de movimento 2170. Uma primeira saída do estimador de movimento 2175 é conectado em comunicação de sinal com uma segunda entrada do compensador de movimento 2170. Uma segunda saída do estimador de movimento 2175 é conectada em comunicação de sinal com uma terceira entrada do codificador de entropia 2145.

Uma saída do compensador de movimento 2170 é conectada em comunicação de sinal com uma primeira entrada de um comutador 2197. Uma saída do módulo de intrapredição 2160 é conectada em comunicação de sinal com uma segunda entrada do comutador 2197. Uma saída do módulo de decisão do tipo macrobloco 2120 é conectada em comunicação de sinal com uma terceira entrada do comutador 2197 para fornecer uma entrada de controle para o comutador 2197. Uma saída do comutador 2197 é conectada em comunicação de sinal com uma segunda entrada de não inversão do combinador 2127 e com uma entrada de inversão do combinador 2185.

As entradas do armazenamento intermediário de ordenação de quadro 2110 e con-trolador de codificador 2105 são disponíveis como entrada do codificador 2100, para receber uma imagem de entrada 2101. Além disso, uma entrada do inseridor SEI 2130 é disponível como uma entrada do codificador 2100, para receber metadados. Uma saída do armazenamento intermediário de saída 2135 é disponível como uma saída do codificador 2100, para transmitir um fluxo de bits.

Com referência à figura 2a, um decodificador de vídeo capaz de executar decodificação de vídeo de acordo com o padrão AVC MPEG-4 é indicado genericamente pelo numeral de referência 2200.

O decodificador de vídeo 2200 inclui um armazenamento intermediário de entrada 2210 tendo uma saída conectada em comunicação de sinal com uma primeira entrada do decodificador de entropia 2245. Uma primeira saída do decodificador de entropia 2245 é conectada em comunicação de sinal com uma primeira entrada de um transformador inverso e quantizador inverso 2250. Uma saída do transformador inverso e quantizador inverso 2250 é conectada em comunicação de sinal com uma segunda entrada de não inversão de um combinador 2225. Uma saída do combinador 2225 é conectada em comunicação de sinal com uma segunda entrada de um filtro de desbloqueio 2265 e uma primeira entrada de um módulo de intrapredição 2260. Uma segunda saída do filtro de desbloqueio 2265 é conectada em comunicação de sinal com uma primeira entrada de um armazenamento intermediário de imagem de referência 2280. Uma saída do armazenamento intermediário de imagem de referência 2280 é conectada em comunicação de sinal com uma segunda entrada de um compensador de movimento 2270.

Uma segunda saída do decodificador de entropia 2245 é conectada em comunicação de sinal com uma terceira entrada do compensador de movimento 2270 e uma primeira entrada do filtro de desbloqueio 2265. Uma terceira saída do decodificador de entropia 2245 é conectada em comunicação de sinal com uma entrada de um controlador de decodificador 2205. Uma primeira saída do controlador de decodificador 2205 é conectada em comunicação de sinal com uma segunda entrada do decodificador de entropia 2245. Uma segunda saída do controlador de decodificador 2205 é conectada em comunicação de sinal com uma segunda entrada do transformador inverso e quantizador inverso 2250. Uma terceira saída do controlador de decodificador 2205 é conectada em comunicação de sinal com uma terceira entrada do filtro de desbloqueio 2265. Uma quarta saída do controlador de decodificador 2205 é conectada em comunicação de sinal com uma segunda entrada do módulo de intrapredição 2260, com uma primeira entrada do compensador de movimento 2270, e com uma segunda entrada do armazenamento intermediário de imagem de referência 2280.

Uma saída do compensador de movimento 2270 é conectada em comunicação de sinal com uma primeira entrada de um comutador 2297. Uma saída do módulo de intrapredição 2260 é conectada em comunicação de sinal com uma segunda entrada do comutador 2297. Uma saída do comutador 2297 é conectada em comunicação de sinal com uma primeira entrada de não inversão do combinador 2225.

Uma entrada do armazenamento intermediário de entrada 2210 é disponível como uma entrada do decodificador 2200, para receber um fluxo de bits de entrada. Uma primeira saída do filtro de desbloqueio 2265 é disponível como uma saída do decodificador 2200, para transmitir uma imagem de saída.

Com referência à figura 3, um SPS de camada única 300 é mostrada. SPS é uma estrutura de sintaxe que genericamente contém elementos de sintaxe que se aplicam a zero ou mais sequências de vídeo codificadas inteiras. Na extensão SVC, os valores de alguns elementos de sintaxe transportados no SPS são dependentes de camada. Esses elementos de sintaxe dependentes de camada incluem, porém não são limitados a informações de temporização, parâmetros de HRD (quer dizer “Decodificador de referência hipotética”), e informações de restrição de fluxo de bits. Parâmetros de HRD podem incluir, por exemplo, indicadores de tamanho de armazenamento intermediário, velocidade máxima de bits, e retardo inicial. Parâmetros de HRD podem permitir que um sistema de recepção, por exemplo, verifique a integridade de um fluxo de bits recebido e/ou determine se o sistema de recepção (por exemplo, um decodificador) pode decodificar o fluxo de bits. Portanto, um sistema pode fornecer a transmissão dos elementos de sintaxe acima mencionados para cada camada.

O SPS de camada única 300 inclui um SPS-ID 310 que provê um identificador para o SPS. O SPS de camada única 300 também inclui os parâmetros de VUI (quer dizer informações de capacidade de uso de vídeo) 320 para uma camada única. Os parâmetros de VUI incluem os parâmetros de HRD 330 para uma camada única, como, por exemplo, a camada base. O SPS de camada única 300 também pode incluir parâmetros adicionais 340, embora implementações não necessitem incluir nenhum parâmetro adicional 340.

Com referência à figura 4, uma vista de bloco de um fluxo de dados 400 mostra um uso típico do SPS de camada única 300. No padrão AVC, por exemplo, um fluxo de dados típico pode incluir, entre outros componentes, uma unidade SPS, múltiplas unidades PPS (sequência de parâmetro de imagem) que fornecem parâmetros para uma imagem específica, e múltiplas unidades para dados de imagem codificados. Uma tal estrutura geral é seguida na figura 4, que inclui o SPS 300, um PPS-1 410, uma ou mais unidades 420 incluindo dados de imagem-1 codificados, um PPS-2 430, e uma ou mais unidades 440 incluindo dados de imagem-2 codificados. O PPS-1 410 inclui parâmetros para os dados de imagem-1 codificados 420, e o PPS-2 430 inclui parâmetros para os dados de imagem-2 codificados 440.

Os dados de imagem-1 codificados 420, e os dados de imagem-2 codificados 440, são individualmente associados a um SPS específico (o SPS 300 na implementação da figura 4). Isso é obtido através do uso de indicadores, como explicado agora. Os dados de ima- gem-1 codificados 420 incluem um PPS-ID (não mostrado) identificando o PPS-1 410, como mostrado por uma seta 450. O PPS-ID pode ser armazenado, por exemplo, em um cabeçalho de fatia. Os dados de imagem-2 codificados 440 incluem um PPS-ID (não mostrado) identificando o PPS-2 430, como mostrado por uma seta 460. O PPS-1 410 e o PPS-2 430 incluem, individualmente, um SPS-ID (não mostrado) identificando o SPS 300, como mostrado pelas setas 470 e 480, respectivamente.

Com referência à figura 5, uma estrutura para um SPS SUP 500 é mostarda. SPS SUP 500 inclui um SPS ID 510, um VUI 520 que inclui parâmetros de HRD 530 para uma camada adicional única mencionada por “(D2, T2, Q2)” e parâmetros adicionais opcionais 540. “D2, T2, Q2” se refere a uma segunda camada tendo nível espacial (D) 2, nível temporal (T) 2 e nível de qualidade (Q) 2.

Observe que vários esquemas de numeração podem ser utilizados para se referir a camadas. Em um esquema de numeração, camadas base têm um D, T, Q de 0, x, 0, significando um nível espacial de zero, qualquer nível temporal e um nível de qualidade de zero. Nesse esquema de numeração, camadas de intensificação têm um D, T, Q no qual D ou Q são maiores do que zero.

O uso de SPS SUP 500 permite, por exemplo, um sistema para utilizar uma estrutura SPS que inclui somente parâmetros para uma camada única, ou que não inclui nenhuma informação dependente de camada. Um tal sistema pode criar um SPS SUP separado para cada camada adicional além da camada base. As camadas adicionais podem identificar o SPS com o qual estão associados através do uso do SPS ID 510. Evidentemente várias camadas podem compartilhar um SPS único utilizando um SPS ID comum em suas respectivas unidades SPS SUP.

Com referência à figura 6, uma hierarquia organizacional 600 é mostarda entre uma unidade SPS 605 e múltiplas unidades SPS SUP 610 e 620. As unidades SPS SUP 610 e 620 são mostradas como sendo unidades SPS SUP de camada única, porém outras implementações podem utilizar uma ou mais unidades SPS SUP de múltiplas camadas além de, ou no lugar de, unidades SPS SUP de camada única. A hierarquia 600 ilustra que, em um cenário típico, múltiplas unidades SPS SUP podem ser associadas a uma unidade SPS única. Implementações podem, evidentemente, incluir múltiplas unidades SPS, e cada uma das unidades SPS pode ter unidades SPS SUP associadas.

Com referência à figura 7, uma estrutura para outro SPS SUP 700 é mostrada. SPS SUP 700 inclui parâmetros para camadas múltiplas, ao passo que SPS SUP 500 inclui parâmetros para uma camada única. SPS SUP 700 inclui um SPS ID 710, um VUI 720, e parâmetros adicionais opcionais 740. O VUI 720 inclui parâmetros de HRD 730 para uma primeira camada adicional (D2, T2, Q2) e para outras camadas adicionais até camada (Dn, Tn, Qn).

Com referência novamente à figura 6, a hierarquia 600 pode ser modificada para utilizar um SPS SUP de múltiplas camadas. Por exemplo, a combinação do SPS SUP 610 e 620 pode ser substituída com o SPS SUP 700 se tanto o SPS SUP 610 como 620 incluir o mesmo SPS ID.

Adicionalmente, o SUP SPS 700 pode ser utilizado, por exemplo, com um SPS que inclui parâmetros para uma camada única, ou que inclui parâmetros para múltiplas camadas, ou que não inclui parâmetros dependentes de camada para quaisquer camadas. O SPS SUP 700 permite um sistema para fornecer parâmetros para múltiplas camadas com pouco overhead.

Outras implementações podem ser baseadas, por exemplo, em um SPS que inclui todos os parâmetros necessários para todas as camadas possíveis. Isto é, o SPS de uma tal implementação inclui todos os níveis espaciais (Dj), temporal (T,) e qualidade (Qi) corres- pondentes que são disponíveis para serem transmitidos, quer todas as camadas sejam transmitidas ou não. Mesmo com um tal sistema, entretanto, um SPS SUP pode ser utilizado para fornecer uma capacidade de trocar os parâmetros para uma ou mais camadas sem transmitir o SPS inteiro novamente.

Com referência à Tabela 1, sintaxe é fornecida para uma implementação específica de um SPS SUP de camada única. A sintaxe inclui sequence_parameter_set_id para identificar o SPS associado, e os identificadores de temporaljevel, dependencyjd, e qualityjevel para identificar um nível escalonável. Os parâmetros de VUI são incluídos através do uso de svc_vui_parameters() (vide a tabela 2), que inclui parâmetros HRD através do uso de hrd_parameters(). A sintaxe abaixo permite que cada camada especifique seus próprios parâmetros dependentes de camada, como, por exemplo, parâmetros HRD.

A semântica para a sintaxe de sup_seq_parameter_set_svc() é como a seguir.

Sequence_parameter_set_id identifica o conjunto de parâmetros de sequência que o SPS SUP atual mapeia para a camada atual;

Temporaljevel, dependencyjd, e qualityjevel especificam o nível temporal, identificador de dependência e nível de qualidade para a camada atual. Dependencyjd indica genericamente nível espacial. Entretanto, dependencyjd também é utilizado para indicar a hierarquia de Escalonamento de grão grosso (“CGS”), que inclui escalonamento tanto espacial como SNR, com escalonamento de SNR sendo um escalonamento de qualidade tradicional. Por conseguinte, qualityjevel e dependencyjd podem ser ambos utilizados para distinguir níveis de qualidade.

Vui_parameters_present_svc_flag igual a 1 especifica que a estrutura de sintaxe svc_vui_parameters(), como definido abaixo está presente. Vui_parameters_present_svcjlag igual a 0 especifica que a estrutura de sintaxe de svc_parameters() não está presente.

A Tabela 2 fornece a sintaxe para svç_vui_parameters(). Os parâmetros VUI são, portanto, separados, para cada camada e colocados em unidades SPS SUP individuais. Outras implementações, entretanto, agrupam os parâmetros VUI para múltiplas camadas em um único SPS SUP.

Os campos da sintaxe de svc_vui_parameters() da Tabela 2 são definidos na versão da extensão de SVC que existia em abril de 2007 de acordo com JVT-U201 anexo E 5 E.1. Em particular, hrd_parameters() é como definido para o padrão AVC. Observe também que svc_vui_parameters() inclui várias informações dependentes de camada, incluindo pa-râmetros relacionados a HRD. Os parâmetros relacionados a HRD incluem num_units_in_tick, time_scale, fixed_frame_rate_flag, nal_hrd_parametres_present_flag, vcl_hrd_parameters_present_flag, hrd_parameters(), low_delay_hrd_flag, e 10 pic_struct_present_flag. Além disso, os elementos de sintaxe no bitstream_restriction_flg id- loop são dependentes de camada embora não relacionados a HRD.

Como mencionado acima, o SPS SUP é definido como um novo tipo de unidade NAL. A Tabela 3 lista alguns dos códigos de unidade NAL, como definido pelo padrão JVT- U201, porém modificado para ceder o tipo 24 para o SPS SUP. O elipse entre tipos de uni- 15 dade NAL 1 e 16, e entre 18 e 24, indicam que aqueles tipos são inalterados. O elipse entre tipos de unidade NAL 25 e 31 significa que aqueles tipos são todos não especificados. A implementação da tabela 3 abaixo muda o tipo 24 do padrão de “não especificado” para“sup_seq_parameter_set_svc()”. “Não especificado” é genericamente reservado para aplica-ções de usuário. “Reservado”, por outro lado, é genericamente reservado para modificações futuras de padrão. Por conseguinte, outra implementação muda um dos tipos “reservados” (por exemplo, tipo 16, 17ou 18) para “sup_seq_parameter_set_svc()”. A mudança de um tipo “não especificado” resulta em uma implementação para um dado usuário, ao passo que a mudança de um tipo “reservado” resulta em uma implementação que altera o padrão para todos os usuários.

A figura 8 mostra uma vista funcional de uma implementação de um codificador de vídeo escalonável 800 que gera unidades SPS SUP. Um vídeo é recebido na entrada do codificador de vídeo escalonável 1. O vídeo é codificado de acordo com diferentes níveis espaciais. Níveis espaciais se referem principalmente a níveis diferentes de resolução do mesmo vídeo. Por exemplo, como a entrada de um codificador de vídeo escalonável, pode- se ter uma sequência CIUF (352 por 288) ou uma sequência QCIF (176 por 144) que repre-sentam cada um nível espacial.

Cada um dos níveis espaciais é enviado para um codificador. O nível espacial 1 é enviado para um codificador 2”, o nível espacial 2 é enviado para um codificador 2’, e o nível espacial m é enviado para um codificador 2.

Os níveis espaciais são codificados com 3 bits, utilizando a dependencyJd. Portanto, o número máximo de níveis espaciais nessa implementação é 8.

Os codificadores 2, 2’ e 2” codificam uma ou mais camadas tendo o nível espacial indicado. Os codificadores 2, 2’ e 2” podem ser projetados para ter níveis de qualidade es-pecíficos e níveis temporais, ou os níveis de qualidade e níveis temporais podem ser confi-guráveis. Como pode ser visto a partir da figura 8, os codificadores 2, 2’ e 2” são hierarqui-camente dispostos. Isto é, o codificador 2” alimenta o codificador 2’, que por sua vez alimenta o codificador 2. A disposição hierárquica indica o cenário típico no qual camadas mais elevadas utilizam uma camada(s) inferior(es) como referência.

Após a codificação, os cabeçalhos são preparados para cada uma das camadas. Na implementação mostrada, para cada nível espacial, uma mensagem SPS, uma mensagem PPS, e múltiplas mensagens SUP_SPS são criadas. Mensagens SPS SUP (ou unidades) podem ser criadas, por exemplo, para camadas que correspondem aos vários níveis temporal e de qualidade diferentes.

Para nível espacial 1, SPS e PPS 5” são criadas e um conjunto de SUP SPS}, SUP SPS'2, ... , SUP_SPS'n.o . . , . .. - 1 ~ -nu tampemθ criado.

Para nível espacial 2, SPS e PPS 5’ são criadas e um conjunto de SUP SPS,2, SUP _ SPS2, , SUP_SPS2.0 também é criado.

Para nível espacial m, SPS e PPS 5 são criados e um conjunto de SUP_SPS", SUPSPS", ... , SUP_SPS".O Os fluxos de bits 7, 7’ e 7” codificados pelos codificadores 2, 2’ e 2”, tipicamente seguem a pluralidade de SPS, PPS, e SUP_SPS (também mencionados como cabeçalhos, unidades ou mensagens) no fluxo de bits global.

Um fluxo de bits 8" inclui SPS e PPS 5'. SUr-SPS< SUP~SPS‘ SUP~SPS'-o 6”, e fluxo de bits de vídeo codificado 7”, que constituem todos os dados codificados associados ao nível espacial 1.

Um fluxo de bits 8’ inclui SPS e PPS 5’, SUP-SPS2, SUP_SPSj, ... , SUP_SPS2.0 e fluxo de bits de vídeo codificado 7’, que constituem todos os dados codificados associados ao nível espacial 2.

Um fluxo de bits 8 inclui SPS e PPS 5, SUP SPS", SUP SPS",... , SUP SPS" „ _ . 1 ~ 2 - 6e fluxo de bits de video codificado 7, que constituem todos os dados codificados associados a nível espacial m.

Os cabeçalhos SUP_SPS diferentes estão em conformidade com os cabeçalhos descritos nas tabelas 1-3.

O codificador 800, representado na figura 8 gera um SPS para cada nível espacial. Entretanto, outras implementações podem gerar múltiplo SPS para cada nível espacial ou podem gerar um SPS que serve a múltiplos níveis espaciais.

Os fluxos de bits 8, 8’ e 8” são combinados em um multiplexor 9 que produz um fluxo de bits SVC, como mostrado na figura 8.

Com referência à figura 9, uma vista hierárquica 900 ilustra a geração de um fluxo de dados que contém unidades SPS SUP. A vista 900 pode ser utilizada para ilustrar os fluxos de bits possíveis gerados pelo codificador de vídeo escalonável 800 da figura 8. A vista 900 provê um fluxo de bits SVC para uma interface de transmissão 17.

O fluxo de bits SVC pode ser gerado, por exemplo, de acordo com a implementação da figura 8, e compreende um SPS para cada um dos níveis espaciais. Quando m níveis espaciais são codificados, o fluxo de bits SVC compreende SPS1, SPS2 e SPSm representados por 10, 10’ e 10” na figura 9.

No fluxo de bits SVC, cada SPS codifica as informações gerais relativas ao nível espacial. O SPS é seguido por um cabeçalho 11, 11’, 11”, 13, 13’, 13”, 15, 15’ e 15” do tipo SUP_SPS. O SUP_SPS é seguido pelos dados de vídeo codificados correspondentes 12, 12’, 12”, 14, 14’, 14”, 16, 16’ e 16” que correspondem individualmente a um nível temporal (n) e um nível de qualidade (0).

Portanto, quando uma camada não é transmitida, o SUP_SPS correspondente também não é transmitido. Isso é porque há tipicamente um cabeçalho SUP_SPS que corresponde a cada camada.

Implementações típicas utilizam um esquema de numeração para camadas no qual a camada base tem um D e Q de zero. Se um tal esquema de numeração for utilizado para a vista 900, então a vista 900 não mostra explicitamente uma camada base. Isso não impede o uso de uma camada base. Adicionalmente, entretanto, a vista 900 pode ser aumentada para mostrar explicitamente um fluxo de bits para uma camada base, bem como, por exemplo, um SPS separado para uma camada base. Além disso, a vista 900 pode utilizar um esquema de numeração alternativo para camadas base, no qual um ou mais dos fluxos de bits (1, 1, 1) até (m, n, 0) se refere a uma camada base.

Com referência à figura 10, uma vista de blocos é fornecida de um fluxo de dados 1000 gerado pela implementação das figuras 8 e 9. A figura 10 ilustra a transmissão das seguintes camadas: . camada (1, 1, 1): nível espacial 1, nível temporal 1, nível de qualidade 1; que inclui transmissão de blocos 10, 11 e 12; . camada (1, 2, 1): nível espacial 1, nível temporal 2, nível de qualidade 1; que inclui transmissão adicional de blocos 11’ e 12’; . camada (2, 1,1): nível espacial 2, nível temporal 1, nível de qualidade 1; que inclui transmissão adicional de blocos 10’, 13 e 14; . camada (3, 1,1): nível espacial 3, nível temporal 1, nível de qualidade 1; que inclui transmissão adicional de blocos 10”, 15 e 16; . camada (3, 2, 1): nível espacial 3, nível temporal 2, nível de qualidade 1; que inclui transmissão adicional de blocos 15’ e 16’; . camada (3, 3, 1): nível espacial 3, nível temporal 3, nível de qualidade 1; que inclui transmissão adicional de blocos 15” e 16”.

A vista de bloco do fluxo de dados 1000 ilustra que o SPS 10 é somente enviado uma vez e é utilizado tanto para a Camada (1, 1, 1) e Camada (1,2, 1) e que SPS 10” é somente enviado uma vez é utilizado cada de Camada (3, 1,1,) Camada (3, 2, 1) e Camada (3, 3, 1). Além disso, o fluxo de dados 1000 ilustra que os parâmetros para todas as camadas não são transmitidos, porém em vez disso somente os parâmetros que correspondem às camadas transmitidas. Por exemplo, os parâmetros para a camada (2, 2, 1), correspon- SUP SPS2 dendo a - 2'não são transmitidos porque aquela camada não é transmitida. Isso pro vê uma eficiência para essa implementação.

Com referência à figura 11, um codificador 1100 inclui uma unidade de geração de SPS 1110, um codificador de vídeo 1120, e um formatador 1130. O codificador de vídeo 1120 recebe vídeo e entrada, codifica o vídeo de entrada, e provê o vídeo de entrada codificado para o formatador 1130. O vídeo de entrada codificado pode incluir, por exemplo, múltiplas camadas como, por exemplo, uma camada base codificada e uma camada de intensificação codificada. A unidade de geração de SPS 1110 gera informações de cabeçalho, como por exemplo, unidades SPS e unidades SPS SUP, e provê as informações de cabeçalho para o formatador 1130. A unidade de geração SPS 1110 também comunica com o codificador de vídeo 1120 para fornecer parâmetros utilizados pelo codificador de vídeo 1120 na codificação do vídeo de entrada.

A unidade de geração SPS 1110 pode ser configurada, por exemplo, para gerar uma unidade NAL SPS. A unidade NAL SPS pode incluir informações que descrevem um parâmetro para uso na decodificação de uma codificação de primeira camada de uma sequência de imagens. A unidade de geração de SPS 1110 também pode ser configurada, por exemplo, para gerar uma unidade NAL SPS SUP tendo uma estrutura diferente da unidade NAL SPS. A unidade NAL SPS SUP pode incluir informações que descrevem um parâmetro para uso na decodificação de uma codificação de segunda camada da sequência de imagens. A codificação de primeira camada e a codificação de segunda camada podem ser produzidas pelo codificador de vídeo 1120.

O formatador 1130 multiplexa o vídeo codificado a partir do codificador de vídeo 1120, e as informações de cabeçalho a partir da unidade de geração SPS 1110, para produzir um fluxo de bits codificado de saída. O fluxo de bits codificado pode ser um conjunto de dados que inclui a codificação de primeira camada da sequência de imagens, a codificação de segunda camada da sequência de imagens, a unidade NAL SPS e a unidade NAL SPS SUP.

Os componentes 1110, 1120 e 1130 do codificador 1100 podem assumir muitas formas. Um ou mais dos componentes 1110, 1120 e 1130 pode incluir hardware, software, firmware ou uma combinação, e pode ser operado a partir de uma variedade de plataformas, como, por exemplo, um codificador dedicado ou um processador geral configurado através de software para funcionar como um codificador.

As figuras 8 e 11 podem ser comparadas. A unidade de geração de SPS 1110 pode QTJP Çp?m gerar o SPS e os vários mostrados na figura 8. O codificador de vídeo 1120 pode gerar os fluxos de bits 7, 7’ e 7” (que são as codificações do vídeo de entrada) mostrados na figura 8. O codificador de vídeo 1120 pode corresponder, por exemplo, a um ou mais dos codificadores 2, 2’ ou 2”. O formatador 1130 pode gerar os dados hierarquicamente dispôs- tos mostrados pelos numerais de referência 8, 8’, 8”, bem como executar a operação do multiplexor 9 para gerar o fluxo de bits SVC da figura 8.

As figuras 1 e 11 também podem ser comparadas. O codificador de vídeo 1120 pode corresponder, por exemplo, a blocos 104 e 187 da figura 1. O formatador 1130 pode cor-responder, por exemplo, ao multiplexor 170. A unidade de geração de SPS 1110 não é ex-plicitamente mostrada na figura 1 embora a funcionalidade da unidade de geração SPS 1110 possa ser executada, por exemplo, pelo multiplexor 170.

Outras implementações de codificador 1110 não incluem o codificador de vídeo 1120 porque, por exemplo, os dados são pré-codificados. O codificador 1100 também pode fornecer saídas adicionais e fornecer comunicação adicional entre os componentes. O codificador 1100 também pode ser modificado para fornecer componentes adicionais que podem, por exemplo, ser localizados entre componentes existentes.

Com referência à figura 12, um codificador 1200 é mostrado que opera do mesmo modo que o codificador 1100. O codificador 1200 inclui uma memória 1210 em comunicação com um processador 1220. A memória 1210 pode ser utilizada, por exemplo, para armazenar o vídeo de entrada, para armazenar parâmetros de codificação ou decodificação, armazenar resultados intermediários ou finais durante o processo de codificação, ou armazenar instruções para executar um método de codificação. Tal armazenagem pode ser temporária ou permanente.

O processador 1220 recebe vídeo de entrada e codifica o vídeo de entrada. O pro-cessador 1220 também gera informações de cabeçalho, e formata um fluxo de bits codificado que inclui informações de cabeçalho e vídeo de entrada codificado. Como no codificador 1100, as informações de cabeçalho fornecidas pelo processador 1220 podem incluir estruturas separadas para transferir informações de cabeçalho para múltiplas camadas. O processador 1220 pode operar de acordo com instruções armazenadas em, ou de outro modo residentes em ou parte,por exemplo, do processador 1220 ou memória 1210.

Com referência à figura 13, um processo 1300 é mostrado para codificar vídeo de entrada. O processo 1300 pode ser executado, por exemplo, por qualquer um dos codificadores 1100 ou 1200.

O processo 1300 inclui gerar uma unidade NAL SPS (1310). A unidade NAL SPS inclui informações que descrevem um parâmetro para uso na decodificação da codificação de primeira camada da sequência de imagens. A unidade NAL SPS pode ser definida por um padrão de codificação ou não. Se a unidade NAL SPS for definida por um padrão de codificação, então o padrão de codificação pode exigir um decodificador para operar de acordo com unidades NAL SPS recebidas. Uma tal exigência é genericamente mencionada por declara que a unidade NAL SPS é “normativa”. SPS, por exemplo, são normativos no padrão AVC, ao passo que mensagens de informação de intensificação suplementar (“SEI”), por exemplo, não são normativas. Por conseguinte, decodificadores compatíveis com AVC podem ignorar mensagens SEI recebidas porém devem operar de acordo com SPS recebido.

A unidade NAL SPS inclui informações que descrevem um ou mais parâmetros para decodificar uma primeira camada. O parâmetro pode ser, por exemplo, informações que são dependentes de camada ou não são dependentes de camada. Os exemplos de parâmetros que são tipicamente dependentes de camada incluem um parâmetro VUI ou um parâmetro HRD.

A operação 1310 pode ser executada, por exemplo, pela unidade de geração de SPS 1110, processador 1220, ou inseridor de PPS e SPS 1240. A operação 1310 também pode corresponder à geração de SPS em quaisquer dos blocos 5, 5’, 5” na figura 8.

Por conseguinte, um meio para executar a operação 1310, isto é, gerar uma unidade NAL SPS, pode incluir vários componentes. Por exemplo, tal meio pode incluir um módulo para gerar SPS 5, 5’, ou 5”, um sistema codificador inteiro da figura 1,8, 11 ou 12, uma unidade de geração de SPS 1110, um processador 1220, ou um inseridor de PPS e SPS 2140, ou seus equivalentes incluindo codificadores conhecidos e desenvolvidos no futuro.

O processo 1300 inclui gerar uma unidade NAL SPS suplementar (“SUP”) tendo uma estrutura diferente da unidade NAL SPS (1320). A unidade NAL SPS SUP inclui informações que descrevem um parâmetro para uso na decodificação da codificação de segunda camada da sequência de imagens. A unidade NAL SPS SUP pode ser definida por um padrão de codificação ou não. Se a unidade NAL SPS SUP for definida por um padrão de codificação, então o padrão de codificação pode exigir um decodificador para operar de acordo com unidades NAL SPS SUP recebidas. Como discutido acima com relação à operação 1310, uma tal exigência é genericamente mencionada declarando que a unidade NAL SPS SUP é “normativa”.

Várias implementações incluem mensagens SPS SUP normativas. Por exemplo, mensagens SPS SUP podem ser normativas para decodificadores que decodificam mais de uma camada (por exemplo, decodificadores compatíveis com SVC). Seria necessário que tais decodificadores de múltiplas camadas (por exemplo, decodificadores compatíveis com SVC) operem de acordo com as informações transportadas nas mensagens SPS SUP. Entretanto, decodificadores de camada única (por exemplo, decodificadores compatíveis com AVC) poderiam ignorar mensagens SPS SUP. Como outro exemplo, mensagens SPS SUP podem ser normativas para todos os decodificadores, incluindo decodificadores de camada única e camadas múltiplas. Não é surpreendente que muitas implementações incluam mensagens SPS SUP normativas, dado que mensagens SPS SUP se baseiam em grande parte em mensagens SPS, e que mensagens SPS são normativas no padrão AVC e as extensões MVC e SVC. Isto é, mensagens SPS SUP portam dados similares como mensagens SPS, servem a uma finalidade similar como mensagens SPS, e podem ser consideradas como um tipo de mensagem SPS. Deve ser evidente que implementações tendo mensagens SPS SUP normativas podem fornecer vantagens de compatibilidade, por exemplo, permitir que decodificadores AVC e SVC recebam um fluxo de dados comum.

A unidade NAL SPS SUP (também mencionada como a mensagem SPS SUP) inclui um ou mais parâmetros para decodificar uma segunda camada. O parâmetro pode ser, por exemplo, informações que são dependentes de camada, ou não são dependentes de camada. Exemplos específicos incluem um parâmetro VUI ou um parâmetro HRD. O SUP SPS também pode ser utilizado para decodificar a primeira camada, além de ser utilizado para decodificar a segunda camada.

A operação 1320 pode ser executada, por exemplo, pela unidade de geração SPS 1110, processador 1220, ou um módulo análogo ao Inseridor de PPS e SPS 2140. A operação 1320 também pode corresponder à geração de SUP_SPS em qualquer um dos blocos 6, 6’, 6” na figura 8.

Por conseguinte, um meio para executar a operação 1320, isto é, gerar uma unidade NAL SPS SUP, pode incluir vários componentes. Por exemplo, tal meio pode incluir um módulo para gerar SUP_SPS 6, 6’, ou 6”, um sistema codificador inteiro da figura 1, 8, 11 ou 12, uma unidade de geração de SPS 1110, um processador 1220, ou um módulo análogo ao Inseridor de PPS e SPS 2140, ou seus equivalentes incluindo codificadores conhecidos e desenvolvidos no futuro.

O processo 1300 inclui codificar uma codificação de primeira camada, como por exemplo, a camada base, para uma sequência de imagens, e codificar uma codificação de segunda camada para a sequência de imagens (1330). Essas codificações da sequência de imagens produzem a codificação de primeira camada e a codificação de segunda camada. A codificação de primeira camada pode ser formatada em uma série de unidades mencionada como unidades de codificação de primeira camada, e a codificação de segunda camada pode ser formatada em uma série de unidades mencionadas como unidades de codificação de segunda camada. A operação 1330 pode ser executada, por exemplo, pelo codificador de vídeo 1120, processador 1220, codificadores 2, 2’ ou 2” da figura 8, ou implementação da figura 1.

Por conseguinte, um meio para executar a operação 1330, pode incluir vários com-ponentes. Por exemplo, tal meio pode incluir um codificador 2, 2’, ou 2”, um sistema de codi-ficador inteiro da figura 1, 8, 11 ou 12, um codificador de vídeo 1120, um processador 1220, ou um ou mais codificadores de núcleo 187 (possivelmente incluindo módulo de decimação 104), ou seus equivalentes incluindo codificadores conhecidos e desenvolvidos no futuro.

O processo 1300 inclui fornecer um conjunto de dados (1340). O conjunto de dados inclui a codificação de primeira camada da sequência de imagens, a codificação de segunda camada da sequência de imagens, a unidade NAL SPS, e a unidade NAL SPS SUP. O conjunto de dados pode ser, por exemplo, um fluxo de bits, codificado de acordo com um padrão conhecido, para ser armazenado em memória ou transmitido para um ou mais decodi- ficadores. A operação 1340 pode ser executada, por exemplo, pelo formatador 1130, processador 1220, ou multiplexor 170 da figura 1. A operação 1340 pode ser também executada na figura 8 pela geração de quaisquer dos fluxos de bits 8, 8’, e 8”, bem como geração do fluxo de bits SVC multiplexado.

Por conseguinte, um meio para executar a operação 1340, isto é, fornecer um conjunto de dados, pode incluir vários componentes. Por exemplo, tal meio pode incluir um módulo para gerar o fluxo de bits 8, 8’, ou 8”, um multiplexor 9, um sistema codificador inteiro da figura 1, 8, 11 ou 12, um formatador 1130, um processador 1220, ou um multiplexor 170, ou seus equivalentes incluindo codificadores conhecidos e desenvolvidos no futuro.

O processo 1300 pode ser modificado de vários modos. Por exemplo, a operação 1330 pode ser removida do processo 1300 em implementações nas quais, por exemplo, os dados são pré-codificados. Além disso, além de remover a operação 1330, a operação 1340 pode ser removida para fornecer um processo dirigido à geração de unidades de descrição para múltiplas camadas.

Com referência à figura 14, um fluxo de dados 1400 é mostrado que pode ser gerado, por exemplo, pelo processo 1300. O fluxo de dados 1400 inclui uma porção 1410 para uma unidade NAL SPS, uma porção 1420 para uma unidade NAL SPS SUP, uma porção 1430 para os dados codificados de primeira camada, e uma porção 1440 para os dados codificados de segunda camada. Os dados codificados de primeira camada 1430 são a codificação de primeira camada, que pode ser formada como unidades de codificação de primeira camada. Os dados codificados de segunda camada 1440 são a codificação de segunda camada, que pode ser formatada como unidades de codificação de segunda camada. O fluxo de dados 1400 pode incluir porções adicionais que podem ser apensas após a porção 1440 ou intercaladas entre as porções 1410-1440. Adicionalmente, outras implementações podem modificar uma ou mais das porções 1410-1440.

O fluxo de dados 1400 pode ser comparado com as figuras 9 e 10. A unidade NAL SPS 1410 pode ser, por exemplo, qualquer uma entre SPS1 10, SPS2 10’, ou SPSm 10”. A unidade NAL SPS SUP 1420 pode ser, por exemplo, qualquer um dos cabeçalhos SUP_SPS 11, 11’, 11”, 13, 13’, 13”, 15, 15’, ou 15”. Os dados codificados de primeira camada 14530 e os dados codificados de segunda camada 1440 podem ser qualquer um dos fluxos de bits para as camadas individuais mostradas como Fluxo de bit de camada (1, 1, 1) 12 até (m, n, 0) 16”, e incluindo os fluxos de bits 12, 12’, 12”, 14, 14’, 14”, 16, 16’, e 16”. É possível que os dados codificados de primeira camada 1430 sejam um fluxo de bits com um conjunto mais elevado de níveis do que os dados codificados de segunda camada 1440. Por exemplo, os dados codificados de primeira camada 1430 podem ser o Fluxo de bits de camada (2, 2,1) 14’, e os dados codificados de segunda camada 1440 podem ser o fluxo de bits de camada (1,1,1)12.

Uma implementação do fluxo de dados 1400 pode corresponder também ao fluxo de dados 1000. A unidade NAL SPS 1410 pode corresponder ao módulo SPS 10 do fluxo de dados 1000. A unidade NAL SPS SUP 1420 pode corresponder ao módulo SUP_SPS 11 do fluxo de dados 1000. Os dados codificados de primeira camada 1430 podem corresponder ao fluxo de bits de camada (1, 1, 1) 12 do fluxo de dados 1000. Os dados codificados de segunda camada 1440 podem corresponder ao Fluxo de bits de camada (1,2, 1) 12’ do fluxo de dados 1000. O módulo SUP_SPS 11’ do fluxo de dados 1000 pode ser intercalado entre os dados codificados de primeira camada 1430 e os dados codificados de segunda camada 1440. Os blocos restantes (1O’-16”) mostrados no fluxo de dados 1000 podem ser apensos ao fluxo de dados 1400 na mesma ordem mostrada no fluxo de dados 1000.

As figuras 9 e 10 podem sugerir que os módulos SPS não incluam nenhum parâmetro específico de camada. Várias implementações operam desse modo, e tipicamente exigem uma SUP_SPS para cada camada. Entretanto, outras implementações permitem que o SPS inclua parâmetros específicos de camada para uma ou mais camadas, desse modo permitindo que uma ou mais camadas sejam transmitidas sem exigir um SUP_SPS.

As figuras 9 e 10 sugerem que cada nível espacial tem seu próprio SPS. Outras im-plementações variam essa característica. Por exemplo, outras implementações fornecem um SPS separado para cada nível temporal, ou para cada nível de qualidade. Ainda outras implementações fornecem um SPS separado para cada camada, e outras implementações fornecem um único SPS que serve a todas as camadas.

Com referência à figura 15, um decodificador 1500 inclui uma unidade de análise 1510 que recebe um fluxo de bits codificado, por exemplo, o fluxo de bits codificado fornecido pelo codificador 1110, codificador 1200, processo 1300 ou fluxo de dados 1400. A unidade de análise 1510 é acoplada a um decodificador 1520.

A unidade de análise 1510 é configurada para acessar informações a partir de uma unidade NAL SPS. As informações a partir da unidade NAL SPS descrevem um parâmetro para uso na decodificação de uma codificação de primeira camada de uma sequência de imagens. A unidade de análise 1510 é adicionalmente configurada para acessar informações a partir de uma unidade NAL SPS SUP tendo uma estrutura diferente da unidade NAL SPS. As informações a partir da unidade NAL SPS SUP descrevem um parâmetro para uso na decodificação de uma codificação de segunda camada da sequência de imagens. Como descrito acima em combinação com a figura 13, os parâmetros podem ser dependentes de camada ou não dependentes de camada.

A unidade de análise 1510 provê dados de cabeçalho analisados como saída. Os dados de cabeçalho incluem as informações acessadas a partir da unidade NAL SPS e também incluem as informações acessadas a partir da unidade NAL SPS SUP. A unidade de análise 1510 também provê dados de vídeo codificados analisados como saída. Os dados de vídeo codificados incluem a codificação de primeira camada e a codificação de segunda camada. Tanto os dados de cabeçalho como os dados de vídeo codificados são fornecidos para o decodificador 1520.

O decodificador 1520 decodifica a codificação de primeira camada utilizando as in-formações acessadas a partir da unidade NAL SPS. O decodificador 1520 também decodifica a codificação de segunda camada utilizando as informações acessadas a partir da unidade NAL SPS SUP. O decodificador 1520 gera ainda uma reconstrução da sequência de imagens com base na primeira camada decodificada e/ou segunda camada decodificada. O decodificador 1520 provê um vídeo reconstruído como uma saída. O vídeo reconstruído pode ser, por exemplo, uma reconstrução da codificação de primeira camada ou uma reconstrução da codificação de segunda camada.

Comparando as figuras 15, 2 e 2a, a unidade de análise 1510 pode corresponder, por exemplo, com o demultiplexor 202, e/ou um ou mais dos decodificadores de entropia 204, 212, 222, ou 2245, em algumas implementações. O decodificador 1520 pode corresponder, por exemplo, aos blocos restantes na figura 2.

O decodificador 1500 também pode fornecer saídas adicionais e fornecer comunicação adicional entre os componentes. O decodificador 1500 também pode ser modificado para fornecer componentes adicionais que podem, por exemplo, ser localizado entre componentes existentes.

Os componentes 1510 e 1520 do decodificador 1500 podem assumir muitas formas. Um ou mais dos componentes 1510 e 1520 pode incluir hardware, software, firmware ou uma combinação, e pode ser operado de uma variedade de plataformas, como, por exemplo, um decodificador dedicado ou um processador geral configurado através de software para funcionar como decodificador.

Com referência à figura 16, um decodificador 1600 é mostrado que opera do mesmo modo que o decodificador 1500. O decodificador 1600 inclui uma memória 1610 em co-municação com um processador 1620. A memória 1610 pode ser utilizada, por exemplo, para armazenar o fluxo de bits codificado entrado, para armazenar parâmetros de decodificação ou codificação, armazenar resultados intermediários ou finais durante o processo de decodificação ou armazenar instruções para executar um método de decodificação. Tal armazenagem pode ser temporária ou permanente.

O processador 1620 recebe um fluxo de bits codificado e decodifica o fluxo de bits codificado em um vídeo reconstruído. O fluxo de bits codificado inclui, por exemplo, (1) uma codificação de primeira camada de uma sequência de imagens, (2) uma codificação de se- gunda camada da sequência de imagens, (3) uma unidade NAL SPS tendo informações que descrevem um parâmetro para uso na decodificação da codificação de primeira camada, e (4) uma unidade NAL SPS SUP tendo uma estrutura diferente da unidade NAL SPS, e tendo informações que descrevem um parâmetro para uso na decodificação da codificação de segunda camada.

O processador 1620 produz o vídeo reconstruído com base pelo menos na codificação de primeira camada, codificação de segunda camada, informações a partir da unidade NAL SPS, e as informações a partir da unidade NAL SPS SUP. O vídeo reconstruído pode ser, por exemplo, uma reconstrução da codificação de primeira camada ou uma reconstrução da codificação de segunda camada. O processador 1620 pode operar de acordo com instruções armazenadas em, ou de outro modo residentes em ou parte de, por exemplo, o processador 1620 ou memória 1610.

Com referência à figura 17, um processo 1700 é mostrado para decodificar um fluxo de bits codificado. O processo 1700 pode ser executado, por exemplo, por qualquer um dos decodificadores 1500 ou 1600.

O processo 1700 inclui acessar informações a partir de uma unidade NAL SPS (1710). As informações acessadas descrevem um parâmetro para uso na decodificação de uma codificação de primeira camada de uma sequência de imagens.

A unidade NAL SPS pode ser como descrito anteriormente com relação à figura 13. Além disso, as informações acessadas podem ser, por exemplo, um parâmetro HRD. A operação 1710 pode ser executada, pro exemplo, pela unidade de análise 1510, processador 1610, decodificador de entropia 204, 212, 222 ou 2245, ou controle de decodificador 2205. A operação 1710 também pode ser executada em um processo de reconstrução em um codificador por um ou mais componentes de um codificador.

Por conseguinte, um meio para executar a operação 1710, isto é, acessar informações a partir de uma unidade NAL SPS, pode incluir vários componentes. Por exemplo, tal meio pode incluir uma unidade de análise 1510, um processador 1620, um decodificador de camada única, um sistema decodificador inteiro da figura 2, 15, ou 16, ou um ou mais componentes de um decodificador, ou um ou mais componentes de codificadores 800, 1100 ou 1200, ou seus equivalentes incluindo decodificadores e codificadores conhecidos e desenvolvidos no futuro.

O processo 1700 inclui acessar informações a partir de uma unidade NAL SPS SUP tendo uma estrutura diferente da unidade NAL SPS (1720). As informações acessadas a partir da unidade NAL SPS SUP descrevem um parâmetro para uso na decodificação de uma codificação de segunda camada da sequência de imagens.

A unidade NAL SPS SUP pode ser como descrito anteriormente com relação à figura 13. Além disso, as informações acessadas podem ser, por exemplo, um parâmetro HRD.

A operação 1720 pode ser executada, por exemplo, pela unidade de análise 15120, processador 1620, decodificador de entropia 204, 212, 222 ou 2245, ou controle de decodificador 2205. A operação 1720 também pode ser executada em um processo de reconstrução em um codificador por um ou mais componentes de um codificador.

Por conseguinte, um meio para executar a operação 1720, isto é, acessar informações a partir de uma unidade NAL SPS SUP, pode incluir vários componentes. Por exemplo, tal meio para incluir uma unidade de análise 1510, um processador 1620, um demultiplexor 202, um decodificador de entropia 204, 212, ou 222, um decodificador de camada única, ou um sistema decodificador inteiro 200, 1500, ou 1600, ou um ou mais componentes de um decodificador, ou um ou mais componentes de codificadores 800, 110 ou 1200, ou seus equivalentes incluindo decodificadores e codificadores conhecidos e desenvolvidos no futuro.

O processo 1700 inclui acessar uma codificação de primeira camada e uma codificação de segunda camada para a sequência de imagens (1730). A codificação de primeira camada pode ter sido formatada em unidades de codificação de primeira camada, e a codificação de segunda camada pode ter sido formatada em unidades de codificação de segunda camada. A operação 1730 pode ser executada, por exemplo, pela unidade de análise 1510, decodificador 1520, processador 1620, decodificador de entropia 204, 212, 222 ou 2245, ou vários outros blocos a jusante dos decodificadores de entropia. A operação 1730 também pode ser executada em um processo de reconstrução em um codificador por um ou mais componentes de um codificador.

Por conseguinte, um meio para executar a operação 1730 pode incluir vários com-ponentes. Por exemplo, tal meio pode incluir uma unidade de análise 1510, decodificador 1520, processador 1620, demultiplexor 202, decodificador de entropia 204, 212, ou 222, um decodificador de camada única, um receptor de fluxo de bits, um dispositivo de recepção, ou um sistema decodificador inteiro 200, 1500 ou 1600, ou um ou mais componentes de um decodificador, ou um ou mais componentes de codificadores 800, 1100 ou 1200, ou seus equivalentes incluindo decodificadores e codificadores conhecidos e desenvolvidos no futuro.

O processo 1700 inclui gerar uma decodificação da sequência de imagens (1740). A decodificação da sequência de imagens pode ser baseada na codificação de primeira camada, codificação de segunda camada, informações acessadas a partir da unidade NAL SPS, e informações acessadas a partir da unidade NAL SPS SUP. A operação 1740 pode ser executada, por exemplo, pelo decodificador 1520, processador 1620, ou vários blocos a jusante do demultiplexor 202 e armazenamento intermediário de entrada 2210. A operação 1740 também pode ser executada em um processo de reconstrução em um codificador por um ou mais componentes de um codificador.

Por conseguinte, um meio para executar a operação 1740 pode incluir vários com-ponentes. Por exemplo, tal meio pode incluir um decodificador 1530, um processador 1620, um decodificador de camada única, um sistema decodificador inteiro 200, 1500 ou 1600, ou um ou mais componentes de um decodificador, um codificador que executa uma reconstrução, ou um ou mais componentes de codificadores 800, 1100 ou 1200, ou seus equivalentes incluindo decodificadores ou codificadores conhecidos e desenvolvidos no futuro.

Outra implementação executa um método de codificação que inclui acessar informações dependentes de primeira camada em um primeiro conjunto de parâmetros normativos. As informações dependentes de primeira camada acessadas são para uso na decodificação de uma codificação de primeira camada de uma sequência de imagens. O primeiro conjunto de parâmetros normativos pode ser, por exemplo, um SPS que inclui parâmetros relacionados a HRD ou outras informações dependentes de camada. Entretanto, o primeiro conjunto de parâmetros normativos não necessita ser um SPS e não necessita ser relacionado a um padrão H.264.

Além do primeiro conjunto de parâmetros ser normativo, o que requer um decodificador para operar de acordo com o primeiro conjunto de parâmetro se um tal conjunto de parâmetros é recebido, também pode ser necessário que o primeiro conjunto de parâmetros seja recebido em uma implementação. Isto é, uma implementação pode exigir ainda que o primeiro conjunto de parâmetros seja fornecido a um decodificador.

O método de codificação dessa implementação inclui ainda acessar informações dependentes de segunda camada em um segundo conjunto de parâmetros normativos. O segundo conjunto de parâmetros normativos tem uma estrutura diferente do primeiro conjunto de parâmetros normativos. Além disso, as informações dependentes de segunda camada acessadas são para uso na decodificação de uma codificação de segunda camada da sequência de imagens. O segundo conjunto de parâmetros normativos pode ser, por exemplo, um SPS suplementar. O SPS suplementar tem uma estrutura que é diferente, por exemplo, de um SPS. O SPS suplementar também inclui parâmetros HRD ou outras informações dependentes de camada para uma segunda camada (diferente da primeira camada).

O método de codificação dessa implementação inclui ainda decodificar a sequência de imagens com base em uma ou mais das informações dependentes de primeira camada acessadas ou informações dependentes de segunda camada acessadas. Isso pode incluir, por exemplo, decodificar uma camada base ou uma camada de intensificação.

Aparelhos correspondentes são também fornecidos em outras implementações, para implementar o método de codificação dessa implementação. Tais aparelhos incluem, por exemplo, codificadores programados, processadores programados, implementações de hardware, ou meios legíveis por processador tendo instruções para executar o método de codificação. Os sistemas 1100 e 1200, por exemplo, podem implementar o método de codificação dessa implementação.

Sinais correspondentes, e meios que armazenam tais sinais ou dados de tais sinais, são também fornecidos. Tais sinais são produzidos, por exemplo, por um codificador que executa o método de codificação dessa implementação.

Outra implementação executa um método de decodificação análogo ao método de codificação acima. O método de decodificação inclui gerar um primeiro conjunto de parâmetros normativos que inclui informações dependentes de primeira camada. As informações dependentes de primeira camada são para uso na decodificação de uma codificação de primeira camada de uma sequência de imagens. O método de decodificação também inclui gerar um segundo conjunto de parâmetros normativos tendo uma estrutura diferente do primeiro conjunto de parâmetros normativos. O segundo conjunto de parâmetros normativos inclui informações dependentes de segunda camada para uso na decodificação de uma codificação de segunda camada da sequência de imagens. O método de decodificação inclui ainda fornecer um conjunto de dados que inclui o primeiro conjunto de parâmetros normativos e o segundo conjunto de parâmetros normativos.

Aparelhos correspondentes são também fornecidos em outras implementações, para implementar o método de decodificação acima da presente implementação. Tais aparelhos incluem, por exemplo, decodificadores programados, processadores programados, im-plementações de hardware, ou meios legíveis por processador tendo instruções para executar o método de decodificação. Os sistemas 1500 e 1600, por exemplo, podem implementar o método de decodificação dessa implementação.

Observe que o termo “suplementar”, como utilizado aqui, por exemplo, ao se referir a “SPS suplementar” é um termo descritivo. Como tal, “SPS suplementar” não evita unidades que não incluem o termo “suplementar” no nome da unidade. Por conseguinte, e como exemplo, um esboço atual da extensão SVC define uma estrutura de sintaxe “SPS de subconjunto”, e a estrutura de sintaxe de “SPS de subconjunto” é totalmente abrangida pelo termo descritivo “suplementar”. De modo que o “SPS de subconjunto” da extensão SVC atual é uma implementação de um SPS SUP como descrito nessa revelação.

Implementações podem utilizar outros tipos de mensagens além de, ou como uma substituição para, as unidades NAL SPS e/ou as unidades NAL SPS SUP. Por exemplo, pelo menos uma implementação gera, transmite, recebe, acessa e analisar outros conjuntos de parâmetros tendo informações dependentes de camada.

Além disso, embora SPS e SPS suplementar tenham sido discutidos amplamente no contexto de padrões H.264, outros padrões também podem incluir SPS, SPS suplementar, ou variações de SPS ou SPS suplementar. Por conseguinte, outros padrões (existentes ou desenvolvidos no futuro) podem incluir estruturas mencionadas como SPS ou SPS suplementar, e tais estruturas podem ser idênticas a ou ser variações do SPS e SPS suplementar descrito aqui. Tais outros padrões podem, por exemplo, ser relacionados a padrões H.264 atuais (por exemplo, uma alteração em um padrão H.264 existente) ou ser padrões totalmente novos. Alternativamente, outros padrões (existentes ou desenvolvidos no futuro) podem incluir estruturas que não são mencionadas como SPS ou SPS suplementar, porém tais estruturas podem ser idênticas a, análogas a, ou variações do SPS ou SPS suplementar descrito aqui.

Observe que um conjunto de parâmetros é um conjunto de dados incluindo parâmetros. Por exemplo, um SPS, um PPS, ou um SPS suplementar.

Em várias implementações, dados são ditos como sendo “acessados”. “Acessar” dados pode incluir, por exemplo, receber, armazenar, transmitir ou processar dados.

Várias implementações são fornecidas e descritas. Essas implementações podem ser utilizadas para resolver uma variedade de problemas. Um tal problema se origina quando múltiplos pontos de interoperabilidade (lOPs) (também mencionados como camadas) necessitam valores diferentes para parâmetros que são tipicamente carregados no SPS. Não há método adequado para transmitir os elementos de sintaxe dependentes de camada no SPS para diferentes camadas tendo o mesmo identificador de SPS. É problemático enviar dados de SPS separados para cada camada. Por exemplo, em muitos sistemas existentes uma camada base e suas camadas temporais compósitas compartilham o mesmo identificador de SPS.

Várias implementações fornecem um tipo de unidade NAL diferente para dados SPS suplementar. Desse modo, múltiplas unidades NAL podem ser enviadas, e cada unidade NAL pode incluir informações de SPS suplementar para uma camada SVC diferente, porém cada unidade NAL pode ser identificada pelo mesmo tipo de unidade NAL. A informação de SPS suplementar pode, em uma implementação, ser fornecida no tipo de unidade NAL “SPS de subconjunto” da extensão de SVC atual.

Deve ser evidente que as implementações descritas nessa revelação não são limitadas à extensão SVC ou a qualquer outro padrão. Os conceitos e características das implementações reveladas podem ser utilizados com outros padrões que existem agora ou serão desenvolvidos no futuro, ou podem ser utilizados em sistemas que não aderem a nenhum padrão. Como exemplo, os conceitos e características revelados aqui podem ser utilizados para implementações que funcionam no ambiente da extensão MVC. Por exemplo, vistas de MVC podem necessitar de informações de SPS diferentes, ou camadas de SVC suportadas na extensão de MVC podem necessitar de informações de SPS diferentes. Adicionalmente, características e aspectos de implementações descritas também podem ser adaptadas para ainda outras implementações. Por conseguinte, embora implementações descritas aqui possam ser descritas no contexto de SPS para camadas SVC, tais descrições não devem ser de modo algum tomadas como limitando as características e conceitos a tais implementações ou contextos.

As implementações descritas aqui podem ser implementadas por exemplo, em um método ou processo, um aparelho ou um programa de software. Mesmo se somente discuti-do no contexto de uma única forma de implementação (por exemplo, discutido somente co-mo um método), a implementação de características discutidas também pode ser implemen-tada em outras formas (por exemplo, um aparelho ou programa). Um aparelho pode ser im-plementado, por exemplo, em hardware, software e firmware apropriado. Os métodos po-dem ser implementados, por exemplo, em um aparelho como, por exemplo, um processa-dor, que se refere a dispositivos de processamento em geral, incluindo, por exemplo, um computador, um microprocessador, um circuito integrado, ou um dispositivo lógico progra-mável. Os processadores também incluem dispositivos de comunicação, como por exemplo, computadores, telefones celulares, assistentes digitais pessoais/portáteis ("PDAs"), e outros dispositivos que facilitam a comunicação de informações entre usuários finais.

Implementações dos vários processos e características descritos aqui podem ser incorporadas em uma variedade de equipamentos ou aplicações diferentes, particularmente, por exemplo, equipamento ou aplicações associadas à codificação e decodificação de da-dos. Os exemplos de equipamento incluem codificadores de vídeo, decodificadores de ví-deo, codecs de video, servidores de rede, set-top boxes, laptops, computadores pessoais, telefones celulares, PDAs, e outros dispositivos de comunicação. Como deve ser evidente, o equipamento pode ser móvel e mesmo instalado em um veículo móvel.

Adicionalmente, os métodos podem ser implementados por instruções sendo exe-cutadas por um processador, e tais instruções podem ser armazenadas em um meio legível por processador como, por exemplo, um circuito integrado, um portador de software ou outro dispositivo de armazenagem, como, por exemplo, um disco rígido, um disquete compacto, uma memória de acesso aleatório ("RAM"), ou uma memória somente de leitura ("ROM"). As instruções podem formar um programa de aplicação incorporado de forma tangível em um meio legível por processador. Instruções podem ser, por exemplo, em hardware, firmware, software ou uma combinação. Instruções podem ser encontradas, por exemplo, em um sistema operacional, uma aplicação separada ou uma combinação dos dois. Um processador pode ser caracterizado portanto, como, por exemplo, tanto um dispositivo configurado para realizar um processo como um dispositivo que inclui um meio legível por computador tendo instruções para realizar um processo.

Como será evidente para uma pessoa com conhecimentos comuns na técnica, as implementações podem produzir uma variedade de sinais formatados para conter informa-ções que podem ser, por exemplo, armazenadas ou transmitidas. As informações podem incluir, por exemplo, instruções para executar um método, ou dados produzidos por uma das implementações descritas. Por exemplo, um sinal pode ser formatado para conter como da- dos as regras para gravar ou ler a sintaxe de uma modalidade descrita, ou conter como da-dos os valores de sintaxe efetivos gravados por uma modalidade descrita. Um tal sinal pode ser formatado, por exemplo, como uma onda eletromagnética (por exemplo, utilizando uma porção de radiofreqüência de espectro) ou como um sinal de banda base. A formatação po- 5 de incluir, por exemplo, codificação de um fluxo de dados e modulação de uma portadora com o fluxo de dados codificados. As informações que o sinal contém podem ser, por exemplo, informações analógicas ou digitais, o sinal pode ser transmitido através de uma variedade de links cabeados ou sem fio diferentes, como sabido.

Diversas implementações foram descritas. Não obstante, será entendido que várias 10 modificações podem ser feitas. Por exemplo, elementos de implementações diferentes podem ser combinados, suplementados, modificados ou removidos para produzir outras im-plementações. Adicionalmente, uma pessoa com conhecimentos comuns entenderá que outras estruturas e processos podem ser substituídos por aqueles versados e as implemen-tações resultantes executarão pelo menos substancialmente a(s) mesma(s) função (ões), 15 pelo menos substancialmente do(s) mesmo(s) modo(s), para obter pelo menos substancial-mente o(s) mesmo(s) resultado(s) que as implementações reveladas. Por conseguinte, essas e outras implementações são consideradas por esse pedido e estão compreendidas no escopo das reivindicações a seguir. 1/1

Claims

1. Método para processamento de codificação de vídeo de múltiplas vistas, MVC, compreendendo: proporcionar como saída uma unidade de camada de abstração de rede de conjunto de parâmetros de sequência, unidade NAL SPS, e uma unidade NAL SPS suplementar, e uma codificação de uma primeira camada MVC, e uma codificação de uma segunda cama-da MVC, em que: a unidade NAL SPS inclui informação descrevendo um parâmetro para utilização na decodificação de uma codificação de uma primeira camada MVC em uma sequência de imagens, a codificação da primeira camada MVC sendo baseada na informação da unidade NAL SPS, CARACTERIZADO pelo fato de que a unidade NAL SPS suplementar tem uma es-trutura de sintaxe diferente da unidade NAL SPS, e a unidade NAL SPS suplementar inclui informação suplementar descrevendo uma informação de usabilidade de vídeo MVC, VUI, parâmetro para utilização na decodificação de uma codificação de uma segunda camada MVC na sequência de imagens, em que a estrutura diferente é refletida na informação su-plementar incluindo um indicador temporal que indica que o parâmetro VUI MVC se aplica a codificação da segunda camada MVC, a codificação da segunda camada MVC sendo baseada na informação suplementar da unidade NAL SPS suplementar; acessar, a partir da unidade NAL SPS, a informação descrevendo o parâmetro para utilização na decodificação de uma codificação da primeira camada MVC; acessar, a partir da unidade NAL SPS suplementar, a informação suplementar des-crevendo o parâmetro para uso na decodificação de uma codificação da segunda camada MVC; e decodificar a codificação da primeira camada MVC, e a codificação da segunda camada MVC, com base na informação acessada da unidade NAL SPS, e a informação su-plementar acessada da unidade NAL SPS suplementar.