BR112016021475B1

BR112016021475B1 - Dispositivo e método para codificação escalável de informação de vídeo

Info

Publication number: BR112016021475B1
Application number: BR112016021475-7A
Authority: BR
Inventors: Adarsh Krishnan Ramasubramonian; Fnu HENDRY; Ye-Kui Wang
Original assignee: Qualcomm Incorporated
Priority date: 2014-03-17
Filing date: 2015-03-13
Publication date: 2023-12-26
Also published as: CN106105222A; BR112016021475A2; JP6434044B2; BR112016021475A8; KR20160132894A; MX355918B; WO2015142651A1; CN106105222B; BR112016021475B8; JP2017513340A; KR101948999B1; EP3120560C0; US20150264369A1; EP3120560A1; MX2016011215A; US9848199B2; EP3120560B1

Abstract

dispositivo e método para codificação escalável de informação de vídeo. um dispositivo configurar para codificar informação de vídeo em um fluxo de bits que inclui uma memória e um processador na comunicação com a memória. a memória é configurada a guardar informação de vídeo associada com uma camada de vídeo contendo uma figura atual. o processador é configurado a: determinar se o segmento de fatia de uma extensão de cabeçalho associada com a figura atual está presente no fluxo de bits; e determinar que um ou mais dos bits mais significantes (msbs) de uma ordem de contagem de figura (poc) valores associados com a figura atual não estão presentes no fluxo de bits em resposta a determinação que o segmento de fatia de extensão do cabeçalho associado com a figura atual não está presente no fluxo de bits. o processador pode codificar ou decodificar a informação de vídeo no fluxo de bits.

Description

CAMPO TÉCNICO

[0001] Essa revelação se refere ao campo de codificação e compactação de vídeo, particularmente à codificação de vídeo escalável, codificação de vídeo de múltiplas vistas, ou codificação de vídeo tridimensional (3D).

ANTECEDENTES

[0002] Capacidades de vídeo digital podem ser incorporadas em uma ampla gama de dispositivos, incluindo televisões digitais, sistemas digitais de difusão direta, sistemas de difusão sem fio, assistentes pessoais digitais (PDAs), computadores de mesa ou laptop, computadores tablet, leitores de livro eletrônico, câmeras digitais, dispositivos digitais de gravação, dispositivos de reprodução de mídia digital, dispositivo de videogame, consoles de videogame, telefones de rádio via satélite ou celulares dispositivos de teleconferência de vídeo, e semelhantes. Os dispositivos de vídeo digital implementam técnicas de compactação de vídeo tais como aquelas descritas nos padrões definidos por MPEG-2, MPEG-4, ITU-T H.263, ITU-T H.264/MPEG-4, Parte 10, Codificação Avançada de Vídeo (AVC), e extensões de tais padrões, para transmitir e receber informação de vídeo digital mais eficientemente. Os dispositivos de vídeo podem transmitir, receber, codificar, decodificar e/ou armazenar informação de vídeo digital mais especificamente mediante implementação de tais técnicas de codificação de vídeo.

[0003] Técnicas de compactação de vídeo realizam predição espacial (imagem intra) e/ou predição temporal (imagem inter) para reduzir ou remover a redundância inerente nas sequências de vídeo. Para codificação de vídeo baseada em bloco, uma fatia de vídeo (por exemplo, um quadro de vídeo ou uma porção de um quadro de vídeo) pode ser dividida em blocos de vídeo, os quais também podem ser referidos como treeblocks, unidades de codificação (CUs) e/ou modos de codificação. Os blocos de vídeo em uma fatia codificada intra (I) de uma imagem são codificados utilizando a predição espacial com relação às amostras de referência em blocos vizinhos na mesma imagem. Os blocos de vídeo em uma fatia codificada inter (P ou B) de uma imagem podem usar predição espacial com relação às amostras de referência em blocos vizinhos na mesma imagem ou predição temporal com relação às amostras de referência em outras imagens de referência. As imagens podem ser referidas como quadros, e as imagens de referência podem ser referidas como quadros de referência.

[0004] A predição espacial ou temporal resulta em um bloco preditivo para um bloco a ser codificado. Dados residuais representam diferenças de pixel entre o bloco original a ser codificado e o bloco preditivo. Um bloco codificado inter é codificado de acordo com um vetor de movimento que aponta para um bloco de amostras de referência formando o bloco preditivo, e os dados residuais indicando a diferença entre o bloco codificado e o bloco preditivo. Um bloco intra codificado é codificado de acordo com um modo de codificação intra e os dados residuais. Para compactação adicional, os dados residuais podem ser transformados a partir do domínio de pixel para um domínio de transformada, resultando em coeficientes de transformada residuais, os quais podem ser então quantizados. Os coeficientes quantizados, inicialmente arranjados em um arranjo bidimensional, podem ser varridos para produzir um vetor unidimensional dos coeficientes de transformada, e codificação de entropia pode ser empregada para se obter ainda mais compactação.

SUMÁRIO

[0005] Os sistemas, métodos e dispositivos desta revelação têm vários aspectos inovadores, nenhum dos quais é o único responsável pelos atributos desejáveis aqui revelados.

[0006] Em um aspecto, um aparelho configurado para codificar (por exemplo, encodificar ou decodificar) informação de vídeo em um fluxo de bits inclui uma memória e um processador em comunicação com a memória. A memória é configurada para armazenar informação de vídeo associada com uma camada de vídeo que tem uma imagem atual. O processador é configurado para: determinar se uma extensão de cabeçalho de segmento de fatia associada com a imagem atual está presente no fluxo de bits; e determinar se um ou mais bits mais significativos (MSBs) de um valor de contagem de ordem de imagem (POC) associado com a imagem atual não está presente no fluxo de bits em resposta a uma determinação de se a extensão de cabeçalho de segmento de fatia associada com a imagem atual não está presente no fluxo de bits.

[0007] Em outro aspecto, um método de codificar informação de vídeo em um fluxo de bits inclui: determinar se uma extensão de cabeçalho de segmento de fatia associada com uma imagem atual em uma camada de vídeo está presente no fluxo de bits; e determinar se um ou mais bits mais significativos (MSBs) de um valor de contagem de ordem de imagem (POC) associado com a imagem atual não está presente no fluxo de bits em resposta a uma determinação de que a extensão de cabeçalho de segmento de fatia associada com a imagem atual não está presente no fluxo de bits.

[0008] Em outro aspecto, um meio legível por computador não transitório contém código que, quando executado, faz com que um aparelho realize um processo. O processo inclui: armazenar informação de vídeo associada com uma camada de vídeo tendo uma imagem atual; determinar se a extensão de cabeçalho de segmento de fatia associada com a imagem atual está presente em um fluxo de bits; e determinar se um ou mais bits mais significativos (MSBs) de um valor de contagem de ordem de imagem (POC) associado com a imagem atual não estão presentes no fluxo de bits em resposta a uma determinação de que a extensão de cabeçalho de segmento de fatia associada com a imagem atual não está presente no fluxo de bits.

[0009] Em outro aspecto, um dispositivo de codificação de vídeo configurado para codificar informação de vídeo em um fluxo de bits inclui: meios para armazenar informação de vídeo associada com uma camada de vídeo que tem uma imagem atual; meios para determinar se uma extensão de cabeçalho de segmento de fatia associada com a imagem atual está presente no fluxo de bits; e meios para determinar se um ou mais bits mais significativos (MSBs) de um valor de contagem de ordem de imagem (POC) associado com a imagem atual não estão presentes no fluxo de bits em resposta a uma determinação de que a extensão de cabeçalho de segmento de fatia associada com a imagem atual não está presente no fluxo de bits.

BREVE DESCRIÇÃO DOS DESENHOS

[0010] A FIGURA 1A é um diagrama em blocos que ilustra um sistema de codificação e decodificação de vídeo exemplar que pode utilizar técnicas de acordo com os aspectos descritos nessa revelação.

[0011] A FIGURA 1B é um diagrama em blocos que ilustra outro sistema de codificação e decodificação de vídeo exemplar que pode executar técnicas de acordo com aspectos descritos nessa revelação.

[0012] A FIGURA 2A é um diagrama em blocos que ilustra um exemplo de um codificador de vídeo que pode implementar técnicas de acordo com aspetos descritos nessa revelação.

[0013] A FIGURA 2B é um diagrama em blocos que ilustra um exemplo de um codificador de vídeo que pode implementar técnicas de acordo com aspetos descritos nessa revelação.

[0014] A FIGURA 3A é um diagrama em blocos que ilustra um exemplo de um decodificador de vídeo que pode implementar técnicas de acordo com aspetos descritos nessa revelação.

[0015] A FIGURA 3B é um diagrama em blocos que ilustra um exemplo de um decodificador de vídeo que pode implementar técnicas de acordo com aspetos descritos nessa revelação.

[0016] A FIGURA 4 é um fluxograma que ilustra um método de codificar informação de vídeo, de acordo com uma modalidade da presente revelação.

[0017] A FIGURA 5 é um diagrama de blocos que ilustra uma configuração exemplar de imagens em diferentes camadas.

[0018] A FIGURA 6 é um diagrama de blocos que ilustra outra configuração exemplar de imagens em diferentes camadas.

[0019] A FIGURA 7 é um diagrama em blocos que ilustra ainda outra configuração exemplar de imagens em camadas diferentes.

DESCRIÇÃO DETALHADA

[0020] Em geral, essa revelação se refere ao gerenciamento POC para codificação de vídeo de múltiplas camadas no contexto de codecs de vídeo avançados, tal como HEVC (Codificação de Vídeo de Alta Eficiência). Mais especificamente, a presente invenção se refere aos sistemas e métodos para desempenho aperfeiçoado de predição entre camadas em extensão de codificação de vídeo escalável (SVC) de HEVC referida como SHVC.

[0021] Codificação de vídeo escalável (SVC) se refere à codificação de vídeo na qual uma camada de base (BL), algumas vezes referida como uma camada de referência (RL), e uma ou mais camadas de otimização escaláveis (ELs) são usadas. Em codificação de vídeo escalável, a BL pode carregar dados de vídeo com um nível de base de qualidade. A uma ou mais ELs podem carregar dados adicionais de vídeo para suportar, por exemplo, níveis espaciais, temporais e/ou de sinal/ruído (SNR) superiores. As ELs podem ser definidas em relação a uma camada previamente codificada. Por exemplo, uma camada inferior pode servir como uma BL, enquanto que uma camada superior pode servir como uma EL. As camadas do meio podem servir como ELs ou como RLs, ou ambas. Por exemplo, uma camada do meio (por exemplo, uma camada que não seja a camada mais baixa nem a camada mais alta) pode ser uma EL para as camadas abaixo da camada do meio, tal como a camada de base ou quaisquer ELs intermediárias, e ao mesmo tempo servir como uma RL para uma ou mais ELs acima da camada do meio. Similarmente, na extensão 3D ou de múltiplas vistas do padrão HEVC, pode haver múltiplas vistas, e informação de uma vista pode ser utilizada para codificar (por exemplo, codificar ou decodificar) a informação de outra vista (por exemplo, estimativa de movimento, predição de vetor de movimento e/ou outras redundâncias).

[0022] Em algumas implementações, quando uma fluxo de bits de camada única (por exemplo, um fluxo de bits contendo apenas uma camada de informação de vídeo) é processada por um decodificador de múltiplas camadas (por exemplo, um decodificador que é configurado para processar fluxos de bits de camada única e configurado para processar fluxos de bits de camadas múltiplas), o decodificador de camada múltipla de forma incorreta pode determinar que o fluxo de bits de camada única seja uma fluxo de bits não conforme (por exemplo, um fluxo de bits que não é gerado em conformidade com uma ou mais aplicáveis padrões) com base na ausência de algum informação de que o decodificador múltiplas camadas pode ser esperado (isto é, o decodificador múltiplas camadas é configurado para receber e processar) no fluxo de bits. Por exemplo, um fluxo contínuo de dados múltiplas camadas pode conter imagens que estão na mesma unidade de acesso, mas associados com valores de contagem fim imagem (POC) que têm diferentes bits menos significativos (LSBs). Tipicamente, tal não- alinhamento de LSBs de POC pode ser indicado por uma indicador (por exemplo, vps_poc_lsb_aligned_flag) fornecido no fluxo de bits de múltiplas camadas. O decodificador múltiplas camadas pode ser configurado para, mediante a determinação do fluxo de bits de camada múltipla contém LSBs de POC alinhadas, não-processo de um ou mais bits mais significativos (MSB) dos valores POC que são fornecidos na fluxo de bits de camada múltipla. Se o decodificador múltiplas camadas de não encontrar nenhum MSBs dos valores POC no local esperado ou pré-determinada no fluxo de bits de múltiplas camadas (por exemplo, nas extensões de cabeçalho do segmento de fatia associadas a tais imagens), o decodificador de múltiplas camadas pode concluir corretamente que o fluxo de bits de múltiplas camadas não se adapta aos padrões de codificação vídeo aplicáveis (por exemplo, High Efficiency Scalable Video Coding (SHVC)).

[0023] Por outro lado, um fluxo de bits de camada única (por exemplo, um fluxo de bits codificado HEVC que contém apenas uma camada de vídeo) não pode conter qualquer informação relevante para as extensões de escalabilidade para HEVC como extensões de conjunto de parâmetros de vídeo (VPS), que tipicamente conteria o indicador acima mencionado que indica se a fluxo de bits pode conter bits menos significativos POC não alinhados. Assim, quando o processamento de uma tal fluxo de bits de camada única, o decodificador de múltiplas camadas pode assumir (ou seja, determinar), com base na ausência de um tal indicador que indica se a fluxo de bits pode conter LSBs de POC não alinhados, que o fluxo de bits de camada única contém LSB de POC não-alinhados. Como discutido anteriormente, com base nesta determinação, o decodificador de múltiplas camadas pode esperar receber um ou mais MSBs dos valores POC incluídos no fluxo de bits. Quando o decodificador múltiplas camadas determina que o fluxo de bits de camada única não contém um ou mais MSBs dos valores POC (por exemplo, que podem ser proporcionadas nas extensões de cabeçalho do segmento fatia que tipicamente não estão incluídos em um fluxo de bits de camada única) que o decodificador múltiplas camadas procura encontrar, o decodificador de múltiplas camadas pode determinar que o fluxo de bits de camada única, que não contêm bits menos significativos POC não alinhados e, assim, não necessita de MSB dos valores POC seja aí sinalizado, é um fluxo de bits não conforme, mesmo que o fluxo de bits de camada única possa, de fato, ser um fluxo de bits conforme (por exemplo, um fluxo contínuo de dados que está em conformidade com uma ou mais normas aplicáveis).

[0024] Assim, é desejado um método melhorado para a determinação da presença de MSBs de POC num fluxo de bits.

[0025] Na presente revelação, são descritas várias técnicas para determinar (ou inferir) se MSBs de POC são sinalizadas no fluxo de bits. Em algumas modalidades da presente invenção, o codificador determina se MSBs de POC associados com uma imagem são sinalizadas no fluxo de bits com base na presença no fluxo de bits de extensões de cabeçalho do segmento fatia. Ao basear a determinação de se MSBs de POC associados com uma imagem são sinalizadas no fluxo de bits com a presença da extensão de cabeçalho do segmento fatia associado com a imagem, o codificador pode evitar uma expectativa incorreta de MSBs de POC sendo sinalizada no fluxo de bits durante o processamento de um fluxo de bits de camada única.

[0026] Na descrição abaixo, são descritas técnicas H.264/AVC relacionadas a certas modalidades; o padrão HEVC e as técnicas relacionadas também são discutidos. Embora certas modalidades sejam descritas aqui no contexto dos padrões HEVC e/ou H.264, aqueles com conhecimento comum na arte podem considerar que os sistemas e métodos aqui revelados podem ser aplicáveis a qualquer padrão de codificação de vídeo adequado. Por exemplo, modalidades aqui reveladas podem ser aplicáveis a um ou mais dos seguintes padrões (por exemplo, incluindo os padrões desenvolvidos pelo International Telecommucation Union Telecommunication Standardization Sector [ITU-T] Video Coding Experts Group [VCEG] ou International Organization for Standardization/International Electrotechnical Commission [ISO/IEC] Moving Pictures Experts Group [MPEG]): ITU-T H.261, ISO/IEC MPEG-1 Visual, ITU-T H.262 ou ISO/IEC MPEG-2 Visual, ITU-T H.263, ISO/IEC MPEG-4 Visual e ITU-T H.264 (também conhecido como ISO/IEC MPEG-4 AVC), incluindo as extensões de Codificação de Vídeo Escalável (SVC) e Codificação de Vídeo de Múltiplas Vistas (MVC).

[0027] HEVC geralmente acompanha a estrutura de quadro dos padrões anteriores de codificação de vídeo em muitos aspectos. A unidade de predição em HEVC é diferente das unidades de predição (por exemplo, macro blocos) em certos padrões de codificação de vídeo. Na realidade, o conceito de macro bloco não existe em HEVC como entendido em certos padrões de codificação de vídeo, anteriores. Um macro bloco é substituído por uma estrutura hierárquica baseada em um esquema quadtree, o qual pode proporcionar elevada flexibilidade, entre outros benefícios possíveis. Por exemplo, com o esquema HEVC, três tipos de blocos, Unidade de Codificação (CU), Unidade de Predição (PU), e Unidade de Transformada (TU), são definidos. A CU pode se referir à unidade básica de divisão de região. A CU pode ser considerada análoga ao conceito de macro bloco, mas HEVC não limita o tamanho máximo de CUs e pode permitir divisão recursiva em quatro CUs de tamanhos iguais para melhorar a capacidade de adaptação de conteúdo. PU pode ser considerada a unidade básica de predição inter/intra, e uma única PU pode conter múltiplas partições de formato arbitrário para codificar efetivamente os padrões de imagem irregular. PU pode ser considerada a unidade básica de transformada. A TU pode ser definida independentemente a partir da PU; contudo, o tamanho de uma PU pode ser limitada ao tamanho da CU a qual pertence à PU. Essa separação da estrutura de blocos em três conceitos diferentes pode permitir que cada unidade seja otimizada de acordo com a função respectiva da unidade, a qual pode resultar em eficiência de codificação aperfeiçoada.

[0028] Com finalidade apenas de ilustração, certas modalidades aqui reveladas são descritas com exemplos incluindo apenas duas camadas (por exemplo, uma camada inferior tal como a camada de base, e uma camada superior tal como a camada de otimização) de dados de vídeo. Uma “camada” de dados de vídeo pode geralmente se referir a uma sequência de imagens tendo ao menos uma característica comum, tal como uma vista, uma taxa de quadros, uma resolução, ou semelhante. Por exemplo, uma camada pode incluir dados de vídeo associados com uma vista específica (por exemplo, perspectiva) de dados de vídeo de múltiplas vistas. Como outro exemplo, uma camada pode incluir dados de vídeo associados com uma camada específica de dados de vídeo escaláveis. Assim, essa revelação pode se referir de forma permutável a uma camada e a uma vista de dados de vídeo. Por exemplo, uma vista de dados de vídeo pode ser referida como uma camada de dados de vídeo, e uma camada de dados de vídeo pode ser referida como uma vista de dados de vídeo. Além disso, um codec de múltiplas camadas (também referido como um codificador de vídeo de múltiplas camadas ou decodificador de vídeo de múltiplas camadas) pode se referir conjuntamente a um codec de múltiplas vistas ou um codec escalável (por exemplo, um codec configurado para codificar e/ou decodificar dados de vídeo utilizando MV-HEVC, 3D-HEVC, SHVC, ou outra técnica de codificação de múltiplas camadas). A codificação de vídeo e a decodificação de vídeo podem ser referidas geralmente como uma codificação de vídeo. Deve ser entendido que tais exemplos podem ser aplicáveis às configurações incluindo múltiplas camadas de base e/ou de otimização. Além disso, para facilidade de explanação, a revelação seguinte inclui os termos “quadros” ou “blocos” com referência a certas modalidades. Contudo, não se pretende que esses termos sejam limitadores. Por exemplo, as técnicas descritas abaixo podem ser usadas com quaisquer unidades de vídeo adequadas, tais como blocos (por exemplo, CU, PU, TU, macro blocos, etc.), fatias, quadros, etc.

Padrões de Codificação de Vídeo

[0029] Uma imagem digital, tal como uma imagem de vídeo, uma imagem de TV, uma imagem ou uma imagem gerada por um gravador de vídeo ou um computador, pode consistir em pixels ou amostras dispostas em linhas horizontais e verticais. O número de pixels em uma única imagem é normalmente de dezenas de milhares. Normalmente, cada pixel contém informação de luminância e crominância. Sem compactação, a grande quantidade de informação a ser transmitida de um codificador de imagem de um decodificador de imagem iria impossibilitar transmissão de imagem em tempo real. Para reduzir a quantidade de informação a transmitir, um número de métodos de compactação diferentes, tais como padrões JPEG, MPEG e h. 263, foram desenvolvidos.

[0030] Os padrões de codificação de vídeo incluem ITU-T h. 261, ISO/IEC MPEG-1 Visual, ITU - T H.262 ou Visual ISO/IEC MPEG-2, ITU-T h. 263, ISO/IEC MPEG-4 Visual e ITU-T h. 264 (também conhecido como ISO/IEC MPEG-4 AVC), incluindo as suas extensões de codificação de vídeo escalável (SVC) e codificação de vídeo de múltiplas vistas (MVC).

[0031] Além disso, um vídeo de codificação padrão, ou seja, HEVC está sendo desenvolvido pela Equipe de colaboração conjunta na codificação de vídeo (JCT-VC) do ITU-T VCEG e ISO/IEC MPEG. A citação completa para o HEVC projeto 10 é documento JCTVC-L1003, Bross et al, “Codificação de Vídeo de Alta eficiência (HEVC) texto especificação projeto 10,” equipe colaboração conjunta na codificação de vídeo (JCT-VC) do ITU-T SG16 WP3 e ISO/IEC JTC1/SC29/WG11, 12° Encontro: Genebra, Suíça, 14 de janeiro de 2013 a 23 de janeiro de 2013. A extensão de múltiplas vistas para HEVC, ou seja, MV-HEVC e a extensão que pode ser dimensionada para HEVC, chamado SHVC, também estão sendo desenvolvidos pela JCT-3V (ITU-T/ISO/IEC de equipe colaborativa conjunta no desenvolvimento extensão de codificação de vídeo 3D) e JCT-VC, respectivamente.

Sistema de Codificação de Vídeo

[0032] Vários aspectos dos novos sistemas, aparelhos e métodos são descritos mais detalhadamente a seguir tendo como referência os desenhos que acompanham. Esta revelação pode, no entanto, incorporada em muitas formas diferentes e não deve ser interpretada como limitada a qualquer estrutura ou função específica apresentada em toda esta revelação. Em vez disso, estes aspectos são fornecidos para que esta revelação seja aprofundada e completa e totalmente vai transmitir o escopo da revelação para aqueles qualificados na arte. Baseada nos ensinamentos aqui um hábil na arte deveria apreciar que o escopo da revelação destina-se a cobrir qualquer aspecto de sistemas, aparelhos e métodos inovadores revelados neste documento, se implementado independentemente de, ou combinado com qualquer outro aspecto da revelação presente. Por exemplo, um aparelho pode ser implementado ou um método pode ser praticado usando qualquer número dos aspectos aqui estabelecidos. Além disso, o escopo da presente revelação destina-se a cobrir tais aparelhos ou um método que é praticado usando outra estrutura, funcionalidade, ou estrutura e funcionalidade, além de, ou que não sejam os vários aspectos da presente revelação aqui estabelecidos. Deve ser entendido que qualquer aspecto divulgado neste documento pode ser personificado por um ou mais elementos de uma reivindicação.

[0033] Embora aspectos particulares sejam aqui descritos, muitas variações e permutações desses aspectos abrangidos pelo âmbito da revelação. Embora alguns benefícios e vantagens dos aspectos preferenciais sejam mencionados, o escopo da revelação não pretende ser limitado aos benefícios, usos ou objetivos específicos. Em vez disso, os aspectos da revelação têm a finalidade de aplicação ampla às diferentes tecnologias sem fio, configurações de sistemas, redes e protocolos de transmissão, algumas das quais são ilustradas a título de exemplo, nas figuras e na seguinte descrição dos aspectos preferenciais. A descrição detalhada e desenhos são meramente ilustrativos da revelação ao invés de limitadores, o escopo da revelação sendo definido pelas reivindicações anexas e seus equivalentes.

[0034] Os desenhos anexos ilustram exemplos. Elementos indicados pela referência números nos desenhos anexados correspondem aos elementos indicados pelo gostam de números de referência na seguinte descrição. Nesta revelação, elementos com nomes que começam com palavras ordinais (por exemplo, “primeiro”, “segunda,” “terceiros” e assim por diante) não implica necessariamente que os elementos têm uma ordem específica. Pelo contrário, tais palavras ordinais são utilizadas apenas para se referir a elementos diferentes de um mesmo ou similar tipo.

[0035] A figura 1A é um diagrama de bloco que ilustra um exemplo codificação sistema vídeo 10 que pode utilizar técnicas de acordo com os aspectos descritos nesta revelação. Como aqui descrito, o termo “codificador de vídeo” refere-se genericamente a tanto vídeo codificadores e decodificadores de vídeo. Na revelação, os termos “codificação de vídeo” ou “codificação” pode se referir genericamente à codificação e decodificação de vídeo. Além de codificadores de vídeo e decodificadores de vídeo, os aspectos descritos no presente pedido podem ser alargados a outros dispositivos relacionados como transcodificadores (por exemplo, dispositivos que podem decodificar um fluxo de bits e re-codificar outro fluxo de bits) e dispositivos de medição e monitoração de redes (por exemplo, dispositivos que podem modificar, transformar, e/ou manipular um fluxo de bits).

[0036] Como mostrado na figura 1A, vídeo codificação sistema 10 inclui um dispositivo de origem 12 que gera dados de vídeo codificados para ser decodificado em um momento posterior por um dispositivo de destino 14. No exemplo da figura 1A, o dispositivo de origem 12 e o dispositivo de destino 14 estão em dispositivos separados - especificamente, o dispositivo de origem 12 é parte de um dispositivo de origem, e o dispositivo de destino 14 faz parte de um dispositivo de destino. Deve-se notar, no entanto, que os módulos de origem 12 e de destino 14 podem estar em ou ser parte do mesmo dispositivo, como mostrado no exemplo da figura 1B.

[0037] Com referência mais uma vez, a figura 1A, o dispositivo de origem 12 e o dispositivo de destino de 14 podem respectivamente incluir qualquer de uma ampla gama de dispositivos, incluindo computadores desktop, computadores portáteis (por exemplo, portátil), computadores tablet, caixas set-top, aparelhos de telefone, tais como os chamados “Smartphones”, elementos de chamada “inteligentes”, televisores, câmeras, displays, aparelhos de reprodução de mídia digital, consoles de videogame, dispositivo de fluxo contínuo de vídeo, ou semelhante. Em várias modalidades, o dispositivo de origem 12 e o dispositivo de destino 14 podem estar equipados para comunicação sem fio.

[0038] O dispositivo de destino 14 pode receber, através de um link 16, os dados de vídeo codificados para ser decodificado. O link 16 pode incluir qualquer tipo de mídia ou dispositivo capaz de mover os dados de vídeo codificados do dispositivo de origem 12 para o dispositivo de destino 14. No exemplo da figura 1A, o link 16 pode incluir um meio de comunicação para permitir que o dispositivo de origem 12 transmitir dados de vídeo codificados diretamente para o dispositivo de destino 14 em tempo real. Os dados de vídeo codificados podem ser modulados de acordo com um padrão, como um protocolo de comunicação sem fio de comunicação e transmitidos para o dispositivo de destino 14. O meio de comunicação pode incluir qualquer meio de comunicação sem fio ou com fio, como um espectro de rádio freqüência (RF) ou uma ou mais linhas de transmissão física. O meio de comunicação pode fazer parte de uma rede baseada em pacotes, como uma rede global como a Internet, uma rede de área ampla ou uma rede de área local. O meio de comunicação pode incluir roteadores, switches, estações rádio-base ou qualquer outro equipamento que pode ser útil para facilitar a comunicação do dispositivo de origem 12 para o dispositivo de destino 14.

[0039] Alternativamente, dados codificados podem ser produzidos a partir de uma interface de saída 22 para um dispositivo de armazenamento opcional 31. Da mesma forma, dados codificados podem ser acessados do dispositivo de armazenamento 31 por uma interface de entrada 28, por exemplo, o dispositivo de destino 14. O dispositivo de armazenamento 31 pode incluir qualquer de uma variedade de mídia de armazenamento de dados distribuídos ou acessados localmente como um disco rígido, memória flash, memória volátil ou não volátil ou qualquer outra mídia de armazenamento digital adequado para armazenar dados de vídeo codificados. Em mais um exemplo, o dispositivo de armazenamento 31 pode corresponder a um servidor de arquivo ou outro dispositivo de armazenamento intermediário que pode conter o vídeo codificado gerado pelo dispositivo de fonte 12. O dispositivo de destino 14 pode acessar dados armazenados de vídeo do dispositivo de armazenamento 31 através de fluxo contínuo ou download. O servidor de arquivos pode ser qualquer tipo de servidor, capaz de armazenar dados de vídeo codificados e transmitir que codificado dados de vídeo para o dispositivo de destino 14. Servidores de arquivos de exemplo incluem um servidor web (por exemplo, para um site), um servidor de protocolo de transferência de arquivo (FTP), dispositivos de armazenamento (NAS) ligados em rede ou uma unidade de disco local. O dispositivo de destino 14 pode acessar os dados de vídeo codificados através de qualquer conexão de dados padrão, incluindo uma conexão de Internet. Isto pode incluir um canal sem fio (por exemplo, uma conexão de rede local sem fio [WLAN]), uma conexão com fio (por exemplo, uma linha de assinante digital (DSL), um modem de cabo, etc.), ou uma combinação de ambos de que é adequada para acessar dados de vídeo codificados, armazenados em um servidor de arquivos. A transmissão de dados de vídeo codificados do dispositivo de armazenamento 31 pode ser uma transmissão de fluxo contínuo, uma transmissão de baixar ou uma combinação de ambos.

[0040] As técnicas de revelação não estão limitadas a aplicações ou configurações sem fio. As técnicas podem ser aplicadas para codificação de vídeo para apoiar qualquer de uma variedade de aplicações de multimídia, tais como transmissões de televisão por satélite, as transmissões de televisão por cabo, transmissões de televisão por satélite, fluxo contínuo de transmissões de vídeo, por exemplo, através da Internet (por exemplo, fluxo contínuo dinâmico adaptável sobre protocolo de transferência de hipertexto (HTTP), etc.), codificação de vídeo digital para armazenamento em um meio de armazenamento de dados, decodificação de vídeo digital armazenado em um meio de armazenamento de dados, ou outras aplicações. Em alguns exemplos, sistema 10 de codificação de vídeo pode ser configurado para oferecer suporte à transmissão de vídeo unidirecional ou bidirecional para oferecer suporte a aplicativos como fluxo contínuo de vídeo, reprodução de vídeo, transmissão de vídeo e/ou vídeo telefonia.

[0041] No exemplo da figura 1A, o dispositivo de origem 12 inclui uma fonte de vídeo 18, um codificador de vídeo 20 e a interface de saída 22. Em alguns casos, a interface de saída 22 pode incluir um modulador/demodulador (modem) e/ou um transmissor. Em 12 o dispositivo de origem, a fonte de vídeo 18 pode incluir uma fonte como um dispositivo de captura de vídeo, por exemplo, uma câmera de vídeo, um arquivo de vídeo contendo anteriormente vídeo capturado, interface para receber o vídeo de um provedor de conteúdo de vídeo, e/ou um sistema de gráficos de computador para gerar dados de gráficos de computador como a fonte de vídeo, ou uma combinação de fontes de alimentação de um vídeo. Como um exemplo, se a fonte de vídeo 18 é uma câmera de vídeo, o dispositivo de origem 12 e o dispositivo de destino 14 podem formar os assim chamados telefones com câmera ou telefones de vídeo, conforme ilustrado no exemplo da figura IB. No entanto, as técnicas descritas nesta revelação podem ser aplicáveis para codificação de vídeo em geral e podem ser aplicadas para aplicações sem fio ou com fio.

[0042] O vídeo capturado, pré-capturado ou gerado por computador pode ser codificado pelo codificador de vídeo 20. Os dados codificados de vídeo podem ser transmitidos diretamente para o dispositivo de destino 14 através da interface de saída 22 do dispositivo de origem 12. Os dados de vídeo codificados podem também (ou alternativamente) armazenados no dispositivo de armazenamento 31 para posterior acesso pelo dispositivo destino 14 ou outros dispositivos, para decodificação e/ou reprodução, codificador de vídeo 20 ilustrado na figura 1A e IB podem incluir o codificador de vídeo 20, ilustrado figura 2A, codificador de vídeo 23, ilustrado na figura 2B ou qualquer outro codificador de vídeo aqui descrito.

[0043] No exemplo da figura 1A, o dispositivo de destino 14 inclui a interface de entrada 28, um decodificador de vídeo 30 e um dispositivo de visualização de 32. Em alguns casos, a interface de entrada 28 pode incluir um receptor e/ou um modem. A interface de entrada 28 do dispositivo destino 14 pode receber os dados de vídeo codificados no link 16 e/ou do dispositivo de armazenamento 31. Os dados de vídeo codificados comunicadas sobre o link 16, ou fornecidos no dispositivo de armazenamento 31, podem incluir uma variedade de elementos de sintaxe gerados pelo codificador de vídeo 20 para uso por um decodificador de vídeo, tais como o decodificador de vídeo 30, na decodificação de dados de vídeo. Tais elementos de sintaxe podem ser incluídos com o codificado dados de vídeo transmitidos em um meio de comunicação, armazenados em um meio de armazenamento ou armazenado um servidor de arquivos. Decodificador de vídeo 30 ilustrado na figura 1A e IB pode incluir decodificador de vídeo 30 ilustrado figura 3A, decodificador de vídeo 33 ilustrado na figura 3B ou qualquer outro decodificador de vídeo aqui descrito.

[0044] O dispositivo de exibição 32 pode ser integrado com, ou externo ao dispositivo de destino 14. Em alguns exemplos, o dispositivo de destino 14 pode incluir um dispositivo de visualização integrado e também ser configurado para interagir com um dispositivo de exibição externa. Em outros exemplos, o dispositivo de destino 14 pode ser um dispositivo de exibição. Em geral, o dispositivo de exibição 32 exibe os dados de vídeo decodificados para um usuário e pode incluir qualquer de uma variedade de dispositivos de exibição como um display de cristal líquido (LCD), um display de plasma, uma exposição de diodo (OLED) emitindo luz orgânica ou outro tipo de dispositivo de exibição.

[0045] Em aspectos relacionados, a figura IB mostra um exemplo de codificação e decodificação de vídeo do sistema 10 ', em que os dispositivos de origem e de destino 12, 14 estão em ou parte de um dispositivo 11. O dispositivo 11 pode ser um telefone, como um telefone “inteligente” ou coisa parecida. O dispositivo 11 pode incluir um dispositivo controlador opcional/processador 13 na comunicação operacional com os módulos de origem e destino 12, 14. O sistema 10' de FIGURA 1B pode ainda incluir uma unidade de processamento de vídeo 21 entre 20 de codificador de vídeo e a interface de saída 22. Em algumas implementações, a unidade de processamento de vídeo 21 é uma unidade separada, conforme ilustrado na figura IB; no entanto, em outras implementações, a unidade de processamento de vídeo 21 pode ser implementada como uma porção de codificador de vídeo 20 e/ou o dispositivo de controlador de processador/13. O sistema de 10' pode também incluir um perseguidor opcional 29, que pode acompanhar um objeto de interesse em uma seqüência de vídeo. O objeto ou interesse a ser controladas pode ser segmentado por uma técnica descrita em relação a um ou mais aspectos de revelação do presente. Em aspectos relacionados, o rastreamento pode ser realizado pelo dispositivo de exposição 32, sozinho ou em conjunto com o rastreador 29. O sistema 10' de FIGURA IB e seus componentes, caso contrário são semelhantes ao sistema 10 da figura 1A e os seus componentes.

[0046] O codificador de vídeo 20 e o decodificador de vídeo 30 podem operar de acordo com um padrão de compactação de vídeo, tal como o padrão HEVC e podem estar em conformidade com um modelo de teste HEVC (HM). Alternativamente, codificador de vídeo 20 e o decodificador de vídeo 30 podem operar de acordo com outros padrões proprietários ou de indústria, tais como o ITU-T h. 264 padrão, alternativamente conhecido como MPEG-4, parte 10, AVC ou extensões de tais normas. As técnicas de revelação, no entanto, não estão limitadas a qualquer padrão de codificação particular. Outros exemplos de padrões de compactação de vídeo, MPEG-2 e ITU-T h. 263.

[0047] Embora não mostrado nos exemplos da figura 1A e 1B, codificador de vídeo 20 e decodificador de vídeo 30 cada um podem ser integrados com um áudio codificador e decodificador e podem incluir unidades de MUX-DEMUX adequadas, ou outro hardware e software, para lidar com a codificação de áudio e vídeo em um fluxo de dados comum ou fluxos de dados separados. Se for caso disso, em alguns exemplos, unidades de MUX-DEMUX podem de acordo com o protocolo de multiplexador ITU H.223, ou outros protocolos, como o protocolo de datagrama de usuário (UDP).

[0048] O codificador de vídeo 20 e o decodificador de vídeo 30 podem ser implementados como qualquer um de uma variedade de circuitos de codificação apropriados, tais como um ou mais microprocessadores, processadores de sinal digital (DSPs), circuitos integrados específicos de aplicativo (ASICs), matrizes de campo portão programável (FPGAs), lógica discreta, software, hardware, firmware ou qualquer combinação das mesmas. Quando as técnicas são implementadas parcialmente no software, um dispositivo pode armazenar instruções para o software em um meio informático adequado, não transitórios e execute as instruções no hardware usando um ou mais processadores para executar as técnicas de revelação. Cada um de codificador de vídeo 20 e decodificador de vídeo 30 pode ser incluído em um ou mais codificadores ou decodificadores, ou pode ser integrado como parte de um codificador/decodificador (por exemplo, codec) combinado em um dispositivo respectivo.

Processo de Codificação de Vídeo

[0049] Como mencionado brevemente acima, codificador de vídeo 20 codifica dados de vídeo. Os dados de vídeo podem incluir uma ou mais imagens. Cada uma das imagens é uma imagem estática, formando parte de um vídeo. Em alguns casos, uma imagem pode ser referida como um vídeo “quadro”. Quando o codificador de vídeo 20 codifica os dados de vídeo, codificador de vídeo 20 pode gerar um fluxo de bits. O fluxo de bits pode incluir uma seqüência de bits que formam uma representação codificada dos dados de vídeo. O fluxo de bits pode incluir imagens codificadas e dados associados. Uma imagem codificada é uma representação codificada de uma imagem.

[0050] Para gerar o fluxo de bits, codificador de vídeo 20 pode executar operações de codificação em cada imagem nos dados de vídeo. Quando o codificador de vídeo 20 executa operações de codificação nas imagens, codificador de vídeo 20 pode gerar uma série de imagens codificadas e dados associados. Os dados associados podem incluir conjuntos de parâmetros de vídeo (VPSs), conjuntos de parâmetros de seqüência (SPSs), conjuntos de parâmetros de imagem (PPSs), conjuntos de parâmetros de adaptação (APSs) e outras estruturas de sintaxe. Uma SPS pode conter parâmetros aplicáveis para zero ou mais seqüências de imagens. Um PPS pode conter parâmetros aplicáveis para zero ou mais imagens. Um APS pode conter parâmetros aplicáveis para zero ou mais imagens. Parâmetros em um APS podem ser parâmetros que tem mais chances de mudar parâmetros em um PPS.

[0051] Para gerar uma imagem codificada, o codificador de vídeo 20 pode dividir uma imagem em tamanho igualmente a blocos. Um bloco de vídeo pode ser uma matriz bidimensional de amostras. Cada um dos blocos de vídeo está associado com um treeblock. Em alguns casos, um treeblock pode ser referido como uma maior unidade de codificação (UTL). Os treeblocks de HEVC podem ser amplamente análogos aos macroblocos de padrões anteriores, tais como H.264/AVC. No entanto, um treeblock não é necessariamente limitado a um determinado tamanho e pode incluir uma ou mais unidades de codificação (CUs). Codificador de vídeo 20 pode usar núcleo dividir a partição os blocos de vídeo de treeblocks em bloco de vídeos associados com CUs, daí o nome “treeblocks”.

[0052] Em alguns exemplos, codificador de vídeo 20 pode dividir uma imagem em uma pluralidade de fatias. Cada uma das fatias pode incluir um número inteiro de CUs. Em alguns casos, uma fatia é composta por um número inteiro de treeblocks. Em outros casos, um limite de uma fatia pode ser dentro de um treeblock.

[0053] Como parte da realização de uma operação de codificação em uma imagem, codificador de vídeo 20 pode executar operações de codificação em cada fatia da imagem. Quando o codificador de vídeo 20 executa uma operação de codificação em uma fatia, codificador de vídeo 20 pode gerar dados codificados, associados com a fatia. Os dados codificados associados à fatia podem ser referidos como uma “fatia codificada”.

[0054] Para gerar uma fatia codificada, codificador de vídeo 20 pode executar operações de codificação em cada treeblock em uma fatia. Quando o codificador de vídeo 20 executa uma operação de codificação em um treeblock, codificador de vídeo 20 pode gerar um código treeblock. O treeblock codificado pode incluir os dados que representam uma versão codificada do treeblock.

[0055] Quando o codificador de vídeo 20 gera uma fatia codificada, codificador de vídeo 20 pode efetuar operações de codificação com (por exemplo, codificar) os treeblocks na fatia de acordo com uma ordem de varredura de rastreamento. Por exemplo, o codificador de vídeo 20 pode codificar o treeblocks da fatia em uma ordem que procede da esquerda para a direita através de uma linha superior de treeblocks na fatia, então da esquerda para a direita em uma próxima linha inferior de treeblocks, e assim por diante até que o codificador de vídeo 20 tenha codificado cada um dos treeblocks na fatia.

[0056] Como resultado da codificação do treeblocks de acordo com a ordem de varredura de rastreamento, o treeblocks acima e à esquerda de um determinado treeblock pode ter sido codificado, mas treeblocks abaixo e à direita do treeblock dado ainda não ter sido codificado. Por conseguinte, codificador de vídeo 20 pode ser capaz de acessar informação gerada pela codificação treeblocks acima e à esquerda do treeblock dado ao codificar o dado treeblock. No entanto, codificador de vídeo 20 pode ser incapaz de acessar informação gerada pela codificação treeblocks abaixo e à direita do treeblock dado ao codificar o treeblock determinado.

[0057] Para gerar um treeblock codificado, codificador de vídeo 20 pode recursivamente realizar núcleo divisão do bloco vídeo do treeblock para dividir o bloco de vídeo em blocos de vídeo progressivamente menores. Cada um dos blocos de vídeo menores pode ser associado com uma CU diferente. Por exemplo, codificador de vídeo 20 pode dividir o bloco de vídeo de um treeblock em quatro dimensões igualmente sub-blocos, dividir um ou mais dos blocos sub em quatro sub-sub-blocks de igual tamanho e assim por diante. Uma CU dividida pode ser uma CU cujo bloco de vídeo é dividido em blocos de vídeo associados com outras CUs. Uma CU não-dividida pode ser uma CU cujo bloco de vídeo não é dividido em bloco de vídeos associados com outras CUs.

[0058] Um ou mais elementos de sintaxe no fluxo de bits podem indicar um número máximo de vezes que o codificador de vídeo 20 pode dividir o bloco de vídeo de um treeblock. Um bloco de vídeo de uma CU pode ser quadrado em forma. O tamanho do bloco de vídeo de uma CU (por exemplo, o tamanho da CU) pode variar de 8x8 pixels até o tamanho de um bloco de vídeo de um treeblock (por exemplo, o tamanho da treeblock) com um máximo de 64 x 64 pixels ou maior.

[0059] O codificador de vídeo 20 pode efetuar operações de codificação com (por exemplo, codificar) cada CU de uma treeblock de acordo com uma ordem de varredura z. Em outras palavras, o codificador de vídeo 20 pode codificar uma CU superior esquerda, uma CU superior direita, uma CU inferior esquerda e em seguida uma CU inferior-direita, nessa ordem. Quando o codificador de vídeo 20 executa uma operação de codificação em uma CU dividida, codificador de vídeo 20 pode codificar CUs associados sub-blocos do bloco da CU dividida de acordo com a ordem de varredura z. Em outras palavras, o codificador de vídeo 20 pode codificar uma CU associados com um bloco secundário superior esquerdo, uma CU associados com um bloco secundário superior direito, uma CU associados com um bloco secundário inferior esquerdo e então uma CU associados com um bloco secundário inferior-direito, nessa ordem.

[0060] Como um resultado da codificação os CUs de uma treeblock de acordo com uma ordem de varredura z, as CUs acima, acima e à esquerda, acima e à direita, esquerda e abaixo e à esquerda de um determinada CU podem ter sido codificadas. CUs abaixo e à direita da CU determinada ainda não foram codificadas. Consequentemente, o codificador de vídeo 20 pode ser capaz de acessar informação gerada mediante codificação de algumas CUs adjacentes a CU determinada ao codificar a CU determinada. No entanto, o codificador de vídeo 20 pode ser incapaz de acessar informação gerada por codificação de outras CUs adjacentes a CU determinada ao codificar a CU determinada.

[0061] Quando o codificador de vídeo 20 codifica uma CU não divididas, codificador de vídeo 20 pode gerar um ou mais predição unidades (PUs) para a CU. Cada um do PUs da CU pode ser associado com um bloco de vídeo diferente dentro do bloco da CU vídeo codificador 20 pode gerar um bloco de vídeo predito para cada PU da CU. O bloco de vídeo predito de uma PU pode ser um bloco de amostras. Codificador de vídeo 20 pode usar predição intra ou inter Predição para gerar o bloco de vídeo predito para uma PU.

[0062] Quando o codificador de vídeo 20 utiliza predição intra para gerar o bloco de vídeo predito de uma PU, codificador de vídeo 20 pode gerar o bloco de vídeo predito de PU com base em amostras decodificadas do quadro de associados com a PU. Se o codificador de vídeo 20 usa predição intra para gerar blocos de vídeo preditos do PUs de uma CU, a CU é uma CU intra predito. Quando usa o codificador de vídeo 20 inter Predição para gerar o bloco de vídeo predito de PU, codificador de vídeo 20 pode gerar o bloco de vídeo predito de PU com base em amostras decodificadas de uma ou mais imagens que não sejam a imagem associada com a PU. Se 20 utilizações de codificador de vídeo inter Predição para gerar blocos de vídeo preditos do PUs de uma CU, a CU é uma CU predita inter.

[0063] Além disso, quando o codificador de vídeo 20 utilizações inter Predição para gerar um bloco de vídeo predito para uma PU, codificador de vídeo 20 pode gerar informação de movimento para o PU. A informação de movimento para uma PU pode indicar um ou mais blocos de referência de PU. Cada bloco de referência do PU pode ser um bloco de vídeo dentro de um quadro de referência. A imagem de referência pode ser uma imagem que não seja a imagem associada com o PU. Em alguns casos, um bloco de referência de um PU pode também ser referido como a “amostra” de referência o PU. Codificador de vídeo 20 pode gerar o bloco de vídeo predito para o PU com base em blocos de referência de PU.

[0064] Após o codificador de vídeo 20 gera blocos de vídeo preditos para um ou mais PUs de uma CU, codificador de vídeo 20 pode gerar dados residuais para a CU com base em blocos de vídeo preditos para o PUs da CU. Os dados residuais para a CU podem indicar diferenças entre amostras nos blocos vídeo preditos para o PUs da CU e o bloco de vídeo original da CU.

[0065] Além disso, como parte da realização de uma operação de codificação em um não-dividida CU, codificador de vídeo 20 pode executar recursiva núcleo divisão dos dados residual da CU para dividir os dados residuais da CU em um ou mais blocos de dados residuais (por exemplo, blocos vídeo residuais) associados a unidades de transformada (TUs) da CU. Cada TU de uma CU pode ser associado com um bloco de vídeo residual diferente.

[0066] O codificador de vídeo 20 pode aplicar uma ou mais transformadas aos blocos de vídeo residual associado com o TUs para gerar blocos de coeficiente de transformada (por exemplo, blocos de coeficientes de transformada) associados com o TUs. Conceitualmente, um bloco de coeficiente de transformada pode ser uma matriz bidimensional (2D) dos coeficientes de transformada.

[0067] Após gerar um bloco de coeficiente de transformada, codificador de vídeo 20 pode efetuar um processo de quantização com o bloco de coeficiente de transformada. Quantização geralmente se refere a um processo no qual transformar coeficientes são quantizadas para possivelmente reduzir a quantidade de dados usada para representar os coeficientes de transformada, fornecendo mais compactação. O processo de quantização pode reduzir a profundidade de bit associada com alguns ou todos os coeficientes de transformada. Por exemplo, um coeficiente de transformada de w bits pode ser arredondado para um coeficiente de transformada de m bits durante a quantização, onde n é maior que m.

[0068] O codificador de vídeo 20 pode associar cada CU com um valor de parâmetro (QP) de quantização. Pode determinar o valor de QP associado com uma CU como o codificador de vídeo 20 quantifica pensamento desses leitores blocos de coeficiente de transformada associados com o codificador de vídeo de cu 20 pode ajustar o grau de quantização aplicado para os blocos de coeficiente de transformada associados com uma CU, ajustando o valor de QP associado com a CU.

[0069] Após o codificador de vídeo 20 quantizar um bloco de coeficiente de transformada, o codificador de vídeo 20 pode gerar conjuntos de elementos de sintaxe que representam os coeficientes de transformada no bloco de coeficiente de transformada quantizados. Codificador de vídeo 20 pode aplicar as operações de codificação de entropia, tais como operações de codificação binária aritmética de contexto adaptativo (CABAC), a alguns destes elementos de sintaxe. Outra entropia codificação técnicas como conteúdo comprimento variável adaptativa, codificação (CAVLC), intervalo de probabilidade entropia (tubulação) codificação de divisão, ou outra codificação aritmética binária também poderia ser usado.

[0070] O fluxo de bits gerado pelo codificador de vídeo 20 pode incluir uma série unidades de Abstração de Camada de Rede (NAL). Cada uma das unidades NAL pode ser uma estrutura de sintaxe contendo uma indicação de um tipo de dados na unidade NAL e bytes que contém os dados. Por exemplo, uma unidade NAL pode conter dados que representa um conjunto de parâmetros de vídeo, um conjunto de parâmetros de seqüência, um conjunto de parâmetros de imagem, uma fatia de codificado, informação suplementar do realce (SEI), um delimitador de unidade de acesso, dados de enchimento ou outro tipo de dados. Os dados em uma unidade NAL podem incluir várias estruturas de sintaxe.

[0071] O decodificador de vídeo 30 pode receber o fluxo de bits gerado pelo codificador de vídeo 20. O fluxo de bits pode incluir uma representação codificada dos dados de vídeo codificados pelo codificador de vídeo 20. Quando o decodificador de vídeo 30 recebe o fluxo de bits, decodificador de vídeo 30 pode executar uma operação de análise sobre o fluxo de bits. Quando o decodificador de vídeo 30 executa a operação de análise, decodificador de vídeo 30 pode extrair elementos de sintaxe do fluxo de bits. Decodificador de vídeo 30 pode reconstruir as imagens dos dados de vídeo com base nos elementos de sintaxe extraídos o fluxo de bits. O processo para reconstruir os dados de vídeo com base nos elementos de sintaxe pode ser geralmente recíproco ao processo realizado pelo codificador de vídeo 20 para gerar os elementos de sintaxe.

[0072] Após o decodificador de vídeo 30 extrai os elementos de sintaxe associados com uma CU, decodificador de vídeo 30 pode gerar blocos de vídeo preditos para o PUs da CU com base nos elementos de sintaxe. Além disso, o decodificador de vídeo 30 pode quantizar inversamente os blocos de coeficiente de transformada associados às TUs da CU. O decodificador vídeo 30 pode realizar transformadas inversas sobre os blocos de coeficiente de transformada para reconstruir bloco residuais de vídeos associados com as TUs da CU. Após gerar os blocos de vídeo preditos e reconstruir os blocos de vídeo residuais, decodificador de vídeo 30 pode reconstruir o bloco da CU com base no predito a blocos e os blocos de vídeo residuais. Desta forma, o decodificador de vídeo 30 pode reconstruir os blocos de vídeo de CUs com base nos elementos de sintaxe no fluxo de bits.

Codificador de Vídeo

[0073] A figura 2A é um diagrama de blocos ilustra um exemplo de um codificador de vídeo que pode implementar técnicas de acordo com os aspectos descritos na revelação. Codificador de vídeo 20 pode ser configurado para processar uma única camada de um quadro de vídeo, tais como para HEVC. Codificador de vídeo, mais 20 pode ser configurado para executar qualquer uma ou todas as técnicas de revelação. Como um exemplo, a unidade de processamento de predição 100 pode ser configurada para executar qualquer ou todas as técnicas descritas nesta revelação. Em outra modalidade, codificador de vídeo 20 inclui uma unidade de predição entre camadas 128 opcional que é configurada para executar qualquer uma ou todas as técnicas descritas na revelação. Em outras modalidades, predição entre camadas pode ser realizada pela unidade de processamento de predição 100 (por exemplo, a unidade de predição inter 121 e/ou unidade de predição intra 126), caso em que a unidade de predição entre camadas 128 pode ser omitida. No entanto, aspectos de revelação não são tão limitados. Em alguns exemplos, as técnicas descritas nesta revelação podem ser compartilhadas entre os vários componentes do codificador de vídeo 20. Em alguns exemplos, além disso, ou, alternativamente, um processador (não mostrado) pode ser configurado para executar qualquer ou todas as técnicas descritas nesta revelação.

[0074] Com o propósito de explanação, esta revelação descreve o codificador de vídeo 20 no contexto da codificação HEVC. No entanto, as técnicas de revelação podem ser aplicáveis aos outros padrões de codificação ou métodos. O exemplo descrito na figura 2A é para um codec de camada única. No entanto, como será descrito mais com relação à figura 2B, alguns ou todos do codificador de vídeo 20 podem ser duplicados para o processamento de um codec de várias camadas.

[0075] O codificador de vídeo 20 pode executar codificação intra e inter de bloco de vídeo dentro de fatias de vídeo. A codificação intra se baseia na predição espacial para reduzir ou remover redundância espacial no vídeo dentro de um determinado quadro de vídeo ou imagens. A codificação inter depende de predição temporal para reduzir ou remover redundância temporal no vídeo dentro quadros ou imagens adjacentes de uma seqüência de vídeo. O modo intra (I modo) pode se referir a qualquer um dos vários modos de codificação de base espacial. Os modos inter, tais como Predição de unidirecional (modo P) ou predição de bi-direcional (modo B), podem se referir a qualquer um dos vários modos de codificação baseado em temporal.

[0076] No exemplo da figura 2A, codificador de vídeo 20 inclui uma pluralidade de componentes funcionais. Os componentes funcionais do codificador de vídeo 20 incluem uma unidade de processamento de predição 100, uma unidade de geração residual 102, uma unidade de processamento de transformada 104, uma unidade de quantização 106, uma unidade de quantização inversa 108, uma unidade de transformada inversa 110, uma unidade de reconstrução 112, unidade de transformada inversa 110, um armazenador temporário de imagem decodificada 114 e uma unidade de codificação de entropia 116. A unidade de processamento de predição 100 inclui uma unidade de predição inter 121, uma unidade de estimativa de movimento 122, uma unidade de compensação de movimento 124, uma unidade de predição intra 126 e uma unidade de predição entre camadas 128. Em outros exemplos, codificador de vídeo 20 pode incluir componentes funcionais diferentes, mais ou menos. Além disso, a unidade de estimativa de movimento 122 e a unidade de compensação de movimento 124 podem ser altamente integradas, mas são representados no exemplo da figura 2A separadamente para fins de explicação.

[0077] O Codificador de vídeo 20 pode receber dados de vídeo. Codificador de vídeo 20 pode receber os dados de vídeo de várias fontes. Por exemplo, o codificador de vídeo 20 pode receber os dados de vídeo de vídeo fonte 18 (por exemplo, mostrado na figura 1A ou IB) ou outra fonte. Os dados de vídeo podem representar uma série de imagens. Para codificar os dados de vídeo, codificador de vídeo 20 pode executar uma operação de codificação em cada uma das imagens. Como parte de executar a operação de codificação em uma imagem, codificador de vídeo 20 pode executar operações de codificação em cada fatia da imagem. Como parte da realização de uma operação de codificação em uma fatia, codificador de vídeo 20 pode executar operações de codificação na treeblocks na fatia.

[0078] Como parte da realização de uma operação de codificação em um treeblock, A unidade de processamento de predição 100 pode executar divisão de núcleo do bloco vídeo do treeblock para dividir o bloco de vídeo em blocos de vídeo progressivamente menores. Cada um dos blocos de vídeo menores pode ser associado com uma CU diferente. Por exemplo, a unidade de processamento de predição 100 pode dividir um bloco de vídeo de um treeblock em quatro dimensões igualmente sub-blocos, partição de um ou mais dos blocos sub em quatro sub-sub-blocks de igual tamanho e assim por diante.

[0079] Os tamanhos dos blocos de vídeo associados com CUs podem variar de 8 x 8 amostras até o tamanho da treeblock com um máximo de 64 x 64 amostras ou maior. Nesta revelação, "NxN" e "N por N" podem ser utilizados indiferentemente para se referir às dimensões da amostra de um bloco de vídeo em termos de dimensões vertical e horizontal, por exemplo, amostras de 16 x 16 ou amostras de 16 por 16. Em geral, um bloco de vídeo de 16 x 16 tem dezesseis amostras em uma direção vertical (y = 16) e dezesseis amostras no sentido horizontal (x = 16). Da mesma forma, um bloco de NxN geralmente tem amostras de N em uma direção vertical e N amostras no sentido horizontal, onde N representa um valor inteiro não negativo.

[0080] Além disso, como parte de executar a operação de codificação em um treeblock, a unidade de processamento de predição 100 pode gerar uma estrutura de dados hierárquica do núcleo para o treeblock. Por exemplo, um treeblock pode corresponder a um nó de raiz da estrutura de dados do núcleo. Se a unidade de processamento de predição 100 divide o bloco vídeo do treeblock em quatro sub-blocos, o nó raiz tem quatro nós filhos na estrutura de dados do núcleo. Cada um de nós filho corresponde a uma CU associado a um dos blocos sub. Se a unidade de processamento de predição 100 divide um dos sub-blocos em quatro sub-sub-blocos, o nó correspondente para a CU associado com o sub-bloco de predição pode ter quatro nós filhos, a cada um dos quais corresponde uma CU associada com um dos sub-sub-blocos.

[0081] Cada nó da estrutura de dados do núcleo pode conter dados de sintaxe (por exemplo, elementos de sintaxe) para o correspondente treeblock ou CU. Por exemplo, um nó no núcleo pode incluir um indicador dividido que indica se o bloco da CU correspondente ao nó é dividida (por exemplo, dividir) em quatro blocos de sub. Elementos de sintaxe para uma CU podem ser definido recursivamente e vai depender se o bloco da CU é dividido em sub-blocos. Uma CU cujo bloco de vídeo não estiver dividido pode corresponder a um nó de folha na estrutura de dados do núcleo. Um treeblock codificado pode incluir dados baseados na estrutura de dados do núcleo para um treeblock correspondente.

[0082] O Codificador de vídeo 20 pode executar operações de codificação em cada não-dividida CU de um treeblock. Quando o codificador de vídeo 20 executa uma operação de codificação em uma CU não dividida, o codificador de vídeo 20 gera os dados que representam uma representação codificada da CU não dividida.

[0083] Como parte da realização de uma operação de codificação em uma CU, a unidade de processamento de predição 100 pode dividir o bloco da CU entre uma ou mais PUs do codificador de vídeo CU 20 e o decodificador de vídeo 30 pode suportar vários tamanhos de PU. Supondo que o tamanho de uma CU particular seja 2Nx2N, o codificador de vídeo 20 e o decodificador de vídeo 30 podem suportar tamanhos de PU de 2Nx2N ou xN e predição inter em tamanhos de PU simétricos de 2Nx2N, 2NxN, Nx2N, xN, 2NxnU, nLx2N, nRx2N, ou similar. Codificador de vídeo 20 e o decodificador de vídeo 30 também podem apoiar a divisão assimétrico para tamanhos de PU de 2NxnU, 2NxnD, nLx2N e nRx2N. Em alguns exemplos, a unidade de processamento de predição 100 pode executar divisão geométrica da partição do bloco de vídeo de uma CU entre PUs da CU ao longo de um limite que não satisfaz os lados do bloco da CU em ângulos retos.

[0084] A Unidade de predição inter 121 pode executar inter predição sobre cada PU da CU. A predição inter pode fornecer compactação temporal. Para executar inter predição sobre uma PU, a unidade de estimativa de movimento 122 pode gerar informação de movimento para o PU. A unidade de compensação de movimento 124 pode gerar um bloco de vídeo predito para o PU baseado o movimento informação e decodificadas amostras de imagens que não sejam a imagem associada com a CU (por exemplo, imagens de referência). Na revelação, um bloco predito de vídeo gerado pela unidade de compensação de movimento 124 pode ser referido como um bloco de vídeo inter predito.

[0085] As fatias podem ser fatias I, fatias P, ou fatias B. A unidade de estimativa de movimento 122 e unidade de compensação de movimento 124 podem executar operações diferentes para um PU de uma CU dependendo se o PU está em uma fatia, uma fatia de P ou uma fatia de B. Em um corto, PUs todas são intra previu. Portanto, se o PU é em uma fatia, unidade de estimativa de movimento 122 e a unidade de compensação de movimento 124 não executam inter predição sobre o PU.

[0086] Se o PU é em uma fatia P, a imagem contendo o PU está associada uma lista de imagens de referência, conhecida como “lista 0.” Cada uma das imagens na lista 0 referência contém exemplos que podem ser utilizados para inter predição de outras imagens. Quando a unidade de estimativa de movimento 122 executa a operação de estimativa de movimento no que diz respeito um PU em uma fatia de P, unidade de estimativa de movimento 122 pode procurar as imagens de referência na lista 0 para um bloco de referência para o PU. O bloco de referência do PU pode ser um conjunto de amostras, por exemplo, um bloco de amostras, que corresponde mais estreitamente às amostras no bloco vídeo de PU. A unidade de estimativa de movimento 122 pode usar uma variedade de métricas para determinar como intimamente um conjunto de amostras em uma imagem de referência correspondem às amostras no bloco de vídeo de uma PU. Por exemplo, unidade de estimativa de movimento 122 pode determinar quão perto um conjunto de amostras em uma imagem de referência corresponde às amostras no bloco de vídeo de um PU pela soma da diferença absoluta (SAD), a soma da diferença de quadrados (SSD) ou outras métricas de diferença.

[0087] Após identificar um bloco de referência de um PU em uma fatia P, a unidade de estimativa de movimento 122 pode gerar um índice de referência que indica a imagem de referência na lista que contém o bloco de referência e um vetor de movimento que indica um deslocamento espacial entre o PU e o bloco de referência de 0. Em vários exemplos, a unidade de estimativa de movimento 122 pode gerar vetores de movimento em diferentes graus de precisão. Por exemplo, a unidade de estimativa de movimento 122 pode gerar vetores de movimento com precisão de amostra de um quarto, um oitavo, ou outra precisão fracionária. No caso de precisão fracionária de amostra, valores de bloco de referência podem ser interpolados a partir de valores de amostra de posição de inteireza da imagem de referência. A unidade de estimativa de movimento 122 pode produzir o índice de referência e o vetor de movimento como a informação de movimento de PU. A unidade de compensação de movimento 124 pode gerar um bloco de vídeo predito de PU baseado no bloco de referência identificado pela informação de movimento de PU.

[0088] Se a PU está em uma fatia B, a imagem contendo a PU pode estar associada com duas listas de imagens de referência, conhecidas como “lista 0” e “lista 1.” Em alguns exemplos, uma imagem que contém uma fatia de B pode estar associada uma combinação de lista que é uma combinação de listas de 0 e 1.

[0089] Além disso, se a PU está em uma fatia B, a unidade de estimativa de movimento 122 podem executar predição unidirecional ou bi-direcional Predição para o PU. Quando a unidade de estimativa de movimento 122 realiza predição unidirecional para o PU, a unidade de estimativa de movimento 122 pode procurar as imagens de referência da lista 0 ou 1 de lista para um bloco de referência para o PU. A unidade de estimativa de movimento 122 pode, em seguida, gerar um índice de referência que indica a imagem de referência na lista 0 ou lista 1 que contém o bloco de referência e um movimento de estimativa de vetor que indica um deslocamento espacial entre o PU e o bloco de referência. A unidade de estimativa de movimento 122 pode produzir o índice de referência, um indicador de direção de predição e o vetor de movimento como a informação de movimento de PU. O indicador de direção de predição pode indicar se o índice de referência indica uma imagem de referência na lista 0 ou lista 1. A unidade de compensação de movimento 124 pode gerar o bloco de vídeo predito de PU baseado no bloco de referência indicado pela informação de movimento de PU.

[0090] Quando a unidade de estimativa de movimento 122 realiza predição bidirecional para uma PU, movimento estimativa unidade 122 pode procurar as imagens de referência em lista 0 para um bloco de referência para o PU e também pode pesquisar as imagens de referência na lista 1 para outro bloco de referência para o PU. A unidade de estimativa de movimento 122 então pode gerar índices de referência que indicam as imagens de referência nas listas 0 e 1 contendo os blocos de referência e vetores de estimativa de movimento que indicam deslocamentos espaciais entre os blocos referência e o PU. A unidade de estimativa de movimento 122 pode produzir os índices de referência e os vetores de movimento do PU como a informação de movimento de PU. A unidade de compensação de movimento 124 pode gerar o bloco de vídeo predito de PU com base em blocos de referência indicados pela informação de movimento de PU.

[0091] Em alguns casos, a unidade de estimativa de movimento 122 não dá saída a um conjunto completo de informação de movimento para uma PU para a unidade de codificação de entropia 116. Pelo contrário, a unidade de estimativa de movimento 122 pode sinalizar a informação de movimento de um PU com referência a informação de movimento de PU outro. Por exemplo, a unidade de estimativa de movimento 122 pode determinar que a informação de movimento de PU seja suficientemente semelhante para a informação de movimento de um vizinho do PU. Neste exemplo, a unidade de estimativa de movimento 122 pode indicar, em uma estrutura de sintaxe associada com o PU, um valor que indica para o decodificador de vídeo 30 que o PU tem a mesma informação de movimento que a PU vizinha. Em outro exemplo, a unidade de estimativa de movimento 122 pode identificar, em uma estrutura de sintaxe associada com o PU, PU uma vizinha e uma diferença de vetor de movimento (MVD). A diferença do vetor de movimento indica uma diferença entre o vetor de movimento do PU e o vetor de movimento de PU vizinho indicado. Decodificador de vídeo 30 pode usar o vetor de movimento do PU vizinho indicado e a diferença do vetor de movimento para determinar o vetor de movimento de PU. Referindo-se à informação de movimento de uma primeira PU quando a informação de movimento de uma segunda PU de sinalização, codificador de vídeo 20 pode ser capaz de sinalizar a informação do movimento da segunda PU usando menos bits.

[0092] Como discutido abaixo, tendo como referência a figura 8, a unidade de processamento de predição 100 pode ser configurada para código (por exemplo, codificar ou decodificar) o PU (ou qualquer outra camada de referência e/ou aprimoramento camada blocos ou unidades de vídeo) executando os métodos ilustrados na figura 8. Por exemplo, a unidade de predição inter 121 (por exemplo, através da unidade de estimativa de movimento 122 e/ou unidade de compensação de movimento 124), unidade de predição intra 126 ou unidade de predição entre camadas 128 pode ser configurada para executar os métodos ilustrados na figura 8, em conjunto ou separadamente.

[0093] Como parte da realização de uma operação de codificação em uma CU, a unidade de predição intra 126 pode realizar predição intra PUs da CU Intra predição pode fornecer compressão espacial. Quando a unidade de predição intra 126 executa predição intra sobre uma PU, a unidade de predição intra 126 pode gerar dados de predição para o PU com base em amostras decodificadas de outros PUs na mesma imagem. Os dados de predição para o PU podem incluir um bloco de vídeo predito e vários elementos de sintaxe. A unidade de predição intra 126 pode realizar predição intra PUs em I fatias, fatias P e fatias B.

[0094] Para realizar a predição intra em uma PU, a unidade de predição intra 126 pode usar vários modos de predição intra para gerar vários conjuntos de dados de predição para o PU. Quando a unidade de predição intra 126 usa um modo de predição intra para gerar um conjunto de dados de predição para o PU, a unidade de predição intra 126 pode estender amostras de bloco de vídeos de PUs vizinhas através do bloco vídeo do PU em uma direção e/ou gradiente associado com o modo de predição intra. O PUs vizinho pode ser acima de, acima e à direita, acima e à esquerda, ou para a esquerda do PU, assumindo uma ordem esquerda para a direita, de cima para baixo de codificação para PUs, CUs e treeblocks. A unidade de predição intra 126 pode usar vários números dos modos de predição intra, por exemplo, modos de predição intra direcional 33, dependendo do tamanho da PU.

[0095] A unidade de processamento de predição 100 pode selecionar os dados de predição para um PU dentre os dados de predição gerados pela unidade de compensação de movimento 124 para a PU ou os dados de predição gerados pela unidade de predição intra 126 para a PU. Em alguns exemplos, a unidade de processamento de predição 100 seleciona os dados de predição para o PU com base em métricas de taxa/distorção dos conjuntos de dados de predição.

[0096] Se a unidade de processamento de predição 100 seleciona dados de predição gerados pela unidade de predição intra 126, a unidade de processamento de predição 100 pode sinalizar o modo predição intra que foi usado para gerar os dados de predição para o PUs, por exemplo, o modo de predição intra selecionados. A unidade de processamento de predição 100 pode sinalizar o modo de predição intra selecionados de várias maneiras. Por exemplo, pode ser provável que o modo de predição intra selecionados é o mesmo que o modo de predição intra de uma PU vizinha. Em outras palavras, o modo de predição intra do PU do vizinho pode ser o modo mais provável para o PU atual. Assim, a unidade de processamento de predição 100 pode gerar um elemento sintaxe para indicar que o modo de predição intra selecionados é o mesmo que o modo de predição intra do PU do vizinho.

[0097] Como discutido acima, o codificador de vídeo 20 pode incluir a unidade de predição entre camadas 128. A unidade de predição entre camadas 128 é configurada para prever um bloco atual (por exemplo, um bloco atual no EL) usando uma ou mais camadas diferentes que estão disponíveis no SVC (por exemplo, uma camada de base ou de referência). Tal predição pode ser referida como camada inter predição. A unidade de predição entre camadas 128 utiliza métodos de predição para reduzir a camada inter redundância, desse modo melhorando a eficiência de codificação e reduzindo os requisitos de recursos computacionais. Alguns exemplos de camada de predição inter, camada de predição intra, camada de predição inter e camada de predição inter residual. A camada de predição inter usa a reconstrução dos blocos co-localizados na camada de base para prever o bloco atual na camada de reforço. A predição de movimento entre camadas usa informação de movimento da camada base para prever o movimento na camada de reforço. A camada residual de predição inter usa o resíduo da camada base para prever o resíduo da camada de reforço. Cada um dos regimes de camada de predição inter é discutido abaixo em maior detalhe.

[0098] Após a unidade de processamento de predição 100 selecionar os dados de predição de PUs de uma CU, a unidade de geração residual 102 pode gerar dados residuais para a CU subtraindo-se (por exemplo, indicado pelo sinal de menos) os blocos de vídeo preditos do PUs da CU do bloco da CU. Os dados residuais de uma CU podem incluir 2D vídeo residual que bloqueia correspondem aos componentes de amostra diferente das amostras no bloco da CU. Por exemplo, os dados residuais podem incluir um bloco de vídeo residual que corresponde às diferenças entre os componentes de luminância das amostras nos blocos vídeo preditos das PUs da CU E componentes de luminância das amostras no bloco de vídeo original da CU. Além disso, os dados residuais da CU podem incluir blocos de vídeo residuais que correspondem às diferenças entre os componentes de crominância de amostras nos blocos vídeo preditos do PUs da CU e os componentes de crominância das amostras no bloco de vídeo original da CU.

[0099] A unidade de processamento de predição 100 pode executar núcleo dividir a partição dos blocos de vídeo residuais de uma CU em sub-blocos. Cada bloco de vídeo indiviso residual pode ser associado com um diferente TU da CU. Os tamanhos e as posições dos blocos vídeo residuais associados com TUs de uma CU podem ou não podem ser baseadas sobre os tamanhos e posições de bloco de vídeos associados com o PUs da CU. Uma estrutura de núcleo conhecida como uma “quadtree residual” (RQT) pode incluir nós associados a cada um dos blocos de vídeo residuais. O TUs de uma CU pode corresponder a nós folha do RQT.

[0100] A unidade de processamento de transformada 104 pode gerar um ou mais blocos de coeficiente de transformada para cada TU de uma CU, aplicando uma ou mais transformações a um bloco de vídeo residual associado com o TU. Cada um dos blocos de coeficiente de transformada pode ser uma matriz 2D de coeficientes de transformada. A unidade de processamento de transformada 104 pode aplicar várias transformações para o bloco de vídeo residual associado com um TU. Por exemplo, a unidade de processamento de transformada 104 pode aplicar uma transformada discreta de cosseno (DCT), uma transformada direcional, ou uma transformada conceitualmente semelhante ao bloco de vídeo residual associado com um TU.

[0101] Após a unidade de processamento de transformada 104 gerar um bloco de coeficiente de transformada associado com um TU, a unidade de quantização 106 pode quantizar os coeficientes de transformada no bloco de coeficiente de transformada. A unidade de quantização 106 pode quantizar um bloco de coeficiente de transformada associado com um TU de uma CU com base em um valor de QP associado com a CU.

[0102] O Codificador de vídeo 20 pode associar um valor de QP com uma CU de várias maneiras. Por exemplo, o codificador de vídeo 20 pode executar uma análise de taxa-distorção em um treeblock associado com a CU. Na análise da taxa-distorção, codificador de vídeo 20 pode gerar várias representações codificadas da treeblock, realizando várias vezes uma operação de codificação sobre a treeblock. Codificador de vídeo 20 pode associar valores diferentes de QP a CU quando o codificador de vídeo 20 gera diferentes representações codificadas da treeblock. Codificador de vídeo 20 pode sinalizar que um determinado valor de QP é associado com a CU quando determinado valor QP é associado com a CU em uma representação codificada do treeblock que tem uma taxa de bits mais baixos e métrica de distorção.

[0103] A unidade de quantização inversa 108 e a unidade de transformada inversa 110 podem aplicar quantização inversa e transformadas inversas ao bloco de coeficiente de transformada, respectivamente, para reconstruir um bloco residual a partir do bloco de coeficiente de transformada. A unidade de reconstrução 112 pode adicionar o bloco vídeo residual reconstruído para amostras correspondentes de um ou mais blocos preditos gerados pela unidade de processamento de predição 100 para produzir um bloco de vídeo reconstruído associado com um TU. Ao reconstruir desse modo blocos de vídeo para cada TU de uma CU, o codificador de vídeo 20 pode reconstruir o bloco da CU.

[0104] Após a unidade de reconstrução 112 reconstruir o bloco de vídeo de uma CU, unidade de filtro 113 pode executar uma operação de desblocagem para reduzir artefatos de bloqueio no bloco de vídeo associado com a CU. Após a realização de uma ou mais operações de desblocagem, a unidade de transformada inversa 110 pode armazenar o bloco vídeo reconstruído da CU no armazenador temporário de imagem decodificada 114. A unidade de estimativa de movimento 122 e a unidade de compensação de movimento 124 pode usar uma imagem de referência que contém o bloco reconstruído de vídeo para executar a predição inter nas PUs de imagens subseqüentes. Além disso, a unidade de predição intra 126 pode usar blocos de vídeo reconstruídos no armazenador temporário de imagem decodificada 114 para realizar a predição intra em outras PUs na mesma imagem que a CU.

[0105] A unidade de codificação de entropia 116 pode receber dados de outros componentes funcionais do codificador de vídeo 20. Por exemplo, a unidade de codificação de entropia 116 pode receber blocos de coeficiente de transformada da unidade de quantização 106 e pode receber elementos de sintaxe da unidade de processamento de predição 100. Quando a unidade de codificação de entropia 116 recebe os dados, a unidade de codificação de entropia 116 pode executar uma ou mais entropia a codificação de operações para gerar dados codificados por entropia. Por exemplo, o codificador de vídeo 20 pode executar uma operação de codificação de comprimento variável adaptável de contexto (CAVLC), uma operação CABAC, uma operação de codificação de comprimento variável/variável (V2V), uma operação de codificação aritmética binária de contexto-adaptável baseada em sintaxe (SBAC), uma operação de codificação de entropia de divisão de intervalo de probabilidade (PIPE), ou outro tipo de operação nos dados de codificação de entropia. A unidade de codificação de entropia 116 pode produzir um fluxo de bits que inclui os dados codificados por entropia.

[0106] Como parte da realização de uma operação nos dados de codificação de entropia, a unidade de codificação de entropia 116 pode selecionar um modelo de contexto. Se a unidade de codificação de entropia 116 está realizando uma operação de CABAC, o modelo de contexto pode indicar estimativas das probabilidades de escaninhos particulares tendo valores específicos. No contexto de CABAC, o termo “binário” é usado para se referir a um bit de uma versão binarizada de um elemento de sintaxe.

Codificador de Vídeo de Múltiplas Camadas

[0107] A figura 2B é um diagrama de blocos ilustra um exemplo de um codificador de vídeo de múltiplas camadas 23 (também simplesmente referido como o codificador de vídeo 23) que pode implementar técnicas de acordo com os aspectos descritos na revelação. Codificador de vídeo 23 pode ser configurado para processar quadros de vídeo de múltiplas camadas, tais como para SHVC e codificação de múltiplas vistas. Codificador de vídeo, mais 23 pode ser configurado para executar qualquer uma ou todas as técnicas de revelação.

[0108] O codificador de vídeo 23 inclui um codificador de vídeo 20A e codificador de vídeo 20B, cada um deles pode ser configurado como o codificador de vídeo 20 e pode executar as funções descritas acima em relação ao codificador de vídeo 20. Além disso, como indicado pela reutilização de números de referência, codificadores de 20A e 20B podem incluir pelo menos alguns dos sistemas e subsistemas como codificador de vídeo 20. Apesar de codificador de vídeo 23 é ilustrado como incluindo dois codificadores de 20A e 20B, codificador de vídeo 23 não é limitados como tal e pode incluir qualquer número de camadas de codificador de vídeo 20. Em algumas modalidades, codificador de vídeo 23 pode incluir um codificador de vídeo 20 para cada imagem ou quadro em uma unidade de acesso. Por exemplo, uma unidade de acesso que inclui cinco imagens pode ser processada ou codificada por um codificador de vídeo que inclui cinco camadas de codificador. Em algumas modalidades, codificador de vídeo 23 pode incluir mais camadas de codificador de quadros em uma unidade de acesso. Em alguns desses casos, algumas das camadas do codificador de vídeo podem ficar inativas durante o processamento de algumas unidades de acesso.

[0109] Em adição aos codificadores de vídeo 20A e 20B, o codificador de vídeo 23 pode incluir uma unidade de reamostragem 90. A unidade de reamostragem 90 pode, em alguns casos, amostrar ascendentemente uma camada de base de um quadro de vídeo recebido para, por exemplo, criar uma camada de reforço. A unidade de reamostragem 90 pode amostrar ascendentemente particular informação associadas com a camada de base recebida de um quadro, mas não outra informação. Por exemplo, a unidade de reamostragem 90 pode amostrar ascendentemente o tamanho espacial ou o número de pixels da camada de base, mas o número de fatias ou a contagem de ordenamentos de imagens pode permanecer constante. Em alguns casos, a unidade de reamostragem 90 pode não processar o vídeo recebido e/ou pode ser opcional. Por exemplo, em alguns casos, a unidade de processamento de predição 100 pode executar amostragem. Em algumas modalidades, a unidade de reamostragem 90 é configurada para amostrar ascendentemente uma camada e reorganizar, restaurar, modificar ou ajustar uma ou mais fatias para cumprir com um conjunto de regras de limite de fatia e/ou regras de digitalização de rastreamento. Embora primariamente descrita como amostragem ascendente, uma camada de base, ou uma camada inferior em uma unidade de acesso, em alguns casos, a unidade de reamostragem 90 pode diminuir a resolução uma camada. Por exemplo, se durante a transmissão de um vídeo a largura de banda for reduzida, um moldura quadro pode ser diminuído em vez de aumentado.

[0110] A unidade de reamostragem 90 pode ser configurada para receber uma imagem ou quadro (ou informação de imagens associadas a imagens) do armazenador temporário de imagem decodificada 114 do codificador camada inferior (por exemplo, codificador de vídeo 20A) e para amostrar ascendentemente a imagem (ou a informação de imagens recebidas). Esta imagem é aumentada pode ser fornecida para a unidade de processamento de predição 100 de um codificador de camada superior (por exemplo, codificador de vídeo 20B) configurado para codificar uma imagem na mesma unidade de acesso como o codificador de camada inferior. Em alguns casos, o codificador de camada superior é uma camada removida do codificador camada inferior. Em outros casos, pode haver um ou mais codificadores de camada mais elevados entre o codificador de vídeo de camada 0 e o codificador de camada 1 da figura 2B.

[0111] Em alguns casos, a unidade de reamostragem 90 pode ser omitida ou ignorada. Em tais casos, a imagem do armazenador temporário de imagem decodificada 114 de codificador de vídeo 20A pode ser fornecida diretamente, ou pelo menos sem ser fornecida para a unidade de reamostragem 90, para a unidade de processamento de predição 100 do codificador de vídeo 20B. Por exemplo, se os dados fornecidos para o codificador de vídeo 20B e a imagem de referência de armazenador temporário do codificador de vídeo 20A de imagem decodificada 114 são do mesmo tamanho ou resolução, a imagem de referência pode ser fornecida para o codificador de vídeo 20B sem qualquer reamostragem.

[0112] Em algumas modalidades, o codificador de vídeo 23 diminui os dados de vídeo que devem ser fornecidos para o codificador de camada inferior usando a unidade de amostragem descendente 94 antes de fornecer os dados de vídeo de codificador de vídeo 20A. Alternativamente, a unidade de amostragem descendente 94 pode ser uma unidade de reamostragem 90 que é capaz de amostragem ou amostrar descendentemente os dados de vídeo. Em ainda outras modalidades, a diminuição da resolução pela unidade de amostragem descendente 94 pode ser omitida.

[0113] Como ilustrado na figura 2B, o codificador de vídeo 23 pode ainda incluir um multiplexador 98, ou MUX. O multiplexador 98 pode produzir um fluxo de bits do codificador de vídeo combinado 23. O fluxo de bits combinado pode ser criado tomando um fluxo de bits de cada um dos codificadores de vídeo 20A e 20B e alternando qual fluxo de bits é produzido em um determinado momento. Embora em alguns casos os bits provenientes dos dois (ou mais, no caso de mais do que duas camadas de codificador de vídeo) fluxos de bits possam ser alternados um pouco de cada vez, em muitos casos, os fluxos de bits são combinados de forma diferente. Por exemplo, o fluxo de bits de saída pode ser criado por alternando o fluxo de bits selecionado um bloco de cada vez. Em outro exemplo, o fluxo de bits de saída pode ser criado por uma relação não - 1:1 dos blocos de cada um dos codificadores de vídeo a saída 20A e 20B. Por exemplo, dois blocos podem ser saídos do codificador de vídeo 20B para cada bloco de saída do codificador de vídeo 20A. Em algumas modalidades, o fluxo de saída da mux 98 pode ser pré-programado. Em outras modalidades, o mux 98 pode combinar os fluxos de bits de codificadores de vídeo 20A, 20B com base em um sinal de controle provenientes de um sistema externo de codificador de vídeo 23, tais como um processador em um dispositivo de fonte, incluindo o dispositivo de origem 12. O sinal de controle pode ser gerado com base na resolução ou taxa de bits de um vídeo da fonte de vídeo, 18 anos, com base em uma largura de banda do link 16, com base em uma assinatura que está associada com um usuário (por exemplo, uma assinatura paga contra uma assinatura gratuita), ou com base em qualquer outro fator para a determinação de uma saída de resolução desejada de codificador de vídeo 23.

Decodificador de Vídeo

[0114] A figura 3A é um diagrama de blocos ilustra um exemplo de um decodificador de vídeo que pode implementar técnicas de acordo com os aspectos descritos na revelação. Decodificador de vídeo 30 pode ser configurado para processar uma única camada de um quadro de vídeo, tais como para HEVC. Decodificador de vídeo, mais 30 pode ser configurado para executar qualquer uma ou todas as técnicas de revelação. Como um exemplo, a unidade de compensação de movimento 162 e/ou unidade de predição intra 164 pode ser configurada para executar qualquer ou todas as técnicas descritas nesta revelação. Em uma modalidade, decodificador de vídeo 30 opcionalmente pode incluir a unidade de predição inter 166 que é configurada para executar qualquer uma ou todas as técnicas descritas na revelação. Em outras modalidades, camada inter predição pode ser executada pela unidade de processamento de predição 152 (por exemplo, unidade de compensação de movimento 162 e/ou unidade de predição intra 164), em cujo caso a unidade de predição inter 166 pode ser omitida. No entanto, aspectos de revelação não são tão limitados. Em alguns exemplos, as técnicas descritas nesta revelação podem ser compartilhadas entre os vários componentes do decodificador de vídeo 30. Em alguns exemplos, além disso, ou alternativamente, um processador (não mostrado) pode ser configurado para executar qualquer ou todas as técnicas descritas nesta revelação.

[0115] Para fins de explicação, esta revelação descreve o decodificador de vídeo 30 no contexto da codificação HEVC. No entanto, as técnicas de revelação podem ser aplicáveis a outros padrões de codificação ou métodos. O exemplo representado na figura 3A é para um codec de camada única. No entanto, como será descrito mais com relação à figura 3B, alguns ou todos do decodificador de vídeo 30 podem ser duplicados para o processamento de um codec de várias camadas.

[0116] No exemplo da figura 3A, decodificador de vídeo 30 inclui uma pluralidade de componentes funcionais. Os componentes funcionais do decodificador de vídeo 30 incluem uma unidade de decodificação de entropia 150, uma unidade de processamento de predição 152, uma unidade de quantização inversa 154, unidade de transformada inversa 156, uma reconstrução de unidade 158, uma unidade de filtro 159 e um armazenador temporário de imagem decodificada 160. A unidade de processamento de predição 152 inclui uma unidade de compensação de movimento 162, uma unidade de predição inter 166 e unidade de predição intra 164. Em alguns exemplos, decodificador de vídeo 30 pode executar um passe decodificação recíproco geralmente para a passagem de codificação descrita em relação ao codificador de vídeo 20 da figura 2 Em outros exemplos, decodificador de vídeo 30 pode incluir mais, menos ou diferentes componentes funcionais.

[0117] O decodificador de vídeo 30 pode receber um fluxo de bits que inclui dados de vídeo codificados. O fluxo de bits pode incluir uma pluralidade de elementos de sintaxe. Quando o decodificador de vídeo 30 recebe o fluxo de bits, a unidade de decodificação de entropia 150 pode executar uma operação de análise sobre o fluxo de bits. Como resultado de executar a operação de análise sobre o fluxo de bits, unidade de decodificação de entropia 150 pode extrair elementos de sintaxe do fluxo de bits. Como parte de executar a operação de análise, a unidade de decodificação de entropia 150 pode decodificar por entropia elementos de sintaxe codificados por entropia no fluxo de bits. A unidade de processamento de predição 152, unidade de quantização inversa 154, unidade de transformada inversa 156, unidade de reconstrução 158 e unidade de filtro 159 podem realizar uma operação de reconstrução que gera dados de vídeo decodificados com base nos elementos de sintaxe extraídos o fluxo de bits.

[0118] Como discutido acima, o fluxo de bits pode incluir uma série de unidades NAL. As unidades NAL do fluxo de bits podem incluir vídeo parâmetro conjunto NAL unidades, parâmetro de seqüência definir unidades NAL, imagens parâmetro definido unidades NAL, NAL SEI unidades e assim por diante. Como parte de executar a operação de análise sobre o fluxo de bits, unidade de decodificação de entropia 150 pode executar operações de análise que o extraem e decodificam por entropia conjuntos de parâmetros de seqüência a partir das unidades de conjunto de parâmetros seqüência NAL, conjuntos de parâmetros de imagem a partir das unidades de conjunto de parâmetros seqüência NAL, dados SEI de unidades NAL SEI e assim por diante.

[0119] Além disso, as unidades NAL do fluxo de bits podem incluir unidades NAL de fatia codificada. Como parte de executar a operação de análise sobre o fluxo de bits, unidade de decodificação de entropia 150 pode executar as operações de análise que extraem e decodificam por entropia as fatias codificadas das unidades NAL. Cada uma das fatias codificadas pode incluir um cabeçalho de fatia e dados da fatia. O cabeçalho de fatia pode conter elementos de sintaxe pertencentes a uma fatia. Os elementos de sintaxe no cabeçalho da fatia podem incluir um elemento de sintaxe que identifica um conjunto de parâmetros de imagem associado com uma imagem que contém a fatia. A unidade de decodificação de entropia 150 pode executar entropia decodificação de operações, tais como CABAC decodificação de operações, em elementos de sintaxe no cabeçalho da fatia codificado para recuperar o cabeçalho de fatia.

[0120] Como parte de extrair os dados da fatia de unidades NAL de fatia codificado, a unidade de decodificação de entropia 150 pode realizar as operações de análise que extrair elementos de sintaxe de CUs codificados nos dados de fatia. Os elementos de sintaxe extraídos podem incluir elementos de sintaxe associados com blocos de coeficiente de transformada. A unidade de decodificação de entropia 150 pode, em seguida, executar CABAC operações sobre alguns dos elementos de sintaxe de decodificação.

[0121] Após a unidade de decodificação de entropia 150 executar uma operação de análise em uma CU não dividida, o decodificador de vídeo 30 pode executar uma operação de reconstrução na CU não dividida. Para executar a operação de reconstrução em uma CU não dividida, decodificador de vídeo 30 pode executar uma operação de reconstrução em cada TU da CU. Através da realização de a operação de reconstrução para cada TU da CU, decodificador de vídeo 30 pode reconstruir um bloco de vídeo residual associado com a CU.

[0122] Como parte da execução de uma operação de reconstrução em uma TU, a unidade de quantização inversa 154 pode quantizar inversamente, por exemplo, dequantizar, um bloco de coeficiente de transformada associado com o TU. A unidade de quantização inversa 154 pode quantizar inversamente o bloco do coeficiente de transformada em uma maneira similar aos processos de quantização inversa propostos para HEVC ou definido pelo padrão de decodificação H.264. A unidade de quantização inversa 154 pode usar um parâmetro de quantização QP calculado pelo codificador de vídeo 20 para uma CU do bloco de coeficiente de transformada para determinar um grau de quantização e, da mesma forma, um grau de quantização inversa para a unidade de quantização inversa 154 aplicar.

[0123] Após a unidade de quantização inversa 154 quantizar de forma inversa o bloco de coeficiente de transformada, unidade de transformada inversa 156 pode gerar um bloco de vídeo residual para a TU associada com o bloco de coeficiente de transformada. A unidade de transformada inversa 156 pode aplicar uma transformada inversa para o bloco de coeficiente de transformada para gerar o bloco de vídeo residual para o TU. Por exemplo, a unidade de transformada inversa 156 pode aplicar um inverso DCT, uma transformada inversa inteira, uma transformada inversa de Karhunen-disponibilidade (KLT), uma transformada de rotação inversa, uma transformada inversa direcional ou outra transformada inversa para o bloco de coeficiente de transformada. Em alguns exemplos, a unidade de transformada inversa 156 pode determinar uma transformada inversa para aplicar para o bloco de coeficiente de transformada com base na sinalização de codificador de vídeo 20. Em tais exemplos, a unidade de transformada inversa 156 pode determinar a transformada inversa, com base em uma transformada sinalizada no nó raiz de um núcleo para um treeblock associado com o bloco de coeficiente de transformada. Em outros exemplos, a unidade de transformada inversa 156 pode inferir a transformada inversa de uma ou mais características, tais como o tamanho de bloco de codificação, codificação de modo ou algo parecido. Em alguns exemplos, a unidade de transformada inversa 156 pode aplicar uma transformada inversa em cascata.

[0124] Em alguns exemplos, a unidade de compensação de movimento 162 pode refinar o bloco vídeo predito de uma PU, realizando a interpolação com base em filtros de interpolação. Identificadores para filtros de interpolação para ser utilizado para compensação de movimento, com precisão de sub-amostragem, podem ser incluídos nos elementos de sintaxe. A unidade de compensação de movimento 162 pode usar os mesmos filtros de interpolação usados pelo codificador de vídeo 20 durante a geração do bloco vídeo predito de PU para calcular valores interpolados para amostras de sub inteiro de um bloco de referência. A unidade de compensação de movimento 162 pode determinar os filtros de interpolação usados pelo codificador de vídeo 20 de acordo com informação de sintaxe recebida e usar os filtros de interpolação para produzir o bloco de vídeo predito.

[0125] Como discutido abaixo, tendo como referência a figura 8, a unidade de processamento de predição 152 pode codificar (por exemplo, codificar ou decodificar) o PU (ou qualquer outra camada de referência e/ou blocos de camada de reforço ou unidades de vídeo), realizando os métodos ilustrados na figura 8. Por exemplo, a unidade de compensação de movimento 162, unidade de predição intra 164 ou unidade de predição inter 166 pode ser configurada para executar os métodos ilustrados na figura 8, em conjunto ou separadamente.

[0126] Se uma PU é codificada usando predição intra, a unidade de predição intra 164 pode realizar predição intra para gerar um bloco de vídeo predito para o PU. Por exemplo, a unidade de predição intra 164 pode determinar um modo de predição intra para o PU com base em elementos de sintaxe no fluxo de bits. O fluxo de bits pode incluir elementos de sintaxe que essa unidade de predição intra 164 pode usar para determinar o modo de predição intra de PU.

[0127] Em alguns casos, os elementos de sintaxe podem indicar que essa unidade de predição intra 164 deva usar o modo de predição intra de outra PU para determinar o modo de predição intra da PU do atual. Por exemplo, pode ser provável que o modo de predição intra do PU atual é o mesmo que o modo de predição intra de uma PU adjacente. Em outras palavras, o modo de predição intra do PU do vizinho pode ser o modo mais provável para o PU atual. Portanto, neste exemplo, o fluxo de bits pode incluir um elemento sintaxe pequeno que indica que o modo de predição intra de PU é o mesmo que o modo de predição intra do PU do vizinho. A unidade de predição intra 164 pode, em seguida, usar o modo de predição intra para gerar dados de predição (por exemplo, amostras preditos) para o PU com base em blocos de vídeo das PUs espacialmente adjacentes.

[0128] Como discutido acima, vídeo decodificador 30 também pode incluir a unidade de predição inter 166. A unidade de predição inter 166 é configurada para prever um bloco atual (por exemplo, um bloco atual no EL) usando uma ou mais camadas diferentes que estão disponíveis no SVC (por exemplo, uma camada de base ou de referência). Tal predição pode ser referida como camada inter predição. A unidade de predição inter 166 utiliza métodos de predição para reduzir a camada inter redundância, desse modo melhorando a eficiência de codificação e reduzindo os requisitos de recursos computacionais. Alguns exemplos de predição entre camadas, predição intra entre camadas, predição de movimento entre camadas e predição residual entre camadas. Predição intra entre camadas usa a reconstrução dos blocos co-localizados na camada de base para prever o bloco atual na camada de reforço. Predição de movimento entre camadas usa informação de movimento da camada base para prever o movimento na camada de reforço. A predição entre camadas residual usa o resíduo da camada base para prever o resíduo da camada de reforço. Cada um dos regimes de predição entre camadas é discutido abaixo em mais detalhes.

[0129] A unidade de reconstrução 158 pode utilizar os blocos de vídeo residuais associados TUs de uma CU e os blocos de vídeo preditos do PUs da CU, por exemplo, intra-predição dados ou dados de predição inter, conforme aplicável, para reconstruir o bloco da CU. Assim, o decodificador de vídeo 30 pode gerar um bloco de vídeo predito e um bloco de vídeo residual com base em elementos de sintaxe no fluxo de bits e pode gerar um bloco de vídeo baseado no bloco vídeo predito e o bloco de vídeo residual.

[0130] Após a unidade de reconstrução 158 reconstruir o bloco da CU, a unidade de filtro 159 pode executar uma operação de desblocagem para reduzir o bloqueio artefatos associados com a CU. Após a unidade de filtro 159 executar uma operação de desblocagem para reduzir o bloqueio artefatos associados com a CU, decodificador de vídeo 30 pode armazenar o bloco de vídeo da CU no armazenador temporário de imagem decodificada 160. O armazenador temporário de imagem decodificada 160 pode fornecer imagens de referência para compensação de movimento subseqüente, predição intra e apresentação em um dispositivo de exibição, como dispositivo de visualização de 32 da figura 1A ou IB. Por exemplo, decodificador de vídeo 30 pode realizar, com base em blocos de vídeo no armazenador temporário de imagem decodificada 160, operações de predição intra ou inter em PUs de outras CUs.

Decodificador de Múltiplas Camadas

[0131] A figura 3B é um diagrama de blocos ilustra um exemplo de um decodificador de vídeo múltiplas camadas 33 (também simplesmente referido como decodificador de vídeo 33) que pode implementar técnicas de acordo com os aspectos descritos na revelação. Decodificador de vídeo 33 pode ser configurado para processar quadros de vídeo de múltiplas camadas, tais como para SHVC e codificação de múltiplas vistas. Além disso, o decodificador de vídeo 33 pode ser configurado para executar qualquer uma ou todas as técnicas de revelação.

[0132] O decodificador de vídeo 33 inclui um decodificador de vídeo 30A e vídeo decodificador 30B, cada um deles pode ser configurado como decodificador de vídeo 30 e pode executar as funções descritas acima em relação ao decodificador de vídeo 30. Além disso, como indicado pela reutilização de números de referência, decodificadores de vídeo 30A e 30B pode incluir pelo menos alguns dos sistemas e subsistemas como decodificador de vídeo 30. Embora o decodificador de vídeo 33 seja ilustrado como incluindo dois decodificadores de vídeo 30A e 30B, decodificador de vídeo 33 não é limitados como tal e pode incluir qualquer número de camadas de decodificador de vídeo 30. Em algumas modalidades, decodificador de vídeo 33 pode incluir um decodificador de vídeo 30 para cada imagem ou quadro em uma unidade de acesso. Por exemplo, uma unidade de acesso que inclui cinco imagens pode ser processada ou decodificada por um decodificador de vídeo que inclui cinco camadas de decodificador. Em algumas modalidades, decodificador de vídeo 33 pode incluir mais camadas de decodificador de quadros em uma unidade de acesso. Em alguns desses casos, algumas das camadas do decodificador de vídeo podem ficar inativas durante o processamento de algumas unidades de acesso.

[0133] Além disso, a vídeo decodificadores 30A e 30B, decodificador de vídeo 33 podem incluir uma unidade de amostragem ascendente 92. Em algumas modalidades, a unidade de amostragem ascendente 92 pode amostrar ascendentemente uma camada de base de um quadro de vídeo recebida para criar uma camada reforçada a ser adicionado à lista de imagens de referência para a unidade de quadro ou acesso. Esta camada reforçada pode ser armazenada no armazenador temporário de imagem decodificada 160. Em algumas modalidades, a unidade de amostragem ascendente 92 pode incluir algumas ou todas as modalidades descritas em relação à unidade de reamostragem 90 da figura 2A. Em algumas modalidades, a unidade de amostragem ascendente 92 é configurada para amostrar ascendentemente uma camada e reorganizar, restaurar, modificar ou ajustar uma ou mais fatias para cumprir com um conjunto de regras de limite de fatia e/ou regras de digitalização de rastreamento. Em alguns casos, a unidade de amostragem ascendente 92 pode ser uma unidade de reamostragem configurada para amostrar ascendentemente e/ou diminuir a resolução uma camada de um quadro de vídeo recebido.

[0134] A unidade de amostragem ascendente 92 pode ser configurada para receber uma imagem ou quadro (ou informação de imagens associadas a imagens) do armazenador temporário de imagem decodificada 160 do decodificador camada inferior (por exemplo, decodificador de vídeo 30A) e para amostrar ascendentemente a imagem (ou a informação de imagens recebidas). Esta imagem aumentada pode ser fornecida para a unidade de processamento de predição 152 de um decodificador de camada superior (por exemplo, decodificador de vídeo 30B) configurado para decodificar uma imagem na mesma unidade de acesso como o decodificador de camada inferior. Em alguns casos, o decodificador de camada superior é uma camada removida o decodificador de camada inferior. Em outros casos, pode haver um ou mais decodificadores de camada mais elevadas entre o decodificador camada 0 e o decodificador de camada 1 da figura 3B.

[0135] Em alguns casos, a unidade de amostragem ascendente 92 pode ser omitida ou ignorada. Em tais casos, a imagem do armazenador temporário de imagem decodificada 160 de decodificador de vídeo 30A pode ser fornecida diretamente, ou pelo menos sem ser fornecido para a unidade de amostragem ascendente 92, para a unidade de processamento de predição 152 do decodificador de vídeo 30B. Por exemplo, se o armazenador temporário de dados de vídeo fornecidos para o decodificador de vídeo 30B e o quadro de referência do armazenador temporário de imagem decodificada 160 de decodificador de vídeo 30A são do mesmo tamanho ou resolução, a imagem de referência pode ser fornecida para o decodificador de vídeo 30B sem amostragem. Além disso, em algumas modalidades, a unidade de amostragem ascendente 92 pode ser uma unidade de reamostragem 90 configurada para amostrar ascendentemente ou diminuir a resolução um quadro de referência recebeu o armazenador temporário de imagem decodificada 160 do decodificador de vídeo 30A.

[0136] Conforme ilustrado na figura 3B, decodificador de vídeo 33 pode adicionalmente incluir um demultiplexador 99 ou demux. O demux 99 pode se dividir um fluxo de bits de vídeo codificado em fluxos de bits múltiplos com cada saída fluxo de bits pelo demux 99 sendo fornecidos para um decodificador de vídeo diferente 30A e 30B. Os fluxos de bits múltiplos podem ser criados por receber um fluxo de bits e cada um dos decodificadores de vídeo 30A e 30B recebe uma parte do fluxo de bits em um determinado momento. Enquanto em alguns casos os bits do fluxo de bits recebido no demux 99 podem ser alternados de um bit em um tempo entre cada um dos decodificadores de vídeo (por exemplo, decodificadores de vídeo 30A e 30B no exemplo da figura 3B), em muitos casos o fluxo de bits é dividido de forma diferente. Por exemplo, o fluxo de bits pode ser dividido alternando qual decodificador de vídeo recebe o fluxo de bits um bloco de cada vez. Em outro exemplo, o fluxo de bits pode ser dividido por uma não - 1:1 relação de blocos para cada um dos decodificadores de vídeo 30A e 30B. Por exemplo, dois blocos podem ser fornecidos para o decodificador de vídeo 30B para cada bloco fornecido para o decodificador de vídeo 30A. Em algumas modalidades, a divisão do fluxo de bits pelo demux 99 pode ser previamente programada. Em outras modalidades, o demux 99 pode dividir o fluxo de bits baseado em um sinal de controle proveniente de um sistema externo para o decodificador de vídeo 33, tais como um processador em um dispositivo de destino, incluindo o dispositivo de destino 14. O sinal de controle pode ser gerado com base na resolução ou taxa de bits de um vídeo a partir da interface de entrada 28, baseado em uma largura de banda do link 16, com base em uma assinatura que está associada com um usuário (por exemplo, uma assinatura paga contra uma assinatura gratuita), ou com base em qualquer outro fator para a determinação de uma resolução obtenível pelo decodificador de vídeo 33.

Presença de MSB de POC

[0137] Como discutido acima, um decodificador múltiplas camadas pode encontrar problemas ao decodificar um fluxo de bits de camada única (por exemplo, um fluxo de bits codificados de HEVC), que pode não ter informação relacionada com extensões de codificação de vídeo (por exemplo, extensões VPS, segmento fatia extensões de cabeçalho , etc. contendo informações relacionadas com uma extensão de escalabilidade de um padrão de camada única). Mais especificamente, o decodificador múltiplas camadas de forma incorreta pode esperar que os MSBs de um valor POC sejam sinalizados no fluxo de bits (por exemplo, o decodificador de múltiplas camadas de forma incorreta pode esperar receber os MSBs do valor de POC), com base na ausência de uma indicação (por exemplo, VPS _poc_lsb_aligned_flag) no fluxo de bits que as unidades de acesso no fluxo de bits têm alinhado as suas LSBs de POC (por exemplo, todas as imagens em uma unidade de acesso com o mesmo LSB de POC). Em algumas implementações existentes, a semântica da vps_poc_lsb_aligned_flag pode ser fornecida como segue:

[0138] vps_poc_lsb_aligned_flag igual a 0 especifica que o valor de slice_pic_order_cnt_lsb pode ou não pode ser o mesmo em diferentes imagens de uma unidade de acesso, VPS _poc_lsb_aligned_flag igual a 1 especifica que o valor de _pic_order_cnt_lsb fatia é o mesmo em todas as imagens de uma unidade de acesso . Além disso, o valor de VPS _poc_lsb_aligned_flag pode afetar o processo de decodificação para o fim imagem de contagem em algumas implementações existentes. Quando não está presente, _poc_lsb_aligned_flag VPS é inferido como sendo igual a 0.

[0139] Ao inferir o valor de vps_poc_lsb_aligned_flag, ou valores de outras indicações de alinhamento de LSB de POC, sendo 0 quando a indicador não está presente no fluxo de bits, o decodificador de múltiplas camadas pode fazer suposições incorretas se o fluxo de bits é um fluxo de bits HEVC (por exemplo, ter apenas uma camada de vídeo). Em fluxo de bits HEVC, as extensões VPS que normalmente contêm essa indicação de alinhamento de LSB de POC podem estar ausentes. Assim, com base na ausência de tal indicação de alinhamento de LSB de POC, o decodificador pode-se inferir que os bits menos significativos POC não estão alinhados (por exemplo, as imagens na mesma unidade de acesso podem ter diferentes LSB de POC), que pode estar incorreta. Em algumas implementações, com base em tal inferência, o decodificador determina se os valores de LSB de POC precisam ser sinalizados no fluxo de bits. O decodificador pode fazer tal determinação determinando em primeiro lugar que LSBs de POC não estão alinhados com base num valor inferido de 0 de, por exemplo, o _poc_lsb_aligned_flag VPS, e, em seguida, definir um parâmetro (por exemplo, PocMsbValRequiredFlag) concebido para indicar se os valores de MSB de POC são requerida a ser sinalizado no fluxo de bits com um valor de 1. Em algumas modalidades, além de determinar que LSBs de POC não estão alinhadas, o decodificador adicional determina que a imagem atual a ser processado pelo decodificador é uma imagem de acesso aleatório limpo (ANR) ou uma imagem de acesso link quebrado (BLA) antes de definir a PocMsbValRequiredFlag para um valor de 1. Com base em tal determinação de se os valores de MSB de POC são obrigados a ser sinalizado no fluxo de bits, o decodificador determina se os valores de MSB de POC estão, de fato, presentes (por exemplo, sinalizado pelo codificador) no fluxo de bits. Em algumas modalidades, o decodificador processa um indicador tendo a semântica fornecida como se segue: poc_msb_val_present_flag igual a 1 especifica que poc_msb_val está presente. Quando poc_msb_val_present_flag é igual a 0 e PocMsbValRequiredFlag é igual a 0, poc_msb_val não está presente. Quando não está presente, o valor de poc_msb_val_present_flag é inferido como segue: - Se PocMsbValRequiredFlag é igual a 1, o valor de poc_msb_val_present_flag é inferida como sendo igual a 1. - Caso contrário, o valor de poc_msb_val_present_flag é inferido como sendo igual a 0.

[0140] Assim, tal como discutido acima, quando um decodificador de múltiplas camadas processa uma fluxo de bits de camada única, o decodificador de forma incorreta pode-se inferir que a fluxo de bits de camada única contém LSBs de POC não alinhados com base na ausência de uma indicação no fluxo de bits que o LSB de POC estão alinhados, e as inferências incorretas faz com que o decodificador para determinar incorretamente que valores MSB de POC é obrigado a ser sinalizada no fluxo de bits. Esta determinação incorreta faz com que o decodificador para inferir incorretamente que valores MSB de POC estão realmente presentes no fluxo de bits.

[0141] Em algumas modalidades da presente invenção, a fim de evitar essa cadeia de determinações incorretas, o decodificador pode inferir que os bits menos significativos de POC estejam alinhados quando a indicação de alinhamento de LSB de POC não é fornecida no fluxo de bits. No entanto, tal solução pode não resolver completamente o problema, enquanto o decodificador pode ainda inferir que os valores de MSB de POC são sinalizados no fluxo de bits por inferir o valor de poc_msb_val_present_flag sendo a 1, com base na determinação de que o valor de PocMsbRequiredFlag é igual a 1. Um codificador pode determinar que o valor de PocMsbRequiredFlag seja igual a 1 ao codificar uma imagem de CRA ou uma imagem de BLA.

[0142] Em algumas modalidades da presente divulgação, o decodificador pode determinar o valor de poc_msb_val_present_flag com base na presença de extensões de cabeçalho do segmento fatia no fluxo de bits. O decodificador pode também determinar o valor de _present_flag poc_msb_val com base no valor de um indicador que indica o comprimento da extensão de cabeçalho de segmento de fatia. Por exemplo, a semântica poc_msb_val_present_flag poderia ser alterada de modo que um valor de 1 para o elemento de sintaxe especifica a presença de poc_msb_val apenas quando o slice_segment_header_extension_length não é igual a zero, como mostrado abaixo. Adições são mostradas em itálico; as supressões são mostradas em [[parênteses duplos]]. poc_msb_val_present_flag igual a 1 especifica que poc_msb_val está presente. Quando poc_msb_val_present_flag é igual a 0 [[PocMsbValRequiredFlag e é igual a 0]] poc_msb_val não está presente. Quando não está presente, o valor de poc_msb_val_present_flag é inferido como se segue: - Se slice_segment_header_extension_length é igual a 0, o valor de poc_msb_val_present_flag é inferido como sendo igual a 0. - Caso contrário, se PocMsbValRequiredFlag é igual a 1, o valor de poc_msb_val_present_flag é inferido como sendo igual a 1. - Caso contrário, o valor de poc_msb_val_present_flag é inferido como sendo igual a 0.

[0143] A figura 4 é um fluxograma que ilustra um processo 400 para a codificação de informação de vídeo, de acordo com uma modalidade da presente divulgação. As etapas ilustradas na figura 4 podem ser realizadas por um codificador (por exemplo, o codificador de vídeo, como mostrado na figura 2A ou a figura 2B), um decodificador (por exemplo, o decodificador de vídeo, como mostrado na figura 3a ou figura 3B), ou qualquer outro componente. Por conveniência, o método 400 é descrita como realizada por um codificador, o qual pode ser o codificador, o decodificador, ou outro componente.

[0144] O método 400 começa no bloco 401. No bloco 405, o codificador determina se uma extensão de cabeçalho de segmento de fatia está presente. O codificador pode determinar se uma extensão de cabeçalho de segmento de fatia (por exemplo, um que esteja associado com a imagem em curso ou fatia que está sendo processado pelo codificador) está presente no fluxo de bits com base em um indicador fornecido no fluxo de bits, que indica um comprimento da fatia extensão do cabeçalho do segmento. O codificador também pode determinar se uma fatia de extensão de cabeçalho do segmento está presente no fluxo de bits com base em um indicador fornecido no fluxo de bits, que indica se a extensão do cabeçalho do segmento fatia está presente no fluxo de bits. Um indicador pode ser fornecido em outras porções do fluxo de bits, como no segmento de cabeçalho de fatia, VPS, PPS, SPS, etc. Se o codificador determina que uma extensão de cabeçalho do segmento fatia não está presente no fluxo de bits, o método prossegue 400 para o bloco a 410. Por outro lado, se o codificador determina que uma extensão de cabeçalho de fatia segmento está presente no fluxo de bits, o método 400 prossegue para o bloco 415.

[0145] No bloco 410, o codificador determina que um valor MSB de POC (por exemplo, um que está associado com a imagem em curso ou fatia que está sendo processado pelo codificador) não está presente no fluxo de bits. Como resultado da determinação de que o valor MSB de POC não está presente no fluxo de bits, o codificador pode definir um indicador configurado para indicar se o valor MSB de POC está presente no fluxo de bits para um valor de 0. Em algumas modalidades da presente invenção, o codificador pode abster-se de processar o valor MSB de POC no fluxo de bits que o codificador está configurado de outra forma para processar.

[0146] No bloco 415, o codificador processa o valor MSB de POC no fluxo de bits. Por exemplo, o codificador pode decodificar um fluxo de bits, e depois de determinar que a extensão do segmento de cabeçalho da fatia está presente no fluxo de bits no bloco 405, o codificador pode processar (ou espera) o valor MSB de POC fornecida no fluxo de bits. O codificador pode usar ainda mais o valor MSB de POC processadas para calcular o valor POC associado com a imagem que está sendo processada pelo codificador e/ou redefinir ou alinhar os valores POC associados a imagens que são fornecidas no fluxo de bits. O método 400 termina em 420.

[0147] Como discutido acima, um ou mais componentes de um codificador de vídeo 20 da figura 2A, codificador de vídeo 23 da figura 2B, decodificador de vídeo 30 da figura 3A, ou decodificador de vídeo 33 da figura 3B (por exemplo, unidade de predição entre camadas 128 e/ou unidade de predição entre camadas 166) pode ser utilizado para implementar qualquer uma das técnicas discutidas na presente revelação, tal como determinar se a extensão de cabeçalho de segmento de fatia está presente no fluxo de bits, determinando que o valor MSB de POC não esteja presente no fluxo de bits, e o processamento do MSB POC fornecido no fluxo de bits.

[0148] No método 400, um ou mais dos blocos mostrados na figura 4 podem ser removidos (por exemplo, não realizados), modificados, e/ou a ordem na qual é realizado o método 400 pode ser comutada. Por exemplo, antes de fazer a determinação a 405, o codificador pode primeiro determinar se os bits menos significativos POC estão alinhados (por exemplo, marcando um indicador fornecido no fluxo de bits), e prossiga para o bloco 405 somente após a determinação de que os bits menos significativos POC não estão alinhados. Numa outra modalidade, além de, ou em vez de, a determinação de que os bits menos significativos POC estão alinhados, o codificador pode determinar que a imagem atual a ser processada pelo codificador é uma imagem de CRA ou uma imagem de BLA antes de prosseguir para o bloco 405. Por exemplo, o codificador pode passar para o bloco 405 depois de determinar que os bits menos significativos de POC não estão alinhados e que o quadro atual é uma imagem CRA ou uma imagem BLA. Numa outra modalidade, no bloco 405, o codificador pode determinar que os valores de MSB de POC são obrigados a ser sinalizados (por exemplo, ajustando o valor de PocMsbValRequiredFlag para um valor de 1), mas, independentemente de uma tal determinação, passar para o bloco 410 com base em uma determinação de que a extensão do segmento de cabeçalho da fatia não está presente. Numa outra modalidade, o bloco 410 pode ser removido, e o método 400 pode terminar sem executar quaisquer operações adicionais, se o codificador determina que a extensão do segmento de cabeçalho da fatia não está presente. Em ainda outra modalidade, o bloco 415 pode ser removida, e o método 400 pode terminar sem executar quaisquer operações adicionais, mesmo que o codificador determina que a extensão de cabeçalho de segmento de fatia está presente, se o codificador determina que o MSB de POC não é fornecido no fluxo de bits. Assim, as modalidades da presente invenção não estão limitadas ao, ou pelo exemplo mostrado na figura 4, e outras variações podem ser executadas sem se afastar do espírito da presente revelação.

Imagens de Ponto de Acesso Aleatório Intra (IRAP)

[0149] Alguns esquemas de codificação de vídeo podem fornecer pontos de acesso aleatório em todo o fluxo de bits, tal que o fluxo de bits pode ser decodificado a partir qualquer de tal ponto de acesso aleatório, sem a necessidade de decodificar quaisquer imagens que precedem tais pontos de acesso aleatório. Tais esquemas de codificação de vídeo, todas as imagens que seguem um ponto de acesso aleatório em ordem de saída (por exemplo, incluindo aquelas imagens que estão na mesma unidade como a imagem, fornecendo o ponto de acesso aleatório acesso) podem ser decodificadas corretamente sem usar nenhuma imagem que precede o ponto de acesso aleatório. Por exemplo, mesmo se uma parte do fluxo de bits é perdida durante a transmissão ou durante a decodificação, um decodificador pode retomar o fluxo de bits a partir do próximo ponto de acesso aleatório de decodificação. Suporte para acesso aleatório pode facilitar, por exemplo, de serviços de fluxo contínuo dinâmico, operações de busca, mudança de canal, etc.

[0150] Em alguns sistemas de codificação, tais pontos de acesso aleatório podem ser fornecidos através de imagens que são referidas como imagens de acesso aleatório intra (IAPR). Por exemplo, um ponto de acesso aleatório (por exemplo, fornecido por uma imagem IRAP de camada de realce) em uma camada de reforço (“layerA”) contida em um acesso unidade (“auA”) pode fornecer acesso aleatório de camada específica tal que para cada camada de referência (“layerB”) de layerA (por exemplo, uma camada de referência sendo uma camada que é usada para prever layerA) ter um acesso aleatório ponto contido em uma unidade de acesso (“auB”) que está em layerB e precede a auA em ordem de decodificação (ou um ponto de acesso aleatório contido em auA), as imagens em layerA que seguem auB em ordem de saída (incluindo aquelas imagens localizadas em auB), são corretamente decodificado sem precisar decodificar todas as imagens na layerA que precedem auB.

[0151] Imagens IRAP podem ser codificadas utilizando a predição intra (codificado, por exemplo, sem se referir a outras imagens) e pode incluir, por exemplo, imagens IDR, CRA imagens e imagens BLA. Quando há uma imagem IDR no fluxo de bits, todas as imagens que precedem a imagem IDR em ordem decodificação não são usadas para predição por imagens que se seguem a imagem IDR na ordem de decodificação. Quando há uma imagem do CRA no fluxo de bits, as imagens que seguem as imagens do CRA podem ou não podem usar imagens que precedem a imagem do CRA em ordem decodificação para predição. Imagens que seguem a imagem do CRA na ordem de decodificação, mas usam imagens que precedem a imagem do CRA na ordem de decodificação podem ser referidas como imagens de acesso aleatório, dianteiras ignoradas (RASL). Outro tipo de imagem que segue uma imagem IRAP na ordem decodificação e precede a imagem IRAP na ordem de saída é um imagem de (Ramos) líder decodificável de acesso aleatório, que não pode conter referências a quaisquer imagens que precedem a imagem IRAP na ordem de decodificação. Imagens RASL podem ser descartadas pelo decodificador, se as imagens que precedem a imagem do CRA não estão disponíveis. Uma Imagem de BLA indica ao decodificador que as imagens que precedem a Imagem de BLA podem não estar disponíveis para o decodificador (por exemplo, porque dois fluxos de bits estão combinando juntos e a imagem BLA é a primeira imagem do fluxo de bits segundo na ordem de decodificação). Uma unidade de acesso (por exemplo, um grupo de imagens que consiste de todas as imagens codificadas associadas com o mesmo tempo de saída em várias camadas) que contém uma imagem de camada de base (por exemplo, uma imagem com um valor de ID de camada 0) que é uma imagem IRAP pode ser referida como uma unidade de acesso IRAP.

Alinhamento de Camadas Cruzadas de Imagens IRAP

[0152] Em alguns esquemas de codificação existentes, imagens IRAP não podem ser obrigadas a ser alinhados (por exemplo, contidos na mesma unidade de acesso) em diferentes camadas. Por exemplo, se as imagens IRAP eram obrigadas a alinhamento, qualquer unidade de acesso, contendo pelo menos uma figura IRAP, conteria apenas imagens IRAP. Por outro lado, se imagens IRAP não eram obrigadas a alinhamento, em uma unidade de acesso único, uma imagem (por exemplo, em uma primeira camada) pode ser uma imagem IRAP e outra imagem (por exemplo, em uma segunda camada) pode ser uma imagem de não-IRAP. Ter essas imagens IRAP não-alinhados em um fluxo de bits pode fornecer algumas vantagens. Por exemplo, em um fluxo de bits de duas camadas, se houver mais imagens IRAP na camada de base do que na camada de reforço, na transmissão e aplicações multicast, pouco atraso de sintonia, e alta eficiência de codificação podem ser obtidos.

[0153] Em alguns esquemas de codificação de vídeo, uma contagem de ordenamentos de imagens (POC) pode ser usada para controlar a ordem relativa em que as imagens decodificadas são exibidas. Alguns de tais sistemas de codificação podem causar os valores POC deve ser redefinida (por exemplo, definido como zero ou definido como algum valor sinalizado no fluxo de bits) sempre que certos tipos de imagens são processados no fluxo de bits. Por exemplo, os valores POC de certas imagens IRAP podem ser redefinidos, fazendo com que os valores POC de outras imagens anteriores aquelas imagens IRAP na decodificação ordem também sejam redefinidas. Isso pode ser problemático quando as imagens IRAP não são obrigadas a ser alinhadas em diferentes camadas. Por exemplo, quando um quadro (“picA”) é uma imagem de IRAP e outra imagem (“picB”) na mesma unidade de acesso não é uma imagem IRAP, o valor POC de uma imagem (“picC”), que é redefinido devido à picA, sendo um imagem IRAP, na camada contendo picA pode ser diferente do valor de uma imagem (“picD”), que não é redefinida POC , na camada contendo picB, onde o picC e picD estão na mesma unidade de acesso. Isso faz com que o picC e picD ter valores diferentes de POC mesmo que pertencem à mesma unidade de acesso (por exemplo, mesmo tempo de saída). Assim, neste exemplo, o processo de derivação para derivar os valores POC do picC e picD pode ser modificado para produzir valores POC que são consistentes com a definição de valores POC e unidades de acesso.

Imagens de Referência de Longo Prazo ao Longo de Períodos de Reinicialização POC

[0154] Quando uma imagem CRA de um determinado EL e/ou uma imagem RASL associado com uma imagem tão CRA utilizar imagens de referência de longo prazo (LTRPs) para a previsão e existem um ou mais imagens de redefinição de POC na mesma camada que se seguem, em ordem de decodificação, o LTRPs e antecedem, na ordem de decodificação, a imagem de PCR, certos fluxos de bits que são obtidos através da remoção de mais um ou POC repor imagens que precedem a imagem de PCR na ordem de decodificação pode causar a imagem de PCR e/ou a imagem RASL a referenciar as imagens erradas para a predição ou fazer com que algumas dessas imagens de referência a não estar disponível para a predição.

[0155] A figura 5 mostra um fluxo de bits de múltiplas camadas de 500, incluindo um EL 510 e um BL 520. O EL 510 inclui imagens EL 511-518, e o BL inclui imagens BL 521-528. O fluxo de bits de múltiplas camadas 500 inclui ainda unidades de acesso (AUS) 530-537. Como mostrado na figura 5, a AU 530 inclui a imagem EL 511 e a imagem BL 521, a AU 531 inclui a imagem EL 512 e a imagem BL 522, a AU 532 inclui a imagem EL 513 e a imagem BL 523, a AU 533 inclui a EL imagem 514 e a imagem BL 524, a AU 534 inclui a imagem EL 515 e a imagem BL 525, a AU 535 inclui a imagem EL 516 e a imagem BL 526, a AU 536 inclui a imagem EL 517 e a imagem BL 527, e o AU 537 inclui a imagem 518 e a imagem de EL BL 528. no exemplo da figura 5, as imagens BL 522-524 são IDR imagens, a imagem EL 515 é uma imagem CRA, e a imagem EL 516 é uma imagem RASL associada com a imagem CRA 515. A imagem EL 51 1 é um LTRP da imagem RASL 516 (por exemplo, a imagem de RASL 516 é codificada baseada no LTRP 511). As imagens EL 512-514 são imagens de redefinição de POC. Assim, o fluxo de bits 500 contém IAPR imagens (por exemplo, imagens de IDR 522-524) que não estão alinhadas cruz-camada.

[0156] No exemplo da figura 5, se a LTRP 51 1 é a única imagem de referência que a imagem de RASL 516 usa, o subconjunto do conjunto de imagem de referência (RPS) RefPicSetLtFoll da imagem CRA 515 (por exemplo, um conjunto de LTRPs que são utilizados para referência por imagens que se seguem a CRA imagem 515, na ordem de decodificação) pode incluir a LTRP 511 porque a imagem RASL 516 usa o LTRP 511 para referência. Da mesma forma, imagens de reposição de POC 512-514 pode também ter a LTRP 51 um na sua respectiva RPS. Em algumas modalidades da presente descrição, uma caixa intermediária pode sujeitar o fluxo de bits a uma mudança descendente seguido por uma mudança ascendente (por exemplo, para satisfazer certas condições de largura de banda, ou para se adaptar a uma menor largura de banda disponível). Em tais modalidades, a caixa intermediária pode produzir um fluxo de bits 600 que é ilustrado na figura 6. As múltiplas camadas de fluxo de bits 600 da figura 6 incluem um EL 610 e um BL 620. O EL 610 inclui imagens EL 611 e 615-618, e o BL inclui imagens BL 621-628. O fluxo de bits de múltiplas camadas 600 inclui ainda AU 630-637. Como mostrado na figura 6, a AU 630 inclui a imagem EL 611 e a imagem BL 621, a AU 631 inclui a imagem BL 622, o AU 632 inclui a imagem BL 623, a AU 633 inclui a imagem BL 624, o AU 634 inclui a imagem EL 615 e a imagem BL 625, o AU 635 inclui a imagem EL 616 e a imagem BL 626, a AU 636 inclui a imagem EL 617 e a imagem BL 627, e a AU 637 inclui a imagem EL 618 e a imagem BL 628. no exemplo da figura 6, as imagens BL 622-624 são IDR imagens, a imagem EL 615 é uma imagem CRA, e a imagem EL 616 é uma imagem RASL associada com a imagem CRA 615. A imagem EL 611 é um LTRP da imagem RASL 616 (por exemplo, a imagem de RASL 616 é codificada baseada no LTRP 61 1). Tal como ilustrado na figura 6, as imagens EL correspondente ao POC repor imagens 512-514 da figura 5 ter sido removido a partir do fluxo de bits 600.

[0157] No exemplo da figura 6, o LTRP 611 pode estar disponível no armazenador de imagem sub-decodificada (DPB) correspondente ao EL 610. No entanto, como resultado de o interruptor para baixo e comutador ascendente, a COP da LTRP 611, que foi diminuído (mas para a comutação ascendente e ascendente) pelas redefinições de POC realizadas em associação com imagens de redefinição de POC que seguem o LTRP 611, mas precedem a imagem CRA 615, na ordem de decodificação, é não diminua. O valor pelo qual os POCs das imagens anteriores a tal imagens de redefinição de POC (incluindo o LTRP 611) que devem ser diminuídos são perdidos (ou não são determináveis pelo decodificador processando o fluxo de bits 600) porque as imagens de redefinição de POC foram removidas durante a comutação ascendente e descendente. Por exemplo, se o comprimento de LSB de POC usado para o fluxo de bits 600 é de 8 bits, e o RPS associado com a imagem de CRA 615 refere-se à LTRP 611 utilizando o LSB de POC do LTRP 611 (por exemplo, 100) no fluxo de bits 500 original, o LSB de POC usado pelos RPS da imagem CRA 615 para se referir ao LTRP 61 1 não é mais válido depois de o interruptor comutar ascendentemente e descendentemente. Se o tipo de unidade NAL da imagem CRA 615 não é alterado para um dos tipos de unidades NAL de uma imagem de BLA, ou o HandleCraAsBlaFlag correspondente à imagem de CRA 615 não está definido para um valor de 1, o fluxo de bits resultante 600 seria considerado uma fluxo de bits não conforme. No exemplo, quando a imagem RASL 616 usa somente o LTRP 611 de referência, não há nenhuma necessidade de marcar a imagem CRA 615 como uma imagem de BLA ou alterar o valor do seu HandleCraAsBlaFlag indicador para um valor de 1, pois o quadro RASL 616 é corretamente decodificável.

[0158] Em algumas modalidades da presente descrição, se a imagem RASL 616 que se refere a uma imagem de referência de curto prazo (STRP) em vez do LTRP 611, e o STRP é removida do fluxo de bits, a caixa intermediária de remoção do STRP pode ser obrigatória para alterar o tipo de unidade NAL da imagem de PCR associado com a imagem RASL 616 (por exemplo, a imagem de CRA 615 no exemplo da figura 6) ou definir o valor de HandleCraAsBlaFlag correspondente a um tal quadro CRA igual a 1 tal que a imagem CRA pode ser tratado como uma imagem BLA.

[0159] Em algumas modalidades da presente descrição, uma restrição de fluxo contínuo de dados de conformidade pode especificar que imagens RASL não podem usar LTRPs que precedem uma imagem POC rearme na mesma camada que precede o quadro associado IAPR das imagens RASL na ordem de decodificação. Em tais modalidades, o codificador pode determinar tal restrição de fluxo de bits para ser aplicável e aderir à restrição de fluxo de bits de tal forma que o fluxo de bits codificado esteja em conformidade com a restrição de fluxo de bits. No exemplo da figura 5, a imagem RASL 516 não seria capaz de utilizar a LTRP 511 para referência. Em algumas modalidades da presente descrição, a restrição de fluxo contínuo de dados de conformidade pode especificar que uma imagem de CRA não pode incluir na sua RPS qualquer LTRP que precede, na ordem de decodificação, qualquer imagem de POC reposição que está na mesma camada que o CRA e que precede, em fim de decodificação, a imagem CRA. Em algumas modalidades da presente descrição, a restrição de fluxo contínuo de dados de conformidade pode especificar que uma imagem de CRA não pode incluir na sua RPS qualquer imagem que precede, na ordem de decodificação, qualquer imagem de repor POC que está na mesma camada que o CRA e que precede, em fim de decodificação, a imagem CRA. Em algumas modalidades da presente descrição, as restrições de fluxo de bits de conformidade aqui descritas podem ser aplicadas em camadas que têm ID de camada de Noé maior do que 0 (por exemplo, do que outras camadas da camada de base).

[0160] Por exemplo, a restrição de conformidade fluxo de bits pode ser implementada, incluindo a seguinte restrição na RPS: "é uma exigência de conformidade fluxo de bits que qualquer imagem no RefPicSetLtFoll, quando presente, de uma imagem CRA não deva preceder à imagem de reposição de POC que precede, na ordem de decodificação, a imagem de PCR e que tenha o mesmo nuh_layer_id como à imagem de CRA". Alternativamente, pode ser utilizada a seguinte restrição: "é uma exigência de conformidade de fluxo de bits que qualquer imagem nos RPS de uma imagem CRA que tenha nuh_layer_id maior que 0 não deverá preceder, na ordem de decodificação, qualquer imagem de redefinição de POC que precede, na ordem de decodificação, a imagem CRA e que tenha o mesmo nuh_layer_id que a imagem CRA". Nenhuma Imagem em um Período de Reinicialização de POC

[0161] Se um fluxo de bits não contém qualquer imagem em uma camada específica para todo um período de redefinição POC (por exemplo, um período que começa com uma reposição de POC e termina imediatamente antes da próxima POC reiniciar), o codificador pode não ser capaz de gerar um fluxo de bits em conformidade em alguns casos de uso. Por exemplo, os valores de POC associados a imagens em cada camada são diminuídos com base nas informações disponíveis na primeira imagem (por exemplo, POC imagem redefinir) pertencentes a essa camada e contido em um período de redefinição POC. Quando uma camada em particular não contém qualquer imagem em um determinado período POC reajuste, o valor pelo qual os valores POC associados a imagens na camada particular devem ser diminuídos pode não estar disponível ou determinável. Este problema é ilustrado na figura 7.

[0162] A figura 7 mostra um fluxo contínuo de dados múltiplas camadas de 700 incluindo um EL 710 e um BL 720. O EL 710 inclui imagens EL 711, 712 e 715-718, e o BL inclui imagens BL 721-728. O fluxo de bits de múltiplas camadas 700 inclui ainda AU 730-737. Como mostrado na figura 7, a AU 730 inclui a imagem EL 711 e a imagem BL 721, o AU 731 inclui a imagem EL 712 e a imagem BL 722, o AU 732 inclui a imagem BL 723, o AU 733 inclui a imagem BL 724, a AU 734 inclui a imagem EL 715 e a imagem BL 725, a AU 735 inclui a imagem EL 716 e a imagem BL 726, o AU 736 inclui a imagem EL 717 e a imagem BL 727, e a AU 737 inclui a imagem EL 718 e a imagem de BL 728. No exemplo da figura 7, a imagem BL 723 é uma imagem IDR; e a imagem BL 725 é uma imagem CRA. A imagem IDR 723, a imagem CRA 725, e a imagem EL 715 são imagens de redefinição de POC com valores poc_reset_idc igual a 1 ou 2 (por exemplo, indicando redefinição de um POC completo ou redefinição de um MSB de POC).

[0163] Tal como ilustrado na figura 7, o fluxo de bits 700 não contém quaisquer imagens EL do AU 732 para a AU 733. Assim, quando o codificador executa a reposição POC associada com a imagem IDR 723 (por exemplo, uma redefinição POC completo das imagens na AU 732) , o codificador pode não saber o valor pelo qual as imagens EL anteriores da AU 732 deve ser diminuído. Se poc_reset_idc associada com a imagem EL 715 indica que uma reinicialização MSB de POC deve ser realizada na AU 734, o codificador pode não estar ciente do decréscimo POC de imagens EL que não foi, mas deveria ter sido realizada no AU 732.

[0164] Em algumas modalidades da presente invenção, a informação de decremento de POC é adicionalmente assinalada na extensão de cabeçalho do segmento de fatia, e essa informação adicional pode ser usada para derivar o valor pelo qual os valores de COP de imagens previamente decodificadas que se encontram na mesma camada que a imagem atual devem ser diminuídos. Em outras modalidades, a informação adicional decremento POC pode ser enviada apenas quando a imagem é uma imagem de POC reposição que está associada com uma reposição de MSB de POC (por exemplo, não é uma reinicialização total). Essas características podem ser implementadas como mostrado abaixo.

Alterações em Sintaxe de Cabeçalho de Segmento de Fatia

[0165] Um codificador pode ser capaz de codificar um fluxo de bits ilustrado na figura 7, se a funcionalidade associada com poc_reset_idc igual a um valor de 3 for removida e fornecida como um indicador separado. Esta alteração pode permitir que a funcionalidade associada com poc_reset_idc igual a um valor de 3 possa ser utilizada para essas imagens que foram associados com valores poc_reset_idc de 1 ou 2 antes que esta alteração. As alterações para a sintaxe, semântica, e processo de decodificação são destacadas a seguir: adições são mostradas em itálico e as supressões são mostradas na [[colchetes duplos]]. A tabela 1 ilustra as alterações ao slice_segment_header sintaxe (): Tabela 1: Sintaxe Exemplar de Cabeçalho de Segmento de Fatia ()

Mudanças na Semântica de Cabeçalho de Segmento de Fatia

[0166] A semântica de cabeçalho de segmento de fatia pode ser modificada conforme mostrado abaixo, onde adições são mostradas em itálico e as supressões são mostradas em [[colchetes duplos]]: poc_reset_idc igual a 0 especifica que nem os bits mais significativos nem os bits menos significativos do valor de contagem de ordem de imagem para a imagem atual são redefinidos. poc_reset_idc igual a 1 especifica que apenas os bits mais significativos do valor de contagem de ordem de imagem para a imagem atual podem ser redefinidos, poc_reset_idc igual a 2 especifica que ambos os bits mais significativos e os bits menos significativos do valor de contagem de ordem de imagem para a imagem atual podem ser redefinidos. [[Poc_reset_idc igual a 3 especifica que apenas um dos bits mais significativos ou ambos os bits mais significativos e os bits menos significativos do valor de contagem de ordem de imagem para a imagem atual podem ser redefinidos e informação adicional de ordem de contagem de imagem sinalizado]]. Quando não está presente, o valor de poc_reset_idc é inferido como sendo igual a 0. É uma exigência da conformidade de fluxo de bits que as seguintes restrições se apliquem: - O valor de poc_reset_idc não deve ser igual a 1 ou 2 para uma imagem RASL, uma imagem RADL, uma imagem de não-referência de sub-camada ou uma imagem que tenha Temporalld maior que 0, ou uma imagem que tenha discardable_flag igual a 1. - O valor de poc_reset_idc de todas as imagens em uma unidade de acesso deve ser o mesmo. - Quando a imagem em uma unidade de acesso com nuh_layer_id igual a 0 é uma imagem IRAP com um valor específico de nal_unit_type e há pelo menos outra imagem da mesma unidade de acesso com um valor diferente de nal_unit_type, o valor de poc_reset_idc deve ser igual a 1 ou 2 para todas as imagens na unidade de acesso. - Quando há, pelo menos, uma imagem que tenha nuh_layer_id maior do que 0 e que é uma imagem IDR com um valor específico de nal_unit_type em uma unidade de acesso e existe, pelo menos, uma outra imagem na mesma unidade de acesso com um diferente valor de nal_unit_type, o valor de poc_reset_idc deve ser igual a 1 ou 2 para todas as imagens na unidade de acesso. - O valor de poc_reset_idc de uma CRA ou imagem BLA deve inferior a 3. - Quando a imagem com nuh_layer_id igual a 0 em uma unidade de acesso é uma imagem IDR e há pelo menos uma imagem não-IDR na mesma unidade de acesso, o valor de poc_reset_idc será igual a 2 para todas as imagens em a unidade de acesso. - Quando a imagem com nuh_layer_id igual a 0 em uma unidade de acesso não é uma imagem IDR, o valor de poc_reset_idc não será igual a 2 para qualquer imagem na unidade de acesso. O valor da poc_reset_idc de uma unidade de acesso é o valor de poc_reset_idc das imagens na unidade de acesso. poc_reset_period_id identifica um período de reajuste de POC. Não deve haver dois quadros consecutivos, na ordem de decodificação na mesma camada que tem o mesmo valor de poc_reset_period_id e poc_reset_idc igual a 1 ou 2. Quando não está presente, o valor de poc_reset_period_id é inferido como segue: - Se a imagem anterior picA que tem poc_reset_period_id presente no cabeçalho de segmento de fatia presente na mesma camada do fluxo de dados que a imagem atual, o valor de poc_reset_period_id é inferido como sendo igual ao valor de poc_reset_period_id de picA. - Caso contrário, o valor de poc_reset_period_id é inferido como sendo igual a 0. NOTA - Não é proibido que várias imagens em uma camada tenham o mesmo valor de poc_reset_period_id e tenham poc_reset_idc igual a 1 ou 2 a menos que tais imagens ocorram em duas unidades de acesso consecutivas na ordem de decodificação. Para minimizar a probabilidade de que essas duas imagens apareçam no fluxo de bits devido a perdas de imagem, extração de fluxo de bits, busca, ou operações de emenda, os codificadores devem definir o valor de poc_reset_period_id para ser um valor aleatório para cada período de redefinição de POC (sujeito às limitações acima especificadas). É uma exigência da conformidade de fluxo de bits que as seguintes restrições se apliquem: - Um período de redefinição de POC não incluirá mais de uma unidade de acesso com poc_reset_idc igual a 1 ou 2. - Uma unidade de acesso com poc_reset_idc igual a 1 ou 2 será a primeira unidade de acesso em um período de redefinição de POC. - A imagem que segue, na ordem de decodificação, a primeira imagem de redefinição de POC entre todas as camadas de um período de redefinição de POC, na ordem de decodificação não deve preceder, em ordem de saída, outra imagem em qualquer camada que precede a primeira imagem de redefinição de POC, em ordem de decodificação. poc_decrement_info_present_flag igual a 1 especifica que os elementos de sintaxe full_poc_reset_flag e poc_lsb_val são sinalizados na extensão de cabeçalho de fatia. poc_decrement_info_present_flag igual a 0 especifica que os elementos de sintaxe full_poc_reset_flag e poc_lsb_val não estão sinalizados na extensão de cabeçalho de fatia. full_poc_reset_flag igual a 1 especifica que ambos os bits mais significativos e os bits menos significativos do valor de contagem de ordem de imagem para a imagem atual são reajustados quando a imagem anterior, na ordem de decodificação na mesma camada não pertence ao mesmo período de redefinição de POC. full_poc_reset_flag igual a 0 especifica que apenas os bits mais significativos do valor de contagem de ordem de imagem para a imagem atual são reajustados quando a imagem anterior, na ordem de decodificação na mesma camada não pertence ao mesmo período redefinição de POC. poc_lsb_val especifica um valor que pode ser utilizado para obter a contagem fim foto da imagem atual. O comprimento do elemento de sintaxe poc_lsb_val é log2_max _pic_order_cnt_lsb_minus4 + 4 bits. É uma exigência da conformidade de fluxo de bits que, quando poc_decrement_info_present_flag é igual a 1 [[poc_reset_idc é igual a 3]], e a imagem anterior picA na ordem de decodificação que está na mesma camada que a imagem em curso, que tem poc_reset_idc igual a 1 ou 2, e que pertence ao mesmo período de reposição de POC está presente no fluxo de bits, picA deve ser a mesma imagem que a imagem anterior, na ordem de decodificação que está na mesma camada que a imagem em curso, que não é uma imagem RASL, uma imagem RADL ou uma imagem de não-referência de sub-camada, e que tem Temporalld igual a 0 e discardable_flag igual a 0, e o valor de poc_lsb_val da imagem atual é igual ao valor de slice_pic_order_cnt_lsb de picA. A variável PocMsbValRequiredFlag é derivada da seguinte forma: PocMsbValRequiredFlag=CraOrBlaPicFlag&&(!VPS_poc_ lsb_aligned_flag||(VPS_poc_lsb_aligned_flag&& NumDirectRefLayers [nuh_layer_id]==0))

[0167] Alternativamente, a seguinte restrição é adicionada como uma restrição de conformidade de fluxo de bits. É um requisito de que o fluxo de bits conformidade seguinte restrição se aplica: - Quando poc_decrement_info_present_flag é igual a 1, poc_reset_idc não deve ser igual a 0 ou 2.

[0168] Alternativamente, a seguinte restrição é adicionada como uma restrição fluxo de bits conformidade. É um requisito de que o fluxo de bits conformidade seguinte restrição se aplica: - Quando poc_decrement_info_present_flag é igual a 1, poc_reset_idc não deve ser igual a dois.

Mudanças no Processo de Decodificação de POC

[0169] O processo de decodificação existente descrito na especificação HEVC pode ser modificado, como mostrado abaixo, em que as adições são mostradas em itálico e deleções são mostradas em [[parênteses duplos]]: F.8.3.1 Processo de Decodificação para Contagem de Ordem de Imagem A saída desse processo é PicOrderCntVal, a contagem de ordem de imagem da imagem atual. Contagens de ordem de imagem são usadas para identificar imagens, para derivar parâmetros de movimento no modo de mesclagem e predição de vetor de movimento, e para verificação de conformidade de decodificador (ver C.5 sub-cláusula). Cada imagem codificada está associada com uma variável de contagem na ordem de imagem, denotada como PicOrderCntVal. Quando a imagem corrente é a primeira imagem entre todas as camadas de um período de reposição de POC, a variável PocDecrementedInDPBFlag [i] é igual a 0, para cada valor de i na faixa de 0 a 62, inclusive. A variável pocResettingFlag é derivada da seguinte forma: - Se a imagem atual é uma imagem de reinicialização de POC, o seguinte é aplicável: - Se vps_poc_lsb_aligned_flag é igual a 0, pocResettingFlag é definida como igual a 1. - Caso contrário, se PocDecrementedInDPBFlag[nuh _layer_id] é igual a 1, pocResettingFlag é definida igual a 0. - Caso contrário, pocResettingFlag é definida como igual a 1. - Caso contrário, pocResettingFlag é definida igual a 0. A lista affectedLayerList é derivada da seguinte forma: - Se VPS _poc_lsb_aligned_flag é igual a 0, affectedLayerList consiste na nuh_layer_id da imagem atual. - Caso contrário, affectedLayerList consiste na nuh_layer_id do quadro atual e os valores de nuh_layer_id igual PredictedLayerId[currNuhLayerld][j] para todos os valores de j na faixa de 0 a NumPredictedLayers [currNuhLayerld]-1, inclusive, onde currNuhLayerld é o valor nuh_layer_id da imagem atual. Se pocResettingFlag é igual a 1, é aplicável o seguinte: - Quando FirstPicInLayerDecodedFlag[nuh_layer_id] é igual a 1, é aplicável o seguinte: - As variáveis pocMsbDelta, pocLsbDelta e DeltaPocVal são derivadas da seguinte forma: se ([[poc_reset_idc = = 3]] poc_decrement_info _present_flag) pocLsbVal = poc_lsb_val caso contrário pocLsbVal = slice_pic_order_cnt_lsb Se (poc_msb_val_present_flag) pocMsbDelta pouco MSB = val * MaxPicOrderCntLsb caso contrário { prevPicOrderCntLsb = PrevPicOrderCnt [nuh id camada]&(MaxPicOrderCntLsb- 1) prevPicOrderCntMsb = PrevPicOrderCnt [nuh camada id]- prevPicOrderCntLsb pocMsbDelta=getCurrMsb (pocLsbVal, prevPicOrderCntLsb, prevPicOrderCntMsb, MaxPicOrderCntLsb) } Se (poc_reset_idc = = 2||([[poc_reset_idc = = 3]] poc_decrement_info_present_flag&& full_poc_reset_flag)) pocLsbDelta = pocLsbVal caso contrário pocLsbDelta = 0 DeltaPocVal = pocMsbDelta + pocLsbDelta - O PicOrderCntVal de cada imagem que está no DPB e tem valor nuh_layer_Id nuh_layer_Id para o qual PocDecrementedInDPBFlag[nuhLayerld] é igual a 0 e que é igual a qualquer valor em affectedLayerList é diminuído por DeltaPocVal. - PocDecrementedInDPBFlag[nuhLayerld] é definida igual a 1 para cada valor de nuhLayerld incluído no affectedLayerList. - O PicOrderCntVal da imagem atual é derivado da seguinte forma: Se (poc_reset_idc = = 1) PicOrderCntVal = slice_pic_order_cnt_lsb caso contrário se (poc_reset_idc = = 2) PicOrderCntVal = 0 caso contrário se (poc_decrement_info _present_flag = = 1){[[// poc_reset_idc = = 3]] PicOrderCntMsb=getCurrMsb(slice_pic_order_cnt_lsb ,ful_poc_reset_flag ?: Poc_lsb_val, 0, MaxPicOrderCntLsb) PicOrderCntVal = PicOrderCntMsb + slice_pic_order_cnt_lsb } Caso contrário, é aplicável o seguinte: - O PicOrderCntVal da imagem atual é derivada da seguinte forma: Se (poc_msb_val_present_flag) PicOrderCntMsb pouco MSB = val * MaxPicOrderCntLsb caso contrário se (FirstPicInLayerDecodedFlag [nuh_layer_id]! || nal_unit_type==IDR_N_LP|| nal_unit_type = = IDR W RADL ) PicOrderCntMsb = 0 caso contrário { prevPicOrderCntLsb = PrevPicOrderCnt [nuh_layer_id]&(MaxPicOrderCntLsb- 1). prevPicOrderCntMsb = PrevPicOrderCnt [nuh_layer_id] - prevPicOrderCntLsb PicOrderCntMsb = getCurrMsb (slice_pic_order_cnt_lsb, prevPicOrderCntLsb, prevPicOrderCntMsb, MaxPicOrderCntLsb) } PicOrderCntVal=PicOrderCntMsb+ slice_pic_order_cnt_lsb O valor de PrevPicOrderCnt [tampa] para cada um dos valores de IId incluídas no affectedLayerList é derivado como segue: - Se a imagem atual não é uma imagem RASL, uma imagem RADL ou uma imagem de não-referência de sub-camada, e a imagem atual tem Temporalld igual a 0 e discardable_flag igual a 0, PrevPicOrderCnt [IId] é definida igual a PicOrderCntVal. - Caso contrário, quando poc_decrement_info_flag é igual a 1 [[poc_reset_idc é igual a 3]] e uma das seguintes condições é verdadeira, PrevPicOrderCnt [IId] é definida igual a: (full_poc_reset_flag? 0: poc_lsb_val) - FirstPicInLayerDecodedFlag [nuh_layer_id] é igual a 0. - FirstPicInLayerDecodedFlag [nuh_layer_id] é igual a 1 e a imagem atual é uma imagem de reinicialização de POC. O valor de PicOrderCntVal deve estar no intervalo de -231 a 231 - 1, inclusive. Em um CVS, os valores PicOrderCntVal para quaisquer duas imagens codificadas na mesma camada não devem ser os mesmos. A função PicOrderCnt (picX) é especificada como se segue: PicOrderCnt (picX) = PicOrderCntVal da imagem picX A função DiffPicOrderCnt (Pica, PICB) é especificado como segue: DiffPicOrderCnt( picA, picB ) = PicOrderCnt( picA ) - PicOrderCnt( picB ) O fluxo de bits não deve conter os dados que resultam em valores de DiffPicOrderCnt (PICA, PICB) utilizados no processo de decodificação que não estão no intervalo de -215 a 215 - 1, inclusive. NOTA - Seja X a imagem atual e Y e Z duas outras imagens na mesma sequência, Y e Z são considerados na mesma direção na ordem de saída de X, quando ambos DiffPicOrderCnt (X, Y) e DiffPicOrderCnt (X, Z ) são positivos ou ambos são negativos.

[0170] Alternativamente, uma CRA poderia ter poc_reset_id igual a 3 e a semântica de poc_msb_val é modificada de tal modo que o valor de poc_msb_val deve ser igual à diferença entre os valores dos bits mais significativos das contagens de ordem de imagem da imagem atual e da imagem de redefinição de POC anterior [[na mesma camada]] ou a imagem IDR anterior [[na mesma camada]], o que for mais próximo, na ordem de decodificação, para o quadro atual.

Semântica de Elementos de Sintaxe de Extensão de Cabeçalho de Segmento de Fatia

[0171] Atualmente a semântica de elementos de sintaxe slice_segment_header_extension_length e slice_segment_header_extension_data_bit não está definida. A semântica seguinte pode ser adicionada à especificação HEVC. slice_segment_header_extention_lenght especifica o comprimento dos dados de extensão de cabeçalho de fatia seguindo este elemento de sintaxe, em bytes. O valor de slice_segment_header_extention_lenght deve estar na faixa de 0 a 4096, inclusive. Quando não está presente, o valor de slice_segment_header_extention_lenght é inferido como sendo igual a 0. slice_segment_header_extention_data_bit pode ter qualquer valor. Os decodificadores devem ignorar o valor de slice_segment_header_extention_data_bit. Seu valor não afeta a conformidade do decodificador aos perfis especificados nesta versão desse relatório descritivo.

Semântica de pocresetinfopresentflag

[0172] O elemento de sintaxe poc_reset_info_present_flag é sinalizado no PPS, condicionado ao valor do indicador pps_extension_type_flag [0]. A sintaxe e semântica de poc_reset_info_present_flag são reproduzidas a seguir. A Tabela 2 ilustra uma sintaxe exemplar de pic_parameter_set_rbsp(). pps_extension_type_flag [i] é igual a 0, para i na faixa de 1 a 6, inclusive, em fluxos de bits que correspondem a essa versão desse relatório descritivo. pps_extension_type_flag [0] igual a 1 especifica que poc_reset_info_present_flag está presente na estrutura de sintaxe PPS PAAB. pps_extension_type_flag [0] igual a 0 especifica que poc_reset_info_present_flag não está presente na estrutura de sintaxe PPS PAAB. O valor de 1 para pps_extension_type_flag [I], para i na faixa de 1 a 7, inclusive, está reservado para uso futuro pela ITU-T ISO/IEC. pps_extension_type_flag [7] igual a 0 especifica que nenhum elemento de sintaxe pps_extension_data_flag está presente na estrutura de sintaxe PPS RBSP. Os decodificadores devem ignorar todos os elementos de sintaxe pps_extension_data_flag que seguem o valor 1 para pps_extension_type_flag [7] em uma unidade PPS NAL. poc_reset_info_present_flag igual a 0 especifica que o elemento de sintaxe poc_reset_idc não está presente nos cabeçalhos de segmento fatia das fatias que se referem ao PPS. poc_reset_info_present_flag igual a 1 especifica que o elemento de sintaxe poc_reset_idc está presente nos cabeçalhos de segmento fatia das fatias que se referem ao PPS.

[0173] Em algumas implementações, mesmo quando o valor de poc_reset_info_present_flag é igual a 0, a sintaxe atual pode determinar que pps_extension_type_flag [0] seja definido para um valor de 1 e poc_reset_info_present_flag seja sinalizado. No entanto, pode ser mais eficaz não sinalizar poc_reset_info_present_flag e em vez inferir o seu valor como sendo igual a 0 quando o elemento de sintaxe não estiver presente. Tal mudança pode ser implementada modificando a semântica, conforme mostrado abaixo, em que a linguagem adicionada é mostrada em itálico: poc_reset_info_present_flag igual a 0 especifica que o elemento de sintaxe poc_reset_idc não está presente nos cabeçalhos de segmento fatia das fatias que se referem ao PPS. poc_reset_info_present_flag igual a 1 especifica que o elemento de sintaxe poc_reset_idc está presente nos cabeçalhos de segmento fatia das fatias que se referem ao PPS. Quando não está presente, o valor de poc_reset_info_present_flag é inferida como sendo igual a 0.

[0174] As técnicas descritas na presente revelação podem ser aplicadas de forma independente e alguns ou todos eles podem ser aplicados em combinação. As indicações, indicadores, e/ou elementos de sintaxe aqui descritos podem ser fornecidos em várias partes do fluxo de bits, incluindo, mas não se limitando a, VPS, SPS, PPS, cabeçalhos de fatia, mensagens SEI, etc., e podem até mesmo ser especificados por meios externos.

Outras Considerações

[0175] Informação e sinais revelados neste documento podem ser representados usando qualquer de uma variedade de técnicas e tecnologias diferentes. Por exemplo, dados, instruções, comandos, informação, sinais, bits, símbolos e chips que podem ser referenciadas em toda a descrição acima, podem ser representados por tensões, correntes, ondas eletromagnéticas, campos magnéticos ou partículas, campos ópticos ou partículas ou qualquer combinação destes.

[0176] Os vários blocos lógicos ilustrativos, módulos, circuitos e etapas de algoritmo descritos em conexão com as modalidades reveladas neste documento podem ser implementados como hardware eletrônico, software de computador ou combinações de ambos. Para ilustrar claramente essa permutabilidade de hardware e software, vários componentes ilustrativos, blocos, módulos, circuitos e etapas foram descritos acima geralmente em termos de sua funcionalidade. Se essa funcionalidade é implementada como hardware ou software depende as restrições especiais de aplicação e projeto impostas ao sistema global. Os versados na arte podem implementar a funcionalidade descrita em maneiras diferentes para cada aplicação particular, mas tais decisões de implementação não devem ser interpretadas como causando um afastamento do âmbito da presente invenção.

[0177] As técnicas descritas neste documento podem ser implementadas em hardware, software, firmware ou qualquer combinação destes. Essas técnicas podem ser implementadas em qualquer de uma variedade de dispositivos como computadores de uso geral, aparelhos de dispositivo de comunicação sem fio ou aparelhos de circuito integrado com múltiplos usos, incluindo aplicação em aparelhos de dispositivo de comunicação sem fio e outros dispositivos. Todas as características descritas como módulos ou componentes podem ser implementadas em conjunto em um dispositivo lógico integrado, ou separadamente, como dispositivos lógicos discretos, mas interoperáveis. Se implementadas no software, as técnicas podem ser realizadas pelo menos em parte, por um meio de armazenamento de dados legível por computador que inclui código de programa, incluindo as instruções que, quando executadas, executam um ou mais dos métodos descritos acima. O meio de armazenamento de dados legível por computador pode formar parte de um produto de programa de computador, que pode incluir materiais de embalagem. O meio legível por computador pode incluir mídia de armazenamento de dados ou memória, como memória de acesso aleatório (RAM) como memória dinâmica síncrona de acesso aleatório (SDRAM), memória de leitura (ROM), memória de acesso aleatório não volátil (NVRAM), memória de leitura eletricamente apagável programável (EEPROM), memória FLASH, meios de armazenamento de dados magnéticos ou ópticos e semelhantes. As técnicas adicionalmente, ou alternativamente, podem ser realizadas pelo menos em parte por meio de comunicação legível por computador que transporta ou comunica o código de programa sob a forma de estruturas de dados ou instruções e que pode ser acessado, lido e/ou executado por um computador, tais como sinais, ou ondas, propagados.

[0178] O código de programa pode ser executado por um processador, que pode incluir um ou mais processadores, tais como um ou mais processadores de sinal digital (DSPs), microprocessadores de propósito geral, um circuito integrado de aplicação específica (ASICs), arranjo lógico programável no campo (FPGAs) ou outros circuitos de lógica integrada ou discreta equivalente. Tal processador pode ser configurado para executar qualquer uma das técnicas descritas nesta revelação. Um processador de uso geral pode ser um microprocessador; Mas, em alternativa, o processador pode ser qualquer processador convencional, controlador, microcontrolador ou máquina de estado. Um processador também pode ser implementado como uma combinação de dispositivos de computação, por exemplo, uma combinação de um DSP e um microprocessador, uma pluralidade de microprocessadores, um ou mais microprocessadores em conjunto com um núcleo DSP, ou qualquer outra configuração. Nesse sentido, o termo “processador”, como usado aqui pode se referir a qualquer da estrutura acima, qualquer combinação da estrutura acima mencionada, ou qualquer outra estrutura ou aparelho adequado para a aplicação das técnicas descritas neste documento. Além disso, em alguns aspectos, a funcionalidade descrita neste documento pode ser fornecida dentro de módulos de software dedicado ou módulos de hardware configurados para codificação e decodificação, ou incorporada em um codificador- decodificador de vídeo combinado (CODEC). Além disso, as técnicas poderiam ser totalmente implementadas em um ou mais circuitos ou elementos lógicos.

[0179] As técnicas desta revelação podem ser implementadas em uma ampla variedade de dispositivos ou aparelhos, incluindo um aparelho sem fio, um circuito integrado (IC) ou um conjunto de ICs (por exemplo, um chipset). Vários componentes, módulos ou unidades são descritos nesta revelação para enfatizar os aspectos funcionais dos dispositivos configurados para executar as técnicas reveladas, mas não necessariamente exigem realização por diferentes unidades de hardware. Mais propriamente, conforme descritas acima diversas unidades podem ser combinadas em uma unidade de hardware de codec ou fornecidas por um grupo de unidades interoperativas de hardware, incluindo um ou mais processadores, como descrito acima, em conjunto com software e/ou firmware adequado.

[0180] Várias modalidades da invenção foram descritas. Essas e outras modalidades estão dentro do escopo das reivindicações seguintes.

Claims

1. Método de decodificar informações de vídeo em um fluxo de bits de múltiplas camadas ou de uma única camada, sendo que o método é caracterizado pelo fato de que compreende: com base em um indicador sendo sinalizado em uma porção de cabeçalho de um segmento de fatia associado com uma imagem atual em uma camada de vídeo que indica a presença de dados de extensão correspondendo à porção de cabeçalho do segmento de fatia, determinar a possibilidade de um elemento de sintaxe sinalizado ter um valor igual a zero, o elemento de sintaxe indicativo de um comprimento dos dados de extensão correspondente à porção de cabeçalho do segmento de fatia; com base na determinação de que o elemento de sintaxe tem um valor igual a zero, determinar que um ou mais bits mais significativos, MSBs, de um valor de contagem de ordem de imagem, POC, indicativo de uma posição de saída da imagem atual em relação a outras imagens no fluxo de bits não estão presentes na porção de cabeçalho do segmento de fatia.

2. Método, de acordo com a reivindicação 1, caracterizado pelo fato de que compreende adicionalmente determinar, com base em uma determinação de que o elemento de sintaxe tem um valor não igual ao primeiro valor, que o um ou mais MSBs estão presentes no fluxo de bits.

3. Método, de acordo com a reivindicação 1, caracterizado pelo fato de que compreende adicionalmente determinar que o um ou mais MSBs do valor de POC associado à imagem atual não estão presentes no fluxo de bits com base, pelo menos em parte, na possibilidade de a imagem atual ser uma imagem de acesso aleatório limpa, CRA, ou uma imagem de acesso de link interrompido, BLA, do padrão de Codificação de Vídeo de Alta Eficiência, HEVC.

4. Método, de acordo com a reivindicação 1, caracterizado pelo fato de que compreende adicionalmente: determinar a possibilidade de a imagem atual ser uma imagem de acesso aleatório limpa, CRA ou uma imagem de acesso de link interrompido, BLA, do padrão de Codificação de Vídeo de Alta Eficiência, HEVC; determinar que o um ou mais MSBs do valor de POC é exigido a ser fornecido no fluxo de bits em resposta a uma determinação de que a imagem atual é uma imagem de CRA ou uma imagem de BLA; e independentemente da determinação de que o um ou mais MSBs do valor de POC é exigido a ser fornecido no fluxo de bits, determinar que o um ou mais MSBs do valor de POC não estão presentes no fluxo de bits com base na determinação de que o elemento de sintaxe tem um valor igual ao primeiro valor.

5. Método, de acordo com a reivindicação 1, caracterizado pelo fato de que compreende adicionalmente estabelecer um parâmetro indicativo da possibilidade de o um ou mais MSBs estão presentes para zero para indicar que o um ou mais MSBs do valor de POC não estão presentes no fluxo de bits.

6. Método, de acordo com a reivindicação 1, caracterizado pelo fato de que compreende adicionalmente converter as informações de vídeo em código com base, pelo menos em parte, no um ou mais MSBs do valor de POC com base na determinação de que o elemento de sintaxe tem um valor não igual ao primeiro valor.

7. Método, de acordo com a reivindicação 1, caracterizado pelo fato de que o um ou mais MSBs do valor de POC são fornecidos nos dados de extensão correspondentes à porção de cabeçalho do segmento de fatia associado à imagem atual.

8. Método, de acordo com a reivindicação 1, caracterizado pelo fato de que compreende adicionalmente, com base em uma determinação de que o um ou mais MSBs do valor de POC são exigidos a estarem presentes no fluxo de bits, processar o um ou mais MSBs do valor de POC associado à imagem atual fornecida no fluxo de bits.

9. Método, de acordo com a reivindicação 8, caracterizado pelo fato de que compreende adicionalmente, com base em uma determinação de que o um ou mais MSBs do valor de POC não são exigidos a estarem presentes no fluxo de bits, determinar que o um ou mais MSBs do valor de POC associado à imagem atual não estão presentes no fluxo de bits.

10. Memória legível por computador, caracterizada pelo fato de que compreende instruções armazenadas na mesma, as instruções sendo executáveis por um computador para realizar as etapas de método conforme definido em qualquer uma das reivindicações 1 a 9.

11. Dispositivo de decodificação de vídeo configurado para codificar informações de vídeo em um fluxo de bits de múltiplas camadas ou de uma única camada, sendo que o dispositivo de codificação de vídeo é caracterizado pelo fato de que compreende: meios para armazenar dados de vídeo associados a uma camada de vídeo que tem uma imagem atual; meios para determinar se em um indicador sendo sinalizado em uma porção de cabeçalho de um segmento de fatia associado com uma imagem atual em uma camada de vídeo indica a presença de dados de extensão correspondendo à porção de cabeçalho do segmento de fatia, determinar a possibilidade de um elemento de sintaxe sinalizado ter um valor igual a zero, o elemento de sintaxe indicativo de um comprimento dos dados de extensão correspondendo à porção de cabeçalho do segmento de fatia; meios para determinar, com base na determinação de que o elemento de sintaxe tem um valor igual a zero, determinar que um ou mais bits mais significativos, MSBs, de um valor de contagem de ordem de imagem, POC, indicativo de uma posição de saída da imagem atual em relação a outras imagens no fluxo de bits não estão presentes na porção de cabeçalho do segmento de fatia.

12. Dispositivo de codificação de vídeo, de acordo com a reivindicação 11, caracterizado pelo fato de que compreende adicionalmente meios para determinar, com base em uma determinação de que o elemento de sintaxe tem um valor não igual ao primeiro valor, que o um ou mais MSBs estão presentes no fluxo de bits.

13. Dispositivo de codificação de vídeo de acordo com a reivindicação 11, caracterizado pelo fato de que compreende adicionalmente: meios para determinar a possibilidade de a imagem atual ser uma imagem de acesso aleatório limpa, CRA ou uma imagem de acesso de link interrompido, BLA, do padrão de Codificação de Vídeo de Alta Eficiência, HEVC; meios para determinar que o um ou mais MSBs do valor de POC é exigido a ser fornecido no fluxo de bits em resposta a uma determinação de que a imagem atual é uma imagem de CRA ou uma imagem de BLA; e meios para determinar, independentemente da determinação de que o um ou mais MSBs do valor de POC é exigido a ser fornecido no fluxo de bits, que o um ou mais MSBs do valor de POC não estão presentes no fluxo de bits com base na determinação de que o elemento de sintaxe tem um valor igual ao primeiro valor.