BR112016008235B1 - Dispositivo e método para codificação escalonável de informações de vídeo - Google Patents

Dispositivo e método para codificação escalonável de informações de vídeo Download PDF

Info

Publication number
BR112016008235B1
BR112016008235B1 BR112016008235-4A BR112016008235A BR112016008235B1 BR 112016008235 B1 BR112016008235 B1 BR 112016008235B1 BR 112016008235 A BR112016008235 A BR 112016008235A BR 112016008235 B1 BR112016008235 B1 BR 112016008235B1
Authority
BR
Brazil
Prior art keywords
image
video
poc
picture
reset
Prior art date
Application number
BR112016008235-4A
Other languages
English (en)
Other versions
BR112016008235A2 (pt
Inventor
Adarsh Krishnan Ramasubramonian
Fnu HENDRY
Ying Chen
Ye-Kui Wang
Original Assignee
Qualcomm Incorporated
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Incorporated filed Critical Qualcomm Incorporated
Publication of BR112016008235A2 publication Critical patent/BR112016008235A2/pt
Publication of BR112016008235B1 publication Critical patent/BR112016008235B1/pt

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/114—Adapting the group of pictures [GOP] structure, e.g. number of B-frames between two anchor frames
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/188—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a video data packet, e.g. a network abstraction layer [NAL] unit
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/65—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using error resilience
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/65—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using error resilience
    • H04N19/68—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using error resilience involving the insertion of resynchronisation markers into the bitstream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

DISPOSITIVO E MÉTODO PARA CODIFICAÇÃO ESCALONÁVEL DE INFORMAÇÕES DE VÍDEO. Trata-se de aparelho configurado para a codificação de informações de vídeo que inclui uma unidade de memória e um processador em comunicação com a unidade de memória. A unidade de memória é configurada para armazenar informações de vídeo associadas com uma camada de vídeo que tem uma figuração. O processador é configurado para determinar se a figuração é uma figuração não âncora de contador de ordem de figuração (POC) e baseado na determinação em relação a figuração ser uma figuração não âncora POC, realizar um dentre (1) inibir a indicação de uma redefinição de POC em conexão com a figuração, ou (2) indicar a redefinição de POC em conexão com a figuração. O processador pode criptografar ou decodificar as informações de vídeo.

Description

CAMPO DA TÉCNICA
[0001] Esta revelação refere-se ao campo da codificação e compactação de vídeo, particularmente, à codificação de vídeo escalonável de vídeo (SVC), codificação de vídeo multivistas (MVC) ou codificação de vídeo em 3D (3DV).
ANTECEDENTES
[0002] As capacidades de vídeo digital podem ser incorporadas em uma grande variedade de dispositivos, incluindo televisões digitais, sistemas de difusão direta digital, sistema de difusão sem fio, assistentes digitais pessoais (PDAs), computadores do tipo laptop ou desktop, câmeras digitais, dispositivos de gravação digital, reprodutores de mídia digital, dispositivos de jogos eletrônicos, consoles de jogos eletrônicos, telefones de rádio via satélite ou celular, dispositivos de teleconferência por vídeo e similares. Os dispositivos de vídeo digital implantam técnicas de compactação de vídeo como as descritas nos padrões definidos por MPEG-2, MPEG-4, ITU-T H.263, ITU-T H.264/MPEG-4, Parte 10, Codificação de Vídeo Avançada (AVC), o padrão de Codificação de Vídeo de Alta Eficiência (HEVC) atualmente sob desenvolvimento e extensões de tais padrões. Os dispositivos de vídeo podem transmitir, receber, criptografar, decodificar e/ou armazenar informações de vídeo digital de maneira mais eficiente implantando-se tais técnicas de codificação de vídeo.
[0003] As técnicas de compactação de vídeo realizam previsão espacial (intrafiguração) e/ou previsão temporal (interfiguração) para reduzir ou remover a redundância inerente em sequências de vídeo. Para a codificação de vídeo com base em bloco, uma fatia de vídeo (por exemplo, um quadro de vídeo ou uma porção de um quadro de vídeo) pode ser particionado em blocos de vídeo, que também podem ser denominados de blocos em árvore, unidades de codificação (CUs) e/ou nós de codificação. Os blocos de vídeo em uma fatia intracodificada (I) de uma figuração são criptografados com o uso de previsão espacial em relação às amostras de referência em blocos próximos na mesma figuração. Os blocos de vídeo em uma fatia intercodificada (P ou B) de uma figuração podem usar previsão espacial em relação a amostras de referência em blocos próximos na mesma figuração ou previsão temporal em relação às amostras de referência em outras figurações de referência. As figurações podem ser denominadas como quadros, e as figurações de referência podem ser denominadas como quadros de referência.
[0004] A previsão espacial ou temporal resulta em um bloco preditivo para um bloco a ser codificado. Os dados residuais representam diferenças de pixel entre o bloco original a ser codificado e o bloco preditivo. Um bloco intercodificado é criptografado de acordo com um vetor de movimento que aponta para um bloco de amostras de referência que forma o bloco preditivo, sendo que os dados residuais indicam a diferença entre o bloco codificado e o bloco preditivo. Um bloco intracodificado é criptografado de acordo com um modo de intracodificação e os dados residuais. Para compactação adicional, os dados residuais podem ser transformados do domínio de pixel para um domínio de transformada, resultando em coeficientes residuais que podem, em seguida, ser quantizados. Os coeficientes de transformada quantizados dispostos inicialmente em uma matriz bidimensional podem ser varridos a fim de produzir um vetor monodimensional de coeficiente de transformada e a criptografia por entropia pode ser aplicada para conseguir ainda mais compactação.
DESCRIÇÃO RESUMIDA
[0005] A codificação de vídeo escalonável de vídeo (SVC) se refere à codificação de vídeo em que uma camada de base (BL), às vezes denominada camada de referência (RL) e uma ou mais camadas de aperfeiçoamento escaláveis (ELs) são usadas. Na SVC, a camada de base pode carregar dados de vídeo com um nível de base de qualidade. A uma ou mais camadas de aperfeiçoamento podem carregar dados de vídeo adicionais para suportar, por exemplo, níveis espacial, temporal e/ou de relação sinal-ruído (SNR). As camadas de aperfeiçoamento podem ser definidas em relação a uma camada previamente criptografada. Por exemplo, uma camada de fundo pode servir como uma BL, enquanto uma camada de topo pode servir como uma EL. As camadas médias podem servir tanto como ELs quanto como RLs, ou ambas. Por exemplo, uma camada média (por exemplo, uma camada que não é nem a camada mais inferior nem a camada mais superior) pode ser uma EL para as camadas abaixo da camada média, tais como a camada de base ou quaisquer camadas de aperfeiçoamento intervenientes e ao mesmo tempo servir como uma RL para uma ou mais camadas de aperfeiçoamento acima da camada média. De modo similar, na Multivista ou extensão 3D do padrão HEVC, pode haver múltiplas vistas e as informações de uma vista podem ser utilizadas para a codificar (por exemplo, criptografar ou decodificar) as informações de outra vista (por exemplo, estimativa de movimento, previsão de vetor de movimento e/ou outras redundâncias).
[0006] Na SVC, um contador de ordem de figuração (POC) pode ser usado para indicar a ordem em que as figurações devem ser emitidas ou exibidas. Além disso, em algumas implantações, o valor do POC pode ser redefinido (por exemplo, definido para zero, definido para algum valor sinalizado no fluxo de bits ou derivado de informações incluídas no fluxo de bits) sempre que certos tipos de figurações aparecem no fluxo de bits. Por exemplo, quando certas figurações de ponto de acesso aleatório aparecem no fluxo de bits, o POC pode ser redefinido. Quando o POC de uma figuração particular é redefinido, os POCs de quaisquer figurações que precedem a figuração particular na ordem de decodificação podem ser também redefinidos, por exemplo, para manter a ordem relativa em que aquelas figurações devem ser emitidas ou exibidas. Os POCs de quaisquer figurações que seguem a figuração particular na ordem de decodificação podem ser sinalizados no fluxo de bits, com a presunção de que a redefinição de POC ocorreu em conexão com a figuração particular. Por exemplo, se o POC é redefinido para um valor de 0 na figuração A que imediatamente precede a figuração B na ordem de decodificação e na ordem de emissão, o POC sinalizado no fluxo de bits para a figuração B pode ter um valor de 1.
[0007] Contudo, em certos casos, a figuração particular pode não estar disponível para o decodificador. Por exemplo, a figuração particular pode ser perdida durante a transmissão ou pode ser removida do fluxo de bits para satisfazer restrições relacionadas à largura de banda. Em tal caso, o decodificador pode não conhecer como redefinir os POCs das figurações que precedem a figuração particular na ordem de decodificação. Isso é problemático, pois os POCs das figurações que seguem a figuração particular na ordem de decodificação são sinalizados ou derivados como se a redefinição de POC tivesse sido realizada na figuração particular. Portanto, em tal caso, a ordem relativa entre as figurações que precedem a figuração particular e as figurações que seguem a figuração particular pode se tornar incorreta.
[0008] Portanto, um método de codificação aprimorado é desejado para derivar os valores de POC, especialmente no caso de certas figurações se tornarem indisponíveis.
[0009] Cada um dos sistemas, métodos e dispositivos dessa revelação tem diversos aspectos inovadores, nenhum deles é responsável de modo único pelos atributos desejáveis revelados no presente documento.
[0010] Em um aspecto, um aparelho configurado para a codificação (por exemplo, criptografar ou decodificar) de informações de vídeo inclui uma unidade de memória e um processador em comunicação com a unidade de memória. A unidade de memória é configurada para armazenar informações de vídeo associadas com uma camada de vídeo que tem uma figuração. O processador é configurado para determinar se a figuração é uma figuração não âncora de contador de ordem de figuração (POC) e realizar, com base na determinação em relação a se a figuração é uma figuração não âncora POC, um dentre (1) inibir uma indicação de uma redefinição de POC em conexão com a figuração, ou (2) indicar a redefinição de POC em conexão com a figuração.
[0011] Em outro aspecto, um método de codificação de informações de vídeo compreende determinar se uma figuração em uma camada de vídeo é uma figuração não âncora de contador de ordem de figuração (POC) e realizar, com base na determinação em relação a se a figuração é uma figuração não âncora POC, um dentre (1) inibir uma indicação de uma redefinição de POC em conexão com a figuração, ou (2) indicar a redefinição de POC em conexão com a figuração.
[0012] Em outro aspecto, um meio legível por computador não transitório compreende código que, quando executado, faz com que um aparelho realize um processo. O processo inclui armazenar informações de vídeo associadas com uma camada de vídeo que tem uma figuração, determinar se a figuração é uma figuração não âncora de contador de ordem de figuração (POC) e realizar, com base na determinação em relação a se a figuração é uma figuração não âncora POC, um dentre (1) inibir uma indicação de uma redefinição de POC em conexão com a figuração, ou (2) indicar a redefinição de POC em conexão com a figuração.
[0013] Em outro aspecto, um dispositivo de codificação de vídeo configurado para a codificação de informações de vídeo compreende meios para armazenar informações de vídeo associadas com uma camada de vídeo que tem uma figuração, meios para determinar se a figuração é uma figuração não âncora de contador de ordem de figuração (POC) e meios para realizar, com base na determinação em relação a se a figuração é uma figuração não âncora POC, um dentre (1) inibir uma indicação de uma redefinição de POC em conexão com a figuração, ou (2) indicar a redefinição de POC em conexão com a figuração.
BREVE DESCRIÇÃO DOS DESENHOS
[0014] A Figura 1A é um diagrama de blocos que ilustra um sistema de criptografia e decodificação de vídeo exemplificativo que pode utilizar técnicas de acordo com aspectos descritos nesta revelação.
[0015] A Figura 1B é um diagrama de blocos que ilustra outro sistema de criptografia e decodificação de vídeo exemplificativo que pode realizar técnicas de acordo com aspectos descritos nesta revelação.
[0016] A Figura 2A é um diagrama de blocos que ilustra um exemplo de um criptografador de vídeo que pode implantar técnicas de acordo com aspectos descritos nesta revelação.
[0017] A Figura 2B é um diagrama de blocos que ilustra um exemplo de um criptografador de vídeo que pode implantar técnicas de acordo com aspectos descritos nesta revelação.
[0018] A Figura 3A é um diagrama de blocos que ilustra um exemplo de um decodificador de vídeo que pode implantar técnicas de acordo com aspectos descritos nesta revelação.
[0019] A Figura 3B é um diagrama de blocos que ilustra um exemplo de um decodificador de vídeo que pode implantar técnicas de acordo com aspectos descritos nesta revelação.
[0020] A Figura 4 é um diagrama de blocos que ilustra um exemplo de configuração de figurações em diferentes camadas, de acordo com uma modalidade da presente revelação.
[0021] A Figura 5 é uma tabela que ilustra valores POC de figurações em diferentes camadas, de acordo com uma modalidade da presente revelação.
[0022] A Figura 6 é um diagrama de blocos que ilustra um exemplo de configuração de figurações em diferentes camadas, de acordo com uma modalidade da presente revelação.
[0023] A Figura 7 é uma tabela que ilustra valores POC de figurações em diferentes camadas, de acordo com uma modalidade da presente revelação.
[0024] A Figura 8 é um fluxograma que ilustra um método de codificação de informações de vídeo, de acordo com uma modalidade da presente revelação.
[0025] A Figura 9 é um fluxograma que ilustra um método de codificação de informações de vídeo, de acordo com uma modalidade da presente revelação.
[0026] A Figura 10 é um fluxograma que ilustra um método de codificação de informações de vídeo, de acordo com uma modalidade da presente revelação.
[0027] A Figura 11 é um fluxograma que ilustra um método de codificação de informações de vídeo, de acordo com uma modalidade da presente revelação.
[0028] A Figura 12 é um fluxograma que ilustra um método de codificação de informações de vídeo, de acordo com uma modalidade da presente revelação.
DESCRIÇÃO DETALHADA
[0029] Certas modalidades descritas no presente documento se referem à previsão intercamada para a codificação de vídeo escalonável de vídeo no contexto de codecs de vídeo avançados, tais como HEVC (Codificação de Vídeo de Alta Eficiência). Mais especificamente, a presente revelação se refere a sistemas e métodos para desempenho aprimorado de previsão intercamada na extensão de HEVC de codificação de vídeo escalonável de vídeo (SVC).
[0030] Na descrição abaixo, técnicas de H.264/AVC relacionadas a certas modalidades são descritas; o padrão HEVC e técnicas relacionadas são discutidos também. Apesar de certas modalidades serem descritas no presente documento no contexto dos padrões HEVC e/ou H.264, uma pessoa versada na técnica pode observar que sistemas e métodos revelados no presente documento podem ser aplicáveis a qualquer padrão de codificação de vídeo adequado. Por exemplo, as modalidades reveladas no presente documento podem ser aplicáveis a um ou mais dos seguintes padrões: ITU-T H.261, ISO/IEC MPEG- -1 Visual, ITU-T H.262 ou ISO/IEC MPEG-2 Visual, ITU-T H.263, ISO/IEC MPEG-4 Visual e ITU-T H.264 (também chamado de ISO/IEC MPEG-4 AVC), incluindo suas extensões de Codificação de Vídeo Escalonável (SVC) e de Codificação de Vídeo de Múltiplas Vistas (MVC).
[0031] HEVC geralmente segue a estrutura de padrões de codificação de vídeo prévios em muitos aspectos. A unidade de previsão em HEVC é diferente daquela em certos padrões de codificação de vídeo prévios (por exemplo, macrobloco). De fato, o conceito de macrobloco não existe em HEVC conforme compreendido em certos padrões de codificação de vídeo prévios. O macrobloco é substituído por uma estrutura hierárquica com base em um esquema de árvore quaternária que pode fornecer alta flexibilidade, dentre outros possíveis benefícios. Por exemplo, dentro do esquema de HEVC, são definidos três tipos de blocos, Unidade de Codificação (CU), Unidade de Previsão (PU) e Unidade de Transformada (TU). A CU pode se referir à unidade básica da divisão de região. A CU pode ser considerada análoga ao conceito de macrobloco, mas HEVC não restringe o tamanho máximo de CUs e pode permitir divisão recursiva em quatro CUs de tamanho igual para aprimorar a adaptabilidade do conteúdo. A PU pode ser considerada a unidade básica de inter/intraprevisão e uma única PU pode conter múltiplas partições de formato arbitrário para codificar de modo eficaz padrões de imagem irregulares. A TU pode ser considerada a unidade básica de transformada. A TU pode ser definida de modo independente da PU; contudo, o tamanho de uma TU pode ser limitado ao tamanho da CU à qual a TU pertence. Essa separação da estrutura de bloco em três diferentes conceitos pode permitir que cada unidade seja otimizada de acordo com o respectivo papel da unidade, que pode resultar em eficiência de codificação aprimorada.
[0032] Com propósitos apenas de ilustração, certas modalidades reveladas no presente documento são descritas com exemplos que incluem duas camadas (por exemplo, uma camada inferior tal como a camada de base e uma camada superior tal como a camada de aperfeiçoamento). Deve-se compreender que tais exemplos podem ser aplicáveis a configurações que incluem camadas de múltipla base e/ou de aperfeiçoamento. Adicionalmente, para facilitar a explicação, a seguinte revelação inclui os termos “quadros” ou “blocos” com referência a certas modalidades. Contudo, esses termos não se destinam a ser limitadores. Por exemplo, as técnicas descritas abaixo podem ser usadas com quaisquer unidades de vídeo, tais como blocos (por exemplo, CU, PU, TU, macroblocos, etc.), fatias, quadros, etc. PADRÕES DE CODIFICAÇÃO DE VÍDEO
[0033] Uma imagem digital, tais como uma imagem de vídeo, uma imagem de TV, uma imagem parada ou uma imagem gerada por um gravador de vídeo ou um computador, pode consistir em pixels ou amostras dispostas em linhas horizontais e verticais. O número de pixels em uma única imagem é tipicamente nas dezenas de milhares. Cada pixel contém tipicamente informações de luminância e crominância. Sem compactação, a quantidade absoluta de informações a serem transmitidas de um criptografador de imagem para um decodificador de imagem tornaria impossível a transmissão de imagem em tempo real. Para reduzir a quantidade de informações a serem transmitidas, foram desenvolvidos diversos métodos de compactação diferentes, tais como padrões JPEG, MPEG e H.263.
[0034] Os padrões de codificação de vídeo incluem ITU-T H.261, ISO/IEC MPEG- -1 Visual, ITU-T H.262 ou ISO/IEC MPEG-2 Visual, ITU-T H.263, ISO/IEC MPEG-4 Visual e ITU-T H.264 (também chamado de ISO/IEC MPEG-4 AVC), incluindo suas extensões de Codificação de Vídeo Escalonável (SVC) e de Codificação de Vídeo de Múltiplas Vistas (MVC).
[0035] Além disso,um novo padrão de codificação de vídeo, a saber Codificação de Vídeo de Alta Eficácia (HEVC) está sendo desenvolvido pela Equipe de Colaboração Conjunta em Codificação de Vídeo (JCT-VC) do conjunto de Especialistas de Codificação de Vídeo de ITU-T (VCEG) e do conjunto de Especialistas de Filme Cinematográfico de ISO/IEC (MPEG). Toda a menção ao HEVC Draft 10 está no documento JCTVC-L1003, Bross et al, “High Efficiency Video Codification (HEVC) Text Specification Draft 10”, Equipe de Colaboração Conjunta em Codificação de Vídeo (JCT-VC) de ITU-T SGI 6 WP3 e ISO/IEC JTC1/SC29/WG11, 12° Encontro: Genebra, Suíça, 14 de janeiro de 2013 a 23 de janeiro de 2013. A extensão de múltiplas vistas para HEVC, a saber, MV-HEVC, e a extensão escalonável para HEVC nomeada SHVC estão sendo desenvolvidas também pelo JCT-3V (ITU-T/ISO/IEC Equipe de Colaboração Conjunta em Desenvolvimento de Extensão de Codificação de Vídeo em 3D) e JCT-VC, respectivamente.
[0036] Vários aspectos dos sistemas, aparelhos e métodos inovadores são descritos mais completamente a partir deste ponto no presente documento com referência aos desenhos anexos. Essa revelação pode, entretanto, ser incorporada de muitas formas diferentes e não deve ser interpretada como limitada a qualquer estrutura específica ou função apresentada ao longo desta revelação. Em vez disso, esses aspectos são fornecidos de modo que essa revelação seja minuciosa e completa, e transmita plenamente o escopo da revelação para aqueles versados na técnica. Com base nos ensinamentos no presente documento, uma pessoa versada na técnica deve apreciar que o escopo da revelação está destinado a cobrir qualquer aspecto dos sistemas, aparelhos e métodos inovadores revelados no presente documento, sejam os mesmos implantados independentemente de, ou combinados com, qualquer outro aspecto da revelação. Por exemplo, um aparelho pode ser implantado ou um método pode ser praticado usando-se qualquer quantidade dos aspectos estabelecidos no presente documento. Além disso, o escopo da revelação está destinado a cobrir tal aparelho ou método que é praticado usando-se outra estrutura, funcionalidade ou estrutura e funcionalidade adicionalmente ou que não sejam os vários aspectos da revelação presente estabelecidos no presente documento. Deve ser entendido que qualquer aspecto revelado no presente documento pode ser incorporado por um ou mais elementos de uma reivindicação.
[0037] Embora aspectos particulares sejam descritos no presente documento, muitas variações e permutações desses aspectos se encaixam no escopo da revelação. Apesar de alguns benefícios e vantagens dos aspectos preferenciais serem mencionados, o escopo da revelação não está destinado a ser limitado a benefícios, usos ou objetivos particulares. Ao invés disso, os aspectos da revelação estão destinados a serem amplamente aplicáveis a diferentes tecnologias sem fio, configurações de sistema, redes e protocolos de transmissão, alguns dos quais são ilustrados a título de exemplo nas Figuras e na descrição a seguir dos aspectos preferenciais. A descrição detalhada e desenhos são meramente ilustrativos da revelação ao invés de limitantes, sendo que o escopo da revelação é definido pelas reivindicações anexas e equivalentes das mesmas.
[0038] OS desenhos anexos ilustram exemplos. Os elementos indicados por números de referência nos desenhos anexos correspondem a elementos indicados por números de referência similares na descrição a seguir. Nesta revelação, os elementos que têm nomes que começam com ordinais (por exemplo, “primeiro”, “segundo”, “terceiro” e assim por diante) não necessariamente implicam que os elementos têm uma ordem particular. Em vez disso, tais ordinais são meramente usados para se referir a diferentes elementos de um mesmo tipo ou de um tipo similar.
SISTEMA DE CODIFICAÇÃO DE VÍDEO
[0039] A Figura 1A é um diagrama de blocos que ilustra um exemplo de sistema de codificação de vídeo 10 que pode utilizar técnicas de acordo com aspectos descritos nesta revelação. Conforme usado na descrição do presente documento, o termo “criptografador de vídeo” se refere tanto a encriptografadores de vídeo quanto a decodificadores de vídeo. Nesta revelação, os termos “codificação de vídeo” ou “criptografia” podem se referir genericamente à criptografia de vídeo e à decodificação de vídeo. Adicionalmente a criptografadores de vídeo e decodificadores de vídeo, os aspectos descritos no presente pedido podem ser estendidos a outros dispositivos relacionados tais como transcodificadores (por exemplo, dispositivos que podem decodificar um fluxo de bits e recriptografar outro fluxo de bits) e dispositivos intermediários (por exemplo, dispositivos que podem modificar, transformar e/ou, de outro modo, manipular um fluxo de bits).
[0040] Conforme mostrado na Figura 1A, o sistema de codificação de vídeo 10 inclui um módulo de fonte 12 que gera dados de vídeo criptografados para serem decodificados em um momento posterior por um módulo de destino 14. No exemplo da Figura 1A, o módulo de fonte 12 e módulo de destino 14 estão em dispositivos separados - especificamente, o módulo de fonte 12 é parte de um dispositivo de fonte e o módulo de destino 14 é parte de um dispositivo de destino. Observa-se, contudo, que os módulos de fonte e destino 12, 14 podem estar no mesmo ou ser parte do mesmo dispositivo, conforme mostrado no exemplo da Figura 1B.
[0041] Com referência novamente à Figura 1A, o dispositivo de fonte 12 e o dispositivo de destino 14 podem compreender qualquer um dentre uma ampla faixa de dispositivos, incluindo computadores de mesa, computadores do tipo notebook (isto é, do tipo laptop), computadores do tipo tablet, conversores, aparelhos de telefone, tais como, os chamados telefones "inteligentes", os chamados painéis "inteligentes", televisões, câmeras, dispositivos de exibição, reprodutores de mídia digital, consoles de jogos eletrônicos, dispositivo de transmissão contínua de vídeo ou similares. Em alguns casos, o módulo de fonte 12 e o módulo de destino 14 podem ser equipados para comunicação sem fio.
[0042] O módulo de destino 14 pode receber os dados de vídeo criptografados a serem decodificados através de um enlace 16. O enlace 16 pode compreender qualquer tipo de meio ou dispositivo que tenha capacidade de mover os dados de vídeo criptografados do módulo de fonte 12 para o módulo de destino 14. No exemplo da Figura 1A, o enlace 16 pode compreender um meio de comunicação para habilitar o módulo de fonte 12 para transmitir dados de vídeo criptografados diretamente para o módulo de destino 14 em tempo real. Os dados de vídeo criptografados podem ser modulados de acordo com um padrão de comunicação como um protocolo de comunicação sem fio e transmitidos para o dispositivo de destino 14. O meio de comunicação pode compreender qualquer meio de comunicação sem fio ou com fio como um espectro de radiofrequência (RF) ou uma ou mais linhas de transmissão físicas. O meio de comunicação pode formar parte de uma rede com base em pacote, tal como, uma rede de área local, uma rede de longa distância ou uma rede global, tal como, a Internet. O meio de comunicação pode incluir roteadores, comutadores, estações-base ou qualquer outro equipamento que possa ser útil para facilitar a comunicação a partir do dispositivo de fonte 12 para o dispositivo de destino 14.
[0043] Alternativamente, dados criptografados podem ser emitidos a partir de uma interface de emissão 22 para um dispositivo de armazenamento opcional 31. De modo similar, os dados criptografados podem ser acessados a partir do dispositivo de armazenamento 31 pela interface de inserção 28. O dispositivo de armazenamento 31 pode incluir qualquer um dentre uma variedade de meios de armazenamento de dados acessados localmente ou distribuídos tais como um disco rígido, memória flash, memória volátil ou não volátil ou quaisquer outros meios de armazenamento digital adequados para armazenar dados de vídeo criptografados. Em um exemplo adicional, o dispositivo de armazenamento 31 pode corresponder a um servidor de arquivos ou outro dispositivo de armazenamento intermediário que pode armazenar o vídeo criptografado gerado pelo dispositivo de fonte 12. O dispositivo de destino 14 pode acessar dados de vídeo armazenados a partir do dispositivo de armazenamento 31 por meio de transmissão contínua ou transferência por download. O servidor de arquivos pode ser qualquer tipo de servidor com capacidade para armazenar dados de vídeo criptografados e transmitir esses dados de vídeo criptografados para o dispositivo de destino 14. Servidores de arquivo exemplificativos incluem um servidor web (por exemplo, para um site da web), um servidor FTP, dispositivos de armazenamento anexado à rede (NAS) ou uma unidade de disco local. O dispositivo de destino 14 pode acessar os dados de vídeo criptografados através de qualquer conexão de dados padrão, incluindo uma conexão com a Internet. Isso pode incluir um canal sem fio (por exemplo, uma conexão Wi-Fi), uma conexão com fio (por exemplo, DSL, modem de cabo, etc.) ou uma combinação de ambos que seja adequada para acessar dados de vídeo criptografados armazenados em um servidor de arquivos. A transmissão de dados de vídeo criptografados do dispositivo de armazenamento 31 pode ser uma transmissão contínua, uma transmissão de transferência por download ou uma combinação das mesmas.
[0044] As técnicas desta revelação não estão necessariamente limitadas a aplicações ou definições sem fio. As técnicas podem ser aplicadas à codificação de vídeo em suporte a qualquer variedade de aplicações multimídia, tais como difusões de televisão pelo ar, transmissões de televisão a cabo, transmissões de televisão via satélite, transmissão contínua de vídeo, por exemplo, através da Internet (por exemplo, transmissão contínua adaptativa dinâmica através de HTTP (DASH), etc.), criptografia de vídeo digital para armazenamento em um meio de armazenamento de dados, decodificação de vídeo digital armazenado em um meio de armazenamento de dados ou outros aplicativos. Em alguns exemplos, o sistema de codificação de vídeo 10 pode ser configurado para suportar transmissão de vídeo unidirecional ou bidirecional para suportar aplicações como transmissão contínua de vídeo, reprodução de vídeo, difusão de vídeo e/ou telefonia por vídeo.
[0045] No exemplo da Figura 1A, o módulo de fonte 12 inclui uma fonte de vídeo 18, criptografador de vídeo 20 e uma interface de emissão 22. Em alguns casos, a interface de emissão 22 pode incluir um modulador/demodulador (modem) e/ou um transmissor. No módulo de fonte 12, a fonte de vídeo 18 pode incluir uma fonte tal como um dispositivo de captura de vídeo, por exemplo, uma câmera de vídeo, um arquivo de vídeo que contém vídeo capturado anteriormente, uma interface de alimentação de vídeo para receber vídeo de um provedor de conteúdo de vídeo e/ou um sistema gráfico de computador para gerar dados gráficos de computador como o vídeo fonte ou uma combinação de tais fontes. Como um exemplo, se a fonte de vídeo 18 é uma câmera de vídeo, o módulo de fonte 12 e o módulo de destino 14 podem formar os chamados telefones com câmera fotográfica ou telefones com câmera de vídeo, conforme ilustrado no exemplo da Figura 1B. Entretanto, as técnicas descritas nessa revelação podem ser aplicáveis à codificação de vídeo em geral e podem ser aplicadas às aplicações com fio e/ou sem fio.
[0046] O vídeo capturado, pré-capturado ou vídeo gerado por computador podem ser criptografados pelo criptografador de vídeo 20. Os dados de vídeo criptografados podem ser transmitidos diretamente para o módulo de destino 14 através da interface de emissão 22 do módulo de fonte 12. Os dados de vídeo criptografados podem também (ou alternativamente) ser armazenados no dispositivo de armazenamento 31 para acesso posterior pelo módulo de destino 14 ou outros dispositivos para decodificação e/ou reprodução. O criptografador de vídeo 20 ilustrado na Figura 1A e 1B pode compreender o criptografador de vídeo 20 ilustrado na Figura 2A, o criptografador de vídeo 23 ilustrado na Figura 2B ou qualquer outro criptografador de vídeo descrito no presente documento.
[0047] No exemplo da Figura 1A, o módulo de destino 14 inclui uma interface de inserção 28, um decodificador de vídeo 30 e um dispositivo de exibição 32. Em alguns casos, a interface de inserção 28 pode incluir um receptor e/ou um modem. A interface de inserção 28 do módulo de destino 14 pode receber os dados de vídeo criptografados através do enlace 16. Os dados de vídeo criptografados comunicados através do enlace 16 ou fornecidos no dispositivo de armazenamento 31 podem incluir uma variedade de elementos de sintaxe gerados pelo criptografador de vídeo 20 para uso por um decodificador de vídeo, tal como o decodificador de vídeo 30, na decodificação dos dados de vídeo. Tais elementos de sintaxe podem ser incluídos com os dados de vídeo criptografados transmitidos em um meio de comunicação, armazenados em um meio de armazenamento ou armazenado em um servidor de arquivos. O decodificador de vídeo 30 ilustrado na Figura 1A e 1B podem compreender o decodificador de vídeo 30 ilustrado Figura 3A, o decodificador de vídeo 33 ilustrado na Figura 3B ou qualquer outro decodificador de vídeo descrito no presente documento.
[0048] O dispositivo de exibição 32 pode ser integrado ao ou externo ao módulo de destino 14. Em alguns exemplos, o módulo de destino 14 pode incluir um dispositivo de exibição integrado e ser configurado também para fazer interface com um dispositivo de exibição externo. Em outros exemplos, o módulo de destino 14 pode ser um dispositivo de exibição. Em geral, o dispositivo de exibição 32 exibe os dados de vídeo decodificados para um usuário e pode compreender qualquer um dentre uma variedade de dispositivos de exibição tais como um visor de cristal líquido (LCD), um visor de plasma, um visor de diodo de emissão de luz orgânico (OLED) ou outro tipo de dispositivo de exibição.
[0049] Em aspectos relacionados, a Figura 1B mostra um sistema de criptografia e decodificação de vídeo exemplificativo 10' em que os módulos de fonte e de destino 12, 14 estão no ou são parte de um dispositivo ou dispositivo de usuário 11. O dispositivo 11 pode ser um aparelho de telefone, tal como um telefone “inteligente” ou similares. O dispositivo 11 pode incluir um módulo de controlador/processador opcional 13 em comunicação operativa com os módulos de fonte e de destino 12, 14. O sistema 10' da Figura 1B pode incluir também uma unidade de processamento de vídeo 21 entre o criptografador de vídeo 20 e a interface de emissão 22. Em algumas implantações, a unidade de processamento de vídeo 21 é uma unidade separada, conforme ilustrado na Figura 1B; contudo, em outras implantações, a unidade de processamento de vídeo 21 pode ser implantada como uma porção do criptografador de vídeo 20 e/ou do módulo de processador/controlador 13. O sistema 10' pode incluir também um rastreador opcional 29 que pode rastrear um objeto de interesse em uma sequência de vídeo. O objeto ou interesse a ser rastreado pode ser segmentado por uma técnica descrita em conexão com um ou mais aspectos da presente revelação. Em aspectos relacionados, o rastreamento pode ser realizado pelo dispositivo de exibição 32, sozinho ou em conjunto com o rastreador 29. O sistema 10' da Figura 1B e os componentes do mesmo são, de outro modo, similares ao sistema 10 da Figura 1A e aos componentes do mesmo.
[0050] O criptografador de vídeo 20 e o decodificador de vídeo 30 podem operar de acordo com um padrão de compactação de vídeo, tal como, um padrão de Codificação de Vídeo de Alta Eficiência (HEVC), e pode se conformar ao Modelo de Teste HEVC (HM). Alternativamente, o criptografador de vídeo 20 e o decodificador de vídeo 30 podem operar de acordo com outros padrões de proprietário ou de indústria, como o padrão ITU-T H.264, referido de modo alternativo como MPEG-4, Parte 10, Codificação de Vídeo Avançada (AVC) ou extensões de tais padrões. As técnicas desta revelação, contudo, não se limitam a qualquer padrão de codificação particular. Outros exemplos de padrões de compactação de vídeo incluem MPEG-2 e ITU-T H.263.
[0051] Apesar de não mostrado nos exemplos das Figuras 1A e 1B, o criptografador de vídeo 20 e o decodificador de vídeo 30 podem ser, cada um, integrados a um criptografador e decodificador de áudio e podem incluir unidades MUX-DEMUX apropriadas ou outro hardware e software para lidar com a criptografia tanto de áudio quanto de vídeo em uma corrente de dados comum ou correntes de dados separadas. Caso aplicável, as unidades MUX-DEMUX podem se conformar ao protocolo multiplexador ITU H.223, ou outros protocolos como protocolo de datagrama de usuário (UDP).
[0052] O criptografador de vídeo 20 e o decodificador de vídeo 30, cada um, podem ser implantados como qualquer um dentre uma variedade de conjunto de circuitos de criptografador adequado, como um ou mais microprocessadores, processadores de sinal digital (DSPs), circuitos integrados de aplicação específica (ASICs), matrizes de portal programáveis por campo (FPGAs), lógica discreta, software, hardware, firmware ou quaisquer combinações dos mesmos. Quando as técnicas são implantadas parcialmente em software, um dispositivo pode armazenar instruções para o software em um meio legível por computador não transitório adequado e executar as instruções em hardware com o uso de um ou mais processadores para realizar as técnicas desta revelação. Cada um dentre o criptografador de vídeo 20 e o decodificador de vídeo 30 podem estar incluídos em um ou mais criptografadores ou decodificadores, um dos quais pode ser integrado como parte de um criptografador/decodificador (CODEC) combinado em um dispositivo respectivo.
PROCESSO DE CODIFICAÇÃO DE VÍDEO
[0053] Conforme mencionado resumidamente acima, o criptografador de vídeo 20 cripta dados de vídeo. Os dados de vídeo podem compreender uma ou mais figurações. Cada uma das figurações é uma imagem parada que forma parte de um vídeo. Em alguns casos, uma figuração pode ser denominada como um “quadro” de vídeo. Quando o criptografador de vídeo 20 cripta os dados de vídeo, o criptografador de vídeo 20 pode gerar um fluxo de bits. O fluxo de bits pode incluir uma sequência de bits que forma uma representação codificada dos dados de vídeo. O fluxo de bits pode incluir figurações codificadas e dados associados. Uma figuração codificada é uma representação codificada de uma figuração.
[0054] Para gerar o fluxo de bits, o criptografador de vídeo 20 pode realizar operações de criptografia em cada figuração nos dados de vídeo. Quando o criptografador de vídeo 20 realiza as operações de criptografia nas figurações, o criptografador de vídeo 20 pode gerar uma série de figurações codificadas e dados associados. Os dados associados podem incluir conjuntos de parâmetros de vídeo (VPS), conjuntos de parâmetros de sequência, conjuntos de parâmetros de figuração, conjuntos de parâmetros de adaptação e outras estruturas de sintaxe. Um parâmetro de sequência definido (SPS) pode conter parâmetros aplicáveis a zero ou mais sequências de figurações. Um parâmetro de figuração definido (PPS) pode conter parâmetros aplicáveis a zero ou mais figurações. Um parâmetro de adaptação definido (APS) pode conter parâmetros aplicáveis a zero ou mais figurações. Os parâmetros em um APS podem ser parâmetros que têm maior probabilidade de mudar do que parâmetros um PPS.
[0055] Para gerar uma figuração codificada, o criptografador de vídeo 20 pode particionar uma figuração em blocos de vídeo de tamanho igual. Um bloco de vídeo pode ser uma matriz bidimensional de amostras. Cada um dos blocos de vídeo é associado a um bloco em árvore. Em alguns casos, um bloco em árvore pode ser denominado como uma unidade de codificação maior (LCU). Os blocos em árvore de HEVC podem ser amplamente análogos aos macroblocos de outros padrões anteriores, tais como, H.264/AVC. No entanto, um bloco de árvore não é necessariamente limitado ao um tamanho particular e pode incluir uma ou mais unidades de codificação (CUs). O criptografador de vídeo 20 pode usar partição em árvore quaternária para particionar os blocos de vídeo de blocos em árvore em blocos de vídeo associados com CUs, por isso o nome “blocos em árvore”.
[0056] Em alguns exemplos, o criptografador de vídeo 20 pode particionar uma figuração em uma pluralidade de fatias. Cada uma das fatias pode incluir um número inteiro de CUs. Em alguns casos, uma fatia compreende um número inteiro de blocos em árvore. Em outros casos, uma fronteira de uma fatia pode estar dentro de um bloco em árvore.
[0057] Como parte da realização de uma operação de criptografia em uma figuração, o criptografador de vídeo 20 pode realizar operações de criptografia em cada fatia da figuração. Quando o criptografador de vídeo 20 realiza uma operação de criptografia em uma fatia, o criptografador de vídeo 20 pode gerar dados criptografados associados com a fatia. Os dados criptografados associados com a fatia podem ser denominados “fatia codificada”.
[0058] Para gerar uma fatia codificada, o criptografador de vídeo 20 pode realizar operações de criptografia em cada bloco em árvore em uma fatia. Quando o criptografador de vídeo 20 realiza uma operação de criptografia em um bloco em árvore, o criptografador de vídeo 20 pode gerar um bloco em árvore codificado. O bloco em árvore codificado pode compreender dados que representam uma versão criptografada do bloco em árvore.
[0059] Quando o criptografador de vídeo 20 gera uma fatia codificada, o criptografador de vídeo 20 pode realizar operações de criptografia (por exemplo, criptografar) nos blocos em árvore na fatia de acordo com uma ordem de varredura. Por exemplo, o criptografador de vídeo 20 pode criptografar os blocos em árvore da fatia em uma ordem que procede da esquerda para a direita e atravessa uma fileira mais alta de blocos em árvore na fatia, depois da esquerda para a direita e atravessa uma próxima fileira mais baixa de blocos em árvore e assim por diante até que o criptografador de vídeo 20 tenha criptografado cada um dos blocos em árvore na fatia.
[0060] Como resultado da criptografia dos blocos em árvore de acordo com a ordem de varredura, os blocos em árvore acima e à esquerda de um determinado bloco em árvore pode ter sido criptografado, mas os blocos em árvore abaixo e à direita do determinado bloco em árvore não foram ainda criptografados. Consequentemente, o criptografador de vídeo 20 pode ter capacidade para acessar informações geradas pela criptografia de blocos em árvore acima e à esquerda do determinado bloco em árvore quando é feita a criptografia do determinado bloco em árvore. Contudo, o criptografador de vídeo 20 pode não ter capacidade de acessar informações geradas pela criptografia de blocos em árvore abaixo e à direita do determinado bloco em árvore quando é feita a criptografia do determinado bloco em árvore.
[0061] Para gerar um bloco em árvore codificado, o criptografador de vídeo 20 pode recursivamente realizar o particionamento em árvore quaternária no bloco de vídeo do bloco em árvore para dividir o bloco de vídeo em blocos de vídeo progressivamente menores. Cada um dos blocos de vídeo menores pode ser associado a uma CU diferente. Por exemplo, o criptografador de vídeo 20 pode particionar o bloco de vídeo de um bloco em árvore em quatro sub-blocos de igual tamanho, particionar um ou mais dos sub-blocos em quatro sub-blocos de igual tamanho e assim por diante. Uma CU particionada pode ser uma CU cujo bloco de vídeo é particionado em blocos de vídeo associados com outras CUs. Uma CU não particionada pode ser uma CU cujo bloco de vídeo não é particionado em blocos de vídeo associados com outras CUs.
[0062] Um ou mais elementos de sintaxe no fluxo de bits podem indicar um número máximo de vezes que o criptografador de vídeo 20 pode particionar o bloco de vídeo de um bloco em árvore. Um bloco de vídeo de uma CU pode ser quadrado em formato. O tamanho do bloco de vídeo de uma CU (por exemplo, o tamanho da CU) pode variar de 8x8 pixels até o tamanho de um bloco de vídeo de um bloco em árvore (por exemplo, o tamanho do bloco em árvore) com um máximo de 64x64 pixels ou mais.
[0063] O criptografador de vídeo 20 pode realizar operações de criptografia em (por exemplo, criptografar) cada CU de um bloco em árvore de acordo com uma ordem de varredura-z. Em outras palavras, o criptografador de vídeo 20 pode criptografar uma CU de topo à esquerda, uma CU de topo à direita, uma CU de fundo à esquerda e depois uma CU de fundo à direita CU, nessa ordem. Quando o criptografador de vídeo 20 realiza uma operação de criptografia em uma CU particionada, o criptografador de vídeo 20 pode criptografar CUs associadas com sub-blocos do bloco de vídeo da CU particionada de acordo com a ordem de varredura-z. Em outras palavras, o criptografador de vídeo 20 pode criptografar uma CU associada com um sub-bloco de topo à esquerda, uma CU associada com um sub-bloco de topo à direita, uma CU associada com um sub-bloco de fundo à esquerda e depois uma CU associada com um sub-bloco de fundo à direita, nessa ordem.
[0064] Como resultado da criptografia das CUs de um bloco em árvore de acordo com uma ordem de varredura- z, as CUs acima, acima e à esquerda, acima e à direita, esquerda e abaixo e à esquerda de uma determinada CU podem ter sido criptografadas. As CUs abaixo e à direita da determinada CU não foram ainda criptografadas. Consequentemente, o criptografador de vídeo 20 pode ter capacidade para acessar informações geradas pela criptografia de algumas CUs próximas à determinada CU quando é feita a criptografia da determinada CU. Contudo, o criptografador de vídeo 20 pode não ter capacidade para acessar informações geradas pela criptografia de outras CUs próximas à determinada CU quando é feita a criptografia da determinada CU.
[0065] Quando o criptografador de vídeo 20 cripta uma CU não particionada, o criptografador de vídeo 20 pode gerar uma ou mais unidades de previsão (PUs) para a CU. Cada uma das PUs da CU pode ser associada com um bloco de vídeo diferente dentro do bloco de vídeo da CU. O criptografador de vídeo 20 pode gerar um bloco de vídeo previsto para cada PU da CU. O bloco de vídeo previsto de uma PU pode ser um bloco de amostras. O criptografador de vídeo 20 pode usar intraprevisão ou interprevisão para gerar o bloco de vídeo previsto para uma PU.
[0066] Se o criptografador de vídeo 20 usar intraprevisão para gerar o bloco de vídeo previsto da PU, o criptografador de vídeo 20 pode gerar o bloco de vídeo previsto da PU com base nas amostras decodificadas da figuração associada à PU. Se o criptografador de vídeo 20 usa intraprevisão para gerar blocos de vídeo previstos das PUs de uma CU, a CU é uma CU intraprevista. Quando o criptografador de vídeo 20 usa interprevisão para gerar o bloco de vídeo previsto da PU, o criptografador de vídeo 20 pode gerar os blocos preditivos da PU com base nas amostras decodificadas de uma ou mais figurações diferentes da figuração associada à PU. Se o criptografador de vídeo 20 usa interprevisão para gerar blocos de vídeo previstos das PUs de uma CU, a CU é uma CU interprevista.
[0067] Além disso, quando o criptografador de vídeo 20 usa interprevisão para gerar um bloco de vídeo previsto para uma PU, o criptografador de vídeo 20 pode gerar informações de movimento para a PU. As informações de movimento para uma PU podem indicar um ou mais blocos de referência da PU. Cada bloco de referência da PU pode ser um bloco de vídeo dentro de uma figuração de referência. A figuração de referência pode ser uma figuração diferente da figuração associada com a PU. Em alguns casos, um bloco de referência de uma PU pode também ser chamado de “amostra de referência” da PU. O criptografador de vídeo 20 pode gerar o bloco de vídeo previsto para a PU com base nos blocos de referência da PU.
[0068] Após o criptografador de vídeo 20 gerar blocos de vídeo previstos para uma ou mais PUs de uma CU, o criptografador de vídeo 20 pode gerar dados residuais para a CU com base nos blocos de vídeo previstos para as PUs da CU. Os dados residuais para a CU podem indicar diferenças entre amostras nos blocos de vídeo previstos para as PUs da CU e o bloco de vídeo original da CU.
[0069] Além disso, como parte da realização de uma operação de criptografia em uma CU não particionada, o criptografador de vídeo 20 pode realizar particionamento de árvore quaternária recursivo nos dados residuais da CU para particionar os dados residuais da CU em um ou mais blocos de dados residuais (por exemplo, bloco de vídeo residual) associados com unidades de transformada (TUs) da CU. Cada TU de uma CU pode ser associada com um bloco de vídeo residual diferente.
[0070] O criptografador de vídeo 20 pode aplicar uma ou mais transformadas ao bloco de vídeo residual associado com as TUs para gerar blocos de coeficiente de transformada (por exemplo, blocos de coeficientes de transformada) associados com as TUs. Conceitualmente, um bloco de coeficiente de transformada pode ser uma matriz de coeficientes de transformada bidimensional (2D).
[0071] Após gerar um bloco de coeficiente de transformada, o criptografador de vídeo 20 pode realizar um processo de quantização no bloco de coeficiente de transformada. Em geral, a quantização se refere a um processo no qual os coeficientes de transformada são quantizados para reduzir possivelmente a quantidade de dados usados para representar os coeficientes de transformada, o que fornece uma compactação adicional. O processo de quantização pode reduzir a profundidade de bit associada a alguns ou todos os coeficientes de transformada. Por exemplo, um coeficiente de transformada w-bit pode ser arredondado para baixo para um coeficiente de transformada m-bit durante a quantização, em que n é maior do que m.
[0072] O criptografador de vídeo 20 pode associar cada CU com um valor de parâmetro de quantização (QP). O valor de QP associado com uma CU pode determinar como o criptografador de vídeo 20 quantiza blocos de coeficiente de transformada associados com a CU. O criptografador de vídeo 20 pode ajustar o grau de quantização aplicado aos blocos de coeficiente de transformada associados com uma CU ajustando-se o valor de QP associado com a CU.
[0073] Após o criptografador de vídeo 20 quantizar um bloco de coeficiente de transformada, o criptografador de vídeo 20 pode gerar conjuntos de elementos de sintaxe que representam os coeficientes de transformada no bloco de coeficiente de transformada quantizado. O criptografador de vídeo 20 pode aplicar operações de criptografia por entropia, tais como operações de criptografia de Aritmética Binária Adaptativa ao Contexto (CABAC), a alguns desses elementos de sintaxe. Outras técnicas de criptografia por entropia tais como codificação de comprimento variável adaptativa ao conteúdo (CAVLC), codificação por entropia de particionamento com intervalo de probabilidade (PIPE) ou outra codificação de aritmética binária poderiam também ser usadas.
[0074] O fluxo de bits gerado pelo criptografador de vídeo 20 pode incluir uma séria de unidades de Camada de Abstração de Rede NAL). Cada uma das unidades de NAL pode ser uma estrutura sintática que contém uma indicação de um tipo de dados na unidade de NAL e bytes que contêm os dados. Por exemplo, a unidade de NAL pode conter dados que representam um conjunto de parâmetros de vídeo, um conjunto de parâmetros de sequência, um conjunto de parâmetros de figuração, uma fatia codificada, informações de aprimoramento suplementar (SEI), um delimitador de unidade de acesso, dados de preenchimento ou outro tipo de dados. Os dados em uma unidade de NAL podem incluir várias estruturas de sintaxe.
[0075] O decodificador de vídeo 30 pode receber um fluxo de bits gerado pelo criptografador de vídeo 20. O fluxo de bits pode incluir uma representação codificada dos dados de vídeo criptografado pelo criptografador de vídeo 20. Quando o decodificador de vídeo 30 recebe o fluxo de bits, o decodificador de vídeo 30 pode realizar uma operação de análise sintática no fluxo de bits. Quando o decodificador de vídeo 30 realiza a operação de análise sintática, o decodificador de vídeo 30 pode extrair elementos de sintaxe do fluxo de bits. O decodificador de vídeo 30 pode reconstruir as figurações dos dados de vídeo com base nos elementos de sintaxe extraídos do fluxo de bits. O processo para reconstruir os dados de vídeo com base nos elementos de sintaxe pode ser geralmente recíproco ao processo realizado pelo criptografador de vídeo 20 para gerar os elementos de sintaxe.
[0076] Após o decodificador de vídeo 30 extrair os elementos de sintaxe associados com uma CU, o decodificador de vídeo 30 pode gerar blocos de vídeo previstos para as PUs da CU com base nos elementos de sintaxe. Além disso, o decodificador de vídeo 30 pode quantizar de modo inverso os blocos de coeficiente de transformada associados às TUs da CU atual. O decodificador de vídeo 30 pode realizar transformadas inversas nos blocos de coeficiente de transformada para reconstruir o bloco de vídeo residual associado com as TUs da CU. Após gerar os blocos de vídeo previstos e reconstruir o bloco de vídeo residual, o decodificador de vídeo 30 pode reconstruir o bloco de vídeo da CU com base nos blocos de vídeo previstos e no bloco de vídeo residual. Desse modo, o decodificador de vídeo 30 pode reconstruir os blocos de vídeo das CUs com base nos elementos de sintaxe no fluxo de bits.
CRIPTOGRAFADOR DE VÍDEO
[0077] A Figura 2A é um diagrama de blocos que ilustra um exemplo de um criptografador de vídeo que pode implantar técnicas de acordo com aspectos descritos nesta revelação. O criptografador de vídeo 20 pode ser configurado para processar uma única camada de um quadro de vídeo, tal como para HEVC. Além disso, o criptografador de vídeo 20 pode ser configurado para realizar qualquer ou todas as técnicas dessa revelação. Como um exemplo, a unidade de processamento de previsão 100 pode ser configurada para realizar qualquer ou todas as técnicas descritas nesta revelação. Em outra modalidade, o criptografador de vídeo 20 inclui uma unidade de previsão de intercamada opcional 128 que é configurada para realizar qualquer ou todas as técnicas descritas nesta revelação. Em outras modalidades, a previsão intercamada pode ser realizada pela unidade de processamento de previsão 100 (por exemplo, unidade de interprevisão 121 e/ou unidade de intraprevisão 126), caso em que a unidade de previsão de intercamada 128 pode ser omitida. Entretanto, aspectos dessa revelação não são tão limitados. Em alguns exemplos, as técnicas descritas nessa revelação podem ser compartilhadas entre os vários componentes de decodificador de vídeo 20. Em alguns exemplos, adicional ou alternativamente, um processador (não mostrado) pode ser configurado para realizar qualquer ou todas as técnicas descritas nesta revelação.
[0078] Para propósitos explicativos, essa revelação descreve o criptografador de vídeo 20 no contexto de codificação de HEVC. No entanto, as técnicas dessa revelação podem ser aplicáveis a outros padrões ou métodos de codificação. O exemplo retratado na Figura 2A é para um codec de camada única. Contudo, conforme será descrito adicionalmente em relação à Figura 2B, alguns ou todos os criptografadores de vídeo 20 podem ser duplicados para o processamento de um codec de camadas múltiplas.
[0079] O criptografador de vídeo 20 pode realizar intra- e intercodificação de blocos de vídeo dentro de fatias de vídeo. A intracodificação tem base na previsão espacial para reduzir ou remover a redundância espacial no vídeo dentro de uma determinada figuração ou quadro de vídeo. A intercodificação tem base na previsão temporal para reduzir ou remover a redundância temporal no vídeo dentro de quadros ou figurações adjacentes de uma sequência de vídeo. O intramodo (modo I) pode se referir a qualquer um dentre vários modos de codificação com base em espaço. Os intermodos, como previsão monodirecional (modo P) ou biprevisão (modo B), podem se referir a qualquer um dentre vários modos de codificação com base em tempo.
[0080] No exemplo da Figura 2A, o criptografador de vídeo 20 inclui uma pluralidade de componentes funcionais. Os componentes funcionais de criptografador de vídeo 20 incluem uma unidade de processamento de previsão 100, uma unidade de geração residual 102, uma unidade de processamento de transformada 104, uma unidade de quantização 106, uma unidade de quantização inversa 108, uma unidade de transformada inversa 110, uma unidade de reconstrução 112, uma unidade de filtro 113, um armazenamento temporário de figuração decodificada 114 e uma unidade de criptografia por entropia 116. A unidade de processamento de previsão 100 inclui uma unidade de interprevisão 121, uma unidade de estimativa de movimento 122, uma unidade de compensação de movimento 124, uma unidade de intraprevisão 126 e uma unidade de previsão de intercamada 128. Em outros exemplos, o criptografador de vídeo 20 pode incluir mais, menos ou diferentes componentes funcionais. Além disso, a unidade de estimativa de movimento 122 e a unidade de compensação de movimento 124 podem ser altamente integradas, mas são representadas no exemplo da Figura 2A separadamente para propósitos de explicação.
[0081] O criptografador de vídeo 20 pode receber os dados de vídeo. O criptografador de vídeo 20 pode receber os dados de vídeo de várias fontes. Por exemplo, o criptografador de vídeo 20 pode receber os dados de vídeo da fonte de vídeo 18 (por exemplo, mostrada na Figura 1A ou 1B) ou outra fonte. Os dados de vídeo podem representar uma série de figurações. Para criptografar os dados de vídeo, o criptografador de vídeo 20 pode realizar uma operação de criptografia em cada uma das figurações. Como parte da realização da operação de criptografia em uma figuração, o criptografador de vídeo 20 pode realizar operações de criptografia em cada fatia da figuração. Como parte da realização de uma operação de criptografia em uma fatia, o criptografador de vídeo 20 pode realizar operações de criptografia em blocos em árvore na fatia.
[0082] Como parte da realização de uma operação de criptografia em um bloco em árvore, a unidade de processamento de previsão 100 pode realizar particionamento em árvore quaternária no bloco de vídeo do bloco em árvore para dividir o bloco de vídeo em blocos de vídeo progressivamente menores. Cada um dos blocos de vídeo menores pode ser associado a uma CU diferente. Por exemplo, a unidade de processamento de previsão 100 pode particionar um bloco de vídeo de um bloco em árvore em quatro sub- blocos igualmente dimensionados, particionar um ou mais dos sub-blocos em quatro sub-blocos igualmente dimensionados e assim por diante.
[0083] Os tamanhos dos blocos de vídeo associados com CUs podem variar de amostras de 8x8 até o tamanho do bloco em árvore com um máximo de amostras de 64x64 ou mais. Nessa revelação, "NxN" e "N por N" podem ser usados de modo intercambiável para se referir às dimensões de amostra de um bloco de vídeo em termos de dimensões horizontal e vertical, por exemplo, 16x16 pixels ou 16 por 16 pixels. Em geral, um bloco de vídeo 16x16 tem dezesseis amostras em uma direção vertical (y = 16) e dezesseis amostras em uma direção horizontal (x = 16). De modo semelhante, um bloco NxN geralmente tem N amostras em uma direção vertical e N amostras em uma direção horizontal, em que N representa um valor de número inteiro não negativo.
[0084] Além disso, como parte da realização da operação de criptografia em um bloco em árvore, a unidade de processamento de previsão 100 pode gerar uma estrutura de dados em árvore quaternária hierárquica para o bloco em árvore. Por exemplo, um bloco em árvore pode corresponder a um nó-raiz da estrutura de dados em árvore quaternária. Se a unidade de processamento de previsão 100 particiona o bloco de vídeo do bloco em árvore em quatro sub-blocos, o nó-raiz tem quatro nós-filhos na estrutura de dados em árvore quaternária. Cada um dos nós-filhos corresponde a uma CU associada com um dentre os sub-blocos. Se a unidade de processamento de previsão 100 particiona um dentre os sub-blocos em quatro sub-sub-blocos, o nó correspondente à CU associada com o sub-bloco pode ter quatro nós-filhos, sendo que cada um dos quais corresponde a uma CU associada com um dentre os sub-sub-blocos.
[0085] Cada nó da estrutura de dados em árvore quaternária pode conter dados de sintaxe (por exemplo, elementos de sintaxe) para os blocos em árvore ou CU correspondentes. Por exemplo, um nó na árvore quaternária pode incluir um indicador de divisão que indica se o bloco de vídeo da CU corresponder ao nó está particionado (por exemplo, dividido) em quatro sub-blocos. Os elementos de sintaxe para uma CU podem ser definidos recursivamente e podem depender se o bloco de vídeo da CU está dividido em sub-blocos. A CU cujo bloco de vídeo não é particionado pode corresponder a um nó-folha na estrutura de dados em árvore quaternária. Um bloco em árvore codificado pode incluir dados com base na estrutura de dados em árvore quaternária para um bloco em árvore correspondente.
[0086] O criptografador de vídeo 20 pode realizar operações de criptografia em cada CU não particionada de um bloco em árvore. Quando o criptografador de vídeo 20 realiza uma operação de criptografia em uma CU não particionada, o criptografador de vídeo 20 gera dados que representam uma representação criptografada da CU não particionada.
[0087] Como parte da realização de uma operação de criptografia em uma CU, a unidade de processamento de previsão 100 pode particionar o bloco de vídeo da CU dentre uma ou mais PUs da CU. O criptografador de vídeo 20 e o decodificador de vídeo 30 podem suportas vários tamanhos de PU. Presumindo-se que o tamanho de uma CU particular é de 2Nx2N, o criptografador de vídeo 20 e o decodificador de vídeo 30 podem suportar tamanhos de PU de 2Nx2N ou xN e a interprevisão em tamanhos de PU simétricos de 2Nx2N, 2NxN, Nx2N, xN, 2NxnU, nLx2N, nRx2N ou similares. O criptografador de vídeo 20 e o decodificador de vídeo 30 podem também suportar particionamento assimétrico para tamanhos de PU de 2NxnU, 2NxnD, nLx2N e nRx2N. Em alguns exemplos, a unidade de processamento de previsão 100 pode realizar particionamento geométrico para particionar o bloco de vídeo de uma CU dentre PUs da CU ao longo de uma fronteira que não encontra os lados do bloco de vídeo da CU em ângulos retos.
[0088] A unidade de interprevisão 121 pode realizar a interprevisão em cada da PU da CU. A interprevisão pode fornecer compactação temporal. Para realizar a interprevisão em uma PU, a unidade de estimativa de movimento 122 pode gerar informações de movimento para a PU. A unidade de compensação de movimento 124 pode gerar um bloco de vídeo previsto para a PU com base nas informações de movimento e amostras decodificadas de figurações diferentes da figuração associada com a CU (por exemplo, figurações de referência). Nesta revelação, um bloco de vídeo previsto gerado pela unidade de compensação de movimento 124 pode ser chamado de um bloco de vídeo interprevisto.
[0089] As fatias podem ser fatias I, fatias P ou fatias B. A unidade de estimativa de movimento 122 e a unidade de compensação de movimento 124 pode realizar diferentes operações para uma CU dependendo se a PU é uma fatia I, uma fatia P ou uma fatia B. Em uma fatia I, todas as PUs são intraprevistas. Portanto, se a PU está em uma fatia I, a unidade de estimativa de movimento 122 e a unidade de compensação de movimento 124 não realizam a interprevisão na PU.
[0090] Se a PU está em uma fatia P, a figuração que contém a PU é associada com uma lista de figurações de referência chamada de “lista 0”. Cada uma das figurações de referência na lista 0 contém amostras que podem ser usadas para a interprevisão de outras figurações. Quando a unidade de estimativa de movimento 122 realiza a operação de estimativa de movimento em relação a uma PU em uma fatia P, a unidade de estimativa de movimento 122 pode procurar as figurações de referência na lista 0 para um bloco de referência para a PU. O bloco de referência da PU pode ser um conjunto de amostras, por exemplo, um bloco de amostras, que correspondem mais aproximadamente às amostras no bloco de vídeo da PU. A unidade de estimativa de movimento 122 pode usar uma variedade de métricas para determinar quão próximo um conjunto de amostras em uma figuração de referência corresponde às amostras no bloco de vídeo de uma PU. Por exemplo, a unidade de estimativa de movimento 122 pode determinar quão próximo um conjunto de amostras em uma figuração de referência corresponde às amostras no bloco de vídeo de uma PU pela soma de diferença absoluta (SAD), soma do quadrado da diferença (SSD) ou outras métricas de diferença.
[0091] Após identificar um bloco de referência de uma PU em uma fatia P, a unidade de estimativa de movimento 122 pode gerar um índice de referência que indica a figuração de referência na lista 0 que contém o bloco de referência e um vetor de movimento que indica um deslocamento espacial entre a PU e o bloco de referência. Em vários exemplos, a unidade de estimativa de movimento 122 pode gerar vetores de movimento para variar graus de precisão. Por exemplo, a unidade de estimativa de movimento 122 pode gerar vetores de movimento com precisão de amostra de um quarto, precisão de amostra de um oitavo ou outra precisão de amostra fracional. No caso de precisão de amostra fracional, os valores de bloco de referência podem ser interpolados a partir de valores de amostra de posição com números inteiros na figuração de referência. A unidade de estimativa de movimento 122 pode emitir o índice de referência e o vetor de movimento como as informações de movimento da PU. A unidade de compensação de movimento 124 pode gerar um bloco de vídeo previsto da PU com base no bloco de referência identificado pelas informações de movimento da PU.
[0092] Se a PU está em uma fatia B, a figuração que contém a PU pode ser associada com duas listas de figurações de referência, chamadas de “lista 0” e “lista 1”. Em alguns exemplos, uma figuração que contém uma fatia B pode ser associada com uma combinação de lista que é uma combinação de lista 0 e lista 1.
[0093] Além disso, se a PU está em uma fatia B, a unidade de estimativa de movimento 122 pode realizar previsão unidirecional ou previsão bidirecional para a PU. Quando a unidade de estimativa de movimento 122 realiza previsão unidirecional para a PU, a unidade de estimativa de movimento 122 pode procurar as figurações de referência da lista 0 ou lista 1 para um bloco de referência para a PU. Depois, a unidade de estimativa de movimento 122 pode gerar um índice de referência que indica a figuração de referência na lista 0 ou lista 1 que contém o bloco de referência e um vetor de movimento que indica um deslocamento espacial entre a PU e o bloco de referência. A unidade de estimativa de movimento 122 pode emitir o índice de referência, um indicador de direção de previsão e o vetor de movimento como as informações de movimento da PU. O indicador de direção de previsão pode indicar se o índice de referência indica uma figuração de referência na lista 0 ou lista 1. A unidade de compensação de movimento 124 pode gerar o bloco de vídeo previsto da PU com base no bloco de referência indicado pelas informações de movimento da PU.
[0094] Quando a unidade de estimativa de movimento 122 realiza previsão bidirecional para uma PU, a unidade de estimativa de movimento 122 pode procurar as figurações de referência na lista 0 para um bloco de referência para a PU e pode também procurar as figurações de referência na lista 1 para outro bloco de referência para a PU. Depois, a unidade de estimativa de movimento 122 pode gerar os índices de referência que indicam as figurações de referência na lista 0 e lista 1 que contêm os blocos de referência e vetores de movimento que indicam deslocamentos espaciais entre os blocos de referência e a PU. A unidade de estimativa de movimento 122 pode emitir os índices de referência e os vetores de movimento da PU como as informações de movimento da PU. A unidade de compensação de movimento 124 pode gerar o bloco de vídeo previsto da PU com base nos blocos de referência indicados pelas informações de movimento da PU.
[0095] Em alguns casos, a unidade de estimativa de movimento 122 não emite um conjunto completo de informações de movimento para uma PU à unidade de criptografia por entropia 116. Em vez disso, a unidade de estimativa de movimento 122 pode sinalizar as informações de movimento de uma PU com referência às informações de movimento de outra PU. Por exemplo, a unidade de estimativa de movimento 122 pode determinar que as informações de movimento da PU são suficientemente similares às informações de movimento de uma PU vizinha. Nesse exemplo, a unidade de estimativa de movimento 122 pode indicar, em uma estrutura sintática associada com a PU, um valor que indica ao decodificador de vídeo 30 que a PU tem as mesmas informações de movimento que a PU vizinha. Em outro exemplo, a unidade de estimativa de movimento 122 pode identificar, em uma estrutura sintática associada com a PU, uma PU vizinha e uma diferença de vetor de movimento (MVD). A diferença de vetor de movimento indica uma diferença entre o vetor de movimento da PU e o vetor de movimento da PU vizinha indicada. O decodificador de vídeo 30 pode usar o vetor de movimento da PU vizinha indicada e a diferença de vetor de movimento para determinar o vetor de movimento da PU. Com referência às informações de movimento de uma primeira PU quando é feita a sinalização das informações de movimento de uma segunda PU, o criptografador de vídeo 20 pode ter capacidade para sinalizar as informações de movimento da segunda PU usando-se menos bits.
[0096] Conforme discutido adicionalmente abaixo com referência às Figuras 8 a 12, a unidade de processamento de previsão 100 pode ser configurada para codificar (por exemplo, criptografar ou decodificar) uma PU (ou quaisquer outros blocos ou unidades de vídeo de camada de referência e/ou camada de aperfeiçoamento) realizando-se os métodos ilustrados nas Figuras 8 a 12. Por exemplo, a unidade de interprevisão 121 (por exemplo, através da unidade de estimativa de movimento 122 e/ou da unidade de compensação de movimento 124), a unidade de intraprevisão 126 ou unidade de previsão de intercamada 128 pode ser configurada para realizar os métodos ilustrados nas Figuras 8 a 12, conjunta ou separadamente.
[0097] Como parte da realização de uma operação de criptografia em uma CU, a unidade de intraprevisão 126 pode realizar a intraprevisão nas PUs da CU. A intraprevisão pode fornecer compactação espacial. Quando a unidade de intraprevisão 126 realiza a intraprevisão em uma PU, a unidade de intraprevisão 126 pode gerar dados de previsão para a PU com base nas amostras decodificadas de outras PUs na mesma figuração. Os dados de previsão para a PU podem incluir um bloco de vídeo previsto e vários elementos de sintaxe. A unidade de intraprevisão 126 pode realizar a intraprevisão nas PUs em fatias I, fatias P e fatias B.
[0098] Para realizar a intraprevisão em uma PU, a unidade de intraprevisão 126 pode usar múltiplos modos de intraprevisão para gerar múltiplos conjuntos de dados de previsão para a PU. Quando a unidade de intraprevisão 126 usa um modo de intraprevisão para gerar um conjunto de dados de previsão para a PU, a unidade de intraprevisão 126 pode estender as amostras dos blocos de vídeo de SSD através do bloco de vídeo da PU em uma direção e/ou gradiente associado com o modo de intraprevisão. As PUs vizinhas podem estar acima, acima e à direita, acima e à esquerda ou à esquerda da PU, assumindo uma ordem de criptografia do fundo para o topo e da esquerda para direita para PUs, CUs e blocos em árvore. A unidade de intraprevisão 126 pode usar vários números de modos de intraprevisão, por exemplo, 33 modos de intraprevisão direcionais, dependendo do tamanho da PU.
[0099] A unidade de processamento de previsão 100 pode selecionar os dados de previsão para uma PU dentre os dados de previsão gerados pela unidade de compensação de movimento 124 para a PU ou os dados de previsão gerados pela unidade de intraprevisão 126 para a PU. Em alguns exemplos, a unidade de processamento de previsão 100 seleciona os dados de previsão para a PU com base nas métricas de taxa/distorção dos conjuntos de dados de previsão.
[0100] Se a unidade de processamento de previsão 100 seleciona dados de previsão gerados pela unidade de intraprevisão 126, a unidade de processamento de previsão 100 pode sinalizar o modo de intraprevisão que foi usado para gerar os dados de previsão para as PUs, por exemplo, o modo de intraprevisão selecionado. A unidade de processamento de previsão 100 pode sinalizar o modo de intraprevisão selecionado de várias maneiras. Por exemplo, pode ser provável que o modo de intraprevisão selecionado seja o mesmo que modo de intraprevisão de uma PU vizinha. Em outras palavras, o modo de intraprevisão da PU vizinha pode ser o modo mais provável para a PU atual. Portanto, a unidade de processamento de previsão 100 pode gerar um elemento de sintaxe para indicar que o modo de intraprevisão selecionado é o mesmo que o modo de intraprevisão da PU vizinha.
[0101] Conforme discutido acima, o criptografador de vídeo 20 pode incluir a unidade de previsão de intercamada 128. A unidade de previsão de intercamada 128 é configurada para prever um bloco atual (por exemplo, um bloco atual na EL) usando-se uma ou mais diferentes camadas que estão disponíveis em SVC (por exemplo, uma camada de base ou referência). Tal previsão pode ser chamada de previsão intercamada. A unidade de previsão de intercamada 128 utiliza métodos de previsão para reduzir a redundância intercamada, o que aprimora a eficiência de codificação e reduz exigências de recurso computacional. Alguns exemplos de previsão intercamada incluem intraprevisão intercamada, previsão de movimento intercamada e previsão residual intercamada. A intraprevisão intercamada usa a reconstrução de blocos colocalizados na camada de base para prever o bloco atual na camada de aperfeiçoamento. A previsão de movimento intercamada usa informações de movimento da camada de base para prever movimento na camada de aperfeiçoamento. A previsão residual intercamada usa o resíduo da camada de base para prever o resíduo da camada de aperfeiçoamento. Cada um dos esquemas de previsão intercamada é discutido abaixo em maiores detalhes.
[0102] Após unidade de processamento de previsão 100 seleciona os dados de previsão para PUs de uma CU, a unidade de geração residual 102 pode gerar dados residuais para a CU subtraindo-se (por exemplo, indicado pelo sinal de menos) os blocos de vídeo previstos das PUs da CU do bloco de vídeo da CU. Os dados residuais de uma CU podem incluir bloco de vídeo residual em 2D que corresponde a diferentes componentes de amostra das amostras no bloco de vídeo da CU. Por exemplo, os dados residuais podem incluir um bloco de vídeo residual que corresponde às diferenças entre componentes de luminância de amostras nos blocos de vídeo previstos das PUs da CU e componentes de luminância de amostras no bloco de vídeo original da CU. Adicionalmente, os dados residuais da CU podem incluir o bloco de vídeo residual que corresponde às diferenças entre componentes de crominância de amostras nos blocos de vídeo previstos das PUs da CU e os componentes de crominância das amostras no bloco de vídeo original da CU.
[0103] A unidade de processamento de previsão 100 pode realizar o particionamento em árvore quaternária para particionar o bloco de vídeo residual de uma CU em sub-blocos. Cada bloco de vídeo residual não dividido pode ser associado com uma TU diferente da CU. Os tamanhos e posições do bloco de vídeo residual associado com TUs de uma CU podem ou não podem ser com base nos tamanhos e posições de blocos de vídeo associados com as PUs da CU. Uma estrutura em árvore quaternária conhecida como “árvore quaternária residual” (QT) pode incluir nós associados com cada um dos blocos de vídeo residuais. As TUs de uma CU podem corresponder a nós-folha da RQT.
[0104] A unidade de processamento de transformada 104 pode gerar um ou mais blocos de coeficiente de transformada para cada TU de uma CU aplicando-se uma ou mais transformadas a um bloco de vídeo residual associado com a TU. Cada um dos blocos de coeficiente de transformada pode ser uma matriz de coeficientes de transformada em 2D. A unidade de processamento de transformada 104 pode aplicar várias transformadas ao bloco de vídeo residual associado com uma TU. Por exemplo, a unidade de processamento de transformada 104 pode aplicar uma transformada discreta de cosseno (DCT), uma transformada direcional ou uma transformada conceitualmente similar ao bloco de vídeo residual associado com uma TU.
[0105] Após a unidade de processamento de transformada 104 gerar um bloco de coeficiente de transformada associado com uma TU, a unidade de quantização 106 pode quantizar os coeficientes de transformada no bloco de coeficiente de transformada. A unidade de quantização 106 pode quantizar um bloco de coeficiente de transformada associado com uma TU de uma CU com base em um valor de QP associado com a CU.
[0106] O criptografador de vídeo 20 pode associar um valor de QP com uma CU de várias maneiras. Por exemplo, o criptografador de vídeo 20 pode realizar uma análise de taxa de distorção em um bloco em árvore associado com a CU. Na análise de taxa de distorção, o criptografador de vídeo 20 pode gerar múltiplas representações codificadas do bloco em árvore com a realização de uma operação de criptografia múltiplas vezes no bloco em árvore. O criptografador de vídeo 20 pode associar diferentes valores de QP com a CU quando o criptografador de vídeo 20 gera diferentes representações criptografadas do bloco em árvore. O criptografador de vídeo 20 pode sinalizar que um determinado valor de QP é associado com uma CU quando o determinado valor de QP é associado com uma CU em uma representação codificada do bloco em árvore que tem uma taxa de bits mais baixa e métrica de distorção.
[0107] A unidade de quantização inversa 108 e a unidade de transformada inversa 110 pode aplicar quantização inversa e transformadas inversas ao bloco de coeficiente de transformada, respectivamente, para reconstruir um bloco de vídeo residual a partir do bloco de coeficiente de transformada. A unidade de reconstrução 112 pode adicionar o bloco de vídeo residual reconstruído às amostras correspondentes de um ou mais blocos de vídeo previstos gerados pela unidade de processamento de previsão 100 para produzir um bloco de vídeo reconstruído associado a uma TU. Através da reconstrução dos blocos de vídeo para cada TU de uma CU, o criptografador de vídeo 20 pode reconstruir os blocos de vídeo da CU.
[0108] Após a unidade de reconstrução 112 reconstruir o bloco de vídeo de uma CU, a unidade de filtro 113 pode realizar uma operação de desbloqueio para reduzir os artefatos de bloqueio no bloco de vídeo associado com a CU. Após realizar as uma ou mais operações de desbloqueio, a unidade de filtro 113 pode armazenar o bloco de vídeo reconstruído da CU no armazenamento temporário de figuração decodificada 114. A unidade de estimativa de movimento 122 e a unidade de compensação de movimento 124 podem usar uma figuração de referência que contém o bloco de vídeo reconstruído para realizar interprevisão nas PUs de figurações subsequentes. Além disso, a unidade de intraprevisão 126 pode usar blocos de vídeo reconstruídos no armazenamento temporário de figuração decodificada 114 para realizar intraprevisão em outras PUs na mesma figuração que a CU.
[0109] A unidade de criptografia por entropia 116 pode receber dados a partir de outros componentes funcionais de criptografador de vídeo 20. Por exemplo, a unidade de criptografia por entropia 116 pode receber blocos de coeficiente de transformada da unidade de quantização 106 e pode receber elementos de sintaxe a partir da unidade de processamento de previsão 100. Quando a unidade de criptografia por entropia 116 recebe os dados, unidade de criptografia por entropia 116 pode realizar uma ou mais operações de criptografia por entropia para gerar dados criptografados por entropia. Por exemplo, o criptografador de vídeo 20 pode realizar uma operação de codificação de comprimento variável adaptativa ao contexto (CAVLC), uma operação CABAC, um operação de codificação de comprimento de variável para variável (V2V), uma operação de codificação com aritmética binária adaptativa de contexto com base em sintaxe (SBAC), uma operação de codificação por entropia de particionamento com intervalo de probabilidade (PIPE) ou outro tipo de operação de codificação por entropia nos dados. A unidade de criptografia por entropia 116 pode emitir um fluxo de bits que inclui os dados criptografados por entropia.
[0110] Como parte da realização de uma operação de criptografia por entropia nos dados, a unidade de criptografia por entropia 116 pode selecionar um modelo de contexto. Se a unidade de criptografia por entropia 116 está realizando uma operação de CABAC, o modelo de contexto pode indicar estimativas de probabilidades de números binários particulares que tem valores particulares. No contexto de CABAC, o termo “número binário” é usado para se referir a um bit de uma versão binarizada de um elemento de sintaxe.
CRIPTOGRAFADOR DE VÍDEO DE MÚLTIPLAS CAMADAS
[0111] A Figura 2B é um diagrama de blocos que ilustra um exemplo de um criptografador de vídeo de múltiplas camadas 23 que pode implantar técnicas de acordo com aspectos descritos nesta revelação. O criptografador de vídeo 23 pode ser configurado para processar quadros de vídeo de múltiplas camadas, tais como para SHVC e codificação de múltiplas vistas. Além disso, o criptografador de vídeo 23 pode ser configurado para realizar qualquer ou todas as técnicas dessa revelação.
[0112] O criptografador de vídeo 23 inclui um criptografador de vídeo 20A e o criptografador de vídeo 20B, sendo que cada um dos quais pode ser configurado como o criptografador de vídeo 20 e pode realizar as funções descritas acima em relação ao criptografador de vídeo 20. Além disso, conforme indicado pelo reuso de números de referência, os criptografadores de vídeo 20A e 20B podem incluir pelo menos alguns dos sistemas e subsistemas que o criptografador de vídeo 20. Apesar de o criptografador de vídeo 23 ser ilustrado como incluindo dois criptografadores de vídeo 20A e 20B, o criptografador de vídeo 23 não é limitado como tal e pode incluir qualquer número de camadas de criptografadores de vídeo 20. Em algumas modalidades, o criptografador de vídeo 23 pode incluir um criptografador de vídeo 20 para cada figuração ou quadro em uma unidade de acesso. Por exemplo, uma unidade de acesso que inclui cinco figurações pode ser processada ou criptografada por um criptografador de vídeo que inclui cinco camadas de criptografador. Em algumas modalidades, o criptografador de vídeo 23 pode incluir mais camadas de criptografador do que quadros em uma unidade de acesso. Em alguns dos tais casos, algumas das camadas de criptografador de vídeo podem estar inativas quando é feito o processamento de algumas unidades de acesso.
[0113] Adicionalmente aos criptografadores de vídeo 20A e 20B, o criptografador de vídeo 23 pode incluir uma unidade de redimensionamento 90. A unidade de redimensionamento 90 pode, em alguns casos, aumentar a resolução de uma camada de base de um quadro de vídeo recebido para, por exemplo, criar uma camada de aperfeiçoamento. A unidade de redimensionamento 90 pode aumentar a resolução particular das informações associadas com a camada de base recebida de um quadro, mas não outras informações. Por exemplo, a unidade de redimensionamento 90 pode aumentar uma resolução do tamanho espacial ou número de pixels da camada de base, mas o número de fatias ou o contador de ordem de figuração pode permanecer constante. Em alguns casos, a unidade de redimensionamento 90 pode não processar o vídeo recebido e/ou pode ser opcional. Por exemplo, em alguns casos, a unidade de processamento de previsão 100 pode realizar aumento de resolução. Em algumas modalidades, a unidade de redimensionamento 90 é configurada para aumentar a resolução de uma camada e reorganizar, redefinir, modificar ou ajustar uma ou mais fatias para estar em conformidade com um conjunto de regras de fronteira de fatia e/ou regras de varredura. Apesar de ser descrita principalmente ao aumentar a resolução de uma camada de base ou uma camada inferior em uma unidade de acesso, em alguns casos, a unidade de redimensionamento 90 pode diminuir a resolução de uma camada. Por exemplo, se durante a transmissão contínua de um vídeo a largura de banda é reduzida, um quadro pode ser reduzido em resolução em vez de aumentado.
[0114] A unidade de redimensionamento 90 pode ser configurada para receber uma figuração ou quadro (ou informações de figuração associadas com a figuração) do armazenamento temporário de figuração decodificada 114 do criptografador de camada inferior (por exemplo, o criptografador de vídeo 20A) e para aumentar uma resolução da figuração (ou as informações de figuração recebidas). Depois, essa figuração aumentada em resolução pode ser fornecida à unidade de processamento de previsão 100 de um criptografador de camada superior (por exemplo, o criptografador de vídeo 20B) configurado para criptografar uma figuração na mesma unidade de acesso que o criptografador de camada inferior. Em alguns casos, o criptografador de camada superior é uma camada removida do criptografador de camada inferior. Em outros casos, pode haver uma ou mais criptografadores de camada superior entre o criptografador de vídeo de camada 0 e o criptografador de vídeo de camada 1 da Figura 2B.
[0115] Em alguns casos, a unidade de redimensionamento 90 pode ser omitida ou desviada. Em tais casos, a figuração do armazenamento temporário de figuração decodificada 114 do criptografador de vídeo 20A pode ser fornecida diretamente ou pelo menos sem ser fornecida para a unidade de redimensionamento 90, à unidade de processamento de previsão 100 do criptografador de vídeo 20B. Por exemplo, se os dados de vídeo fornecidos para o criptografador de vídeo 20B e a figuração de referência do armazenamento temporário de figuração decodificada 114 do criptografador de vídeo 20A são do mesmo tamanho ou resolução, a figuração de referência pode ser fornecida ao criptografador de vídeo 20B sem qualquer redimensionamento.
[0116] Em algumas modalidades, o criptografador de vídeo 23 reduz a resolução dos dados de vídeo a serem fornecidos para o criptografador de camada inferior usando a unidade de redução de resolução 94 antes de serem fornecidos dados de vídeo para o criptografador de vídeo 20A. Alternativamente, a unidade de redução de resolução 94 pode ser uma unidade de redimensionamento 90 com capacidade para aumentar a resolução ou diminuir a resolução dos dados de vídeo. Em ainda outras modalidades, a unidade de redução de resolução 94 pode ser omitida.
[0117] Conforme ilustrado na Figura 2B, o criptografador de vídeo 23 pode incluir também um multiplexador 98 ou mux. O mux 98 pode emitir um fluxo de bits combinado do criptografador de vídeo 23. O fluxo de bits combinado pode ser criado tomando um fluxo de bits de cada um dos criptografadores de vídeo 20A e 20B e alternando cada fluxo de bits que é emitido em um momento determinado. Apesar de em alguns casos os bits dos dois fluxos de bits (ou mais no caso de mais do que duas camadas de criptografador de vídeo) poderem ser alternados um bit por vez, em muitos casos os fluxos de bits são combinados de modo diferente. Por exemplo, o fluxo de bits de emissão pode ser criado alternando-se o fluxo de bits selecionado um bloco por vez. Em outro exemplo, o fluxo de bits de emissão pode ser criado ao emitir uma razão não 1: 1 de blocos de cada um dos criptografadores de vídeo 20A e 20B. Por exemplo, dois blocos podem ser emitidos do criptografador de vídeo 20B para cada emissão de bloco do criptografador de vídeo 20A. Em algumas modalidades, o fluxo de emissão do mux 98 pode ser pré-programado. Em outras modalidades, o mux 98 pode combinar os fluxos de bits dos criptografadores de vídeo 20A, 20B com base em um sinal de controle recebido de um sistema externo ao criptografador de vídeo 23, tal como de um processador em um dispositivo de fonte incluindo o módulo de fonte 12. O sinal de controle pode ser gerado com base na resolução ou taxa de bit de um vídeo da fonte de vídeo 18 com base em uma largura de banda do enlace 16, com base em uma assinatura associada a um usuário (por exemplo, uma assinatura paga versus uma assinatura gratuita) ou com base em qualquer outro fator para determinar uma emissão de resolução desejada pelo criptografador de vídeo 23.
DECODIFICADOR DE VÍDEO
[0118] A Figura 3A é um diagrama de blocos que ilustra um exemplo de um decodificador de vídeo que pode implantar técnicas de acordo com aspectos descritos nesta revelação. O decodificador de vídeo 30 pode ser configurado para processar uma única camada de um quadro de vídeo, tal como para HEVC. Além disso, o criptografador de vídeo 30 pode ser configurado para realizar qualquer uma ou todas as técnicas dessa revelação. Como um exemplo, a unidade de compensação de modo 162 e/ou a unidade de intraprevisão 164 podem ser configurados para realizar qualquer e todas as técnicas descritas nessa revelação. Em uma modalidade, o decodificador de vídeo 30 pode incluir opcionalmente a unidade de previsão de intercamada 166 que é configurada para realizar qualquer ou todas as técnicas descritas nesta revelação. Em outras modalidades, a previsão intercamada pode ser realizada pela unidade de processamento de previsão 152 (por exemplo, unidade de compensação de movimento 162 e/ou unidade de intraprevisão 164), caso em que a unidade de previsão de intercamada 166 pode ser omitida. Entretanto, aspectos dessa revelação não são tão limitados. Em alguns exemplos, as técnicas descritas nessa revelação podem ser compartilhadas entre os vários componentes de decodificador de vídeo 30. Em alguns exemplos, adicional ou alternativamente, um processador (não mostrado) pode ser configurado para realizar qualquer ou todas as técnicas descritas nesta revelação.
[0119] Com propósitos explicativos, essa revelação descreve o decodificador de vídeo 30 no contexto de codificação de HEVC. No entanto, as técnicas dessa revelação podem ser aplicáveis a outros padrões ou métodos de codificação. O exemplo retratado na Figura 3A é para um codec de camada única. Contudo, conforme será descrito adicionalmente em relação à Figura 3B, alguns ou todos os decodificadores de vídeo 30 podem ser duplicados para o processamento de uma camada de múltiplas camadas.
[0120] No exemplo da Figura 3A, o decodificador de vídeo 30 inclui uma pluralidade de componentes funcionais. Os componentes funcionais do decodificador de vídeo 30 incluem uma unidade de decodificação por entropia 150, uma unidade de processamento de previsão 152, uma unidade de quantização inversa 154, uma unidade de transformada inversa 156, uma unidade de reconstrução 158, uma unidade de filtro 159 e um armazenamento temporário de figuração decodificada 160. A unidade de processamento de previsão 152 inclui uma unidade de compensação de movimento 162, uma unidade de intraprevisão 164 e uma unidade de previsão de intercamada 166. Em alguns exemplos, o decodificador de vídeo 30 pode realizar uma passagem de decodificação geralmente recíproca à passagem de criptografia descrita em relação ao criptografador de vídeo 20 da Figura 2A. Em outros exemplos, o decodificador de vídeo 30 pode incluir mais, menos ou diferentes componentes funcionais.
[0121] O decodificador de vídeo 30 pode receber um fluxo de bits que compreende dados de vídeo codificados. O fluxo de bits pode incluir uma pluralidade de elementos de sintaxe. Quando o decodificador de vídeo 30 recebe o fluxo de bits, a unidade de decodificação por entropia 150 pode realizar uma operação de análise sintática no fluxo de bits. Como resultado da realização da operação de análise sintática no fluxo de bits, a unidade de decodificação por entropia 150 pode extrair elementos de sintaxe do fluxo de bits. Como parte da realização da operação de análise sintática, a unidade de decodificação por entropia 150 pode decodificar por entropia elementos de sintaxe criptografados por entropia no fluxo de bits. A unidade de processamento de previsão 152, a unidade de quantização inversa 154, a unidade de transformada inversa 156, a unidade de reconstrução 158, e a unidade de filtro 159 podem realizar uma operação de reconstrução que gera dados de vídeo decodificados com base nos elementos de sintaxe extraídos do fluxo de bits.
[0122] Conforme discutido acima, o fluxo de bits pode compreender uma série de unidades de NAL. As unidades de NAL do fluxo de bits podem incluir unidades de NAL de conjunto de parâmetro de vídeo, unidades de NAL de conjunto de parâmetro de sequência, unidades de NAL de conjunto de parâmetro de figuração, unidades de NAL SEI e assim por diante. Como parte da realização de uma operação de análise sintática no fluxo de bits, a unidade de decodificação por entropia 150 pode realizar operações de análise sintática que extraem e decodificam por entropia conjuntos de parâmetro de sequência de unidades de NAL de conjunto de parâmetro de sequência, unidades de NAL de conjuntos parâmetro de figuração, dados de SEI de unidades de NAL de SEI e assim por diante.
[0123] Adicionalmente, as unidades de NAL do fluxo de bits podem incluir unidades de NAL de fatia codificada. Como parte da realização da operação de análise sintática no fluxo de bits, a unidade de decodificação por entropia 150 pode realizar operações de análise sintática que extraem e decodificam por entropia fatias codificadas das unidades de NAL de fatia codificada. Cada uma das fatias codificadas pode incluir um cabeçalho de fatia e dados de fatia. O cabeçalho de fatia pode conter elementos de sintaxe que pertencem a uma fatia. Os elementos de sintaxe no cabeçalho de fatia podem incluir um elemento de sintaxe que identifica um conjunto de parâmetro de figuração associado com uma figuração que contém a fatia. A unidade de decodificação por entropia 150 pode realizar operações de decodificação por entropia, tais como operações de decodificação de CABAC, em elementos de sintaxe no cabeçalho de fatia codificada para recuperar o cabeçalho de fatia.
[0124] Como parte da extração dos dados de fatia de unidades de NAL de fatia codificada, a unidade de decodificação por entropia 150 pode realizar operações de análise sintática que extraem elementos de sintaxe de CUs codificadas nos dados de fatia. Os elementos de sintaxe extraídos podem incluir elementos de sintaxe associados com blocos de coeficiente de transformada. Depois, a unidade de decodificação por entropia 150 pode realizar operações de decodificação de CABAC em alguns dos elementos de sintaxe.
[0125] Após a unidade de decodificação por entropia 150 realizar uma operação de análise sintática em uma CU não particionada, o decodificador de vídeo 30 pode realizar uma operação de reconstrução na CU não particionada. Para realizar a operação de reconstrução em uma CU não particionada, o decodificador de vídeo 30 pode realizar uma operação de reconstrução em cada TU da CU. Realizando-se a operação de reconstrução para cada TU da CU, o decodificador de vídeo 30 pode reconstruir um bloco de vídeo residual associado com a CU.
[0126] Como parte da realização de uma operação de reconstrução em uma TU, a unidade de quantização inversa 154 pode quantizar de modo inverso, por exemplo, desquantizar, um bloco de coeficiente de transformada associado com a TU. A unidade de quantização inversa 154 pode quantizar de modo inverso o bloco de coeficiente de transformada de uma maneira similar aos processos de quantização inversa propostos para HEVC ou definidos pelo padrão de decodificação H.264. A unidade de quantização inversa 154 pode usar um parâmetro de quantização QP calculado por criptografador de vídeo 20 para uma CU do bloco de coeficiente de transformada para determinar um grau de quantização e, de modo similar, um grau de quantização inversa para a unidade de quantização inversa 154 para aplicar.
[0127] Após a unidade de quantização inversa 154 quantizar de modo inverso um bloco de coeficiente de transformada, a unidade de transformada inversa 156 pode gerar um bloco de vídeo residual para a TU associada com o bloco de coeficiente de transformada. A unidade de transformada inversa 156 pode aplicar uma transformada inversa para o bloco de coeficiente de transformada a fim de gerar o bloco de vídeo residual para a TU. Por exemplo, a unidade de transformada inversa 156 pode aplicar uma DCT inversa, uma transformada de número inteiro inversa, uma transformada de Karhunen-Loeve inversa (KLT), uma transformada rotacional inversa, uma transformada direcional inversa ou uma outra transformada inversa ao bloco de coeficiente. Em alguns exemplos, a unidade de transformada inversa 156 pode determinar uma transformada inversa para aplicar ao bloco de coeficiente de transformada com base em sinalização do criptografador de vídeo 20. Em tais exemplos, a unidade de transformada inversa 156 pode determinar a transformada inversa com base em uma transformada sinalizada no nó-raiz de uma árvore quaternária para um bloco em árvore associado com o bloco de coeficiente de transformada. Em outros exemplos, a unidade de transformada inversa 156 pode inferir a transformada inversa a partir de um ou mais características de codificação, tais como tamanho de bloco, modo de codificação ou similares. Em alguns exemplos, a unidade de transformada inversa 156 pode aplicar uma transformada inversa em cascata.
[0128] Em alguns exemplos, a unidade de compensação de movimento 162 pode refinar o bloco de vídeo previsto de uma PU realizando-se a interpolação com base nos filtros de interpolação. Identificadores para filtros de interpolação a serem usados para compensação de movimento com precisão de subamostra podem ser incluídos nos elementos de sintaxe. A unidade de compensação de movimento 162 pode usar os mesmos filtros de interpolação usados pelo criptografador de vídeo 20 durante a geração do bloco de vídeo previsto da PU para calcular valores interpolados para amostras abaixo de número inteiro de um bloco de referência. A unidade de compensação de movimento 162 pode determinar os filtros de interpolação usados pelo criptografador de vídeo 20 de acordo com informações de sintaxe recebidas e usar os filtros de interpolação para produzir o bloco de vídeo previsto.
[0129] Conforme discutido adicionalmente abaixo com referência às Figuras 8 a 12, a unidade de processamento de previsão 152 pode codificar (por exemplo, criptografar ou decodificar) a PU (ou quaisquer outros blocos ou unidades de vídeo de camada de referência e/ou camada de aperfeiçoamento) realizando-se os métodos ilustrado nas Figuras 8 a 12. Por exemplo, a unidade de compensação de movimento 162, a unidade de intraprevisão 164 ou a unidade de previsão de intercamada 166 podem ser configuradas para realizar os métodos ilustrados nas Figuras 8 a 12, conjunta ou separadamente.
[0130] Se uma PU é criptografada usando-se intraprevisão, a unidade de intraprevisão 164 pode realizar intraprevisão para gerar um bloco de vídeo previsto para a PU. Por exemplo, a unidade de intraprevisão 164 pode determinar um modo de intraprevisão para a PU com base em elementos de sintaxe no fluxo de bits. O fluxo de bits pode incluir elementos de sintaxe que a unidade de intraprevisão 164 pode usar para determinar o modo de intraprevisão da PU.
[0131] Em alguns casos, os elementos de sintaxe podem indicar que a unidade de intraprevisão 164 deve usar o modo de intraprevisão de outra PU para determinar o modo de intraprevisão da PU atual. Por exemplo, pode ser provável que o modo de intraprevisão da PU atual seja o mesmo que o modo de intraprevisão de uma PU vizinha. Em outras palavras, o modo de intraprevisão da PU vizinha pode ser o modo mais provável para a PU atual. Portanto, nesse exemplo, o fluxo de bits pode incluir um pequeno elemento de sintaxe que indica que o modo de intraprevisão da PU é o mesmo que o modo de intraprevisão da PU vizinha. Depois, a unidade de intraprevisão 164 pode usar o modo de intraprevisão para gerar dados de previsão (por exemplo, amostras previstas) para a PU com base nos blocos de vídeo de PUs vizinhas.
[0132] Conforme discutido acima, o decodificador de vídeo 30 pode incluir também a unidade de previsão de intercamada 166. A unidade de previsão de intercamada 166 é configurada para prever um bloco atual (por exemplo, um bloco atual na EL) usando-se uma ou mais diferentes camadas que estão disponíveis em SVC (por exemplo, uma camada de base ou referência). Tal previsão pode ser chamada de previsão intercamada. A unidade de previsão de intercamada 166 utiliza métodos de previsão para reduzir a redundância intercamada, o que aprimora a eficiência de codificação e reduz exigências de recurso computacional. Alguns exemplos de previsão intercamada incluem intraprevisão intercamada, previsão de movimento intercamada e previsão residual intercamada. A intraprevisão intercamada usa a reconstrução de blocos colocalizados na camada de base para prever o bloco atual na camada de aperfeiçoamento. A previsão de movimento intercamada usa informações de movimento da camada de base para prever movimento na camada de aperfeiçoamento. A previsão residual intercamada usa o resíduo da camada de base para prever o resíduo da camada de aperfeiçoamento. Cada um dos esquemas de previsão intercamada é discutido abaixo em maiores detalhes.
[0133] A unidade de reconstrução 158 pode usar o bloco de vídeo residual associado com TUs de uma CU e os blocos de vídeo previstos das PUs da CU, por exemplo, dados de intraprevisão ou dados de interprevisão, conforme aplicável, para reconstruir o bloco de vídeo da CU. Portanto, o decodificador de vídeo 30 pode gerar um bloco de vídeo previsto e um bloco de vídeo residual com base em elementos de sintaxe no fluxo de bits e pode gerar um bloco de vídeo com base no bloco de vídeo previsto e o bloco de vídeo residual.
[0134] Após a unidade de reconstrução 158 reconstruir o bloco de vídeo da CU, a unidade de filtro 159 pode realizar uma operação de desbloqueio para reduzir os artefatos de bloqueio associados com a CU. Após a unidade de filtro 159 realizar uma operação de desbloqueio para reduzir os artefatos de bloqueio associados com a CU, o decodificador de vídeo 30 pode armazenar o bloco de vídeo da CU em armazenamento temporário de figuração decodificada 160. O armazenamento temporário de figuração decodificada 160 pode fornecer figurações de referência para subsequentes compensação de movimento, intraprevisão e apresentação em um dispositivo de exibição, tais como blocos de dispositivo de exibição em armazenamento temporário de figuração decodificada 160, operações de intraprevisão ou interprevisão nas PUs de outras CUs.
DECODIFICADOR DE MÚLTIPLAS CAMADAS
[0135] A Figura 3B é um diagrama de blocos que ilustra um exemplo de um decodificador de vídeo de múltiplas camadas 33 que pode implantar técnicas de acordo com aspectos descritos nesta revelação. O decodificador de vídeo 33 pode ser configurado para processar quadros de vídeo de múltiplas camadas, tais como para SHVC e codificação de múltiplas vistas. Além disso, o decodificador de vídeo 33 pode ser configurado para realizar qualquer ou todas as técnicas desta revelação.
[0136] O decodificador de vídeo 33 inclui um decodificador de vídeo 30A e o decodificador de vídeo 30B, sendo que cada um dos quais pode ser configurado como o decodificador de vídeo 30 e pode realizar as funções descritas acima em relação ao decodificador de vídeo 30. Além disso, conforme indicado pelo reuso de números de referência, os decodificadores de vídeo 30A e 30B podem incluir pelo menos alguns dos sistemas e subsistemas como o decodificador de vídeo 30. Apesar de o decodificador de vídeo 33 ser ilustrado como incluindo dois decodificadores de vídeo 30A e 30B, o decodificador de vídeo 33 não é limitado como tal e pode incluir qualquer número de camadas de decodificador de vídeo 30. Em algumas modalidades, o decodificador de vídeo 33 pode incluir um decodificador de vídeo 30 para cada figuração ou quadro em uma unidade de acesso. Por exemplo, uma unidade de acesso que inclui cinco figurações pode ser processada ou decodificada por um decodificador de vídeo que inclui cinco camadas de decodificador. Em algumas modalidades, o decodificador de vídeo 33 pode incluir mais camadas de decodificador do que quadros em uma unidade de acesso. Em alguns dos tais casos, algumas das camadas de decodificador de vídeo podem estar inativas quando é feito o processamento de algumas unidades de acesso.
[0137] Adicionalmente aos decodificadores de vídeo 30A e 30B, o decodificador de vídeo 33 pode incluir uma unidade de aumento de resolução 92. Em algumas modalidades, a unidade de aumento de resolução 92 pode aumentar uma resolução de uma camada de base de um quadro de vídeo recebido para criar uma camada aprimorada a ser adicionada à lista de figuração de referência para o quadro ou unidade de acesso. Essa camada aprimorada pode ser armazenada no armazenamento temporário de figuração decodificada 160. Em algumas modalidades, a unidade de aumento de resolução 92 pode incluir algumas ou todas as modalidades descritas em relação à unidade de redimensionamento 90 da Figura 2A. Em algumas modalidades, a unidade de aumento de resolução 92 é configurada para aumentar uma resolução de uma camada e reorganizar, redefinir, modificar ou ajustar uma ou mais fatias para estar de acordo com um conjunto de regras de fronteira de fatia e/ou regras de varredura. Em alguns casos, a unidade de aumento de resolução 92 pode ser uma unidade de redimensionamento configurada para aumentar uma resolução e/ou diminuir uma resolução de uma camada de um quadro de vídeo recebido
[0138] A unidade de aumento de resolução 92 pode ser configurada para receber uma figuração ou quadro (ou informações de figuração associadas com a figuração) do armazenamento temporário de figuração decodificada 160 do decodificador de camada inferior (por exemplo, o decodificador de vídeo 30A) e para aumentar uma resolução da figuração (ou as informações de figuração recebidas). Depois, essa figuração aumentada em resolução pode ser fornecida para a unidade de processamento de previsão 152 de um decodificador de camada superior (por exemplo, o decodificador de vídeo 30B) configurado para decodificar uma figuração na mesma unidade de acesso que o decodificador de camada inferior. Em alguns casos, o decodificador de camada superior é uma camada removida do decodificador de camada inferior. Em outros casos, pode haver um ou mais decodificadores de camada superior entre o decodificador de camada 0 e o decodificador de camada 1 da Figura 3B.
[0139] Em alguns casos, a unidade de aumento de resolução 92 pode ser omitida ou desviada. Em tais casos, a figuração do armazenamento temporário de figuração decodificada 160 do decodificador de vídeo 30A pode ser fornecida diretamente ou pelo menos sem ser fornecida para a unidade de aumento de resolução 92, para a unidade de processamento de previsão 152 do decodificador de vídeo 30B. Por exemplo, se os dados de vídeo fornecidos para o decodificador de vídeo 30B e a figuração de referência do armazenamento temporário de figuração decodificada 160 do decodificador de vídeo 30A são do mesmo tamanho ou resolução, a figuração de referência pode ser fornecida para o decodificador de vídeo 30B sem aumento de resolução. Além disso, em algumas modalidades, a unidade de aumento de resolução 92 pode ser uma unidade de redimensionamento 90 configurada para aumentar uma resolução ou diminuir uma resolução de uma figuração de referência recebida do armazenamento temporário de figuração decodificada 160 do decodificador de vídeo 30A.
[0140] Conforme ilustrado na Figura 3B, o decodificador de vídeo 33 pode incluir também um demultiplexador 99 ou demux. O demux 99 pode dividir um fluxo de bits de vídeo criptografado em múltiplos fluxos de bits com cada emissão de fluxo de bits pelo demux 99 que é fornecido a um decodificador de vídeo diferente 30A e 30B. Os múltiplos fluxos de bits podem ser criados pela recepção de um fluxo de bits e cada um dos decodificadores de vídeo 30A e 30B que recebe uma porção do fluxo de bits em um momento determinado. Apesar de em alguns casos os bits do fluxo de bits recebidos no demux 99 poderem ser alternados um bit por vez entre cada um dos decodificadores de vídeo (por exemplo, os decodificadores de vídeo 30A e 30B no exemplo da Figura 3B), em muitos casos o fluxo de bits é dividido diferentemente. Por exemplo, o fluxo de bits pode ser dividido alternando-se o decodificador de vídeo que recebe o fluxo de bits um bloco por vez. Em outro exemplo, o fluxo de bits pode ser dividido por uma razão não 1: 1 de blocos para cada um dos decodificadores de vídeo 30A e 30B. Por exemplo, os dois blocos podem ser fornecidos para o decodificador de vídeo 30B para cada bloco fornecido para o decodificador de vídeo 30A. Em algumas modalidades, a divisão do fluxo de bits pelo demux 99 pode ser pré- programada. Em outras modalidades, o demux 99 pode dividir o fluxo de bits com base em um sinal de controle recebido a partir de um sistema externo ao decodificador de vídeo 33, tal como a partir de um processador em um dispositivo de destino incluindo o módulo de destino 14. O sinal de controle pode ser gerado com base na resolução ou taxa de bit de um vídeo da interface de inserção 28, com base em uma largura de banda do enlace 16, com base em uma assinatura associada com um usuário (por exemplo, uma assinatura paga versus uma assinatura gratuita) ou com base em qualquer outro fator para determinar uma resolução obtenível pelo decodificador de vídeo 33.
FIGURAÇÃO DE PONTO DE ACESSO INTRA-ALEATÓRIO (IRAP)
[0141] Alguns esquemas de codificação de vídeo podem fornecer vários pontos de acesso aleatórios ao longo do fluxo de bits de modo que o fluxo de bits pode ser decodificado a partir de qualquer daqueles pontos de acesso aleatórios sem precisar decodificar quaisquer figurações que precedam aqueles pontos de acesso aleatórios no fluxo de bits. Em tais esquemas de codificação de vídeo, todas as figurações que seguem um ponto de acesso aleatório na ordem de emissão (por exemplo, incluindo aquelas figurações que estão na mesma unidade de acesso que a figuração que fornece o ponto de acesso aleatório) pode ser corretamente decodificada sem usar quaisquer figurações que precedam o ponto de acesso aleatório. Por exemplo, mesmo se uma porção do fluxo de bits for perdida durante a transmissão ou durante a decodificação, um decodificador pode retomar a decodificação do fluxo de bits iniciando do próximo ponto de acesso aleatório. O suporte para acesso aleatório pode facilitar, por exemplo, serviços de transmissão contínua dinâmica, operações de busca, comutação de canal, etc.
[0142] Em alguns esquemas de codificação, tais pontos de acesso aleatórios podem ser fornecidos pelas figurações que são chamadas de figurações de intraponto de acesso aleatório (IRAP). Por exemplo, um ponto de acesso aleatório (por exemplo, fornecido por uma figuração de IRAP de camada de aperfeiçoamento) em uma camada de aperfeiçoamento (“camadaA”) contida em uma unidade de acesso (“auA”) pode fornecer acesso aleatório específico de camada de modo que para cada camada de referência (“camadaB”) de camadaA (por exemplo, uma camada de referência chamada de uma camada que é usada para prever camadaA) que tem um ponto de acesso aleatório contido em uma unidade de acesso (“auB”) que está na camadaB e precede auA na ordem de decodificação (ou um ponto de acesso aleatório contido em auA), as figurações na camadaA que seguem auB na ordem de emissão (incluindo aquelas figurações localizadas em auB), são corretamente decodificáveis sem precisar decodificar quaisquer figurações na camadaA que precede auB.
[0143] As figurações IRAP podem ser codificadas usando-se intraprevisão (por exemplo, codificadas sem se referir a outras figurações) e podem incluir, por exemplo, figurações de decodificador de atualização instantânea (IDR), figurações de acesso aleatório limpo (CRA) e figurações de acesso de enlace quebrado (BLA). Quando há uma figuração de IDR no fluxo de bits, todas as figurações que precedem a figuração de IDR na ordem de decodificação não são usadas para previsão de figurações que seguem a figuração de IDR na ordem de decodificação. Quando há uma figuração de CRA no fluxo de bits, as figurações que seguem a figuração de CRA podem ou não podem usar figurações que precedem a figuração de CRA na ordem de decodificação para previsão. Aquelas figurações que seguem a figuração de CRA na ordem de decodificação, mas usam figurações que precedem a figuração de CRA na ordem de decodificação podem ser chamadas de figurações principais desviadas de acesso aleatório (RASL). Outro tipo de figuração que segue uma figuração de IRAP na ordem de decodificação e precede a figuração de IRAP na ordem de emissão é uma figuração principal decodificável de acesso aleatório (RADL) que pode não conter referências a quaisquer figurações que precedem a figuração de IRAP na ordem de decodificação. As figurações de RASL podem ser descartadas pelo decodificador se as figurações que precedem a figuração de CRA não estão disponíveis. Uma figuração de BLA indica para o decodificador que as figurações que precedem a figuração BLA pode não estar disponível para o decodificador (por exemplo, porque dois fluxos de bits são emendados juntos e a configuração BLA é a primeira figuração do segundo fluxo de bits na ordem de decodificação). Uma unidade de acesso (por exemplo, um conjunto de figurações que consistem de todas as figurações codificadas associadas com o mesmo tempo de emissão através de múltiplas camadas) que contém uma figuração de camada de base (por exemplo, uma figuração que tem um valor de ID de camada de 0) que é uma figuração de IRAP pode ser chamada de uma unidade de acesso IRAP.
ALINHAMENTO EM CAMADA TRANSVERSAL DE FIGURAÇÕES DE IRAP
[0144] Em SVC, figurações de IRAP podem não ser exigidas serem alinhadas (por exemplo, contidas na mesma unidade de acesso) através de diferentes camadas. Por exemplo, se as figurações de IRAP exigirem alinhamento, qualquer unidade de acesso que contém pelo menos uma figuração de IRAP conteriam apenas figurações de IRAP. Por outro lado, se as figurações de IRAP não exigem serem alinhadas, um uma única unidade de acesso, uma figuração (por exemplo, em uma primeira camada) pode ser uma figuração de IRAP e outra figuração (por exemplo, em uma segunda camada) pode ser uma figuração não IRAP. Ter tais figurações de IRAP não alinhadas em um fluxo de bits pode fornecer algumas vantagens. Por exemplo, em um fluxo de bits de duas camadas, se houver mais figurações de IRAP na camada de base do que na camada de aperfeiçoamento, em aplicativos de difusão e multidifusão, atraso de sintonia baixo e alta eficiência de codificação podem ser alcançados.
[0145] Em alguns esquemas de codificação de vídeo, um contador de ordem de figuração (POC) pode ser usado para rastrear a ordem relativa na qual as figurações decodificadas são exibidas. Alguns de tais esquemas de codificação podem fazer com que os valores de POC sejam redefinidos (por exemplo, definido para zero ou definido para algum valor sinalizado no fluxo de bits) sempre que certos tipos de figurações aparecem no fluxo de bits. Por exemplo, os valores de POC de certas figurações de IRAP podem ser redefinidos, o que faz com que os valores de POC de outras figurações que precedem aquelas figurações de IRAP na ordem de decodificação para também sejam redefinidos. Isso pode ser problemático quando as figurações de IRAP não exigem ser alinhadas através de diferentes camadas. Por exemplo, quando uma figuração (“picA”) é uma figuração de IRAP e outra figuração (“picB”) na mesma unidade de acesso não é uma figuração de IRAP, o valor de POC de uma figuração (“picC”) que é redefinido devido à picA ser uma figuração de IRAP na camada que contém picA pode ser diferente do valor de POC de uma figuração (“picD”) que não é redefinida na camada que contém picB, onde picC e picD estão na mesma unidade de acesso. Isso faz com que picC e picD para ter diferentes valores de POC apesar de eles pertencerem a mesma unidade de acesso (por exemplo, mesmo tempo de emissão). Portanto, nesse exemplo, o processo de derivação para derivar os valores de POC de picC e picD pode ser modificado para produzir valores de POC que são consistentes com a definição de valores de POC e unidade de acesso. CONTADOR DE ORDEM DE FIGURAÇÃO (POC)
[0146] Conforme discutido acima, o valor de um contador de ordem de figuração (POC) (por exemplo, PicOrderCntVal em HEVC) para uma figuração codificada particular denota a ordem relativa da figuração codificada particular no processo de emissão de figuração em relação às outras figurações na mesma sequência de vídeo codificada. Em algumas modalidades, o POC compreende bits menos significativos (LSB) e bits mais significativos (MSB) e o POC pode ser obtido pela concatenação dos MSB e dos LSB. Em outras modalidades, o POC pode ser obtido ao adicionar o valor dos MSB e o valor dos LSB. Os LSB podem ser sinalizados no cabeçalho de fatia e os MSB podem ser computados pelo criptografador ou o decodificador com base no tipo da unidade de NAL da figuração atual e os MSB e LSB de uma ou mais de figurações prévias na ordem de decodificação que não são(1) figurações de RASL ou de RADL, (2) não descartáveis (por exemplo, figurações marcadas como “descartáveis”, indicando que nenhuma outra figuração depende das mesmas, o que permite a elas serem descartadas para satisfazer restrições relacionadas à largura de banda), (3) figurações de não referência e de não subcamada (por exemplo, as figurações que não são usadas como referência por outras figurações na mesma subcamada temporal ou na mesma camada), (4) tem um ID temporal (por exemplo, ID de subcamada temporal) igual a 0. Tais figurações descritas em (l) a (4) podem ser chamadas no presente documento de figurações de âncora POC. De modo similar, as figurações que tem um valor de ID temporal maior do que 0, figurações de RASL ou RADL, figurações descartáveis ou figurações não referência de subcamada podem ser chamadas de figurações não âncora POC. As figurações âncora POC podem incluir também figurações que um criptografador e/ou um decodificador podem não eleger para remover do fluxo de bits (por exemplo, para satisfazer uma restrição de largura de banda). As figurações âncora POC podem incluir também qualquer figuração diferente dos tipos de figurações que um criptografador e/ou um decodificador podem ser configurados para remover do fluxo de bits (por exemplo, para satisfazer uma restrição de largura de banda). As figurações não âncora POC podem incluir qualquer figuração que não é uma figuração âncora POC.
[0147] Quando a figuração atual é (1) uma figuração de IRAP com NoRaslOutputFlag (por exemplo, um indicador que indica que figurações de RASL não devem ser emitidas se definido para 1 e indica que figurações de RASL devem ser emitidas se definido para 0) igual a 1, ou (2) uma figuração de CRA que é a primeira figuração do fluxo de bits, o valor de POC de MSB é inferido ser igual a 0. Conforme descrito acima, em um fluxo de bits de múltiplas camadas (por exemplo, fluxo de bits de SHVC ou de MV-HEVC com mais do que uma camada), podem existir unidades de acesso (AU) onde uma ou mais figurações são figurações de IRAP e uma ou mais outras figurações são figurações de não IRAP e tais AUs podem ser chamadas de “AUs de IRAP não alinhadas”. Quando é feita a decodificação de fluxos de bits que contêm AUs de IRAP não alinhadas, é possível (e provável) que os POCs derivados dos valores de LSB de POC sinalizados no fluxo de bits violem a exigência de conformidade de que todas as figurações em uma unidade de acesso deveriam ter o mesmo valor de POC.
[0148] Em algumas modalidades, um indicador de redefinição de POC (por exemplo, indicador de redefinição de POC) pode ser usado para redefinir o POC das figurações de modo que mesmo quando as AUs de IRAP não alinhadas estejam presentes no fluxo de bits, o valor de POC da figuração atual e as figurações no DPB são ajustados de modo que o POC de todas as figurações em uma AU sejam os mesmos.
[0149] Em algumas modalidades, em vez de um único indicador de redefinição de POC, dois indicadores podem ser usados: um indicador de redefinição de POC de MSB (por exemplo, poc_msb_reset_flag) e um indicador de redefinição de POC de LSB (por exemplo, poc_lsb_reset_flag). O primeiro (isto é, o poc_msb_reset_flag) redefine os MSB do POC e o último (isto é, o POC-lsb_reset_flag) redefine os LSB do POC. Ambos os indicadores podem ser sinalizados no cabeçalho de fatia.
[0150] Por exemplo, se uma figuração particular tem um valor de POC de 233, e os MSB e os LSB do POC constituem 1 bit e 7 bits, respectivamente, os MSB seriam “1” (por exemplo, com um valor de 128) e os LSB seriam “1101001” (por exemplo, com um valor de 105). Portanto, se apenas os MSB do POC são redefinidos (por exemplo, em resposta ao processamento de poc_msb_reset_flag que tem um valor de 1), o valor de POC se torna 105 e se apenas os LSB são redefinidos (por exemplo, em resposta ao processamento poc_lsb_reset_flag que tem um valor de 1), o valor de POC se torna 128. Se ambos os MSB e os LSB são redefinidos (por exemplo, em resposta ao processamento de poc_msb_reset_flag e o indicador de redefinição de POC de LSB, cada um terem um valor de 1), o valor de POC se torna 0.
REDEFINIÇÃO DE VALORES DE POC
[0151] Com referência às Figuras 4 a 7, a motivação para redefinir os valores de POC (por exemplo, os LSB e os MSB) nas AUs de IRAP não alinhadas será descrita. Conforme descrito acima, em alguns esquemas de codificação, certas restrições de conformidade podem especificar que o POC de todas as figurações codificadas em uma única AU deve ser o mesmo. Sem redefinições apropriadas dos valores de POC, as AUs de IRAP não alinhadas no fluxo de bits podem produzir valores de POC que violam tais restrições de conformidade.
[0152] A Figura 4 mostra um fluxo de bits de múltiplas camadas 400 incluindo uma camada de aperfeiçoamento (EL) 410 e uma camada de base (BL) 420. A EL 410 inclui figurações de EL 412 a 418 e a BL inclui figurações de BL 422 a 428. O fluxo de bits de múltiplas camadas 400 inclui também as unidades de acesso (AUs) 430 a 460. A AU 430 inclui a figuração de EL 412 e a figuração de BL 422, a AU 440 inclui a figuração de EL 414 e a figuração de BL 424, a AU 450 inclui a figuração de EL 416 e a figuração de BL 426 e a AU 460 inclui a figuração de EL 418 e a figuração de BL 428. No exemplo da Figura 4, a figuração de EL 414 é uma figuração de IDR e a figuração de BL correspondente 424 na AU 440 é uma figuração final (por exemplo, uma figuração não IRAP) e, consequentemente, a AU 440 é uma AU de IRAP não alinhada. Em algumas modalidades, uma redefinição de MSB é realizada em uma determinada figuração se a figuração é uma figuração de IDR que não está na camada de base. Tal figuração de IDR pode ter um valor de POC diferente de zero dos LSB.
[0153] A Figura 5 mostra uma tabela 500 que ilustra os valores de POC que podem ser sinalizados ou derivados em conexão com o fluxo de bits de múltiplas camadas 400 da Figura 4. Conforme mostrado na Figura 5, os MSB do POC na EL 410 são redefinidos na figuração de EL 414, enquanto os MSB do POC na BL 420 não são redefinidos. Portanto, se uma redefinição não é realizada na BL 420 na figuração de BL 424 na AU de IRAP não alinhada 440, os valores de POC de figurações de BL e as figurações de EL nas AUs de 440 a 460 não seriam compatíveis (isto é, não seriam equivalentes) conforme especificado pelas restrições de conformidade. As diferenças nos valores de POC com e sem uma redefinição são destacadas em negrito na Figura 5.
[0154] A Figura 6 mostra um fluxo de bits de múltiplas camadas 600 incluindo uma camada de aperfeiçoamento (EL) 610 e uma camada de base (BL) 620. A EL 610 inclui figurações de EL de 612 a 618 e a BL inclui figurações de BL de 622 a 628. O fluxo de bits de múltiplas camadas 600 inclui também unidades de acesso (AUs) de 630 a 660. A AU 630 inclui uma figuração de EL 612 e uma figuração de BL 622, uma AU 640 inclui uma figuração de EL 614 e uma figuração de BL 624, uma AU 650 inclui uma figuração de EL 616 e uma figuração de BL 626 e uma AU 660 inclui uma figuração de EL 618 e uma figuração de BL 628. No exemplo da Figura 6, a figuração de BL 624 é uma figuração de IDR e a figuração de EL correspondente 614 na AU 640 é uma figuração final (por exemplo, uma figuração não IRAP) e, consequentemente, a AU 640 é uma AU de IRAP não alinhada. Em algumas modalidades, uma redefinição de MSB e uma redefinição de LSB são realizadas para uma determinada figuração se a figuração é uma figuração de IDR que está na camada de base. Por exemplo, o fluxo de bits pode incluir uma indicação de que o POC de MSB e o POC de LSB de tal figuração de BL de IDR deve ser redefinido. Alternativamente, o decodificador pode realizar a redefinição do POC de MSB e o POC de LSB de tal figuração de BL de IDR sem qualquer indicação no fluxo de bits de que uma redefinição de POC deve ser realizada.
[0155] A Figura 7 mostra uma tabela 700 que ilustra os valores de POC que podem ser sinalizados ou derivados em conexão com o fluxo de bits de múltiplas camadas 600 da Figura 6. Conforme mostrado na Figura 7, os MSB e os LSB do POC na BL 620 são redefinidos na figuração de BL 624, enquanto nem os MSB ou os LSB do POC na EL 610 são redefinidos. Portanto, se uma redefinição dos MSB e dos LSB do POC não é realizada na EL 610 na figuração de EL 614 na AU de IRAP não alinhada 640, os valores de POC das figurações de BL e das figurações de EL nas AUs 640 a 660 não seriam compatíveis conforme especificado pelas restrições de conformidade. As diferenças nos valores de POC com e sem uma redefinição são destacadas em negrito na Figura 7.
[0156] As modalidades descritas no presente documento não são limitadas às configurações de fluxo de bits exemplificativas ilustradas nas Figuras 4 e 6, e as técnicas descritas no presente documento podem ser estendidas para qualquer fluxo de bits de múltiplas camadas que tem qualquer número de camadas, unidade de acesso e figurações. Além disso, nos exemplos ilustrado nas Figuras 4 a 7, os LSB do POC são representados usando-se sete bits. Contudo, as técnicas descritas no presente documento podem ser estendidas aos cenários que têm quaisquer formas de representação de valor de POC.
REDEFINIÇÃO DE FIGURAÇÕES ANTERIORES E PERDA DE FIGURAÇÕES REDEFINIDAS
[0157] Quando uma redefinição de MSB ou uma redefinição de LSB é realizada em uma figuração particular, outras figurações na mesma camada que precede a figuração particular na ordem de decodificação são também redefinidas com base na redefinição realizada na figuração particular. Por exemplo, no exemplo da Figura 6, a figuração de EL 614 tem um valor de POC de 241 (por exemplo, LSB de “1110001” + MSB de “1”, que é 113 + 128). Quando as redefinições de MSB e LSB são realizadas na figuração de EL 614, o valor de POC da figuração de EL 614 se torna 0 e a figuração de EL 612 na EL 610 que precede a figuração de EL 614 na ordem de decodificação é também redefinida com base no valor de POC original de 241 da figuração de EL 614. Por exemplo, o novo valor de POC da figuração de EL 612 é calculado pela subtração do valor pré-redefinido de POC da figuração de EL 614 (que é um valor de 241) do valor pré-redefinido de POC da figuração de EL 612, que é 240 (por exemplo, LSB de “1110000” + MSB de “1”, que é 112 + 128). Portanto, após a redefinição, o valor de POC da figuração de EL 612 se torna -1, de acordo com o fato de que a figuração de EL 612 deve ser emitida antes de a figuração de EL 614, onde um valor menor de POC denota uma posição anterior na ordem de emissão. Conforme mostrado na Figura 7, os valores de LSB sinalizados para as AUs subsequentes 650 e 660 são ajustados, consequentemente, (por exemplo, para 1 e 2, respectivamente), com a presunção de que a redefinição é realizada na figuração de EL 614.
[0158] Contudo, mesmo se uma redefinição apropriada de POC dos MSB e/ou dos LSB descrita acima é sinalizada no fluxo de bits (por exemplo, na cabeçalho de fatia) de modo que o decodificador possa processar o sinal e, consequentemente, realizar a redefinição de POC, se a figuração que sinaliza tal redefinição de POC é perdida durante a transmissão do fluxo de bits ou removida do fluxo de bits a fim de satisfazer as restrições relacionadas à largura de banda, sendo que a redefinição de POC que se destina a ser realizada na figuração particular pode não ser apropriadamente realizada.
[0159] Por exemplo, no exemplo da Figura 6, se a figuração de EL 614 está indisponível para o decodificador, o decodificador não reconheceria (isto é, não determinaria) a redefinição dos MSB e dos LSB do POC na EL 610 na AU 640. Consequentemente, os valores de POC de quaisquer figurações anteriores à figuração de EL indisponível 614 na ordem de decodificação ainda teriam os seus valores de POC pré-redefinição originais, visto que a redefinição na figuração de EL 614 nunca ocorreu (isto é, a operação de redefinição não foi realizada). Por outro lado, os valores de POC das figurações que seguem à figuração de EL indisponível 614 na ordem de decodificação teriam sido determinados ou sinalizados como se a redefinição tivesse de fato ocorrido (isto é, a operação de redefinição foi realizada). Portanto, no exemplo da Figura 7, as figurações de EL 612, 616 e 618 teriam valores de POC de 240, 1 e 2, respectivamente, que seriam incorretos já que a figuração de EL 612 precede as figurações de EL 616 e 618 na ordem de emissão. Portanto, um método de codificação é desejado o qual resulte em valores de POC corretos, mesmo quando a figuração que sinaliza a redefinição de POC se torna indisponível.
EXEMPLOS E IMPLANTAÇÕES
[0160] Diversos métodos que podem ser usados para atender a certos problemas descritos acima serão descritos abaixo. Alguns desses métodos podem ser aplicados de modo independente e alguns deles podem ser aplicados em combinação. Adicionalmente, a sintaxe e semântica exemplificativas que podem ser usadas para implantar um ou mais dos métodos descritos no presente documento são adicionalmente fornecidos abaixo. Quando certas porções da especificação de HEVC são reproduzidas para ilustrar as adições e deleções que podem ser incorporadas para implantar um ou mais dos métodos descritos no presente documento, tais modificações são mostradas em itálico e riscadas, respectivamente.
VALORES DE SINALIZAÇÃO PARA DERIVAÇÃO DE POC
[0161] Em algumas modalidades, uma mensagem de SEI que contém informações para derivação de POC correta é sinalizada para uma ou mais figurações que seguem a figuração para a qual o POC de MSB e/ou o POC de LSB deve ser redefinido. Por exemplo, a mensagem de SEI pode ser associada com uma figuração, picA, que segue outra figuração, picB, para a qual o POC de MSB, o POC de LSB ou ambos podem ser redefinidos. Portanto, mesmo quando picB é inteiramente perdida, a mensagem de SEI associada com a picA pode ser usada para derivar os valores corretos de POC para outras figurações na mesma camada.
[0162] Em algumas modalidades, as informações para derivação de POC correta são sinalizadas no cabeçalho de fatia de uma ou mais figurações que seguem a figuração para a qual o POC de MSB e/ou o POC de LSB deve ser redefinido. Por exemplo, as informações podem ser incluídas no cabeçalho de fatia de uma figuração picA que segue outra figuração picB para a qual o POC de MSB, o POC de LSB, ou ambos devem ser redefinidos. Portanto, mesmo quando a picB está inteiramente perdida, as informações incluídas no cabeçalho de fatia da picA podem ser usadas para derivar os valores corretos de POC para outras figurações na mesma camada.
DERIVAÇÃO DE POC CORRETO COM BASE EM VALORES SINALIZADOS
[0163] A Figura 8 é um fluxograma que ilustra um método 800 para codificar informações de vídeo, de acordo com uma modalidade da presente revelação. As etapas ilustradas na Figura 8 podem ser realizadas por um criptografador (por exemplo, o criptografador de vídeo conforme mostrado na Figura 2A ou Figura 2B), um decodificador (por exemplo, o decodificador de vídeo conforme mostrado na Figura 3A ou Figura 3B) ou qualquer outro componente. Para conveniência, o método 800 é descrito conforme realizado por um codificador, que pode ser o criptografador, o decodificador ou outro componente.
[0164] O método 800 começa no bloco 801. No bloco 805, o codificador processa informações de derivação de POC associadas com uma figuração. Em algumas modalidades, o processamento das informações de derivação de POC pode incluir a sinalização das informações de derivação de POC em um fluxo de bits. Conforme descrito acima, as informações de derivação de POC podem ser sinalizadas no cabeçalho de fatia da figuração e/ou sinalizadas como uma mensagem de SEI associada com a figuração. Em algumas modalidades, o processamento das informações de derivação de POC pode incluir o processamento de informações de derivação de POC incluídas em um fluxo de bits. Por exemplo, as informações de derivação de POC podem incluir: um tipo de redefinição de POC que indica se o valor de POC da figuração com POC redefinido anterior (por exemplo, uma figuração em que uma redefinição de POC deve ser realizada) na mesma camada deve ser redefinido pela redefinição tanto dos bits mais significativos (MSB) quanto dos bits menos significativos (LSB) do valor de POC ou pela redefinição apenas dos MSB do valor de POC; uma redefinição de valor de POC que indica o valor de POC da figuração que foi perdida ou removida que também precede a figuração com a qual as informações de derivação de POC estão associadas e um ID de redefinição de POC que identifica a redefinição de POC para a qual as informações de derivação de POC são fornecidas. Por exemplo, o decodificador pode desviar de uma redefinição de POC sinalizada em conexão com uma figuração particular se a redefinição de POC sinalizada que tiver um valor de ID de redefinição de POC de 1 e outra redefinição de POC que tiver um ID de redefinição de POC de 1 já tiverem sido realizadas.
[0165] No bloco 810, o codificador determina o POC de outra figuração que precede a figuração na ordem de decodificação. No exemplo mostrado na Figura 7, mesmo se a figuração de EL 614 que contém as instruções de redefinição de valor de POC é perdida ou, de outro modo, removida, o valor de POC da figuração de EL 612 seria corretamente redefinido usando-se as informações de derivação de POC, por exemplo, associado com as figurações de EL 616 e/ou 618. O método 800 termina no 815.
[0166] Conforme discutido acima, um ou mais componentes de criptografador de vídeo 20 da Figura 2A, o criptografador de vídeo 23 da Figura 2B, o decodificador de vídeo 30 da Figura 3A ou o decodificador de vídeo 33 da Figura 3B (por exemplo, a unidade de previsão de intercamada 128 e/ou a unidade de previsão de intercamada 166) podem ser usados para implantar qualquer uma das técnicas discutidas na presente revelação, tal como o processamento de informações de derivação de POC associadas com uma ou mais figurações e a determinação do POC de outra figuração que precede a uma ou mais figurações na ordem de decodificação.
DESABILITAÇÃO DE REDEFINIÇÃO DE POC EM FIGURAÇÕES NÃO ÂNCORA POC
[0167] Em algumas modalidades, uma restrição de conformidade pode ser aplicada (por exemplo, uma restrição de conformidade pode ser determinada para ser aplicável e depois aderida com base no desempenho da operação(ões), por exemplo por um codificador, ao fluxo de bits de modo que o valor tanto de poc_lsb_reset_flag quanto de poc_msb_reset_flag não sejam definidos igual a 1 quando o segmento da fatia pertencer a uma figuração que não é uma figuração âncora POC. Conforme descrito acima, tal figuração pode ser uma figuração não referência de subcamada, uma figuração descartável, uma figuração de RASL, uma figuração de RADL, ou uma figuração que tem uma ID temporal maior do que 0. Por exemplo, a figuração não referência de subcamada pode se referir a uma figuração que não é usada como referência por outras figurações da camada temporal mais alta. A figuração descartável pode se referir a uma figuração que não é usada como referência por qualquer outra figuração. Por exemplo, tais figurações descartáveis podem ser marcadas como “descartáveis”. Tais figurações descartáveis podem ser removidas do fluxo de bits pelo criptografador ou pelo decodificador a fim de satisfazer as restrições relacionadas à largura de banda. Em algumas modalidades, uma figuração descartável inclui qualquer figuração que pode ser removida do fluxo de bits por escolha (por exemplo, pelo decodificador ou algum dispositivo intermediário). As figurações de RASL e RADL se referem a figurações principais, e as figurações de RASL podem não ser emitidas se o processo de decodificação começar na figuração de IRAP associada com a figuração de RASL. A figuração que tem um ID temporal maior do que 0 pode ser uma figuração que pode ser removida do fluxo de bits se a taxa de quadro for regulada para baixo para um valor suficientemente baixo. Por exemplo, se um fluxo de bits contém três subcamadas temporais, as figurações de todas as três subcamadas temporais podem ser exibidas a fim de operar em 90 quadros por segundo (fps), as figurações das duas subcamadas temporais inferiores podem ser exibidas a fim de operar a 60 fps e as figurações da subcamada temporal mais inferior podem ser exibidas a fim de operar a 30 fps. Conforme discutido acima, as restrições de fluxo de bits ou outras restrições de desempenho podem fazer com que uma ou mais figurações sejam removidas ou descartadas do fluxo de bits (por exemplo, um codificador pode avaliar tais restrições e, com base nessa avaliação, realizar operações de acordo com as restrições de modo que uma ou mais figurações sejam removidas do fluxo de bits ou ignoradas no fluxo de bits) e, nesse exemplo, as figurações da subcamada temporal mais superior podem ser removidas antes da remoção das figurações da próxima subcamada temporal mais superior e assim por diante. Por exemplo, as figurações na subcamada temporal mais inferior podem não ser removidas do fluxo de bits até que as figurações em todas as outras subcamadas temporais sejam removidas. Portanto, as figurações que tem um ID temporal maior do que 0 (onde um ID temporal de 0 corresponde à subcamada temporal mais inferior) são mais prováveis de serem removidas do fluxo de bits.
[0168] Conforme descrito no presente documento, essas figurações (por exemplo, uma figuração não referência de subcamada, uma figuração descartável, uma figuração de RASL, uma figuração de RADL, uma figuração que tem um ID temporal maior do que 0 e similares) podem ser chamadas de figurações não âncora POC. Em algumas modalidades, devido ao fato dessas figurações serem mais prováveis de serem removidas do fluxo de bits (por exemplo, para satisfazer certas restrições relacionadas à largura de banda), uma restrição que especifica que essas figurações não podem acionar uma redefinição de POC pode ser introduzida para reduzir a probabilidade de que uma figuração com POC redefinido pode ser removida do fluxo de bits. Por exemplo, se não é permitido que uma figuração descartável acione uma redefinição de POC (por exemplo, pela sinalização de uma redefinição de MSB de POC, uma redefinição de LSB de POC ou ambas), mesmo se a figuração descartável é descartada, a indisponibilidade daquela figuração descartável para o decodificador não resultaria nos problemas descritos acima com relação às redefinições de POC.
[0169] Em algumas modalidades, o codificador pode determinar que uma redefinição de POC deve ser sinalizada em conexão com uma figuração particular e subsequentemente determinar que a figuração particular é uma figuração não referência de subcamada, uma figuração descartável, uma figuração de RASL, uma figuração de RADL, uma figuração que tem um ID temporal maior do que 0 ou uma figuração que é, de outro modo, provável de ser removida do fluxo de bits e, portanto, inibir a sinalização de uma redefinição de POC na figuração particular ou sinalizar que a redefinição de POC não é para ser realizada na figuração particular. Em algumas modalidades, o codificador pode determinar que uma redefinição de POC deve ser sinalizada em conexão com uma figuração particular e, subsequentemente, evitar que a figuração particular seja uma figuração não âncora POC (por exemplo, ao evitar que a figuração particular tenha certos tipos de figuração). Em algumas modalidades, a determinação em relação a se uma redefinição de POC deve ser realizada na figuração particular pode ser com base pelo menos em parte no fato de a figuração particular ser uma figuração não referência de subcamada, uma figuração descartável, uma figuração de RASL, uma figuração de RADL, uma figuração que tem um ID temporal maior do que 0 ou uma figuração que é, de outro modo, provável de ser removida do fluxo de bits. Em tais modalidades, se a figuração particular não é uma figuração âncora POC, o codificador indica no fluxo de bits que a redefinição de POC não é para ser realizada na figuração particular. Alternativamente, o codificador pode simplesmente não fornecer qualquer indicação no fluxo de bits que uma redefinição de POC deve ser realizada na figuração particular. De modo similar, se a figuração particular é uma figuração âncora POC, o codificador, se uma redefinição de POC é determinada como necessária na figuração particular, indica no fluxo de bits que a redefinição de POC deve ser realizada na figuração particular. Alternativamente, o codificador pode simplesmente não fornecer qualquer indicação no fluxo de bits de que a redefinição de POC não é para ser realizada ou que a redefinição de POC não deve ser realizada na figuração particular.
DESABILITAÇÃO DE REDEFINIÇÃO DE POC EM FIGURAÇÕES NÃO ÂNCORA POC
[0170] A Figura 9 é um fluxograma que ilustra um método 900 para codificar informações de vídeo, de acordo com uma modalidade da presente revelação. As etapas ilustradas na Figura 9 podem ser realizadas por um criptografador (por exemplo, o criptografador de vídeo conforme mostrado na Figura 2A ou Figura 2B), um decodificador (por exemplo, o decodificador de vídeo conforme mostrado na Figura 3A ou Figura 3B) ou qualquer outro componente. Por conveniência, o método 900 é descrito conforme realizado por um codificador, que pode ser o criptografador, o decodificador ou outro componente.
[0171] O método 900 começa no bloco 901. No bloco 905, o codificador determina se uma figuração é uma figuração âncora POC. Por exemplo, as figurações âncora POC podem incluir quaisquer figurações que são: (1) figurações não RASL ou RADL, (2) figurações não descartáveis (por exemplo, figurações marcadas como “descartáveis”, que indicam que nenhuma outra figuração depende delas, o que permite que elas sejam ignoradas para satisfazer restrições relacionadas à largura de banda), (3) figurações não referência não subcamada (por exemplo, figurações que não são usadas como referência por outras figurações em camadas temporais superiores), (4) tem um ID temporal (por exemplo, ID de subcamada temporal) igual a 0 e/ou (5) qualquer outra figuração que é, de outro modo, provável se ser removida do fluxo de bits. Se o codificador determina que a figuração não é uma figuração âncora POC, o método 900 procede para 910. Por outro lado, se o codificador determina que a figuração é uma figuração âncora POC, o método 900 procede para 915.
[0172] No bloco 910, o codificador sinaliza para a figuração que a redefinição de POC não é para ser realizada na figuração. Por exemplo, o codificador pode sinalizar um ou mais indicadores que indicam que tanto a redefinição de LSB de POC, quanto a redefinição de MSB de POC não devem ser realizadas em conexão com a figuração. Em algumas modalidades, o codificador pode não sinalizar ou de outro modo fornecer qualquer indicação no fluxo de bits que a redefinição de POC deve ser realizada na figuração. Por exemplo, durante o processo de decodificação, se nenhuma sinalização ou indicação que indica que uma redefinição de POC deve ser realizada é fornecida no fluxo de bits, o decodificador pode não realizar uma redefinição de POC naquela figuração.
[0173] No bloco 915, o codificador sinaliza uma redefinição de POC para a figuração. Por exemplo, o codificador pode sinalizar um ou mais indicadores no fluxo de bits que indicam que uma redefinição de LSB de POC, uma redefinição de MSB de POC ou ambas devem ser realizadas. Em algumas modalidades, o codificador pode não sinalizar ou, de outro modo, fornecer qualquer indicação no fluxo de bits de que uma redefinição de POC não é para ser realizada na figuração. Por exemplo, durante o processo de decodificação, o decodificador pode inferir ou determinar a partir de outros sinais ou indicações no fluxo de bits que uma redefinição de POC deve ser realizada, e que se nenhum sinal adicional ou indicação adicional que desabilite a redefinição de POC é fornecido no fluxo de bits, o decodificador deve realizar a redefinição de POC conforme inferido ou determinado. O método 900 termina no 920.
[0174] Conforme discutido acima, um ou mais componentes de criptografador de vídeo 20 da Figura 2A, o criptografador de vídeo 23 da Figura 2B, o decodificador de vídeo 30 da Figura 3A ou o decodificador de vídeo 33 da Figura 3B (por exemplo, unidade de previsão de intercamada 128 e/ou unidade de previsão de intercamada 166) podem ser usados para implantar qualquer uma das técnicas discutidas na presente revelação, tais como determinar se uma figuração é uma figuração âncora POC, habilitar a redefinição de POC, desabilitar uma redefinição de POC, fornecer uma indicação no fluxo de bits de que uma redefinição de POC deve ser realizada e fornecer uma indicação no fluxo de bits de que uma redefinição de POC não é para ser realizada.
[0175] No método 900, um ou mais dos blocos mostrados na Figura 9 podem ser removidos (por exemplo, não realizados) e/ou a ordem na qual o método é realizado pode ser trocada. Por exemplo, apesar de o bloco 910 ser mostrado na Figura 9, o bloco 910 pode ser removido e o método 900 pode terminar sem realizar quaisquer operações adicionais se o codificador determinar que uma figuração não é uma figuração âncora POC. Alternativamente, o bloco 915 pode ser removido e o método 900 pode terminar sem realizar quaisquer operações adicionais se o codificador determinar que a figuração é uma figuração âncora POC. Portanto, as modalidades da presente revelação não são limitadas a ou pelo exemplo mostrado na Figura 9, e outras variações podem ser implantadas sem se afastar do espírito desta revelação.
FIGURAÇÕES DE IRAP NA AU DE IRAP NÃO ALINHADA
[0176] Em algumas modalidades, uma restrição de conformidade pode ser aplicada ao fluxo de bits de modo que quando uma unidade de acesso contém pelo menos uma figuração que é uma figuração de IRAP com NoRaslOutputFlag igual a 1, uma redefinição de POC de MSB (por exemplo, MSB do POC) deve ser realizada para todas as figurações na unidade de acesso que não são figurações de IRAP. Em tais modalidades, poc_msb_reset_flag associado com as figurações de não IRAP pode ser definido para 1 (por exemplo, indicando que uma redefinição de POC de MSB deve ser realizada em tais figurações de não IRAP). Por exemplo, se a figuração A é uma figuração de IRAP em uma unidade de acesso que segue imediatamente um ponto de emenda (por exemplo, indicado pelo valor de NoRaslOutputFlag de 1) e a figuração B que está na mesma unidade de acesso que a figuração A é uma figuração não IRAP, uma redefinição de MSB de POC pode ser sinalizado no fluxo de bits para a figuração B.
[0177] A Figura 10 é um fluxograma que ilustra um método 1000 para codificar informações de vídeo, de acordo com uma modalidade da presente revelação. As etapas ilustradas na Figura 10 podem ser realizadas por um criptografador (por exemplo, o criptografador de vídeo conforme mostrado na Figura 2A ou Figura 2B), um decodificador (por exemplo, o decodificador de vídeo conforme mostrado na Figura 3A ou Figura 3B) ou qualquer outro componente. Por conveniência, o método 1000 é descrito conforme realizado por um codificador, que pode ser o criptografador, o decodificador ou outro componente.
[0178] O método 1000 começa no bloco 1001. No bloco 1005, o codificador determina se uma figuração é uma figuração de FRAP. Conforme descrito acima, em algumas modalidades, uma figuração de IRAP pode ser uma figuração de IDR, uma figuração de CRA ou uma figuração de BLA. Em algumas modalidades, o codificador pode determinar também, com base nas informações incluídas no fluxo de bits, se a figuração está em uma unidade de acesso que segue imediatamente um ponto de emenda. Em algumas modalidades, o codificador pode determinar também, em vez de determinar se a figuração está em uma unidade de acesso que segue imediatamente um ponto de emenda, se as figurações anteriores à figuração na ordem de decodificação devem ser emitidas. Por exemplo, se a figuração está em uma unidade de acesso que segue imediatamente um ponto de emenda ou se as figurações anteriores à figuração na ordem de decodificação deveriam ser emitidas, ambos podem ser indicados por uma ou mais variáveis que são sinalizadas ou indicadas no fluxo de bits ou derivadas de outras informações disponíveis para o codificador (por exemplo, NoRaslOutputFlag). Por exemplo, para figurações de IDR e figurações de CRA, NoRaslOutputFlag pode ser derivado de outras informações incluídas no fluxo de bits. Para as figurações de BLA, a presença de tais figurações de BLA podem indicar para o decodificador que as figurações de BLA seguem imediatamente um ponto de emenda. Se o codificador determina que a figuração é uma figuração de IRAP, o método 1000 procede para o bloco 1010. De outro modo, o método 1000 termina no 1015.
[0179] No bloco 1010, o codificador habilita uma redefinição de MSB de POC para todas as outras figurações de não IRAP na unidade de acesso. Em algumas modalidades, o codificador habilita uma redefinição de MSB de POC para todas as outras figurações de não IRAP na unidade de acesso que seguem imediatamente um ponto de emenda na ordem de decodificação. Por exemplo, o codificador pode sinalizar um indicador de redefinição de POC de MSB (por exemplo, poc_msb_reset_flag) que tem um valor de 1, indicar que uma redefinição de MSB de POC deve ser realizada para cada uma das figurações de não IRAP. O método 1000 termina no 1015.
[0180] Conforme discutido acima, um ou mais componentes de criptografador de vídeo 20 da Figura 2A, o criptografador de vídeo 23 da Figura 2B, o decodificador de vídeo 30 da Figura 3A ou o decodificador de vídeo 33 da Figura 3B (por exemplo, unidade de previsão de intercamada 128 e/ou unidade de previsão de intercamada 166) podem ser usados para implantar qualquer uma das técnicas discutidas na presente revelação, tais como determinar se uma figuração é uma figuração de IRAP e habilitar uma redefinição de MSB de POC para todas as outras figurações de não IRAP na unidade de acesso.
[0181] No método 1000, um ou mais dos blocos mostrados na Figura 10 podem ser removidos (por exemplo, não realizados) e/ou a ordem na qual o método é realizado pode ser trocada. Portanto, as modalidades da presente revelação não são limitadas a ou pelo exemplo mostrado na Figura 10, e outras variações podem ser implantadas sem se afastar do espírito desta revelação.
FIGURAÇÕES DE IDR DE CAMADA DE BASE EM AU DE IRAP NÃO ALINHADA
[0182] Em algumas modalidades, uma restrição de conformidade pode ser aplicada ao fluxo de bits de modo que quando uma unidade de acesso A contém uma figuração de camada de base que é uma figuração de IDR, uma redefinição LSB de POC (por exemplo, LSB do POC) deve ser realizada para todas as figurações de camadas de aperfeiçoamento na unidade de acesso A que não são figurações de IDR ou que têm um valor de POC diferente de zero dos LSB sinalizados no fluxo de bits. Em tais modalidades, o indicador de redefinição de POC de LSB associado com as figurações de EL (por exemplo, que indicam que uma redefinição de LSB de POC deve ser realizada em tais figurações de EL). Por exemplo, se a figuração A na camada de base é uma figuração de IDR e a figuração B que está na mesma unidade de acesso que a figuração A não é uma figuração de IDR, uma redefinição de LSB de POC pode ser sinalizada no fluxo de bits para a figuração B. Em outro exemplo, se a figuração A na camada de base é uma figuração de IDR e a figuração C na mesma unidade de acesso que a figuração A tem um valor de POC dos LSB de 0 sinalizado no fluxo de bits, uma redefinição de LSB de POC pode não ser necessária ser sinalizada no fluxo de bits para a figuração C.
[0183] A Figura 11 é um fluxograma que ilustra um método 1100 para codificar informações de vídeo, de acordo com uma modalidade da presente revelação. As etapas ilustradas na Figura 11 podem ser realizadas por um criptografador (por exemplo, o criptografador de vídeo conforme mostrado na Figura 2A ou Figura 2B), um decodificador (por exemplo, o decodificador de vídeo conforme mostrado na Figura 3A ou Figura 3B) ou qualquer outro componente. Por conveniência, o método 1100 é descrito conforme realizado por um codificador, que pode ser o criptografador, o decodificador ou outro componente.
[0184] O método 1100 começa no bloco 1101. No bloco 1105, o codificador determina se uma figuração é uma figuração de camada de base de IDR. Em algumas modalidades, o POC de uma figuração de BL de IDR é automaticamente redefinido para 0. Se o codificador determina que a figuração é a figuração de BL de IDR, o método 1100 procede para o bloco 1110. De outro modo, o método 1100 termina no 1115.
[0185] No bloco 1110, o codificador habilita uma redefinição de LSB de POC para todas as outras figurações não IDR na unidade de acesso. Por exemplo, o codificador pode sinalizar um indicador de redefinição de POC de LSB (por exemplo, indicador de redefinição de POC de LSB) que tem um valor de 1, o que indica que uma redefinição de LSB de POC deve ser realizada para cada uma das figurações não IDR na mesma unidade de acesso que a figuração de BL de IDR. O método 1100 termina no 1115.
[0186] Conforme discutido acima, um ou mais componentes de criptografador de vídeo 20 da Figura 2A, o criptografador de vídeo 23 da Figura 2B, o decodificador de vídeo 30 da Figura 3A ou o decodificador de vídeo 33 da Figura 3B (por exemplo, unidade de previsão de intercamada 128 e/ou unidade de previsão de intercamada 166) podem ser usados para implantar qualquer uma das técnicas discutidas na presente revelação, tais como determinar se uma figuração é uma figuração de BL de IDR e habilitar uma redefinição de LSB de POC para todas as outras figurações não IDR na unidade de acesso.
[0187] No método 1100, um ou mais dos blocos mostrados na Figura 11 podem ser removidos (por exemplo, não realizados) e/ou a ordem na qual o método é realizado pode ser trocada. Portanto, as modalidades da presente revelação não são limitadas a ou pelo exemplo mostrado na Figura 11 e outras variações podem ser implantadas sem se afastar do espírito desta revelação.
SINALIZAÇÃO DE REDEFINIÇÃO RESERVA EM FIGURAÇÕES SUBSEQUENTES
[0188] Em algumas modalidades, para cada figuração picA que redefine seu valor de MSB de POC a fim de alinhar o POC derivado (por exemplo, PicOrderCntVal) com outra figuração que é uma figuração de IRAP com NoRaslOutputFlag igual a 1 e que está na mesma unidade de acesso que picA, uma indicação pode ser fornecida no fluxo de bits em associação com uma ou mais figurações na mesma camada que picA que seguem picA na ordem de decodificação que uma redefinição de MSB de POC deve ser realizada com a uma ou mais figurações. Por exemplo, poc_msb_reset_flag que tem um valor de 1 pode ser sinalizado para cada uma ou mais das figurações.
[0189] A Figura 12 é um fluxograma que ilustra um método 1200 para codificar informações de vídeo, de acordo com uma modalidade da presente revelação. As etapas ilustradas na Figura 12 podem ser realizadas por um criptografador (por exemplo, o criptografador de vídeo conforme mostrado na Figura 2A ou Figura 2B), um decodificador (por exemplo, o decodificador de vídeo conforme mostrado na Figura 3A ou Figura 3B) ou qualquer outro componente. Por conveniência, o método 1200 é descrito conforme realizado por um codificador, que pode ser o criptografador, o decodificador ou outro componente.
[0190] O método 1200 começa no bloco 1201. No bloco 1205, o codificador determina se uma redefinição de MSB de POC deve ser realizada em uma figuração particular. Conforme descrito acima, em algumas modalidades, uma redefinição de MSB de POC pode ser realizada a fim de evitar que figurações em diferentes camadas tenham valores inconsistentes de POC em uma unidade de acesso de IRAP não alinhada. Em algumas modalidades, o codificador determina também se a figuração particular é uma figuração não IRAP em uma unidade de acesso de IRAP não alinhada. Se o codificador determina que uma redefinição de MSB de POC deve ser realizada na figuração particular, o método 1200 procede para o bloco 1210. De outro modo, o método 1200 termina no 1215.
[0191] No bloco 1210, o codificador habilita uma redefinição de MSB de POC para uma ou mais figurações que seguem a figuração particular na ordem de decodificação. Em algumas modalidades, a uma ou mais figurações podem estar na mesma camada que a figuração particular. Por exemplo, o codificador pode sinalizar um indicador de redefinição de POC de MSB (por exemplo, poc_msb_reset_flag) que tem um valor de 1 para a figuração que segue imediatamente a figuração particular na ordem de decodificação, indicando que uma redefinição de MSB de POC deve ser realizada para a figuração que segue imediatamente a figuração particular na ordem de decodificação. Conforme descrito acima, se a figuração particular que tem uma indicação de que uma redefinição de MSB de POC deve ser realizada é perdida, uma redefinição reserva do POC de MSB na figuração que segue imediatamente a figuração particular na ordem de decodificação com base na indicação associada com a figuração que segue imediatamente a figuração particular na ordem de decodificação. Em algumas modalidades, o codificador pode fornecer também uma indicação ou variável que pode ser usada de modo que a redefinição de MSB de POC não seja realizada mais do que uma vez. Tal indicação ou variável (por exemplo, um ID de redefinição de POC) pode ajudar a determinar se a redefinição de MSB de POC já foi realizada. Em algumas modalidades, o codificador habilita a redefinição de MSB de POC para a uma ou mais figurações somente se a figuração particular é uma figuração não IRAP em uma unidade de acesso de IRAP não alinhada. O método 1200 termina no 1215.
[0192] Conforme discutido acima, um ou mais componentes de criptografador de vídeo 20 da Figura 2 A, o criptografador de vídeo 23 da Figura 2B, o decodificador de vídeo 30 da Figura 3A ou o decodificador de vídeo 33 da Figura 3B (por exemplo, unidade de previsão de intercamada 128 e/ou unidade de previsão de intercamada 166) podem ser usados para implantar qualquer uma das técnicas discutidas na presente revelação, tais como determinar se uma redefinição de MSB de POC deve ser realizada em uma figuração particular e habilitar uma redefinição de MSB de POC para uma ou mais figurações que seguem a figuração particular na ordem de decodificação.
[0193] No método 1200, um ou mais dos blocos mostrados na Figura 12 podem ser removidos (por exemplo, não realizados) e/ou a ordem na qual o método é realizado pode ser trocada. Portanto, as modalidades da presente revelação não são limitadas a ou pelo exemplo mostrado na Figura 12 e outras variações podem ser implantadas sem se afastar do espírito desta revelação.
SINALIZAÇÃO DE VALORES DE POC DE FIGURAÇÕES ANTERIORES
[0194] Em algumas modalidades, para a figuração picA que redefine seu valor de POC a fim de alinhar o PicOrderCntVal derivado com uma figuração de IDR que tem nuh_layer_ID igual a 0 e que está na mesma unidade de acesso que picA, o valor de PicOrderCntVal de picA antes da redefinição de POC é sinalizado para uma ou mais figurações que seguem picA na ordem de decodificação e que têm a mesma nuh_layer_id que picA.
IMPLANTAÇÃO EXEMPLIFICATIVA: SINTAXE DE CABEÇALHO DE SEGMENTO DE FATIA
[0195] A sintaxe de cabeçalho de fatia exemplificativa a seguir pode ser usada para implantar uma ou mais das modalidades descritas no presente documento.
Figure img0001
Figure img0002
TABELA 1. SINTAXE DE CABEÇALHO DE SEGMENTO DE FATIA EXEMPLIFICATIVA IMPLANTAÇÃO EXEMPLIFICATIVA: SEMÂNTICA DE CABEÇALHO DE SEGMENTO DE FATIA
[0196] A semântica exemplificativa a seguir pode ser usada para implantar uma ou mais das modalidades descritas no presente documento. Mudanças na linguagem existente na especificação de HEVC são mostradas em itálico.
[0197] poc_msb_reset_flag igual a 1 especifica que o valor de MSB do contador de ordem de figuração derivado para a figuração atual é igual a 0. Poc_msb_reset_flag igual a 0 especifica que o valor de MSB do contador de ordem de figuração derivado para a figuração atual pode ou não ser igual a 0.
[0198] Quando a figuração atual não é uma figuração de IRAP com NoRaslOutputFlag igual a 1 e pelo menos uma figuração na unidade de acesso atual é uma figuração de IRAP com NoRaslOutputFlag igual a 1, poc_msb_reset_flag deve estar presente e o valor deve ser igual a 1.
[0199] Quando não presente, o valor de poc_msb_reset_flag é inferido como igual a 0.
[0200] poc_lsb_reset_flag igual a 1 especifica que o contador de ordem de figuração derivado para a figuração atual é igual a 0. Poc_lsb_reset_flag igual a 0 especifica que o contador de ordem de figuração derivado para a figuração atual pode ou não ser igual a 0.
[0201] Quando a figuração atual não é uma figuração de IDR ou slice_pic_order_cnt_lsb não é igual a 0 e a figuração com nuh_layer_id igual a 0 na unidade de acesso atual é uma figuração de IDR, poc_lsb_reset_flag deve estar presente e o valor deve ser igual a 1.
[0202] Quando não presente, o valor de poc_lsb_reset_flag é inferido como igual a 0.
[0203] Quando o valor de poc_msb_reset_flag é igual a 0, o valor de poc_lsb_reset_flag deve ser igual a 0.
[0204] É uma exigência de conformidade do fluxo de bits que, quando há uma figuração de IRAP com NoRaslOutputFlag igual a 1 na unidade de acesso atual, a figuração atual deve ter indicador descartável igual a 0 e TemporalId maior do que 0 e não deve ser uma figuração não referência de subcamada, uma figuração de RASL ou uma figuração de RADL.
[0205] Alternativamente, as restrições a seguir devem ser adicionadas às semânticas do poc_msb_reset_flag e poc_lsb_reset_flag:
[0206] É uma exigência de conformidade do fluxo de bits que para fatias que têm valor de nal_unit_type menores do que 16 e têm nal_unit_type % 2 = 0, o valor tanto do indicador de redefinição de POC de LSB quanto do indicador de redefinição de POC de MSB devem ser iguais a 0.
[0207] É uma exigência de conformidade do fluxo de bits que quando o valor ou de poc_lsb_reset_flag ou de poc_msb_reset_flag, ou de ambos for igual a 1, o valor de indicador descartável, quando presente, deve ser igual a 0.
[0208] É uma exigência de conformidade de fluxo de bits que quando uma unidade de acesso contém uma figuração que é uma figuração de IRAP com NoRaslOutputFlag igual a 1, então as seguintes condições se aplicam: (1) se a figuração com nuh_layer_ID igual a 0 é uma figuração de IDR, o valor de poc_lsb_reset_flag e poc_msb_reset_flag devem ser ambos definidos igual a 1 para todas as figurações em que a unidade de acesso que tem nuh_layer_ID não igual a 0; e (2) de outro modo, o valor de poc_lsb_reset_flag deve ser definido igual a 1 e o valor de indicador de redefinição de POC de MSB devem ser ambos definido igual a 1 para todas as figurações naquela unidade de acesso que não são figurações de IRAP com NoRaslOutputFlag igual a 1. IMPLANTAÇÃO EXEMPLIFICATIVA: PROCESSO DE DECODIFICAÇÃO PARA POC E CONJUNTO DE FIGURAÇÕES DE REFERÊNCIA
[0209] Um exemplo de derivação do POC para cada fatia é descrito abaixo. Quando o valor de poc_lsb_reset_flag de LSB ou do poc_msb_reset_flag é definido para 1, o POC da figuração atual e de todas as figurações no DPB que são marcadas como “usada como referência” ou que são necessárias para emissão são diminuídos. PROCESSO DE DECODIFICAÇÃO PARA CONTADOR DE ORDEM DE FIGURAÇÃO
[0210] A emissão desse processo é PicOrderCntVal, o contador de ordem de figuração da figuração atual.
[0211] Os contadores de ordem de figuração são usados para identificar figurações, para derivar parâmetros de movimento no modo de junção e previsão de vetor de movimento e para verificação de conformidade de decodificador.
[0212] Cada figuração codificada é associada com uma variável de contador de ordem de figuração chamada de PicOrderCntVol.
[0213] Quando a figuração atual não é uma figuração de IRAP com NoRaslOutputFlag igual a 1, as variáveis prevPicOrderCntLsb e prevPicOrderCntMsb são derivadas como a seguir:
[0214] Assumindo-se que prevTidOPic é a figuração anterior na ordem de decodificação que tem TemporalId igual a 0 e nuh_layer_id igual a nuh_layer_id da figuração atual e que não é uma figuração de RASL, uma figuração de RADL ou uma figuração não referência de subcamada e assumindo-se que prevPicOrderCnt é igual a PicOrderCntVal de prevTid0Pic.
[0215] A variável prevPicOrderCntLsb é definida igual a prevPicOrderCnt & (MaxPicOrderCntLsb - 1).
[0216] A variável prevPicOrderCntMsb é definida igual a prevPicOrderCnt - prevPicOrderCn tLsb.
[0217] A variável PicOrderCntMsb da figuração atual é derivada conforme a seguir:
[0218] Se a figuração atual é uma figuração de IRAP com NoRaslOutputFlag igual a 1, PicOrderCntMsb é definida igual a 0.
[0219] De outro modo, PicOrderCntMsb é derivado conforme a seguir:
[0220] se((slice _pic_order_cnt_lsb < prevPicOrderCntLsb) &&((prevPicOrderCntLsb - slice _pic_order_cnt_lsb) >= (MaxPicOrderCntLsb /2)))
[0221] PicOrderCntMsb = prevPicOrderCntMsb + MaxPicOrderCntLsb ou se (slice _pic_order_cnt_lsb > prevPicOrderCntLsb) &&
[0222] ((slice _pic_order_cnt_lsb - prevPicOrderCntLsb) > (MaxPicOrderCntLsb /2)))
[0223] PicOrderCntMsb = prevPicOrderCntMsb - MaxPicOrderCntLsb ou
[0224] PicOrderCntMsb = prevPicOrderCntMsb
[0225] PicOrderCntVal é derivada conforme a seguir:
[0226] PicOrderCntVal = (poc_msb_reset Flag ? 0: PicOrderCntMsb) +
[0227] (poc_lsb_reset_flag ? 0: slice _pic_order_cnt_lsb)
[0228] Deve ser observado que todas as figurações de IDR que têm nuh_layer_id igual a 0 terão PicOrderCntVal igual a 0, visto que slice_pic_order_cntJsb é inferido ser 0 para figurações de IDR e prevPicOrderCntLsb e prevPicOrderCntMsb são ambos definidos igual a 0.
[0229] Quando poc_msb_reset_flag é igual a 1, a PicOrderCntVal de cada figuração que está no DPB e pertence à mesma camada que a figuração atual é diminuída por PicOrderCntMsb.
[0230] Quando poc_lsb_reset_flag é igual a 1, a PicOrderCntVal de cada figuração que está no DPB e pertence à mesma camada que a figuração atual é diminuída por slice_pic_order_cnt_lsb.
[0231] O valor de PicOrderCntVal deve estar na faixa de -231 a 231 - 1, inclusive. Em um CVS, os valores PicOrderCntVal para quaisquer duas figurações codificadas na mesma camada não devem ser os mesmos.
[0232] A função PicOrderCnt(picX) é especificada conforme a seguir:
[0233] PicOrderCnt(picX) = PicOrderCntVal dapicture picX
[0234] A função DiffPicOrderCnt(picA, picB) é especificada conforme a seguir:
[0235] DiffPicOrderCnti picA, picB) = PicOrderCnt(picA) - PicOrderCnt(picB)
[0236] o fluxo de bits não deve conter dados que resultam em valores de DiffPicOrderCnt(picA, picB) usados no processo de decodificação que não estão na faixa de -215 a 215 - 1, inclusive.
[0237] Deve ser observado que se X é a figuração atual e Y e Z são duas outras figurações na mesma sequência, Y e Z são considerados estarem na mesma direção de ordem de emissão de X quando tanto DiffPicOrderCnt(X, Y) quanto DiffPicOrderCnt(X, Z) são positivos ou ambos são negativos. PROCESSO DE DECODIFICAÇÃO PARA CONJUNTO DE FIGURAÇÃO DE REFERÊNCIA
[0238] O processo de decodificação para a figuração de referência definido é idêntico ao processo de decodificação definido em MV-HEVC WD5. IMPLANTAÇÃO EXEMPLIFICATIVA; SINTAXE DE CONTEÚDO DE SEI GERAL
[0239] A sintaxe de conteúdo de SEI exemplificativa a seguir pode ser usada para implantar uma ou mais das modalidades descritas no presente documento. No exemplo abaixo, “XXX” pode ser substituído por qualquer valor que representa o tipo de conteúdo que pode ser utilizado em conexão com a sintaxe exemplificativa. Por exemplo, “XXX” pode ser substituído por qualquer valor entre 1 e 255 que ainda não foi usado por outra mensagem de SEI. Em outro exemplo, o valor de “XXX” não é limitado a 255 e tem um valor mais alto. Mudanças na linguagem existente na especificação de HEVC são mostradas em itálico.
Figure img0003
TABELA 2. SINTAXE DE CONTEÚDO DE SEI EXEMPLIFICATIVA IMPLANTAÇÃO EXEMPLIFICATIVA; SINTAXE DE MENSAGEM DE SEI COM INFORMAÇÕES SOBRE REDEFINIÇÃO
[0240] A sintaxe de informações sobre redefinição de POC exemplificativa a seguir pode ser usada para implantar uma ou mais das modalidades descritas no presente documento. Mudanças na linguagem existente na especificação de HEVC são mostradas em itálico.
Figure img0004
REDEFINIÇÃO DE POC EXEMPLIFICATIVA
[0241] Em algumas modalidades, a redefinição de valor de POC, ID de redefinição de POC ou ambos, são codificados usando-se códigos de Golomb exponenciais (por exemplo, codificação de ue(v)). IMPLANTAÇÃO EXEMPLIFICATIVA; SEMÂNTICA DE MENSAGEM DE SEI COM INFORMAÇÕES SOBRE REDEFINIÇÃO DE POC
[0242] A semântica de informações sobre redefinição de POC exemplificativa pode ser usada para implantar uma ou mais das modalidades descritas no presente documento: “A mensagem de SEI com informações sobre a redefinição de POC fornece informações que habilitam a derivação de POC correta para a figuração associada mesmo quando a figuração anterior na ordem de decodificação na mesma camada que a figuração associada e que tem poc_lsb_reset_flag ou poc_msb_reset_flag igual a 1 é perdida. As informações contidas na mensagem de SEI podem também ser usadas para derivar os valores de POC de outras figurações no DPB que estão na mesma camada que a figuração associada. A figuração com POC redefinido é definida como uma figuração que tem o valor tanto de poc_msb_reset_flag quanto de poc_lsb_reset_flag, ou ambos igual a 1. A figuração associada com POC redefinido se refere à figuração anterior na ordem de decodificação na mesma camada que a figuração associada e que tem poc_lsb_reset_flag ou poc_msb_reset_flag igual a 1. A figuração associada de uma mensagem de SEI com informações sobre a redefinição de POC se refere à figuração que é associada com a mensagem de SEI. Uma mensagem de SEI com informações sobre a redefinição de POC não aninhada é associada com a figuração para a qual a primeira unidade de NAL de VCL na ordem de decodificação é a unidade de NAL de VCL associada da unidade de NAL de SEI que contém uma mensagem de SEI com informações sobre a redefinição de POC não aninhada. A nuh_layer_id da unidade de NAL de SEI que contém uma mensagem de SEI com informações sobre redefinição de POC não aninhada deve ser igual à nuh_layer_id da figuração associada“.
[0243] Alternativamente, a associação da mensagem de SEI pode ser definida conforme a seguir: mensagem de SEI com informações sobre redefinição de POC não aninhada é associado com a figuração picA na próxima unidade de acesso na decodificação, onde picA tem o mesmo valor de nuh_layer_id que a unidade de NAL de SEI que contém a mensagem de SEI com informações sobre a redefinição de POC não aninhada”.
[0244] Alternativamente, a associação da mensagem de SEI pode ser definida conforme a seguir: “A mensagem de SEI com informações sobre redefinição de POC não aninhada é associada com a figuração picA que tem o mesmo valor nuh_layer_id que a unidade de NAL de SEI e sucede, na ordem de decodificação, a mensagem de SEI e precede a primeira figuração que tem o mesmo valor de nuh_layer_id que a unidade de NAL de SEI e tem os valores de pocJsb_reset_flag ou poc_msb_reset_flag igual a 1
[0245] Alternativamente, uma mensagem de SEI vazia indica o cancelamento das informações de redefinição de POC (poc_reset_info_cancel()) pode ser sinalizado e a associação da mensagem de SEI pode ser definida conforme a seguir: “Uma mensagem de SEI com informações sobre redefinição de POC não aninhada é associada com a primeira figuração picA que tem o mesmo valor de nuh_layer_id que a unidade de NAL de SEI, que sucede a mensagem de SEI na ordem de decodificação e que é contida na unidade de acesso que contém uma mensagem de SEI poc_resetJnfo_cancel(). O valor de nuh_layer_id da unidade de NAL de SEI que contém a mensagem de SEI poc_resetJnfo_cancel() deve ser igual a nuh_layer_id da figuração associada”.
[0246] A semântica a seguir pode ser usada para poc_reset_type_flag, poc_reset_value e poc_reset_id: “poc_reset_type_flag igual a 1 indica que o POC de MSB foi redefinição e o POC de LSB não foi redefinido para a figuração associada com POC redefinido, poc_reset_type_flag igual a 0 especifica que tanto o POC de MSB quanto o POC de LSB foram redefinidos para a figuração associada com o POC redefinido; poc_reset_value indica o valor de POC da figuração associada com POC redefinido antes da redefinição de POC ser aplicada (isto é, o valor de POC derivado que assume tanto poc_msb_reset_flag quanto poc_lsb_reset_flag são iguais a 0); e poc_reset_id especifica um identificador de uma figuração com POC redefinido na mesma camada que a figuração associada. Duas figurações com POC redefinido consecutivas de uma camada particular no fluxo de bits não devem ter o mesmo valor de poc_reset_id”.
[0247] Deve-se ainda observar que, quando a figuração com POC redefinido associada é perdida, esse valor pode também ser usado para derivar os valores de POC da figuração associada e outras figurações decodificadas da mesma camada no DPB, conforme a seguir. Quando o valor de poc_reset_type_flag é igual a 0, o POC da figuração associada pode ser derivado ao definir prevPicOrderCntLsb igual a poc_reset_value % MaxPicOrderCntLsb e prevPicOrderCntMsb igual a 0, e em seguida o resto do processo de decodificação para o contador de ordem de figuração e o valor de PicOrderCntVal de todas as figurações no DPB que pertencem à mesma camada que a figuração associada são diminuídos por poc_reset_value - poc_reset_value % MaxPicOrderCntLsb. Quando o valor de poc_reset_type_flag é igual a 1, o POC da figuração associada pode ser derivado definindo-se prevPicOrderCntLsb e prevPicOrderCntMsb ambos iguais a 0 e em seguida o resto do processo de decodificação para o contador de ordem de figuração e o valor de PicOrderCntVal de todas as figurações no DPB que pertencem à mesma camada que a figuração associada são diminuídos por poc_reset_value.
[0248] Em algumas modalidades, os elementos de sintaxe similares aqueles descritos acima em conexão com mensagens de SEI são incluídos na sintaxe de cabeçalho de segmento de fatia e a frase “figuração atual” é usada em vez da frase “figuração associada” na semântica exemplificativa descrita acima em conexão com a semântica da mensagem de SEI com informações sobre a redefinição de POC.
OUTRAS CONSIDERAÇÕES
[0249] As informações e os sinais podem ser representados no presente documento usando-se qualquer uma dentre uma variedade de tecnologias e técnicas diferentes. Por exemplo, dados, instruções, comandos, informações, sinais, bits, símbolos, e circuitos integrados que podem ser referenciados por toda a descrição acima podem ser representados por tensões, correntes, ondas eletromagnéticas, partículas ou campos magnéticos, partículas ou campos ópticos ou qualquer combinação dos mesmos.
[0250] As várias etapas de blocos lógicos ilustrativos, módulos, circuitos e algoritmos descritos em conexão com as modalidades reveladas no presente documento podem ser implantadas como hardware eletrônico, software de computador ou combinações de ambos. Para ilustrar claramente essa intercambiabilidade de hardware e software, vários componentes, blocos, módulos, circuitos, e etapas ilustrativos foram descritos acima geralmente em termos da funcionalidade dos mesmos. Se tal funcionalidade deve ser implantada como hardware ou software, depende das restrições de projeto e pedido particular impostas no sistema geral. Versados na técnica podem implantar a funcionalidade descrita em modos variáveis para cada aplicação em particular, porém tais decisões de implantação não devem ser interpretadas como causadoras de um afastamento do escopo da presente revelação.
[0251] As técnicas aqui descritas podem ser implementadas em hardwares, softwares, firmwares, ou qualquer combinação dos mesmos. Tais técnicas podem ser implantadas em qualquer uma dentre uma variedade de dispositivos tais como computadores de propósito geral, aparelhos de dispositivo de comunicação sem fio ou dispositivos de circuito integrado que têm múltiplos usos incluindo a aplicação em aparelhos de dispositivo de comunicação sem fio e outros dispositivos. Quaisquer recursos descritos como módulos ou componentes podem ser implantados juntos em dispositivo de lógica integrada ou separadamente como dispositivos de lógica interoperáveis distintos. Se implementadas em software, as técnicas podem ser realizadas pelo menos em parte por um meio de armazenamento de dados legível por computador que compreende codificação de programa incluindo instruções que quando executadas realizam um ou mais dos métodos descritos acima. O meio de armazenamento de dados legível por computador pode formar parte de um produto de programa de computador, que pode incluir materiais para pacotes. Os meios de armazenamento de dados podem compreender um meio de armazenamento de dados ou memória, tais como memória de acesso aleatório (RAM) tal como memória de acesso aleatório dinâmica síncrona (SDRAM), memória somente leitura (ROM), memória de acesso aleatório não volátil (NVRAM), memória somente leitura programável e apagável eletricamente (EEPROM), memória FLASH, meios de armazenamento de dados ópticos e magnéticos e similares. Adicional ou alternativamente, as técnicas podem ser realizadas pelo menos em parte por um maio de comunicação legível por computador que carrega ou comunica código de programa na forma de instruções ou estrutura de dados e que podem ser acessados, lidos e/ou executados por um computador, tal como ondas ou sinais propagados.
[0252] O código de programa pode ser executado por um processador que pode incluir um ou mais processadores, tais como um ou mais processadores de sinal digital (DSPs), microprocessadores de propósito geral, um circuito integrado para aplicação específica (ASICs), arranjos lógicos programáveis em campo (FPGAs) ou outro circuito lógico discreto ou integrado equivalente. Tal processador pode ser configurado para realizar qualquer uma das técnicas descritas nesta revelação. Um processador de propósito geral pode ser um microprocessador, mas, alternativamente, o processador pode ser qualquer processador, controlador, microcontrolador ou máquina de estado convencional. Um processador também pode ser implantado como uma combinação dos dispositivos de computação, por exemplo, uma combinação de um DSP e um microprocessador, uma pluralidade de microprocessadores, um ou mais microprocessadores em conjunto com um núcleo de DSP ou qualquer outra configuração. Consequentemente, o termo “processador”, conforme usado no presente documento pode se referir a qualquer das estruturas anteriormente mencionadas, qualquer combinação da estrutura anteriormente mencionada ou qualquer outra estrutura ou aparelho adequado para a implantação das técnicas descritas no presente documento. Adicionalmente, em alguns aspectos, a funcionalidade descrita no presente documento pode ser fornecida dentro de módulos de software ou módulo de hardware dedicados configurados para a criptografia e decodificação, ou incorporados em um criptografador- decodificador de vídeo combinado (CODEC). Também, as técnicas podem ser totalmente implantadas em um ou mais circuitos ou elementos lógicos.
[0253] [0211] As técnicas desta revelação podem ser implantadas em uma ampla variedade de dispositivos ou aparelhos, incluindo um monofone, um circuito integrado (IC) ou um conjunto de ICs (por exemplo, um conjunto de chips). Vários componentes, módulos ou unidades são descritos nessa revelação para enfatizar os aspectos funcionais dos dispositivos configurados para realizar as técnicas reveladas, mas não exigem necessariamente a realização por diferentes unidades de hardware. Em vez disso, conforme descrito acima, várias unidades podem ser combinadas em uma unidade de hardware de codec ou fornecidas por uma coleção de unidades de hardware interoperativos, incluindo um ou mais processadores conforme descrito acima, em conjunto com software e/ou firmware adequados.
[0254] Várias modalidades da invenção foram descritas. Estas e outras modalidades estão no escopo das reivindicações a seguir.

Claims (12)

1. Aparelho (20) configurado para codificar informações de vídeo, o aparelho caracterizado pelo fato de que compreende: uma memória configurada para armazenar informações de vídeo associadas a uma camada de vídeo que tem uma imagem; e um processador em comunicação com a memória, o processador configurado para: determinar (905) se a imagem é uma dentre uma imagem principal omitida de acesso aleatório, RASL, uma imagem principal decodificável de acesso aleatório, RADL, uma imagem de subcamada sem referência, SLNR, uma imagem que tem um identificador temporal, ID, maior que 0, ou uma imagem que não é usada como uma imagem de referência; e realizar um dentre: (1) abster de fornecer uma indicação para realizar uma redefinição de POC para a imagem (910), com base em uma determinação de que a imagem é uma dentre uma imagem RASL, uma imagem RADL, uma imagem SLNR, uma imagem que tem um ID temporal maior que 0, ou uma imagem que não é usada como uma imagem de referência, ou (2) fornecer uma indicação para realizar a redefinição de POC para a imagem (915), com base em uma determinação de que a imagem não é uma dentre uma imagem RASL, uma imagem RADL, uma imagem SLNR, uma imagem que tem um ID temporal maior que 0 ou uma imagem que não é usada como uma imagem de referência.
2. Aparelho (30) configurado para decodificar informações de vídeo, o aparelho caracterizado pelo fato de que compreende: uma memória configurada para armazenar informações de vídeo associadas a uma camada de vídeo que tem uma imagem; e um processador em comunicação com a memória, o processador configurado para: determinar (905) se a imagem é uma dentre uma imagem principal omitida de acesso aleatório, RASL, uma imagem principal decodificável de acesso aleatório, RADL, uma imagem de subcamada sem referência, SLNR, uma imagem que tem um identificador temporal, ID, maior que 0, ou uma imagem que não é usada como uma imagem de referência; e realizar um dentre: (1) abster de fornecer uma indicação para realizar uma redefinição de POC para a imagem (910), com base em uma determinação de que a imagem é uma dentre uma imagem RASL, uma imagem RADL, uma imagem SLNR, uma imagem que tem um ID temporal maior que 0, ou uma imagem que não é usada como uma imagem de referência, ou (2) fornecer uma indicação para realizar a redefinição de POC para a imagem (915), com base em uma determinação de que a imagem não é uma dentre uma imagem RASL, uma imagem RADL, uma imagem SLNR, uma imagem que tem um ID temporal maior que 0, ou uma imagem que não é usada como uma imagem de referência.
3. Aparelho, de acordo com a reivindicação 1 ou 2, caracterizado pelo fato de que a redefinição de POC compreende pelo menos uma dentre uma redefinição de um ou mais bits menos significativos (LSBs) de um POC associado a uma ou mais imagens na camada de vídeo ou uma redefinição de um ou mais bits mais significativos (MSBs) do POC associado a uma ou mais imagens na camada de vídeo.
4. Aparelho, de acordo com a reivindicação 1 ou 2, caracterizado pelo fato de que a imagem principal compreende uma imagem que segue uma imagem de ponto de acesso aleatório na camada de vídeo na ordem de decodificação, mas precede o ponto de acesso aleatório na ordem de saída.
5. Aparelho, de acordo com a reivindicação 1, caracterizado pelo fato de que o aparelho compreende um codificador, e em que o processador é configurado adicionalmente para codificar a informação de vídeo em um fluxo de bits.
6. Aparelho, de acordo com a reivindicação 2, caracterizado pelo fato de que o aparelho compreende um decodificador, e em que o processador é configurado adicionalmente para decodificar as informações de vídeo em um fluxo de bits.
7. Aparelho, de acordo com a reivindicação 1 ou 2, caracterizado pelo fato de que o aparelho compreende um dispositivo selecionado a partir de um grupo que consiste em: um computador, um notebook, um laptop, um computador tipo tablet, um decodificador, um aparelho de telefone, um smartphone, um smartpad, uma televisão, uma câmera, um dispositivo de exibição, um reprodutor de mídia digital, um console de videogame e um computador integrado para automóveis.
8. Método de codificação de informações de vídeo, o método caracterizado pelo fato de que compreende: determinar (905) se uma imagem em uma camada de vídeo é uma dentre uma imagem principal omitida de acesso aleatório, RASL, uma imagem principal decodificável de acesso aleatório, RADL, uma imagem de subcamada sem referência, SLNR, uma imagem que tem um identificador temporal, ID, maior que 0, ou uma imagem que não é usada como uma imagem de referência; e realizar um dentre: (1) abster de fornecer uma indicação para realizar a redefinição de POC para a imagem (910), com base em uma determinação de que a imagem é uma dentre uma imagem RASL, uma imagem RADL, uma imagem SLNR, uma imagem que tem um ID temporal maior que 0, ou uma imagem que não é usada como uma imagem de referência, ou (2) fornecer uma indicação para realizar a redefinição de POC para a imagem (915), com base em uma determinação de que a imagem não é uma dentre uma imagem RASL, uma imagem RADL, uma imagem SLNR, uma imagem que tem um ID temporal maior que 0, ou uma imagem que não é usada como uma imagem de referência.
9. Método de decodificação de informações de vídeo, o método caracterizado pelo fato de que compreende: determinar (905) se uma imagem em uma camada de vídeo é uma dentre uma imagem principal omitida de acesso aleatório, RASL, uma imagem principal decodificável de acesso aleatório, RADL, uma imagem de subcamada sem referência, SLNR, uma imagem que tem um identificador temporal, ID, maior que 0, ou uma imagem que não é usada como uma imagem de referência; e realizar um dentre: (1) abster de fornecer uma indicação para realizar a redefinição de POC para a imagem (910), com base em uma determinação de que a imagem é uma dentre uma imagem RASL, uma imagem RADL, uma imagem SLNR, uma imagem que tem um ID temporal maior do que 0, ou uma imagem que não é usada como uma imagem de referência, ou (2) fornecer uma indicação para realizar a redefinição de POC para a imagem (915), com base em uma determinação de que a imagem não é uma dentre uma imagem RASL, uma imagem RADL, uma imagem SLNR, uma imagem que tem um ID temporal maior que 0, ou uma imagem que não é usada como uma imagem de referência.
10. Método, de acordo com a reivindicação 8 ou 9, caracterizado pelo fato de que a redefinição de POC compreende pelo menos um dentre uma redefinição de um ou mais bits menos significativos (LSBs) de um POC associado com uma ou mais imagens na camada de vídeo ou uma redefinição de um ou mais bits mais significativos (MSBs) do POC associado com a uma ou mais imagens na camada de vídeo.
11. Método, de acordo com a reivindicação 8 ou 9, caracterizado pelo fato de que a imagem principal compreende uma imagem que segue uma imagem de ponto de acesso aleatório na camada de vídeo na ordem de decodificação, mas precede o ponto de acesso aleatório na ordem de saída.
12. Memória caracterizada pelo fato de que compreende instruções armazenadas na mesma, as instruções sendo executadas por um computador para realizar o método conforme definido em qualquer uma das reivindicações 8 a 11.
BR112016008235-4A 2013-10-14 2014-10-14 Dispositivo e método para codificação escalonável de informações de vídeo BR112016008235B1 (pt)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201361890868P 2013-10-14 2013-10-14
US61/890,868 2013-10-14
US14/513,034 US9900605B2 (en) 2013-10-14 2014-10-13 Device and method for scalable coding of video information
US14/513,034 2014-10-13
PCT/US2014/060495 WO2015057714A1 (en) 2013-10-14 2014-10-14 Device and method for scalable coding of video information

Publications (2)

Publication Number Publication Date
BR112016008235A2 BR112016008235A2 (pt) 2017-08-01
BR112016008235B1 true BR112016008235B1 (pt) 2023-04-18

Family

ID=52809632

Family Applications (3)

Application Number Title Priority Date Filing Date
BR112016008237-0A BR112016008237B1 (pt) 2013-10-14 2014-10-14 Aparelho e método para codificar informações de vídeo, aparelho para decodificar informações de vídeo e memória legível por computador
BR112016008225-7A BR112016008225B1 (pt) 2013-10-14 2014-10-14 Aparelhos e métodos para codificação e decodificação de informações de vídeo e memória legível por computador
BR112016008235-4A BR112016008235B1 (pt) 2013-10-14 2014-10-14 Dispositivo e método para codificação escalonável de informações de vídeo

Family Applications Before (2)

Application Number Title Priority Date Filing Date
BR112016008237-0A BR112016008237B1 (pt) 2013-10-14 2014-10-14 Aparelho e método para codificar informações de vídeo, aparelho para decodificar informações de vídeo e memória legível por computador
BR112016008225-7A BR112016008225B1 (pt) 2013-10-14 2014-10-14 Aparelhos e métodos para codificação e decodificação de informações de vídeo e memória legível por computador

Country Status (10)

Country Link
US (3) US10212435B2 (pt)
EP (3) EP3058741B1 (pt)
JP (3) JP6542239B2 (pt)
KR (3) KR102250638B1 (pt)
CN (3) CN105637880B (pt)
BR (3) BR112016008237B1 (pt)
ES (2) ES2895442T3 (pt)
HU (1) HUE044813T2 (pt)
MX (3) MX360311B (pt)
WO (3) WO2015057705A1 (pt)

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3050684B1 (en) 2011-11-10 2017-08-16 Packsize LLC Elevated converting machine with outfeed guide
KR101979559B1 (ko) * 2012-06-25 2019-05-16 닛본 덴끼 가부시끼가이샤 비디오 디코딩 장치, 방법 및 프로그램
US10212435B2 (en) 2013-10-14 2019-02-19 Qualcomm Incorporated Device and method for scalable coding of video information
JP2017508420A (ja) * 2014-01-13 2017-03-23 サムスン エレクトロニクス カンパニー リミテッド マルチレイヤビデオ符号化方法及びマルチレイヤビデオ復号方法、並びにその装置
US10093438B2 (en) 2014-12-29 2018-10-09 Packsize Llc Converting machine
US10850469B2 (en) 2016-06-16 2020-12-01 Packsize Llc Box forming machine
US11214032B2 (en) 2016-06-16 2022-01-04 Packsize Llc Box template production system and method
US11242214B2 (en) 2017-01-18 2022-02-08 Packsize Llc Converting machine with fold sensing mechanism
SE541921C2 (en) 2017-03-06 2020-01-07 Packsize Llc A box erecting method and system
SE1750727A1 (sv) 2017-06-08 2018-10-09 Packsize Llc Tool head positioning mechanism for a converting machine, and method for positioning a plurality of tool heads in a converting machine
US11173685B2 (en) 2017-12-18 2021-11-16 Packsize Llc Method for erecting boxes
US11305903B2 (en) 2018-04-05 2022-04-19 Avercon BVBA Box template folding process and mechanisms
US11247427B2 (en) 2018-04-05 2022-02-15 Avercon BVBA Packaging machine infeed, separation, and creasing mechanisms
DE112019003075T5 (de) 2018-06-21 2021-03-25 Packsize Llc Verpackungsvorrichtung und systeme
SE543046C2 (en) 2018-09-05 2020-09-29 Packsize Llc A box erecting method and system
CN110933411B (zh) 2018-09-19 2023-12-12 北京字节跳动网络技术有限公司 用于帧内编码的邻近的相邻块的选择
WO2020093999A1 (en) * 2018-11-05 2020-05-14 Beijing Bytedance Network Technology Co., Ltd. Inter prediction with refinement in video processing
US11524474B2 (en) 2018-11-30 2022-12-13 Packsize Llc Adjustable cutting and creasing heads for creating angled cuts and creases
US11752725B2 (en) 2019-01-07 2023-09-12 Packsize Llc Box erecting machine
US11701854B2 (en) 2019-03-14 2023-07-18 Packsize Llc Packaging machine and systems
US10986353B2 (en) 2019-03-15 2021-04-20 Tencent America LLC Decoded picture buffer management for video coding
US11539957B2 (en) * 2019-06-20 2022-12-27 Tencent America LLC Layered random access with reference picture resampling
KR20220115958A (ko) 2019-12-26 2022-08-19 바이트댄스 아이엔씨 코딩된 비트스트림들에서의 비디오 계층들의 시그널링에 대한 제약들
WO2021133721A1 (en) 2019-12-26 2021-07-01 Bytedance Inc. Techniques for implementing a decoding order within a coded picture
WO2021134019A1 (en) 2019-12-26 2021-07-01 Bytedance Inc. Constraints on coding of layered video
WO2021134055A1 (en) 2019-12-27 2021-07-01 Bytedance Inc. Subpicture signaling in parameter sets
US11356698B2 (en) 2019-12-30 2022-06-07 Tencent America LLC Method for parameter set reference constraints in coded video stream
CN115004669A (zh) 2020-01-09 2022-09-02 字节跳动有限公司 不同sei消息的解码顺序
US20220103847A1 (en) 2020-09-29 2022-03-31 Lemon Inc. Dependent random access point indication in video bitstreams

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100714696B1 (ko) 2005-06-24 2007-05-04 삼성전자주식회사 다계층 기반의 가중 예측을 이용한 비디오 코딩 방법 및장치
CN103024444B (zh) 2006-11-14 2015-11-18 高通股份有限公司 用于信道切换的系统及方法
RU2518904C2 (ru) 2007-01-05 2014-06-10 Томсон Лайсенсинг Гипотетический эталонный декодер для масштабируемого видеокодирования
KR20090004659A (ko) * 2007-07-02 2009-01-12 엘지전자 주식회사 디지털 방송 시스템 및 데이터 처리 방법
KR20090004658A (ko) * 2007-07-02 2009-01-12 엘지전자 주식회사 디지털 방송 시스템 및 데이터 처리 방법
JP4935746B2 (ja) * 2008-04-07 2012-05-23 富士通株式会社 動画像符号化装置、動画像復号化装置及びその符号化、復号化方法
WO2010008416A1 (en) 2008-07-16 2010-01-21 Thomson Licensing A scalable video coding method for fast channel change to increase coding efficiency
US20100086051A1 (en) * 2008-10-06 2010-04-08 Lg Electronics Inc. Method and an apparatus for processing a video signal
EP2392138A4 (en) 2009-01-28 2012-08-29 Nokia Corp METHOD AND APPARATUS FOR VIDEO ENCODING AND DECODING
US9516379B2 (en) * 2011-03-08 2016-12-06 Qualcomm Incorporated Buffer management in video codecs
US20130089152A1 (en) * 2011-10-05 2013-04-11 Qualcomm Incorporated Signaling picture identification for video coding
US20130094774A1 (en) 2011-10-13 2013-04-18 Sharp Laboratories Of America, Inc. Tracking a reference picture based on a designated picture on an electronic device
US8787688B2 (en) * 2011-10-13 2014-07-22 Sharp Laboratories Of America, Inc. Tracking a reference picture based on a designated picture on an electronic device
US10003817B2 (en) 2011-11-07 2018-06-19 Microsoft Technology Licensing, Llc Signaling of state information for a decoded picture buffer and reference picture lists
KR102094503B1 (ko) * 2012-04-15 2020-03-30 삼성전자주식회사 다계층 비디오 부호화 방법 및 장치, 다계층 비디오 복호화 방법 및 장치
US9532055B2 (en) 2012-04-16 2016-12-27 Microsoft Technology Licensing, Llc Constraints and unit types to simplify video random access
KR102219907B1 (ko) * 2012-04-23 2021-02-25 삼성전자주식회사 다시점 비디오 부호화 방법 및 장치, 다시점 비디오 복호화 방법 및 장치
CN108337525B (zh) * 2012-09-28 2020-08-25 杜比国际公司 图像解码装置
US20140092976A1 (en) 2012-09-30 2014-04-03 Sharp Laboratories Of America, Inc. System for signaling idr and bla pictures
US9532052B2 (en) 2013-04-08 2016-12-27 Qualcomm Incorporated Cross-layer POC alignment for multi-layer bitstreams that may include non-aligned IRAP pictures
CN105637879B (zh) * 2013-10-10 2019-04-19 夏普株式会社 图序计数的对齐方法
KR20150043222A (ko) 2013-10-12 2015-04-22 삼성전자주식회사 멀티 레이어 비디오 부호화 방법 및 그 장치, 멀티 레이어 비디오 복호화 방법 및 그 장치
US10212435B2 (en) 2013-10-14 2019-02-19 Qualcomm Incorporated Device and method for scalable coding of video information
EP3078195A4 (en) * 2013-12-02 2017-08-09 Nokia Technologies OY Video encoding and decoding

Also Published As

Publication number Publication date
WO2015057714A1 (en) 2015-04-23
EP3058741B1 (en) 2021-10-06
BR112016008237A2 (pt) 2017-08-01
JP2016537932A (ja) 2016-12-01
KR20160070786A (ko) 2016-06-20
CN105637882A (zh) 2016-06-01
ES2895442T3 (es) 2022-02-21
KR20160071413A (ko) 2016-06-21
MX360311B (es) 2018-10-29
KR20160072142A (ko) 2016-06-22
BR112016008235A2 (pt) 2017-08-01
EP3058745A1 (en) 2016-08-24
JP2016539600A (ja) 2016-12-15
US20150103903A1 (en) 2015-04-16
US9900605B2 (en) 2018-02-20
CN105637880A (zh) 2016-06-01
US10212435B2 (en) 2019-02-19
KR102250638B1 (ko) 2021-05-10
US9979971B2 (en) 2018-05-22
MX358539B (es) 2018-08-24
KR102220256B1 (ko) 2021-02-24
JP2016539601A (ja) 2016-12-15
MX2016004631A (es) 2016-08-05
JP6486952B2 (ja) 2019-03-20
US20150103923A1 (en) 2015-04-16
WO2015057705A1 (en) 2015-04-23
US20150103922A1 (en) 2015-04-16
KR102312763B1 (ko) 2021-10-13
ES2744201T3 (es) 2020-02-24
CN105637881A (zh) 2016-06-01
MX365607B (es) 2019-06-07
JP6580576B2 (ja) 2019-09-25
BR112016008237B1 (pt) 2023-04-18
JP6542239B2 (ja) 2019-07-10
MX2016004642A (es) 2016-08-05
BR112016008225A2 (pt) 2017-08-01
CN105637881B (zh) 2019-04-02
CN105637880B (zh) 2018-08-24
WO2015057711A1 (en) 2015-04-23
EP3058741A1 (en) 2016-08-24
CN105637882B (zh) 2018-12-04
EP3058745B1 (en) 2020-02-12
BR112016008225B1 (pt) 2023-04-18
EP3058744A1 (en) 2016-08-24
EP3058744B1 (en) 2019-06-05
HUE044813T2 (hu) 2019-11-28
MX2016004635A (es) 2016-08-05

Similar Documents

Publication Publication Date Title
BR112016008235B1 (pt) Dispositivo e método para codificação escalonável de informações de vídeo
ES2854274T3 (es) Dispositivo y procedimiento para codificación escalable de información de vídeo
ES2879635T3 (es) Vaciado de imágenes e inferencia de parámetros de búfer de imágenes decodificadas para flujos de bits multicapa
ES2778463T3 (es) Inferencia mejorada de indicador de no emisión de imagen previa en codificación de video
BR112016030377B1 (pt) Método e aparelho para converter informações de vídeo em código em um fluxo de bits, assim como memória legível por computador
BR112016024233B1 (pt) Método e aparelho para codificar uma imagem de camada de aperfeiçoamento em um fluxo de bits de múltiplas camadas
BR112019018866A2 (pt) derivação de informações de movimento afim
BR112016029751B1 (pt) Método e dispositivo para codificar um fluxo de bits de acordo com hevc escalonável, uma extensão 3d de hevc ou uma extensão de múltiplas vistas de hevc, e método e dispositivo para decodificar dados de vídeo de acordo com hevc escalonável, uma extensão 3d de hevc ou uma extensão de múltiplas vistas de hevc
BR112016001223B1 (pt) Aparelho e método para codificar ou decodificar informações de vídeo e memória legível por computador
KR102127549B1 (ko) 멀티-계층 비디오 코딩에서의 상이한 코덱의 기본 계층의 지원
BR112016008337B1 (pt) Aparelho configurado para codificar informações de vídeo, método para codificar informações de vídeo e memória legível por computador
BR112016007916B1 (pt) Sinalização para armazenamento temporário de figuração subdecodificada (sub-dpb) com base em operações de dpb em codificação de vídeo
ES2780686T3 (es) Tipo de dependencia entre vistas en MV-HEVC
ES2834481T3 (es) Dispositivo y procedimiento para codificación escalable de información de vídeo
BR112016021473B1 (pt) Método e aparelho para codificar informação de vídeo usando extensão escalável para codificação de vídeo de alta eficiência, shvc, ou codificação de vídeo de alta eficiência de múltiplas vistas, mv-hevc, assim como memória legível por computador
BR112015006440B1 (pt) Indicação e ativação de conjuntos de parâmetros para codificação de vídeo
EP3158760B1 (en) Full picture order count reset for multi-layer codecs
BR112016015893B1 (pt) Método de decodificação de informações de vídeo, aparelho configurado para decodificar informações de vídeo e memória legível por computador
BR112016000865B1 (pt) Aparelho e método para codificar informações de vídeo multicamadas, aparelho e método para decodificar informações de vídeo multicamadas, e memória legível por computador
BR112015008574B1 (pt) Métodos para decodificar e codificar dados de vídeo, dispositivos para decodificar e codificar dados de vídeo, e, memória legível por computador
BR112016021475B1 (pt) Dispositivo e método para codificação escalável de informação de vídeo
BR112016030436B1 (pt) Mensagem de sei de ponto de recuperação em codecs de vídeo de múltiplas camadas
BR112016015552B1 (pt) Métodos para codificação de um conjunto de imagens de referência (rps) entre camadas e codificação de unidades da camada de acesso à rede (nal) do fim do fluxo de bits
BR112016030211B1 (pt) Restrições de conformidade de fluxo de bits em codificação de vídeo escalonável
BR112016001121B1 (pt) Dispositivo e método para codificação escalável de informações de vídeo e memória legível por computador

Legal Events

Date Code Title Description
B06F Objections, documents and/or translations needed after an examination request according [chapter 6.6 patent gazette]
B06U Preliminary requirement: requests with searches performed by other patent offices: procedure suspended [chapter 6.21 patent gazette]
B09A Decision: intention to grant [chapter 9.1 patent gazette]
B16A Patent or certificate of addition of invention granted [chapter 16.1 patent gazette]

Free format text: PRAZO DE VALIDADE: 20 (VINTE) ANOS CONTADOS A PARTIR DE 14/10/2014, OBSERVADAS AS CONDICOES LEGAIS