BR112021014753A2

BR112021014753A2 - Sinalização explícita de retenção de figuração de referência de longo prazo estendida

Info

Publication number: BR112021014753A2
Application number: BR112021014753-5A
Authority: BR
Inventors: Borivoje Furht; Hari Kalva; Velibor Adzic
Original assignee: Op Solutions, Llc
Priority date: 2019-01-28
Filing date: 2020-01-28
Publication date: 2021-09-28
Also published as: KR20210118155A; JP7498502B2; SG11202108105YA; CN113615184B; MX2021009024A; CN113615184A; JP2024100973A; EP3918799A1; WO2020159993A1; CN118714324A; EP3918799A4; JP2022524917A

Abstract

sinalização explícita de retenção de figuração de referência de longo prazo estendida. trata-se de um decodificador que inclui um conjunto de circuitos configurados para receber um fluxo de bits; armazenar uma pluralidade de quadros de referência de longo prazo em uma lista de referência; reter um quadro de referência de longo prazo na lista de referência por um período de tempo com base em um tempo de retenção; e decodificar pelo menos uma porção de vídeo com o uso do quadro de referência de longo prazo retido na lista de referência. aparelho relacionado, sistemas, técnicas e artigos são também descritos.

Description

RELATÓRIO DESCRITIVO SINALIZAÇÃO EXPLÍCITA DE RETENÇÃO DE FIGURAÇÃO DE REFERÊNCIA DE LONGO PRAZO ESTENDIDA REFERÊNCIA CRUZADA A PEDIDOS RELACIONADOS

[001] O presente pedido reivindica o benefício de prioridade do Pedido de Patente Provisório de nº de série US 62/797.806, depositado em 28 de janeiro de 2019, e intitulado como “Explicit Signaling of Extended Long Term Reference Picture Retention”, que é incorporado a título de referência no presente documento em sua totalidade.

CAMPO DA INVENÇÃO

[002] A presente invenção refere-se geralmente ao campo da compressão de vídeo. Em particular, a presente invenção se direciona à sinalização explícita de retenção de figuração de referência de longo prazo estendida.

ANTECEDENTES

[003] Um codec de vídeo pode incluir um circuito eletrônico ou software que compacta ou descompacta vídeo digital. Ele pode converter vídeo não compactado em um formato compactado ou vice-versa. No contexto da compactação de vídeo, um dispositivo que compacta vídeo (e/ou executa alguma função do mesmo) pode normalmente ser chamado de codificador, e um dispositivo que descompacta vídeo (e/ou executa alguma função do mesmo) pode ser chamado de decodificador.

[004] Um formato dos dados compactados pode estar em conformidade com uma especificação de compactação de vídeo padrão. A compactação pode ser com perdas, pois o vídeo compactado carece de algumas informações presentes no vídeo original. Uma consequência disso pode incluir que o vídeo descompactado pode ter qualidade inferior em relação ao vídeo original não descompactado, porque não há informações suficientes para reconstruir com precisão o vídeo original.

[005] Pode haver relações complexas entre a qualidade do vídeo, a quantidade de dados usados para representar o vídeo (por exemplo, determinado pela taxa de bits), a complexidade dos algoritmos de codificação e decodificação, a sensibilidade a perdas e erros de dados, a facilidade de edição, o acesso aleatório, o atraso de ponta a ponta (por exemplo, latência) e similares.

[006] A compensação de movimento pode incluir uma abordagem para prever um quadro de vídeo ou uma porção do mesmo, dado um quadro de referência, tal como quadros anteriores e/ou futuros, ao contar o movimento da câmera e/ou objetos no vídeo. Ela pode ser empregada na codificação e decodificação de dados de vídeo para a compressão de vídeo, por exemplo, na codificação e decodificação com o uso do padrão do Grupo de Especialistas em Imagens com Movimento (MPEG)-2 (também referido como codificação avançada de vídeo (AVC) e H.264). A compensação de movimento pode descrever uma figuração em termos da transformação de uma figuração de referência à figuração atual. A figuração de referência pode ser anterior no tempo quando comparada com a figuração atual, do futuro quando comparada à figuração atual, ou pode incluir um quadro de referência de longo prazo (LTR). Quando imagens podem ser sintetizadas com precisão a partir de imagens transmitidas e/ou armazenadas, a eficácia de compressão pode ser aprimorada.

[007] Os quadros de referência de longo prazo (LTR) foram usados em padrões de codificação de vídeo, tais como MPEG-2, H.264 (também referido como AVC ou MPEG-4 Part 10), e H.265 (também referido como Codificação de Vídeo de Alta Eficácia (HEVC)). Um quadro marcado como um quadro de LTR no fluxo de bits de vídeo está disponível para o uso como uma referência até que o mesmo seja removido explicitamente por sinalização de fluxo de bits. Os quadros de LDR aprimoram a predição e a eficácia de compressão em cenas que têm antecedentes estáticos sobre um período estendido (por exemplo, antecedentes em uma conferência de vídeo ou vídeo de vigilância de estacionamento). Entretanto, com o tempo, os antecedentes de uma cena mudam gradualmente (por exemplo, carros, quando estacionados em um local vazio, se tornam parte da cena antecedente). Atualizar o quadro de LTR, assim, aprimora o desempenho de compressão pela permissão de uma predição melhorada.

[008] Os padrões atuais, tais como H.264 e H.265, permitem a atualização de quadros de LDR pela sinalização de um novo quadro decodificado a ser salvo e disponibilizado como um quadro de referência. Tais atualizações são sinalizadas pelo codificador e um quadro total é atualizado. Mas a atualização de todo o quadro pode ser dispendiosa. E, quando um quadro de LTR é atualizado, o quadro de LTR anterior é descartado. Se os antecedentes estáticos associados com o quadro de LTR anterior e descartados ocorrerem novamente no vídeo (por exemplo, como em vídeos que alteram de uma primeira cena a uma segunda cena, e, então de volta à primeira cena), o quadro de LTR anterior deve ser codificado novamente no fluxo de bits, o que reduz a eficácia de compressão.

SUMÁRIO DA REVELAÇÃO

[009] Em um aspecto, um decodificador inclui um conjunto de circuitos configurados para receber um fluxo de bits, armazenar uma pluralidade de quadros de referência de longo prazo em uma lista de referência, reter um quadro de referência de longo prazo na lista de referência por um período de tempo com base em um tempo de retenção, e decodificar pelo menos uma porção de vídeo com o uso do quadro de referência de longo prazo retido na lista de referência.

[010] Em outro aspecto, um método inclui receber, por um decodificador, um fluxo de bits. O método inclui armazenar, pelo decodificador, uma pluralidade de quadros de referência de longo prazo em uma lista de referência. O método inclui reter, pelo decodificador, um quadro de referência de longo prazo na lista de referência por um período de tempo com base em um tempo de retenção. O método inclui decodificar, pelo decodificador, pelo menos uma porção de vídeo com o uso do quadro de referência de longo prazo retido na lista de referência.

[011] Os detalhes de uma ou mais variações da matéria aqui descrita são apresentados nos desenhos anexos e na descrição abaixo. Outros recursos e vantagens da matéria descrita no presente documento serão evidentes a partir da descrição, dos desenhos e das reivindicações.

DESCRIÇÃO DOS DESENHOS

[012] Com o propósito de ilustrar a invenção, os desenhos mostram aspectos de uma ou mais modalidades da invenção. No entanto, deve ser entendido que a presente invenção não está limitada às disposições e instrumentalidades precisas mostradas nos desenhos, em que: A Figura 1 ilustra uma lista de referência exemplificativa para uma predição de quadro sobre um longo período;

[013] A Figura 2 é um diagrama de fluxo de processo que ilustra um processo exemplificativo de um quadro de retenção de referência de longo prazo estendida (eLTR) na qual um quadro de eLTR é retido na lista de referência;

[014] A Figura 3 é um diagrama de bloco de sistema que ilustra um decodificador exemplificativo capaz de decodificar um fluxo de bits com quadros de eLTR retidos na lista de referência;

[015] A Figura 4 é um diagrama de fluxo de processo que ilustra um processo exemplificativo da codificação de um vídeo com quadros de eLTR retidos na lista de referência, de acordo com alguns aspectos da matéria atual que podem permitir aprimoramentos na eficácia de compressão, em comparação com algumas abordagens existentes;

[016] A Figura 5 é um diagrama de bloco de sistema que ilustra um codificador de vídeo exemplificador capaz de sinalizar para a retenção de eLTR na lista de referência; e

[017] A Figura 6 é um diagrama de blocos de um sistema de computação que pode ser usado para implementar qualquer uma ou mais das metodologias reveladas no presente documento e qualquer uma ou mais porções das mesmas.

[018] Os desenhos não estão necessariamente em escala e podem ser ilustrados por linhas pontilhadas, representações diagramáticas e vistas fragmentadas. Em certos casos, detalhes que não são necessários para uma compreensão das modalidades ou que tornam outros detalhes difíceis de perceber podem ter sido omitidos. Símbolos de referência semelhantes nos vários desenhos indicam elementos semelhantes.

DESCRIÇÃO DETALHADA

[019] Uma figuração de referência de longo prazo (LTR) pode ser usada para uma melhor predição de quadros de vídeo nos casos em que certas porções do quadro se tornam fechadas e, então, descobertas repetidamente com o tempo. Tradicionalmente, a LTR é usada sobre uma duração de uma cena ou grupo-de- figurações, após do qual a mesma é substituída ou descartada. Algumas implementações da matéria atual estendem a utilidade do uso de LTR pela seleção das melhores LTRs candidatas para a retenção em uma lista de referência. Em algumas implementações, quadros de referência de longo prazo estendidas (eLTR) sinalizados explicitamente podem ser retidos em uma lista de referência por durações de tempo explicitamente sinalizadas. Algumas implementações da matéria atual podem fornecer ganhos de eficácia de compressão significativos em comparação com algumas abordagens existentes.

[020] Algumas implementações da matéria atual podem obter a seleção e retenção de um quadro de eLTR em codificação de vídeo. Uma eLTR pode ser retida em uma lista de figuração de referência, que podem ser usadas por um quadro ou grupo atual de quadros para a predição. Enquanto todos os outros quadros na lista se alteram sobre um período relativamente curto, a eLTR pode se retida na lista de referência. Por exemplo, a Figura 1 ilustra uma lista de referência exemplificativa para predição de quadro durante um longo período. Como um exemplo ilustrativo e não limitador, quadros de vídeo mostrados conforme sombreados podem ser reconstruídos com uso de quadros de referência. A lista de referência pode conter quadros que mudam com o tempo e uma eLTR que é retida.

[021] Em algumas implementações, e ainda se referindo à Figura 1, um codificador conduz a operação de cálculo de seleção e retenção de eLTR. Os quadros selecionados e um tempo de retenção podem ser sinalizados ao decodificador, por exemplo, com o uso de pares (eLTRn, TRn) indicando um índice para a eLTR (eLTRn) e um tempo de retenção (TRn) para o quadro n. Um decodificador pode reter um quadro eLTRn por um período de TRn na lista de referência. Após o quadro de eLTRn ter permanecido na lista de referência por pelo menos TRn, o quadro de eLTRn pode ser marcado como indisponível para o uso adicional. Em algumas implementações, o quadro de eLTRn pode ser mantido em memória, mas em um estado indisponível. Em algumas implementações, um codificador pode sinalizar explicitamente um decodificador para marcar o quadro de eLTRn como disponível ou como indisponível. Por exemplo, o quadro de eLTRn marcado anteriormente como indisponível após uma passagem de tempo de retenção TRn pode ser marcado como disponível. Tal recurso pode permitir que a eLTRn seja usada novamente no futuro, tal como por um vídeo que contém cenas que mudam para frente e para trás. Em algumas implementações, um codificador pode incluir um sinal em um fluxo de bits para um decodificador para remover o quadro de eLTRn da memória. O decodificador pode remover o quadro de eLTRn da lista de referência e da memória com base em tal sinal.

[022] A Figura 2 é um diagrama de fluxo de processo que ilustra um exemplo não limitador de um processo 200 de quadro de retenção de eLTR no qual um quadro de eLTR é retido em uma lista de referência. Tal retenção de eLTR pode permitir aprimoramentos na eficácia de compressão, em comparação com algumas abordagens existentes para a codificação e decodificação de vídeo.

[023] Na etapa 210, e ainda se referindo à Figura 2, um fluxo de bits é recebido por um decodificador. O fluxo de bits pode incluir, por exemplo, dados encontrados em um fluxo de bits que é uma entrada a um decodificador, quando usando a compressão de dados. O fluxo de bits pode incluir informações necessárias para decodificar um vídeo. A recepção pode incluir a extração e/ou análise de um bloco e informações de sinalização associadas do fluxo de bits. Em algumas implementações, a recepção de fluxo de bits pode incluir a análise de quadros de eLTR, índices para tais quadros (eLTRn), e tempos de retenção (Trn) associados, em que o tempo de retenção é com base em quadros decodificados e/ou tempo dentro do vídeo.

[024] Com referência continuada à Figura 2, na etapa 220, um quadro de eLTR pode ser armazenado na figuração de lista de referência.

[025] Na etapa 230, e ainda se referindo à Figura 2 o quadro de eLTR armazenado pode ser retido (por exemplo, mantido) em uma lista de referência por um período de tempo com base em um tempo de retenção associado (TRn).

[026] Na etapa 240, e ainda se referindo à Figura 2, pelo menos uma porção de um vídeo pode ser decodificada de um fluxo de bits. A decodificação pode incluir a decodificação um bloco de corrente. Por exemplo, um bloco de corrente codificado recebido contido em fluxo de bits pode ser decodificado, por exemplo, pelo uso de interpredição. A decodificação por interpredição pode incluir o uso de um quadro anterior, um quadro futuro e/ou o quadro de eLTR como uma referência para computar uma predição, o que pode ser combinado com um residual contido em fluxo de bits.

[027] Se referindo adicionalmente à Figura 2, para blocos de corrente subsequentes, um quadro de eLTR pode ser utilizado como um quadro de referência para interpredição. Por exemplo, um segundo bloco codificado pode ser recebido. Se um modo de interpredição para o segundo bloco codificado for permitido, o mesmo pode ser determinado; a determinação pode incluir a recepção, do fluxo de bits, de um sinal explícito que indica se o modo de interpredição foi permitido. Um segundo bloco decodificado pode ser determinado com o uso do quadro de eLTR como um quadro de referência e de acordo com o modo de interpredição. Por exemplo, a decodificação pela interpredição pode incluir o uso do quadro de eLTR como uma referência para computar uma predição, o que pode ser combinado com um residual contido no fluxo de bits.

[028] A Figura 3 é um diagrama de bloco de sistema que ilustra um exemplo não limitador de um decodificador 300 capaz de decodificar um fluxo de bits 370 com quadros de eLTR retidos em uma lista de referência. O decodificador 300 pode incluir um processador de decodificador de entropia 310, uma quantização inversa e um processador de transformação inversa 320, um filtro de desbloqueio 330, um armazenamento temporário de quadro 340, um processador de compensação de movimento 350 e um processador de intrapredição 360. Em algumas implementações, o fluxo de bits 370 pode incluir parâmetros (por exemplo, campos em um cabeçalho do fluxo de bits) que sinaliza índices de eLTR (eLTRn) e tempos de retenção (TRn). O processador de compensação de movimento 350 pode reconstruir informações de pixel com o uso de quadros de eLTR e reter os quadros de eLTR de acordo com seus tempos de retenção associados (TRn). Por exemplo, quando um quadro de eLTR (eLTRn) é recebido e retido na lista de referência por pelo menos um tempo de retenção associado, um quadro de eLTR (eLTRn) pode ser usado como uma referência para o modo de interpredição, pelo menos durante o tempo de referência associado.

[029] Em operação, e ainda se referindo à Figura 3, o fluxo de bits 370 pode ser recebido pelo decodificador 300 e entrar ao processador de decodificador de entropia 310, p que pode decodificar por entropia o fluxo de bits em coeficientes quantizados. Os coeficientes quantizados podem ser recebidos ao processador de quantização inversa e transformação inversa 320, que podem realizar a quantização inversa e a transformação inversa para criar um sinal residual, que pode ser adicionado a uma saída do processador de compensação de movimento 350 ou processador de intrapredição 360, de acordo com um modo de processamento. Uma saída do processador de compensação de movimento 350 e processador de intrapredição 360 pode incluir uma predição de bloco baseada em um bloco decodificado anteriormente e/ou quadros de eLTR mantidos na lista de referência. A ]soma da predição e do residual pode ser processada pelo filtro de desbloqueio 630 e armazenada em um armazenamento temporário de quadro 640.

[030] A Figura 4 é um diagrama de fluxo de processo que ilustra um exemplo não limitador de um processo 400 de codificação a vídeo com quadros de eLTR retidos na lista de referência, de acordo com alguns aspectos da matéria atual que podem permitir os aprimoramentos de eficácia de compressão em comparação com algumas abordagens existentes. Na etapa 410, uma sequência de quadros de vídeo pode ser codificada, incluindo a determinação de um ou mais quadros de eLTR. Na etapa 420, os tempos de quadro de retenção (TRn) de eLTR podem ser determinados, por exemplo, com base em um período de tempo em que um quadro de eLTR é utilizado pelo codificador/decodificador, em que, por exemplo, o tempo é com base em quadros sendo decodificados em um vídeo.

[031] Na etapa 430, e ainda se referindo à Figura 4, parâmetros de sinalização adicionais podem ser determinados. Por exemplo, se e quando a marcação de quadros de eLTR como indisponíveis ou disponíveis pode ser determinada, e se e quando cada quadro de eLTR devem ser removidos da memória pode ser determinado.

[032] Na etapa 440, e ainda se referindo à Figura 4 o tempo de retenção de eLTR e parâmetros de sinalização adicionais podem ser incluídos em um fluxo de bits.

[033] A Figura 5 é um diagrama de bloco de sistema que ilustra um exemplo não limitador de um codificador de vídeo 500 capaz de sinalizar uma retenção de eLTR em uma lista de referência. O codificador de vídeo exemplificador 500 recebe um vídeo de entrada 505, que pode ser segmentado inicialmente ou dividido, de acordo com um esquema de processamento, tal como um esquema de partição de macro bloco estruturado em árvore (por exemplo, árvore quádrupla mais árvore binária). Um exemplo de um esquema de partição de macro bloco estruturado em árvore pode incluir um esquema de partição que parte um quadro de figuração em grandes elementos de bloco que podem ser referidos por propósitos da presente revelação como unidades de árvore de codificação (CTU). Em algumas implementações, cada CTU pode ser partido adicionalmente uma ou mais vezes em um número de sub-blocos chamados de unidades de codificação (CU). Um resultado da dita porção pode incluir um grupo de sub-blocos que podem ser referidos para os propósitos da presente revelação como unidades preditivas (PU). Unidades de transformação (TU) também podem ser utilizadas.

[034] Ainda em referência à Figura 5, o codificador de vídeo exemplificador 500 pode incluir um processador de intrapredição 515, um processador de estimação / compensação de movimento 520 (também referido como um processador de interpredição) capaz de suportar o quadro de retenção de eLTR, um processador de transformação/quantização 525, um processador de transformação inversa/quantização inversa 530, um filtro em circuito 535, um armazenamento de figuração decodificado 540, e um processador de codificação de entropia 545. In some implementações, processador de estimação / compensação de movimento 520 pode determinar os tempos de retenção de eLTR e parâmetros de sinalização adicionais. Os parâmetros de fluxo de bits que sinalizam o quadro de retenção de eLTR e parâmetros adicionais podem entrar no processador de codificação de entropia 545 para a inclusão no fluxo de bits de saída 550.

[035] Em operação, e continuando a se referir à Figura 5, para cada bloco de um quadro do vídeo de entrada 505, o processamento do bloco por meio da predição de intrafiguração ou do uso de estimação de movimento / compensação pode ser determinado. Um bloco pode ser fornecido ao processador de intrapredição 510 ou ao processador de estimação de movimento / de compensação 520. Se o bloco for processado por intrapredição, o processador de intrapredição 510 pode realizar o processamento para a saída de um preditor. Se o bloco for processado por estimação de movimento / compensação, o processador de estimação / compensação de movimento 520 pode realizar o processamento incluindo o uso de quadros de eLTR como uma referência para interpredição, caso aplicável.

[036] Continuando a se referir à Figura 5, um residual pode ser formado pelo preditor de subtração do vídeo de entrada. O residual pode ser recebido pelo processador de transformação/quantização 525, que pode realizar o processamento de transformação (por exemplo, transformada distinta de cosseno (DCT)) para produzir coeficientes, que podem ser quantizados. Os coeficientes quantizados e quaisquer informações de sinalização associadas podem ser fornecidas para o processador de codificação de entropia 545 para a codificação de entropia e inclusão em um fluxo de bits de saída 550. O processador de codificação de entropia 545 pode suportar a codificação de informações de sinalização relacionadas ao quadro de retenção de eLTR. Além disso, os coeficientes quantizados podem ser fornecidos para o processador de quantização inversa/transformação inversa 530, que pode reproduzir pixels, que podem ser combinados com o preditor e processados por um filtro em circuito 535, uma saída do qual pode ser armazenada em um armazenamento de figuração decodificado 540 para o uso por um processador de estimação / compensação de movimento 520 que é capaz de suportar o quadro de retenção de eLTR.

[037] Ainda em referência à Figura 5, embora algumas variações tenham sido descritas em detalhes acima, outras modificações ou adições são possíveis. Por exemplo, em algumas implementações, os blocos de corrente podem incluir quaisquer blocos simétricos (8x8, 16x16, 32x32, 64x64, 128 x 128, e similares) bem como qualquer bloco simétrico (8x4, 16x8 e similares).

[038] Em algumas implementações, e continuando a se referir à Figura 5, uma árvore quádrupla mais árvore de decisão binária (QTBT) pode ser implementada. Em QTBT, em um nível de Unidade de Árvore de Codificação, parâmetros de partição de QTBT podem ser derivados dinamicamente para se adaptar a características locais sem transmitir qualquer sobrecarga. Por consequência, em um nível de Unidade de Codificação, uma estrutura de árvore de decisão de classificador de junta pode eliminar iterações desnecessárias e controlar o risco de predição falsa.

[039] Em algumas implementações, um decodificador pode incluir um processador de quadro de retenção de eLTR (não mostrado) que determina se e quando marcar quadros de eLTR como indisponíveis ou remover os mesmos de uma lista de referência.

[040] Em algumas implementações, a matéria atual pode ser aplicada a um cenário de transmissão (e similares) no qual, no meio de uma retenção período, um codificador sintoniza. A fim de suportar a reprodução padrão, um codificador pode marcar o quadro de LTR(e) como um quadro do tipo de Renovação de Decodificação Instantânea (IDR) . Nesse caso, a transmissão contínua pode retomar após o próximo quadro LTR (IDR) disponível. Tal abordagem pode similar a alguns padrões de transmissão atuais, que especificam interquadros como IDR quadros.

[041] A matéria descrita no presente documento fornece muitas vantagens técnicas. Por exemplo, algumas implementações da matéria atual podem fornecer blocos de decodificação que usam um quadro de eLTR retido na lista de referência. Tais abordagens podem aprimorar a eficácia de compressão.

[042] Deve-se notar que qualquer um ou mais dos aspectos e modalidades descritos no presente documento podem ser convenientemente implementados usando conjunto de circuitos eletrônicos digitais, conjunto de circuitos integrados, conjunto de circuitos integrados específicos de aplicação especialmente concebidos (ASICs), matrizes de portas programáveis de campo (FPGAs), hardware de computador, firmware, software e/ou combinações dos mesmos, conforme realizado e/ou implementado em uma ou mais máquinas (por exemplo, um ou mais dispositivos de computação que são utilizados como um dispositivo de computação de usuário para um documento eletrônico, um ou mais dispositivos de servidor, como um servidor de documentos, etc.) programado de acordo com os ensinamentos da presente especificação, como será evidente para aqueles versados na técnica da computação. Esses vários aspectos ou recursos podem incluir a implementação em um ou mais programas de computador e/ou software que são executáveis e/ou interpretáveis em um sistema programável, incluindo pelo menos um processador programável, que pode ser especial ou de propósito geral, acoplado para receber dados e instruções de e para transmitir dados e instruções para um sistema de armazenamento, pelo menos um dispositivo de entrada e pelo menos um dispositivo de saída. O software de codificação apropriado pode ser prontamente preparado por programadores qualificados com base nos ensinamentos da presente revelação, como será evidente para aqueles versados na técnica do software. Aspectos e implementações discutidos acima empregando software e/ou módulos de software também podem incluir hardware apropriado para auxiliar na implementação das instruções executáveis por máquina do software e/ou módulo de software.

[043] Esse software pode ser um produto de programa de computador que emprega um meio de armazenamento legível por máquina. Um meio de armazenamento legível por máquina pode ser qualquer meio que seja capaz de armazenar e/ou codificar uma sequência de instruções para execução por uma máquina (por exemplo, um dispositivo de computação) e que faz com que a máquina execute qualquer uma das metodologias e/ou modalidades descritas no presente documento. Exemplos de um meio de armazenamento legível por máquina incluem, mas sem limitação, um disco magnético, um disco óptico (por exemplo, CD, CD-R, DVD, DVD-R, etc.), um disco magneto-óptico, uma memória de apenas leitura "ROM", um dispositivo "RAM" de memória de acesso aleatório, um cartão magnético, um cartão óptico, um dispositivo de memória de estado sólido, uma EPROM, uma EEPROM, Dispositivos Lógicos Programáveis (PLDs) e/ou quaisquer combinações dos mesmos. Um meio legível por máquina, conforme usado no presente documento, destina-se a incluir um único meio, bem como uma coleção de mídia fisicamente separada, como, por exemplo, uma coleção de discos compactos ou uma ou mais unidades de disco rígido em combinação com uma memória de computador. Conforme usado no presente documento, um meio de armazenamento legível por máquina não inclui formas transitórias de transmissão de sinal.

[044] Tal software também pode incluir informações (por exemplo, dados) transportadas como um sinal de dados em uma portadora de dados, como uma onda portadora. Por exemplo, as informações executáveis por máquina podem ser incluídas como um sinal de transporte de dados incorporado em uma portadora de dados em que o sinal codifica uma sequência de instrução, ou parte dela, para execução por uma máquina (por exemplo, um dispositivo de computação) e quaisquer informações (por exemplo, estruturas de dados e dados) que fazem com que a máquina execute qualquer uma das metodologias e/ou modalidades descritas no presente documento.

[045] Exemplos de um dispositivo de computação incluem, mas sem limitação,

um dispositivo de leitura de livro eletrônico, uma estação de trabalho de computador, um computador terminal, um computador servidor, um dispositivo portátil (por exemplo, um computador do tipo tablet, um telefone inteligente, etc.), um aplicativo de web, um roteador de rede, um comutador de rede, uma ponte de rede, qualquer máquina capaz de executar uma sequência de instruções que especificam uma ação a ser realizada por essa máquina e quaisquer combinações das mesmas. Em um exemplo, um dispositivo de computação pode incluir e/ou ser incluído em um quiosque.

[046] A Figura 6 mostra uma representação diagramática de uma modalidade de um dispositivo de computação na forma exemplificativa de um sistema de computador 600 dentro do qual um conjunto de instruções para fazer com que um sistema de controle execute qualquer um ou mais dos aspectos e/ou metodologias da presente revelação pode ser executado. Também é contemplado que vários dispositivos de computação podem ser utilizados para implementar um conjunto especialmente configurado de instruções para fazer com que um ou mais dos dispositivos executem qualquer um ou mais dos aspectos e/ou metodologias da presente revelação. O sistema de computador 600 inclui um processador 604 e uma memória 608 que se comunica entre si e com outros componentes por meio de um barramento 612. O barramento 612 pode incluir qualquer um dos vários tipos de estruturas de barramento, incluindo, mas sem limitação, um barramento de memória, um controlador de memória, um barramento periférico, um barramento local e quaisquer combinações dos mesmos, usando qualquer uma de uma variedade de arquiteturas de barramento.

[047] A memória 608 pode incluir vários componentes (por exemplo, mídia legível por máquina) incluindo, mas sem limitação, um componente de memória de acesso aleatório, um componente somente leitura e quaisquer combinações dos mesmos. Em um exemplo, um sistema básico de entrada/saída 616 (BIOS), incluindo rotinas básicas que ajudam a transferir informações entre elementos dentro do sistema de computador 600, como durante a inicialização, pode ser armazenado na memória 608. A memória 608 também pode incluir (por exemplo, armazenada em uma ou mais mídias legíveis por máquina) instruções (por exemplo, software) 620 incorporando qualquer um ou mais dos aspectos e/ou metodologias da presente revelação. Em outro exemplo, a memória 608 pode incluir ainda qualquer número de módulos de programa, incluindo, mas sem limitação, um sistema operacional, um ou mais programas de aplicativos, outros módulos de programa, dados de programa e quaisquer combinações dos mesmos.

[048] O sistema de computador 600 também pode incluir um dispositivo de armazenamento 624. Exemplos de um dispositivo de armazenamento (por exemplo, dispositivo de armazenamento 624) incluem, mas sem limitação, uma unidade de disco rígido, uma unidade de disco magnético, uma unidade de disco óptico em combinação com um meio óptico, um dispositivo de memória de estado sólido e quaisquer combinações dos mesmos. O dispositivo de armazenamento 624 pode ser conectado ao barramento 612 por uma interface apropriada (não mostrada). Interfaces exemplificativas incluem, mas sem limitação, SCSI, conexão de tecnologia avançada (ATA), ATA serial, barramento serial universal (USB), IEEE 1394 (FIREWIRE) e quaisquer combinações dos mesmos. Em um exemplo, o dispositivo de armazenamento 624 (ou um ou mais componentes do mesmo) pode ter interface removível com o sistema de computador 600 (por exemplo, através de um conector de porta externa (não mostrado)). Particularmente, o dispositivo de armazenamento 624 e um meio legível por máquina associado 628 podem fornecer armazenamento não volátil e/ou volátil de instruções legíveis por máquina, estruturas de dados, módulos de programa e/ou outros dados para o sistema de computador 600. Em um exemplo, o software 620 pode permanecer, completa ou parcialmente, dentro do meio legível por máquina 628. Em outro exemplo, o software 620 pode permanecer, completa ou parcialmente, dentro do processador 604.

[049] O sistema de computador 600 também pode incluir um dispositivo de entrada 632. Em um exemplo, um usuário do sistema de computador 600 pode inserir comandos e/ou outras informações no sistema de computador 600 por meio do dispositivo de entrada 632. Exemplos de um dispositivo de entrada 632 incluem, mas sem limitação, um dispositivo de entrada alfanumérico (por exemplo, um teclado), um dispositivo apontador, um joystick, um gamepad, um dispositivo de entrada de áudio (por exemplo, um microfone, uma resposta de voz sistema, etc.), um dispositivo de controle de cursor (por exemplo, um mouse), um bloco de toque, um digitalizador óptico, um dispositivo de captura de vídeo (por exemplo, uma câmera fotográfica, uma câmera de vídeo), uma tela sensível ao toque e quaisquer combinações dos mesmos. O dispositivo de entrada 632 pode ter interface com o barramento 612 por meio de uma variedade de interfaces (não mostradas), incluindo, mas sem limitação, uma interface serial, uma interface paralela, uma porta de jogo, uma interface USB, uma interface FIREWIRE, uma interface direta para o barramento 612 e quaisquer combinações dos mesmos. O dispositivo de entrada 632 pode incluir uma interface de tela de toque que pode ser uma parte ou separada da tela 636, discutida mais abaixo. O dispositivo de entrada 632 pode ser utilizado como um dispositivo de seleção de usuário para selecionar uma ou mais representações gráficas em uma interface gráfica, conforme descrito acima.

[050] Um usuário também pode inserir comandos e/ou outras informações para o sistema de computador 600 através do dispositivo de armazenamento 624 (por exemplo, uma unidade de disco removível, uma unidade rápida, etc.) e/ou dispositivo de interface de rede 640. Um dispositivo de interface de rede, como o dispositivo de interface de rede 640, pode ser utilizado para conectar o sistema de computador 400 a uma ou mais de uma variedade de redes, como a rede 644 e um ou mais dispositivos remotos 648 conectados à mesma. Exemplos de um dispositivo de interface de rede incluem, mas sem limitação, uma placa de interface de rede (por exemplo, uma placa de interface de rede móvel, uma placa LAN), um modem e qualquer combinação dos mesmos. Exemplos de uma rede incluem, mas sem limitação, uma rede de área ampla (por exemplo, a Internet, uma rede corporativa), uma rede de área local (por exemplo, uma rede associada a um escritório, um prédio, um campus ou outro espaço geográfico relativamente pequeno), uma rede telefônica, uma rede de dados associada a um provedor de telefone/voz (por exemplo, um provedor de comunicações móveis de dados e/ou rede de voz), uma conexão direta entre dois dispositivos de computação e quaisquer combinações dos mesmos. Uma rede, como a rede 644, pode empregar um modo de comunicação com fio e/ou sem fio. Em geral, qualquer topologia de rede pode ser usada. Informações (por exemplo, dados, software 620, etc.) podem ser comunicadas para e/ou do sistema de computador 600 através do dispositivo de interface de rede 640.

[051] O sistema de computador 600 pode ainda incluir um adaptador de exibição de vídeo 652 para comunicar uma imagem exibível a um dispositivo de exibição, como o dispositivo de exibição 636. Exemplos de um dispositivo de exibição incluem, mas sem limitação, uma tela de cristal líquido (LCD), um tubo de raios catódicos (CRT), uma tela de plasma, uma tela de diodo emissor de luz (LED) e quaisquer combinações dos mesmos. O adaptador de exibição 652 e o dispositivo de exibição 636 podem ser utilizados em combinação com o processador 604 para fornecer representações gráficas de aspectos da presente revelação. Além de um dispositivo de exibição, o sistema de computador 600 pode incluir um ou mais outros dispositivos de saída periféricos incluindo, mas sem limitação, um alto-falante de áudio, uma impressora e quaisquer combinações dos mesmos. Tais dispositivos de saída periféricos podem ser conectados ao barramento 612 por meio de uma interface periférica 656. Exemplos de uma interface periférica incluem, mas sem limitação, uma porta serial, uma conexão USB, uma conexão FIREWIRE, uma conexão paralela e quaisquer combinações das mesmas.

[052] O anterior foi uma descrição detalhada de modalidades ilustrativas da invenção. Várias modificações e adições podem ser feitas sem se afastar do espírito e do escopo dessa invenção. Características de cada uma das várias modalidades descritas acima podem ser combinadas com características de outras modalidades descritas, conforme apropriado, a fim de fornecer uma multiplicidade de combinações de recursos em novas modalidades associadas. Além disso, embora o anterior descreva uma série de modalidades separadas, o que foi descrito no presente documento é meramente ilustrativo da aplicação dos princípios da presente invenção. Além disso, embora métodos particulares no presente documento possam ser ilustrados e/ou descritos como sendo realizados em uma ordem específica, a ordenação é altamente variável dentro de uma habilidade comum para alcançar modalidades como reveladas no presente documento. Consequentemente, essa descrição destina-se a ser tomada apenas a título de exemplo e não para limitar de outra forma o âmbito dessa invenção.

[053] Nas descrições acima e nas reivindicações, frases como "pelo menos um de" ou "um ou mais de" podem ocorrer seguidas por uma lista conjuntiva de elementos ou características. O termo "e/ou" também pode ocorrer em uma lista de dois ou mais elementos ou recursos. A menos que de outra forma implícita ou explicitamente contradita pelo contexto em que é usada, tal frase se destina a significar qualquer um dos elementos ou características listados individualmente ou qualquer um dos elementos ou características citadas em combinação com qualquer um dos outros elementos ou características recitadas. Por exemplo, as frases "pelo menos um de A e B;" “um ou mais de A e B;” e "A e/ou B" significam, cada um, "A sozinho, B sozinho ou A e B juntos." Uma interpretação semelhante também se destina a listas que incluem três ou mais itens. Por exemplo, as frases "pelo menos um de A, B e C;" “Um ou mais de A, B e C;” e "A, B e/ou C" significam, cada um, "A sozinho, B sozinho, C sozinho, A e B juntos, A e C juntos, B e C juntos, ou A e B e C juntos." Além disso, o uso do termo "com base em", acima e nas reivindicações, pretende significar "com base pelo menos em parte em", de modo que um recurso ou elemento não recitado também seja permitido.

[054] A matéria descrita no presente documento pode ser incorporada em sistemas, aparelhos, métodos e/ou artigos, dependendo da configuração desejada. As implementações estabelecidas na descrição anterior não representam todas as implementações consistentes com a matéria descrita no presente documento.

Em vez disso, são apenas alguns exemplos consistentes com aspectos relacionados à matéria descrita.

Embora algumas variações tenham sido descritas em detalhes acima, outras modificações ou acréscimos são possíveis.

Em particular, outros recursos e/ou variações podem ser fornecidos além daqueles estabelecidos no presente documento.

Por exemplo, as implementações descritas acima podem ser direcionadas a várias combinações e subcombinações dos recursos revelados e/ou combinações e subcombinações de vários recursos adicionais revelados acima.

Além disso, os fluxos lógicos representados nas figuras anexas e/ou descritos no presente documento não exigem necessariamente a ordem particular mostrada, ou ordem sequencial, para alcançar os resultados desejáveis.

Outras implementações podem fazer parte do escopo das seguintes reivindicações.

Claims

REIVINDICAÇÕES

1. DECODIFICADOR, sendo que o decodificador é caracterizado pelo fato de que compreende um conjunto de circuitos configurados para: receber um fluxo de bits; armazenar uma pluralidade de quadros de referência de longo prazo em uma lista de referência; reter um quadro de referência de longo prazo na lista de referência por um período de tempo com base em um tempo de retenção; e decodificar pelo menos uma porção de vídeo com o uso do quadro de referência de longo prazo retido na lista de referência.

2. DECODIFICADOR, de acordo com a reivindicação 1, caracterizado pelo fato de que cada quadro de referência de longo prazo nos quadros de referência de longo prazo armazenados inclui um tempo de retenção associado.

3. DECODIFICADOR, de acordo com a reivindicação 1, caracterizado pelo fato de que é configurado adicionalmente para marcar o quadro de referência de longo prazo como indisponível após o quadro de referência de longo prazo ter permanecido na lista de referência por pelo menos o tempo de retenção.

4. DECODIFICADOR, de acordo com a reivindicação 3, caracterizado pelo fato de que é configurado adicionalmente para marcar o quadro de referência de longo prazo como disponível com base em um sinal no fluxo de bits.

5. DECODIFICADOR, de acordo com a reivindicação 1, caracterizado pelo fato de que o fluxo de bits inclui um sinal para remover o quadro de referência de longo prazo da memória.

6. DECODIFICADOR, de acordo com a reivindicação 5, caracterizado pelo fato de que é configurado adicionalmente para remover o quadro de referência de longo prazo da lista de referência com base no sinal.

7. DECODIFICADOR, de acordo com a reivindicação 1, sendo que o decodificador é caracterizado pelo fato de que compreende adicionalmente: um processador de decodificador de entropia configurado para receber o fluxo de bits e decodificar o fluxo de bits em coeficientes quantizados;

uma quantização inversa e processador de transformação inversa configurados para processar os coeficientes quantizados, incluindo realizar um cosseno discreto inverso; um filtro de desbloqueio; um armazenamento temporário de quadro; e um processador de intrapredição.

8. DECODIFICADOR, de acordo com a reivindicação 1, caracterizado pelo fato de que é configurado adicionalmente para: receber um bloco codificado; determinar que um modo de interpredição seja permitido para o bloco codificado; e determinar um bloco decodificado com o uso do quadro de referência de longo prazo como um quadro de referência e de acordo com o modo de interpredição.

9. DECODIFICADOR, de acordo com a reivindicação 8, caracterizado pelo fato de que o bloco decodificado faz parte de uma árvore quádrupla mais árvore de decisão binária.

10. DECODIFICADOR, de acordo com a reivindicação 8, caracterizado pelo fato de que o bloco decodificado é um nó não folha da árvore quádrupla mais árvore de decisão binária.

11. MÉTODO, caracterizado pelo fato de que compreende: receber, por um decodificador, um fluxo de bits; armazenar, pelo decodificador, uma pluralidade de quadros de referência de longo prazo em uma lista de referência; reter, pelo decodificador, um quadro de referência de longo prazo na lista de referência por um período de tempo com base em um tempo de retenção; e decodificar, pelo decodificador, pelo menos uma porção de vídeo com o uso do quadro de referência de longo prazo retido na lista de referência.

12. MÉTODO, de acordo com a reivindicação 11, caracterizado pelo fato de que cada quadro de referência de longo prazo nos quadros de referência de longo prazo armazenados inclui um tempo de retenção associado.

13. MÉTODO, de acordo com a reivindicação 11, caracterizado pelo fato de que compreende adicionalmente a marcação do quadro de referência de longo prazo como indisponível após o quadro de referência de longo prazo permanecer na lista de referência por pelo menos o tempo de retenção.

14. MÉTODO, de acordo com a reivindicação 13, caracterizado pelo fato de que compreende adicionalmente a marcação do quadro de referência de longo prazo como disponível com base em um sinal no fluxo de bits.

15. MÉTODO, de acordo com a reivindicação 11, caracterizado pelo fato de que o fluxo de bits inclui um sinal para remover o quadro de referência de longo prazo da memória.

16. MÉTODO, de acordo com a reivindicação 15, caracterizado pelo fato de que compreende adicionalmente a remoção do quadro de referência de longo prazo da lista de referência com base no sinal.

17. MÉTODO, de acordo com a reivindicação 11, caracterizado pelo fato de que o decodificador compreende adicionalmente: um processador de decodificador de entropia configurado para receber o fluxo de bits e decodificar o fluxo de bits no coeficiente quantizado; uma quantização inversa e processador de transformação inversa configurados para processar os coeficientes quantizados, incluindo realizar um cosseno discreto inverso; um filtro de desbloqueio; um armazenamento temporário de quadro; e um processador de intraprevisão.

18. MÉTODO, de acordo com a reivindicação 11, caracterizado pelo fato de que compreende adicionalmente: receber um bloco codificado; determinar que um modo de interpredição seja permitido para o bloco codificado; e determinar um bloco decodificado com o uso do quadro de referência de longo prazo como um quadro de referência e de acordo com o modo de interpredição.

19. MÉTODO, de acordo com a reivindicação 18, caracterizado pelo fato de que o bloco decodificado faz parte de uma árvore quádrupla mais árvore de decisão binária.

20. MÉTODO, de acordo com a reivindicação 18, caracterizado pelo fato de que o bloco decodificado é um nó não folha da árvore quádrupla mais árvore de decisão binária.