BRPI0706407B1 - método e aparelho para fornecer modo de atualização de resolução reduzida para codificação de vídeo de múltiplas visualizações e mídia de armazenamento tendo dados codificados de sinal de vídeo - Google Patents

método e aparelho para fornecer modo de atualização de resolução reduzida para codificação de vídeo de múltiplas visualizações e mídia de armazenamento tendo dados codificados de sinal de vídeo Download PDF

Info

Publication number
BRPI0706407B1
BRPI0706407B1 BRPI0706407A BRPI0706407A BRPI0706407B1 BR PI0706407 B1 BRPI0706407 B1 BR PI0706407B1 BR PI0706407 A BRPI0706407 A BR PI0706407A BR PI0706407 A BRPI0706407 A BR PI0706407A BR PI0706407 B1 BRPI0706407 B1 BR PI0706407B1
Authority
BR
Brazil
Prior art keywords
update mode
resolution update
image
prediction
mode
Prior art date
Application number
BRPI0706407A
Other languages
English (en)
Inventor
Gomila Cristina
Yin Peng
Su Yeping
Original Assignee
Interdigital Madison Patent Holdings
Thomson Licensing
Thomson Licensing Dtv
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Interdigital Madison Patent Holdings, Thomson Licensing, Thomson Licensing Dtv filed Critical Interdigital Madison Patent Holdings
Publication of BRPI0706407A2 publication Critical patent/BRPI0706407A2/pt
Publication of BRPI0706407B1 publication Critical patent/BRPI0706407B1/pt

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness

Abstract

método e aparelho para fornecer modo de atualização de resolução reduzida para codificação de video de múltiplas visualizaçoes são fornecidos um método e aparelho para fornecer modo de atualização de resolução reduzida para codificaçãode video de múltiplas visualizações. um codificador de video inclui um codificador (400) para codificar uma imagem usando um modo de atualização de resolução reduzida. a imagem é uma de um conjunto de imagens correspondente ao conteúdo de múltiplas visualizações tendo diferentes pontos de vista com relação a uma cena idêntica ou similar. a imagem representa um dos diferentes pontos de vista.

Description

Este pedido reivindica o benefício do pedido provisório US 60/757.291, intitulado System Providing Reduced Resolution Update Mode for Multi-view Video Coding”, depositado em 9 de janeiro de 2006, o qual está incorporado em sua totalidade neste documento pela referência. Além disso, este pedido reivindica o benefício do pedido provisório US 60/757.289, intitulado Multi-View Video Coding System”, depositado em 9 de janeiro de 2006, o qual está incorporado em sua totalidade neste documento pela referência. Além disso, este pedido está relacionado ao pedido não provisório, protocolo representante PU060004, intitulado Methods and Apparatus for Multi-View Video Coding”, o qual é do mesmo requerente, incorporado em sua totalidade pela referência.
CAMPO DA INVENÇÃO
A presente invenção diz respeito de uma maneira geral a codificação e decodificação de vídeo e, mais particularmente, a um método e aparelho para fornecer um modo de atualização de resolução reduzida para Codificação de Vídeo de Multivisualização (MVC).
ANTECEDENTES DA INVENÇÃO
Uma seqüência de Codificação de Vídeo de Multivisualização (MVC) é um conjunto de duas ou mais seqüências de vídeo que capturam a mesma cena a partir de um ponto de visPetição 870190040101, de 29/04/2019, pág. 21/76
2/40 ta diferente. Uma abordagem possível para a codificação de uma seqüência de vídeo de multivisualização é codificar cada visualização independentemente. Neste caso, qualquer padrão de codificação de vídeo existente, como, por exemplo, a Uni5 ão Internacional de Telecomunicações, Setor de Telecomunicações (ITU-T), recomendação H.263 (em seguida a Recomendação H.263”) e a Organização Internacional de Normalização/Comissão Internacional de Eletrotécnica (ISO/IEC), Grupo 4 de Especialistas de Imagens em Movimento (MPEG-4), Parte 10 10, padrão de Codificação Avançada de vídeo (AVC)/União Internacional de Telecomunicações, Setor de Telecomunicações (ITU-T), recomendação H.264 (em seguida o padrão AVC MPEG4”) pode ser usado. A abordagem tem baixa eficiência de compressão uma vez que ela explora somente a redundância tempo15 ral entre imagens da mesma seqüência de vídeo.
O modo de Atualização de Resolução Reduzida foi introduzido na Recomendação H.263 para permitir um aumento na taxa de codificação de imagem ao mesmo tempo que mantendo qualidade subjetiva suficiente. Embora a sintaxe de um fluxo 20 de bits codificado neste modo fosse essencialmente idêntica a de um fluxo de bits codificado em resolução completa, a principal diferença estava em como todos os modos dentro do fluxo de bits eram interpretados, e como a informação residual era considerada e acrescentada depois da compensação de 25 movimento. Mais especificamente, uma imagem neste modo teve 1/4 do número de macroblocos comparado a uma imagem codificada de resolução completa, enquanto dados de vetor de movimento foram associados com os tamanhos de bloco de 32x32 e
Petição 870190040101, de 29/04/2019, pág. 22/76
3/40
16x16 da imagem de resolução completa em vez de 16x16 e 8x8, respectivamente. Por outro lado, transformada discreta de coseno (DCT) e dados de textura são associados com blocos de 8x8 de uma imagem de resolução reduzida, ao mesmo tempo que um processo de superamostragem é exigido a fim de gerar a representação de imagem completa final.
Embora este processo possa resultar em uma redução na qualidade objetiva, isto é mais do que compensado pela redução de bits que necessitam ser codificados por causa do número reduzido (por 4) de modos, dados de movimento e resíduos. Isto é especialmente importante em taxas de bits muito baixas onde modos e dados de movimento podem ser consideravelmente em maior grau do que o resíduo. A qualidade subjetiva também foi agora a menos prejudicada quando comparada à qualidade objetiva. Também, este processo pode ser visto como um pouco similar à aplicação de um filtro passa baixa nos dados residuais antes da codificação, a qual, entretanto, exige a transmissão de todos os modos, dados de movimento e resíduos filtrados, sendo assim menos eficiente.
Algumas diferenças notáveis do modo RRU quando comparado à codificação normal são a consideração de maiores tamanhos de bloco e a subamostragem do resíduo antes da codificação. A primeira diferença permite uma significativa redução de baixo desempenho dentro do fluxo de bits (crítico para taxas de bits inferiores), enquanto que a segunda diferença pode ser vista como um processo de quantificação espacial .
Mais especificamente, para suportar RRU dentro da
Petição 870190040101, de 29/04/2019, pág. 23/76
4/40 sintaxe do padrão AVC MPEG-4, um novo parâmetro de fatia (reduced_resolution_update) foi introduzido de acordo com o qual a fatia atual é subdividida em macroblocos de tamanho (RRUwidth * 16) x (RRUheight * 16). Ao contrário da Recomendação H.263, não é necessário que RRUwidth seja igual à RRUheight. Parâmetros de fatia adicionais podem ser incluídos, mais especificamente rru_width_scale = RRUwidth e rru_height_scale = RRUheight, os quais permitem reduzir resolução horizontalmente ou de forma vertical em qualquer razão desejada. Possíveis opções, por exemplo, incluem escalamento por 1 horizontalmente e por 2 verticalmente (MBs são de tamanho 16x32), 2 verticalmente e 1 horizontalmente (MB de tamanho 32x16), ou, em geral, para se ter macroblocos de tamanho (rru_width_scale*16) x (rru_height_scale*16).
Em um caso especial, por exemplo, RRUwidth = RRUheight = 2 e os macroblocos de fatia RRU serão então de tamanho 32x32. Neste caso, todas as partições e subpartições de macrobloco têm que ser escaladas por 2 horizontalmente e 2 verticalmente. Voltando à figura 1, um diagrama para as partições de macrobloco exemplares 100 e as partições de submacrobloco 150 em um modo de Atualização de Resolução Reduzida (RRU) está indicado de uma maneira geral pelo número de referência 100. Ao contrário da Recomendação H.263, onde dados de vetor de movimento tiveram que ser divididos por 2 para estar de acordo com os padrões específicos, isto não é necessário no padrão AVC MPEG-4 e dados de vetor de movimento podem ser codificados em resolução completa/precisão de subpixel. Macroblocos omitidos em P fatias neste modo são
Petição 870190040101, de 29/04/2019, pág. 24/76
5/40 considerados como tendo um tamanho de 32x32, enquanto que o processo para computar seus dados de movimento associados permanece inalterado, embora obviamente necessitemos considerar agora vizinhos de 32x32 em vez de 16x16.
Uma outra diferença chave desta extensão, embora opcional, é que no padrão AVC MPEG-4 dados de textura não têm que representar informação de uma imagem de resolução inferior. Uma vez que intracodificação no padrão AVC MPEG-4 é executada por meio da consideração de métodos de predição 10 espacial usando tamanhos de bloco de 4x4 ou 16x16, isto pode ser estendido, de forma similar para modos de interpredição, para tamanhos de bloco de intrapredição de 8x8 e 32x32. Os modos de predição apesar disso permanecem mais ou menos os mesmos, embora agora mais amostras sejam usadas para gerar o 15 sinal de predição.
Os dados residuais são então subamostrados e são codificados usando-se o mesmo processo de transformação e quantificação já disponível no padrão AVC MPEG-4. O mesmo processo é aplicado para ambas as amostra de Luminância e 20 Crominância. Durante decodificação os dados residuais necessitam ser superamostrados. O processo de subamostragem é feito somente no codificador e, conseqüentemente, não necessita ser padronizado. O processo de superamostragem deve ser casado no codificador e no decodificador, e assim deve ser 25 padronizado. Métodos de superamostragem possíveis que podem ser usados são o de retenção de zero ou primeira ordem ou ao se considerar uma estratégia similar como na Recomendação H.263.
Petição 870190040101, de 29/04/2019, pág. 25/76
6/40
O padrão AVC MPEG-4 também considera um filtro de desagrupamento aplicado às bordas de bloco 4x4. Uma vez que atualmente o processo de predição é aplicado para tamanhos de bloco de 8x8 e acima, este processo é modificado para considerar bordas de bloco 8x8 em vez disso.
Diferentes fatias na mesma imagem podem ter diferentes valores de reduced_resolution_update, rru_width_scale e rru_height_scale. Uma vez que o filtro de desagrupamento é aplicado através dos limites de fatia, blocos em um e outro lado do limite de fatia podem ter sido codificados em diferentes resoluções. Neste caso, necessitamos considerar para a computação de parâmetros de filtro de desagrupamento o maior valor de parâmetro de quantificação (QP) entre os dois blocos normais de 4x4 vizinhos em uma dada borda de 8x8, enquanto que a força do desagrupamento é agora com base no número total de coeficientes diferentes de zero dos dois blocos.
Para suportar Ordenação de Macroblocos Flexível tal como indicado por num_slice_groups_minus1 maior do que 0 nos conjuntos de parâmetros de imagem, com o modo de Atualização de Resolução Reduzida um parâmetro adicional referido como reduced_resolution_update_enable é transmitido no conjunto de parâmetros de imagem. Não é permitido codificar uma fatia usando o Modo de Resolução Reduzida se FMO estiver presente e este parâmetro não for estabelecido. Além disso, se este parâmetro for estabelecido, os parâmetros rru_max_width_scale e rru_max_height_scale também devem ser transmitidos. Estes parâmetros asseguram que o mapa forneciPetição 870190040101, de 29/04/2019, pág. 26/76
7/40 do pode sempre suportar todos os possíveis tamanhos de macrobloco de Atualização de Resolução Reduzida. Isto significa que os parâmetros seguintes devem estar de acordo com as seguintes condições:
max_width_scale % rru_width_scale=0, max_height_scale % rru_height_scale=O e, max_width_scale>0, max_height_scale>0.
O mapa de grupo de fatias FMO que é transmitido corresponde à resolução reduzida mais baixa permitida, cor10 respondente a rru_max_width_scale e rru_max_height_scale. Deve-se notar que se múltiplas resoluções de macrobloco forem usadas então rru_max_width_scale e rru_max_height_scale necessitam ser múltiplos dos múltiplos comuns mínimos de todas as possíveis resoluções dentro da mesma imagem.
Modos diretos no padrão AVC MPEG-4 são afetados dependendo de se a fatia atual estiver em modo de resolução reduzida, ou se a referência list1 estiver em modo de resolução reduzida e a atual fatia não estiver. Para o caso de modo direto, quando a imagem atual está em resolução reduzi20 da e a imagem de referência está em resolução completa, um método similar é obtido desse atualmente empregado dentro do padrão AVC MPEG-4 quando direct_8x8_inference_flag é capacitado. De acordo com este método, partições co-localizadas são atribuídas ao se considerar somente os blocos de 4x4 de canto correspondentes (canto é baseado em índices de bloco) de uma partição de 8x8. Em nosso caso se direto pertencer a uma fatia de resolução reduzida, vetores de movimento e referências a para as partições co-localizadas são derivados
Petição 870190040101, de 29/04/2019, pág. 27/76
8/40 como se direct_8x8_inference_flag fosse estabelecido como 1. Isto pode ser visto também como uma subamostragem do campo de movimento da referência co-localizada. Embora não necessário, se direct_8x8_inference_flag já foi estabelecido dentro do fluxo de bits, este processo pode ser aplicado duas vezes. Para o caso em que a fatia atual não está em modo de resolução reduzida, mas a sua primeira referência de list1 está, todos os dados de movimento desta referência de resolução reduzida são para ser primeiramente superamostrados. Dados de movimento podem ser superamostrados usando-se retenção de ordem zero, o qual é o método com a complexidade mínima. Outros métodos de filtragem, por exemplo, similares ao processo usado para a superamostragem dos dados residuais ou retenção de primeira ordem, também podem ser usados.
Algumas outras ferramentas do padrão AVC MPEG-4 também são afetadas por causa da consideração deste modo. Mais especificamente, modo de quadro de campo adaptativo de macrobloco (MB-AFF) necessita ser agora considerado usando uma estrutura de supermacrobloco de 32x64. O processo de superamostragem é executado em resíduos de blocos codificados individuais. Se uma imagem total for codificada em modo de campo, então os resíduos de blocos correspondentes são codificados em modo de campo e, conseqüentemente, a superamostragem também é feita em campos. De forma similar, quando MB-AFF é usado, blocos individuais são codificados em um ou outro de modo de campo ou quadro, e seus correspondentes resíduos são superamostrados em modo de campo ou quadro respectivamente.
Petição 870190040101, de 29/04/2019, pág. 28/76
9/40
Para permitir que o modo de resolução reduzida trabalhe para todas as possíveis resoluções, uma imagem é sempre estendida verticalmente e de forma horizontal a fim de ser sempre divisível por 16 * rru_height_scale e 16 * rru_width_scale, respectivamente. Para o exemplo onde rru_height_scale = rru_width_scale = 2, a resolução original de uma imagem foi HRxVR e a imagem é atenuada para uma resolução igual a HcxVc onde:
Hc = ((Hr + 31) / 32) * 32
Vc = ((VR + 31 ) / 32) * 32
O processo para estender a resolução de imagem é similar ao que é atualmente feito para o padrão AVC MPEG-4 para estender o tamanho de imagem para ser divisível por 16.
Uma abordagem similar é usada para estender amostras de crominância, mas para a metade do tamanho.
SUMÁRIO DA INVENÇÃO
Estas e outras deficiências e desvantagens da técnica anterior são abordadas pela presente invenção, a qual é dirigida para um método e aparelho para fornecer um modo de atualização de resolução reduzida para Codificação de Vídeo de Multivisualização (MVC).
De acordo com um aspecto da presente invenção é fornecido um codificador de vídeo. O codificador de vídeo inclui um codificador para codificar uma imagem usando um modo de atualização de resolução reduzida. A imagem é uma de um conjunto de imagens correspondentes ao conteúdo de multivisualização tendo diferentes pontos de visualização com relação a uma cena idêntica ou similar. A imagem representa um
Petição 870190040101, de 29/04/2019, pág. 29/76
10/40 dos diferentes pontos de visualização.
De acordo com um outro aspecto da presente invenção é fornecido um método de codificação de vídeo. O método inclui codificar uma imagem usando um modo de atualização de resolução reduzida. A imagem é uma de um conjunto de imagens correspondentes ao conteúdo de multivisualização tendo diferentes pontos de visualização com relação a uma cena idêntica ou similar, a imagem representando um dos diferentes pontos de visualização.
De acordo com também um outro aspecto da presente invenção é fornecido um decodificador de vídeo. O decodificador de vídeo inclui um decodificador para decodificar uma imagem usando um modo de atualização de resolução reduzida. A imagem é uma de um conjunto de imagens correspondentes ao conteúdo de multivisualização tendo diferentes pontos de visualização com relação a uma cena idêntica ou similar. A imagem representa um dos diferentes pontos de visualização.
De acordo com um aspecto adicional da presente invenção é fornecido um método de decodificação de vídeo. O 20 método inclui decodificar uma imagem usando um modo de atualização de resolução reduzida. A imagem é uma de um conjunto de imagens correspondente ao conteúdo de multivisualização tendo diferentes pontos de visualização com relação a uma cena idêntica ou similar, a imagem representando um dos di25 ferentes pontos de visualização.
Estes e outros aspectos, recursos e vantagens da presente invenção se tornarão aparentes a partir da descrição detalhada a seguir de modalidades exemplares, a qual é
Petição 870190040101, de 29/04/2019, pág. 30/76
11/40 para ser lida em conexão com os desenhos anexos.
DESCRIÇÃO RESUMIDA DOS DESENHOS
A presente invenção pode ser mais bem entendida de acordo com as seguintes figuras exemplares, nas quais:
A figura 1 é um diagrama de blocos para partições de macrobloco e de submacrobloco exemplares em um modo de Atualização de Resolução Reduzida (RRU);
A figura 2 é um diagrama de blocos para um codificador exemplar suportando modo de atualização de resolução reduzida, para o qual os presentes princípios podem ser aplicados de acordo com uma modalidade dos presentes princípios;
A figura 3 é um diagrama de blocos para um decodificador exemplar suportando modo de Atualização de Resolução Reduzida (RRU), para o qual os presentes princípios podem ser aplicados de acordo com uma modalidade dos presentes princípios;
A figura 4 é um diagrama de blocos para um codificador de Codificação de Vídeo de Multivisualização (MVC) suportando modo de atualização de resolução reduzida, para o qual os presentes princípios podem ser aplicados de acordo com uma modalidade dos presentes princípios;
A figura 5 é um diagrama de blocos para um decodificador de Codificação de Vídeo de Multivisualização (MVC) suportando modo de atualização de resolução reduzida, o qual está indicado de uma maneira geral pelo número de referência 500;
A figura 6 é um diagrama de blocos para um método
Petição 870190040101, de 29/04/2019, pág. 31/76
12/40 de codificar Codificação de Vídeo de Multivisualização (MVC) exemplar para um modo de Atualização de Resolução Reduzida (RRU) baseado em fatias, o qual está indicado de uma maneira geral pelo número de referência 600;
A figura 7 é um diagrama de blocos para um método de decodificar Codificação de Vídeo de Multivisualização (MVC) exemplar para modo de Atualização de Resolução Reduzida (RRU) baseado em fatias, o qual está indicado de uma maneira geral pelo número de referência 700;
A figura 8 é um diagrama de blocos para um método de codificar Codificação de Vídeo de Multivisualização (MVC) exemplar para um 32X32MB baseado em um Modo de Atualização de Resolução Reduzida (RRU), o qual está indicado de uma maneira geral pelo número de referência 800; e
A figura 9 é um diagrama de blocos para um método de decodificar Codificação de Vídeo de Multivisualização (MVC) exemplar para um 32X32MB baseado em um Modo de Atualização de Resolução Reduzida (RRU), o qual está indicado de uma maneira geral pelo número de referência 900.
DESCRIÇÃO DETALHADA
A presente invenção diz respeito a um método e aparelho para fornecer um modo de atualização de resolução reduzida para Codificação de Vídeo de Multivisualização (MVC).
A presente descrição ilustra os princípios da presente invenção. Será assim percebido que os versados na técnica serão capazes de imaginar vários arranjos que, embora não descritos ou mostrados explicitamente neste documento,
Petição 870190040101, de 29/04/2019, pág. 32/76
13/40 incorporem os princípios da invenção e que estão incluídos no seu espírito e escopo.
Todos os exemplos e linguagem condicional relatados neste documento são pretendidos com propósitos pedagógi5 cos para ajudar o leitor a entender os princípios da invenção e os conceitos contribuídos pelo inventor para incrementar a técnica, e não são para ser interpretados como sendo limitações para tais exemplos e condições especificamente relatados.
Além disso, todas as declarações neste documento relacionando princípios, aspectos e modalidades da invenção, assim como exemplos específicos da mesma, pretendem abranger tanto equivalências estruturais quanto funcionais da mesma. Adicionalmente, pretende-se que tais equivalências incluam tanto equivalências atualmente conhecidas assim como equivalências desenvolvidas no futuro, isto é, quaisquer elementos desenvolvidos que executem a mesma função, independentemente de estrutura.
Assim, por exemplo, será percebido pelos versados na técnica que os diagramas de blocos apresentados neste documento representam vistas conceituais de conjunto de circuitos ilustrativo incorporando os princípios da invenção. De forma similar, deve ser percebido que quaisquer gráficos, fluxogramas, diagramas de transição de estado, pseudocódigo e outros mais representam vários processos que podem ser substancialmente representados em mídias legíveis por computador e assim executados por um computador ou processador, se tal computador ou processador está ou não explicitamente
Petição 870190040101, de 29/04/2019, pág. 33/76
14/40 mostrado .
As funções dos vários elementos mostrados nas figuras podem ser fornecidas por meio do uso de hardware dedicado assim como hardware capaz de executar software em asso5 ciação com software apropriado. Quando fornecidas por um processador, as funções podem ser fornecidas por um único processador dedicado, por um único processador compartilhado, ou por uma pluralidade de processadores individuais, alguns dos quais podem ser compartilhados. Além disso, o uso 10 explícito do termo processador ou controlador não deve ser interpretado como se referindo exclusivamente a hardware capaz de executar software, e pode incluir implicitamente, sem limitação, hardware de processador de sinal digital (DSP), memória somente de leitura (ROM) para armazenar 15 software, memória de acesso aleatório (RAM) e armazenamento não volátil.
Outro hardware, convencional e/ou feito sob medida, também pode ser incluído. De forma similar, quaisquer comutadores mostrados nas figuras são somente conceituais.
Sua função pode ser executada por meio da operação de lógica de programa, por meio de lógica dedicada, por meio da interação de controle de programa e lógica dedicada, ou mesmo manualmente, a técnica particular sendo selecionável pelo implementador tal como entendido mais especificamente a par25 tir do contexto.
Nas reivindicações deste pedido, qualquer elemento expressado como um dispositivo para executar uma função especificada pretende abranger algum modo de execução que fun
Petição 870190040101, de 29/04/2019, pág. 34/76
15/40 cione incluindo, por exemplo, a) uma combinação de elementos de circuito que execute essa função ou b) software em qualquer forma, incluindo, portanto, firmware, microcódigo ou coisa parecida, combinado com conjunto de circuitos apropriado para executar esse software para desempenhar a função. A invenção tal como definida pelas tais reivindicações se baseia no fato de que as funcionabilidades fornecidas pelos vários dispositivos relatados são combinadas e conciliadas da maneira que as reivindicações requerem. Assim, é considerado que quaisquer dispositivos que possam fornecer essas funcionabilidades são equivalentes àqueles mostrados neste documento.
A referência na especificação para uma modalidade” ou uma outra modalidade” dos presentes princípios significa que um recurso particular, estrutura, característica, e assim por diante descrito em conexão com a modalidade está incluído em pelo menos uma modalidade dos presentes princípios. Assim, os significados da frase em uma modalidade” ou em uma outra modalidade” aparecendo em vários lugares por toda a especificação não estão todos necessariamente se referindo à mesma modalidade.
Voltando à figura 2, um codificador exemplar suportando modo de Atualização de Resolução Reduzida (RRU) está indicado de uma maneira geral pelo número de referência 200. O codificador 200 inclui um combinador 205 tendo uma saída conectada a uma entrada de um comutador 210. Uma primeira saída do comutador 210 é conectada em comunicação de sinal com uma entrada de um subamostrador 215, com uma pri
Petição 870190040101, de 29/04/2019, pág. 35/76
16/40 meira saída de um comutador 245 e com uma primeira entrada de um compensador de movimento 270. Uma saída do subamostrador 215 é conectada em comunicação de sinal com uma entrada de um transformador 220. Uma segunda saída do comutador 210 é conectada em comunicação de sinal com a entrada do transformador 220. Uma saída do transformador 220 é conectada em comunicação de sinal com uma entrada de um quantificador 225. Uma saída do quantificador 225 é conectada em comunicação de sinal com uma primeira entrada de um codificador de 10 comprimento variável 230 e com uma entrada de um quantificador inverso 235. Uma saída do quantificador inverso 235 é conectada em comunicação de sinal com uma entrada de um transformador inverso 240. Uma saída do transformador inverso 240 é conectada em comunicação de sinal com uma entrada 15 do comutador 245. Uma primeira saída do comutador 245 é conectada em comunicação de sinal com uma entrada de um superamostrador 250. Uma saída do superamostrador 250 é conectada em comunicação de sinal com uma primeira entrada não invertida de um combinador 255. Uma segunda saída do comutador 20 245 é conectada em comunicação de sinal com a primeira entrada não invertida do combinador 255. Uma saída do combinador 255 é conectada em comunicação de sinal com uma entrada de um filtro de malha 260. Uma saída do filtro de malha 260 é conectada em comunicação de sinal com uma entrada de um 25 armazenamento de imagem de referência 265. Uma saída do armazenamento de imagem de referência 265 é conectada em comunicação de sinal com uma segunda entrada de um compensador de movimento 270 e com uma primeira entrada de um estimador
Petição 870190040101, de 29/04/2019, pág. 36/76
17/40 de movimento 275. Uma saída do estimador de movimento 275 é conectada em comunicação de sinal com uma terceira entrada do compensador de movimento 270. Uma saída do compensador de movimento 270 é conectada em comunicação de sinal com uma segunda entrada não invertida do combinador 255, com uma entrada invertida do combinador 205 e com uma segunda entrada do codificador de comprimento variável 230. Uma segunda entrada do estimador de movimento 275 e uma entrada não invertida do combinador 205 estão disponíveis como uma entrada do codificador 200. Uma saída do codificador de comprimento variável 230 está disponível como uma saída do codificador 200.
Voltando à figura 3, um decodificador exemplar suportando modo de Atualização de Resolução Reduzida (RRU) está indicado de uma maneira geral pelo número de referência 300. Uma entrada de um transformador discreto de coseno inverso (IDCT)/quantificador inverso (IQUANT) 305 está disponível como uma entrada do decodificador 300, para receber um fluxo de bits residual. Uma entrada de um compensador de movimento 325 também está disponível como uma entrada do decodificador 300 para receber vetores de movimento.
Uma saída do transformador discreto de coseno inverso/quantificador inverso 305 é conectada em comunicação de sinal com uma entrada de um superescalador 315. Uma saída do superescalador 315 é conectada em comunicação de sinal com uma primeira entrada não invertida de um combinador 320. Uma saída do combinador 320 é conectada em comunicação de sinal com uma entrada de um filtro de malha 399. Uma primei
Petição 870190040101, de 29/04/2019, pág. 37/76
18/40 ra saída do filtro de malha 399 é conectada em comunicação de sinal com uma entrada de um armazenamento temporário de referência 330. Uma saída do armazenamento temporário de referência 330 é conectada em comunicação de sinal com uma entrada de um compensador de movimento 325. Uma saída do compensador de movimento 325 é conectada em comunicação de sinal com uma segunda entrada não invertida do combinador 320. Uma segunda saída do filtro de malha 399 está disponível como uma saída do decodificador 300, e fornece o vídeo decodificado. Uma saída do transformador discreto de coseno inverso/quantificador inverso 305 fornece um(s) resíduo(s). Uma saída do armazenamento temporário de imagem de referência 330 fornece uma(s) imagem(s) de referência. Uma saída do compensador de movimento fornece uma(s) predição(s) de movimento compensado.
O modelo envolvendo o codificador 200 e o decodificador 300 pode ser estendido e aperfeiçoado pelo uso de elementos de processamento adicionais, tais como análise relativa a espaço e tempo tanto no codificador quanto no decodificador, os quais permitiriam remover alguns dos artefatos introduzidos por meio dos processos de subamostragem e superamostragem residual.
Voltando à figura 4, um codificador de Codificação de Vídeo de Multivisualização (MVC) suportando modo de atualização de resolução reduzida está indicado de uma maneira geral pelo número de referência 400. O codificador 400 inclui um combinador 402 tendo uma saída conectada em comunicação de sinal com uma entrada de um comutador 404. Uma pri
Petição 870190040101, de 29/04/2019, pág. 38/76
19/40 meira saída do comutador 404 é conectada em comunicação de sinal com uma entrada de um subamostrador 406. Uma segunda saída do comutador 404 é conectada em comunicação de sinal com uma entrada de um transformador 408. A saída do subamostrador 406 é conectada em comunicação de sinal com a entrada do transformador 408. Uma saída do transformador 408 é conectada em comunicação de sinal com uma entrada de um quantificador 410. Uma saída do quantificador 410 é conectada em comunicação de sinal com uma entrada de um codificador de entropia 412 e com uma entrada de um quantificador inverso 414. Uma saída do quantificador inverso 414 é conectada em comunicação de sinal com uma entrada de um transformador inverso 416. Uma saída do transformador inverso 416 é conectada em comunicação de sinal com uma entrada de um comutador 418. Uma primeira saída do comutador 418 é conectada em comunicação de sinal com uma entrada de um superamostrador 420. Uma segunda saída do comutador 418 é conectada em comunicação de sinal com uma primeira entrada não invertida de um combinador 422. A saída do superamostrador 420 é conectada em comunicação de sinal com a primeira entrada não invertida do combinador 422. Uma saída do combinador 422 é conectada em comunicação de sinal com uma entrada de um recurso de intrapredição 424 e com uma entrada de um filtro de desagrupamento 426. Uma saída do filtro de desagrupamento 426 é conectada em comunicação de sinal com uma entrada de um armazenamento de imagem de referência 428 (para a visualização i). Uma saída do armazenamento de imagem de referência 428 é conectada em comunicação de sinal com uma primeira entrada
Petição 870190040101, de 29/04/2019, pág. 39/76
20/40 de um estimador de movimento 436 e com uma primeira entrada de um compensador de movimento 438. Uma saída do estimador de movimento 436 é conectada em comunicação de sinal com uma segunda entrada do compensador de movimento 438.
Uma saída de um armazenamento de imagem de referência 430 (para outras visualizações) é conectada em comunicação de sinal com uma primeira entrada de um estimador de disparidades 432 e com uma primeira entrada de um compensador de disparidades 434. Uma saída do estimador de disparidades 432 é conectada em comunicação de sinal com uma segunda entrada do compensador de disparidades 434.
Uma entrada invertida do combinador 402 é conectada em comunicação de sinal com uma saída de um comutador 440. A saída do comutador 440 também é conectada em comunicação de sinal com uma segunda entrada não invertida do combinador 422. Uma primeira entrada do comutador 440 é conectada em comunicação de sinal com uma saída do recurso de intrapredição 424. Uma segunda entrada do comutador 440 é conectada em comunicação de sinal com uma saída do compensador de disparidades 434. Uma terceira entrada do comutador 440 é conectada em comunicação de sinal com uma saída do compensador de movimento 438. Uma primeira saída de um módulo de decisão de modo de macrobloco (MB) 442 é conectada em comunicação de sinal com o comutador 404 para controlar qual entrada é selecionada pelo comutador 402. Uma segunda saída do módulo de decisão de modo de macrobloco 442 é conectada em comunicação de sinal com o comutador 418 para controlar qual saída é selecionada pelo comutador 418. Uma terceira saída
Petição 870190040101, de 29/04/2019, pág. 40/76
21/40 do módulo de decisão de modo de macrobloco 442 é conectada em comunicação de sinal com o comutador 440 para controlar qual entrada é selecionada pelo comutador 440.
Uma entrada do codificador 400 é conectada em comunicação de sinal com uma entrada não invertida do combinador 402, com uma segunda entrada do estimador de movimento 436 e com uma segunda entrada do estimador de disparidades 432. Uma saída do codificador de entropia 412 está disponível como uma saída do codificador 400.
Voltando à figura 5, um decodificador de Codificação de Vídeo de Multivisualização (MVC) suportando modo de atualização de resolução reduzida está indicado de uma maneira geral pelo número de referência 500. O decodificador 500 inclui um decodificador de entropia 505 tendo uma saída conectada em comunicação de sinal com uma entrada de um quantificador inverso 510. Uma saída do quantificador inverso é conectada em comunicação de sinal com uma entrada de um transformador inverso 515. Uma saída do transformador inverso 515 é conectada em comunicação de sinal com uma entrada de um comutador 517. Uma primeira saída do comutador 517 é conectada em comunicação de sinal com uma entrada de um superamostrador 519. Uma segunda saída do comutador 517 é conectada em comunicação de sinal com uma primeira entrada não invertida de um combinador 520. A saída do superamostrador 519 é conectada em comunicação de sinal com a primeira entrada não invertida do combinador 520. Uma saída do combinador 520 é conectada em comunicação de sinal com uma entrada de um filtro de desagrupamento 525 e com uma entrada de um
Petição 870190040101, de 29/04/2019, pág. 41/76
22/40 recurso de intrapredição 530. Uma saída do filtro de desagrupamento 525 é conectada em comunicação de sinal com uma entrada de um armazenamento de imagem de referência 540 (para a visualização i). Uma saída do armazenamento de imagem de referência 540 é conectada em comunicação de sinal com uma primeira entrada de um compensador de movimento 535.
Uma saída de um armazenamento de imagem de referência 545 (para outras visualizações) é conectada em comunicação de sinal com uma primeira entrada de um compensador de disparidades/iluminação 550.
Uma entrada do codificador de entropia 505 está disponível como uma entrada para o decodificador 500, para receber um fluxo de bits de resíduo. Além disso, uma entrada de um módulo de modo 560 também está disponível como uma entrada para o decodificador 500, para receber sintaxe de controle para controlar qual entrada é selecionada pelo comutador 555. Adicionalmente, uma segunda entrada do compensador de movimento 535 está disponível como uma entrada do decodificador 500 para receber vetores de movimento. Também, uma segunda entrada do compensador de disparidades/iluminação 550 está disponível como uma entrada para o decodificador 500, para receber vetores de disparidades e/ou sintaxe de compensação de iluminação.
Uma saída de um comutador 555 é conectada em comunicação de sinal com uma segunda entrada não invertida do combinador 520.
Uma primeira entrada do comutador 555 é conectada em comunicação de sinal com uma saída do compensador de dis
Petição 870190040101, de 29/04/2019, pág. 42/76
23/40 paridades/iluminação 550. Uma segunda entrada do comutador 555 é conectada em comunicação de sinal com uma saída do compensador de movimento 535. Uma terceira entrada do comutador 555 é conectada em comunicação de sinal com uma saída do recurso de intrapredição 530. Uma saída do filtro de desagrupamento 525 está disponível como uma saída do decodificador.
Modalidades dos presentes princípios são dirigidas para codificação eficiente das seqüências de Codificação de 10 Vídeo de Multivisualização (MVC). Uma seqüência de vídeo de multivisualização é um conjunto de duas ou mais seqüências de vídeo que capturam a mesma cena a partir de um ponto de vista diferente. Uma vez que multivisualização da mesma cena são esperadas para ter um alto grau de correlação, os pre15 sentes princípios exploram vantajosamente redundância de visualização (ou espacial) ao executar predição através de diferentes visualizações.
Modalidades dos presentes princípios são dirigidas para a extensão do modo de Atualização de Resolução Reduzida 20 (RRU) para Codificação de Vídeo de Multivisualização (MVC), as quais combinam tanto predição temporal quanto predição de visualização. Inicialmente, técnicas exemplares para adaptar RRU para MVC serão descritas e então aplicações exemplares em MVC. RRU é atualmente suportada pela Recomendação H.263 e 25 é estendida para o padrão AVC MPEG-4. Este modo fornece a oportunidade para aumentar a taxa de codificação de imagem, ao mesmo tempo que mantendo qualidade subjetiva suficiente. Isto é feito pela codificação de uma imagem em uma resolução
Petição 870190040101, de 29/04/2019, pág. 43/76
24/40 reduzida, enquanto executando predição usando uma referência de alta resolução. Isto permite que a imagem final seja reconstruída em resolução completa e com boa qualidade, embora a taxa de bits exigida para codificar a imagem tenha sido reduzida consideravelmente.
Duas modalidades exemplares são fornecidas neste documento para estender modo de atualização de resolução reduzida para Codificação de Vídeo de Multivisualização. Entretanto, deve ser percebido que dado os preceitos dos presentes princípios fornecidos neste documento, os versados nesta técnica e em técnicas relacionadas considerarão estas e várias outras modalidades similares para estender RRU para MVC, ao mesmo tempo que mantendo o escopo dos presentes princípios.
Além disso, deve ser percebido que o método exemplar fornecido neste documento, assim como aqueles resultantes dos preceitos dos presentes princípios fornecidos neste documento, pode ser usado para quaisquer ferramentas de codificação de vídeo para MVC. Entretanto, com propósitos ilustrativos, as modalidades exemplares descritas neste documento são assim descritas com relação ao padrão AVC MPEG4. Sem perda em generalidade, estabelecemos rru_width_scale e rru_height_scale iguais a dois (2) para os casos exemplares descritos neste documento.
Para cada macrobloco ou submacrobloco, MVC_prediction_flag é enviado para indicar se ele está codificado como predição temporal ou predição de visualização. Para os casos exemplares descritos neste documento a unidade
Petição 870190040101, de 29/04/2019, pág. 44/76
25/40 de macrobloco de codificação básica é 32x32. Certamente, os presentes princípios não são limitados à unidade de macrobloco precedente e outras unidades de macrobloco também podem ser utilizadas de acordo com os preceitos dos presentes princípios, ao mesmo tempo que mantendo o escopo dos presentes princípios.
Uma descrição será agora dada com referência a estender RRU para MVC de acordo com uma modalidade dos presentes princípios. Nesta modalidade, RRU é decidida em uma base de fatias. Nesta modalidade, comparada com RRU na extensão de padrão AVC MPEG-4, a qual também é decidida na base de fatias, compensação de intermovimento pode ser a partir de predição temporal ou de predição de visualização. Depois de compensação de movimento ser executada, o resíduo é codificado usando-se RRU.
Tal como para filtro de desagrupamento, uma vez em RRU, o processo de predição é agora aplicado para tamanhos de bloco de 8x8 e acima, também modificamos este processo para somente considerar bordas de bloco de 8x8 em vez disso. Tem sido observado que RRU pode ser considerada como um tipo adicional de quantificação. Portanto, para aperfeiçoar desagrupamento dentro de fatias de RRU, se RRU for usada, então valores de quantificador são virtualmente aumentados por um valor fixado com o propósito de acessar as tabelas de desagrupamento. Mais especificamente, definimos indexA e indexB como se segue:
indexA = Clip3(0, 51, qPav + RRUoffset + FilterOffsetA)
Petição 870190040101, de 29/04/2019, pág. 45/76
26/40 indexB = Clip3(0, 51, qPav + RRUoffset + FilterOffsetB) onde RRUoffset é a compensação de quantificação que desejamos aplicar na presença de RRU.
Entretanto, tem sido notado que, uma vez que o bloco e seu vizinho podem ter uma predição de visualização ou temporal diferente, a força de limite é adaptada com base no MVC_prediction_flag através dos limites.
Assim, quando RRU é usada para MVC, o desagrupamento deve considerar somente bordas de 8x8 e a força de limite e compensação de RRU devem ser combinadas conjuntamente para adaptar a força do filtro de desagrupamento.
Tal como para sintaxe, acrescentamos reduce_resolution_update_flag ao cabeçalho de fatia para indicar se a fatia usa modo de RRU.
Quando reduce_resolution_update_flag é igual a 1, isto especifica que modo de RRU está aplicado na fatia atual. Quando reduce_resolution_update_flag é igual a 0, isto especifica que modo de RRU não está aplicado na fatia atual.
Voltando à figura 6, um método de codificar Codificação de Vídeo de Multivisualização (MVC) exemplar para um modo de Atualização de Resolução Reduzida (RRU) baseado em fatias está indicado de uma maneira geral pelo número de referência 600. O método 600 inclui um bloco de início 600 que passa o controle para um bloco de decisão 605. O bloco de decisão 605 determina se codifica ou não uma fatia atual usando predição de visualização. Se codificar, o controle é então passado para um bloco de função 615. De outro modo, o
Petição 870190040101, de 29/04/2019, pág. 46/76
27/40 controle é passado para um bloco de função 635.
O bloco de função 615 estabelece o MVC_prediction_flag como 1, codifica a fatia atual usando predição de visualização e passa o controle para um bloco de decisão 620. O bloco de decisão 620 determina se codifica ou não a fatia atual usando modo de RRU. Se codificar, o controle é então passado para um bloco de função 625. De outro modo, o controle é passado para um bloco de função 640.
O bloco de função 625 estabelece reduce_resolution_update_flag como 1, codifica a fatia atual usando modo de RRU e passa o controle para um bloco de função 630. O bloco de função 630 codifica a fatia atual e passa o controle para um bloco de função 632. O bloco de função 632 executa filtragem de desagrupamento e passa o controle para um bloco final 645.
O bloco de função 635 estabelece
MVC_prediction_flag como 0, codifica a fatia atual usando
predição temporal e passa o controle para o bloco de decisão
620.
O bloco de função 640 estabelece redu-
ce_resolution_update_flag como 0, codifica a fatia atual usando um modo não de RRU e passa o controle para o bloco de função 630.
Voltando à figura 7, um método de decodificar Codificação de Vídeo de Multivisualização (MVC) exemplar para modo de Atualização de Resolução Reduzida (RRU) baseado em fatias está indicado de uma maneira geral pelo número de referência 700. O método 700 inclui um bloco de início 705 que
Petição 870190040101, de 29/04/2019, pág. 47/76
28/40 passa o controle para um bloco de função 710. O bloco de função 710 analisa sintaticamente o fluxo de bits e passa o controle para um bloco de decisão 715. O bloco de decisão 715 determina se MVC_prediction_flag é ou não igual a 1. Se for, então o controle é passado para um bloco de função 720. De outro modo, o controle é passado para um bloco de função 740.
O bloco de função 720 decodifica a fatia atual usando predição de visualização e passa o controle para um bloco de decisão 725. O bloco de decisão 725 determina se reduce_resolution_update_flag é ou não igual a 1. Se for, então o controle é passado para um bloco de função 730. De outro modo, o controle é passado para um bloco de função 745.
O bloco de função 730 decodifica a fatia atual usando modo de RRU e passa o controle para um bloco de função 735. O bloco de função 735 decodifica a fatia atual e passa o controle para um bloco de função 738. O bloco de função 738 executa filtragem de desagrupamento e passa o controle para um bloco final 750.
O bloco de função 740 decodifica a fatia atual usando predição temporal e passa o controle para o bloco de decisão 725.
O bloco de função 745 decodifica a fatia atual usando um modo não de RRU e passa o controle para o bloco de função 735.
Uma descrição será dada agora com referência a estender RRU para MVC de acordo com uma outra modalidade dos
Petição 870190040101, de 29/04/2019, pág. 48/76
29/40 presentes princípios. Nesta modalidade, RRU é decidida em base de 32X32MB, com base no MVC_prediction_flag.
Nesta modalidade, RRU pode ser ligada ou desligada em uma base de 32X32MB, com base no MVC_prediction_flag. Por exemplo, podemos decidir usar RRU para predição temporal e não RRU para predição de visualização. Para simplicidade, o MVC_prediction_flag somente pode ser estabelecido em uma base de 32X32MB. Se RRU estiver ligada, então codificamos um 32X32MB como um MB. Se RRU estiver desligada, então codificamos em um 32X32MB como 4 16x16 MBs. A ordem de codificação é da esquerda para a direita e de cima para baixo.
Tal como para filtro de desagrupamento, diferenciaremos bordas de bloco interno dos limites de 32X32MB. Para bordas de bloco interno, se modo de RRU for usado, então filtro de desagrupamento é aplicado para bordas de bloco de 8x8 e RRUoffset é aplicado como no método baseado em fatias descrito anteriormente. Se modo de RRU não for usado, então filtragem de desagrupamento é aplicada às bordas de bloco de 4x4. Para um limite de 32X32MB, se ambos os blocos vizinhos usarem modo de RRU, então bordas de bloco de 8x8 são consideradas e compensação de RRU é usada. De outro modo, bordas de bloco de 4x4 são consideradas e se um bloco usar modo de RRU, então RRUoffset é aplicado.
Tal como no método baseado em fatias descrito anteriormente, para o método baseado em 32X32MB, também adaptamos a força de limite com base no MVC_prediction_flag através dos limites.
Tal como para sintaxe de cabeçalho de fatia, duas
Petição 870190040101, de 29/04/2019, pág. 49/76
30/40 sintaxes são adicionadas para indicar se modo de RRU está aplicado para predição de visualização ou predição temporal.
Quando reduce_resolution_update_flag_for_view_prediction é igual a 1, isto especifica que modo de RRU está aplicado 5 para um macrobloco de 32x32 de predição de visualização na fatia atual. Quando reduce_resolution_update_flag_for_view_prediction é igual a 0, isto especifica que modo de RRU não está aplicado para um macrobloco de 32x32 de predição de visualização na fatia atual.
Quando reduce_resolution_update_f lag_for_temporal_prediction é igual a 1, isto especifica que modo de RRU está aplicado para um macrobloco de 32x32 de predição temporal na fatia atual. Quando reduce_resolution_update_flag_for_temporal_prediction é igual a 0, isto especifica que modo de RRU não está apli15 cado para um macrobloco de 32x32 de predição temporal na fatia atual.
Voltando à figura 8, um método de codificar Codificação de Vídeo de Multivisualização (MVC) exemplar para um 32X32MB baseado em um Modo de Atualização de Resolução Redu20 zida (RRU) está indicado de uma maneira geral pelo número de referência 800. O método 800 inclui um bloco de início 805 que passa o controle para um bloco de decisão 810. O bloco de decisão 810 determina se codifica ou não uma predição de visualização do 32X32MB usando modo de RRU. Se codificar, 25 então o controle é passado para um bloco de função 815. De outro modo, o controle é passado para um bloco de função 855.
O bloco de função 815 estabelece redu
Petição 870190040101, de 29/04/2019, pág. 50/76
31/40 ce_resolution_update_flag_for_view_prediction como 1 e passa o controle para um bloco de decisão 820. O bloco de decisão 820 determina se codifica ou não uma predição temporal para o 32X32MB usando modo de RRU. Se codificar, o controle é então passado para um bloco de função 825. De outro modo, o controle é passado para um bloco de função 860.
O bloco de função 825 estabelece reduce_resolution_update_flag_for_temporal_prediction como 1 e passa o controle para um bloco limite de laço 830. O bloco limite de laço 830 começa um laço sobre cada 32X32MB incluindo estabelecer uma faixa para o laço usando uma variável i = 0 para num_of_32X32MB-1, e passa o controle para um bloco de decisão 835. O bloco de decisão 835 determina se codifica ou não o 32X32MB de número i usando predição de visualização. Se codificar, o controle é então passado para um bloco de decisão 840. De outro modo, o controle é passado para um bloco de decisão 870.
O bloco de decisão 840 determina se a reduce_resolution_update_flag_for_view_prediction é ou não igual a 1. Se for, o controle é então passado para um bloco de função 845. De outro modo, o controle é passado para um bloco de função 865.
O bloco de função 845 codifica o 32X32MB de número i usando modo de RRU e passa o controle para um bloco limite de laço 850. O bloco limite de laço 850 termina o laço sobre cada 32X32MB e passa o controle para um bloco de função 852. O bloco de função 852 executa filtragem de desagrupamento e passa o controle para um bloco final 885.
Petição 870190040101, de 29/04/2019, pág. 51/76
32/40
O bloco de função 855 estabelece reduce_resolution_update_flag_for_view_prediction como 0 e passa o controle para o bloco de decisão 825.
O bloco de função 860 estabelece reduce_resolution_update_flag_for_temporal_prediction como 0 e passa o controle para o bloco de decisão 830.
O bloco de função 865 codifica o 32X32MB de número i usando um modo não de RRU e passa o controle para o bloco limite de laço 850.
O bloco de decisão 870 determina se o reduce_resolution_update_flag_for_temporal_prediction é ou não igual a 1. Se for, o controle é então passado para um bloco de função 875. De outro modo, o controle é passado para um bloco de função 880.
O bloco de função 875 codifica o 32X32MB de número i usando modo de RRU e passa o controle para o bloco limite de laço 850.
O bloco de função 880 codifica o 32X32MB de número i usando um modo não de RRU e passa o controle para o bloco limite de laço 850.
Voltando à figura 9, um método de decodificar Codificação de Vídeo de Multivisualização (MVC) exemplar para um 32X32MB baseado em um Modo de Atualização de Resolução Reduzida (RRU) está indicado de uma maneira geral pelo número de referência 900. O método 900 inclui um bloco de início 905 que passa o controle para um bloco de função 910. O bloco de função 910 analisa sintaticamente o fluxo de bits e passa o controle para um bloco limite de laço 915. O bloco
Petição 870190040101, de 29/04/2019, pág. 52/76
33/40 limite de laço 915 começa um laço sobre cada 32X32MB incluindo estabelecer uma faixa para o laço usando uma variável i = 0 para num_of_32X32MB-1, e passa o controle para um bloco de decisão 920. O bloco de decisão 920 determina se MVC_view_prediction_flag é ou não igual a 1. Se for, o controle é então passado para um bloco de decisão 925. De outro modo, o controle é passado para um bloco de decisão 945.
O bloco de decisão 925 determina se o reduce_resolution_update_flag_for_view_prediction é ou não igual a 1. Se for, o controle é então passado para um bloco de função 930. De outro modo, o controle é passado para um bloco de função 940.
O bloco de função 930 decodifica o 32X32MB de número i usando modo de RRU, e passa o controle para um bloco limite de laço 935 que termina o laço sobre cada um dos 32x32MBs, e passa o controle para um bloco de função 938. O bloco de função 938 executa filtragem de desagrupamento e passa o controle para um bloco final 960.
O bloco de função 940 decodifica o 32X32MB de número i usando um modo não de RRU e passa o controle para o bloco limite de laço 935.
O bloco de decisão 945 determina se o reduce_resolution_update_flag_for_temporal_prediction é ou não igual a 1. Se for, o controle é então passado para um bloco de função 950. De outro modo, o controle é passado para um bloco de função 955.
O bloco de função 950 decodifica o 32X32MB de número i usando modo de RRU e passa o controle para o bloco
Petição 870190040101, de 29/04/2019, pág. 53/76
34/40 limite de laço 935.
O bloco de função 955 decodifica o 32X32MB de número i usando um modo não de RRU e passa o controle para o bloco limite de laço 935.
Uma descrição será dada agora com referência às aplicações para usar fatias codificadas de RRU em MVC.
Embora modo de RRU tenha encontrado utilidade em codificação de vídeo, especialmente durante a presença de movimento pesado dentro da seqüência, uma vez que ele permitiu a um codificador manter uma alta taxa de quadros (e assim resolução temporal aperfeiçoada) ao mesmo tempo que mantendo também resolução e qualidade altas em áreas estacionárias, ele pode introduzir certos artefatos ou um PSNR objetivo inferior por causa da não invertibilidade dos processos de subamostragem e superamostragem. Com relação a usar RRU em MVC, as seguintes aplicações exemplares são apresentadas: RRU pode ser usada para fatias não referenciadas; RRU pode ser usada para as visualizações que possam permitir qualidade de vídeo objetiva inferior; e RRU pode ser usada para a instância temporal que possa permitir qualidade de vídeo objetiva inferior. Certamente, dado os preceitos dos presentes princípios fornecidos neste documento, outras aplicações para usar RRU em MVC também podem ser empregadas, ao mesmo tempo que mantendo o escopo dos presentes princípios.
Uma descrição será dada agora de algumas das muitas vantagens/recursos concomitantes da presente invenção, algumas das quais foram mencionadas anteriormente. Por exemplo, uma vantagem/recurso é um codificador de vídeo que in
Petição 870190040101, de 29/04/2019, pág. 54/76
35/40 clui um codificador para codificar uma imagem usando um modo de atualização de resolução reduzida. A imagem é uma de um conjunto de imagens correspondente ao conteúdo de multivisualização tendo diferentes pontos de visualização com relação a uma cena idêntica ou similar. A imagem representa um dos diferentes pontos de visualização.
Uma outra vantagem/recurso é o codificador de vídeo tal como descrito anteriormente, em que o modo de atualização de resolução reduzida é usado para pelo menos uma de predição de visualização e predição temporal.
Também uma outra vantagem/recurso é o codificador de vídeo tal como descrito anteriormente, em que o modo de atualização de resolução reduzida é usado em uma base de fatias.
Além disso, uma outra vantagem/recurso é o codificador de vídeo que usa o modo de atualização de resolução reduzida em uma base de fatias tal como descrito anteriormente, em que o codificador aplica uma operação de filtragem de desagrupamento às bordas de bloco de atualização de resolução reduzida de uma fatia particionada da imagem quando o modo de atualização de resolução reduzida é usado para a fatia, e uma força da operação de filtragem de desagrupamento é adaptada com base em pelo menos um de o modo de atualização de resolução reduzida e informação de predição.
Adicionalmente, uma outra vantagem/recurso é o codificador de vídeo tal como descrito anteriormente, em que o modo de atualização de resolução reduzida é ligado e desligado com base em uma predição de visualização ou em uma prePetição 870190040101, de 29/04/2019, pág. 55/76
36/40 dição temporal em uma base de macrobloco de atualização de resolução reduzida.
Também, uma outra vantagem/recurso é o codificador de vídeo que comuta o ligado e desligado de modo de atualização de resolução reduzida tal como descrito anteriormente, em que o codificador aplica uma operação de filtragem de desagrupamento à imagem, e em que bordas de bloco interno da imagem são diferenciadas dos limites de macrobloco de atualização de resolução reduzida quando a operação de filtragem de desagrupamento é aplicada.
Adicionalmente, uma outra vantagem/recurso é o codificador de vídeo que comuta o ligado e desligado de modo de atualização de resolução reduzida e diferencia bordas de bloco interno tal como descrito anteriormente, em que a operação de filtragem de desagrupamento é aplicada às bordas de bloco de atualização de resolução reduzida e uma força de filtro é adaptada para o modo de atualização de resolução reduzida quando o modo de atualização de resolução reduzida é usado para as bordas de bloco interno, e a operação de filtragem de desagrupamento é aplicada às bordas de bloco de 4x4 quando o modo de atualização de resolução reduzida está sem uso.
Além disso, uma outra vantagem/recurso é o codificador de vídeo que comuta o ligado e desligado de modo de atualização de resolução reduzida e diferencia bordas de bloco interno tal como descrito anteriormente, em que bordas de bloco de atualização de resolução reduzida são filtradas para desagrupamento e uma força de filtro é adaptada para o
Petição 870190040101, de 29/04/2019, pág. 56/76
37/40 modo de atualização de resolução reduzida para um limite de borda de macrobloco de atualização de resolução reduzida quando dois macroblocos vizinhos usam o modo de atualização de resolução reduzida, e bordas de bloco de 4x4 são filtradas para desagrupamento e a força de filtro é adaptada para o modo de atualização de resolução reduzida quando pelo menos um dos dois blocos vizinhos usa o modo de atualização de resolução reduzida.
Também, uma outra vantagem/recurso é o codificador de vídeo que comuta o ligado e desligado de modo de atualização de resolução reduzida tal como descrito anteriormente, em que o codificador aplica uma operação de filtragem de desagrupamento aos macroblocos particionados da imagem. A operação de filtragem de desagrupamento tem uma força de filtro adaptada com base em pelo menos uma de predição de visualização e predição temporal.
Adicionalmente, uma outra vantagem/recurso é o codificador de vídeo tal como descrito anteriormente, em que o codificador codifica a imagem para fornecer um fluxo de bits resultante compatível com pelo menos um de a Organização Internacional de Normalização/Comissão Internacional de Eletrotécnica, Grupo 4 de Especialistas de Imagens em Movimento, Parte 10, padrão de Codificação Avançada de Vídeo/União Internacional de Telecomunicações, Setor de Telecomunicações, recomendação H.264 e uma extensão disto.
Além disso, uma outra vantagem/recurso é o codificador de vídeo compatível tal como descrito anteriormente, em que o codificador aplica uma operação de filtragem de dePetição 870190040101, de 29/04/2019, pág. 57/76
38/40 sagrupamento à imagem, a operação de filtragem de desagrupamento tendo uma força de filtro adaptável com base em pelo menos um de o modo de atualização de resolução reduzida e informação de predição.
Adicionalmente, uma outra vantagem/recurso é o codificador de vídeo tal como descrito anteriormente, em que o modo de atualização de resolução reduzida é usado para uma fatia não de referência na cena de vídeo de multivisualização.
Também, uma outra vantagem/recurso é o codificador de vídeo tal como descrito anteriormente, em que o modo de atualização de resolução reduzida é usado para pelo menos algumas visualizações na cena de vídeo de multivisualização.
Adicionalmente, uma outra vantagem/recurso é o codificador de vídeo tal como descrito anteriormente, em que o modo de atualização de resolução reduzida é usado para uma instância temporal particular na cena de vídeo de multivisualização.
Estes e outros recursos e vantagens da presente invenção podem ser prontamente averiguados pelos versados na técnica com base nos preceitos neste documento. Deve ser entendido que os preceitos da presente invenção podem ser implementados em várias formas de hardware, software, firmware, processadores de uso especial, ou combinações dos mesmos.
De maior preferência, os preceitos da presente invenção são implementados como uma combinação de hardware e software. Além disso, o software pode ser implementado como
Petição 870190040101, de 29/04/2019, pág. 58/76
39/40 um programa de aplicação incorporado de modo tangível em uma unidade de armazenamento de programa. O programa de aplicação pode ser carregado em uma máquina, e executado por ela, compreendendo qualquer arquitetura adequada. Preferivelmente, a máquina é implementada em uma plataforma de computador tendo hardware tal como uma ou mais unidades centrais de processamento (CPU), uma memória de acesso aleatório
RAM) e interfaces de entrada/saída
I/O)
A plataforma de computador também pode incluir um sistema de operação e código de microinstrução. Os vários processos e funções descritos neste documento podem ser parte do código de microinstrução ou parte do programa de aplicação, ou qualquer combinação dos mesmos, os quais podem ser executados por uma CPU. Além do mais, várias outras unidades periféricas podem ser conectadas à plataforma de computador tais como uma unidade de armazenamento de dados adicional e uma unidade de impressão.
É para ser entendido adicionalmente que, por causa de alguns dos componentes e métodos constituintes de sistemas representados nos desenhos anexos serem preferivelmente implementados em software, as conexões reais entre os componentes de sistema ou os blocos de função de processo podem diferir dependendo da maneira na qual a presente invenção é programada. Dado os preceitos neste documento, os versados na técnica serão capazes de considerar estas e implementações ou configurações similares da presente invenção.
Embora as modalidades ilustrativas tenham sido descritas neste documento com referência aos desenhos ane
Petição 870190040101, de 29/04/2019, pág. 59/76
40/40 xos, deve ser entendido que a presente invenção não está limitada àquelas modalidades definidas, e que várias mudanças e modificações podem ser efetuadas na mesma pelos versados na técnica sem fugir do escopo ou espírito da presente in5 venção. Todas as tais mudanças e modificações devem ser consideradas para ser incluídas no escopo da presente invenção tal como exposto nas reivindicações anexas.

Claims (6)

1. Método, compreendendo: codificar ou decodificar uma imagem utilizando um modo de atualização de resolução reduzida, sendo a imagem uma de um conjunto multivisualização de imagens correspondentes a conteúdos de com pontos de visualização diferentes em relação a uma cena idêntica ou similar, a imagem representando um dos diferentes pontos de visualização, em que o modo de atualização de resolução reduzida é utilizado para predição interquadros (600, 800) que pode ser predição temporal interquadros ou predição de visualização interquadros e o resíduo é codificado usando o modo de atualização de resolução reduzida, e CARACTERIZADO pelo fato de que:
quando o modo de atualização de resolução reduzida é utilizado, os valores de quantificador são virtualmente aumentados por um valor fixo para fins de acesso a tabelas de desagrupamento, em particular indexA e indexB utilizados na operação de filtragem de desagrupamento em pelo menos dois bloco de borda da dita imagem são definidos pelas seguintes equações indexA= clip3(0,51,QPav+RRRU Offset +
FilterOffsetA), indexB= clip3(0,51,QPav+RRRU Offsetset +
FilterOffsetB), onde QPav é um parâmetro de quantização média para os ditos pelo menos dois blocos de borda,
RRUoffset é um desvio de quantização quando modo de atualização de resolução reduzida é usado, indexA, indexB,
FilterOffsetA e
FilterOffsetB são valores usados na operação de filtragem de desagrupamento como definido no padrão H.264
Petição 870190040101, de 29/04/2019, pág. 61/76
2/6 e o clip3(a,b,c) representa uma função que fixa o valor de c ao intervalo de a até b.
2. Método, de acordo com a reivindicação 1, CARACTERIZADO pelo fato de que o modo de atualização de resolução reduzida é ligado e desligado com base em uma predição de visualização interquadros ou uma predição temporal interquadros com base em um macrobloco de atualização de resolução reduzida (800).
3. Método, de acordo com a reivindicação 2, CARACTERIZADO pelo fato de que as bordas internas dos blocos da imagem são diferenciadas dos limites dos macroblocos de atualização de resolução reduzida quando a operação de filtragem de desagrupamento é aplicada (852), a
diferenciação sendo feita de acordo com um tamanho de macroblocos. 4. Método , de acordo com a reivindicação 3, CARACTERIZADO pelo fato de que para bordas internas dos
blocos, se for utilizado o modo de atualização de resolução reduzida, então a filtragem de desagrupamento é aplicada a bordas de blocos 8x8, e a filtragem de desagrupamento é aplicada a bordas de blocos 4x4 quando o modo de atualização de resolução reduzida não for utilizado por um dos ditos pelo menos dois blocos de bordas (852).
5. Método, de acordo com a reivindicação 3, CARACTERIZADO pelo fato de que para um limite de macrobloco, a operação de filtragem de desagrupamento é aplicada a bordas de bloco 8x8 quando dois blocos vizinhos do limite de macrobloco usam o modo de atualização de resolução reduzida,
Petição 870190040101, de 29/04/2019, pág. 62/76
3/6 e a operação de desagrupamento é aplicada a bordas de bloco 4x4 quando um dos dois blocos vizinhos usa o modo de atualização de resolução reduzida (852).
6. Método, de acordo com a reivindicação 1, CARACTERIZADO pelo fato de que o modo de atualização de resolução reduzida é usado para uma fatia de não-referência na cena de vídeo de multivisualização, ou pelo menos para algumas visualizações na cena de vídeo de multivisualização, ou para uma instância temporal específica na cena de vídeo de multivisualização (600, 800).
7. Mídia de armazenamento tendo dados codificados de sinal de vídeo, compreendendo:
uma imagem codificada utilizando um modo de atualização de resolução reduzida, sendo a imagem uma de um conjunto de imagens correspondentes a conteúdos de multivisualização com pontos de visualização diferentes em relação a uma mesma cena ou similar, a imagem representando um dos diferentes pontos de visualização, em que o modo de atualização de resolução reduzida é utilizado para predição de visualização interquadros, que pode ser predição temporal interquadros ou predição de visualização interquadros e o resíduo é codificado utilizando um modo de atualização de resolução reduzida, e CARACTERIZADA pelo fato de que:
quando o modo de atualização de resolução reduzida é utilizado, os valores de quantizador são virtualmente aumentados por um valor fixo para efeitos de acesso a tabelas de desagrupamento, em particular indexA e indexB, utilizados na operação de filtragem de desagrupamento em
Petição 870190040101, de 29/04/2019, pág. 63/76
4/6 pelo menos dois blocos de borda da dita imagem, são definidos pelas seguintes equações indexA= clip3(0,51,QPav+RRRU Offset + FilterOffsetA), indexB= clip3(0,51,QPav+RRRU Offsetset + FilterOffsetB) onde QPav é um parâmetro de quantização média para dito pelo menos dois blocos de borda, RRUoffset é um desvio de quantização quando o modo de atualização de resolução reduzida é usado, indexA, indexB, FilterOffsetA e FilterOffsetB são valores usados na operação de filtragem de desagrupamento como definido no padrão H.264, e clip3(a,b,c) representa uma função que ajusta o valor de c ao intervalo de a até b.
8. Aparelho, compreendendo:
um codificador vídeo (400) ou um decodificador vídeo (500) para, respectivamente, codificar ou decodificar uma imagem utilizando um modo de atualização de resolução reduzida, a imagem sendo uma de um conjunto de imagens correspondentes a conteúdos multivisualização com pontos de visualização diferentes em relação a uma mesma cena ou similar, a imagem representando um dos diferentes pontos de visualização, em que o modo de atualização de resolução reduzida é utilizado para predição interquadros que pode ser de predição temporal interquadros ou predição de visualização interquadros e o resíduo é codificado utilizando um modo de atualização de resolução reduzida, e CARACTERIZADO pelo fato de que:
quando o modo de atualização de resolução reduzida é utilizado, valores de quantizador são virtualmente aumentados por um valor fixo para efeitos de acesso a
Petição 870190040101, de 29/04/2019, pág. 64/76
5/6 tabelas de desagrupamento, em particular indexA e indexB utilizados na operação de filtragem de desagrupamento em pelo menos dois blocos de borda da dita imagem são definidos pelas seguintes equações indexA= clip3(0,51,QPav+RRRU Offsetset + FilterOffsetA), indexB= clip3(0,51,QPav+RRU Offset + FilterOffsetB), onde QPav é um parâmetro médio de quantização para os ditos pelo menos dois blocos de borda, RRUoffset é um desvio de quantização quando é usado o modo de atualização de resolução reduzida, indexA, indexB, FilterOffsetA e FilterOffsetB são valores usados na operação de filtragem de desagrupamento como definido no padrão H.264, e clip3(a,b,c) representa uma função que ajusta o valor de c ao intervalo de a até b.
9. Aparelho, de acordo com a reivindicação 8, CARACTERIZADO pelo fato de que o modo de atualização de resolução reduzida é ligado e desligado com base em uma predição de visualização interquadros ou uma predição temporal interquadros com base em macrobloco de atualização de resolução reduzida (800).
10. Aparelho, de acordo com a reivindicação 9, CARACTERIZADO pelo fato de que bordas internas de blocos da imagem são diferenciadas das bordas de macroblocos de atualização de resolução reduzida quando a operação de filtragem de desagrupamento é aplicada (852), a diferenciação sendo feita de acordo com um tamanho de
macroblocos.
11. Aparelho, de acordo com a reivindicação
10,
CARACTERIZADO pelo fato de que para bordas internas de
Petição 870190040101, de 29/04/2019, pág. 65/76
6/6 blocos, se for utilizado o modo de atualização de resolução reduzida, a operação de filtragem de desagrupamento é aplicada às bordas de bloco 8x8, e a operação de filtragem de desagrupamento é aplicada às bordas de bloco 4x4 quando o 5 modo de atualização de resolução reduzida não for utilizado por um dos ditos pelo menos dois blocos de borda (852).
12. Aparelho, de acordo com a reivindicação 10, CARACTERIZADO pelo fato de que para um limite de macrobloco, a operação de filtragem de desagrupamento é aplicada a bor10 das de bloco 8x8 quando dois blocos vizinhos do limite de macrobloco usam o modo de atualização de resolução reduzida, e a operação de desagrupamento é aplicada a bordas de bloco 4x4 quando um dos dois blocos vizinhos usa o modo de atualização de resolução reduzida (852).
BRPI0706407A 2006-01-09 2007-01-05 método e aparelho para fornecer modo de atualização de resolução reduzida para codificação de vídeo de múltiplas visualizações e mídia de armazenamento tendo dados codificados de sinal de vídeo BRPI0706407B1 (pt)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US75729106P 2006-01-09 2006-01-09
US75728906P 2006-01-09 2006-01-09
US60/751.291 2006-01-09
US60/757.289 2006-01-09
PCT/US2007/000448 WO2007081908A1 (en) 2006-01-09 2007-01-05 Method and apparatus for providing reduced resolution update mode for multi-view video coding

Publications (2)

Publication Number Publication Date
BRPI0706407A2 BRPI0706407A2 (pt) 2011-03-29
BRPI0706407B1 true BRPI0706407B1 (pt) 2019-09-03

Family

ID=38080969

Family Applications (1)

Application Number Title Priority Date Filing Date
BRPI0706407A BRPI0706407B1 (pt) 2006-01-09 2007-01-05 método e aparelho para fornecer modo de atualização de resolução reduzida para codificação de vídeo de múltiplas visualizações e mídia de armazenamento tendo dados codificados de sinal de vídeo

Country Status (6)

Country Link
US (2) US20090141814A1 (pt)
EP (1) EP1972144B1 (pt)
JP (1) JP5227187B2 (pt)
CN (1) CN101371584B (pt)
BR (1) BRPI0706407B1 (pt)
WO (1) WO2007081908A1 (pt)

Families Citing this family (51)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100779875B1 (ko) * 2005-01-14 2007-11-27 주식회사 휴맥스 다-시점 코딩을 위한 참조 프레임 순서 설정 방법 및 그방법을 기록한 기록매체
EP2014096A4 (en) * 2006-05-04 2010-12-22 Korea Electronics Telecomm METHOD AND DEVICE FOR CODING MOBILITY IMAGES WITH MULTIPLE VIEWS
US7907789B2 (en) * 2007-01-05 2011-03-15 Freescale Semiconductor, Inc. Reduction of block effects in spatially re-sampled image information for block-based image coding
KR20090035427A (ko) * 2007-10-05 2009-04-09 한국전자통신연구원 단일시점 또는 다시점 비디오 부호화와 복호화 방법 및 그 장치
US20090304086A1 (en) * 2008-06-06 2009-12-10 Apple Inc. Method and system for video coder and decoder joint optimization
KR20090129926A (ko) * 2008-06-13 2009-12-17 삼성전자주식회사 영상 부호화 방법 및 그 장치, 영상 복호화 방법 및 그 장치
BRPI0921986A2 (pt) * 2008-11-25 2018-06-05 Thomson Licensing métodos e aparelho para filtralçao por eliminação de artefatos à base de matrizes esparsas para codificação e decodificação de vídeo
JP5435452B2 (ja) * 2009-01-20 2014-03-05 株式会社メガチップス 画像処理装置および画像変換装置
KR101690291B1 (ko) * 2009-02-05 2016-12-27 톰슨 라이센싱 적응형 모드 비디오 인코딩 및 디코딩 방법 및 장치
JP4993224B2 (ja) * 2009-04-08 2012-08-08 ソニー株式会社 再生装置および再生方法
CN104796717B (zh) 2009-07-01 2018-11-06 汤姆森特许公司 用于视频编码器和解码器的方法和装置
KR20110065089A (ko) * 2009-12-09 2011-06-15 삼성전자주식회사 영상의 부호화 방법 및 장치, 그 복호화 방법 및 장치
US9094658B2 (en) 2010-05-10 2015-07-28 Mediatek Inc. Method and apparatus of adaptive loop filtering
US8660174B2 (en) * 2010-06-15 2014-02-25 Mediatek Inc. Apparatus and method of adaptive offset for video coding
US20110280311A1 (en) * 2010-05-13 2011-11-17 Qualcomm Incorporated One-stream coding for asymmetric stereo video
JP2011259362A (ja) * 2010-06-11 2011-12-22 Sony Corp 画像処理装置および方法
US9596447B2 (en) 2010-07-21 2017-03-14 Qualcomm Incorporated Providing frame packing type information for video coding
US8976856B2 (en) 2010-09-30 2015-03-10 Apple Inc. Optimized deblocking filters
US9055305B2 (en) 2011-01-09 2015-06-09 Mediatek Inc. Apparatus and method of sample adaptive offset for video coding
US8861617B2 (en) 2010-10-05 2014-10-14 Mediatek Inc Method and apparatus of region-based adaptive loop filtering
EP2630799A4 (en) * 2010-10-20 2014-07-02 Nokia Corp METHOD AND DEVICE FOR VIDEO CODING AND DECODING
KR20120058700A (ko) 2010-11-27 2012-06-08 전자부품연구원 디지털 방송의 전송 모드 제공 및 인지 방법
KR20120058702A (ko) 2010-11-27 2012-06-08 전자부품연구원 디지털 방송에서 서비스 호환 방식 전송 방법
JP5748463B2 (ja) * 2010-12-02 2015-07-15 キヤノン株式会社 符号化装置およびプログラム
US10244239B2 (en) 2010-12-28 2019-03-26 Dolby Laboratories Licensing Corporation Parameter set for picture segmentation
JPWO2012147622A1 (ja) * 2011-04-28 2014-07-28 ソニー株式会社 画像処理装置、及び、画像処理方法
CN108337522B (zh) * 2011-06-15 2022-04-19 韩国电子通信研究院 可伸缩解码方法/设备、可伸缩编码方法/设备和介质
CN106941608B (zh) * 2011-06-30 2021-01-15 三菱电机株式会社 图像编码装置及方法、图像解码装置及方法
JP5159927B2 (ja) 2011-07-28 2013-03-13 株式会社東芝 動画像復号装置及び動画像復号方法
EP2805509A4 (en) * 2012-01-19 2015-07-29 Magnum Semiconductor Inc METHOD AND DEVICES FOR PROVIDING AN ADAPTIVE UPGRADE MODE WITH REDUCED RESOLUTION
EP2805511B1 (en) 2012-01-20 2019-03-06 Sun Patent Trust Methods and apparatus for encoding and decoding video using temporal motion vector prediction
EP2811743B1 (en) 2012-02-03 2021-03-03 Sun Patent Trust Image encoding method, image decoding method, image encoding device, image decoding device, and image encoding/decoding device
JP6421931B2 (ja) 2012-03-06 2018-11-14 サン パテント トラスト 動画像符号化方法及び動画像符号化装置
US9491475B2 (en) 2012-03-29 2016-11-08 Magnum Semiconductor, Inc. Apparatuses and methods for providing quantized coefficients for video encoding
JP6681609B2 (ja) 2012-04-09 2020-04-15 サン パテント トラスト 画像符号化方法および画像復号化方法
WO2013168407A1 (en) 2012-05-09 2013-11-14 Panasonic Corporation Method of performing motion vector prediction, encoding and decoding methods, and apparatuses thereof
WO2014010583A1 (ja) * 2012-07-09 2014-01-16 日本電信電話株式会社 映像符号化／復号方法、装置、プログラム、記録媒体
CN116366835A (zh) 2013-01-04 2023-06-30 Ge视频压缩有限责任公司 高效可伸缩编码概念
US9392286B2 (en) 2013-03-15 2016-07-12 Magnum Semiconductor, Inc. Apparatuses and methods for providing quantized coefficients for video encoding
KR102327617B1 (ko) * 2013-04-08 2021-11-17 지이 비디오 컴프레션, 엘엘씨 효율적인 다-시점/계층 코딩을 허용하는 코딩 개념
US9794575B2 (en) 2013-12-18 2017-10-17 Magnum Semiconductor, Inc. Apparatuses and methods for optimizing rate-distortion costs in video encoding
US20180192076A1 (en) * 2015-06-16 2018-07-05 Sharp Kabushiki Kaisha Image decoding device image coding device
US11153594B2 (en) * 2016-08-29 2021-10-19 Apple Inc. Multidimensional quantization techniques for video coding/decoding systems
US20180091812A1 (en) * 2016-09-23 2018-03-29 Apple Inc. Video compression system providing selection of deblocking filters parameters based on bit-depth of video data
CN107454416B (zh) * 2017-09-12 2020-06-30 广州酷狗计算机科技有限公司 视频流发送方法和装置
CN111989920A (zh) * 2018-02-20 2020-11-24 弗劳恩霍夫应用研究促进协会 支持变化的分辨率和/或有效地处理区域级打包的图片/视频编码
KR102503743B1 (ko) 2018-04-11 2023-02-28 삼성전자주식회사 이미지 처리 장치 및 방법
US11290749B2 (en) * 2018-07-17 2022-03-29 Comcast Cable Communications, Llc Systems and methods for deblocking filtering
BR112021005758A2 (pt) * 2018-09-28 2021-07-06 Fraunhofer Ges Forschung decodificador para decodificação, codificador para codificação, método para decodificação e codificação, mídia de armazenamento digital e fluxo contínuo de dados
CN111479164A (zh) * 2019-01-23 2020-07-31 上海哔哩哔哩科技有限公司 硬件解码动态分辨率无缝切换方法、装置及存储介质
CN114762326B (zh) * 2020-01-21 2024-03-22 阿里巴巴集团控股有限公司 用于自适应分辨率视频编码的下一代环路滤波器实现

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5614952A (en) * 1994-10-11 1997-03-25 Hitachi America, Ltd. Digital video decoder for decoding digital high definition and/or digital standard definition television signals
US6057884A (en) * 1997-06-05 2000-05-02 General Instrument Corporation Temporal and spatial scaleable coding for video object planes
WO2005055607A1 (en) * 2003-12-08 2005-06-16 Electronics And Telecommunications Research Institute System and method for encoding and decoding an image using bitstream map and recording medium thereof
JP2007528675A (ja) * 2004-03-09 2007-10-11 トムソン リサーチ ファンディング コーポレイション Ａｖｃ用解像度低下更新モード
KR100678958B1 (ko) * 2005-07-29 2007-02-06 삼성전자주식회사 인트라 ｂｌ 모드를 고려한 디블록 필터링 방법, 및 상기방법을 이용하는 다 계층 비디오 인코더/디코더

Also Published As

Publication number Publication date
US20150003522A1 (en) 2015-01-01
JP2009522941A (ja) 2009-06-11
CN101371584A (zh) 2009-02-18
WO2007081908A1 (en) 2007-07-19
US9918064B2 (en) 2018-03-13
US20090141814A1 (en) 2009-06-04
EP1972144A1 (en) 2008-09-24
EP1972144B1 (en) 2017-03-29
CN101371584B (zh) 2011-12-14
BRPI0706407A2 (pt) 2011-03-29
JP5227187B2 (ja) 2013-07-03

Similar Documents

Publication Publication Date Title
BRPI0706407B1 (pt) método e aparelho para fornecer modo de atualização de resolução reduzida para codificação de vídeo de múltiplas visualizações e mídia de armazenamento tendo dados codificados de sinal de vídeo
JP7184841B2 (ja) ビデオエンコーダおよびデコーダについての大きなブロックにつきイントラ予測を信号伝達する方法および装置
TWI759604B (zh) 廣義三叉樹
JP7288071B2 (ja) ビデオ処理方法、装置及び記憶媒体
KR101558627B1 (ko) 다시점 비디오 코딩시스템에 있어 비디오 사용성 정보(ｖｕｉ)를 통합하기 위한 방법 및 장치
JP5124583B2 (ja) 明示的な信号伝達なしでの局所的な輝度および色の補償のための方法および装置
BR112019014090A2 (pt) técnicas de intraprevisão para codificação de vídeo
WO2018116924A1 (ja) 符号化装置、符号化方法及びプログラム、復号装置、復号方法及びプログラム
BRPI0817767A2 (pt) métodos e aparelhos para remoção de artefato para capacidade de escalonamento de profundidade de bit
JP6588507B2 (ja) 復号方法、復号装置、符号化方法及び符号化装置。
KR20090106505A (ko) 멀티 뷰 코딩된 비디오에서 조도 보상 및/또는 컬러 보상에 대한 코딩 아티팩트 감소 방법 및 장치
EP1972147A1 (en) Method and apparatus for providing reduced resolution update mode for multi-view video coding
BR112013025398B1 (pt) Método para decodificar uma imagem em modo de intrapredição
BR112016015453B1 (pt) Suporte de camada base de codec diferente em codificação de vídeo de várias camadas
BR112021004124A2 (pt) método de decodificação de vídeo e decodificador de vídeo
JP2013102298A (ja) 画像符号化装置、画像符号化方法及びプログラム、画像復号装置、画像復号方法及びプログラム

Legal Events

Date Code Title Description
B15K Others concerning applications: alteration of classification

Free format text: AS CLASSIFICACOES ANTERIORES ERAM: H04N 7/26, H04N 7/36, H04N 7/46, H04N 7/50

Ipc: H04N 19/597 (2014.01), H04N 19/625 (2014.01)

B06F Objections, documents and/or translations needed after an examination request according [chapter 6.6 patent gazette]
B06T Formal requirements before examination [chapter 6.20 patent gazette]
B15K Others concerning applications: alteration of classification

Free format text: AS CLASSIFICACOES ANTERIORES ERAM: H04N 19/597 , H04N 19/625

Ipc: H04N 13/106 (2018.01), H04N 19/80 (2014.01), H04N

B25G Requested change of headquarter approved

Owner name: THOMSON LICENSING (FR)

B25A Requested transfer of rights approved

Owner name: THOMSON LICENSING DTV (FR)

B25A Requested transfer of rights approved

Owner name: INTERDIGITAL MADISON PATENT HOLDINGS (FR)

B09A Decision: intention to grant [chapter 9.1 patent gazette]
B16A Patent or certificate of addition of invention granted [chapter 16.1 patent gazette]

Free format text: PRAZO DE VALIDADE: 10 (DEZ) ANOS CONTADOS A PARTIR DE 03/09/2019, OBSERVADAS AS CONDICOES LEGAIS. (CO) 10 (DEZ) ANOS CONTADOS A PARTIR DE 03/09/2019, OBSERVADAS AS CONDICOES LEGAIS