BRPI0613522B1 - Método e aparelho para a detecção e ocultamento de quadros de vídeo de referência e de não-referência - Google Patents

Método e aparelho para a detecção e ocultamento de quadros de vídeo de referência e de não-referência Download PDF

Info

Publication number
BRPI0613522B1
BRPI0613522B1 BRPI0613522-6A BRPI0613522A BRPI0613522B1 BR PI0613522 B1 BRPI0613522 B1 BR PI0613522B1 BR PI0613522 A BRPI0613522 A BR PI0613522A BR PI0613522 B1 BRPI0613522 B1 BR PI0613522B1
Authority
BR
Brazil
Prior art keywords
frame
block
fact
bit stream
video
Prior art date
Application number
BRPI0613522-6A
Other languages
English (en)
Inventor
Zhenyu Wu
Frederic Landais
Purvin Bibhas Pandit
Jill MacDonald Boyce
Original Assignee
Interdigital Madison Patent Holdings
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Interdigital Madison Patent Holdings filed Critical Interdigital Madison Patent Holdings
Publication of BRPI0613522A2 publication Critical patent/BRPI0613522A2/pt
Publication of BRPI0613522B1 publication Critical patent/BRPI0613522B1/pt

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/89Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/577Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/89Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder
    • H04N19/895Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder in combination with error concealment

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

método e aparelho para a detecção e ocultamento de quadros de vídeo de referência e de não-referência. são providos um método e aparelho para a detecção e ocultamento de quadros de vídeo de referência e de não-referência. um decodificador de video inclui um decodificador de entropia (110), um detector de erro (176), e um ocultador de erro (178) . o decodificador de entropia (110) serve para descompactar um fluxo de bits de vídeo que pretende apresentar uma taxa de quadro fixa, e para analisar o fluxo de bits de vídeo descompactado a fim de encontrar as contagens de ordem de imagens para os quadros do fluxo de bits de vídeo descompactado. o detector de erro (176) serve para determinar se um quadro em particular do fluxo de bits de video descompactado está faltando com base nas contagens de ordem de imagem. o ocultador de erro (178) serve para ocultar o quadro em particular. o método é realizado ao se descompactar e analisar o fluxo de bits de vídeo a fim de encontrar as contagens de ordem de imagem para os quadros do fluxo de bits de vídeo descompactado e em seguida determinar (224, 228) se um quadro em particular do fluxo de bits de vídeo descompactado está faltando com base na comparação de suas contagens de ordem de imagem associadas, e em seguida ao se ocultar (244) aquele quadro em particular.

Description

MÉTODO E APARELHO PARA A DETECÇÃO E OCULTAMENTO DE QUADROS DE VÍDEO DE REFERÊNCIA E DE NÃO-REFERÊNCIA
REFERÊNCIA CRUZADA COM PEDIDOS RELACIONADOS
O presente pedido reivindica o benefício do Pedido de Patente Provisório norte-americano N. de Série 60/702 233, depositado em 25 de julho de 2005, e intitulado VIDEO DECODER DETECTION AND CONCEALMENT OF REFERENCE AND NONREFERENCE FRAMES, incorporado ao presente documento em sua totalidade, à guisa de referência.
CAMPO DA INVENÇÃO
A presente invenção refere-se, de modo geral, à codificação e decodificação de vídeo e, mais particularmente, a métodos e aparelhos para a detecção de quadros de vídeo de não-referência perdidos e o ocultamento de quadros de vídeo de referência e de não-referência perdidos.
FUNDAMENTOS DA INVENÇÃO
O conteúdo de vídeo liberado através de canais de comunicação propensos a erro é submetido a erros introduzidos durante a transmissão. Dentro de muitas infra-estruturas de aplicação, os erros de transmissão com freqüência resultam em perdas dos dados a serem recebidos por meio de uma aplicação. Para as aplicações de transmissão de vídeo de baixa taxa de bits, por exemplo, para as redes 3GPP, cada unidade de dado perdido geralmente corresponde à perda de um quadro codificado na camada de aplicação. Se deixado sem tratamento, este fluxo de bits corrompido conforme apresentado ao decodificador de vídeo poderá descarrilar ou até mesmo derrubar o processo de decodificação. Sendo assim, os
Petição 870190003344, de 11/01/2019, pág. 9/37
2/19 mecanismos devem estar no lugar dentro do decodificador a fim de detectar tais perdas.
Os quadros de vídeo podem ser divididos em dois tipos nos fluxos de bits de padrão H.264, nos quadros de referência e nos quadros de não-referência. O atual software JM decodificador padrão H.264 pode detectar um quadro de referência perdido ao checar uma variável chamada frame_num atribuída a cada quadro de referência. A variável frame_num é incrementada em 1 no quadro de referência seguinte, de modo que, quando o intervalo entre duas variáveis frame_num consecutivas é maior que 1, o decodificador fica ciente de que ocorreu a perda de um quadro de referência. Neste caso, o atual software JM decodificador pára qualquer outra decodificação.
Além disso, o atual software JM decodificador H.2 64 não poderá detectar a perda de um quadro de nãoreferência. O decodificador simplesmente decodifica o quadro seguinte disponível no fluxo de bits e salta o quadro perdido. Deste modo, a seqüência de vídeo de saída tem menos quadros e isto pode causar uma flutuação de fase na velocidade do vídeo, o que afeta a experiência de visualização final.
SUMÁRIO DA INVENÇÃO
Estas e outras falhas e desvantagens da técnica anterior são tratadas pela presente invenção, que diz respeito a métodos e aparelhos para a detecção de quadros de vídeo de não-referência perdidos e ocultamento dos quadros de vídeo de referência e de não-referência perdidos.
De acordo com um aspecto da presente invenção, é
Petição 870190003344, de 11/01/2019, pág. 10/37
3/19 provido um decodificador de video. O decodificador de video inclui um decodificador de entropia, um detector de erro, e um ocultador de erros. O decodificador de entropia serve para descompactar um fluxo de bits de video que pretende apresentar uma taxa de quadro fixa, e para analisar o fluxo de bits de video descompactado a fim de encontrar as contagens de ordem de imagens para os quadros do fluxo de bits de video descompactado. O detector de erro serve para determinar se um quadro em particular do fluxo de bits de video descompactado está faltando com base nas contagens de ordem de imagem. O ocultador de erro serve para ocultar o quadro em particular.
De acordo com um outro aspecto da presente invenção, é provido um método para decodificar um fluxo de bits de video que pretende apresentar uma taxa de quadros fixa. O método inclui a descompactação do fluxo de bits de video, a análise do fluxo de bits de video descompactado a fim de encontrar contagens de ordem de imagem para os quadros do fluxo de bits de video descompactado, a determinação se um quadro em particular do fluxo de bits de video descompactado está faltando com base nas contagens de ordem de imagem, e o ocultamento do quadro em particular.
Estes e outros aspectos, recursos e vantagens da presente invenção tornar-se-ão aparentes a partir da descrição detalhada a seguir das modalidades exemplares, as quais devem ser lidas com relação aos desenhos em anexo.
BREVE DESCRIÇÃO DOS DESENHOS
A presente invenção pode ainda ser entendida de
Petição 870190003344, de 11/01/2019, pág. 11/37
4/19 acordo com as figuras exemplares a seguir, nas quais:
A Figura 1 mostra um diagrama em blocos para um decodificador de video não escalável exemplar ao qual os presentes princípios podem ser aplicados; e
A Figura 2 mostra um fluxograma para um método exemplar para a decodificação de uma seqüência de videos de acordo, com os princípios da presente invenção.
DESCRIÇÃO DETALHADA
A presente invenção refere-se a métodos e aparelhos para a detecção de quadros de video de não-referência perdidos e para o ocultamento de quadros de video de referência e de não-referência perdidos.
Sendo assim, de acordo com os princípios da presente invenção, um decodificador e/ou um método de decodificação podem ser implementados para detectar a perda de quadros de não-referência e funções correspondentes podem ser utilizadas para ocultar os quadros de não-referência perdidos. Além disso, de acordo com os princípios da presente invenção, um decodificador e/ou método de decodificação podem ser implementados no sentido de ocultar quadros de referência também. Esta detecção e/ou ocultamento de quadros de video perdidos levam a uma qualidade de video e a uma taxa de bits mais estáveis, e uma satisfação maior do espectador.
A presente descrição ilustra os princípios da presente invenção. Aprecia-se, portanto, que os versados na técnica serão capazes de desenvolver diversas disposições que, embora não explicitamente descritas ou mostradas no presente documento, incorporam os princípios da presente inPetição 870190003344, de 11/01/2019, pág. 12/37
5/19 venção e encontram-se incluídas dentro do seu espírito e âmbito .
Todos os exemplos e linguagem condicional aqui apresentados pretendem, para fins pedagógicos, ajudar o leitor no entendimento dos princípios da presente invenção e dos conceitos contribuídos pelo inventor no sentido de fomentar a técnica, e devem ser construídos como tais, sem se limitarem aos exemplos e condições especificamente apresentados .
Além disso, todas as explicações no presente documento que descrevem os princípios, os aspectos, e as modalidades da presente invenção, assim como os exemplos específicos da mesma, pretendem abranger seus equivalentes estruturais e funcionais. Adicionalmente, é um objetivo que tais equivalentes incluam os equivalentes tanto correntemente conhecidos como os equivalentes a serem desenvolvidos no futuro, isto é, quaisquer elementos desenvolvidos que realizem a mesma função, independentemente de sua estrutura.
Sendo assim, por exemplo, será apreciado pelos versados na técnica que os diagramas em bloco aqui apresentados representam visões conceituais de um circuito ilustrativo que incorpora os princípios da presente invenção. De maneira similar, será apreciado que quaisquer painéis, fluxogramas, diagramas de transição de estado, pseudo-códigos, ou coisa do gênero representam vários processos que podem ser substancialmente representados em uma mídia legível em computador e assim executados por um computador ou processador, quer ou não tal computador ou processador esteja expliPetição 870190003344, de 11/01/2019, pág. 13/37
6/19 citamente mostrado.
As funções dos vários elementos mostrados nas figuras podem ser providas através do uso de um hardware dedicado, assim como através de um hardware capaz de executar um software em associação com o apropriado software. Quando providas por um processador, as funções podem ser providas por meio de um processador dedicado, por meio de um único processador compartilhado, ou por meio de uma pluralidade de processadores individuais, alguns dos quais podendo ser compartilhados. Além disso, o uso explicito do termo processador ou controladora não deve ser construído no sentido exclusivo de um hardware capaz de executar um software, e pode implicitamente incluir, sem limitação, um hardware de processador de sinais digitais (DSP), uma memória de leitura (ROM) para armazenar o software, uma memória de acesso aleatório (RAM), e um armazenamento não volátil.
Outros hardwares, convencionais e/ou personalizados, podem também ser incluídos. De maneira similar, quaisquer comutadores mostrados nas figuras são apenas conceituais. Suas funções podem ser executadas através da operação de uma lógica de programa, através de uma lógica dedicada, através da interação do controle de programa e da lógica dedicada, ou ainda manualmente, a técnica em particular sendo selecionável pelo implementador é mais especificamente entendida a partir do contexto.
Nas presentes reivindicações, qualquer elemento expresso como um meio para a execução de uma função especifica pretende abranger qualquer maneira de se executar aquePetição 870190003344, de 11/01/2019, pág. 14/37
7/19 la função, incluindo, por exemplo, a) uma combinação de elementos de circuito que realiza aquela função, ou b) um software de qualquer forma, incluindo, portanto, um firmware, um micro-código ou coisa do gênero, combinado com um circuito apropriado para a execução daquele software no sentido de realizar a função. A presente invenção conforme definida por tais reivindicações é inerente ao fato de que as funcionalidades providas pelos diversos meios apresentados são combinadas e reunidas da maneira que as reivindicações sugerem. É, por conseguinte, considerado que qualquer meio que possa prover estas funcionalidades seja equivalente aos mostrados no presente documento.
Voltando para a Figura 1, um decodificador de video sem escala é indicado de modo geral pelo numeral de referência 100. o decodificador de video 100 inclui um decodificador de entropia 110 para o recebimento de uma seqüência de videos. Uma primeira saida do decodificador de entropia 110 é conectada em comunicação de sinal a uma entrada de um quantizador / transformador inverso 120. Uma saida do quantizador / transformador inverso 120 é conectada em comunicação de sinal a uma primeira entrada de uma junção de soma 140. A saida da junção de soma 140 é conectada em comunicação de sinal com um filtro de desbloqueio 190. Uma saida do filtro de desbloqueio 190 é conectada em comunicação de sinal aos armazenadores de imagens de referência 150. Os armazenadores de imagens de referência 150 são conectados em comunicação de sinal a uma primeira entrada de um compensador de animação 160. Uma saida do compensador de animação 160 é
Petição 870190003344, de 11/01/2019, pág. 15/37
8/19 conectada em comunicação de sinal a uma segunda entrada da junção de soma 140. Uma segunda saída do decodificador de entropia 110 é conectada em comunicação de sinal a uma segunda entrada do compensador de animação 160. Uma terceira saída do decodificador de entropia 110 é conectada em comunicação de sinal à entrada de um detector de erro 176. A saída do detector de erro 17 6 é conectada em comunicação de sinal à entrada de um ocultador de erro 186. A saída do ocultador de erro 186 é conectada em comunicação de sinal como uma terceira entrada do compensador de animação 160. A saída do filtro de desbloqueio 190 é disponível como uma saída do decodificador de vídeo 100.
Conforme notado acima, os métodos e aparelhos são providos para a detecção de quadros de vídeo de nãoreferência perdidos e o ocultamento de quadros de vídeo de referência e de não-referência perdidos. Com vantagem, ao se detectar quadros de vídeo de não-referência perdidos de acordo com os princípios da presente invenção, o caso é evitado quando o decodificador simplesmente salta o quadro perdido, possivelmente causando a flutuação de fase de velocidade de imagem e afetando a experiência final da visualização. Além disso, quaisquer dentre os quadros de video de referência perdidos e os quadros de video de não-referência perdidos podem ser ocultos de acordo com os princípios descritos no presente documento.
Durante o processo normal de decodificação de um fluxo de bits de padrão H.264, o decodificador mantém uma contagem de ordem de imagem (POC) variável para cada imagem
Petição 870190003344, de 11/01/2019, pág. 16/37
9/19 codificada, incluindo tanto as imagens de referência como as de não-referência. A contagem POC foi originalmente desenhada para fins de decodificação de fonte, como, por exemplo, para derivar vetores de animação em um modo direto temporal, ou para uma previsão ponderada em fatias B. No entanto, de acordo com os princípios da presente invenção, a contagem POC pode também ser usada para detectar um quadro de nãoreferência perdido, caso o fluxo de bits de video codificado utilize uma taxa fixa de quadro.
Em um fluxo de bits de padrão H.2 64 válido, cada quadro tem o seu próprio valor de contagem POC, começando de 0 para um quadro de renovação de decodificação instantânea (IDR) de um grupo de imagens (GOP) . O intervalo de contagem POC é definido entre um par de valores de contagem POC como se segue:
Intervalo de contagem POC = POCQuadro 1 - POCQuadro 2
Dentro de cada grupo GOP, o intervalo de contagem POC permanece tipicamente igual para os dois quadros temporalmente consecutivos 1 e 2. Sendo assim, se um intervalo de contagem POC é especificado e conhecido ao decodificador, o decodificador poderá verificar se um quadro está perdido. Depois do processo de decodificação, tendo em vista a possível codificação fora de ordem das imagens B, a verificação é feita sempre que o decodificador está pronto para emitir um quadro decodificado para um arquivo ou para um video. O decodificador calcula o intervalo de contagem POC entre dois quadros decodificados temporalmente adjacentes. Se o valor não é igual ao do intervalo de contagem POC especificado, o
Petição 870190003344, de 11/01/2019, pág. 17/37
10/19 decodificador fica ciente de que existem quadros perdidos entre os dois quadros. Uma vez que os quadros de referência perdidos são detectados pela variável frame_num, este método baseado no intervalo de contagem POC é usado exclusivamente para quadros de não-referência.
Quando um quadro é perdido, uma operação cópia de animação pode ser chamada para ocultar o quadro perdido. Com a cópia de animação, o campo de animação de um quadro de referência especificado é copiado para o último quadro. Por exemplo, o vetor de animação de cada macrobloco (MB) ou de divisão de macrobloco MB do quadro de referência é copiado para a estrutura co-localizada no quadro perdido. Além disso, uma vez que múltiplos quadros de referência são deixados no padrão H.264, o índice de referência associado à cada vetor de animação no quadro de referência é também copiado. Depois das etapas acima, o procedimento normal de compensação de animação no decodificador é chamado para reconstruir o quadro perdido.
Uma questão que surge com a cópia de animação é que no quadro de referência, alguns macroblocos MB ou algumas divisões de macrobloco MB podem ser codificados em um modo intra. Quando isto acontece, não há nenhum vetor de animação ou índices de referência associados a estas regiões. Em termos efetivos, estas regiões criam furos no campo de animação a partir dos quais os vetores de animação devem ser copiados. Uma maneira de se solucionar o problema é atribuir um valor (0,0) a estes vetores de animação perdidos no quadro perdido. No entanto, quando o campo contém muitas
Petição 870190003344, de 11/01/2019, pág. 18/37
11/19 animações, o campo pode produzir artefatos de ocultamento no quadro oculto, assim como em quadros futuros em função da propagação de erros. Isto degrada a qualidade do video decodificado .
De acordo com os princípios da presente invenção, a presente invenção prevê as informações de animação perdidas destas regiões com base em seus vizinhos espacialmente disponíveis. Em termos específicos, as informações de animação de uma região é obtida seguindo o mesmo procedimento de decodificação do modo SKIP (SALTAR). Em outras palavras, o vetor de animação da região é previsto por meio da filtragem mediana dos vetores de animação das regiões espacialmente vizinhas especificas. Ao mesmo tempo, o índice de referência do vetor de animação da região no quadro perdido é atribuído ao quadro de referência imediatamente anterior, que vem a ser igual à decodificação do modo SKIP (SALTAR).
Na cópia de animação, o quadro de referência pode ser qualquer quadro disponível no armazenador temporário do decodificador que carregue informações de animação. Sendo assim, mesmo que um quadro de renovação IDR se perca, contanto que o mesmo não seja o primeiro quadro no fluxo de bits, o quadro poderá ainda ser oculto com a cópia de animação por meio da especificação de um quadro de referência disponível no armazenador temporário do decodificador, possivelmente a partir do grupo GOP anterior.
Voltando para a Figura 2, um método para a decodificação de uma seqüência de video é indicado de modo geral com o numeral de referência 200. O método 200 é capaz de de
Petição 870190003344, de 11/01/2019, pág. 19/37
12/19 tectar quadros de referência, assim como quadros de nãoreferência e quadros perdidos de ocultamento. Quando um quadro é perdido, o método utiliza uma operação de cópia de animação modificada a fim de realizar o ocultamento. Em comparação aos esquemas de decodificação atuais, a complexidade extra trazida pelos dois aperfeiçoamentos propostos nesta invenção, ou seja, o cálculo do intervalo de contagem POC e a previsão das informações de animação para estas regiões intra-codifiçadas em um quadro de referência, é significante.
O método inclui um bloco de inicialização 204 que passa o controle para um bloco de limite de laço 208. O bloco de limite de laço 208 começa um laço sobre cada quadro na seqüência de video, e passa o controle para um bloco de decisão 212. O bloco de decisão 212 determina se o número de quadros do novo quadro menos o número de quadros do quadro antigo (imediatamente precedente) é ou não igual a um. Caso positivo, o controle passa para um bloco de função 216. Caso contrário, o controle passa para um bloco de limite de laço 236.
O bloco de função 216 realiza a decodificação normal de um quadro corrente, e passa o controle para um bloco de decisão 220. O bloco de decisão 220 determina se o quadro corrente está pronto ou não para exibição. Caso positivo, o controle passa para um bloco de função 224. Caso contrário, o controle passa para um bloco de limite de laço 232 que finaliza o laço sobre cada quadro.
O bloco de função 224 calcula o intervalo de con
Petição 870190003344, de 11/01/2019, pág. 20/37
13/19 tagem de ordem de imagem (POC) e passa o controle para um bloco de decisão 228. O bloco de decisão 228 determina se o intervalo de contagem POC está correto ou não. Caso positivo, o controle passa para o bloco de limite de laço 232. Caso contrário, o controle passa para o bloco de limite de laço 236.
O bloco de limite de laço 236 se inicia um laço sobre cada macrobloco de um quadro perdido, e passa o controle para um bloco de decisão 240. O bloco de decisão 240 determina se a região co-localizada no quadro de referência é intra-codifiçada ou não. Caso positivo, o controle passa para um bloco de função 244. Caso contrário, o controle passa para um bloco de função 276.
O bloco de função 244 prevê o vetor de animação da região de acordo com a decodificação de modo skip (saltar) e passa o controle para um bloco de função 248. O bloco de função 248 define o índice de referência da região em um antes do quadro de referência, e passa o controle para um bloco de limite de laço 252.
Se o bloco de decisão 240 passa o controle para o bloco de função 27 6, então o vetor MV é definido para o da região co-localizada no quadro de referência e o controle passa para o bloco de função 280. O bloco de função 280 define o índice de referência da região para o da região colocalizada no quadro de referência e em seguida passa o controle para o bloco de limite de laço 252.
O bloco de limite de laço 252 finaliza o laço sobre cada um dos macroblocos do quadro perdido, e passa o
Petição 870190003344, de 11/01/2019, pág. 21/37
14/19 controle para um bloco de função 256. O bloco de função 256 realiza uma compensação de animação a fim de reconstruir o quadro perdido, e passa o controle para um bloco de decisão 260. O bloco de decisão 260 determina se o quadro perdido é um quadro de referência ou não. Caso positivo, o controle passa para um bloco de função 264. Caso contrário, o controle passa para um bloco de função 272. Quando o controle passa para o bloco de função 272, a contagem POC é atualizada para o quadro oculto e o controle passa para o bloco de limite de laço 232.
O bloco de função 264 atualiza a variável frame_num para o quadro oculto, e passa o controle para um bloco de função 2 68. O bloco de função 2 68 coloca o quadro oculto no armazenador temporário de decodificação, e passa o controle para o bloco de limite de laço 232.
O bloco de limite de laço 232 passa o controle para um bloco de finalização 284.
A seguir, será feita uma descrição de algumas dentre as muitas vantagens / aspectos auxiliares da presente invenção, algumas das quais sendo mencionadas acima. Por exemplo, uma vantagem / aspecto é um decodificador de vídeo que inclui um decodificador de entropia, um detector de erro, e um ocultador de erro. O decodificador de entropia serve para descompactar um fluxo de bits de vídeo que pretende apresentar uma taxa de quadro fixa, e para analisar o fluxo de bits de vídeo descompactado a fim de encontrar as contagens de ordem de imagens para os quadros do fluxo de bits de vídeo descompactado. O detector de erro serve para determi
Petição 870190003344, de 11/01/2019, pág. 22/37
15/19 nar se um quadro em particular do fluxo de bits de vídeo descompactado está faltando com base nas contagens de ordem de imagem. O ocultador de erro serve para ocultar o quadro em particular. Uma outra vantagem / aspecto é o decodificador de vídeo conforme descrito acima, no qual o detector de erro determina se o quadro em particular está perdido com base em um intervalo nas contagens de ordem de imagem entre os quadros temporalmente adjacentes do fluxo de bits de vídeo descompactado. Ainda uma outra vantagem / aspecto é o decodificador de vídeo conforme descrito acima, no qual o detector de erro determina se o quadro em particular se perdeu em função da determinação de um intervalo de contagem de ordem de imagens entre os quadros temporalmente adjacentes, e da indicação do quadro em particular como perdido quando o intervalo de contagem de ordem de imagem é maior que um limite. Além disso, uma outra vantagem / aspecto é o decodificador de vídeo conforme descrito acima, no qual o ocultador de erro oculta o quadro em particular usando um procedimento de repetição de quadro. Além disso, uma outra vantagem / aspecto é o decodificador de vídeo conforme descrito acima, no qual o ocultador de erro oculta o quadro em particular por meio da derivação de informações de animação para um bloco no quadro em particular a partir de um bloco co-localizado em uma estrutura de quadros codificada. Ainda, uma outra vantagem / aspecto é o decodificador de vídeo que deriva as informações de animação para o bloco no quadro em particular a partir do bloco co-localizado no quadro previamente codificado conforme descrito acima, em que o ocultador de erro
Petição 870190003344, de 11/01/2019, pág. 23/37
6/1 deriva um índice de referencia para uso no bloco do quadro em particular, a partir de um índice de referência do bloco co-localizado no quadro previamente decodificado. Adicionalmente, uma outra vantagem / aspecto é o decodificador de vídeo que deriva as informações de animação para o bloco do quadro em particular a partir do bloco co-localizado no quadro previamente codificado conforme descrito acima, em que o ocultador de erro oculta o quadro em particular por meio da derivação das informações de animação para o bloco do quadro em particular a partir de vetores de animação de vizinhos espacialmente disponíveis do bloco co-localizado no quadro previamente codificado, quando o bloco co-localizado no quadro previamente codificado é intra-codifiçado. Além disso, uma outra vantagem / aspecto é o decodificador de vídeo que em contrapartida deriva as informações de animação para o bloco do quadro em particular a partir dos vetores de animação dos vizinhos espacialmente disponíveis do bloco colocalizado no quadro previamente codificado quando o bloco co-localizado do quadro previamente codificado é intracodificado conforme descrito acima, em que o ocultador de erro deriva as informações de animações para o bloco do quadro em particular por meio da aplicação de um filtro mediano aos vetores de animação dos vizinhos espacialmente disponíveis do bloco co-localizado no quadro previamente codificado. Além disso, uma outra vantagem / aspecto é o decodificador de vídeo que em contrapartida deriva as informações de animação para o bloco do quadro em particular a partir dos vetores de animação dos vizinhos espacialmente disponíveis
Petição 870190003344, de 11/01/2019, pág. 24/37
17/19 do bloco co-localizado no quadro previamente codificado quando o bloco co-localizado no quadro previamente codificado é intra-codifiçado conforme descrito acima, em que as informações de animação para o bloco do quadro em particular 5 são obtidas usando a decodificação de modo SKIP (SALTAR).
Além disso, uma outra vantagem / aspecto é o decodificador de vídeo, que em contrapartida deriva as informações de animação para o bloco do quadro em particular usando a decodificação de modo SKIP (SALTAR) quando o bloco co-localizado 10 no quadro previamente codificado é intra-codifiçado conforme descrito acima, em que a decodificação de modo SKIP é realizada de acordo com o padrão H.264 do Setor de Telecomunicações da União Internacional de Telecomunicações (ITU-T).
Ainda, uma outra vantagem / aspecto é o decodificador de ví15 deo conforme descrito acima, em que detector de erro atualiza a contagem de ordem de imagem do quadro em particular.
Uma ou mais dentre as vantagens / aspectos acima listadas podem ser associadas a diversas modalidades da presente invenção .
Estes e outros aspectos e vantagens da presente invenção podem ser prontamente obtidas por uma pessoa com habilidade simples na técnica com base nos presentes ensinamentos. Deve-se entender que os ensinamentos da presente invenção podem ser implementados em várias formas de hardware, 25 software, firmware, processadores de uso especial, ou suas combinações.
Mais preferivelmente, os ensinamentos da presente invenção são implementados como uma combinação de um hardwa
Petição 870190003344, de 11/01/2019, pág. 25/37
18/19 re e um software. Além disso, o software pode ser implementado como um programa de aplicação tangivelmente incorporado em uma unidade de armazenamento de programa. O programa de aplicação pode ser transferido para, e executado por, uma máquina que compreenda qualquer arquitetura adequada. De preferência, a máquina é implementada em uma plataforma de computador tendo um hardware, como, por exemplo, uma ou mais unidades de processamento central (CPU) , uma memória de acesso aleatório (RAM), e interfaces de entrada / saída (I/O). A plataforma de computador pode também incluir um sistema operacional e um código de micro-instrução. Os vários processos e funções descritos no presente documento podem fazer parte de um código de micro-instrução ou de um programa de aplicação, ou qualquer combinação dos mesmos, que possam ser executados por uma unidade CPU. Além disso, várias outras unidades periféricas podem ser conectadas à plataforma de computador, como, por exemplo, uma unidade de armazenamento de dados adicional ou uma unidade de impressão .
Deve-se entender que, uma vez que alguns dos componentes e métodos de sistema constituintes ilustrados nos desenhos em anexo são de preferência implementados em um software, as conexões em questão entre os componentes de sistema ou os blocos de função de processo podem diferir dependendo da maneira na qual a presente invenção é programada. Dados os ensinamentos da presente invenção, uma pessoa com habilidade simples na técnica em questão será capaz de contemplar estas implementações ou implementações e configuPetição 870190003344, de 11/01/2019, pág. 26/37
19/19 rações similares às da presente invenção.
Embora as modalidades ilustrativas tenham sido descritas no presente documento com referência aos desenhos em anexo, deve-se entender que a presente invenção não se limita a estas precisas modalidades, e que várias mudanças e modificações podem ser feitas por uma pessoa com habilidade simples na técnica pertinente sem se afastar do âmbito ou espirito da presente invenção. Todas estas mudanças e modificações pretendem estar incluídas dentro do âmbito da pre10 sente invenção conforme apresentada nas reivindicações em apenso.

Claims (19)

  1. REIVINDICAÇÕES
    1. Decodificador de video, CARACTERIZADO pelo fato de compreender:
    um decodificador de entropia (110) para a descompactação de um fluxo de bits de video e análise do fluxo de bits de video descompactado a fim de encontrar as contagens de ordem de imagens para quadros do fluxo de bits de video descompactado;
    um detector de erro (176) para a determinação de se um quadro de não referência em particular do fluxo de bits de video descompactado está faltando com base na comparação das contagens de ordem de imagens; e um ocultador de erro (186) para o ocultamento do quadro de não referência em particular.
  2. 2. Decodificador de video, de acordo com a reivindicação 1, CARACTERIZADO pelo fato de que o dito detector de erro (176) determina que o quadro de não referência em particular está faltando com base em um intervalo nas contagens de ordem de imagens entre os quadros temporalmente adjacentes do fluxo de bits de video descompactado.
  3. 3. Decodificador de video, de acordo com a reivindicação 1, CARACTERIZADO pelo fato de que o dito detector de erro (176) determina que o quadro de não referência em particular está faltando por meio da determinação de um intervalo de contagem de ordem de imagens entre quadros temporalmente adjacentes, e da indicação do quadro de não referência em particular como perdido quando o intervalo de contagem de ordem de imagens é maior que um limite.
    Petição 870190003344, de 11/01/2019, pág. 28/37
    2/6
  4. 4. Decodificador de video, de acordo com a reivindicação 1, CARACTERIZADO pelo fato de que o dito ocultador de erro (186) oculta o quadro de não referência em particular usando um procedimento de repetição de quadros.
  5. 5. Decodificador de video, de acordo com a reivindicação 1, CARACTERIZADO pelo fato de que o dito ocultador de erro (186) oculta o quadro de não referência em particular por meio da derivação de informações de animação para um bloco no quadro de não referência em particular a partir de um bloco co-localizado em um quadro previamente codificado.
  6. 6. Decodificador de video, de acordo com a reivindicação 5, CARACTERIZADO pelo fato de que o dito ocultador de erro (186) deriva um índice de referência para uso para o bloco no quadro de não referência em particular a partir de um índice de referência do bloco co-localizado no quadro previamente decodificado.
  7. 7. Decodificador de video, de acordo com a reivindicação 5, CARACTERIZADO pelo fato de que o dito ocultador de erro (186) oculta o quadro de não referência em particular derivando, ao invés, informações de animação para o bloco no quadro de não referência em particular a partir dos vetores de animação de vizinhos espacialmente disponíveis do bloco co-localizado no quadro previamente codificado, quando o bloco co-localizado no quadro previamente codificado é intra-codifiçado.
  8. 8. Decodificador de video, de acordo com a reivindicação 7, CARACTERIZADO pelo fato de que o dito ocultador de erro (186) deriva as informações de animação para o bloco
    Petição 870190003344, de 11/01/2019, pág. 29/37
    3/6
    do quadro de não referência em particular por meio da aplicação de um filtro mediano aos vetores de animação dos
    vizinhos espacialmente disponíveis do bloco co-localizado no quadro previamente codificado.
  9. 9. Decodificador de video, de acordo com a reivindicação 7, CARACTERIZADO pelo fato de que as informações de animação para o bloco do quadro de não referência em particular são obtidas usando-se decodificação de modo SKIP (saltar) .
    10. Decodificador de video, de acordo com a rei- vindicação 8, CARACTERIZADO pelo fato de que a decodificação de modo SKIP (saltar) é feita de acordo com o padrão H.264
    do Setor de Telecomunicações, da União Internacional das Telecomunicações (ITU-T).
    11. Decodificador de video, de acordo com a rei- vindicação 1, CARACTERIZADO pelo fato de que o dito detector de erro (176) atualiza uma contagem de ordem de imagens do quadro de não referência em particular. 12 . Método para a decodif icação de um fluxo de
    bits de video, CARACTERIZADO pelo fato de compreender as etapas de:
    descompactar o fluxo de bits de video;
    analisar o fluxo de bits de video descompactado a fim de encontrar as contagens de ordem de imagens para os quadros do fluxo de bits de video descompactado;
    determinar (224, 228) se um quadro de não referência em particular do fluxo de bits de video descompactado está faltando com base na comparação das contagens de ordem
    Petição 870190003344, de 11/01/2019, pág. 30/37
    4/6 de imagens associadas; e ocultar (244) o quadro de não referência em particular .
  10. 13. Método, de acordo com a reivindicação 12, CARACTERIZADO pelo fato de que a dita etapa de determinar (224, 228) determina se o quadro de não referência em particular está faltando com base em um intervalo nas contagens de ordem de imagens entre quadros temporalmente adjacentes do fluxo de bits de video descompactado.
  11. 14. Método, de acordo com a reivindicação 12, CARACTERIZADO pelo fato de que a dita etapa de determinar (224, 228) determina se o quadro de não referência em particular está faltando por meio da determinação de um intervalo de contagem de ordem de imagens entre quadros temporalmente adjacentes, e da indicação do quadro de não referência em particular como perdido quando o intervalo de contagem de ordem de imagens é maior que um limite.
  12. 15. Método, de acordo com a reivindicação 12, CARACTERIZADO pelo fato de que a dita etapa de ocultar (244) oculta o quadro de não referência em particular usando um procedimento de repetição de quadros.
  13. 16. Método, de acordo com a reivindicação 12, CARACTERIZADO pelo fato de que a dita etapa de ocultar (244) oculta o quadro de não referência em particular por meio da derivação das informações de animação para um bloco no quadro de não referência em particular a partir de um bloco colocalizado em um quadro previamente codificado.
  14. 17. Método, de acordo com a reivindicação 16,
    Petição 870190003344, de 11/01/2019, pág. 31/37
    5/6
    CARACTERIZADO pelo fato de que a dita etapa de ocultar (244) deriva um índice de referência para uso para o bloco no quadro de não referência em particular a partir de um índice de referência do bloco co-localizado no quadro previamente decodificado .
  15. 18. Método, de acordo com a reivindicação 16, CARACTERIZADO pelo fato de que a dita etapa de ocultar (244) oculta o quadro de não referência em particular derivando, ao invés, as informações de animação para o bloco no quadro de não referência em particular a partir dos vetores de animação dos vizinhos espacialmente disponíveis do bloco colocalizado no quadro previamente codificado, quando o bloco co-localizado no quadro previamente codificado é intracodifiçado.
  16. 19. Método, de acordo com a reivindicação 18, CARACTERIZADO pelo fato de que a dita etapa de ocultar (244) deriva as informações de animação para o bloco do quadro de não referência em particular por meio da aplicação de um filtro mediano aos vetores de animação dos vizinhos espacialmente disponíveis do bloco co-localizado no quadro previamente codificado.
  17. 20. Método, de acordo com a reivindicação 18, CARACTERIZADO pelo fato de que as informações de animação para o bloco do quadro de não referência em particular são obtidas usando-se a decodificação de modo SKIP (saltar).
  18. 21. Método, de acordo com a reivindicação 20, CARACTERIZADO pelo fato de que a decodificação de modo SKIP (saltar) é feita de acordo com o padrão H.264 do Setor de
    Petição 870190003344, de 11/01/2019, pág. 32/37
    6/6
    Telecomunicações, da União Internacional das Telecomunicações (ITU-T).
  19. 22. Método, de acordo com a reivindicação 12, CARACTERIZADO pelo fato de compreender ainda a etapa de atu5 alizar (272) uma contagem de ordem de imagens do quadro de não referência em particular.
BRPI0613522-6A 2005-07-25 2006-06-06 Método e aparelho para a detecção e ocultamento de quadros de vídeo de referência e de não-referência BRPI0613522B1 (pt)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US70223305P 2005-07-25 2005-07-25
US60/702.233 2005-07-25
PCT/US2006/021890 WO2007018709A2 (en) 2005-07-25 2006-06-06 Method and apparatus for the concealment of missing video frames

Publications (2)

Publication Number Publication Date
BRPI0613522A2 BRPI0613522A2 (pt) 2011-01-18
BRPI0613522B1 true BRPI0613522B1 (pt) 2019-09-17

Family

ID=37137156

Family Applications (1)

Application Number Title Priority Date Filing Date
BRPI0613522-6A BRPI0613522B1 (pt) 2005-07-25 2006-06-06 Método e aparelho para a detecção e ocultamento de quadros de vídeo de referência e de não-referência

Country Status (10)

Country Link
US (1) US8428147B2 (pt)
EP (1) EP1908300B1 (pt)
JP (2) JP2009504001A (pt)
KR (1) KR101289603B1 (pt)
CN (1) CN101288315B (pt)
BR (1) BRPI0613522B1 (pt)
ES (1) ES2674908T3 (pt)
MX (1) MX2008001155A (pt)
TW (1) TW200723888A (pt)
WO (1) WO2007018709A2 (pt)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2116059A2 (en) * 2007-01-04 2009-11-11 Thomson Licensing Methods and apparatus for video error correction in multi-view coded video
US8605779B2 (en) * 2007-06-20 2013-12-10 Microsoft Corporation Mechanisms to conceal real time video artifacts caused by frame loss
WO2009002310A1 (en) * 2007-06-27 2008-12-31 Thomson Licensing Method and apparatus for identification of lost coded video frames
JP4950133B2 (ja) * 2008-06-11 2012-06-13 日本放送協会 受信エラー補完型受信機及びプログラム
US20100158130A1 (en) * 2008-12-22 2010-06-24 Mediatek Inc. Video decoding method
TWI442778B (zh) * 2010-02-05 2014-06-21 Acer Inc 視訊解碼裝置
CN102148985B (zh) * 2010-02-05 2013-06-12 宏碁股份有限公司 视讯译码装置
AU2012208842B2 (en) * 2011-01-19 2014-08-07 Hfi Innovation Inc. Method and apparatus for parsing error robustness of temporal Motion Vector Prediction
US9807386B2 (en) * 2011-09-29 2017-10-31 Telefonaktiebolaget Lm Ericsson (Publ) Reference picture list handling
US9398293B2 (en) * 2013-01-07 2016-07-19 Qualcomm Incorporated Gradual decoding refresh with temporal scalability support in video coding
KR101645235B1 (ko) * 2014-04-04 2016-08-04 고려대학교 산학협력단 정보 은닉 기법을 이용한 재압축-재압축 해제 장치, 방법 및 이를 저장한 저장매체
CN104883372B (zh) * 2015-06-19 2018-11-16 中国电子科技集团公司第五十四研究所 一种基于无线自组织网的防欺骗和抗攻击的数据传输方法
KR102250472B1 (ko) * 2016-03-07 2021-05-12 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. 하이브리드 은닉 방법: 오디오 코덱들에서 주파수 및 시간 도메인 패킷 손실 은닉의 결합
CN107231563B (zh) 2016-03-24 2020-06-23 腾讯科技(深圳)有限公司 视频处理方法和装置
US10304468B2 (en) * 2017-03-20 2019-05-28 Qualcomm Incorporated Target sample generation

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5724369A (en) * 1995-10-26 1998-03-03 Motorola Inc. Method and device for concealment and containment of errors in a macroblock-based video codec
KR100247978B1 (ko) * 1997-08-08 2000-03-15 윤종용 픽쳐 디코딩 동기화 회로 및 그 방법
JP3349964B2 (ja) * 1998-11-02 2002-11-25 沖電気工業株式会社 画像復号化装置
JP3411234B2 (ja) * 1999-04-26 2003-05-26 沖電気工業株式会社 符号化情報受信復号装置
GB2362531A (en) * 2000-05-15 2001-11-21 Nokia Mobile Phones Ltd Indicating the temporal order of reference frames in a video sequence
US20040001546A1 (en) * 2002-06-03 2004-01-01 Alexandros Tourapis Spatiotemporal prediction for bidirectionally predictive (B) pictures and motion vector prediction for multi-picture reference motion compensation
EP1595404B1 (en) 2003-02-18 2014-10-22 Nokia Corporation Picture decoding method
US8194751B2 (en) * 2003-02-19 2012-06-05 Panasonic Corporation Moving picture coding method and moving picture decoding method
US7403660B2 (en) * 2003-04-30 2008-07-22 Nokia Corporation Encoding picture arrangement parameter in picture bitstream
US20050008240A1 (en) * 2003-05-02 2005-01-13 Ashish Banerji Stitching of video for continuous presence multipoint video conferencing
MXPA06003925A (es) * 2003-10-09 2006-07-05 Thomson Licensing Proceso de derivacion de modo directo para el ocultamiento de error.
US7567584B2 (en) * 2004-01-15 2009-07-28 Panasonic Corporation Multiplex scheme conversion apparatus
US7751324B2 (en) * 2004-11-19 2010-07-06 Nokia Corporation Packet stream arrangement in multimedia transmission
US20060271990A1 (en) 2005-05-18 2006-11-30 Rodriguez Arturo A Higher picture rate HD encoding and transmission with legacy HD backward compatibility

Also Published As

Publication number Publication date
EP1908300B1 (en) 2018-05-16
JP5536174B2 (ja) 2014-07-02
ES2674908T3 (es) 2018-07-04
US8428147B2 (en) 2013-04-23
EP1908300A2 (en) 2008-04-09
JP2009504001A (ja) 2009-01-29
WO2007018709A3 (en) 2007-08-16
KR20080030623A (ko) 2008-04-04
KR101289603B1 (ko) 2013-07-24
TW200723888A (en) 2007-06-16
BRPI0613522A2 (pt) 2011-01-18
MX2008001155A (es) 2008-03-13
JP2013021729A (ja) 2013-01-31
CN101288315A (zh) 2008-10-15
CN101288315B (zh) 2012-05-30
US20090175344A1 (en) 2009-07-09
WO2007018709A2 (en) 2007-02-15

Similar Documents

Publication Publication Date Title
BRPI0613522B1 (pt) Método e aparelho para a detecção e ocultamento de quadros de vídeo de referência e de não-referência
US10499060B2 (en) Video encoding and decoding with improved error resilience
US8699561B2 (en) System and methods for detecting and handling errors in a multi-threaded video data decoder
US11057546B2 (en) Video encoding and decoding
BR122020002131B1 (pt) Método e dispositivo para codificar e decodificar uma sequência de imagens e meio legível por computador
BR112013022774B1 (pt) Método e aparelho de decodificação de um fluxo de bits e meio legível por computador
BR122020002124B1 (pt) Método e dispositivo de derivação de valores de modo de predição de referência e codificação e decodificação de informação representando modos de predição, e meio de armazenamento
BRPI0616407B1 (pt) Codificação/decodificação de vídeo escalonável h.264 com região de interesse
BR112014011334B1 (pt) Método para decodificar um quadro de vídeo
BR122020011581B1 (pt) Método de decodificação realizado pelo menos parcialmente por um circuito eletrônico e método de codificação realizado pelo menos parcialmente por um circuito eletrônico
CN116074535A (zh) 视频解码方法及装置、计算机可读存储介质、终端
BR112018004469B1 (pt) Método de inter-predição para codificação de vídeo e aparelho para inter-predição em codificação de vídeo
BR122020002128B1 (pt) Método e dispositivo para codificar e decodificar uma sequência de imagens e meio legível por computador

Legal Events

Date Code Title Description
B15K Others concerning applications: alteration of classification

Ipc: H04N 19/159 (2014.01), H04N 19/577 (2014.01), H04N

B06T Formal requirements before examination [chapter 6.20 patent gazette]
B06F Objections, documents and/or translations needed after an examination request according [chapter 6.6 patent gazette]
B25G Requested change of headquarter approved

Owner name: THOMSON LICENSING (FR)

B25A Requested transfer of rights approved

Owner name: THOMSON LICENSING DTV (FR)

B25A Requested transfer of rights approved

Owner name: INTERDIGITAL MADISON PATENT HOLDINGS (FR)

B09A Decision: intention to grant [chapter 9.1 patent gazette]
B16A Patent or certificate of addition of invention granted [chapter 16.1 patent gazette]

Free format text: PRAZO DE VALIDADE: 10 (DEZ) ANOS CONTADOS A PARTIR DE 17/09/2019, OBSERVADAS AS CONDICOES LEGAIS. (CO) 10 (DEZ) ANOS CONTADOS A PARTIR DE 17/09/2019, OBSERVADAS AS CONDICOES LEGAIS

B21F Lapse acc. art. 78, item iv - on non-payment of the annual fees in time

Free format text: REFERENTE A 15A ANUIDADE.

B24J Lapse because of non-payment of annual fees (definitively: art 78 iv lpi, resolution 113/2013 art. 12)

Free format text: EM VIRTUDE DA EXTINCAO PUBLICADA NA RPI 2623 DE 13-04-2021 E CONSIDERANDO AUSENCIA DE MANIFESTACAO DENTRO DOS PRAZOS LEGAIS, INFORMO QUE CABE SER MANTIDA A EXTINCAO DA PATENTE E SEUS CERTIFICADOS, CONFORME O DISPOSTO NO ARTIGO 12, DA RESOLUCAO 113/2013.