BRPI0917896B1 - Processo e instrumento de aquisição, tratamento, compressão e transmissão de imagens provenientes de satélites de observação da terra - Google Patents

Processo e instrumento de aquisição, tratamento, compressão e transmissão de imagens provenientes de satélites de observação da terra Download PDF

Info

Publication number
BRPI0917896B1
BRPI0917896B1 BRPI0917896-1A BRPI0917896A BRPI0917896B1 BR PI0917896 B1 BRPI0917896 B1 BR PI0917896B1 BR PI0917896 A BRPI0917896 A BR PI0917896A BR PI0917896 B1 BRPI0917896 B1 BR PI0917896B1
Authority
BR
Brazil
Prior art keywords
image
compression
acquired
images
objects
Prior art date
Application number
BRPI0917896-1A
Other languages
English (en)
Inventor
Jean-Jacques Favier
Jean-Pierre Antikidis
Original Assignee
Centre National D' Etudes Spatiales (C.N.E.S)
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Centre National D' Etudes Spatiales (C.N.E.S) filed Critical Centre National D' Etudes Spatiales (C.N.E.S)
Publication of BRPI0917896A2 publication Critical patent/BRPI0917896A2/pt
Publication of BRPI0917896B1 publication Critical patent/BRPI0917896B1/pt

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/14Coding unit complexity, e.g. amount of activity or edge presence estimation
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64GCOSMONAUTICS; VEHICLES OR EQUIPMENT THEREFOR
    • B64G1/00Cosmonautic vehicles
    • B64G1/10Artificial satellites; Systems of such satellites; Interplanetary vehicles
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64GCOSMONAUTICS; VEHICLES OR EQUIPMENT THEREFOR
    • B64G1/00Cosmonautic vehicles
    • B64G1/10Artificial satellites; Systems of such satellites; Interplanetary vehicles
    • B64G1/1021Earth observation satellites
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • Remote Sensing (AREA)
  • Astronomy & Astrophysics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Processing (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)
  • Studio Devices (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

processo e instrumento de aquisição, tratamento, compressão e transmissão de imagens provenientes de satélites de observação da terra a invenção se refere a um processo de aquisição, tratamento, compressão e transmissão de imagens provenientes de satélites, caracterizado por, de um modo sistemático: uma imagem ser adquirida (101); (102) esta imagem ser tratada por uma etapa de pré-tratamento de imagens que fornece um valor característico da imagem, e uma imagem pré-tratada por reconhecimento da forma de objetos naturais predeterminados na imagem adquirida e substituição destes objetos naturais por tipos de objetos; o referido valor característico ser comparado (103) a uma tabela de valores em que cada valor é associado a um algoritmo de compressão; o algoritmo de compressão correspondente ao referido valor característico ser executado (104) por meios de compressão para comprimir a referida imagem; a referida imagem comprimida ser transmitida (105) por meios de transmissão para um dispositivo remoto de recepção de imagens.

Description

A invenção se refere a um processo de aquisição, compressão e transmissão de imagens provenientes de satélites de observação da Terra, e mais particularmente a um processo de aquisição, compressão e transmissão de imagens provenientes de satélites de observação da Terra implementado a bordo de um satélite, especialmente em órbita baixa.
Um satélite de observação da Terra, em particular um satélite de órbita baixa destinado a assegurar capturas de vistas sistemáticas do globo, é suscetível de realizar a aquisição de uma grande quantidade e variedade de imagens em um lapso de tempo relativamente curto. Essa variedade de imagens resulta especialmente do fato de que esses satélites sobrevoam diversas regiões do globo no curso de suas órbitas, dentre as quais oceanos, desertos, cidades, florestas, zonas polares, etc. Existem instrumentos montados a bordo de satélites destinados a realizarem a aquisição de um tipo específico de zona, tais como, por exemplo, o instrumento MERIS montado no satélite ENVISAT destinado a medir a coloração de oceanos. E conhecido o fornecimento aos satélites de meios que permitam determinar os períodos durante os quais cada instrumento de aquisição de dados, em particular imagens, portado pelos satélites não deve adquirir imagens porque as zonas sobrevoadas não correspondem ao objetivado visado pelo instrumento. Isso permite também limitar a largura de banda e impedir o uso inútil de recursos. Para cada instrumento, esses períodos de ausência de observação são em geral definidos pelas coordenadas das zonas que não devem ser observadas. Essas zonas excluídas podem ser, conforme o objetivo visado pelo instrumento, oceanos, florestas, cidades, pólos, etc. Além disso, para os instrumentos que operam no espectro visível, essas zonas excluídas podem também compreender zonas mergulhadas na noite. Com efeito, um satélite sobrevoa durante uma parte de sua órbita regiões situadas na noite cuja aquisição de imagens é sem interesse.
Assim, nos processos conhecidos: meios de identificação das zonas geográficas sobrevoadas determinam se a aquisição de uma imagem de uma zona sobrevoada deve ser efetuada, a aquisição de uma imagem desta zona é efetuada caso os meios de identificação determinem que uma imagem desta zona sobrevoada deve ser adquirida, esta imagem é comprimida por meios de compressão de imagens, a imagem comprimida é transmitida a um dispositivo remoto de recepção de imagens.
Os meios de identificação das zonas geográficas sobrevoadas permitem excluir um certo número de zonas geográficas do globo. Essa técnica de exclusão de certas zonas geográficas do globo é parte integrante da estratégia de limitação da largura de banda necessária para transmitir os dados adquiridos por um instrumento em direção à superfície. Essa limitação da largura de banda é também obtida pela compressão das imagens efetivamente adquiridas antes de sua transferência à superfície. A compressão das imagens pode ser obtida por uma grande variedade de algoritmos de compressão, dentre os quais os algoritmos do tipo JPEG, JPEG2000, etc.
Os inventores determinaram que os inconvenientes desses processos conhecidos residem, por um lado, no fato de que certas zonas do globo são totalmente ignoradas quando podem apresentar algum interesse, e, por outro lado, no fato de que o algoritmo de compressão não se adapta às imagens adquiridas. Este é o caso, por exemplo, de oceanos que são geralmente excluídos dos protocolos de observação de zonas de atividades humanas, embora as imagens dessas zonas possam revelar dados pertinentes e úteis, tais como embarcações, plataformas petrolíferas, etc.
Além disso, a determinação das zonas a serem excluídas é uma tarefa relativamente complexa, em particular para satélites de órbita baixa, dada as intervenções na órbita do satélite, a rotação da Terra, etc. Além disso, a não ser que dados meteorológicos sejam comunicados permanentemente ao satélite, as condições meteorológicas não são conhecidas pelo satélite, e o instrumento se encontra suscetível de proceder a aquisições e transmissões de imagens nubladas sem interesse.
Além disso, a qualidade da compressão de uma imagem oferecida pelos métodos de compressão conhecidos depende do tipo de imagem comprimida. Em particular, os inventores determinaram que um algoritmo de compressão eficaz para a compressão de uma imagem de uma megalópole não está adaptado à compressão de uma imagem de floresta tropical.
US 6031939 descreve um processo para otimizar a compressão de dados de imagens com uma seleção automática das condições de compressão. Nesse processo, vários algoritmos de compressão são avaliados diante das imagens a serem comprimidas ou de imagens de teste, e o algoritmo a ser utilizado é determinado automaticamente a partir de parâmetros representativos do objetivo do usuário, escolhidos por este, e após a avaliação para cada algoritmo. Diferentes algoritmos podem ser aplicados a diferentes porções de uma mesma imagem. Da mesma forma, a publicação “An adaptive technique to maximize lossless image data compression of satellite images” XP004011783 descreve técnicas de compressão sem perdas de imagens de satélites que são baseadas unicamente na análise de parâmetros técnicos (entropia, textura, regularidade de padrões, etc.) das imagens. Diferentes técnicas de codificação são aplicadas em função das diferentes entropias de diferentes regiões da imagem. Os desempenhos de compressão desses processos permanecem limitados pelo fato de que uma análise apenas puramente técnica da imagem (luminosidade, textura, contraste, etc.) é efetuada.
Existe portanto uma necessidade real de se dispor de um processo de aquisição, compressão e transmissão de imagens de observação da Terra que possa permitir uma aquisição de imagens de qualquer zona do globo e uma compressão de imagens adaptada aos tipos de objetos observados com vistas a se obter uma transmissão que permita ir além na redução da largura de banda, isto é, que apresente desempenhos superiores em termos de compressão.
A invenção visa também a propor um processo que seja compatível com a sua integração a bordo de um sistema espacial, especialmente que seja simples e possa ser implementado rapidamente por recursos de tratamento digital convencionais.
A invenção visa a fornecer tal processo de aquisição, compressão e transmissão de imagens de observação da Terra implementado a bordo de um satélite que permita, para uma quantidade equivalente de informações transmitidas, uma utilização reduzida da largura de banda.
A invenção visa também a fornecer tal processo implementado a bordo de um satélite que, para uma largura de banda equivalente, possa transmitir mais informações do que um processo do estado da técnica.
A invenção visa também a propor um processo de aquisição, compressão e transmissão de imagens de observação da Terra que se adapte às zonas sobrevoadas pelo satélite,
A invenção visa também a propor um processo cuja etapa de compressão faça uso de um método de compressão específico em função de cada imagem adquirida pelo satélite.
A invenção visa também a propor um processo cuja etapa de compressão faça uso de um método de compressão específico em função de cada utilização de cada imagem adquirida pelo satélite.
A invenção visa também a propor um processo que dispense a colocação no satélite que implementa o processo de um programa específico de análise das condições do tempo para determinar se uma frente de nuvens pode se opor à captura de imagens.
Para estes fins, a invenção se refere a um processo de aquisição, compressão e transmissão de imagens provenientes de satélites de observação da Terra no qual, de um modo sistemático: uma imagem é adquirida por um instrumento portado por um satélite, essa imagem é tratada por uma etapa de pré-tratamento de imagens adaptada para fornecer uma imagem pré-tratada e ao menos um valor numérico, chamado valor característico da imagem, representativo do conteúdo da imagem, a etapa de pré-tratamento compreendendo uma etapa de reconhecimento de objetos naturais predeterminados na imagem adquirida e uma etapa subseqüente de substituição desses objetos naturais por tipos de objetos, o referido valor característico é comparado a uma tabela de valores em que cada valor é associado a um algoritmo de compressão, o algoritmo de compressão correspondente ao referido valor característico é executado por meios de compressão para comprimir a referida imagem pré-tratada, a referida imagem comprimida é transmitida por meios de transmissão para um dispositivo remoto de recepção de imagens.
Um processo de acordo com a invenção permite a quaisquer tipos de instrumentos ópticos portados por um satélite efetuar aquisições sistemáticas de zonas sobrevoadas, sem todavia sobrecarregar a largura de banda de transmissão de imagens para um dispositivo remoto. Além disso, não é necessário com um processo de acordo com a invenção determinar previamente à aquisição de uma imagem se uma aquisição da zona no curso de vôo deve ser efetuada. Em particular, um processo de acordo com a invenção avalia para cada imagem adquirida pelo instrumento de observação um valor característico da imagem. Esse valor pode ser representativo do espectro da imagem, do contraste da imagem, da luminosidade da imagem, da textura da imagem, e de um modo geral pode ser definido por quaisquer tipos de algoritmos de tratamento de imagens. O valor característico é então comparado a uma tabela de valores característicos predeterminados. Esses valores predeterminados correspondem a todos os tipos de imagens que podem ser adquiridas pelo instrumento. Por exemplo, certos valores característicos correspondem a imagens totalmente mascaradas pela presença de nuvens, outros correspondem a imagens de oceanos, outros a imagens de desertos, etc. Os valores característicos predeterminados são definidos por experiência e são armazenados em uma memória montada a bordo do satélite. A referida tabela de valores é então estabelecida e armazenada independentemente de cada imagem adquirida e antes de qualquer aquisição de imagem. Além disso, um processo de acordo com a invenção associa a cada valor característico um algoritmo de compressão específico particularmente adaptado ao tipo de imagem sob tratamento.
Um processo de acordo com a invenção permite otimizar a utilização de recursos e define uma estratégia global de redução da quantidade de dados transmitidos à superfície. Um processo de acordo com a invenção vai além da simples compressão de imagens. Em particular, um processo de acordo com a invenção reduz uma imagem antes da sua transmissão à superfície. Essa redução de imagens compreende uma etapa de tratamento da imagem, chamada ao longo do texto de etapa de pré- tratamento, e uma etapa de compressão dessa imagem pré-tratada. Esse tratamento inicial permite fornecer uma imagem, chamada imagem pré- tratada. Essa etapa pode consistir em uma filtragem espacial da imagem, um enquadramento da imagem, uma supressão de parte da imagem, e de um modo geral em qualquer tratamento da imagem que busque suprimir os dados desnecessários à inteligibilidade da imagem por uma pessoa.
Em particular, vantajosamente, um processo de acordo com a invenção compreende, para cada imagem, uma etapa de reconhecimento de objetos naturais predeterminados (especialmente por reconhecimento de formas e/ou texturas predeterminadas de paisagens) na imagem, chamados objetos originais, e uma etapa subseqüente de substituição desses objetos originais por objetos substitutos. Esses objetos substitutos podem ser objetos predeterminados ou objetos determinados a partir dos objetos originais.
Essas etapas são vantajosamente implementadas durante a etapa de pré-tratamento da imagem. Assim, a etapa de pré-tratamento consiste em reconhecer objetos originais particulares de paisagens na imagem. Esses objetos originais são, por exemplo, nuvens, regiões arborizadas, praias, lagoas, edifícios, pradarias, extensões de neve, estradas, vias florestais, etc. Essa etapa de pré-tratamento substitui então, vantajosamente para cada objeto original reconhecido, um ou vários pixels característicos do objeto original detectado. A etapa de pré-tratamento pode ser específica ao objeto visado pela observação. Em particular, se a imagem adquirida e pré-tratada está destinada a revelar unicamente os espaços verdes, a etapa de pré-tratamento pode então buscar unicamente a detecção de objetos (especialmente por suas formas e/ou texturas particulares) que não sejam espaços verdes (lagoas, praias, etc.) e a substituição de cada um desses objetos por um ou vários pixels de cores características (zona(s) uniforme(s)). Assim, essas zonas podem ser codificadas com menos bytes do que antes da substituição, sem todavia degradar a qualidade da imagem, tendo em vista o objetivo visado pela observação.
Em uma outra modalidade, a substituição pode consistir na substituição do objeto detectado por uma imagem predeterminada. Por exemplo, cada praia detectada é substituída por uma imagem de praia predeterminada de modo que impressão visual da imagem seja preservada.
Assim, em um processo de acordo com a invenção, vantajosamente, os referidos tipos de objetos são escolhidos dentre imagens predeterminadas e zonas uniformes.
Essa etapa de substituição permite reduzir drasticamente a quantidade de bytes necessários para codificar a imagem e/ou aumentar a qualidade dos elementos não substituídos. Com efeito, como as regiões substituídas precisam de menos bytes, as zonas não substituídas podem ser, com um número de bytes equivalente para a imagem global, codificadas com maior precisão.
Um processo de acordo com a invenção compreende uma etapa subseqüente de compressão da imagem pré-tratada. Os algoritmos de compressão podem ser de quaisquer tipos e são determinados em função dos objetivos visados pela captura de imagens. Os algoritmos de compressão podem ser determinados de modo que a quantidade de dados por unidade de tempo emitida por um satélite que implemente um processo de acordo com a invenção seja variável dentro de limites predeterminados. Os algoritmos podem também determinados de modo que a taxa média de dados emitidos por um satélite que implemente um processo de acordo com a invenção seja constante.
Vantajosamente e de acordo com a invenção, ao menos um algoritmo - especialmente cada algoritmo correspondente a um valor característico - é um algoritmo de compressão psicovisual.
Uma compressão psicovisual, ou seja, uma compressão que conserva apenas as informações úteis à inteligibilidade da imagem por uma pessoa, é particularmente eficaz na medida em que assegura não somente uma função de compressão que permite diminuir drasticamente a quantidade de dados a ser transmitida a um dispositivo remoto de recepção de imagens, como também assegura uma função de tratamento complementar das imagens adquiridas, por exemplo, sob uma cobertura nublada e imagens marítimas. Nesse caso, se um satélite realiza a aquisição de uma imagem fortemente bloqueada por uma cobertura de nuvens, um algoritmo de compressão do tipo psicovisual permite obter uma grande compressão da imagem sem um procedimento específico. Da mesma forma, uma compressão do tipo psicovisual dispensa que um instrumento de acordo com a invenção disponha de um programa específico para dia/noite que impeça as capturas de vistas à noite. Com efeito, uma imagem de uma região capturada à noite é mais fortemente comprimida por um módulo de compressão do tipo psicovisual. Se o valor característico da imagem revela que se trata de uma imagem de zona marítima, o algoritmo de compressão selecionado comprime mais fortemente a imagem e ao mesmo tempo conserva informações suficientes para que o usuário reconheça que se trata de uma zona marítima. Além disso, o algoritmo de compressão psicovisual elimina apenas as informações supérfluas, de modo que, se a imagem contiver um navio, este será conservado pelo algoritmo de compressão.
Um processo de acordo com a invenção adapta o nível de compressão e o tipo de compressão ao tipo de imagem adquirida. A taxa de compressão, definida como o ganho em volume referente ao volume inicial de dados, pode ser bem variável em função das imagens adquiridas. Em particular, para uma zona urbana, a taxa de compressão é, de acordo com a invenção, da ordem de 0,15, enquanto que, para zonas nubladas, ela é da ordem de 0,95.
Um satélite em órbita baixa que efetue capturas de vistas sistemáticas de zonas sobrevoadas pode reduzir a quantidade de dados a ser transmitida à superfície em mais de 50%, em média por órbita, com um processo de aquisição, compressão e transmissão de acordo com a invenção. Os inventores constataram que a quantidade de dados transmitidos por um satélite em órbita baixa que efetua capturas de vistas sistemáticas e que implementa um processo de acordo com a invenção é da ordem da quantidade de dados transmitidos por um satélite em órbita baixa que efetue capturas de vistas seletivas, embora a quantidade de informações contida nos dados transmitidos seja bem maior já que a totalidade da órbita do satélite é capturada. Assim, para uma largura de banda equivalente, um satélite que implementa um processo de acordo com a invenção pode fornecer bem mais informações utilizáveis do que um satélite que implemente um processo do estado da técnica. Para uma quantidade de informações equivalentes transmitidas à superfície, um satélite que implementa um processo de acordo com a invenção utiliza menos largura de banda do que um satélite que implemente um processo do estado da técnica.
Um processo de acordo com a invenção é particularmente adaptado a instrumentos destinados a efetuar capturas de vistas de todo o globo.
Os valores característicos de imagens representativos do conteúdo das imagens podem ser de quaisquer tipos.
Vantajosamente e de acordo com a invenção, o valor característico de uma imagem é representativo de uma das seguintes características: textura da imagem, intensidade da resolução da imagem, luminosidade média da imagem, contraste médio da imagem, cor predominante da imagem, taxa de uniformidade das cores da imagem, complexidade da imagem, entropia da imagem.
Em uma modalidade da invenção, o valor característico da imagem pode ser uma função de uma ou várias das características mencionadas acima.
Deve ser observado que o processo de acordo com a invenção permite (etapa de pré-tratamento) levar em conta a análise do conteúdo da imagem com vistas a otimizar a compressão, diante de parâmetros semânticos específicos da aplicação, a saber, a observação de paisagens terrestres, detectando na imagem adquirida objetos naturais selecionados dentre: zonas aquáticas (mares, lagos, rios, etc.), superfícies de neve, geleiras, nuvens, regiões desérticas homogêneas (dunas, etc.), zonas de vegetação homogêneas (florestas, cultivos, etc.), e de um modo geral, qualquer elemento natural específico que permita recorrer a mecanismos (etapa de substituição) vantajosos para aumentar a taxa de compressão da imagem e reforçar o desempenho da compressão.
Vantajosamente e de acordo com a invenção, os algoritmos de compressão são selecionados a partir do grupo que compreende: uma compressão DCT (Discrete Cosine Transform), uma compressão por wavelets, uma compressão por fractais.
Vantajosamente e de acordo com a invenção, para cada imagem, os meios de tratamento de imagens são adaptados para tratar uma sequência de imagens adquiridas anteriormente à imagem presente, de modo que o referido valor característico desta imagem dependa desta imagem e desta seqüência de imagens adquiridas anteriormente. Assim, um processo de acordo com a invenção pode determinar o valor característico de uma imagem não somente de acordo com o conteúdo intrínseco da imagem, como também de acordo com os conteúdos das imagens adquiridas anteriormente a esta imagem. Em particular, se imagens sucessivas são próximas em termos de conteúdo, não é necessário conservar a totalidade do conteúdo das imagens seguintes. Assim, se durante o tratamento de uma imagem ocorrer que as imagens adquiridas anteriormente têm conteúdos semelhantes a esta imagem - sendo este o caso de um vôo sobre uma grande região relativamente homogênea - a imagem pré-tratada pode compreender apenas os elementos diferentes em relação às imagens anteriores e a indicação de que a imagem inicial é o somatório de uma imagem anterior e desses elementos adicionais.
A invenção se refere igualmente a um instrumento de aquisição, compressão e transmissão de imagens provenientes de satélites de observação da Terra, caracterizado por compreender: meios de aquisição sistemática de imagens, meios de tratamento de cada imagem adquirida adaptados para fornecer uma imagem pré-tratada e ao menos um valor característico da imagem representativo de seu conteúdo, sendo os meios de tratamento adaptados para reconhecer na imagem adquirida objetos naturais predeterminados e para substituir esses objetos naturais por tipos de objetos, meios de comparação de cada valor característico com uma tabela de valores em que cada valor é associado a um algoritmo de compressão específico, meios de compressão de cada imagem pré-tratada que executem o algoritmo de compressão correspondente ao valor característico da imagem, meios de transmissão da imagem comprimida para um dispositivo remoto de recepção de imagens.
Os meios de aquisição de imagens de um instrumento de acordo com a invenção são vantajosamente câmeras ópticas munidas de captadores CCD (^'Charge-Coupled Device”). Os meios de tratamento são vantajosamente meios digitais associados a um microprocessador. Os meios de comparação são vantajosamente meios digitais associados a meios de armazenamento da tabela de valores de correspondência, sendo este armazenamento local ou remoto. Os meios de compressão são vantajosamente meios digitais associados a um microprocessador. Os meios de transmissão são vantajosamente meios de transmissão em radiofreqüência de dados entre um satélite e a Terra.
Um instrumento de acordo com a invenção realiza vantajosamente um processo de acordo com a invenção, e um processo de acordo com a invenção é vantajosamente realizado por um instrumento de acordo com a invenção.
A invenção se refere igualmente a um processo de aquisição, compressão e transmissão de imagens provenientes de satélites de observação da Terra e a um instrumento que realiza tal processo, caracterizados combinadamente por todas ou parte das características mencionadas acima ou abaixo.
Outros objetivos, características e vantagens da invenção surgirão a partir da leitura da descrição a seguir, dada a título exclusivamente não limitativo, com referência aos desenhos anexos, nos quais: a Figura 1 é um organograma esquemático de um processo de aquisição, compressão e transmissão de imagens provenientes de satélites de acordo com a invenção, a Figura 2a é uma vista esquemática de uma imagem de uma zona urbana, e a Figura 2b é uma vista esquemática da mesma imagem uma vez tratada por um processo de acordo com a invenção.
Um processo de aquisição, compressão e transmissão de imagens provenientes de satélites de acordo com a invenção compreende, como ilustra a Fig. 1, uma primeira etapa 101 de aquisição de imagens na qual uma imagem é adquirida por um instrumento.
Um processo de acordo com a invenção compreende uma etapa 102 subseqüente de tratamento desta imagem com vistas a fornecer um valor numérico, chamado valor característico da imagem, representativo do conteúdo desta imagem. Esse valor característico pode ser de qualquer tipo. Ele pode corresponder, para cada imagem, à textura da imagem, à intensidade da resolução da imagem, à luminosidade média da imagem, ao contraste médio da imagem, à cor predominante da imagem, à taxa de uniformidade das cores da imagem, à complexidade da imagem, à entropia da imagem, ou uma função de dois ou mais destes parâmetros. Em um modo de realização da invenção, a imagem pode ser dividida em uma pluralidade de sub-imagens e um valor característico da imagem pode ser calculado para cada uma dessas sub-imagens.
Essa etapa 102 de tratamento permite também fornecer uma imagem pré-tratada. O pré-tratamento pode consistir em uma filtragem espacial da imagem, um enquadramento da imagem, uma supressão de certos objetos da imagem, e de um modo geral um tratamento específico que contribua para a redução da quantidade de dados transmitidos à superfície sem todavia perdas de informações úteis ao homem.
As Figs. 2a e 2b apresentam respectivamente um exemplo de uma imagem adquirida por um instrumento montado a bordo de um satélite e a mesma imagem pré-tratada por um processo de acordo com a invenção.
A Fig. 2a é uma vista da Torre Eiffel na qual pode-se ver, além da Torre Eiffel, uma nuvem 2, uma parte 3 do Sena, as regiões arborizadas 4, 5, 6 e um gramado 7.
A Fig. 2b apresenta a mesma vista, com a imagem tendo sido pré-tratada durante a etapa 102 de pré-tratamento de um processo de acordo com a invenção. Pode-se observar que a nuvem 2 foi detectada e substituída por uma zona 22 uniforme branca. Da mesma forma, a parte 3 do Sena foi detectada e substituída por uma zona 33 uniforme. As regiões arborizadas 4, 5, 6 foram detectadas e substituídas pelas zonas 44, 55, 66, também uniformes. O processo de acordo com a invenção permite fazer o reconhecimento de objetos naturais e substituí-los por tipos de objetos (as zonas 22, 33, 44, 55, 66, 77 uniformes), de modo que a quantidade de dados necessária para armazenar a imagem da Fig. 2b é bem menor do que a quantidade de dados necessária para armazenar a imagem da Fig. 2a. Além disso, os dados pertinentes da imagem 2a são conservados na imagem 2b.
De maneira geral, a etapa 102 de pré-tratamento permite reconhecer objetos (especialmente pelas formas e/ou texturas particulares das paisagens) na imagem. Esse reconhecimento pode ser efetuado de acordo com procedimentos de reconhecimento (automáticos ou manuais (com intervenção humana)) de objetos em imagens a partir de parâmetros pertinentes que permitam identificar o objeto. Os objetos são, por exemplo, nuvens, regiões arborizadas, praias, lagoas, edifícios, pradarias, áreas com neve, vias, estradas florestais, etc. Essa etapa de pré-tratamento substitui então vantajosamente cada objeto detectado por um tipo de objeto predeterminado, especialmente uma imagem predeterminada ou uma zona uniforme predeterminada (que pode corresponder a uma representação uniforme do objeto natural detectado ou a uma zona da imagem que é apagada, sendo o objeto suprimido). Por exemplo, cada nuvem 2 detectada na imagem 2a é substituída por uma imagem de uma nuvem predeterminada de modo que a impressão visual da imagem 2b é sensivelmente idêntica à da imagem 2a, enquanto a quantidade de bytes necessária para armazenar a imagem em um suporte de massa é grandemente diminuída.
Um processo de acordo com a invenção compreende uma etapa 103 subseqüente de comparação do valor característico calculado na etapa 102 com uma tabela de valores, chamada tabela de correspondência, onde cada elemento da tabela de correspondência é associado a um algoritmo de compressão específico. O valor característico da imagem ou a função de valores característicos da imagem tem por objetivo caracterizar o tipo de imagem adquirida para adaptar a compressão a esta imagem. A cada valor da tabela de correspondência é associado um algoritmo específico. A tabela de correspondência pode compreender um grande número de algoritmos diferentes entre si. Além disso, valores diferentes podem ser associados aos mesmos algoritmos, somente com parâmetros do algoritmo como a taxa de compressão, por exemplo, distinguindo para esses valores os algoritmos entre eles.
A tabela de correspondência define, por exemplo, uma pluralidade de faixas de valores, sendo cada faixa associada a um algoritmo de compressão. Assim, se o valor característico avaliado na etapa 102 pertencer a uma determinada faixa de valores, o algoritmo utilizado na etapa 104 será o algoritmo associado a esta faixa de valores à qual pertence o valor característico da imagem.
Um processo de acordo com a invenção compreende uma etapa 104 subseqüente de compressão da imagem pré-tratada pelo algoritmo de compressão selecionado correspondente ao valor característico determinado na etapa 102. Os algoritmos utilizados podem ser de quaisquer tipos conhecidos. Todavia, em um modo preferencial de realização da invenção, o algoritmo designado na etapa 103 é um algoritmo de compressão do tipo psicovisual. Tal algoritmo é, por exemplo, para um determinado valor característico, o algoritmo conhecido pelo nome “JPEG2000”.
Um processo de acordo com a invenção compreende uma etapa 105 subseqüente de transmissão da imagem comprimida na etapa 104 para um dispositivo remoto de recepção de imagens. Tal dispositivo de recepção de imagens é, por exemplo, uma estação de recepção terrestre.
De acordo com a invenção, a recepção de imagens pode ser realizada por quaisquer tipos de meios conhecidos.
O tratamento das imagens adquiridas é de preferência realizado por meios digitais associados a um microprocessador. Em particular, o tratamento consiste na análise da imagem para extrair ao menos um valor característico da imagem representativo desta imagem. O valor característico da imagem pode corresponder à textura da imagem, à intensidade da resolução da imagem, à luminosidade média da imagem, ao contraste médio da imagem, à cor predominante da imagem, à taxa de uniformidade das cores da imagem, à complexidade da imagem, etc.
Os algoritmos de compressão podem ser algoritmos de compressão DCT, por wavelets, por fractals, etc. Esses algoritmos são conhecidos pelos técnicos no assunto e não são descritos aqui em detalhes.
A invenção se estende a um instrumento que implementa um processo de acordo com a invenção. Tal instrumento de aquisição, compressão e transmissão de imagens provenientes de satélites compreende meios de aquisição sistemática de imagens, meios de tratamento de cada imagem adaptados para fornecer uma imagem pré-tratada e ao menos um valor numérico, chamado valor característico da imagem, representativo do conteúdo da imagem, meios de comparação de cada valor característico com uma tabela de valores onde cada valor é associado a um algoritmo de compressão específico, meios de compressão de cada imagem pré-tratada através do algoritmo de compressão correspondente ao valor característico da imagem, e meios de transmissão da imagem a um dispositivo remoto de recepção de imagens.
Os meios de aquisição de imagens podem ser de quaisquer tipos. Em um modo preferencial de realização da invenção, os meios de aquisição são câmeras digitais portadas por satélites adaptadas para
capturas imagens da superfície terrestre. Os meios de pré-tratamento, de tratamento de imagens e de compressão de imagens são, em um modo preferencial de realização, implementados por meios computacionais. Os meios de transmissão de imagens são conhecidos pelos técnicos no assunto 5 e não são descritos aqui em detalhes.
Um instrumento de acordo com a invenção realiza um processo de acordo com a invenção, e um processo de acordo com a invenção é vantajosamente realizado por um instrumento de acordo com a invenção.
A invenção não se limita aos modos de realização descritos.
Em particular, um processo de acordo com a invenção pode compreender, durante a etapa de pré-tratamento de imagens, quaisquer tipos de substituição de elementos naturais detectados. Além disso, os meios de detecção dos elementos naturais podem ser de quaisquer tipos, 15 especialmente em função da forma dos elementos, da coloração dos elementos, da textura dos elementos, da cor predominante dos elementos, da taxa de uniformidade das cores dos elementos, da complexidade dos elementos, etc.

Claims (8)

1. Processo para aquisição, tratamento, compressão e transmissão de imagens provenientes de satélites de observação da Terra, em que, de um modo sistemático: - (101) uma imagem é adquirida por um instrumento portado por um satélite, - (102) a referida imagem adquirida é tratada por uma etapa de pré-tratamento de imagens adaptada para fornecer uma imagem pré-tratada e ao menos um valor numérico, chamada valor característico da referida imagem adquirida, representativo do conteúdo da imagem, - (103) o referido valor característico é comparado com uma tabela de valores, em que cada valor é associado a um algoritmo de compressão, - (104) o referido algoritmo de compressão correspondente ao referido valor característico é executado por meios de compressão para comprimir a referida imagem pré-tratada, - (105) a referida imagem comprimida é transmitida por meios de transmissão para um dispositivo remoto de recepção de imagens, caracterizado pelo fato de que a etapa de imagem pré-tratada compreende adicionalmente: - uma etapa de reconhecimento de objetos naturais predeterminados na imagem adquirida, chamada objetos originais, e - uma etapa subsequente de substituição de referidos objetos naturais predeterminados com objetos de substituição, referidos objetos de substituição sendo selecionados dentre: uma zona uniforme constituída de um ou mais pixels com cores características do referido objeto original, e uma imagem predeterminada representando referido objeto original para que a impressão visual da imagem adquirida seja preservada, a etapa de substituição permitindo reduzir a quantidade de bytes necessários para codificar a imagem adquirida e/ou aumentar a qualidade de elementos não substituídos.
2. Processo, de acordo com a reivindicação 1, caracterizado pelo fato de que os referidos objetos naturais predeterminados são selecionados dentre: - regiões aquáticas, tais como mares, lagos e rios, - superfícies enevoadas, - geleiras, - nuvens, - regiões desérticas homogêneas, tais como dunas, - regiões de vegetações homogêneas, tais como florestas, cultivos.
3. Processo, de acordo com as reivindicações 1 ou 2, caracterizado pelo fato de que, para cada imagem, as referidas etapas de pré-tratamento tratam uma sequência de imagens que foram adquiridas anteriormente à referida imagem, de modo que o referido valor característico da referida imagem dependa da referida imagem adquirida e da referida sequência de imagens que foram adquiridas anteriormente.
4. Processo, de acordo com qualquer uma das reivindicações 1 a 3, caracterizado pelo fato de que pelo menos um referido algoritmo de compressão é um algoritmo de compressão psicovisual.
5. Processo, de acordo com a reivindicação 4, caracterizado pelo fato de que cada referido algoritmo de compressão de imagens é um algoritmo de compressão psicovisual.
6. Processo, de acordo com qualquer uma das reivindicações 1 a 5, caracterizado pelo fato de que o referido valor característico da referida imagem é selecionado a partir de um grupo que compreenda a textura da referida imagem, a frequência de potência espacial da referida imagem, a luminância média da referida imagem, o contraste médio da referida imagem, a cor predominante da referida imagem, uma taxa de uniformidade das cores da referida imagem, uma complexidade da referida imagem, a entropia da referida imagem.
7. Processo, de acordo com qualquer uma das reivindicações 1 a 6, caracterizado pelo fato de que os algoritmos de compressão correspondentes aos referidos valores característicos são selecionados a partir de um grupo que compreende algoritmos do tipo DCT, algoritmos por wavelets e algoritmos fractais.
8. Instrumento para aquisição, compressão e transmissão de imagens provenientes de satélites de observação da Terra, que compreende, de um modo sistemático: - meios de aquisição sistemática de imagens, - meios de tratamento de cada imagem adquirida, que são adaptados para fornecer uma imagem pré-tratada e pelo menos um valor característico da imagem representativo de seu conteúdo, - meios de comparação de cada valor característico com uma tabela de valores em que cada valor é associado a um algoritmo de compressão específico, -meios de compressão de cada imagem pré-tratada executando-se o algoritmo de compressão correspondente ao valor característico da imagem, - meios de transmissão da imagem comprimida para um dispositivo remoto de recepção de imagens, caracterizado pelo fato de que os meios de tratamento de cada imagem adquirida são adaptados adicionalmente a: - reconhecer objetos naturais predeterminados, chamados objetos originais, na imagem adquirida, e - substituir esses objetos naturais predeterminados com objetos de substituição, selecionados dentre: uma zona uniforme constituída de um ou mais pixels com cores características do referido objeto original, e uma imagem predeterminada representando referido objeto original para que a impressão visual da imagem adquirida seja preservada, a etapa de substituição que permite reduzir a quantidade de bytes necessários para codificar a imagem adquirida e/ou aumentar a qualidade de elementos não substituídos.
BRPI0917896-1A 2008-08-28 2009-08-21 Processo e instrumento de aquisição, tratamento, compressão e transmissão de imagens provenientes de satélites de observação da terra BRPI0917896B1 (pt)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
FR0804741 2008-08-28
FR0804741A FR2935579B1 (fr) 2008-08-28 2008-08-28 Procede d'acquisition, de reduction et de transmission d'images satellitaires
PCT/FR2009/051615 WO2010023397A1 (fr) 2008-08-28 2009-08-21 Compression d'images satellitaires d'observation de la terre

Publications (2)

Publication Number Publication Date
BRPI0917896A2 BRPI0917896A2 (pt) 2015-12-01
BRPI0917896B1 true BRPI0917896B1 (pt) 2020-12-15

Family

ID=40740195

Family Applications (1)

Application Number Title Priority Date Filing Date
BRPI0917896-1A BRPI0917896B1 (pt) 2008-08-28 2009-08-21 Processo e instrumento de aquisição, tratamento, compressão e transmissão de imagens provenientes de satélites de observação da terra

Country Status (10)

Country Link
US (1) US8928751B2 (pt)
EP (1) EP2329652B1 (pt)
JP (1) JP2012501137A (pt)
KR (1) KR101562992B1 (pt)
CN (1) CN102204252A (pt)
BR (1) BRPI0917896B1 (pt)
CA (1) CA2734944C (pt)
FR (1) FR2935579B1 (pt)
RU (1) RU2494459C2 (pt)
WO (1) WO2010023397A1 (pt)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102957906A (zh) * 2011-08-29 2013-03-06 广州九游信息技术有限公司 图像分类压缩方法和系统
JP2013182027A (ja) * 2012-02-29 2013-09-12 Ricoh Co Ltd 画像形成装置、画像形成方法、プログラムおよび記録媒体
US20140027576A1 (en) * 2012-07-25 2014-01-30 Planet Labs Inc. Earth Observation Constellation Methodology & Applications
RU2013137742A (ru) * 2013-08-12 2015-02-20 ЭлЭсАй Корпорейшн Сжатие и восстановление изображений с глубиной с использованием данных о глубине и амплитуде
FR3024931B1 (fr) * 2014-08-18 2016-09-02 Jean-Pierre Antikidis Procede de creation de cartes par traitement aleatoire de donnees recues de capteurs en mouvement
RU2579899C1 (ru) * 2014-09-30 2016-04-10 Общество с ограниченной ответственностью "Аби Девелопмент" Обработка документа с использованием нескольких потоков обработки
CN104954786B (zh) * 2015-06-19 2017-11-28 武汉大学 一种视频卫星大数据的周期性编码方法
US10068385B2 (en) 2015-12-15 2018-09-04 Intel Corporation Generation of synthetic 3-dimensional object images for recognition systems
JP6885392B2 (ja) * 2016-03-22 2021-06-16 日本電気株式会社 データ符号化システム、データ符号化装置、データ符号化制御装置、データ符号化方法、データ符号化制御方法およびプログラム
US10302769B2 (en) * 2017-01-17 2019-05-28 Harris Corporation System for monitoring marine vessels using fractal processing of aerial imagery and related methods
US10399650B2 (en) 2017-01-17 2019-09-03 Harris Corporation System for monitoring marine vessels and determining rendezvouses therebetween and related methods
JP7007018B2 (ja) * 2017-02-16 2022-01-24 Necソリューションイノベータ株式会社 作物生育の推定装置、作物生育の推定方法、プログラム、および記録媒体
CN107421504B (zh) * 2017-08-02 2019-11-12 中国科学院遥感与数字地球研究所 月基对地观测光电影像的拍摄时间计算方法
CN108399052B (zh) * 2018-02-07 2021-05-14 深圳壹账通智能科技有限公司 图片压缩方法、装置、计算机设备和存储介质
FR3103342B1 (fr) * 2019-11-19 2022-07-08 Thales Sa Procede et dispositif de compression d'images numeriques et procede et dispositif de decompression associes
DE102020128827A1 (de) * 2020-11-03 2022-05-05 Connaught Electronics Ltd. Übertragung von Dateiinhalten als Teil eines Videostreams
CN113378679B (zh) * 2021-06-01 2024-05-14 大连海事大学 基于改进几何特征与特征保持采样的海岸养殖池提取方法
GB2623528A (en) * 2022-10-18 2024-04-24 Sony Interactive Entertainment Inc Image generation system and method
CN117082474B (zh) * 2023-10-17 2024-02-02 国家海洋局北海预报中心((国家海洋局青岛海洋预报台)(国家海洋局青岛海洋环境监测中心站)) 一种科考船实时获取海洋环境预报数据的系统

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2760872B1 (fr) * 1997-03-17 2000-06-09 Alsthom Cge Alcatel Procede d'optimisation de la compression de donnees d'image, a selection automatique de conditions de compression
JP3409734B2 (ja) 1999-04-20 2003-05-26 日本電気株式会社 画像合成システム及び方法
RU2002101739A (ru) * 1999-06-25 2003-08-27 Астровижн Интернэшнластровижн Интернэшнл Устройство для спутниковой системы формирования и прямого вещания изображений и способ обеспечения непрерывного наблюдения за землей в реальном времени с геостационарной орбиты и связанных с этим услуг
JP2001320705A (ja) * 2000-05-09 2001-11-16 Oki Electric Ind Co Ltd 監視カメラの画像データ圧縮装置
JP2005323044A (ja) * 2004-05-07 2005-11-17 Uniden Corp 画像送信装置及び画像受信装置
JP4623412B2 (ja) * 2004-06-29 2011-02-02 日本電気株式会社 端成分データベース構築方法、端成分データベース構築装置及び端成分データベース構築プログラム
JP4928734B2 (ja) * 2005-02-25 2012-05-09 三洋電機株式会社 投射型映像表示装置
US7343051B1 (en) * 2005-03-07 2008-03-11 Hsu Shin-Yi Method of recognizing an object in an image using multi-sensor integration through conditionally optimal geoscene generation and registration
WO2006113689A2 (en) * 2005-04-17 2006-10-26 Trimble Navigation Limited Enhanced gnss signal processing

Also Published As

Publication number Publication date
CA2734944A1 (fr) 2010-03-04
CN102204252A (zh) 2011-09-28
WO2010023397A1 (fr) 2010-03-04
EP2329652A1 (fr) 2011-06-08
BRPI0917896A2 (pt) 2015-12-01
RU2011110976A (ru) 2012-10-10
EP2329652B1 (fr) 2019-10-23
KR101562992B1 (ko) 2015-10-23
FR2935579B1 (fr) 2010-11-05
JP2012501137A (ja) 2012-01-12
RU2494459C2 (ru) 2013-09-27
KR20110046574A (ko) 2011-05-04
FR2935579A1 (fr) 2010-03-05
US20110187860A1 (en) 2011-08-04
US8928751B2 (en) 2015-01-06
CA2734944C (fr) 2017-02-28

Similar Documents

Publication Publication Date Title
BRPI0917896B1 (pt) Processo e instrumento de aquisição, tratamento, compressão e transmissão de imagens provenientes de satélites de observação da terra
EP0951177A2 (en) Method for digital compression of color images
CN106485684B (zh) 一种基于双树复小波变换的单幅图像去云雾方法
Zhang et al. Single image dehazing based on fast wavelet transform with weighted image fusion
Kumar et al. Panchromatic and multispectral remote sensing image fusion using machine learning for classifying bucolic and farming region
CN107124612A (zh) 基于分布式压缩感知的高光谱图像压缩方法
KR102596206B1 (ko) 영상 분석을 이용한 건해삼 등급 분류 시스템
CN116343201B (zh) 谷粒类别识别方法、装置及计算机设备
CN109584192B (zh) 基于多光谱融合的目标特征增强方法、装置与电子设备
CN117292250A (zh) 基于多源卫星遥感数据融合的水体提取方法、装置及设备
CN103900498A (zh) 一种棉田苗情自动探测方法及其探测装置
Wang et al. Salience preserving image fusion with dynamic range compression
CN113128525A (zh) 一种荒漠草原种群斑块识别的控制装置及方法
Alchanatis et al. Apple yield mapping using hyperspectral machine vision
Schmalz et al. Data compression techniques for underwater imagery
CN110140150B (zh) 一种图像处理方法、装置以及终端设备
CN109785323A (zh) 一种基于中频滤波的图像聚焦测度实现方法
Ayadi et al. A FPGA-based implementation of JPEG encoder
Cafforio et al. Spectral extrapolation in sub-band coding
Checker et al. Performance Impact of $ JP2 $ Compression on Semantic Segmentation of PolSAR Images
Shridhar et al. An Improved Image Fusion Technique based on Wavelet and Edge Gradients to Augment Spatial Prominence of Image Features
Hall-Beyer et al. Selaginella densa reflectance: relevance to rangeland remote sensing.
Karvonen et al. A wavelet transform coder supporting browsing and transmission of sea ice SAR imagery
Langari et al. Image loss concealment using edge-guided interpolation and multi-scale transformation
Zhang et al. Multimodal Image Fusion Based on a Convolutional Elastic Network

Legal Events

Date Code Title Description
B15K Others concerning applications: alteration of classification

Ipc: H04N 19/14 (2014.01), H04N 19/12 (2014.01), H04N 1

B06F Objections, documents and/or translations needed after an examination request according [chapter 6.6 patent gazette]
B06U Preliminary requirement: requests with searches performed by other patent offices: procedure suspended [chapter 6.21 patent gazette]
B09A Decision: intention to grant [chapter 9.1 patent gazette]
B16A Patent or certificate of addition of invention granted [chapter 16.1 patent gazette]

Free format text: PRAZO DE VALIDADE: 10 (DEZ) ANOS CONTADOS A PARTIR DE 15/12/2020, OBSERVADAS AS CONDICOES LEGAIS.

B21F Lapse acc. art. 78, item iv - on non-payment of the annual fees in time

Free format text: REFERENTE A 15A ANUIDADE.