BR112019013184A2

BR112019013184A2 - aparelho de imageamento de múltiplos espectros, aparelho de imageamento e método de operar um sistema de imageamento hiperespectral

Info

Publication number: BR112019013184A2
Application number: BR112019013184A
Authority: BR
Inventors: Pose Agustina; Vilaseca David; Kargieman Emiliano; Gabriel Richarte Gerardo; Manuel Vuletich Juan; Jais Pablo
Original assignee: Urugus S A
Priority date: 2016-12-27
Filing date: 2017-12-27
Publication date: 2019-12-10
Also published as: CN110114645B; JP2020503516A; US20180184015A1; EP3555580A4; JP7045380B2; IL267634A; EP3555580C0; IL267634B; EP3555580B1; CN110114645A; WO2018125941A1; US10469772B2; CA3048632A1; EP3555580A1

Abstract

trata-se de um sistema de imageamento hiperespectral que inclui um sensor de imageamento, um filtro de múltiplos espectros e um atuador. o atuador move o filtro de múltiplos espectros em relação ao sensor de imageamento para capturar uma cena com dados espectrais completos. os dados espectrais da cena podem ser armazenados em um cubo de dados hiperespectral, que pode ser compactado, processado, armazenado e/ou enviado para uma localização remota. cada imagem adquirida inclui um mapa espacial da cena que facilita direcionamento, focalização e análise de dados. os parâmetros de medição espectral podem ser configurados dinamicamente a fim de otimizar desempenho, como resolução espectral, capacidade de armazenamento e largura de banda de transmissão. o sistema alcança resolução espacial e espectral alta, é simples, compacto e leve, fornecendo, dessa maneira, um sistema de imageamento hiperespectral eficaz.

Description

APARELHO DE IMAGEAMENTO DE MÚLTIPLOS ESPECTROS, APARELHO DE IMAGEAMENTO E MÉTODO DE OPERAR UM SISTEMA DE IMAGEAMENTO HIPERESPECTRAL

REFERÊNCIA CRUZADA A PEDIDOS RELACIONADOS [001] Este pedido de patente reivindica o beneficio do Pedido de Patente copendente Número de série U.S. 15/855.869, depositado em 27 de dezembro de 2017, intitulado HYPER-SPECTRAL IMAGING WHEN OBSERVED OBJECT IS STILL, em que o pedido reivindica o beneficio de e a prioridade ao Pedido de Patente Provisório Número de Série U.S. 62/439.396 depositado em 27 de dezembro 2016, intitulado HYPER-SPECTRAL IMAGING WHEN OBSERVED OBJECT IS STILL. Ambos os pedidos (15/855.869 e 62/439.388) são incorporados ao presente documento em sua totalidade a titulo de referência.

ANTECEDENTES [002] O imageamento de múltiplos espectros permite que um sistema de imageamento capture informações de imagem através do espectro eletromagnético. Muitos tais sistemas operam ao tirar imagens sequenciais e posicionar diversos filtros entre a fonte e o sensor de imageamento entre cada imagem sucessiva. Em geral, esses sistemas de imageamento são grandes e pesados, computacionalmente intensivos, complexos, são relativamente lentos ao captar imagens sucessivas, ou todos os acima.

[003] A complexidade dos sistemas de imageamento e o atraso inerente entre imagens sucessivas cria considerações adicionais quando tentam capturar imagens hiperespectrais, um tipo de imagem de múltiplos espectros que permite muito mais bandas espectrais de interesse a serem capturadas.

BREVE DESCRIÇÃO DOS DESENHOS

Petição 870190058749, de 25/06/2019, pág. 10/120

2/38 [004] A descrição detalhada é apresentada em referência às figuras anexas. Nas figuras, o dígito (ou dígitos) mais à esquerda de um número de referência identifica a figura na qual o número de referência aparece primeiro. O uso dos mesmos números de referência em Figuras diferentes indica itens similares ou idênticos.

[005] As Figuras la a Id ilustram diversas técnicas de imageamento de múltiplos espectros.

[006] A Figura 2 ilustra uma vista em perspectiva de um dispositivo de imageamento de área que mostra uma orientação de posicionamento de um filtro óptico em relação a um sensor de imageamento.

[007] A Figura 3 ilustra uma vista plana de um dispositivo de imageamento de área e um filtro óptico que é móvel em relação a um sensor de imageamento por um atuador.

[008] A Figura 4 ilustra movimento de um filtro linear em relação a um dispositivo de imageamento de área.

[009] A Figura 5 ilustra imageamento de uma cena por um dispositivo de imageamento de área e um movimento de um filtro linear conforme imagens sequenciais da cena são capturadas.

[0010] A Figura 6 é um diagrama de blocos que ilustra o processo de capturar uma imagem hiperespectral.

[0011] A Figura 7 ilustra pontos de uma cena que é capturada através de porções diferentes de um filtro óptico de múltiplos espectros através de imagens sequenciais.

[0012] A Figura 8 é um diagrama de blocos de um sistema de imageamento exemplificativo.

DESCRIÇÃO DETALHADA

Visão Geral

Petição 870190058749, de 25/06/2019, pág. 11/120

3/38 [0013] As modalidades incluem um sistema de imageamento que tem um sensor de imageamento, um filtro óptico continuamente variável, um atuador, e que emprega diversas instruções de processamento computacional em uma unidade de processamento (por exemplo, um processador ou outro circuito lógico) para capturar e processar imagens hiperespectrais e de múltiplos espectros de uma cena formando-se um cubo de dados multidimensional.

[0014] Algumas modalidades incluem um filtro passa-faixa óptico variável que tem um comprimento de onda central que está na faixa de À_min a À_max, um dispositivo de imageamento de área, um atuador linear, e uma ou mais unidades de processamento que são responsáveis por leitura, controle, processamento, compactação e armazenamento de imagem.

[0015] Em algumas implantações, o dispositivo de imageamento de área inclui um atuador linear que move o filtro passa-faixa óptico variável através do dispositivo de imageamento de área. Como o filtro é movido através do dispositivo de imageamento de área, imagens sequenciais são capturadas de modo que cada área de interesse da cena seja capturada através do filtro óptico em uma ou mais bandas espectrais desejadas.

[0016] A temporização para imagens sequenciais é determinada com base no filtro óptico e na saída desejada para resultar em um cubo de dados multidimensional no qual n-tuplos de coordenadas espaciais resultam em pixels que têm valores x, y e λ, em que x e y representa duas dimensões espaciais da cena e λ representa a dimensão espectral que compreende uma faixa de comprimentos de onda.

[0017] Uma região de interesse da cena é

Petição 870190058749, de 25/06/2019, pág. 12/120

4/38 determinada para possibilitar um número suficiente de exposições enquanto o filtro se move em relação ao AID. Múltiplas exposições são capturadas ao capturar exposições sucessivas com o AID através do filtro óptico. Conforme o filtro se move através do AID, diversos pontos na cena são capturados conforme a luz que é radiada ou refletida dos diversos pontos na cena passa de uma banda espectral do filtro óptico para outra antes de alcançar o sensor de imageamento do AID. Em algumas modalidades, um filtro passa-faixa óptico variável é posicionado na trajetória óptica entre o AID e a cena de interesse, e conforme o filtro se move em relação ao AID, imagens sucessivas são capturadas, nas quais pontos específicos da cena são capturados pelo AID através de diversas porções do filtro passa-faixa óptico variável. A exposições em cada imagem sucessiva permite que cada porção da cena seja capturada em um comprimento de onda central diferente de cada banda espectral para produzir imagens sucessivas que têm uma distribuição diferente de bandas espectrais através da cena. As exposições podem ser cortadas e emendadas, juntas, para formar uma imagem de múltiplos espectros ou hiperespectral da cena. Cada segmento da imagem é exposto através de bandas espectrais desejadas, ou todas as bandas como pode ser o caso, do filtro óptico durante imagens sucessivas.

[0018] Como usado no presente documento, um filtro óptico de múltiplos espectros (ou apenas filtro), se refere a um filtro óptico que permite que diversos comprimentos de onda de luz passem através de porções do mesmo. Por exemplo, um filtro passa-faixa óptico pode conter uma ou mais regiões do filtro configurado para transmitir de modo seletivo uma porção do espectro eletromagnético enquanto atenua outros

Petição 870190058749, de 25/06/2019, pág. 13/120

5/38 comprimentos de onda. A uma ou mais regiões podem ser distintas, ou seja, um filtro passa-faixa pode ter regiões marcadas do filtro que permitem que uma alta transmissão através de larguras de banda estreitas enquanto atenua luz indesejada para maximizar captura de imagem no comprimento de onda desejado. A resposta espectral de um filtro passa-faixa pode ser ajustada simplesmente ao mover a posição do filtro em relação à fonte de luz, ou todo o AID pode ser movido em relação à fonte de luz. Um filtro passa-faixa óptico variável contínuo é outro exemplo de um filtro passa-faixa que pode ser utilizado com modalidades descritas no presente documento, em que a faixa de larguras de banda espectrais que tem uma alta transmissão varia continuamente através do filtro. Outros exemplos de filtros ópticos podem ser usados com modalidades descritas no presente documento e são contemplados no presente documento ao fornecer os recursos e benefícios descritos. Por exemplo, um filtro de rejeição, no qual o filtro atenua comprimentos de onda dentro de uma banda estreita enquanto permite que comprimentos de onda fora da banda estreita passem, pode ser implantado com os sistemas e métodos descritos no presente documento.

[0019] Algumas modalidades dos sistemas de imageamento e aparelhos descritos no presente documento podem ser empregadas para obter imagens da Terra a partir de satélites, como satélites em Órbita de Satélite Geoestacionário (GEO). Em algumas modalidades, o sistema de imageamento pode incluir um telescópio e o AID pode ser colocado no plano focal do telescópio. O filtro óptico de múltiplos espectros pode ser fixado diretamente ao AID e, portanto, também ser colocado próximo ao plano focal do

Petição 870190058749, de 25/06/2019, pág. 14/120

6/38 telescópio .

[0020] Os processos, sistemas e dispositivos descritos no presente documento podem ser implantados de diversas maneiras. Implantações exemplificativas são fornecidas abaixo em referência às figuras a seguir.

[0021] O objetivo de imageamento espectral é medir o espectro para cada pixel na imagem de uma cena. Como usado no presente documento, um pixel na imagem de uma cena se refere à luz que é capturada por um dispositivo de imageamento que representa uma localização correspondente dentro da cena. Ou seja, conforme a luz radiada ou refletida de cada área dentro de uma cena é capturada pelos elementos discutidos dentro do AID, a luz passará através de uma porção do filtro passa-faixa e o espectro para o qual a área particular da cena será capturada. Quando a luz radiada ou refletida daquela área particular da cena é capturada conforme o filtro é movido em relação ao AID, a luz passará através de uma porção diferente do filtro passa-faixa, e um espectro diferente para aquela área particular da cena pode ser capturado.

[0022] Nesse sentido, a intensidade de luz radiada ou refletida por um objeto é medida em seu plano de imagem. As medições resultantes são representadas como um conjunto de n-tuplos de coordenadas espaciais e magnitudes espectrais. Esses n-tuplos são combinados para formar um cubo de dados de múltiplas dimensões (x, y, A) para processamento e análise, em que x e y representam duas dimensões espaciais da cena, e λ representa a dimensão espectral que compreende uma faixa de comprimentos de onda. A partir de um ponto de vista de processamento de dados, imageamento espectral pode ser caracterizado pela dimensionalidade do cubo de dados.

Petição 870190058749, de 25/06/2019, pág. 15/120

7/38 [0023] De acordo com algumas modalidades, um aparelho de imageamento de múltiplos espectros inclui um dispositivo de imageamento de área que tem uma pluralidade de sensores de pixel. Um filtro de múltiplos espectros é disposto dentro de uma trajetória óptica do dispositivo de imageamento de área e um atuador é configurado para mover o filtro de múltiplos espectros em relação ao dispositivo de imageamento de área. O aparelho de imageamento ainda inclui um módulo de controle que determina uma região espacial de interesse de uma cena a ser capturada pelo dispositivo de imageamento de área. O módulo de controle ainda determina um espectro de interesse da cena. O mesmo determina, com base, pelo menos em parte, no filtro de múltiplos espectros e no espectro de interesse, uma distância de amostragem para captura sucessiva de imagem e direciona o dispositivo de imageamento de área para obter uma ou mais exposições na distância de amostragem. O aparelho de imageamento ainda inclui um módulo de imageamento configurado para formar uma imagem da cena com base, pelo menos, na uma ou mais exposições.

[0024] O aparelho de imageamento pode estar localizado em um satélite de modo que o dispositivo de imageamento de área, o módulo de controle e o módulo de imageamento sejam integrados ao satélite. O satélite pode ser posicionado em uma órbita de satélite geoestacionária, e qualquer movimento relativo da cena relacionado ao aparelho de imageamento pode ser corrigido, como executando-se um ou mais algoritmos de estabilização de imagem.

[0025] Em alguns exemplos, o filtro de múltiplos espectros é um filtro óptico continuamente variável, como um filtro hiperespectral. Em outros exemplos, o filtro de

Petição 870190058749, de 25/06/2019, pág. 16/120

8/38 múltiplos espectros é um filtro passa-faixa óptico ou um filtro de rejeição.

[0026] 0 aparelho de imageamento pode criar uma imagem hiperespectral, e a imagem hiperespectral pode ser armazenada, processada e transmitida para um dispositivo de recebimento, como uma localização remota. A distância de amostragem pode ser determinada de modo que a região espacial de interesse da cena seja capturada na uma ou mais exposições no espectro de interesse.

[0027] Em algumas modalidades, o módulo de imageamento é configurado para criar uma curva de interpelação para cada pixel através da uma ou mais exposições e também pode construir uma imagem monocromática avaliando-se a curva de interpolação para cada pixel no espectro de interesse.

[0028] Em algumas modalidades, um aparelho de imageamento inclui um dispositivo de imageamento que tem uma pluralidade de sensores de pixel e um filtro óptico disposto dentro de uma trajetória óptica do dispositivo de imageamento. O filtro óptico pode ter pelo menos uma primeira banda espectral e uma segunda banda espectral. Ou seja, o filtro óptico pode ter diversas porções que permitem que (ou atenuam) um determinado espectro. Um atuador pode ser fixado ao filtro óptico e configurado para mover o filtro óptico em relação à pluralidade de sensores de pixel.

[0029] O aparelho de imageamento pode incluir um ou mais processadores e uma ou mais memórias que contêm instruções que fazem com que os processadores determinem uma região espacial de interesse de uma cena e determinem um espectro de interesse. Isso pode ser resultado de instruções enviadas para o aparelho de imageamento de uma localização

Petição 870190058749, de 25/06/2019, pág. 17/120

9/38 remota, ou pode ter como base regras executadas pelo um ou mais processadores.

[0030] Os processadores ainda ativam o atuador para mover o filtro óptico e direcionar o dispositivo de imageamento para obter pelo menos uma exposição da cena quando a luz refletida da região de interesse passa através da segunda banda espectral. Uma imagem pode, então, ser gerada com base na pelo menos uma exposição.

[0031] Em alguns exemplos, o filtro óptico varia em um passa-faixa ao longo de uma única direção e o atuador é configurado para mover o filtro óptico através da pluralidade de sensores de pixel na única direção. Em alguns exemplos, o filtro óptico é um filtro passa-faixa óptico variável contínuo. A pluralidade de sensores de pixel pode ser disposta em uma matriz de fileiras e colunas de modo que uma coluna dos sensores de pixel seja associada a um espectro comum do filtro passa-faixa óptico variável contínuo para uma determinada posição do atuador.

[0032] As instruções podem fazer com que o um ou mais processadores determinem uma distância de amostragem para exposições sucessivas e façam com que o dispositivo de imageamento capture uma primeira exposição e uma segunda exposição, em que a segunda exposição é separada da primeira exposição pela distância de amostragem.

[0033] A primeira exposição pode capturar a região espacial de interesse através da primeira banda espectral e a segunda exposição pode capturar a região espacial de interesse através da segunda banda espectral.

[0034] Em algumas modalidades, a primeira exposição pode ser segmentada para criar uma primeira porção

Petição 870190058749, de 25/06/2019, pág. 18/120

10/38 da primeira exposição que tem uma banda espectral de interesse, a sequnda exposição pode ser seqmentada para criar uma sequnda porção da sequnda exposição que tem a banda espectral de interesse, e a primeira porção e a sequnda porção podem ser emendadas juntas para criar uma imaqem que tem a banda espectral de interesse.

[0035] A imaqem que tem a banda espectral de interesse pode ser uma primeira imaqem em um primeiro comprimento de onda e instruções podem fazer com que os processadores criem uma sequnda imaqem em uma sequnda banda espectral e criem um cubo hiperespectral que contém a primeira imaqem e a sequnda imaqem.

[0036] De acordo com alqumas modalidades, um método de operar um sistema de imaqeamento hiperespectral inclui fornecer um dispositivo de imaqeamento de área que tem um filtro óptico de múltiplos espectros e um atuador para mover o filtro óptico de múltiplos espectros. O método pode determinar uma distância de amostraqem com base, pelo menos em parte, no filtro óptico de múltiplos espectros e uma banda espectral de interesse. O método pode incluir direcionar o dispositivo de imaqeamento de área para obter uma primeira exposição, mover o filtro óptico de múltiplos espectros em uma distância iqual à distância de amostraqem, e captar uma sequnda exposição. O método também pode qerar uma imaqem da cena com base, pelo menos, na primeira exposição e na sequnda exposição.

[0037] Gerar a imaqem da cena pode incluir determinar um espectro de interesse, seqmentar a primeira exposição para criar um primeiro corte de imaqem que tem o espectro de interesse, seqmentar a sequnda exposição para criar um sequndo corte de imaqem que tem o espectro de interesse, e

Petição 870190058749, de 25/06/2019, pág. 19/120

11/38 costurar, juntos, o primeiro corte de imagem e o segundo corte de imagem para formar uma imagem da cena que tem o espectro de interesse.

[0038] Em alguns casos, o método inclui gerar uma segunda imagem da cena que tem um segundo espectro de interesse e criar um cubo de múltiplos espectros que compreende a imagem da cena que tem o espectro de interesse e a segunda imagem da cena que tem o segundo espectro de interesse.

[0039] Em alguns exemplos, a primeira exposição e a segunda exposição podem ser inseridas em um algoritmo de análise de imagem, que pode emitir um valor numérico com base na primeira e na segunda exposições. O valor numérico pode ser armazenado e/ou transmitido para uma localização remota.

[0040] O sistema de imageamento pode ser montado em um dispositivo estacionário e o método pode ainda incluir compactar a imagem e transmitir a imagem para um dispositivo de recebimento. Em algumas modalidades, criar o valor numérico compreende criar um ou mais valores numéricos para cada um dentre uma pluralidade de pixels que produz pelo menos uma porção da primeira exposição ou da segunda exposição, ou ambas. Em alguns casos, os resultados do algoritmo de análise de imagem podem ser enviados para uma localização remota e as imagens podem ser descartadas.

[0041] Como mostrado na Figura la, um cubo de dados multidimensional pode compreender uma pluralidade de planos que tem valores x e y para cada pixel e cada plano pode compreender uma dimensão espectral. O resultado é são várias imagens monocromáticas. Uma imagem monocromática é uma na qual a dimensão espectral (Λ/ do cubo de dados representa medições de intensidade em uma única banda espectral, ou dentro de uma

Petição 870190058749, de 25/06/2019, pág. 20/120

12/38 banda espectral relativamente estreita que tem um comprimento de banda central comum dentro da banda espectral. A emissão corresponde a um cubo de dados bidimensional, em que toda a cena é mapeada por um único comprimento de onda, ou um comprimento de onda relativamente estreito.

[0042] Em uma imagem de RGB, o cubo de dados tem valores tanto para dimensões espaciais (x,y) quanto exatamente três bandas espectrais que correspondem a Vermelho, Verde e Azul. Em imageamento de múltiplos espectros, o cubo de dados correspondente compreende até dezenas de bandas espectrais (que são geralmente relativamente amplos), em geral, que cobre faixas diferentes ou menos desconexas do espectro. Por sua vez, imageamento hiperespectral pode ser caracterizado como a medição de uma radiância do objeto em uma ampla faixa espectral, e pode compreender uma faixa espectral contínua. Sua representação no espaço (x,y,A) corresponde a um cubo de dados com dezenas, centenas, ou mesmo milhares de bandas espectrais de uma largura de banda relativamente pequena, através da dimensão espectral.

[0043] A caracterização de imageamento espectral pode levar em consideração os recursos físicos e ópticos do sistema de imageamento, como resolução espectral e espacial, largura de banda e faixa espectral, e características de sensor, entre outros. No entanto, também é relevante caracterizar de modo apropriado as técnicas pelas quais os sistemas de imageamento realizam medições e ocupam o cubo de dados.

[0044] As Figuras la a Id ilustram cubos de danos de múltiplas dimensões com base em diversas técnicas de imageamento de múltiplos espectros. Grusche, Sascha. Basic

Petição 870190058749, de 25/06/2019, pág. 21/120

13/38 slit spectroscope reveals three-dimensional scenes through diagonal slices of hyperspectral cubes Applied Optics,· OSA, junho de 2014. Acessado em 09 de junho 2014. As técnicas para imageamento espectral podem ser aproximadamente classificadas nos seguintes 4 grupos: Técnicas hiperespectrais instantâneas, Técnicas de varredura espectral, Técnicas de varredura espacial e Técnicas de varredura espaço-espectral.

[0045] A Figura la mostra um cubo de dados representativo que resulta de imageamento instantâneo, em que uma única captura contém todos os dados espaciais e espectrais (χ,γ,λ). Uma única figuração instantânea pode ser capturada para incluir dados espectrais que dependem dos filtros inseridos na trajetória óptica. Os sistemas com base em imageamento instantâneo retornam o cubo hiperespectral completo (χ,γ,λ) como uma única saída de sensor. Esses dispositivos têm a vantagem de não precisar de varredura. No entanto, esses sistemas têm a desvantagem de apresentar alto esforço computacional e custos de fabricação.

[0046] Como mostrado na Figura 1b, a saída de resultados de varredura espectral em cada quadro capturado que representa um mapa monocromático, espacial (χ,γ) da cena. Esses dispositivos, geralmente, têm como base filtros, que precisam ser ajustados a fim de varrer de modo espectral a cena. A seleção do filtro individual deve ser realizada por meios elétricos ou mecânicos, no caso em que partes móveis são necessárias para inserir ou substituir fisicamente um filtro na trajetória óptica e as mesmas não têm capacidade de varredura espectral contínua. Esse tipo de sistema de imageamento necessita de múltiplos filtros a serem sequencialmente inseridos na trajetória óptica e exposições

Petição 870190058749, de 25/06/2019, pág. 22/120

14/38 subsequentes da cena podem ocupar o cubo de dados de múltiplas dimensões com os dados espectrais de interesse.

[0047] A Fiqura 1c ilustra os resultados de varredura espacial, na qual cada quadro adquirido corresponde a um espectro de fenda completo (χ,λ). Ou seja, cada quadro adquirido inclui uma única fileira de pixels na direção x junto com os dados espectrais, λ. Exemplos de dispositivos de varredura são os espectrômetros de varredura por ponto e vassoura de por push. Esses sistemas têm a desvantaqem de que têm a imaqem analisada por linha e necessitam de partes móveis no caso do varredor por ponto.

[0048] A Fiqura Id ilustra a saida de um sistema de varredura espacial-espectral, em que cada saida de sensor 2-D corresponde a uma emenda obliqua do cubo de dados, que representam um mapa espacial (x,y) da cena, com informações espectrais codificadas através de uma dimensão. Esses dispositivos têm a vantaqem de permitir o uso ou de plataformas móveis ou plataformas estacionárias. No entanto, esses sistemas são, em qeral, difíceis de alcançar, apresentam desvantaqens como altos custos de fabricação e montaqens mecânicas complexas.

[0049] A Fiqura 2 ilustra uma perspectiva de um dispositivo de imaqeamento de área 200 que incorpora um filtro óptico 202 que tem bandas de filtro variáveis para uso com o dispositivo de imaqeamento de área 200 para criar imaqens hiperespectrais. As modalidades do filtro óptico 202 podem ter bandas de filtro distintas, como no caso de um filtro marcado, e as bandas de filtro podem estar em qualquer amplitude ou larqura, conforme desejado. As bandas de filtro podem variar continuamente através do filtro óptico 202 para que nenhuma

Petição 870190058749, de 25/06/2019, pág. 23/120

15/38 banda distinta esteja presente. 0 filtro óptico 202 pode ter qualquer número de bandas espectrais, permite tanto imageamento de múltiplos espectros e imageamento hiperespectral. Um quadro 204 mantém o filtro óptico 202 no lugar e coopera com um atuador 206, que pode ser um atuador linear, para mover o filtro óptico 202 através de um sensor de imageamento 208.

[0050] O filtro óptico 202 é selecionado para permitir transmissão de frações desejadas do espectro eletromagnético, e modalidades não são limitados a qualquer banda ou bandas espectrais particulares. O filtro óptico 202 pode incluir, por exemplo, bandas infravermelhas, vermelha, verde, azul e ultravioletas, com outra banda de cobertura não filtrada (isto é, uma banda pancromática). O número de bandas de filtro e a transmissão espectral do filtro óptico são escolhidos para adquirir qualquer combinação de comprimentos de onda de interesse. O filtro óptico 202 pode ser um filtro de absorção, filtro de interferência, ou outro tipo de filtro.

[0051] Em algumas modalidades, o filtro óptico 202 é um filtro passa-faixa óptico variável linear no qual as propriedades espectrais do filtro variam continuamente ao longo de uma dimensão do filtro. Consequentemente, o comprimento de onda central de uma imagem capturada de um indivíduo pode ser ajustado movendo-se o filtro ou o indivíduo em relação ao sensor de imageamento.

[0052] Uma superfície ativa do sensor de imageamento 208 inclui uma pluralidade de sensores de pixel, como detectores de absorção de luz, dispostos em uma matriz bidimensional. O sensor de imageamento 208 pode ser de qualquer um dentre diversos tipos, como por exemplo, um dispositivo

Petição 870190058749, de 25/06/2019, pág. 24/120

16/38 acoplado de carga (CCD), sensor de semicondutor de óxido de metal complementar (CMOS), ou outra arquitetura adequada.

[0053] O filtro óptico 202 pode consistir em regiões de passa-faixa variáveis, com À_centrai em uma faixa de Àmin a Àmax dentro da extensão do sensor de imageamento 208. Diversas combinações de filtro óptico 202 e sensor de imageamento 208 podem ser usadas para alcançar funcionalidade relacionada e desejada. A faixa de comprimento de onda, o formato de variação de comprimento de onda (linear, cúbico, contínuo etc.) e a transmissão espectral do filtro pode ser escolhida para adquirir qualquer combinação de comprimentos de onda, larguras de banda e distribuição espectral de interesse.

[0054] Uma imagem hiperespectral pode ser realizada por imageamento de modo repetido da cena em posições diferentes do filtro óptico 202 em relação ao sensor de imageamento 208. Ou seja, conforme o filtro óptico 202 é movido pelo atuador 206 em relação ao sensor de imageamento 208, imagens sequenciais são tomadas em etapas predeterminadas (por exemplo, tempos predeterminados durante o movimento d filtro óptico 202), que depende da velocidade do atuador 206, e os dados de imageamento de comprimento de onda desejados em combinação com as características do filtro óptico 202.

[0055] A Figura 3 ilustra um dispositivo de imageamento de área 300. O dispositivo de imageamento de área inclui um filtro passa-faixa 302, um retentor de filtro 304, e um atuador 306. O dispositivo de imageamento de área 300 ainda inclui um sensor de imageamento (não mostrado) que é configurado para capturar imagens de uma cena. Como descrito, o filtro passa-faixa 302 pode ser qualquer filtro passa-faixa óptico adequado que fornece passa-faixa espectral seletiva

Petição 870190058749, de 25/06/2019, pág. 25/120

17/38 para múltiplos espectros e/ou imageamento hiperespectral. Como ilustrado, o filtro passa-faixa 302 é um filtro passa-faixa continuo linear. Em alguns exemplos, o filtro passa-faixa pode ser um filtro marcado que exibe bandas espectrais distintas. Em outros exemplos, o filtro passa-faixa pode ser um cúbico, ou oferecer bandas espectrais em uma disposição circular. Em qualquer evento, o filtro pode ser selecionado para alcançar qualquer funcionalidade desejada, e a faixa de comprimento de onda, a curva de variação de comprimento de onda (por exemplo, linear, cúbico, etc.) e a transmissão espectral do filtro pode ser escolhida para adquirir qualquer combinação de comprimentos de onda de interesse.

[0056] O filtro passa-faixa 302 pode ser mantido pelo retentor de filtro 304, que é conectado ao atuador 306. O atuador 306 é, de preferência, configurado para mover o filtro passa-faixa 302 na direção de variabilidade espectral. Como ilustrado, em que o filtro óptico 302 tem uma dimensão espectral de alteração na direção Z 308, o atuador 306 move o filtro passa-faixa 302 na direção Z 308. O filtro passa-faixa 302 pode ser posicionado dentro de uma trajetória óptica do sensor de imageamento de modo que a luz refletida ou radiada da cena a ser imageada passe através do filtro passa-faixa 302 antes de alcançar o sensor de imageamento.

[0057] Dessa maneira, uma imagem capturada inclui uma captura de espectro completa da cena, com porções da cena que exibem uma banda espectral diferente. Ou seja, para cada imagem capturada, a dimensão espectral (λ) irá variar através da imagem gue corresponde às variações espectrais no filtro passa-faixa 302. Ao mover o filtro passa-faixa 302 entre imagens subsequentes, cada imagem capturada exibirá a mesma

Petição 870190058749, de 25/06/2019, pág. 26/120

18/38 dimensão espacial, mas terá uma dimensão espectral diferente para cada respectiva porção da imagem capturada.

[0058] O filtro passa-faixa 302 pode ser fixado ao retentor de filtro 304 através de qualquer método adequado. Em alguns exemplos, o filtro é preso através de atrito, por fixadores, grampos, adesivos, ou qualquer outro mecanismo de fixação adequado que fornece uma preensão segura no filtro passa-faixa 302. O retentor de filtro 304 pode ser fixado de modo fixo ao atuador 306 através de qualquer mecanismo adequado. Em alguns exemplos, o retentor de filtro 304 pode ser formado como uma peça unitária com o atuador 306. Em outros casos, o retentor de filtro 304 é fixado através de fixadores, soldas, adesivos, ou outro método de fixação. Em alguns casos, o retentor de filtro deve fornecer um engate fixo resistente com o atuador a fim de fornecer posicionamento preciso e repetivel do filtro passa-faixa 302 em relação ao sensor de imageamento. Nesses casos nos quais o filtro passa-faixa 302 é disposto com uma variabilidade de passa-faixa circular, o atuador pode ser um atuador giratório, como um servo-motor ou algum outro atuador adequado para girar o filtro passa-faixa 302 em relação ao sensor de imageamento. Nesses casos, em que o filtro passa-faixa 302 varia de modo linear, o atuador 306 pode ser um atuador linear 306 e pode compreender um motor de passo, um motor sem escovas, um motor com engrenagens, ou outro motor adequado configurado para fornecer uma atuação linear. Em alguns exemplos, o atuador linear é um atuador de alta resolução que fornece ângulos graduados pequenos para permitir posicionamento preciso e repetivel do filtro óptico 302 sobre o sensor de imageamento.

[0059] A fim de determinar a graduação ideal, ou

Petição 870190058749, de 25/06/2019, pág. 27/120

19/38 a distância de amostragem, é necessário levar em consideração que o máximo da metade de largura completa do filtro (FWHM) pode ser diferente entre À_min e Àmax. Para adquirir uma imagem hiperespectral completa, cada pixel da cena-alvo deve ser capturado através de cada banda espectral desejada do filtro passa-faixa, consequentemente, o movimento do filtro passafaixa 202 através do sensor de imageamento 208 deve ser pelo menos duas vezes o comprimento do filtro óptico, como mostrado nas Figuras 4 e 5. Ou seja, o AID 200 deve capturar imagens sequenciais de cada porção da cena de interesse conforme a luz das porções da cena passa através das bandas espectrais desejadas do filtro passa-faixa antes de alcançar o sensor de imageamento do AID.

[0060] O sistema pode ser calibrado para otimizar seu desempenho. A calibragem é amplamente dependente das características físicas do filtro e do sensor de imageamento, e a precisão do alinhamento entre os mesmos. Uma vez que o sistema foi calibrado, o mesmo pode ser operado para imageamento hiperespectral sem ainda precisar de recalibragem.

[0061] Devido à configuração óptica, cada pixel no sensor corresponde a um comprimento de onda particular para uma determinada posição do atuador. Ou seja, devido a uma posição conhecida do atuador, a luz que alcança cada pixel no sensor será filtrada de modo espectral para um comprimento de onda particular para cada imagem capturada. Devido ao atuador se mover em graduações distintas, cada pixel medirá um grupo fixo de comprimentos de onda que dependem da posição do pixel e da graduação do atuador. A fim de reconstruir a cena para um determinado comprimento de onda, é necessário saber, para cada pixel, a banda espectral medida para cada posição do atuador.

Petição 870190058749, de 25/06/2019, pág. 28/120

20/38

Quando as larguras de banda são conhecidas, isso pode ser simplificado na identificação dos comprimentos centrais de onda (λ central) para cada posição de atuador. No caso de um filtro variável linear, por exemplo, a calibragem assume a forma da Eguação 1:

Xcentral = a * (Zatuador + Npixel * ps) + b

Equação 1 [0062] Em que Ncentral representa o comprimento central de onda para uma coluna particular do sensor, a é a variação de comprimento de onda do filtro por milímetro, Zatuador é a posição do atuador, Npixel é o número da coluna de pixel, ps é o tamanho de pixel, e b é o desvio que representa a posição relativa inicial entre o filtro e o sensor, que pode corresponder ao comprimento de onda medido pela primeira coluna de pixels, que é dependente da montagem mecânica e do ajuste de desvio do atuador. Nessas modalidades nas quais o filtro óptico de múltiplos espectros é não variável de modo linear, a calibragem é ainda possível implantando-se uma solução personalizada para uma distribuição de comprimento de onda particular.

[0063] Por exemplo, uma calibragem possível pode consistir em tomar conjuntos de fotos com uma iluminação uniforme e, acima de tudo, monocromática. Nesse exemplo, Ncentral, Zatuador, Npixel, e ps são conhecidos para cada imagem. Os parâmetros de filtro (nesse exemplo, a variação de comprimento de onda do filtro por milímetro, a, e o desvio, b) podem ser calculados repetindo-se esse processo para comprimentos de onda de iluminação diferente.

[0064] Certamente, quando um filtro variável não linear é usado, a calibragem será diferente. Uma vez que os

Petição 870190058749, de 25/06/2019, pág. 29/120

21/38 parâmetros de filtro são conhecidos e a graduação de atuador é definida, o grupo de comprimentos de onda medidos por cada pixel pode ser automaticamente determinado.

[0065] Uma imagem hiperespectral pode ser criada por imageamento repetido da cena em posições diferentes do filtro. As imagens podem ser cortadas para isolar as bandas espectrais de interesse e as emendas resultantes podem ser emendadas juntas para criar uma imagem da cena que tem as dimensões espectrais desejadas.

[0066] Em referência à Figura 4, o tamanho do filtro 400 e a largura do AID 402 se tornam importantes para garantir que as imagens capturadas de toda a cena incluem todas as bandas espectrais de interesse. Em sua configuração inicial, uma primeira borda do filtro fA 404 pode ser posicionada próxima a uma primeira borda sB 406 do AID 402. Uma vez que o atuador inicia seu movimento do filtro 400, uma pluralidade de imagens será capturada conforme o filtro 400 se move em uma distância de amostragem desejada. Em sua configuração final, uma segunda borda fB 408 do filtro 400 pode ser próxima a uma segunda borda sA 410 do AID 402.

[0067] Uma vez que as imagens são capturadas, informações de cada banda do filtro são salvas. No momento em que a cena não parece estar se movendo em relação ao AID, cada uma das imagens corresponderá à mesma cena que tem a mesma dimensão espacial, mas com informações espectrais exibidas ao longo da direção de movimento de filtro, que, no exemplo das Figuras 305, é a direção Z. A pluralidade de imagens pode ser processada juntas para conseguir uma imagem hiperespectral. Por exemplo, quando é desejável criar uma imagem final da cena que apenas exibe uma banda espectral particular, a banda

Petição 870190058749, de 25/06/2019, pág. 30/120

22/38 espectral desejada pode ser isolada de cada imagem da cena e, então, emendada junto para criar uma imagem completa da cena que tem apenas a banda espectral desejada.

[0068] Com captação remota por um AID 200, pode haver custos de transmissão associados à captura e envio de uma imagem de interesse para um destino final. Por exemplo, a imagem pode ser capturada e qualquer pós-processamento realizado pelo AID 200, e a imagem final podem ser enviados para um destino final, como através de um mecanismo de comunicação sem fio, como, por exemplo, comunicação por satélite, comunicação a laser, comunicação por micro-onda, ou algum outro tipo de frequência de rádio de capacidade de comunicação sem fio. A fim de reduzir os custos de transmissão e a quantidade de memória necessária para armazenar cada imagem (que são considerações importantes em um satélite ou outra plataforma suspensa ou móvel), é possível obter imagens com regiões de interesse selecionadas (ROIs) do AID 200 em vez de adquirir todo um quadro.

[0069] Como ilustrado na Figura 5, quando o filtro passa-faixa é montado em uma posição conhecida em relação ao sensor de imageamento (como por uma posição conhecida do atuador), cada pixel no sensor corresponde a um comprimento de onda particular de luz recebido através do filtro passa-faixa. Se as bandas espectrais de interesse são limitadas e conhecidas antes de a imagem ser capturada, é possível adquirir apenas uma imagem da cena que é associada a essas bandas espectrais. Isso retornará informações espectrais distintas da cena em vez de todo o espectro contínuo. A seleção de bandas espectrais permite que o AID reúna os dados espectrais de interesse enquanto reduz os custos de processamento, transmissão e

Petição 870190058749, de 25/06/2019, pág. 31/120

23/38 armazenamento .

[0070] Uma vez que as bandas espectrais de interesse são escolhidas, o AID 200 pode capturar o número necessário de imagens no tempo correto para resultar em uma imagem que tem os dados espectrais desejados. Certamente, se o espectro completo for solicitado, o AID 200 pode capturar imagens seguenciais conforme o filtro se move através de todo o sensor de imageamento.

[0071] Ao capturar a cena, diversas fotos podem ser tiradas e as informações de cada banda do filtro podem ser salvas. Imagens consecutivas podem ser processadas juntas, como por costura. Em que a cena é imageada através de todas as bandas espectrais, imagens consecutivas podem ser processadas juntas para obter uma foto hiperespectral. Entre cada quadro, o filtro terá se movido para que uma nova banda espectral seja associada a cada segmento da cena. A temporização desse movimento define o deslocamento entre imagens consecutivas (denominadas no presente documento distância de amostragem), que podem não ser necessariamente constantes.

[0072] As fotos são tiradas cada vez que o movimento do filtro em relação ao AID 200 aproximadamente se iguala à distância de amostragem desejada. O controlador pode instruir o AID 200 para capturar imagens para que cada foto seja obtida no momento e posição apropriados, como ilustrado na Figura 5.

[0073] A Figura 5 ilustra um gráfico de espaçotempo de capturar uma imagem de múltiplos espectros (ou uma hiperespectral). Por exemplo, a fim de capturar região a 502, em 4 bandas espectrais desejadas, um quadro inicial é capturado na figuração 1 504. Uma vez que as graduações da velocidade de

Petição 870190058749, de 25/06/2019, pág. 32/120

24/38 atuador e as características do filtro passa-faixa são conhecidas, uma distância de amostragem 506 pode ser determinada. Uma vez que o filtro se moveu através do sensor de imageamento pela distância de amostragem 506, figuração n° 2 508 é capturada. Como pode ser observado, a figuração n° 2 508 agora captura região a 502 através de uma banda diferente do filtro passa-faixa e, portanto, captura um comprimento de onda diferente de região a em comparação com a figuração n° 1 504. A distância de amostragem 506 não precisa permanecer constante entre figurações subsequentes, mas em vez disso, pode ser determinada com base nos dados espectrais desejados para cada captura.

[0074] Como pode ser observado a partir das Figuras 4 e 5, a fim de capturar todo um espectro de uma cena, como região a 502, a distância de deslocamento do filtro deve ser pelo menos igual ao comprimento do filtro. No entanto, para capturar todo um espectro de um campo inicial de visão do AID 200, a distância de movimento aparente da cena deve ser igual a pelo menos duas vezes o comprimento do filtro mais a largura do sensor de imageamento 512, como ilustrado na Figura 5 pela captura de regiões a 502 e b 510.

[0075] A Figura 6 representa um gráfico de fluxo que mostra um processo exemplificativo de acordo com diversas modalidades. As operações desses processos são ilustradas em blocos individuais e resumidas em referência a esses blocos. Esses processos são ilustrados como gráficos de fluxo lógico, em que cada operação pode representar um conjunto de operações que podem ser implantadas em hardware, software, ou uma combinação dos mesmos. No contexto de software, as operações representam instruções executáveis por computador armazenadas

Petição 870190058749, de 25/06/2019, pág. 33/120

25/38 em uma ou mais mídias de armazenamento de computador que, quando executadas por um ou mais processadores, possibilitam que o um ou mais processadores realizem as operações citadas. Em geral, instruções executáveis por computador incluem rotinas, programas, objetos, módulos, componentes, estruturas de dados e similares que realizam funções particulares ou implantam tipos de dados de abstração particulares. No contexto de hardware, as operações podem ser realizadas em um circuito integrado, como em um circuito integrado específico de aplicação (ASIC), em um dispositivo lógico programável, como uma matriz de porta programável de campo (FPGA), ou outro dispositivo. A ordem na qual as operações são descritas não se destina a ser interpretada como uma limitação, e qualquer número das operações descritas pode ser combinado em qualquer ordem, separadas em suboperações, e/ou realizadas em paralelo para implantar o processo. Os processos de acordo com diversas modalidades da presente revelação podem incluir apenas algumas ou todas as operações representadas no gráfico de fluxo lógico.

[0076] A Figura 6 é um fluxograma que mostra um processo geral exemplificativo 600 para captura de imagem hiperespectral com o uso de um dispositivo de imageamento quando uma cena parece estar imóvel em relação à plataforma de imageamento. Isso pode ser um resultado, por exemplo, de uma plataforma baseada em satélite em uma órbita geossíncrona em relação a uma cena a ser imageada. Certamente, um sistema de imageamento pode ser montado em uma plataforma estacionária. Em outros exemplos, o movimento relativo entre a plataforma de imageamento e a cena a ser imageada é pequeno o suficiente ou para levar em conta o movimento relativo por ópticas rápidas dentro do sistema de imageamento, ou através de pós

Petição 870190058749, de 25/06/2019, pág. 34/120

26/38 processamento para corrigir desfocagem de movimento. Em 602, calibragem de comprimento de onda pode ser iniciada. Deve ser observado que essa pode ser uma graduação de configuração individual mediante ativação inicial do dispositivo de imaqeamento, ou pode ser repetida na ocasião, mas é não uma etapa necessária para cada operação da captura de imagem do AID 200. A calibragem tem como base a configuração do filtro passa-faixa, o sensor de imaqeamento e a resolução do atuador. Devido à configuração do filtro e à resolução do atuador, cada pixel no sensor de imaqeamento irá corresponder a um comprimento de onda particular para uma determinada posição do atuador. Conforme o atuador move o filtro em relação ao sensor de imaqeamento, a posição do atuador determinará o comprimento de onda de cada pixel do sensor de imaqeamento. Essa calibragem pode ser finalizada antes de implantação do sistema de imaqeamento, e pode ser realizada periodicamente durante a vida útil do sistema de imaqeamento.

[0077] Em 604, as regiões de interesse são determinadas, e podem incluir imaqeamento espectral e espacial completo, ou podem incluir coordenadas espaciais e/ou dados espectrais específicos. Em alguns exemplos, uma imagem de quadro completo capturada pelo sistema de imaqeamento incluirá a região de interesse. Em que uma região de interesse é maior que a capacidade do sistema de imaqeamento para capturar toda a região de interesse em uma única imagem, o sistema de imaqeamento pode ser movido e capturar múltiplas imagens, que podem ser emendadas juntas para formar uma imagem maior que tem capacidade pelo sistema de imaqeamento em uma única captura. Adicionalmente, quando uma imagem de resolução relativamente alta é desejada, o sistema de imaqeamento pode

Petição 870190058749, de 25/06/2019, pág. 35/120

27/38 amplificar uma região de interesse para capturar mais detalhes fornecidos pela amplificação, e o sistema de imageamento pode capturar múltiplas imagens, que podem ser emendadas juntas para formar uma imagem maior.

[0078] Em 606, os quadros de imagem são capturados de acordo com as necessidades espaciais e espectrais dos determinados ROIs. Os quadros de imagem são capturados como imagens seguenciais tiradas pelo AID 200 conforme o atuador move o filtro através do sensor de imageamento, e a luz refletida da região de interesse passa através da banda desejada do filtro passa-faixa em seu caminho para o sensor de imageamento do dispositivo de imageamento.

[0079] Em 608, as imagens são pós-processadas a fim de criar a imagem de interesse. Por exemplo, em 610, as imagens podem ser estabilizadas e corrigidas para desfocagem de movimento ocasionada por um movimento relativo entre a plataforma de imageamento e a cena.

[0080] Em 612, o cubo de dados hiperespectral é construído contendo os dados espaciais e dados espectrais para cada pixel do dispositivo de imageamento, e pode incluir pelo menos dados de x, y, e λ para cada pixel representado dentro do cubo. Em alguns exemplos, o cubo de dados hiperespectral pode ser cortado para particionamento distinto para auxiliar em armazenamento e transmissão mais eficazes, contendo, dessa maneira, apenas os dados espectrais e/ou especiais de interesse.

[0081] Em 614, o cubo de dados hiperespectral é armazenado e/ou transmitido para outro destino. Certamente, o processo ilustrado no presente documento pode ser realizado computando-se recursos realizados dentro do AID 200, ou alguns

Petição 870190058749, de 25/06/2019, pág. 36/120

28/38 ou todos os processos podem ser realizados computando-se recursos localizados remotamente do AID 200. Em outras modalidades, o processamento pode ser realizado por uma combinação de recursos localizados tanto na plataforma de imageamento quanto em uma localização remota.

[0082] Embora a figura ilustrada mostre que o pósprocessamento de imagens 608 pode ser realizado antes do armazenamento 614 das imagens, em alguns casos, as imagens capturadas podem ser armazenadas antes de pós-processamento, e pós-processamento pode ser realizado em um momento posterior.

[00831 Ainda em referência à Figura 6, as técnicas de pós-processamento podem incluir adicionalmente as etapas adicionais de ortorretificação e/ou registro de imagem. Um algoritmo de ortorretificação pode ser aplicado a cada quadro separado, como para remover quaisquer distorções internas ou externas para designar coordenadas mais precisas à imagem final. Esse algoritmo pode corrigir as deformações determinadas pelo perfil topográfico da terra natural e permitir reconstrução da perspectiva ortogonal da imagem.

[0084] Uma das entradas no algoritmo de ortorretificação pode ser os dados espectrais de cada pixel, que podem ser necessários para corrigir distorções influenciadas pela banda espectral através da qual a imagem foi capturada. Uma calibragem espectral pode ter sido feita anteriormente, como durante uma fase de calibragem de implantação do sistema de imageamento. Essa calibragem faz uma matriz retornar para formato como o sensor, indicando a banda de comprimento de onda medida por cada pixel para cada posição do atuador, que pode ser armazenada como parte do sistema de imageamento, ou em alguma outra localização externa para pós

Petição 870190058749, de 25/06/2019, pág. 37/120

29/38 processamento após as imagens serem transmitidas da plataforma de imageamento.

[00851 O algoritmo de ortorretificação deforma as informações espaciais contidas em cada quadro. A fim de reproduzir corretamente o comprimento de onda medido por cada pixel, pode ser preferencial aplicar a mesma transformação na matriz de comprimento de onda obtida como a saída da calibragem. Dessa maneira, cada quadro ortorratifiçado tem sua matriz de comprimento de onda retificada correspondente.

[0086] A fim de gerar uma imagem que é maior que o sensor de imageamento pode capturar em uma única exposição, o ATD pode ser reposicionado e capturar múltiplas imagens. A costura de imagem pode ser realizada alinnando-se uma pluralidade de imagens consecutivas obtidas pelo sensor em uma única imagem completa. O algoritmo de registro pode consistir em constatar recursos correspondentes em cada imagem, obtendo seu deslocamento e rotação, aplicando-se o deslocamento e a rotação à imagem completa, e misturando ambas as imagens onde as mesmas se sobrepõem. O deslocamento aproximado entre imagens é predeterminado com base na distância de amostragem desejada. Em muitas modalidades, a plataforma de imageamento não gira durante a captura de imagem e, desse modo, e nenhuma rotação significativa é esperada para muitas implantações, o que reduz vastamente o tempo de computação necessário para realizar registro de imagem em comparação com imagens capturadas de uma plataforma giratória.

[0087] É desejável que a costura de imagem que também pode ser usada em que uma imagem de toda a cena tenha um comprimento central de onda especificado (Acentrai) . A fim de produzir essa imagem, o sistema de imageamento captura

Petição 870190058749, de 25/06/2019, pág. 38/120

30/38 múltiplas imagens da cena conforme o filtro é movido de uma posição inicial para uma posição final, como descrito em outro local no presente documento. As múltiplas imagens podem ser cortadas a fim de isolar o comprimento de onda de interesse, e as emendas resultantes que têm o comprimento de onda de interesse podem ser emendadas juntas para criar uma imagem de toda a cena que tem o comprimento de onda de interesse.

[0088] A construção do cubo hiperespectral 612 resulta nos dados de imageamento, incluindo valores x, y e λ para cada pixel capturado pelo AID 200. Durante o imageamento hiperespectral processo, cada pixel do AID 200 está sempre medindo o mesmo comprimento de onda para uma determinada posição do atuador. Os quadros brutos podem ser corrigidos individualmente levando-se em consideração a capacidade de resposta do sensor e a capacidade de transmissão do filtro por comprimento de onda. Visto que as fotos serão tiradas toda vez que a posição do atuador se igualar à distância de amostragem desejada (sd), cada pixel da cena será amostrado de modo espectral também nessa distância, como mostrado nas Figuras 4 e 5. O número de imagens necessário para medir todo o espectro de um pixel da única cena (m) é igual ao comprimento total do filtro dividido pela distância de amostragem de acordo com a equação 2:

(Àmax — Àmin) m =------------- Equação 2 sa

Equação 2 [0089] A título de exemplificação, assume-se que o espectro da cena varia suavemente, uma curva de interpolação no eixo geométrico espectral 514 pode ser calculada para cada pixel na cena, como um polinomial de interpolação ou curva

Petição 870190058749, de 25/06/2019, pág. 39/120

31/38 paramétrica. Os pontos de interpolação de curva podem ser obtidos computando-se a irradiância da cena para os diferentes comprimentos de onda medidos por cada pixel no AID 200. Cada curva de interpolação terá m pontos de interpolação diferentes.

[0090] A distância de amostragem pode ser maior que um pixel, o que resulta em cada pixel na cena projetada dentro dessa distância sendo amostrada por um grupo diferente de comprimentos centrais de onda. Isso é mostrado na Figura 7, em que há p pixels medidos por diferentes bandas espectrais dentro da distância de amostragem. Como uma consciência disso, a curva de interpolação para cada um desses p pixels é construída com um grupo diferente de pontos de interpolação (devido ao fato de que a irradiância da cena é computada para diferentes comprimentos de onda).

[0091] Consequentemente, cada curva de interpolação é construída com m pontos de interpolação, e há p grupos diferentes de comprimentos centrais de onda usados como pontos de interpolação. Uma vez que a curva de interpolação de cada pixel é calculada, a reconstrução de uma imagem monocromática pode ser realizada avaliando-se cada curva do pixel no comprimento de onda desejado.

[0092] Dependendo da suavidade do espectro da irradiância de cena, é possível regular o grau de compactação das informações espectrais codificadas no cubo hiperespectral, alterando-se o grau do polinomial de interpolação quando usado. Se o espectro for suave o suficiente, por exemplo, um polinomial de ordem baixa pode ser escolhido a fim de compactar a quantidade de informações. De outro modo, se as assinaturas espectrais variarem amplamente, um polinomial de ordem alta pode ser escolhido para interpolar os dados espectrais.

Petição 870190058749, de 25/06/2019, pág. 40/120

32/38 [0093] Esse algoritmo representa um esforço computacional muito baixo, possibilitando que muitas informações sejam processadas em velocidade muito alta. O algoritmo apresentado no presente documento tem como base a suposição de que o espectro da cena varia suavemente, sem mostrar qualquer tipo de descontinuidades. No entanto, quando a cena atual varia para além de um limiar predeterminado dessa suposição, a precisão do processamento de imagem pode ser aumentada como reduzindo-se a distância de amostragem e/ou aplicando-se um algoritmo de reconstrução espectral diferente.

[0094] Uma vez que as fotos são tiradas e os dados são processados, as informações são armazenadas e, no caso de captação remota, eventualmente transmitidas para outro destino. Dependendo das informações desejadas contidas dentro do cubo de dados, é possível escolher a estrutura das informações que são armazenadas. Se resolução completa for solicitada, todo o cubo de dados hiperespectral pode ser armazenado, retendo resolução espectral e espacial completa. Por outro lado, se resolução completa não for necessária, o cubo hiperespectral pode ser compactado antes armazenar a mesma. Ademais, se as bandas espectrais de interesse forem limitadas, apenas uma porção do cubo de dados, como uma ou mais emendas, pode ser armazenada e/ou transmitida que corresponde às bandas espectrais desejadas.

[0095] Em outros exemplos, as informações espectrais de cada pixel podem ser processadas a fim de calcular tipos diferentes de índices, como um índice de vegetação de diferença normalizada (NDVI), ou outros índices verdes no caso de análise agrícola, por exemplo. Quando bandas espectrais específicas são desejadas, uma imagem monocromática

Petição 870190058749, de 25/06/2019, pág. 41/120

33/38 junto com os indices correspondentes por pixel pode ser armazenada sem armazenar toda a assinatura espectral para cada pixel.

[0096] Dessa maneira, é possível personalizar a estrutura e informações de dados usados para as especificidades de uma aplicação particular a fim de otimizar as necessidades de armazenamento e transmissão. Ademais, algoritmos de classificação podem ser implantados a fim de analisar o cubo hiperespectral. Por exemplo, agrupamentos de membros finais com assinaturas espectrais similares podem ser identificados, o que permite a identificação e classificação de uma ampla variedade de materiais, como, por exemplo, diferentes tipos de vegetação, solo, água, ou materiais ou objetos produzidos pelo homem. Diversos métodos podem ser implantados, como Análise de Componente Principal, classificadores automáticos em geral, e algoritmos de aprendizagem de máquina, entre outros.

[0097] A Figura 8 é um diagrama de blocos de um sistema de imageamento exemplificative 800 utilizável para criar imagens hiperespectrais. Em algumas modalidades, alguns dos componentes do sistema de imageamento 800 podem estar localizados remotamente ou distribuídos através de diversas localizações e peças de hardware. O sistema de imageamento 800 pode ser configurado para incluir qualquer dispositivo ou sistema de computação adequado. A memória 802 pode armazenar instruções de programa e módulos de programa que são carregáveis e executáveis em um ou mais processador (ou processadores) 804, bem como dados gerados durante a execução de, e/ou utilizáveis em combinação com, esses programas, como dados de imagem, imagens, cubos de dados e assim por diante.

[0098] A memória 802 inclui pelo menos um módulo

Petição 870190058749, de 25/06/2019, pág. 42/120

34/38 de controle 806 e um módulo de imageamento 808. O módulo de controle pode realizar algumas ou todas as funções de controle associadas à captura de imagens de acordo com modalidades da presente revelação. O módulo de controle 806 é executável pelo um ou mais processadores para controle, como através de uma ou mais interfaces de entrada/saida.

[0099] O módulo de controle 806 é executável pelo um ou mais processadores 804 para controlar, como através de uma ou mais interfaces de entrada/saida, o AID 200. O AID 200 pode ser controlado para capturar uma ou mais exposições, como sincronizado com a distância de amostragem para capturar exposições através do espectro desejado do filtro passa-faixa de acordo com diversas modalidades da presente revelação.

[00100] O dispositivo de imageamento de área 200 pode incluir um ou mais processadores 810 e firmware 812 (armazenado em uma mídia de armazenamento legível por computador não transitória, adequada) para realizar ou, de outro modo, controlar diversas funções do AID 200. O firmware 812 pode ser executável pelo um ou mais processadores 810 para controlar tempos de exposição, capturas de exposição sequencial no tempo, determinar distâncias de amostragem, dados de imagem compactados, armazenar dados de imagem 818 (incluindo o cubo de dados espectrais) na memória 802, e assim por diante.

[00101] O AID 200 também inclui sensores sensíveis à luz 814, como, por exemplo, componentes de semicondutor adequados para implantar um dispositivo acoplado de carga (CCD), um sensor de semicondutor de óxido de metal complementar (CMOS), ou outra arquitetura de sensor adequada na superfície ativa do AID 200.

Petição 870190058749, de 25/06/2019, pág. 43/120

35/38 [00102] 0 AID 200 ainda inclui um ou mais atuadores 816, como um atuador linear. 0 atuador 816 pode ser fixado a um filtro passa-faixa óptico 820 e disposto para mover de modo linear o filtro em relação aos sensores 814. Em algumas modalidades, o filtro é um filtro passa-faixa óptico variável linear e o atuador é configurado para mover o filtro em relação aos sensores 814 em uma direção paralela à direção ao longo da qual o comprimento de onda do filtro varia. Por exemplo, quando o filtro 820 inclui bandas espectrais dispostas em colunas verticais, o filtro pode ser movido horizontalmente através dos sensores 814. Certamente, quando o filtro inclui outras configurações, um esquema espectral de imageamento adequado pode ser implantado para mover o filtro 820 em relação aos sensores 814 a fim de capturar e/ou, de outro modo, gerar imagens hiperespectrais ou de múltiplos espectros.

[00103] O módulo de imageamento 808 realiza diversas funções de processamento de imagem do sistema de imageamento 800, incluindo mapeamento de tom para gerar imagens de faixa dinâmica alta (HDR), um algoritmo de aperfeiçoamento de resolução para produzir imagens de alta resolução, e um algoritmo de costura para gerar imagens de múltiplas exposições parcialmente sobrepostas ou gerar imagens que contêm uma banda espectral de interesse ao costurar emendas de múltiplas imagens juntas, bem como outras funções de processamento, como remoção de desfocagem, remoção de artefato, aperfeiçoamento de cor, reenquadramento, conversão de imagem, compactação de imagem, encriptação de dados, e assim por diante.

[00104] Em algumas modalidades, o firmware 812 do AID 200 pode ser considerado como uma extensão de um ou ambos dentre o módulo de controle 806 e o módulo de imageamento 808,

Petição 870190058749, de 25/06/2019, pág. 44/120

36/38 com algumas ou todas as funções do módulo de controle 806 e/ou do módulo de imageamento 808 realizadas em ou pelo firmware 812, executando no um ou mais processadores 810. Em algumas modalidades, algumas ou todas as funções do módulo de controle 806, o módulo de imageamento 808, e/ou outras funções do firmware 812 podem ser implantados como funções lógicas no um ou mais processadores 804. Por exemplo, em algumas modalidades, o um ou mais processadores 804 podem incluir um circuito integrado especifico de aplicação (ASIC), um dispositivo lógico programável, como uma matriz de porta programável de campo (FPGA), ou outro circuito lógico para realizar diversas

funções,	incluindo	diversas funções de controle	do	módulo	de
controle	806 e/ou	as funções de processamento	de	imagem	do
módulo de	imageamento 808.
	[00105]	Dependendo da configuração	e	tipo	de

dispositivo de computação usado, memória 802 do sistema de imageamento 800, bem como a mídia para armazenar firmware 812 no AID 200, pode incluir memória volátil (como memória de acesso aleatório (RAM)) e/ou memória não volátil (como memória de apenas leitura (ROM), memória flash, etc.). A memória 802, bem como a mídia para armazenar firmware 812 no AID 200, também pode incluir armazenamento removível adicional e/ou armazenamento não removível incluindo, porém, sem limitação, memória flash, armazenamento magnético e/ou armazenamento óptico, e/ou armazenamento de fita que podem fornecer armazenamento não volátil de instruções legíveis por computador, estruturas de dados, módulos de programa, e outros dados para sistema de imageamento 800.

[00106] A memória 802, bem como a mídia para armazenar firmware 812 no AID 200, é um exemplo de mídia

Petição 870190058749, de 25/06/2019, pág. 45/120

37/38 legível por computador não transitória. As mídias de armazenamento de computador não transitórias incluem mídias não removíveis, removíveis, voláteis e não voláteis implantadas em qualquer processo ou tecnologia para armazenamento de informações como instruções legíveis por computador, estruturas de dados, módulos de programa, ou outros dados. A mídia de armazenamento por computador inclui, porém, sem limitação, memória de alteração de fase (PRAM), memória de acesso aleatório estática (SRAM), memória de acesso aleatório dinâmica (DRAM), outros tipos de memória de acesso aleatório (RAM), memória de apenas leitura (ROM), memória de apenas leitura programável eletricamente apagável (EEPROM), memória flash (como memória flash NAND como pode ser incluído em um ou mais cartões de memória não volátil, e incluindo flash com tanto tecnologias de célula de múltiplos níveis quanto de único nível) ou outra tecnologia de memória, memória de apenas leitura de disco compacto (CD-ROM), discos versáteis digitais (DVD) ou outro armazenamento óptico, cassetes magnéticos, fita magnética, armazenamento de disco magnético ou outros dispositivos de armazenamento magnético, ou qualquer outra mídia de não transmissão que pode ser usada para armazenar informações para acesso por um dispositivo de computação.

[00107] Com base nas modalidades descritas no presente documento, um sistema de imageamento pode capturar imagens hiperespectrais de uma cena movendo-se um filtro passafaixa óptico de múltiplos espectros (ou hiperespectral) e capturando-se imagens sequenciais conforme o filtro se move em relação a um sensor de imageamento. O sistema does não precisa alterar filtros entre exposições sucessivas. O cubo de dados hiperespectral pode ser configurado no tempo de captura de

Petição 870190058749, de 25/06/2019, pág. 46/120

38/38 imagem a fim de coletar apenas as regiões de interesse espaciais e/ou espectrais, permitindo configuração dinâmica do dispositivo de imageamento. É relativamente simples em comparação com sistemas de imageamento hiperespectral existentes, o que torna o mesmo uma solução dramaticamente aprimorada para imageamento hiperespectral espacial.

CONCLUSÃO [00108] Embora a revelação use linguagem gue é específica de recursos estruturais e/ou atos metodológicos, a invenção não é limitada aos recursos ou atos específicos descritos. Em vez disso, os recursos e atos específicos são revelados como formas ilustrativas de implantar a invenção.

Claims

REIVINDICAÇÕES

1. APARELHO DE IMAGEAMENTO DE MÚLTIPLOS ESPECTROS, caracterizado por compreender:

um dispositivo de imageamento de área que tem uma pluralidade de sensores de pixel;

um filtro de múltiplos espectros disposto dentro de uma trajetória óptica do dispositivo de imageamento de área;

um atuador configurado para mover o filtro de múltiplos espectros em relação ao dispositivo de imageamento de área;

um módulo de controle configurado para:

determinar uma região espacial de interesse de uma cena a ser capturada pelo dispositivo de imageamento de área;

determinar um espectro de interesse da cena;

determinar, com base, pelo menos em parte, no filtro de múltiplos espectros e no espectro de interesse, uma distância de amostragem para captura sucessiva de imagem; e direcionar o dispositivo de imageamento de área para obter uma ou mais exposições na distância de amostragem; e um módulo de imageamento configurado para formar uma imagem da cena com base, pelo menos, na uma ou mais exposições.

2/7 passa-faixa óptico ou um filtro de rejeição.

2. APARELHO, de acordo com a reivindicação 1, caracterizado por compreender ainda um satélite e em que o dispositivo de imageamento de área, o módulo de controle, e o módulo de imageamento são integrados ao satélite.

3/Ί um atuador fixado ao filtro óptico e configurado para mover o filtro óptico em relação à pluralidade de sensores de pixel;

um ou mais processadores, uma memória; e instruções de programação armazenadas na memória e executáveis pelo um ou mais processadores para realizar atos, incluindo:

determinar uma região espacial de interesse de uma cena;

determinar um espectro de interesse;

ativar o atuador para mover o filtro óptico;

direcionar o dispositivo de imageamento para obter pelo menos uma exposição da cena quando a luz refletida da região espacial de interesse passa através da segunda banda espectral, em que a segunda banda espectral corresponde ao espectro de interesse; e gerar uma imagem da cena com base na pelo menos uma exposição.

11. APARELHO DE IMAGEAMENTO, de acordo com a reivindicação 10, caracterizado pelo filtro óptico variar em uma passa-faixa ao longo de uma única direção e o atuador ser configurado para mover o filtro óptico através da pluralidade de sensores de pixel na única direção.

12. APARELHO DE IMAGEAMENTO, de acordo com a reivindicação 11, caracterizado pelo filtro óptico ser um filtro passa-faixa óptico variável contínuo, em que a pluralidade de sensores de pixel é disposta em uma matriz de fileiras e colunas, e uma coluna dos sensores de pixel é associada a uma banda espectral comum do filtro passa-faixa

Petição 870190058749, de 25/06/2019, pág. 50/120 óptico variável continuo para uma determinada posição do atuador.

13. APARELHO DE IMAGEAMENTO, de acordo com a reivindicação 10, caracterizado pelas instruções fazerem com que o um ou mais processadores realizem ainda atos que compreendem:

determinar uma distância de amostragem para exposições sucessivas; e fazer com que o dispositivo de imageamento capture uma primeira exposição e uma segunda exposição, em gue a segunda exposição é separada da primeira exposição pela distância de amostragem.

14. APARELHO DE IMAGEAMENTO, de acordo com a reivindicação 13, caracterizado pela primeira exposição fazer com que a região espacial de interesse seja capturada através da primeira banda espectral e a segunda exposição faz com que a região espacial de interesse seja capturada através da segunda banda espectral.

15. APARELHO DE IMAGEAMENTO, de acordo com a reivindicação 10, caracterizado pelas instruções fazerem com que os processadores realizem ainda atos que compreendem:

segmentar uma primeira exposição para criar uma primeira porção da primeira exposição que tem uma banda espectral de interesse, segmentar uma segunda exposição para criar uma segunda porção da segunda exposição que tem a banda espectral de interesse; e costurar, juntas, a primeira porção e a segunda porção para criar uma imagem que tem a banda espectral de interesse.

Petição 870190058749, de 25/06/2019, pág. 51/120

3. APARELHO, de acordo com a reivindicação 1, caracterizado pelo filtro de múltiplos espectros ser um filtro óptico continuamente variável.

4. APARELHO, de acordo com a reivindicação 1, caracterizado pelo filtro de múltiplos espectros ser um filtro

Petição 870190058749, de 25/06/2019, pág. 48/120

5/Ί

16. APARELHO DE IMAGEAMENTO, de acordo com a reivindicação 15, caracterizado pela imagem que tem a banda espectral de interesse ser uma primeira imagem em um primeiro comprimento de onda e instruções fazem com que os processadores realizem atos que compreendem criar uma segunda imagem em uma segunda banda espectral e criar um cubo hiperespectral que contém a primeira imagem e a segunda imagem.

17. MÉTODO DE OPERAR UM SISTEMA DE IMAGEAMENTO HIPERESPECTRAL, em que o método é caracterizado por compreender:

fornecer um dispositivo de imageamento de área que tem um filtro óptico de múltiplos espectros e um atuador para mover o filtro óptico de múltiplos espectros;

determinar uma distância de amostragem, em que a distância de amostragem tem como base, pelo menos em parte, o filtro óptico de múltiplos espectros e uma banda espectral de interesse;

direcionar o dispositivo de imageamento de área para obter uma primeira exposição de uma cena;

mover o filtro óptico de múltiplos espectros em uma distância igual à distância de amostragem;

direcionar o dispositivo de imageamento de área para obter uma segunda exposição da cena; e gerar uma imagem da cena com base, pelo menos, na primeira exposição e na segunda exposição.

18. MÉTODO, de acordo com a reivindicação 17, caracterizado pela geração de uma imagem da cena compreender:

determinar um espectro de interesse;

segmentar a primeira exposição para criar um primeiro corte de imagem que tem o espectro de interesse;

Petição 870190058749, de 25/06/2019, pág. 52/120

5. APARELHO, de acordo com a reivindicação 1, caracterizado pelo módulo de imageamento ser configurado para aplicar um ajuste de estabilização de imagem à imagem para corrigir movimento relativo entre os sensores de pixel e a região espacial de interesse.

6/1 segmentar a segunda exposição para criar um segundo corte de imagem que tem o espectro de interesse; e costurar, juntos, o primeiro corte de imagem e o segundo corte de imagem para formar uma imagem da cena que tem o espectro de interesse.

19. MÉTODO, de acordo com a reivindicação 18, caracterizado por compreender ainda gerar uma segunda imagem da cena que tem um segundo espectro de interesse e criar um cubo de múltiplos espectros que compreende a imagem da cena que tem o espectro de interesse e a segunda imagem da cena que tem o segundo espectro de interesse.

20. MÉTODO, de acordo com a reivindicação 17, caracterizado por compreender ainda:

inserir pelo menos a primeira exposição e a segunda exposição como uma entrada para um algoritmo de análise de imagem;

criar, com base, pelo menos em parte, na execução do algoritmo de análise de imagem, um valor numérico;

armazenar o valor numérico; e transmitir o valor numérico para uma localização remota.

21. MÉTODO, de acordo com a reivindicação 17, caracterizado pelo sistema de imageamento ser montado em um dispositivo estacionário e pelo fato de que o método compreende ainda compactar a imagem e transmitir a imagem para um dispositivo de recebimento.

22. MÉTODO, de acordo com a reivindicação 20, caracterizado pela criação do valor numérico compreender criar um ou mais valores numéricos para cada um dentre uma pluralidade de pixels que produzem pelo menos uma porção da

Petição 870190058749, de 25/06/2019, pág. 53/120

6. APARELHO, de acordo com a reivindicação 3, caracterizado pela imagem ser uma imagem hiperespectral, e a imagem hiperespectral ser armazenada, processada e transmitida para um dispositivo de recebimento.

7. APARELHO, de acordo com a reivindicação 1, caracterizado pela distância de amostragem ser determinada de modo que a região espacial de interesse da cena seja capturada na uma ou mais exposições no espectro de interesse.

8. APARELHO, de acordo com a reivindicação 1, caracterizado pelo módulo de imageamento ser ainda configurado para criar uma curva de interpolação para cada pixel através da uma ou mais exposições.

9. APARELHO, de acordo com a reivindicação 8, caracterizado pelo módulo de imageamento ser ainda configurado para construir uma imagem monocromática avaliando-se a curva de interpolação para cada pixel no espectro de interesse.

10 . APARELHO DE IMAGEAMENTO, caracterizado por compreender: um dispositivo de imageamento que tem uma pluralidade de sensores de pixel; um filtro óptico disposto dentro de uma traj etória

óptica do dispositivo de imageamento, em que o filtro óptico tem pelo menos uma primeira banda espectral e uma segunda banda espectral;

Petição 870190058749, de 25/06/2019, pág. 49/120

7/7 primeira exposição ou da segunda exposição, ou ambas.