BR102014025597A2 - método e sistema de referência de um objeto imageado - Google Patents

método e sistema de referência de um objeto imageado Download PDF

Info

Publication number
BR102014025597A2
BR102014025597A2 BR102014025597A BR102014025597A BR102014025597A2 BR 102014025597 A2 BR102014025597 A2 BR 102014025597A2 BR 102014025597 A BR102014025597 A BR 102014025597A BR 102014025597 A BR102014025597 A BR 102014025597A BR 102014025597 A2 BR102014025597 A2 BR 102014025597A2
Authority
BR
Brazil
Prior art keywords
images
key features
spectral
spatial
processor
Prior art date
Application number
BR102014025597A
Other languages
English (en)
Inventor
Ana Isabel Del Amo
Benjamin Thomas Occhipinti
Eric Daniel Buehler
Konrad Robert Kuczynski
Richard Shawn Kelly
Stefano Angelo Mario Lassini
Thomas Baby Sebastian
Original Assignee
Ge Aviat Systems Llc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ge Aviat Systems Llc filed Critical Ge Aviat Systems Llc
Publication of BR102014025597A2 publication Critical patent/BR102014025597A2/pt

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • G06V20/13Satellite images
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/02Details
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28Investigating the spectrum
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28Investigating the spectrum
    • G01J3/42Absorption spectrometry; Double beam spectrometry; Flicker spectrometry; Reflection spectrometry
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • G06V20/17Terrestrial scenes taken from planes or by drones
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/54Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28Investigating the spectrum
    • G01J3/40Measuring the intensity of spectral lines by determining density of a photograph of the spectrum; Spectrography
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10032Satellite or aerial image; Remote sensing
    • G06T2207/10036Multispectral image; Hyperspectral image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/58Extraction of image or video features relating to hyperspectral data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • G06V20/194Terrestrial scenes using hyperspectral data, i.e. more or other wavelengths than RGB

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Theoretical Computer Science (AREA)
  • Remote Sensing (AREA)
  • Astronomy & Astrophysics (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Spectrometry And Color Measurement (AREA)

Abstract

"método e sistema de referência de um objeto imageado" trata-se de um método de referência de um objeto imageado que inclui, entre outras coisas, obter uma série de imagens (41 o), observar as características-chave do objeto em cada uma das séries de imagens (420), associar as características-chave observadas ao objeto (442), e atribuir um identificador exclusivo ao objeto com base nas características-chave associadas (444). a série de imagens inclui imagens espectrais (203) e espaciais (209). algumas das características-chave estão nas imagens espectrais e algumas das características-chave estão nas imagens espaciais

Description

“MÉTODO E SISTEMA DE REFERÊNCIA DE UM OBJETO IMAGEADO” Antecedentes da Invenção [001] Câmeras hiperespectrais têm capacidade para capturar quadros de imagem hiperespectral ou cubos de dados em taxas de quadro de vídeo. Essas câmeras adquirem imagens espectrais e espaciais de alta resolução. Em combinação com técnicas referentes à visão computacional e à análise espectral, os operadores de câmeras hiperespectrais têm se envolvido em aplicações de vigilância referentes à detecção, ao rastreamento e à identificação de objetos imageados.
Breve Descrição da Invenção [002] Um aspecto da invenção refere-se a um método de referência de um objeto imageado. O método inclui: obter uma série de imagens, em que pelo menos algumas das imagens são espectrais e algumas das imagens são espaciais; observar características-chave do objeto em cada uma das séries de imagens, em que algumas das características-chave estão nas imagens espectrais e algumas das características-chave estão nas imagens espaciais; associar as características-chave observadas ao objeto; e atribuir um identificador exclusivo ao objeto com base nas características-chave associadas.
[003] Outro aspecto da invenção se refere a um sistema de referência de um objeto imageado. O sistema inclui: pelo menos um dispositivo de imageamento configurado para gravar uma série de imagens espaciais e espectrais de um objeto; um processador configurado para processar as imagens espaciais e espectrais; e um software no processador. O software inclui instruções para: observar as características-chave do objeto em cada uma das séries de imagens, em que algumas das características-chave estão nas imagens espectrais e algumas das características-chave estão nas imagens espaciais; associar as características-chave observadas ao objeto; e atribuir um identificador exclusivo ao objeto com base nas características-chave associadas.
Breve Descrição das Figuras [004] Nos desenhos: [005] A Figura 1 mostra uma situação em que um sistema, de acordo com uma realização da presente invenção, inclui duas plataformas móveis exemplificativas que capturam imagens de um veículo.
[006] A Figura 2 mostra uma situação em que um sistema, de acordo com uma realização da presente invenção, inclui uma plataforma exemplificativa que captura imagens de um veículo em movimento.
[007] A Figura 3 é um fluxograma que mostra um método de geração de um modelo de objeto espectral e espacial a partir das imagens capturadas por um sistema similar àquele descrito na Figura 1.
[008] A Figura 4 demonstra o posicionamento espacial de um veículo imageado usado para gerar um modelo de objeto espectral e espacial.
[009] A Figura 5 é um fluxograma que mostra um método de identificação a partir de um modelo de objeto espectral e espacial.
Descrição das Realizações da Invenção [010] Nos antecedentes e na descrição a seguir, com propósitos de explicação, diversos detalhes específicos são estabelecidos a fim de fornecer uma compreensão completa da tecnologia descrita no presente documento. Estará evidente para uma pessoa versada na técnica, no entanto, que as realizações exemplificativas podem ser praticadas sem esses detalhes específicos. Em outros exemplos, as estruturas e os dispositivos são mostrados em forma de diagrama a fim de facilitar a descrição das realizações exemplificativas.
[011] As realizações exemplificativas são descritas em referência aos desenhos. Esses desenhos ilustram certos detalhes das realizações específicas que implementam um módulo, método, ou produto de programa de computador descrito no presente documento. No entanto, os desenhos devem ser interpretados como impondo quaisquer limitações que podem estar presentes nos desenhos. O método e o produto de programa de computador podem ser fornecidos em qualquer meio legível por máquina para completar suas operações. As realizações podem ser implementadas com o uso de um processador de computador existente ou por um processador de computador de propósito específico incorporado para esse ou outro propósito ou por um sistema conectado.
[012] Conforme notado acima, as realizações descritas no presente documento podem incluir um produto de programa de computador que compreende um meio legível por máquina para carregar ou ter instruções executáveis por máquina ou estruturas de dados armazenados no mesmo. Tal meio legível por máquina pode ser qualquer mídia disponível, que pode ser acessada com um computador de propósito geral ou específico, ou por outra máquina com um processador. A título de exemplo, tal meio legível por máquina pode compreender RAM, ROM, EPROM, EEPROM, CD-ROM ou outro armazenamento de disco óptico, armazenamento de disco magnético ou outros dispositivos de armazenamento magnético ou somente outro meio que pode ser usado para carregar ou armazenar código de programa desejado na forma de instruções executáveis por máquina ou estruturas de dados e que pode ser acessado por um computador de propósito geral ou propósito específico ou outra máquina com um processador. Quando as informações são transferidas ou fornecidas sobre uma rede ou outra conexão de comunicação (também conectado, sem fto ou uma combinação de conectado ou sem fio) para uma máquina, a máquina vê corretamente a conexão como um meio legível por máquina. Assim, qualquer uma conexão é corretamente denominada como um meio legível por máquina. As combinações acima estão também incluídas dentro do escopo de meio legível por máquina. As instruções executáveis por máquinas compreendem, por exemplo, instruções e dados, os quais fazem com que um computador de propósito geral, um computador de propósito específico, ou máquinas processadoras de propósitos específicos realizem uma determinada função ou grupo de funções.
[013] As realizações serão descritas no contexto geral das etapas do método que podem ser implementadas em uma realização por um produto de programa que inclui instruções executáveis por máquina, como códigos de programa, por exemplo, na forma de módulos de programa executados por máquinas em ambientes conectados à rede. Geralmente, os módulos de programa incluem rotinas, programas, objetos, componentes, estruturas de dados, etc. que têm o efeito técnico de realizar determinadas tarefas ou implementar determinados tipos de dados abstratos. As instruções executáveis por máquina, as estruturas de dados associadas e os módulos de programa representam exemplos de códigos de programa para executar as etapas do método revelado no presente documento. A determinada sequência de tais estruturas de dados associados ou instruções executáveis representa os exemplos de atos correspondentes para implementar as funções descritas em tais etapas.
[014] As realizações podem ser praticadas em um ambiente conectado a rede com o uso de conexões lógicas a um ou mais computadores remotos que têm processadores. As conexões lógicas podem incluir uma rede de área local (LAN) e uma rede de área ampla (WAN) que estão presentes no presente documento a título de exemplo e não de limitação. A presença de tais ambientes conectados a rede é comum em redes de computador de escritório ou de empresa, intranets e a internet e pode usar uma ampla variedade de diferentes protocolos de comunicações. Aqueles versados na técnica irão verificar que tais ambientes de computação de rede irão abranger tipicamente muitos tipos de configurações de sistema de computador, que inclui computadores pessoais, dispositivos portáteis, sistemas de multiprocessador, eletrônicos de consumo programáveis ou com base em microprocessadores, CDs de rede, minicomputadores, computadores principais e similares.
[015] As realizações também podem ser praticadas em ambientes de computação distribuídos em que as tarefas são realizadas por dispositivos de processamento remoto e local que estão articulados (tanto por ligações de conectado, ligações sem fio ou por uma combinação de ligações de conectado ou sem fio) através de uma rede de comunicação. Em um ambiente de computação distribuído, os módulos de programa podem estar localizados tanto em dispositivos de armazenamento de memória remota quanto local.
[016] Um sistema exemplificativo para implementar o total ou as porções das realizações exemplificativas pode incluir um dispositivo de computação de propósito geral na forma de um computador, que inclui uma unidade de processamento, uma memória de sistema e um barramento de sistema, que acopla diversos componentes de sistema que incluem a memória de sistema para a unidade de processamento. A memória de sistema pode incluir memória exclusiva de leitura (ROM) e memória de acesso randômico (RAM). O computador também pode incluir um dispositivo de disco rígido magnético para leitura a partir de um disco rígido magnético e registro para o mesmo, um dispositivo de disco magnético para leitura a partir de um disco magnético removível ou registro para o mesmo e um dispositivo de disco óptico para leitura a partir de um disco óptico removível ou registro para o mesmo como um CD-ROM ou outro meio óptico. Os dispositivos e seu associado meio legível por máquina fornecem armazenamento não volátil de instruções executáveis por máquina, estruturas de dados, módulos de programa e outros dados para o computador.
[017] Os efeitos técnicos do método revelado nas realizações incluem aumentar a utilidade e desempenho de sistemas de imageamento remoto para detecção de objeto, rastreamento e identificação. Um sistema de imageamento e rastreamento que analisa imagens espectrais e espaciais para uma forma de um identificador exclusivo que faz referência e descreve um objeto observado é robusto a mudanças em fatores associados com o processo de coleta de imagens. Devido ao fato de que o identificador exclusivo se baseia nas características essenciais do objeto que são independentes das características do sistema de imageamento, o sistema de rastreamento pode correlacionar observâncias separadas de um objeto quando informações de histórico dobre a vida útil do objeto é inicialmente desconhecida. Em outras palavras, o sistema pode observar um objeto anteriormente desconhecido, atribuir um identificador exclusivo, de acordo com o método da presente invenção, e, então, observar o objeto em um tempo atrasado e associar de uma maneira correta as observações. Adicionalmente, o método da presente invenção permite a observação remota e a procura de objetos sem exigir configuração de fonte múltiplas para verificar a identidade do objeto.
[018] Com referência agora a Figura 1, um sistema 10 para a formação de um identificador de unificação único para referência de um objeto 30 inclui pelo menos um dispositivo de imageamento 14 configurado para gravar uma série de imagens espaciais e espectrais do objeto 30. Um processador 16 é configurado para processar as imagens espaciais e espectrais do objeto 30 e o software no processador 16 inclui as instruções para observar e associar as características-chave do objeto 30 em cada uma das séries de imagens. Um processador integrado a plataforma pode realizar um processamento de séries de imagens ou pode instruir a transferência de séries de imagens a uma localização remota para processamento por um segundo processador ou sistema de processamento (coletivamente denominado “um processador” 16 e mostrado como uma unidade remota geograficamente a partir do dispositivo de imageamento 14 na Figura 1). Com base na associação de características-chave do objeto 30, o processador 16 pode atribuir um identificador exclusivo ao objeto 30.
[019] O dispositivo de imageamento 14 pode incluir uma ou mais câmeras com capacidade para capturar e gravar os dados de imagem e comprimentos de onda específicos através do espectro eletromagnético. Os dispositivos de imageamento para uso na presente invenção pode capturar imagens em comprimentos de onda definidos pelas faixas de raio infravermelho, visível e ultravioleta. Adícionalmente, o dispositivo de imageamento 14 pode ser configurado para coletar imagens de modo que as faixas operadas da câmera sejam combinadas para formar uma imagem pancromática ou divididas para formar um cubo de dados hiperespectrais ou de múltiplos espectros. No caso de um imageador pancromático, o dispositivo de imageamento 14 pode formar uma série de imagens pancromática em que cada imagem é um registro da intensidade total de radiação que decai em cada pixel da imagem. A relação entre os pixels e suas intensidades relativas formam o conteúdo espacial (ou imagens espaciais) da série de imagens coletada.
[020] Alternatívamente, o dispositivo de imageamento 14 pode formar uma série de imagens em que cada imagem inclui dados que correspondem a faixas de comprimento de ondas específicos. Por exemplo, uma câmera de propósito geral pode formar três representações de uma imagem no espectro visível; um que reage positivamente aos comprimentos de onda associado à cor verde, outro para vermelha e um terceiro para azul. As faixas adicionais podem ser fornecidas para formar imagens externas do assim chamado de espectro visível. Os imaginadores de espectro com mais faixas numerosas, resolução espectral mais fina ou gama de cobertura espectral mais ampla podem ser chamados de multiespectrais, hiperespectrais ou ultraespectrais dependendo de determinado número e do comprimento de ondas relativo das faixas espectrais imageadas. Nesse modo, cada pixel inclui uma assinatura espectral ou vetor de intensidades que o conteúdo espectral (ou imagens espectrais) para a série de imagens coletada. Embora muitos dispositivos de imageamento 14 sejam observados para coletar as imagens espectrais e espaciais, em uma implementação preferencial, o dispositivo de imageamento 14 inclui uma câmera hiperespectral de vídeo de plano focal. Entretanto, outros dispositivos de imageamento hiperespectrais conhecidos podem incluir uma câmera em combinação de plano focal em cores/pancromática com câmera espectral de rápida varredura.
[021] O dispositivo de imageamento 14 pode, por exemplo, ser estacionário em uma plataforma móvel 12 ou móvel em uma plataforma estacionária 112 (conforme mostrado na Figura 2), ou qualquer combinação dos mesmos. Em uma plataforma móvel 12, conforme mostrado, por exemplo, na Figura 1, o dispositivo de imageamento 14 pode imagear um objeto de interesse 30 em que a área da área imageada 18, 20, 22, 24 se move, em parte, como uma consequência do movimento da plataforma 12. O movimento da plataforma pode ser um arco 28 atravessado pelo dispositivo de imageamento 14, uma linha 26 atravessada por dispositivo de imageamento 14 ou qualquer movimento imposto pela operabilidade da plataforma 12.
[022] Em uma plataforma estacionária 112, conforme mostrado, por exemplo, na Figura 2, o dispositivo de imageamento 114 pode se mover através da rotação em um eixo geométrico único na plataforma 112 para rastrear e imagear um objeto de interesse 30. Nesse caso, a área imageada 116, 118, 120 segue um arco 122 para imagear o objeto de interesse 30. Na maioria dos casos, o objeto de interesse 30 não deve seguir o mesmo arco 122 da área, na qual o caso de perspective da área irá alterar. Bem como, o objeto de interesse 30 pode ser estacionário ou móvel.
[023] Será evidente que o movimento relativo entre o dispositivo de imageamento 14 ou 114 e o objeto imageado de interesse 30 irá alterar a perspectiva entre o dispositivo de imageamento 14 ou 114 e o objeto de interesse 30. Consequentemente, a refletância espectral observada do objeto de interesse 30 irá variar, pelo menos em parte, como uma função da perspectiva relativa de alteração.
[024] A Figura 3 é um fluxograma que mostra um método de geração de um modelo de objeto espectral e espacial com o uso do sistema descrito acima nas Figuras 1 e 2. Inícialmente na etapa 200, um dispositivo de imageamento 14 pode adquirir e acompanhar um objeto de interesse 30 capturando-se imagens que são resolvidas tanto de modo espacial quanto de modo espectral. No presente documento, chamadas de “imagens hiperespectrais” para indicar tanto a presença de imagens quanto de conteúdos espectrais e espaciais, as imagens reais podem ser coletadas com os dispositivos de imageamento conforme descrito acima e pode incluir elementos que reagem positivamente a comprimentos de onda ultravioleta, infravermelho e/ou visível múltiplos.
[025] Na etapa 202, um dispositivo de imageamento 14 pode obter uma série de imagens hiperespectrais 203. Para determinar o alinhamento entre as imagens hiperespectrais 203 nas séries, o processador 16 pode empregar técnicas de estabilidade de imagem para alterar as séries de imagens hiperespectrais 203 a partir do quadro a quadro para compensar a movimentação e a tremulação que podem ter sido iniciadas, por exemplo, pelo movimento da plataforma 12. A série de imagens hiperespectrais 203 do objeto 30 pode ter um movimento relativo entre o objeto de interesse 30 e o dispositivo de imageamento 14.
[026] Na etapa 204, o processador 16 pode determinar pelo menos um parâmetro 205 de movimento relativo entre o objeto de interesse 30 e o dispositivo de imageamento 14. Por exemplo, o processador 16 pode usar dados a partir de um sistema de posicionamento de sensor integrado que mede o posicionamento absoluto e relativo. Exemplo de sistemas integrados podem incluir sistemas de posicionamento relativo como sistemas de navegação inercial em combinação com sistemas de posicionamento absoluto como GPS. Junto com os dados de posicionamento integrado, o processador 16 pode certificar diferenças na série de imagens hiperespectrais 203 para inferir o movimento do objeto de interesse 30 e estimar uma faixa do dispositivo de imageamento 14 ao objeto de interesse 30. O processador 16 pode determinar o movimento relativo como as mudanças rotacionais (isto é rolamento, afastamento, guinada) e translacionais (isto é x, y, z) entre o dispositivo de imageamento 14 e o objeto de interesse 30. O processador 16 pode parametrizar o movimento relativo com ângulos de Euler e vetores de direção. Outras parametrizações do movimento relativo entre o dispositivo de imageamento 14 e o objeto de interesse 30 podem ser aplicadas dependendo da implementação. O processador 16 pode mapear o parâmetro 205 do movimento relativo entre o objeto 30 e o dispositivo de imageamento 14 para determinar uma orientação 207 do objeto 30 em cada imagem hiperespectral na série na etapa 206.
[027] Após a determinação de uma orientação 207 do objeto de interesse 30 em cada uma das séries de imagens hiperespectrais 203, o processador 16 na etapa 208 pode identificar as porções espaciais 209 do objeto de interesse 30 em cada uma das séries de imagens hiperespectrais 203. Então, na etapa 210, o processador 16 pode atribuir uma assinatura espectral 211 a cada porção espacial 209 do objeto de interesse 30 em cada uma das séries de imagens hiperespectrais 203. Com base na tarefa de uma assinatura espectral 211 para uma porção espacial 209 do objeto de interesse 30, o processador 16 pode gerar, na etapa 212, um perfil de refletância espectral de múltiplas dimensões 213, A dímensionaiidade do perfil de refletância espectral 213 é determinada pela orientação 207 do objeto 30, as porções espaciais 209 e as assinaturas espectrais 211 associadas com as porções espaciais 209, Portanto, o perfil de refletância espectral de múltiplas dimensões 213 pode descrever tanto as assinaturas de refletância espectral 211 de um objeto de interesse 30 quanto as relações espaciais entre as assinaturas de refletância espectral 211 ao longo de uma descrição espacial ou geométrica do objeto 30.
[028] Visto que o perfil de refletância espectral de múltiplas dimensões 213 é gerado, o processador 16 pode classificar o objeto de interesse 30 nas séries de imagens hiperespectrais 203. O perfil de refletância espectral de múltiplas dimensões 213 codifica uma descrição das dimensões espaciais e texturas espectrais do objeto de interesse 30, O processador 16 pode implementar as técnicas adicionais de processamento conforme descrito abaixo para determinar o tamanho e formato, ao longo das características de textura das porções espaciais 209 do objeto de interesse 30.
[029] Após a finalização do método na etapa 214, o dispositivo de imageamento 14 pode readquirir o objeto de interesse 30 em sucessivas séries de imagens hiperespectrais 203. O processador 16 pode aprimorar o perfil de refletância espectral de múltiplas dimensões 213 do objeto com base nas coletas sucessivas de imagens hiperespectrais. Enquanto as passagens iniciais podem resultar em orientações não observadas do objeto, as passagens sucessivas podem começar a preencher o modelo do perfil de refletância espectral de múltiplas dimensões 213 para as orientações anteriormente não observadas.
[030] De um modo contrário, o processador 16 pode aprimorar o perfil de refletância espectral de múltiplas dimensões 213 para as orientações anteriormente observadas. Quando o processador 16 readquire um objeto em uma orientação anteriormente não observada, o processador 16 pode atualizar um perfil de refletância espectral de múltiplas dimensões anteriormente gerado 113 ponderando-se a assinatura espectral 111 com base no tempo de integração da imagem hiperespectral. Por exemplo, se uma dada porção espacial 209 para uma dada orientação 207 foi anteriormente observada por 0,1 segundo para determinar uma assinatura espectral 211 e, então, uma medição adicional é feita para 0,2 segundo, a assinatura espectral 211 para a porção espacial 209 para a orientação 207 no perfil de refletância espectral de múltiplas dimensões 213 pode ser ajustada para pesar a nova medição duas vezes mais forte do que a medição antiga.
[031] Para ilustrar, a Figura 4 demostra o posicionamento espacial de um veículo imageado para três diferentes orientações 300, 302, 304. Para um primeiro lado imageado do veículo em orientação 300, o processador 16 identifica quatro porções espaciais 310, 312, 314, 316. Para um segundo lado imageado do veículo em orientação 302, o processador 16 identifica quatro porções espaciais 318, 320, 322, 324. Para um terceiro lado imageado do veículo em orientação 304, o processador 16 identifica quatro porções espaciais 326, 328, 330, 332. O processador 16, então, determina uma assinatura espectral com base nas imagens hiperespectrais para cada uma das porções espaciais. Nesse exemplo, existirá quatro assinaturas espectrais distintas para cada uma das três orientações imageadas para um total de 12 assinaturas espectrais distintas. Portanto, em relação ao método esquematizado na Figura 3, a ilustração da Figura 4 demostra um perfil de refletância espectral de múltiplas dimensões 213 que inclui três orientações, cada um com quatro porções espaciais 209 e cada porção espacial inclui uma assinatura de refletância espectral correspondente 211.
[032] O processador 16 pode analisar adicionaimente as imagens espaciais e espectrais para identificar de modo exclusivo o objeto de interesse. Ou seja, o processador 16 para analisar uma caracterização espacial/espectral (como o perfil de refletância espectral de múltiplas dimensões descrito acima) para derivar e associar as características-chave do objeto 30 com um objetivo de identificação de ocorrência individual do objeto a ser imageado. Nessa maneira, além do simples reconhecimento do tipo de objeto, o processador 16 pode tirar a impressão digital de determinado objeto.
[033] A Figura 5 é um fluxograma que mostra um método de identificação a partir de um modelo de objeto espectral e espacial. Inicialmente, o processador 16 obtém uma série de imagens de um objeto. Conforme descrito acima, a série de imagens pode fornecer conteúdo espacial e espectral e podem chegar a partir de um ou mais dispositivos de imageamento configurados para capturar um ou mais tipos de imagens. Cada dispositivo de imageamento pode fornecer imagens espectrais, imagens espaciais ou uma combinação de ambas as imagens espaciais e espectrais. Delineado pelo comprimento de onda das imagens capturadas, os dispositivos de imageamento que podem fornecer as imagens incluem visível 412, infravermelho 414, ultravioleta 416 e hiperespectral 418.
[034] O processador 16 pode, então, observar as características-chave do objeto 30 nas séries de imagens. O processador 16 pode derivar as características-chave das imagens espaciais com o uso de técnicas de processamento de imagem convencional conhecidas no campo de visão computacional. As típicas técnicas relacionadas aos conceitos de extração de recurso, detecção, segmentação de imagem, estimação de parâmetro, registro e reconhecimento de imagem.
[035] Adicionalmente ou em conjunto com uma análise espacial, o processador 16 pode derivar as características-chave das imagens espectrais com o uso de técnicas conhecidas para a análise de imagens espectrais. Os algoritmos de processamento de base espectral foram desenvolvidos para classificar ou agrupar os pixels similares; ou seja, pixels com assinaturas ou características espectrais similares. Diversos algoritmos de busca hiperespectrais foram desenvolvidos e usados no processamento de imagens hiperespectrais com o propósito de detecção alvo. Esses algoritmos de busca hiperespectrais são tipicamente projetados para explorar as características estatísticas de alvos candidatos nas imagens e são tipicamente construídos com base nos conceitos estatísticos conhecidos. Por exemplo, a distância de Mahalanobis é uma medida estatística de semelhança que se aplicou em assinaturas de pixel hiperespectral. A distância de Mahalanobis mede uma semelhança da assinatura testando-se a assinatura contra uma média e desvio padrão de uma classe conhecida de assinaturas.
[036] Outras técnicas conhecidas incluem mapeamento de ângulo espectral (SAM), divergências de informações espectrais (SID), área diferencial igual a zero (ZMDA) e distância de Bhattacharyya. SAM é um método para comparar uma assinatura espectral a uma assinatura conhecida relacionando-se com cada espectro e vetores e calculando-se o ângulo entre os vetores. Devido ao fato de que o SAM usa somente a direção de vetor e não o comprimento de vetor, o método é insensitivo a variação na iluminação. SID é um método para comparar uma assinatura espectral a uma assinatura conhecida medindo-se a discrepância ou divergência probabiiística entre o espectro. ZMDA normaliza as assinaturas por sua variação e computa suas diferenças, que corresponde à área entre os doís vetores. A distância de Bhattacharyya é similar a distância de Mahalanobis, mas é usada para medir a distância entre um conjunto de assinaturas espectrais contra uma classe conhecida de assinaturas.
[037] Mediante o estabelecimento de um quadro de trabalho, em que as técnicas de processamento espectral ou espacial podem ser integradas, o processador 16 pode observar características-chave do objeto na etapa 420.
As características de objeto chave podem incluir atributos baseados de forma espacial como objeto formato 422, tamanho do objeto 424, localização do objeto 426 e velocidade do objeto 428. As características de objeto chave que incorporam os atributos espectrais podem incluir a cor do objeto 430, composição material do objeto 432 e textura. Essas características podem fornecer o tipo de informações tipicamente usadas em um processo de classificação. Por exemplo, a combinação dessas características podem identificar o tipo de veículo observado pelo sistema de imageamento.
[038] O processador 16 pode inferir outras características-chave com o processamento adicional que inclui a aparência de objeto 434, rótulos de objeto de identificação 436, comportamento de objeto 438 e histórico do objeto 440. A aparência de objeto 434 inclui os aspectos potencialmente únicos e variados da superfície do objeto. Por exemplo, uma depressão em um carro ou uma antena adicional montada no teto de um veículo pode fornecer um recurso de identificação específico que o processador 16 pode observar e detectar com técnicas de processamento espectral ou espacial.
[039] Os rótulos de objeto de identificação 436 podem fornecer um identificador antropogênico análogo à aparência de objeto e pode incluir placas de identificação, adesivos de para choque, marcações de cauda, etc. O processador 16 pode incluir, por exemplo, algoritmos para reconhecimento de caracteres ópticos para distinguir adicionalmente os rótulos de objeto. O processador 16 pode observar o comportamento de objeto 438 e detectar e quantificar os aspectos do objeto associados às limitações do objeto como um raio de viragem do carro ou atributos antropogênicos como o nível de aderência às leis de tráfego.
[040] O processador 16 pode também interferir em um histórico do objeto 440 correlacionando-se a múltiplas observações de um objeto ao longo do tempo. A escala de tempo que o processador 16 pode ter para se correlacionar transversalmente, ou seja, a duração de descontinuidade temporal, pode oscilar por alguns segundos como quando um objeto observado é temporariamente escurecido a uma escala de tempo na ordem de dias quando um objeto como um veículo que encaminha fracamente através de uma área de visão do dispositivo de imageamento remoto. Portanto, o histórico do objeto pode estabelecer padrões em localização, comportamento ao longo do tempo e mudanças na aparência física.
[041] Mediante à associação de características-chave 442, o processador 16 pode diferenciar um objeto de outros tipos de objetos quando as características-chave como um formato do objeto 422, tamanho 424, localização 426, velocidade 428 e cor 430 são usadas para isolar o objeto de interesse. A diferenciação e isolação de objeto através de uma descontinuidade temporal pode exigir a identificação de outras características-chave como composição material 432, aparência de objeto 434, rótulos de identificação 438 acima para estabelecer a identidade do objeto.
[042] Para facilitar a referência de objetos de interesse para arquivamento e recuperação, o processador 16 pode atribuir um identificador exclusivo único 444 para referenciar o objeto por meio de seu ciclo de vida útil conforme observado pelo sistema de imageamento remoto. O identificador exclusivo 444 pode codificar as características-chave associadas com o objeto; ou seja, as características comportamentais, espectrais e visuais ao logo das características de histórico conforme descrito acima.
[043] Um sistema pode gerenciar um único ou múltiplos identificadores que dependem de modo simultâneo dos objetos na corrente vista do sistema. As características-chave podem ser juntamente agregadas para criar um novo identificador para descrever um objeto observado por múltiplos sistemas. Devido em parte à unicidade do identificador (e seu mapeamento um a um ao objeto da mesma referência), o identificador pode fornecer um índice às características-chave do objeto observadas pelo sistema de imageamento remoto. Um sistema de computação (realizada acima como processador 16) pode gerar automaticamente o identificador ou um operador do sistema de computação pode gerar manualmente o identificador. Subsequente à criação do identificador, o identificador pode fornecer uma referência ao objeto para adicionar as novas características-chave ou pode recuperar as características conhecidas do objeto relacionado.
[044] Com a aparição de sensores hiperespectrais de vídeo, um sistema pode recolher informações suficientes para identificação de modo único de objetos observados. Os múltiplos sistemas podem agir de forma independente, em que cada sistema pode recolher informações suficientes, de modo único, a identificar os objetos observados. Na modalidade de sistema múltipla, as informações podem, então, serem compartilhadas dentro dos sistemas para agregar características-chave. Nesse modo, as características-chave observadas por um sistema podem combinar com diferentes características-chave observadas por um segundo sistema para realçar o identificador geral para o objeto.
[045] Um identificador de unificação único para um objeto de interesse que incorpora muitas características inferidas e observadas do objeto para facilitar as operações-chave fundamentais para os sistemas de imageamento remoto. Por exemplo, quando usar múltiplos sistemas de imageamento remoto, o identificador exclusivo pode facilitar uma entrega de objetivo entre os sistemas permitindo-se a transferência eficiente da descrição do objeto entre os sistemas. Adicionalmente, o identificador pode ser usado para permitir os antecedentes de quando ou onde uma entrega pode ser necessária de ocorrer.
[046] Um dos elementos-chave do sistema é a fusão das informações espectrais derivadas dos imaginadores visíveis, infravermelho, ultravioleta e hiperespectrais com características espaciais derivadas de mais técnicas de processamento de imagem tradicional para definir um objeto de modo único. O sistema sensível remoto deve usar um vídeo hiperespectral ou um sistema de imageamento híbrido com capacidade para capturar uma sequência conveniente de imagens que contém tanto imagens espaciais quanto imagens espectrais para permitir uma correlação contínua de informações espaciais e espectrais.
[047] Esta descrição escrita usa exemplos para descrever a invenção, que inclui o melhor modo, e também permite que qualquer pessoa versada na técnica pratique a invenção, incluindo fazer e usar quaisquer dispositivos ou sistemas e realizar quaisquer métodos incorporados. O escopo patenteável da invenção é definido pelas reivindicações e pode incluir outros exemplos que ocorram àqueles versados na técnica. Tais outros exemplos se destinam a estar dentro do escopo das reivindicações se os mesmos tiverem elementos estruturais que não sejam diferentes da linguagem literal das reivindicações, ou se os mesmos incluírem elementos estruturais equivalentes com diferenças não substanciais em relação à linguagem literal das reivindicações.
Reivindicações:

Claims (10)

1. MÉTODO DE REFERÊNCIA DE UM OBJETO IMAGEADO, (30) caracterizado pelo fato de que: obter uma série de imagens do objeto, em que pelo menos algumas das imagens são espectrais (203) e algumas das imagens são espaciais (209), observar as características-chave (422, 424, 426, 428, 430, 432, 434, 436, 438, 440) do objeto (30) em cada uma das séries de imagens, em que algumas das características-chave estão nas imagens espectrais e algumas das características-chave estão nas imagens espaciais, associar as características-chave observadas ao objeto (30), e atribuir um identificador exclusivo (444) ao objeto (30) com base nas características-chave associadas.
2. MÉTODO, de acordo com a reivindicação 1, caracterizado pelo fato de que as características-chave incluem pelo menos um dentre formato (422), tamanho (424), localização (426), velocidade (428), cor (430), composição de material (432), aparência (434), rótulos de identificação (436), comportamento (438) e histórico (440).
3. MÉTODO, de acordo com a reivindicação 1, caracterizado pelo fato de que o identificador exclusivo (444) é armazenado para uso posterior como uma referência para a adição de novas características-chave ou para a recuperação de características conhecidas do objeto imageado.
4. MÉTODO, de acordo com a reivindicação 1, caracterizado pelo fato de que inclui adicionalmente as etapas de obter mais de uma série de imagens do objeto a partir de mais de um sistema e agregar as características-chave das imagens de cada sistema.
5. MÉTODO, de acordo com a reivindicação 1, caracterizado pelo fato de que o identificador exclusivo (444) é armazenado para uso posterior para entrega entre os sistemas,
6. MÉTODO, de acordo com a reivindicação 1, caracterizado pelo fato de que o identificador exclusivo (444) é armazenado para uso posterior para estabelecer uma correlação temporal com uma vida útil observada do objeto.
7. SISTEMA DE REFERÊNCIA DE UM OBJETO IMAGEADO, (30) caracterizado pelo fato de que: pelo menos um dispositivo de imageamento (14) configurado para gravar uma série de imagens espectrais (203) e imagens espaciais (209) de um objeto (30), um processador (16) configurado para processar as imagens espaciais e espectrais, e um software no processador que inclui instruções para observar as características-chave (422, 424, 426, 428, 430, 432, 434, 436, 438, 440) do objeto (30) em cada uma das séries de imagens, em que algumas das características-chave estão nas imagens espectrais e algumas das características-chave estão nas imagens espaciais, associa as características-chave observadas ao objeto e atribui um identificador exclusivo (444) ao objeto com base nas características-chave associadas.
8. SISTEMA, de acordo com a reivindicação 7, caracterizado pelo fato de que as características-chave incluem pelo menos um dentre formato (422), tamanho (424), localização (426), velocidade (428), cor (430), composição material (432), aparência (434), rótulos de identificação (436), comportamento (438) e histórico (440).
9. SISTEMA, de acordo com a reivindicação 7, caracterizado pelo fato de que o identificador exclusivo (444) é armazenado para uso posterior como uma referência para a adição de novas características-chave ou para a recuperação de características conhecidas do objeto imageado.
10. SISTEMA, de acordo com a reivindicação 7, caracterizado pelo fato de que o sistema é um primeiro sistema conectado a um segundo sistema idêntico, em que cada um dentre o primeiro e o segundo sistemas atua índependentemente um do outro para obter mais de uma série de imagens do objeto, e cada um é configurado para compartilhar informações com o outro, incluindo o identificador exclusivo para agregar as características-chave das imagens do objeto em cada sistema.
BR102014025597A 2013-10-15 2014-10-14 método e sistema de referência de um objeto imageado BR102014025597A2 (pt)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US14/054,742 US9256786B2 (en) 2013-10-15 2013-10-15 Method of identification from a spatial and spectral object model

Publications (1)

Publication Number Publication Date
BR102014025597A2 true BR102014025597A2 (pt) 2016-05-24

Family

ID=51947043

Family Applications (1)

Application Number Title Priority Date Filing Date
BR102014025597A BR102014025597A2 (pt) 2013-10-15 2014-10-14 método e sistema de referência de um objeto imageado

Country Status (7)

Country Link
US (1) US9256786B2 (pt)
JP (1) JP5941514B2 (pt)
CN (1) CN104574356B (pt)
BR (1) BR102014025597A2 (pt)
CA (1) CA2867254C (pt)
FR (1) FR3011960B1 (pt)
GB (1) GB2520819B (pt)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3361235A1 (en) * 2017-02-10 2018-08-15 VoxelGrid GmbH Device and method for analysing objects
US11682201B2 (en) * 2017-04-26 2023-06-20 Skansense S.L.U. Identifying targets within images
CN112297435A (zh) * 2019-07-26 2021-02-02 哈米尔顿森德斯特兰德公司 空间差异测量
US20230342937A1 (en) * 2020-09-23 2023-10-26 Uveye Ltd. Vehicle image analysis
WO2023100660A1 (ja) * 2021-12-03 2023-06-08 パナソニックIpマネジメント株式会社 撮像システムおよび撮像方法

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6075891A (en) 1998-07-06 2000-06-13 General Dynamics Government Systems Corporation Non-literal pattern recognition method and system for hyperspectral imagery exploitation
US6296189B1 (en) 1998-08-26 2001-10-02 Spectra Science Corporation. Methods and apparatus employing multi-spectral imaging for the remote identification and sorting of objects
US6353675B1 (en) 1999-01-19 2002-03-05 Xerox Corporation Methods and apparatus for identifying marking process and modifying image data based on image spatial characteristics
US8224078B2 (en) * 2000-11-06 2012-07-17 Nant Holdings Ip, Llc Image capture and identification system and process
WO2008127235A2 (en) * 2007-04-13 2008-10-23 Avisere, Inc. Machine vision system for enterprise management
US8126213B2 (en) * 2007-09-27 2012-02-28 The United States Of America As Represented By The Secretary Of Agriculture Method and system for wholesomeness inspection of freshly slaughtered chickens on a processing line
US9176006B2 (en) * 2008-01-15 2015-11-03 Mobileye Vision Technologies Ltd. Detection and classification of light sources using a diffraction grating
US8295548B2 (en) 2009-06-22 2012-10-23 The Johns Hopkins University Systems and methods for remote tagging and tracking of objects using hyperspectral video sensors
US20110052019A1 (en) * 2009-09-03 2011-03-03 Green Vision Systems Ltd. Analyzing Objects Via Hyper-Spectral Imaging and Analysis
IL204089A (en) * 2010-02-21 2014-06-30 Elbit Systems Ltd A method and system for detection and tracking based on frequency multiplicity and multiplicity
EP2593771B1 (en) * 2010-07-16 2019-09-04 Luminex Corporation Methods, storage mediums, and systems for analyzing particle quantity and distribution within an imaging region of an assay analysis system and for evaluating the performance of a focusing routing performed on an assay analysis system
JP5560157B2 (ja) 2010-10-19 2014-07-23 株式会社日立製作所 スペクトル情報抽出装置
US9122929B2 (en) 2012-08-17 2015-09-01 Ge Aviation Systems, Llc Method of identifying a tracked object for use in processing hyperspectral data
US20140313325A1 (en) 2013-04-18 2014-10-23 Ge Aviation Systems Llc Method of generating a spatial and spectral object model
US9430846B2 (en) 2013-04-19 2016-08-30 Ge Aviation Systems Llc Method of tracking objects using hyperspectral imagery

Also Published As

Publication number Publication date
US9256786B2 (en) 2016-02-09
GB2520819B (en) 2018-01-10
JP2015092339A (ja) 2015-05-14
CA2867254C (en) 2017-06-13
GB2520819A (en) 2015-06-03
CN104574356B (zh) 2018-02-06
FR3011960B1 (fr) 2017-12-29
GB201417796D0 (en) 2014-11-19
JP5941514B2 (ja) 2016-06-29
US20150103341A1 (en) 2015-04-16
FR3011960A1 (fr) 2015-04-17
CN104574356A (zh) 2015-04-29
CA2867254A1 (en) 2015-04-15

Similar Documents

Publication Publication Date Title
JP6586430B2 (ja) 車両位置の推定
US20200401617A1 (en) Visual positioning system
Wang et al. SigVox–A 3D feature matching algorithm for automatic street object recognition in mobile laser scanning point clouds
CN103593379B (zh) 选择用于在处理高光谱数据中使用的算法的方法
BR102013020974A2 (pt) Método de identificação de um objeto rastreado
BR102014025597A2 (pt) método e sistema de referência de um objeto imageado
CN103591940B (zh) 评估高光谱图像的标记匹配置信度的方法
BR102013024785A2 (pt) método e sistema para utilização de impressões digitais para rastrear objetos em movimento em vídeo
BR102013010781B1 (pt) método de registro de imagens de dados multimodais utilizando arcos geográficos 3d e veículo aéreo.
BR102014003593A2 (pt) método de aprimoramento de um perfil de reflectância espectral de um objeto com o uso de um dispositivo de imageamento hiperespectral
BR102013022097A2 (pt) Método de remoção de objetos estacionários a partir de pelo menos uma imagem hiperespectral
Özdemir et al. A multi-purpose benchmark for photogrammetric urban 3D reconstruction in a controlled environment
Remondino et al. Evaluating hand-crafted and learning-based features for photogrammetric applications
JP6434834B2 (ja) 検査対象物抽出装置、及び検査対象物抽出方法
Herrera et al. Combining Support Vector Machines and simulated annealing for stereovision matching with fish eye lenses in forest environments
Krajnık et al. Image features for long-term mobile robot autonomy
Jacq et al. Structure-from-motion, multi-view stereo photogrammetry applied to line-scan sediment core images
US8891870B2 (en) Substance subtraction in a scene based on hyperspectral characteristics
Weinmann et al. A step towards dynamic scene analysis with active multi-view range imaging systems
Sykas et al. Endmember labeling and Spectral Library building and updating based on hyperspectral images
Jabari et al. Urban change detection utilizing high-resolution optical images taken from different viewing angles and different platforms
KR102310790B1 (ko) 포인트 클라우드 기반 검출 객체 오류 보정 장치 및 방법
Johansson et al. Evaluation of monocular visual SLAM methods on UAV imagery to reconstruct 3D terrain
BR102014008197A2 (pt) método e rastreamento de movimento
Weinmann et al. Automatic feature-based point cloud registration for a moving sensor platform

Legal Events

Date Code Title Description
B03A Publication of a patent application or of a certificate of addition of invention [chapter 3.1 patent gazette]
B06F Objections, documents and/or translations needed after an examination request according [chapter 6.6 patent gazette]
B06U Preliminary requirement: requests with searches performed by other patent offices: procedure suspended [chapter 6.21 patent gazette]
B11B Dismissal acc. art. 36, par 1 of ipl - no reply within 90 days to fullfil the necessary requirements