BRPI0613097B1

BRPI0613097B1 - dispositivo e método de reconhecimento de imagem

Info

Publication number: BRPI0613097B1
Application number: BRPI0613097A
Authority: BR
Inventors: Menendez Anne; Paillet Guy
Original assignee: Agc Flat Glass Na Inc; Norlitech Llc
Priority date: 2005-06-30
Filing date: 2006-06-30
Publication date: 2019-01-22
Also published as: MX2007016556A; WO2007005688A1; US7796841B2; CA2613922A1; EP1899899A1; BRPI0613097A2; KR101326384B1; US20070014469A1; KR20080038319A; JP4734410B2; CA2613922C; CN101253515B; RU2444059C2; RU2008102837A; JP2009524120A; CN101253515A; WO2007005688A9

Abstract

dispositivo e método de percepção de imagem monolítica. a presente invenção refere-se a um aparelho que pode adquirir, ler emitir e perceber uma cena baseada sobre a inserção, ou gravação de elementos fotossensíveis em ou sobre um substrato semitransparente, tal como vidro. o substrato propriamente dito atua como o dispositivo óptico que deflete os fótons incidente com a imagem refletida no interior dos elementos fotossensíveis. os elementos fotossensíveis são conjuntamente interligados por uma fiação transparente ou opaca. uma memória neural digital pode ser treinada para identificar um cenário específico tal como uma face humana, um objeto entrante, um defeito superficial, gotas de chuva sobre um pára-brisa e mais. entre outras aplicações se incluem imagem perceptiva de faróis de automóvel e detecção de display de painel plano e identificar o comportamento do espectador (rastreamento do fitar, identificação de face, identificação de expressão facial e mais). ainda outra aplicação inclui portas corrediças, o perceber a direção e velocidade de um indivíduo se dirigindo no sentido daquela porta. ainda outra aplicação inclui a detecção de danos permanentes (alteração de textura) em represa, ponte ou outra construção realizada pelo homem.

Description

Relatório Descritivo da Patente de Invenção para DISPOSITIVO

E MÉTODO DE RECONHECIMENTO DE IMAGEM.

Referência Remissiva a Pedidos Correlatos

O presente pedido de patente reivindica prioridade para o pedido de patente provisório US 60/694.988, depositado em 30 de junho de 2005, o inteiro teor do qual é aqui incorporado a título de referência.

Antecedentes da Invenção

Campo da Invenção

A presente invenção refere-se, geralmente, a dispositivos de formação de imagens. Particularmente, a presente invenção refere-se a microdispositivos para a identificação de imagens dispostos sobre ou embutidos em um substrato transparente, tal como vidro.

Descrição da Técnica Correlata

Superfícies transparentes, tal como vidro, tem existido há centenas de anos. As superfícies transparentes foram inicialmente projetadas para a proteção de uma moradia enquanto permitindo aos seus ocupantes ter a percepção do mundo exterior (paisagem, condições meteorológicas e possivelmente ameaças). Mais recentemente, superfícies transparentes estão em grande demanda para a indústria de vídeo, a partir dos Tubos de Raios Catódicos (CRT) e mais recentemente dos Vídeos de Cristal Líquido (LCD) e muitos outros tipos de displays na forma de painéis planos. Em uso, na maioria dos casos, um ser humano ou organismo vivo (animal, plantas) é posicionado próximo às ditas superfícies transparentes.

Os sensores de imagem encontram-se disponíveis há algumas décadas, (por exemplo sensores CCD ou CMOS). Vide, por exemplo, a patente US n^e 6 617 565 para um sensor de imagem sobre um único chip, o conteúdo da qual é aqui incorporado a título de referência. Sensores de imagem típicos baseiam-se sobre construções de câmeras e geralmente incluem um circuito integrado situado por trás de uma lente, que pode ser em miniatura ou removível (por exemplo uma objetiva montada por atarraxamento). Sensores são usados para transformar energia luminosa (fótons) em um sinal elétrico proporcional à quantidade de luz recebida pelos elementos

Petição 870180051558, de 15/06/2018, pág. 12/23 fotossensíveis que são organizados em um conjunto sobre o sensor. Uma imagem é sintetizada a partir da saída dos elementos fotossensíveis.

A tecnologia de identificação de imagem vem se tornando crescentemente em demanda. Câmeras de vídeo de várias dimensões e marcas 5 estão em demanda para aplicações tais como segurança, identificação, inteligência, inspeção de qualidade, supervisão de tráfego e outras. Câmeras de vídeo são com freqüência ligadas a dispositivos de apresentação visual por uma conexão a fio ou sem fio. Atualmente, telefones celulares são rotineiramente equipados com minicâmeras conectadas com um vídeo LCD disposto 10 no seu interior.

A identificação de imagem avançada requer síntese de imagem de alta definição. Os sistemas de identificação de imagem atuais funcionam a velocidades relativamente lentas devido a uma carência de energia de processamento e/ou porque os processadores podem somente processar 15 um pixel de uma imagem de cada vez.

Assim, existe necessidade de novos dispositivos de identificação de imagem que sejam aperfeiçoados em relação à técnica anteriormente existente.

Sumário da Invenção

Um dos objetivos da presente invenção é apresentar um dispositivo identificador de imagem que tem uma área sensora (e.g. elementos fotossensíveis) diretamente incluída em um material transparente ou semitransparente constituindo a interface óptica entre a imagem incidente e a área sensora. O dispositivo identificador de imagem propriamente dito de 25 preferência e transparente ou semitransparente.

Constitui também outro objetivo da presente invenção dotar a área sensora de uma faculdade de decisão local por intermédio de um conjunto de elementos de processamento direcionáveis. Em uma modalidade da presente invenção, os elementos de memória cognitivos direcionáveis ou células são associados com um ou mais elementos fotossensíveis. A faculdade capacitiva de decisão local oferece a vantagem de que reduz os requisitos de transmissão (isto é, largura de banda) do dispositivo, especial mente

Φ quando ο número de elementos fotossensíveis é grande e quando a freqüência de transmissão dos elementos fotossensíveis tem de ser alta. Por proporcionar um grande conjunto de áreas sensoras cada uma tem capacidade decisória local, um dispositivo de formação de imagem local de alta velocidade e alta definição é realizável.

De acordo com uma modalidade da presente invenção, elementos de memória cognitivos direcionáveis podem operar em paralelo à baixa freqüência e um consumo de corrente muito baixo. Conseqüentemente, operação autônoma de cada elemento é assegurada e fontes de energia eco10 nômicas, tal como uma bateria solar ou equivalente, podem ser usadas.

De acordo com uma modalidade da presente invenção, um novo dispositivo de identificação de imagem monolítico é formado pela associação de um ou mais elementos fotossensíveis com um ou mais elementos de memória cognitivos direcionáveis, todos embutidos em um substrato.

De acordo com uma modalidade da presente invenção, uma pluralidade de elementos fotossensíveis associados com uma pluralidade de elementos cognitivos direcionáveis podem ser distribuídos em um ou múltiplos conjuntos e distribuídos sobre um substrato transparente ou semitransparente plano. Os conjuntos podem ter geometria e conectividade variável. A 20 geometria típica pode ser, porém não limitada, a um conjunto linear de neurônios em paralelo, ou um conjunto bidimensional de neurônicos conectados em uma geometria quadriculada ou em forma de colméia.

Demais aplicações e vantagens das várias modalidades da presente invenção são expostas abaixo com referência às figuras do desenho.

Breve Descrição dos Desenhos

As figuras 1A-B incluem respectivamente, uma vista frontal e superior de um conjunto de sensores disposto sobre um vidro ou plexiglass transparente, tendo lentes produzidas por ataque químico no seu interior, de acordo com uma modalidade da presente invenção;

A figura 2 é uma vista superior de um conjunto de sensores dispostos sobre um substrato de vidro ou plexiglass, mostradas detectando fragmentos de DNA, de acordo com uma modalidade da presente invenção;

As figuras 3A-B ilustram respectivamente uma vista lateral e superior de uma matriz de sensores de acordo com uma modalidade da presente invenção;

A figura 4 é um diagrama em blocos de um sensor de acordo com uma modalidade da presente invenção.

A figura 5A é um diagrama em blocos de um conjunto de sensores de acordo com uma modalidade da presente invenção;

A figura 5B é um diagrama em blocos de um banco de sensores de conjuntos de acordo com uma modalidade da presente invenção;

As figuras 6A-C ilustram configurações neurais de acordo com modalidades da presente invenção;

A figura 7 é um diagrama em blocos de um neurônio de acordo com uma modalidade da presente invenção; e

As figuras 8-12 ilustram aplicações típicas do dispositivo identificador de imagem de acordo com modalidades da presente invenção. Descrição Detalhada das Modalidades Preferenciais

Embora a presente invenção possa ser incorporada em muitas formas diferentes, um número de modalidades ilustrativas são descritas aqui com a compreensão de que a presente invenção deve ser considerada como oferecendo exemplos dos princípios da presente invenção e de que os ditos exemplos não são propostos para limitar a invenção a quaisquer modalidades preferenciais específicas descritas e/ou ilustradas aqui.

A presente invenção é constituída por um dispositivo identificador de imagem que pode incluir um dispositivo de percepção sensor, tal como um elemento fotossensível, conectado, ligado ou de outro modo associado com um elemento cognitivo direcionável, com ambos os elementos depositados quimicamente ou de outro modo sobre ou embutidos na superfície de um substrato transparente. A associação de uma área de detecção com um elemento cognitivo direcionável dotado de capacidade decisória local¹* é designada através da totalidade deste documento como um CogniSensor. Um elemento cognitivo direcionável é designado através da totalidade deste elemento como um CogniMem. As áreas sensoras são genericamente

Ο» constituídas de um ou mais elementos fotossensíveis, porém outras disposições de detecção são contempladas.

De acordo com modalidades da presente invenção CogniSensores podem ser configurados para identificar padrões luminosos entrantes (e.g. imagens ou partes de imagens), processar os padrões luminosos entrantes para tomar uma decisão local, e transmitir resultados de ou uma indicação de decisão local. Um CogniSensor pode incluir um número de componentes tal como, porém não limitados a, capacidade decisória local - lógica de entrada de dados, “neurônios e lógica de saída de decisão, um armazenamento de memória, células solares para autonomia de energia e mais. Cada CogniSensor de preferência apresenta memórias de aprendizado associativas reativas (REALM) dispostas em paralelo. De acordo com uma modalidade da presente invenção, CogniMem são suscetíveis de identificação de configurações sem quaisquer instruções de computador, quer digitais quer analógicas.

A CogniMem pode compreender um ou mais neurônios, que são memórias associativas acessíveis em paralelo que podem reagir a configurações de entrada similares ao seu próprio conteúdo. Os neurônios podem reagir individual ou coletivamente pelo reforçar sua resposta baseado sobre a resposta de outros neurônios vizinhos. Esta seleção pode ser efetuada através de uma linha de entrada Inibitória/ Excitatória conectada com os neurônios.

O conteúdo dos neurônios de uma CogniMem constituem conhecimento. O conhecimento é um conjunto de assinaturas digitais discriminativas. O conhecimento pode ser estático (carregado uma só vez) ou dinâmico (atualizado pela reação de outros neurônios ou carregado adaptativamente à base de um conhecimento externo), porém de preferência automaticamente gerado pelo processo de aprendizagem sem a necessidade de um computador para sua realização. CogniMem depositadas sobre um mesmo substrato pode usar conhecimento idêntico ou diferente.

CogniMem pode ser depositado sobre ou embutido em (ou de outro modo acoplado com) um substrato como parte de um CogniSensor ou independente. No primeiro caso, CogniMem é tipicamente dedicada a reconhecer dados pixel transmitidos por um elemento fotossensível. Na última hipótese, CogniMem pode ser usado para apoiar outros CogniMems e pode se usado, por exemplo, para reconhecer diferentes tipos de dados transmitidos pelas outras unidades CogniMem (por exemplo, para consolidar um padrão de respostas de múltiplos Cognisensores).

As patentes e pedidos de patente publicados enumerados a seguir, o inteiro conteúdo das quais é aqui incorporado a título de referência, descrevem vários aspectos de redes de neurônios e neurais aplicáveis a CogniMems e CogniSensores - patentes US 5.621.863 (Neurõn Circuit); 5.717.832 (Improved neuron circuit architecture); 5.701.397 (circuito for precharging a free neuron circuit; 5.710.869 Daisy-Chain circuit for serial connection of neuron circuits; 5.740.326 Circuit for searching/sorting data in neural networks 6.332.137 (Parallel associativo mernory for a stand-alone hardware recognition); 6.606.614 (Singie wire search and sort); pedido de patente Japanesa JPB-171543 (Daisy-Chain oircuit for serial connection of neuron circuits); JP8-171642 (Advanced loading circuit); JP8-171541-Aggregation Circuit (Search/Sort); JP8-171540 Neural Network and Neural chip; JP8069446 (Neuron circuit architecture); pedido de patente koreano KR164943 (Innovative neuron circuit architecture); patentes Européias EP0694852 (Innovative neuron circuit architecture); EP0694854 (Improved neural semiconductor chips architecture); EP0694855 (Search/Sort of neural networks); EP0694853 (Circuit for pre-charging the input vector components in a free neuron circuit during the recognition phase); EP0694856 (Daisy-Chain circuit for serial connection of neuron circuits; pedido de patente Canadense CA2149478 (Improved neuron circuit architecture); patente Canadense CA2149479 (Improved neural semiconductor chip architecture).

O número de neurônios implementado em uma CogniMem pode variar de 1 a N, com N teoricamente ilimitado devido à arquitetura da célula de neurônio. Atualmente, N pode ser tão alto quando cerca de 1000. Genericamente, N é determinado pela aplicação e particularmente, a partir da diversidade de padrões a ser identificada e o tipo de decisões a transmitir. A7

CD queles versados na técnica reconhecerão a tecnologia de silício pode ser um fator significativo determinando o número de neurônios que pode ser fornecido por área unitária.

Uma configuração típica de um dispositivo identificador de ima5 gens de acordo com uma modalidade da presente invenção é ilustrada nas figuras 1A e 1B. A figura 1A) é uma vista superior do dispositivo 100, que inclui um substrato 102 que pode ser produzido de um número de materiais transparentes ou semitransparentes tais como de vidro, plexiglass, plásticos transparentes, etc. Um ou mais CogniSensors 104 (neste caso, por exemplo, um conjunto) pode ser embutido no substrato 102 ou, neste caso, afixado ou colado ou de outro modo acoplado com uma superfície do substrato 102 (ver a figura 1B). Um trajeto óptico pode ser atacado ou depositado em fronte de cada elemento fotossensível sobre o substrato. Por exemplo, o substrato 102 pode ser quimicamente atacado no local dos CogniSensores 104 de maneira a criar lentes 102a para cada CogniSensor 104. Alternativamente, uma micro lente 102a pode ser inserida no substrato 102 (fig. 2) ou colada (figs. 3A-B) sobre o substrato 102 em fronte dos elementos fotossensíveis. Outra opção pode ser alterar o substrato para variar o índice reflexivo da parte do substrato próxima a cada sensor, para focalizar a luz incidente.

Como mostrado na figurai B, a luz incidente é focalizada sobre cada CogniSensor 104 pelas lentes do substrato 102a.

A pluralidade de lentes 102a permite os CogniSensores 104 a cobrir uma variedade de campos de visão, de preferência igual a superfície do substrato porém também possível cobrir campos de visão mais estreitos 25 ou maiores que o campo de visão igual à superfície do substrato. As micro lentes 102a convertem o conjunto de Cognisensores 104 em um dispositivo de percepção de imagem telecêntrico com uma superfície e visão ilimitada.

A figura 2 é uma vista superior de um dispositivo formador de imagem monolítico de acordo com outra modalidade da presente invenção.

Como mostrado, as lentes 102a são embutidas no substrato 102 e posicionadas sobre cada CogniSensor 104. Como um exemplo de uma aplicação do dispositivo formador de imagem, fragmentos de DNA 202 são mostrados

G) sendo posicionados sobre a superfície do substrato 102. Cada Cognisensor

104 podería ser configurado para identificar individualmente, ou em colaboração com Cognisensores adjacentes 014, um fragmento de DNA específico e emitir um sinal quando aquele fragmento é identificado.

As figuras 3A-B ilustram uma modalidade típica de um Cognisensor individual 104. Como mostrado na figura 3A, uma área de neurônios concentrada 104a circunda uma região detectora de pixel 104b. Os neurônios na área de neurônios 104a podem ser acoplados com elementos sensores na área de pixel 104b e podem ser configurados para identificar padrões detectados pela área de pixel 104b. Como mostrado na figura 3B, uma lenta convexa ou micro lente 102a é posicionada sobre a área de pixel 104b sobre a superfície de um substrato 102 para focalizar a luz incidente sobre a área de pixel 104b ou conectada diretamente com o sensor sem um substrato intermediário. As lentes 102a poderíam, por exemplo, ser quimicamente depositadas sobre o substrato por meios convencionais.

A figura 4 é um diagrama em blocos funcional de um CogniSensor típico de acordo com uma modalidade da presente invenção. O CogniSensor 104 inclui um sensor ou região sensora 402, lógica de apresentação de dados 404, uma rede neural 406, e lógica de decisão local 408. O sensor 402 pode incluir um ou mais elementos de detecção, tais como elementos fotossensíveis. A lógica de apresentação de dados 404 é acoplada com a região de detecção 402 e a rede neutral 406 e é configurada para apresentar a saída de dados dos sensores aos neurônios de uma maneira apropriada para processamento. Os neurônios 406 são ou se tornam instruídos com conhecimento e podem processar entradas de dados em neurônios 406 da lógica de apresentação 404, e emitir dados processados para lógica de decisão local 408, que toma uma decisão baseada sobre os dados processados. A lógica de decisão iocal 408 pode ser acoplada com outros CogniSensores por vários processos conhecidos. Por conseguinte, os CogniSensores 104 podem ser dispostos em conjuntos e agrupamentos de conjuntos.

As figuras 5A e 5B mostram esquemas de conjuntos de Cognisensores. Como mostrado na figura 5A, cada CogniSensor 104 pode ser φ

acoplado com uma pluralidade de Cognisensores 104 para formar um conjunto 502. Como descrito abaixo, buses de entrada e saída podem ser utilizados para acoplamento de sensores em série ou em paralelo.

Como mostrado na figura 5B, cada conjunto 502 pode ser acoplado com uma pluralidade de conjuntos 502 para formar um banco de conjuntos 504. Pelo dispor bancos de conjuntos de Cognisensores 104, um dispositivo de identificação extremamente potente é produzido, que tanto é de alta definição como de alta velocidade. Isto é, a resolução do dispositivo formador de imagem pode ser aumentada pelo aumentar o número de sensores. Todavia, pelo proporcionar capacidade de decisão local robusta na forma de CogniMem, o aumento no número de CogniSensores não reduz a velocidade de processamento do dispositivo. Outrossim, será compreendido que os conjuntos podem ser organizados em muitas geometrias diferentes que a invenção não está limitada a conjuntos retangulares.

Como acima mencionado, cada neurônio pode ser acoplado com uma pluralidade de entradas 1-n, que podem ser, por exemplo, entradas multiplexadas, porém não está a isto limitado. A figura 6A é uma representação de um neurônio munido de múltiplas entradas, que é simplificado na figura 6B. Por conseguinte, um conjunto de neurônios ode ser montado usando um barramento de entrada 602 (inexiste barramento 602 na figura 6C) como mostrado na arquitetura paralela simples na figura 6C. Cada saída dos neurônios 406 pode ser conectada com um barramento de decisão global 406.

A figura 7 é um diagrama em blocos funcional de um neurônio típico de acordo com uma modalidade da presente invenção. A finalidade dos neurônios organizados como uma rede de expansão ilimitada é aprender e lembrar vetores digitais ou assinatura (o padrão). As assinaturas digitais são essencialmente distribuições espaciais de intensidade de luz codificadas por um processo de redução de dados. Os neurônios podem ser conectados em paralelo como representado na figura 6C, que significa que todas as entradas de neurônios são conectadas em paralelo assim com todas as suas saídas.

φ

Os sinais de dados podem ser introduzidos a partir de um barramento de entrada multiplexado (não mostrado) convertidos no neurônio 700. Uma multiplexador de aprendizado 702 pode dividir os sinais de entrada multiplexados e transmitir os sinais de dados de entrada em uma memó5 ria de renovação de neurônios 704 e um elemento lógico associativo 706. A memória de renovação de neurônio 704 processa os sinais de entrada e emite sinais processados para o elemento lógico associativo 706. O elemento lógico associativo 706 inclui um elemento decisório de fator de semelhança 706a.

Cada neurônio pode receber um padrão irradiado (isto é, vetor representando um assinatura digital dos dados de sensor) gerado pela lógica de apresentação de dados 404. Este padrão irradiado pode ser um transformação (redução de dados) de dados gerados pelo sensor quer instantânea, quer no domínio temporal.

Um neurônio tem três possíveis estados cronológicos subseqüentes: inativo, pronto para aprender (RTL) e subseqüentemente engajado. Pelo menos um neurônio está no estado RTL todo o tempo exceto se a rede está lotada (isto é, todos os neurônios comprometidos). Caso considere-se todos os neurônios ligados em paralelo como formando uma cadeia, o neu20 rônio RTL pode passar da primeira posição da cadeia para a última posição. No contexto desta representação, o neurônio tipicamente estará no lado direito do neurônio comprometido e o neurônio inativo estará no lado direito do neurônio RTL.

Quando um neurônio está inativo, não reagirá a qualquer padrão entrante. Um neurônio RTL carregará o padrão entrante em sua memória de renovação de maneira a aprender o mesmo caso o processo do usuário assim o decidir. Este neurônio RTL não terá qualquer participação no processo de identificação, porém, será dedicado a construir novos conhecimentos enquanto aprendendo.

O processo de aprendizado inclui criar novo conhecimento quando um padrão desconhecido ocorre e o usuário decide aprender o mesmo. Esta adição de conhecimento se processará no neurônio RTL. Além de criar um novo conhecimento, os neurônios comprometidos, que possivelmente identificarão erroneamente um padrão entrante (isto é, deixa de efetuar sua associação com a categoria correta) reduzirá o domínio de similaridade para evitar sua classificação errônea adicional. Isto causa a modifi5 cação do conhecimento ou um aprendizado adaptável.

Fotoelementos podem emitir um valor radiométrico digitalizado.

A combinação de todos os valores através de uma distribuição espacial forma um padrão; este padrão também pode evoluir no domínio temporal e gerar um fluxo de padrão. Este padrão passa através de um processo de redu10 ção de dados que conduz à assinatura digital (vetor) do padrão radiométrico.

O processo de redução não deve exceder o que se designada de matriz de discriminação mínima descrita abaixo. Por exemplo, com uma matriz 5x7, é possível discriminar todos os caracteres maiúsculos Europeus, porém, não um caractere chinês Kanji, para o qual uma matriz 16x16 se faz necessária.

Um neurônio comprometido aprende um padrão quando está no estado RTL, pelo associar o vetor carregado na memória de renovação 704 com uma categoria mantida no registro de categoria 709. Quando o padrão entrante introduz um neurônio ativo comprometido no multiplexador de aprendizado/reco 702 permitirá sua transmissão para a lógica associativa 706 para este padrão ter sua similaridade avaliada n sentido do vetor armazenado na memória de renovação 74. Se a similaridade calculada comprova ser menor ou igual ao fator de similaridade 706a, o neurônio será excitado e por conseguinte sinalizado através da lógica 712. A função da lógica excitadora/inibidora é efetuar um arbitramento global quando muitos neurônios se tornam excitados, dentre todos os neurônios comprometidos (isto é, excitados) e inibirá aqueles neurônios que não possuem a similaridade ideal. Região de Interesse

Cada CogniSensor pode ser associado com uma região de interesse (ROI) para um quadro de vídeo. Cada CogniSensor pode extrair uma assinatura do ROI para irradiar seus neutrônios (para fins de aprendizado ou de identificação). A assinatura do ROI é um formato comprimido de seus valores pixel reduzido para se ajustar em uma sequência de N valores com

N sendo a dimensão das células de memória de neurônio.

Veja-se o exemplo onde um neurônio é dotado de uma capacidade de memória de 256-bytes. Um CogniSensor pode classificar um ROI retangular de N χ M pixels. A assinatura ROI será reduzida de N χ M valores para 256 valores, por exemplo, por simples compressão de bloco.

Cognisensores podem ser configurados para processar RÓIS de qualquer formato, e uma seção de extrações de assinatura pode ser de aplicação específica (e.g., inspeção parcial, inspeção de superfície, identificação de face, rastreamento de alvo, etc.). Algumas extrações de assinatura po10 dem integrar tempo, repetitividade, etc. Também, neurônios podem ser munidos de células maiores que 8-bit para acomodar entradas provenientes de sensores com definição de pixel de 12-bit ou maiores.

A combinação dos neurônios juntamente com o sensor e a lógica de apresentação de dados constitui uma abordagem totalmente nova pa15 ra definição de imagem embutida sem qualquer software necessário para o processo quer de aprendizado quer de identificação.

O endereçamento da CogniMem pode ser de travessia ou seletivo (tal como conduzido pela resposta de outras unidades de CogniMem).

Deve ser entendido que um substrato alojando CogniSensor(s) 20 serve não só como um suporte mecânico, mas, também como um lente (ver, e.g., Figuras 1-2). O substrato pode, porém, pode sem estar limitado a ser rígido ou flexível, plano ou curvo, produzido de vidro, plexiglass, plástico, Mylar ou de outro material.

A conectividade entre CogniSensores e unidades de CogniMem 25 sobre um mesmo substrato, de preferência deve utilizar um número mínimo de fio.

O conhecimento carregado nos Cognisensores pode de preferência se endereçar à identificação de diferentes famílias de padrões, quer relacionados quer não.

Exemplos

De acordo com uma modalidade da presente invenção, os Cognisensores são ideais para a realização de inspeção durante um processo <D de fabricação automatizado. Como mostrado na figura 8, um ou mais CogniSensores poderíam ser usados para inspecionar uma garrafa d’água. No presente exemplo, três diferentes CogniSensores são usados para inspecionar três diferentes regiões designadas de Perícia 1 - 3. A resposta global pode depender das respostas combinadas dos três CogniSensores Peritos.

No presente exemplo, CogniSensor 1 (Perito 1) pode ser dirigido para classificar assinaturas do ROI contendo a tampa da garrafa 802. O CogniSensor 1 pode classificar o seu ROI em 2 categorias. Boa e Deficiente. A categoria Deficiente pode combinar vários casos: ausência da tampa ou a 10 tampa incorretamente atarraxada.

De maneira similar, o CogniSensor 2 (Perito 2) pode aprender assinaturas do ROI atravessando a linha de fluido na garrafa 804. O ROI pode ser um estreito retângulo vertical e idealmente cobriría os níveis de enchimento mínimo e máximo possível na garrafa. Dependendo dos critérios 15 de controle de qualidade do fabricante, o CogniSensor 2 pode classificar o seu ROI em qualquer número de categorias, por exemplo, Aceitável e Inaceitável, Demasiadamente Alto, Alto porém Aceitável, Dentro do Normal, Baixo porém Aceitável, Demasiadamente Baixo.

O CogniSensor 3 (pode aprender assinaturas da região de inte20 resse cobrindo a área do rótulo 806. O CogniSensor 3 pode ser treinado para identificar uma diversidade de casos ou combinação de casos tal como, por exemplo: Falta do Rótulo, Rótulo Defeituoso (roto, arranhado ou dobrado), rótulos erroneamente posicionados (invertido, inclinado) e Satisfatório.

Uma saída do CogniSensores 1-3 podería ser prevista para o 25 controlador associado com o processo de manufatura automatizado para tomar a ação apropriada baseado sobre as decisões determinadas dessa maneira.

De acordo com uma modalidade da presente invenção, os CogniSensores podem ser individualmente acondicionados para formar um foto30 célula inteligente ou microlente inteligente. Um dispositivo deste tipo tem aplicação a um grande número de tecnologias e podería ser usado, por exemplo, para detectar partes móveis ou direcionar partes moveis em um proces14 (9 so de montagem inteligente (fig. 9A); para identificação biométrica, tal como um telefone celular com câmera (fig.9B), ou para detecção de visitantes e identificação em um olho mágico ou vigia de porta ou semelhante (fig. 9C).

De acordo com outra modalidade da presente invenção, um sis5 tema de detecção de estado consciente de motorista é apresentado. Reportando-se à figura 10, um ou mais CogniSensores 104 podem ser embutidos em um pára-brisa (de automóvel), display para painel de instrumentos, ou farol de um veículo motor. Cognisensores 104 podem ser instruídos para identificar padrões que indicam quando a atenção de um motorista está em declínio (e.g. o motorista está sonolento e emitir um sinal para disparar um alarme. Os ditos padrões poderíam incluir rastreamento do olhar, identificação da face, identificação da expressão facial e outros. Outrossim, os CogniSensores 104 em um pára-brisa ou farol poderíam ser instruídos para identificar objetos ou eventos xterioress ao veículo, tal como para identificar go15 tas de chuva com um sistema limpador de pára-brisa ou riscos de rodovia para um sistema de alerta para riscos de rodovia.

A detecção de um objeto que pode se apresentar aleatoriamente no campo de visão pode ser realizada de uma variedade de maneiras. Por exemplo, dois ou três sensores podem ser guarnecidos de lentes para foca20 lização a diferentes distâncias. Os sensores podem ser carregados com as mesmas instruções, porém trabalham sobre regiões de interesse com diferentes dimensões. A resposta global do sistema de identificação pode ser considerada positiva se pelo menos um sensor identifica o objeto.

Também, CogniSensores podem construídos com sensores de 25 entrada sensíveis a diferentes comprimentos de onda tal como Próxima de Infravermelho, Infravermelho, de cor filtrada, etc. Para um objeto ou cena dada, os ditos CogniSensores produzirão diferentes valores de pixel porém podem ser treinados na sua respectiva imagem de vídeo para identificar as categorias de objeto. No rastreamento de alvo a combinação de radiação 30 próxima ao infravermelho próximo (near IR) e CogniSensores de Infravermelho conferirá a faculdade para identificar um alvo a qualquer hora do dia.

De acordo com outra modalidade da presente invenção, conjun15 tos de CogniSensores podem ser usados em muitas outras aplicações de fabricação. Por exemplo, como mostrado na figura 11 A, um conjunto unidimensional de CogniSensores 1102 pode ser usado para inspeção de vidros float (Glass floats) 1103 em um processo de fabricação. Como mostrado na figura 11B, um conjunto bidimensional de CogniSensores 1104 pode ser usado para a detecção da presença de contaminantes no fundo de recipientes 1105, tais como garrafas de bebida. Nas ditas aplicações, cada CogniSensor pode ser preparado ou instruído para identificar padrões que indicam defeitos no vidro ou a presença de contaminantes em um fluido.

De acordo com outra modalidade da presente invenção, CogniSensores podem ser distribuídos através de um plano de vidro ou semelhantes, para desempenhar múltiplas funções independentes. Os cognisensores podem ser agrupados e munidos de instruções diferentes por grupo. A figura 12 mostra a título de exemplo uma porta de vidro corrediça 1202 que inclui vários grupos de CogniSensores 1204 para detectar a aproximação de objetos de diferentes tamanhos. Um primeiro grupo podería ser instruído e munido de conhecimento para identificar um primeiro tamanho 1208 de ser humano ou animal (e.g. cachorro), ao passo que um segundo grupo pode ser instruído para uma pessoa de tamanho diferente (e.g. um menino) 1210, um terceiro grupo para pessoa de outro tamanho (e.g. um adulto) 1212, e assim por diante. Cada gruo 1204 podería ser acoplado com um ou mais CogniSensores 1206 para controle da porta corrediça.

Como deve ser evidente aqueles versados na técnica após o exame do documento de patente, o dispositivo de formação de imagem da presente invenção podería ser útil em inúmeras outras aplicações que deixam de ser relacionadas aqui. Por exemplo, outra aplicação inclui a detecção de danos permanentes (alteração de textura) em represas, pontes ou outras construções humanas. A implementação da dita aplicação deve se evidenciar da descrição acima de modalidades de realização da presente invenção. Alem disso, a transmissão de energia e de sinais podería ser semfio (e.g., infravermelho, fotocélula, circuito de indução, etc.).

Assim, um número de modalidades preferenciais foi detalhada(D mente descrito acima com referência às figuras do desenho. Embora a invenção tenha sido descrita baseada sobre estas modalidades preferenciais, seria evidente aqueles versados na técnica que determinadas modificações, variações, e construções alternativas podem ser realizadas com as modali6 dades descritas dentro do espírito e âmbito da invenção.

Claims

REIVINDICAÇÕES

1. Dispositivo de reconhecimento de imagem (100) caracterizado por:

um elemento de detecção (104b, 402) embutida em ou posicionado em um substrato (102) transparente ou semitransparente; e um elemento de processamento (104a, 406, 700) acoplado com o elemento de detecção, o referido elemento de processamento (104a, 406, 700)sendo embutido em ou posicionado no substrato (102);

onde o substrato (102) transparente ou semitransparente constitui uma interface óptica entre a imagem incidente a ser detectada e o elemento de detecção.
2. Dispositivo de reconhecimento de imagem (100), de acordo com a reivindicação 1, caracterizado pelo fato de que o elemento de detecção é transparente ou semitransparente.
3. Dispositivo de reconhecimento de imagem (100), de acordo com a reivindicação 1, caracterizado pelo fato de que o substrato (102) compreende vidro, plexi-vidro ou outro material transparente.
4. Dispositivo de reconhecimento de imagem (100), de acordo com a reivindicação 1, caracterizado pelo fato de que o elemento de detecção compreende um ou mais elementos fotossensíveis (104b, 402) e o elemento de processamento inclui um ou mais elementos de memória (104a, 406, 700), em que cada elemento fotossensível é configurado para emitir um sinal baseado na luz recebida em uma entrada, e cada um dos elementos de memória é configurado para reconhecer um padrão de sinais que são emitidos dos elementos fotossensíveis.
5. Dispositivo de reconhecimento de imagem (100), de acordo com a reivindicação 4, caracterizado pelo fato de que os elementos de memória são passíveis de treinamento.
6. Dispositivo de reconhecimento de imagem (100), de acordo com a reivindicação 4, caracterizado pelo fato de que cada um dos elemenPetição 870180147284, de 01/11/2018, pág. 5/14 tos de memória compreende uma pluralidade de neurônios (406, 700) acoplados em um lado de entrada do mesmo por um barramento de entrada multiplexada e em um lado de saída do mesmo por um barramento de saída, cada neurônio sendo ensinado com um conhecimento, o dito conhecimento permitindo ao neurônio correspondente reconhecer um sinal e tomar uma decisão.
7. Dispositivo de reconhecimento de imagem (100), de acordo com a reivindicação 1, caracterizado pelo fato de que o substrato (102) possui uma pluralidade de porções de lentes (102a), cada porção de lente proporcionando uma interface ótica com um pixel de detecção ou área de pixel do dispositivo de reconhecimento de imagem.
8. Dispositivo de reconhecimento de imagem (100), de acordo com a reivindicação 7, caracterizado pelo fato de que cada porção de lente é formada pela gravação do substrato (102).
9. Dispositivo de reconhecimento de imagem (100), de acordo com a reivindicação 1, caracterizado pelo fato de que inclui uma pluralidade de elementos de detecção organizados em uma matriz (502).
10. Dispositivo de reconhecimento de imagem (100), caracterizado por:

um substrato (102) transparente ou semitransparente; e uma pluralidade de sensores cognitivos (104) posicionados no substrato, cada sensor compreendendo:

um elemento fotossensível (104b, 402) posicionado no substrato; e uma célula de memória passível de treinamento (104a, 406, 700) associada ao elemento fotossensível e posicionada no substrato;

em que o substrato (102) compreende uma pluralidade de interfaces ópticas, cada uma opticamente acoplada com uma correspondente da pluralidade de sensores cognitivos.
11. Dispositivo de reconhecimento de imagem (100), de acordo com a reivindicação 10, caracterizado pelo fato de que as interfaces ópticas são lentes (102a) formadas pela gravação do substrato em uma posição próxima de cada sensor cognitivo.

Petição 870180147284, de 01/11/2018, pág. 6/14
12. Dispositivo de reconhecimento de imagem (100), de acordo com a reivindicação 10, caracterizado pelo fato de que cada sensor cognitivo é passível de treinamento e configurado para reconhecer padrões baseados em luz incidental.
13. Dispositivo de reconhecimento de imagem (100), de acordo com a reivindicação 10, caracterizado pelo fato de que cada célula de memória treinável compreende uma pluralidade de neurônios (406, 700) acoplados em um lado de entrada do mesmo por um barramento de entrada multiplexada e em um lado de saída do mesmo por um barramento de saída, cada neurônio sendo ensinado com um conhecimento, o dito conhecimento permitindo o neurônio correspondente reconhecer um sinal e tomar uma decisão.
14. Dispositivo de reconhecimento de imagem (100), de acordo com a reivindicação 10, caracterizado pelo fato de que o substrato (102) compreende vidro, plexi-vidro ou outro material transparente.
15. Dispositivo de reconhecimento de imagem (100), de acordo com a reivindicação 13, caracterizado pelo fato de que cada célula de memória treinável é ensinada a reconhecer uma porção diferente de uma imagem, e a dita pluralidade de células de memória treinável são configuradas para operar coletivamente para reconhecer a imagem.
16. Dispositivo de reconhecimento de imagem (100), de acordo com a reivindicação 15, caracterizado pelo fato de que os sensores cognitivos são configurados para emitir um sinal após o reconhecimento da imagem.
17. Dispositivo de reconhecimento de imagem (100), de acordo com a reivindicação 10, caracterizado pelo fato de que os sensores cognitivos operam em paralelo em frequências baixas.
18. Dispositivo de reconhecimento de imagem (100), de acordo com a reivindicação 10, caracterizado pelo fato de que os sensores cognitivos operam sob uma corrente baixa.
19. Dispositivo de reconhecimento de imagem (100) caracterizado por:

um substrato (102) transparente ou semitransparente;

uma pluralidade de sensores cognitivos (104) configurados para

Petição 870180147284, de 01/11/2018, pág. 7/14 detectar padrões de luz incidente e emitir um sinal baseado em padrões detectados, os sensores cognitivos sendo embutidos no substrato; e em que o substrato (102) provê uma interface óptica aos sensores cognitivos;

em que cada um dos sensores cognitivos compreende:

um elemento fotossensível (104b, 402) embutido no substrato; e uma célula de memória treinável associada (104a, 406, 700) com o elemento fosso-sensível e embutido no substrato.
20. Dispositivo de reconhecimento de imagem (100), de acordo com a reivindicação 19, caracterizado pelo fato de que cada elemento fotossensível (104b, 402) é um fotodetector;

em que cada um fotodetector é configurado para emitir um sinal baseado em uma luz recebida em uma entrada e cada célula de memória treinável é configurada para reconhecer um padrão a partir dos sinais emitidos dos fotodetectores.
21. Dispositivo de reconhecimento de imagem (100), de acordo com a reivindicação 19, caracterizado pelo fato de que o substrato compreende uma pluralidade de lentes (102a) formadas no substrato.
22. Dispositivo de reconhecimento de imagem (100), de acordo com a reivindicação 19, caracterizado pelo fato de que cada uma das células de memória treinável compreende uma pluralidade de neurônios (406, 700) acoplados em um lado de entrada do mesmo por um barramento de entrada multiplexada e em um lado de saída do mesmo por um barramento de saída, cada neurônio sendo ensinado com um conhecimento, o dito conhecimento permitindo o neurônio correspondente reconhecer um sinal e tomar uma decisão.
23. Dispositivo de reconhecimento de imagem (100), de acordo com a reivindicação 19, caracterizado pelo fato de que os sensores cognitivos realizam operações digitalmente sem um programa de software através de uma pluralidade de elementos paralelos (406, 700), cada um tendo um comportamento autônomo em si próprio.
24. Dispositivo de reconhecimento de imagem (100), de acordo

Petição 870180147284, de 01/11/2018, pág. 8/14 com a reivindicação 1, caracterizado pelo fato de que é configurado para emitir um sinal de saída sem fio.
25. Dispositivo de reconhecimento de imagem (100), de acordo com a reivindicação 10, caracterizado pelo fato de que cada sensor cognitivo é configurado para emitir e receber sinais sem fio.
26. Dispositivo de reconhecimento de imagem (100), de acordo com a reivindicação 19, caracterizado pelo fato de que os sensores cognitivos são configurados para enviar e receber sinais sem fio.
27. Dispositivo de reconhecimento de imagem (100), de acordo com a reivindicação 1, caracterizado pelo fato de que é acionado sem fio.
28. Dispositivo de reconhecimento de imagem (100), de acordo com a reivindicação 10, caracterizado pelo fato de que é acionado sem fio.
29. Dispositivo de reconhecimento de imagem (100), de acordo com a reivindicação 19, caracterizado pelo fato de que é acionado sem fio.
30. Dispositivo de reconhecimento de imagem (100), caracterizado por:

um substrato (102) transparente ou semitransparente;

neurônios (406, 700) embutidos em ou posicionados no substrato; um sensor (104b, 402) embutido em ou posicionado no substrato;

e lógica (404) embutida em ou posicionada no substrato, em que a lógica é configurada para apresentar dados do sensor para os neurônios.
31. Método de reconhecimento de imagem caracterizado por: usar uma pluralidade de sensores (104) para detectar padrões de luz incidente e emitir um sinal baseado nos padrões detectados; e usar um substrato (102) transparente ou semitransparente para prover uma interface óptica aos sensores cognitivos;

em que cada um dos sensores cognitivos compreende:

um elemento fotossensível (104b, 402) embutido em ou depositado no substrato; e uma célula de memória treinável (104a, 406, 700) associada ao elemento fotossensível e embutida em ou depositada no substrato.

Petição 870180147284, de 01/11/2018, pág. 9/14
32. Método de reconhecimento de imagem, de acordo com a reivindicação 31, caracterizado pelo fato de que cada elemento fotossensível (104b, 402) é um fotodetector, em que cada fotodetector é configurado para emitir um sinal baseado na luz recebida em uma entrada, e cada célula de memória treinável é configurada para reconhecer um padrão de sinais que são emitidos dos fotodetectores.
33. Método de reconhecimento de imagem, de acordo com a reivindicação 31, caracterizado pelo fato de que usar o substrato para prover a interface ótica compreende usar uma pluralidade de lentes (102a) formada em ou depositada no substrato como parte de meios de interface óptica.
34. Método de reconhecimento de imagem, de acordo com a reivindicação 32, caracterizado pelo fato de que cada uma das células de memória treináveis compreende uma pluralidade de neurônios (406, 700) acoplados em um lado de entrada do mesmo por um barramento de entrada multiplexada e em um lado de saída do mesmo por um barramento de saída, cada neurônio sendo ensinado com um conhecimento, o dito conhecimento permitindo o neurônio correspondente reconhecer um sinal e tomar uma decisão.
35. Método de reconhecimento de imagem caracterizado por: utilizar uma pluralidade de interfaces óticas incorporadas em ou providas em um substrato (102) transparente ou semitransparente para proporcionar um percurso ótico a uma pluralidade de elementos sensores (104b, 402) embutidos ou proporcionados no substrato, e processar em sinais paralelos gerados a partir da pluralidade de elementos sensores em uma pluralidade de elementos de processamento (104a, 406, 700), cada um acoplado a um dos elementos sensores e cada um embutido ou provido no substrato.