BR112021013986A2

BR112021013986A2 - SYSTEM AND METHOD FOR OBJECT RECOGNITION AND COMPUTER PROGRAM PRODUCT

Info

Publication number: BR112021013986A2
Application number: BR112021013986-9A
Authority: BR
Inventors: Yunus Emre Kurtoglu; Matthew Ian CHILDERS
Original assignee: Basf Coatings Gmbh
Priority date: 2019-03-01
Filing date: 2020-02-21
Publication date: 2021-09-21
Also published as: EP3931750A1; CA3125937A1; CN113474791A; KR20210127951A; WO2020178052A1; SG11202107525QA; TW202103107A; MX2021010582A; JP2022522822A; AU2020230852A1

Abstract

sistema e método para reconhecimento de objetos, e, meio de armazenamento legível por computador. a invenção refere-se a um método e um sistema para reconhecimento de objetos através de um aplicativo de visão computacional, o sistema (100) compreendendo pelo menos os seguinte componentes: - um objeto (130) a ser reconhecido, o objeto tendo um padrão espectral de luminescência específico de objeto, - uma fonte de luz (110) que é composta de pelo menos dois iluminantes (111, 112, 113, 114, 115) e é configurada para iluminar uma cena incluindo o objeto a ser reconhecido ao comutar entre os dois iluminantes, - um sensor (120) que é configurado para capturar os dados de radiância da cena incluindo o objeto quando a cena é iluminada pela fonte de luz, - uma unidade de armazenamento de dados (150) que compreende padrões espectrais de fluorescência juntamente com os respectivos objetos apropriadamente atribuídos, - uma unidade de processamento de dados (140) que é configurada para extrair o padrão espectral de fluorescência específico do objeto fora dos dados de radiância da cena e para corresponder ao padrão espectral de fluorescência específico do objeto extraído com os padrões espectrais de fluorescência armazenados na unidade de armazenamento de dados, e para identificar um padrão espectral de fluorescência mais compatível e, portanto, seu objeto atribuído.system and method for object recognition, and computer-readable storage medium. the invention relates to a method and a system for recognizing objects through a computer vision application, the system (100) comprising at least the following components: - an object (130) to be recognized, the object having a pattern object-specific luminescence spectral, - a light source (110) that is composed of at least two illuminants (111, 112, 113, 114, 115) and is configured to illuminate a scene including the object to be recognized by switching between the two illuminants, - a sensor (120) which is configured to capture the radiance data of the scene including the object when the scene is illuminated by the light source, - a data storage unit (150) which comprises fluorescence spectral patterns together with respective appropriately assigned objects, - a data processing unit (140) that is configured to extract the object-specific fluorescence spectral pattern out of the scene radiance data and to match the extracted object-specific fluorescence spectral pattern with the fluorescence spectral patterns stored in the data storage unit, and to identify a most compatible fluorescence spectral pattern and therefore its assigned object.

Description

1 / 32 SISTEMA E MÉTODO PARA RECONHECIMENTO DE OBJETOS, E,1 / 32 SYSTEM AND METHOD FOR OBJECT RECOGNITION, AND,

COMPUTER READable STORAGE MEDIA

[001] A presente invenção refere-se a um método e um sistema para reconhecimento de objetos através de um aplicativo de visão computacional.[001] The present invention relates to a method and a system for object recognition through a computer vision application.

[002] A visão computacional é um campo em rápido desenvolvimento devido ao uso abundante de dispositivos eletrônicos capazes de coletar informações sobre seus arredores através de sensores, como câmeras, sensores de distância, como LIDAR ou radar, e sistemas de câmera de profundidade baseados em luz estruturada ou visão estéreo, para nomear alguns. Esses dispositivos eletrônicos proveem dados de imagem brutos a serem processados por uma unidade de processamento de computador e, consequentemente, desenvolvem uma compreensão de um ambiente ou uma cena usando inteligência artificial e/ou algoritmos de assistência de computador. Existem múltiplas maneiras de desenvolver essa compreensão do ambiente No geral, imagens e/ou mapas 2D ou 3D são formados, e essas imagens e/ou mapas são analisados para desenvolver uma compreensão da cena e dos objetos na cena. Uma perspectiva para melhorar a visão computacional é medir os componentes da constituição química dos objetos na cena. Embora o formato e a aparência de objetos no ambiente adquiridos como imagens 2D ou 3D possam ser usados para desenvolver uma compreensão do ambiente, essas técnicas têm algumas deficiências.[002] Computer vision is a rapidly developing field due to the abundant use of electronic devices capable of collecting information about their surroundings through sensors such as cameras, distance sensors such as LIDAR or radar, and depth camera systems based on structured light or stereo vision, to name a few. These electronic devices provide raw image data to be processed by a computer processing unit and consequently develop an understanding of an environment or a scene using artificial intelligence and/or computer assistance algorithms. There are multiple ways to develop this understanding of the environment. In general, 2D or 3D images and/or maps are formed, and these images and/or maps are analyzed to develop an understanding of the scene and objects in the scene. One perspective to improve computer vision is to measure the components of the chemical constitution of objects in the scene. While the shape and appearance of objects in the environment acquired as 2D or 3D images can be used to develop an understanding of the environment, these techniques have some shortcomings.

[003] Um desafio no campo da visão computacional é ser capaz de identificar tantos objetos quanto possível dentro de cada cena com alta precisão e baixa latência usando uma quantidade mínima de recursos em sensores, capacidade de computação, sonda de luz etc. O processo de identificação de objeto foi denominado sensoriamento remoto, identificação de objeto, classificação, autenticação ou reconhecimento ao longo dos anos. No escopo da presente descrição, a capacidade de um sistema de visão computacional identificar um objeto em uma cena é denominada como[003] A challenge in the field of computer vision is to be able to identify as many objects as possible within each scene with high accuracy and low latency using a minimal amount of resources in sensors, computing power, light probe etc. The object identification process has been termed remote sensing, object identification, classification, authentication or recognition over the years. In the scope of the present description, the ability of a computer vision system to identify an object in a scene is termed as

2 / 32 “reconhecimento de objetos”. Por exemplo, um computador analisando uma imagem parada e identificando/etiquetando uma bola nessa imagem parada, às vezes com ainda mais informações, como o tipo de uma bola (basquete, bola de futebol, beisebol), marca, o contexto, etc. se enquadra no termo “reconhecimento de objetos”.2 / 32 “object recognition”. For example, a computer analyzing a still image and identifying/labeling a ball in that still image, sometimes with even more information such as the type of a ball (basketball, soccer ball, baseball), brand, context, etc. falls under the term “object recognition”.

[004] No geral, as técnicas usadas para reconhecimento de um objeto em sistemas de visão computacional podem ser classificadas como segue: Técnica 1: Etiquetas físicas (baseadas em imagens): Códigos de barras, códigos QR, números de série, mensagem, padrões, hologramas, etc.[004] In general, the techniques used for object recognition in computer vision systems can be classified as follows: Technique 1: Physical labels (based on images): Bar codes, QR codes, serial numbers, message, patterns , holograms, etc.

[005] Técnica 2: Etiquetas físicas (baseadas em contato próximo/escaneamento): Pigmentos dependentes do ângulo de visualização, pigmentos de conversão ascendente, metacrômicos, cores (vermelho/verde), materiais luminescentes.[005] Technique 2: Physical labels (close contact/scan based): Viewing angle dependent pigments, upconverting pigments, metachromics, colors (red/green), luminescent materials.

[006] Técnica 3: Etiquetas eletrônicas (passivas): Etiquetas RFID, etc. Dispositivos ligados a objetos de interesse sem energia, não necessariamente visíveis, mas podem operar em outras frequências (rádio, por exemplo).[006] Technique 3: Electronic tags (passive): RFID tags, etc. Devices connected to objects of interest without power, not necessarily visible, but may operate at other frequencies (radio, for example).

[007] Técnica 4: Etiquetas eletrônicas (ativas): comunicações sem fio, luz, rádio, veículo a veículo, veículo a qualquer coisa (X), etc. Dispositivos acionados em objetos de interesse que emitem informações em várias formas.[007] Technique 4: Electronic tags (active): wireless communications, light, radio, vehicle to vehicle, vehicle to anything (X), etc. Devices triggered on objects of interest that emit information in various ways.

[008] Técnica 5: Detecção de recursos (baseada em imagem): Análise e identificação de imagens, isto é, duas rodas a certa distância para um carro da vista lateral; dois olhos, um nariz e uma boca (nessa ordem) para reconhecimento de rosto, etc. Isso depende de geometrias/formatos conhecidos.[008] Technique 5: Feature detection (image-based): Analysis and identification of images, ie, two wheels at a certain distance to a car from the side view; two eyes, a nose and a mouth (in that order) for face recognition, etc. This depends on known geometries/shapes.

[009] Técnica 6: Aprendizado profundo/baseado em CNN (baseado em imagens): Treinamento de um computador com muitas imagens paradas[009] Technique 6: Deep learning/CNN-based (image-based): Training a computer with lots of still images

3 / 32 de imagens etiquetadas de carros, rostos etc. e o computador determinando os recursos para detectar e prever se os objetos de interesse estão presentes em novas áreas. É necessária a repetição do procedimento de treinamento para cada classe de objeto a ser identificado.3/32 of tagged images of cars, faces, etc. and the computer determining resources to detect and predict whether objects of interest are present in new areas. It is necessary to repeat the training procedure for each object class to be identified.

[0010] Técnica 7: Métodos de rastreamento de objetos: Organizar itens em uma cena em uma ordem particular e etiquetar os objetos ordenados no início. Depois disso, seguir o objeto na cena com cores/geometria/coordenadas 3D conhecidas. Se o objeto deixar a cena e entrar novamente, o “reconhecimento” é perdido.[0010] Technique 7: Object tracking methods: Arrange items in a scene in a particular order and label the objects ordered at the beginning. After that, follow the object in the scene with known 3D colors/geometry/coordinates. If the object leaves the scene and reenters, “recognition” is lost.

[0011] A seguir, algumas deficiências das técnicas acima mencionadas são apresentadas.[0011] Below, some shortcomings of the aforementioned techniques are presented.

[0012] Técnica 1: Quando um objeto na imagem está ocluído ou apenas uma pequena porção do objeto está na vista, os códigos de barras, logotipos, etc. podem não ser legíveis. Além disso, os códigos de barras etc. em itens flexíveis pode ser distorcidos, limitando a visibilidade. Todos os lados de um objeto teriam que conter códigos de barras grandes para serem visíveis à distância, caso contrário, o objeto só pode ser reconhecido em uma faixa próxima e com a orientação correta apenas. Isso pode ser um problema, por exemplo, quando um código de barras em um objeto na prateleira em uma loja deve ser escaneado. Ao operar sobre uma cena inteira, a técnica 1 depende da iluminação ambiente que pode variar.[0012] Technique 1: When an object in the image is occluded or only a small portion of the object is in view, barcodes, logos, etc. may not be readable. Also, barcodes etc. on flexible items can be distorted, limiting visibility. All sides of an object would have to contain large barcodes to be visible from a distance, otherwise the object can only be recognized in a close range and with the correct orientation only. This can be a problem, for example, when a barcode on an object on the shelf in a store must be scanned. When operating over an entire scene, technique 1 depends on ambient lighting which may vary.

[0013] Técnica 2: Os pigmentos de conversão ascendente têm limitações nas distâncias de visualização devido ao baixo nível de luz emitida devido ao seus pequenos rendimentos quânticos. Eles exigem sondas de luz fortes. Eles são geralmente opacos e opções de limitação de partículas grandes para revestimentos. Para complicar ainda mais seu uso, está o fato de que, em comparação com a fluorescência e a reflexão da luz, a resposta de conversão ascendente é mais lenta. Embora algumas aplicações aproveitem esse tempo de resposta exclusivo dependendo do composto usado, isso só é possível[0013] Technique 2: Upconversion pigments have limitations in viewing distances due to the low level of emitted light due to their small quantum yields. They require strong light probes. They are generally opaque and large particle limiting options for coatings. Further complicating its use is the fact that, compared to fluorescence and light reflection, the upconversion response is slower. While some applications take advantage of this unique response time depending on the compound used, this is only possible

4 / 32 quando o tempo de distância de voo para esse sensor/sistema de objetos é conhecido com antecedência. Isso raramente é o caso em aplicativos de visão computacional. Por essas razões, os sensores anti-falsificação têm seções cobertas/escuras para leitura, lasers de classe 1 ou 2 como sondas e uma distância fixa e limitada do objeto de interesse para precisão.4 / 32 when the flight distance time for that sensor/object system is known in advance. This is rarely the case in computer vision applications. For these reasons, anti-spoofing sensors have covered/dark sections for reading, class 1 or 2 lasers as probes, and a fixed, limited distance to the object of interest for accuracy.

[0014] Da mesma forma, os sistemas de pigmentos dependentes do ângulo de visualização funcionam apenas em uma faixa próxima e exigem a visualização em múltiplos ângulos. Também, a cor não é uniforme para efeitos visualmente agradáveis. O espectro de luz incidente deve ser gerenciado para obter medições corretas. Dentro uma única imagem/cena, um objeto tendo revestimento de cor dependente do ângulo terá múltiplas cores visíveis para a câmera ao longo das dimensões da amostra.[0014] Likewise, viewing angle dependent pigment systems only work in a close range and require viewing at multiple angles. Also, the color is not uniform for visually pleasing effects. The incident light spectrum must be managed to obtain correct measurements. Within a single image/scene, an object having angle-dependent color coating will have multiple colors visible to the camera along the dimensions of the sample.

[0015] Os reconhecimentos baseados em cores são difíceis porque a cor medida depende parcialmente das condições de iluminação do ambiente. Portanto, há uma necessidade de amostras de referência e/ou condições de iluminação controladas para cada cena. Sensores diferentes também terão capacidades diferentes para distinguir cores diferentes e serão diferentes de um tipo/fabricante de sensor para outro, necessitando de arquivos de calibração para cada sensor.[0015] Color-based recognitions are difficult because the measured color partially depends on the ambient lighting conditions. Therefore, there is a need for reference samples and/or controlled lighting conditions for each scene. Different sensors will also have different capabilities to distinguish different colors and will differ from one sensor type/manufacturer to another, requiring calibration files for each sensor.

[0016] O reconhecimento baseado em luminescência sob a iluminação ambiente é uma tarefa desafiadora, pois os componentes reflexivos e luminescentes do objeto são adicionados juntos. Normalmente, o reconhecimento baseado em luminescência utilizará, em vez disso, uma condição de medição escura e um conhecimento hipotético da região de excitação do material luminescente para que a sonda/fonte de luz correta possa ser usada.[0016] Recognition based on luminescence under ambient lighting is a challenging task as the reflective and luminescent components of the object are added together. Typically, luminescence-based recognition will instead utilize a dark measurement condition and a hypothetical knowledge of the excitation region of the luminescent material so that the correct probe/light source can be used.

[0017] Técnica 3: Etiquetas eletrônicas, como etiquetas RFID, requerem a fixação de um circuito, coletor de energia e antena ao item/objeto de interesse, adicionando custo e complicação ao design. As etiquetas RFID[0017] Technique 3: Electronic tags, such as RFID tags, require attaching a circuit, energy collector, and antenna to the item/object of interest, adding cost and complication to the design. RFID tags

5 / 32 proveem informações do tipo presente ou não, mas não informações de localização precisas, a menos que sejam usados muitos sensores na cena.5 / 32 provide information such as present or not, but not accurate location information, unless many sensors are used in the scene.

[0018] Técnica 4: Esses métodos ativos requerem que o objeto de interesse seja conectado a uma fonte de energia, o que tem um custo proibitivo para itens simples como uma bola de futebol, uma camisa ou uma caixa de macarrão e, portanto, não são práticos.[0018] Technique 4: These active methods require the object of interest to be connected to a power source, which is cost prohibitive for simple items like a soccer ball, a shirt, or a box of noodles, and therefore not are practical.

[0019] Técnica 5: A precisão da previsão depende muito da qualidade da imagem e da posição da câmera dentro da cena, pois oclusões, diferentes ângulos de visualização e similares podem facilmente alterar os resultados. As imagens do tipo de logotipo podem estar presentes em vários lugares dentro da cena (isto é, um logotipo pode estar em uma bola, uma camiseta, um chapéu ou uma caneca de café) e o reconhecimento de objetos é por inferência. Os parâmetros visuais do objeto devem ser convertidos em parâmetros matemáticos com grande esforço. Os objetos flexíveis que pode alterar seus formatos são problemáticos pois cada formato possível deve ser incluído no banco de dados. Sempre há uma ambiguidade inerente, pois objetos de formato similar podem ser identificados incorretamente como o objeto de interesse.[0019] Technique 5: Prediction accuracy is highly dependent on image quality and camera position within the scene as occlusions, different viewing angles and the like can easily change the results. Logotype images can be present at various places within the scene (ie, a logo can be on a ball, a shirt, a hat, or a coffee mug) and object recognition is by inference. The visual parameters of the object must be converted into mathematical parameters with great effort. Flexible objects that can change their formats are problematic as every possible format must be included in the database. There is always inherent ambiguity, as similarly shaped objects can be misidentified as the object of interest.

[0020] Técnica 6: A qualidade do conjunto de dados de treinamento determina o sucesso do método. Para cada objeto a ser reconhecido/classificado muitas imagens de treinamento são necessárias. As mesmas limitações de oclusão e formato flexível do objeto da Técnica 5 se aplicam. Há uma necessidade de treinar cada classe de material com milhares de imagens ou mais.[0020] Technique 6: The quality of the training dataset determines the success of the method. For each object to be recognized/classified many training images are needed. The same occlusion limitations and flexible object shape of Technique 5 apply. There is a need to train each material class with thousands of images or more.

[0021] Técnica 7: A técnica funciona quando a cena é pré-organizada, mas é raramente prática. Se o objeto de interesse deixa a cena ou é completamente ocluído, o objeto não pôde ser reconhecido a menos que combinado com as outras técnicas acima.[0021] Technique 7: The technique works when the scene is pre-arranged, but is rarely practical. If the object of interest leaves the scene or is completely occluded, the object could not be recognized unless combined with the other techniques above.

[0022] Além das deficiências acima mencionadas das técnicas já[0022] In addition to the aforementioned shortcomings of the techniques already

6 / 32 existentes, existem alguns outros desafios que valem a pena mencionar. A capacidade de ver a longa distância, a capacidade de ver objetos menores ou a capacidade de ver objetos com detalhes suficientes todas exigem sistemas de imagem de alta resolução, isto é, câmara de alta resolução, lidar, radar, etc. A alta resolução precisa aumentar os custos de sensor associados e aumentar a quantidade de dados a serem processados.6/32 existing, there are a few other challenges worth mentioning. The ability to see long distances, the ability to see smaller objects, or the ability to see objects in sufficient detail all require high resolution imaging systems, i.e. high resolution camera, lidar, radar, etc. High resolution needs to increase associated sensor costs and increase the amount of data to be processed.

[0023] Para aplicativos que exigem respostas instantâneas, como acionamento ou segurança autônoma, a latência é um outro aspecto importante. A quantidade de dados que precisa ser processada determina se a computação de borda ou em nuvem é adequada para o aplicativo, sendo que a última só é possível se as cargas de dados forem pequenas. Quando a computação de borda é usada com processamento pesado, os dispositivos operando os sistemas ficam mais volumosos e limitam a facilidade de uso e, portanto, a implementação.[0023] For applications that require instantaneous responses, such as triggering or autonomous security, latency is another important aspect. The amount of data that needs to be processed determines whether edge or cloud computing is suitable for the application, with the latter only possible if data loads are small. When edge computing is used with heavy processing, the devices running the systems become bulkier and limit ease of use and therefore implementation.

[0024] Uma vez que as condições de iluminação ambiente, bem como sondas/fontes de luz ativa são partes importantes dos dados coletados na análise de imagem para reconhecimento de objetos, foi um objetivo da presente invenção prover uma possibilidade para combinar a necessidade de sondas de luz especializadas associadas a um dispositivo sensor de imagem com a necessidade de iluminação ambiente visualmente agradável em um único dispositivo de iluminação. Além disso, este projeto diminui a sensibilidade do aplicativo de visão computacional para iluminação ambiente em geral, pois agora a intensidade da sonda de luz especializada está diretamente relacionada à intensidade de iluminação ambiente e, em alguns casos, permite técnicas de reconhecimento baseadas em física/química.[0024] Since ambient lighting conditions as well as probes/active light sources are important parts of the data collected in image analysis for object recognition, it was an aim of the present invention to provide a possibility to match the need for probes of specialized light associated with an image sensor device with the need for visually pleasing ambient lighting in a single lighting device. Furthermore, this design lowers the sensitivity of the computer vision application to ambient lighting in general, as now the intensity of the specialized light probe is directly related to the ambient lighting intensity and, in some cases, allows for physics-based recognition techniques/ chemistry.

[0025] Desse modo, há uma necessidade para sistemas e métodos que são adequados para simplificar os requisitos para reconhecimento de objetos através de um aplicativo de visão computacional.[0025] Thus, there is a need for systems and methods that are suitable for simplifying the requirements for object recognition through a computer vision application.

SUMMARY OF THE INVENTION

7 / 327 / 32

[0026] Os objetos acima mencionados são resolvidos pelo sistema e pelo método com as características das respectivas reivindicações independentes. Modalidades adicionais estão presentes pela seguinte descrição e respectivas reivindicações dependentes.[0026] The aforementioned objects are resolved by the system and the method with the characteristics of the respective independent claims. Additional embodiments are present by the following description and respective dependent claims.

[0027] No primeiro aspecto, modalidades da invenção proveem um sistema para reconhecimento de objetos através de um aplicativo de visão computacional. O sistema proposto compreende pelo menos os seguintes componentes: - um objeto a ser reconhecido, o objeto tendo refletância específica do objeto e padrões espectrais de luminescência, - uma fonte de luz que é composta de pelo menos dois iluminantes e é configurada para fornecer uma resposta espectral específica sob demanda e para iluminar uma cena incluindo o objeto a ser reconhecido ao comutar entre os pelo menos dois iluminantes, em que pelo menos um dos pelo menos dois iluminantes é baseado em pelo menos sistema de estado sólido, - um sensor que é configurado para medir os dados de radiância da cena incluindo o objeto quando a cena é iluminada pela fonte de luz, - uma unidade de armazenamento que armazena e provê padrões espectrais de luminescência juntamente com os respectivos objetos apropriadamente atribuídos, - uma unidade de processamento de dados que é configurada para extrair/estimar o padrão espectral de luminescência específico de objeto do objeto a ser reconhecido fora dos dados de radiância da cena e para comparar com o/corresponder ao padrão espectral de luminescência específico de objeto extraído/estimado com os padrões espectrais de luminescência armazenados na unidade de armazenamento de dados, e para identificar um padrão espectral de luminescência mais compatível e, portanto,[0027] In the first aspect, embodiments of the invention provide a system for object recognition through a computer vision application. The proposed system comprises at least the following components: - an object to be recognized, the object having object-specific reflectance and spectral luminescence patterns, - a light source that is composed of at least two illuminants and is configured to provide a response specific spectral spectrum on demand and for illuminating a scene including the object to be recognized when switching between the at least two illuminants, where at least one of the at least two illuminants is based on at least a solid state system, - a sensor that is configured for measuring the radiance data of the scene including the object when the scene is illuminated by the light source, - a storage unit that stores and provides spectral patterns of luminescence together with the respective appropriately assigned objects, - a data processing unit that is configured to extract/estimate the object-specific luminescence spectral pattern of the object to be recognized outside the s scene radiance data and to compare/match the extracted/estimated object-specific luminescence spectral pattern with the luminescence spectral patterns stored in the data storage unit, and to identify a more compatible luminescence spectral pattern, and, therefore,

8 / 32 o objeto atribuído para o padrão espectral de luminescência mais compatível identificado.8 / 32 the object assigned to the most compatible luminescence spectral pattern identified.

[0028] O pelo menos um sistema de estado sólido pode ser escolhido a partir do grupo de sistemas de estado sólido compreendendo diodos emissores de luz semicondutores (LEDs), diodos emissores de luz orgânicos (OLEDs) ou diodos emissores de luz de polímero (PLEDs).[0028] The at least one solid state system can be chosen from the group of solid state systems comprising semiconductor light-emitting diodes (LEDs), organic light-emitting diodes (OLEDs) or polymer light-emitting diodes (PLEDs). ).

[0029] Em algumas modalidades, pode ser vantajoso comutar entre os iluminantes da fonte de luz a uma taxa mais rápida que o olho humano pode detectar. Pode ser preferido usar LEDs de comutação rápida com bandas de emissão largas ou, ainda mais idealmente, bandas estreitas.[0029] In some embodiments, it may be advantageous to switch between the illuminants of the light source at a rate faster than the human eye can detect. It may be preferred to use fast switching LEDs with wide emission bands or, even more ideally, narrow bands.

[0030] Ao projetar padrões espectrais de luminescência exclusivos e formar um banco de dados de padrões espectrais de luminescência de objetos/artigos, é possível reconhecer um objeto exibindo um desses padrões espectrais de luminescência usando o sistema proposto. O sistema proposto permite identificar padrões espectrais de luminescência discretos na dimensão espectral de uma imagem captada pelo sensor. Deve-se afirmar que o número de caracteres espectrais é independente do formato do objeto a ser reconhecido. Isso permite que o sistema proposto não seja limitado em número de classificações à geometria/formato dos objetos. Objetos com o mesmo formato e até mesmo a mesma cor podem ser distinguidos através da análise das informações químicas (luminescência) extraídas pela unidade de processamento de dados.[0030] By designing unique spectral luminescence patterns and forming a database of spectral luminescence patterns of objects/articles, it is possible to recognize an object exhibiting one of these spectral luminescence patterns using the proposed system. The proposed system makes it possible to identify discrete luminescence spectral patterns in the spectral dimension of an image captured by the sensor. It should be stated that the number of spectral characters is independent of the shape of the object to be recognized. This allows the proposed system not to be limited in the number of classifications to the geometry/shape of the objects. Objects with the same shape and even the same color can be distinguished by analyzing the chemical information (luminescence) extracted by the data processing unit.

[0031] De acordo com uma possível modalidade do sistema, o sistema compreende adicionalmente uma unidade de exibição que é configurada para exibir pelo menos o objeto identificado que é atribuído ao padrão espectral de luminescência mais compatível identificado.[0031] According to a possible embodiment of the system, the system additionally comprises a display unit that is configured to display at least the identified object that is assigned the most compatible spectral pattern of luminescence identified.

[0032] De acordo com uma modalidade adicional, o objeto a ser reconhecido é conferido, por exemplo, revestido, com materiais luminescentes de superfície predefinidos (particularmente corantes[0032] According to an additional embodiment, the object to be recognized is conferred, for example, coated, with predefined surface luminescent materials (particularly dyes

9 / 32 luminescentes) cuja química luminescente, isto é, padrão espectral de luminescência, é conhecido e usado como uma etiqueta. Ao usar a química luminescente do objeto como uma etiqueta, o reconhecimento de objetos é possível independentemente do formato do objeto ou das oclusões parciais.9 / 32 luminescent) whose luminescent chemistry, i.e. spectral pattern of luminescence, is known and used as a label. By using the object's luminescent chemistry as a tag, object recognition is possible regardless of object shape or partial occlusions.

[0033] A luminescência é a propriedade da luz emitida a partir de um material sem calor. Uma variedade de mecanismos de luminescência, como quimioluminescência, mecanoluminescência e eletroluminescência é conhecida. A fotoluminescência é a emissão de luz/fótons devido à absorção de outros fótons. A fotoluminescência inclui fluorescência, fosforescência, conversão ascendente e o efeito Raman. As fotoluminescência, fluorescência e fosforescência são capazes de alterar a aparência da cor de um objeto sob condições normais de luz. Embora haja uma diferença entre os mecanismos químicos e as escalas de tempo de fluorescência e fosforescência, para a maioria dos sistemas de visão computacional eles parecerão idênticos. Dentro do escopo da presente descrição, os termos “fluorescência” e “fluorescente” são principalmente usados (exemplificativamente e como espaço reservado), no entanto, uma variedade de mecanismos luminescentes são aplicáveis à invenção.[0033] Luminescence is the property of light emitted from a material without heat. A variety of luminescence mechanisms such as chemiluminescence, mechanoluminescence and electroluminescence are known. Photoluminescence is the emission of light/photons due to the absorption of other photons. Photoluminescence includes fluorescence, phosphorescence, upconversion and the Raman effect. Photoluminescence, fluorescence and phosphorescence are capable of changing the appearance of an object's color under normal light conditions. While there is a difference between the chemical mechanisms and timescales of fluorescence and phosphorescence, to most computer vision systems they will appear identical. Within the scope of the present description, the terms "fluorescence" and "fluorescent" are primarily used (exemplary and as a placeholder), however, a variety of luminescent mechanisms are applicable to the invention.

[0034] O objeto pode ser conferido, isto é, provido com materiais fluorescentes em uma variedade de métodos, Os materiais fluorescentes podem ser dispersos em um revestimento que pode ser aplicado através de métodos como revestimento por pulverização, revestimento por imersão, revestimento por bobina, revestimento rolo a rolo e outros. O material fluorescente pode ser impresso no objeto. O material fluorescente pode ser disperso no objeto e extrusado, moldado ou fundido. Alguns materiais e objetos são naturalmente fluorescentes e podem ser reconhecidos com o sistema e/ou método proposto. Alguns materiais biológicos (vegetais, frutas, bactérias, tecidos, proteínas, etc.) podem ser geneticamente engenheirados para serem fluorescentes. Alguns objetos podem ser feitos fluorescentes pela[0034] The object can be checked, i.e. provided with fluorescent materials in a variety of methods, Fluorescent materials can be dispersed in a coating which can be applied by such methods as spray coating, dip coating, coil coating , roll-to-roll coating and others. Fluorescent material can be printed on the object. The fluorescent material can be dispersed in the object and extruded, molded or cast. Some materials and objects are naturally fluorescent and can be recognized with the proposed system and/or method. Some biological materials (vegetables, fruits, bacteria, tissues, proteins, etc.) can be genetically engineered to be fluorescent. Some objects can be made fluorescent by

10 / 32 adição de proteínas fluorescentes em qualquer uma das maneiras mencionadas no presente documento.10 / 32 addition of fluorescent proteins in any of the ways mentioned herein.

[0035] Uma vasta gama de materiais fluorescentes está disponível comercialmente. Teoricamente, qualquer material fluorescente deve ser adequado para o aplicativo de visão computacional, pois o padrão espectral fluorescente do objeto a ser identificado é medido após a produção. As principais limitações são a durabilidade dos materiais fluorescentes e a compatibilidade com o material hospedeiro (do objeto a ser reconhecido). Um exemplo de materiais fluorescentes adequados são a série de corantes BASF Lumogen® F, como, por exemplo, amarelo 170, laranja 240, rosa 285, vermelho 305, uma combinação de amarelo 170 e laranja 240 ou qualquer outra combinação dos mesmos. Outro exemplo de materiais fluorescentes adequados são os corantes fluorescentes Clariant Hostasol® Vermelho GG, Vermelho 5B e Amarelo 3G. Os branqueadores ópticos são uma classe de materiais fluorescentes que são frequentemente incluídos em formulações de objetos para reduzir a cor amarela de muitos polímeros orgânicos. Eles funcionam por meio da fluorescência de luz ultravioleta invisível em luz azul visível, fazendo com que o objeto produzido pareça mais branco. Muitos branqueadores ópticos estão comercialmente disponíveis, incluindo BASF Tinopal® SFP e Tinopal® NFW e Clariant Telalux® KSI e Telalux® OB1.[0035] A wide range of fluorescent materials is commercially available. Theoretically, any fluorescent material should be suitable for computer vision application, as the fluorescent spectral pattern of the object to be identified is measured after production. The main limitations are the durability of fluorescent materials and compatibility with the host material (of the object to be recognized). An example of suitable fluorescent materials are the BASF Lumogen® F series of dyes, such as yellow 170, orange 240, pink 285, red 305, a combination of yellow 170 and orange 240 or any other combination thereof. Another example of suitable fluorescent materials are Clariant Hostasol® Red GG, Red 5B and Yellow 3G fluorescent dyes. Optical brighteners are a class of fluorescent materials that are often included in object formulations to reduce the yellow color of many organic polymers. They work by fluorescing invisible ultraviolet light into visible blue light, making the object produced appear whiter. Many optical brighteners are commercially available, including BASF Tinopal® SFP and Tinopal® NFW and Clariant Telalux® KSI and Telalux® OB1.

[0036] De acordo com ainda uma modalidade adicional do sistema proposto, a unidade de processamento de dados é configurada para identificar o padrão espectral de fluorescência mais compatível usando qualquer número de algoritmos de correspondência entre o padrão espectral de fluorescência específico de objeto extraído/estimado e os padrões espectrais de fluorescência armazenados, os algoritmos de correspondência sendo escolhidos a partir do grupo que compreende, mas não estão limitados a: menor raiz quadrada média do erro, menor erro médio absoluto, coeficiente de determinação mais alto, correspondência do valor máximo do[0036] In accordance with yet a further embodiment of the proposed system, the data processing unit is configured to identify the most compatible spectral fluorescence pattern using any number of matching algorithms between the extracted/estimated object-specific spectral fluorescence pattern and stored fluorescence spectral patterns, matching algorithms being chosen from the group comprising, but not limited to: smallest root mean square error, smallest mean absolute error, highest coefficient of determination, maximum value matching of

11 / 32 comprimento de onda.11/32 wavelength.

[0037] A unidade de processamento é adicionalmente configurada para estimar/calcular, usando os dados de radiância medidos sob os pelo menos dois iluminantes, o padrão espectral de fluorescência do objeto e, posteriormente, para corresponder o padrão espectral de fluorescência estimado/calculado ao banco de dados conhecido de uma pluralidade de padrões espectrais de fluorescência. De acordo com uma modalidade do sistema reivindicado, a unidade de processamento é configurada para estimar, usando os dados de radiância medidos sob os pelo menos dois iluminantes, o padrão espectral de luminescência e o padrão espectral reflexivo do objeto em um processo de otimização de múltiplas etapas.[0037] The processing unit is further configured to estimate/calculate, using the radiance data measured under the at least two illuminants, the spectral fluorescence pattern of the object and subsequently to match the estimated/calculated spectral fluorescence pattern to the known database of a plurality of fluorescence spectral patterns. In accordance with an embodiment of the claimed system, the processing unit is configured to estimate, using the radiance data measured under the at least two illuminants, the spectral pattern of luminescence and the spectral reflective pattern of the object in a multiple optimization process. phases.

[0038] O sensor é, no geral, um sensor óptico com capacidades de contagem de fótons. Mais especificamente, pode ser uma câmera monocromática, ou uma câmera RGB, ou uma câmera multiespectral ou uma câmera hiperespectral. O sensor pode ser uma combinação de qualquer um dos acima, ou a combinação de qualquer um dos acima com um conjunto de filtros ajustável ou selecionável, como, por exemplo, um sensor monocromático com filtros específicos. O sensor pode medir um único pixel da cena ou medir muitos pixels de uma vez. O sensor óptico pode ser configurado para contar fótons em uma faixa específica de espectro, particularmente, em mais que três bandas. Pode ser uma câmera com múltiplo pixels para um grande campo de visão, particularmente, lendo simultaneamente todas as bandas ou bandas diferentes em momentos diferentes.[0038] The sensor is, in general, an optical sensor with photon counting capabilities. More specifically, it could be a monochrome camera, or an RGB camera, or a multispectral camera, or a hyperspectral camera. The sensor can be a combination of any of the above, or a combination of any of the above with an adjustable or selectable filter set, such as a monochrome sensor with specific filters. The sensor can measure a single pixel in the scene or measure many pixels at once. The optical sensor can be configured to count photons in a specific range of spectrum, particularly in more than three bands. It can be a multi-pixel camera for a large field of view, particularly reading all bands or different bands at different times.

[0039] Uma câmera multiespectral captura dados de imagem dentro de faixas de comprimento de onda específicas em todo o espectro eletromagnético. Os comprimentos de onda podem ser separados por filtros ou pelo uso de instrumentos que são sensíveis a comprimentos de onda particulares, incluindo luz de frequências além da faixa de luz visível, isto é,[0039] A multispectral camera captures image data within specific wavelength ranges across the entire electromagnetic spectrum. Wavelengths can be separated by filters or by using instruments that are sensitive to particular wavelengths, including light of frequencies beyond the visible light range, i.e.,

12 / 32 infravermelho e ultravioleta. A imagem espectral pode permitir a extração de informações adicionais que o olho humano não consegue capturar com seus receptores para vermelho, verde e azul. Uma câmera multiespectral mede a luz em um pequeno número (normalmente de 3 a 15) de bandas espectrais. Uma câmera hiperespectral é um caso especial de câmera espectral, onde muitas vezes centenas de bandas espectrais contíguas estão disponíveis.12 / 32 infrared and ultraviolet. Spectral imaging can allow the extraction of additional information that the human eye cannot capture with its red, green, and blue receptors. A multispectral camera measures light in a small number (typically 3 to 15) of spectral bands. A hyperspectral camera is a special case of a spectral camera, where often hundreds of contiguous spectral bands are available.

[0040] A fonte de luz é preferivelmente escolhida como sendo capaz de comutar entre pelo menos dois iluminantes diferentes. Três ou mais iluminantes podem ser necessários para alguns métodos. A combinação total de iluminantes é referida como a fonte de luz. Um método para fazer isso é criar iluminantes a partir de diodos emissores de luz (LEDs) de diferentes comprimentos de onda. Os LEDs podem ser ligados e desligados rapidamente, permitindo uma comutação rápida entre os iluminantes. As fontes de luz fluorescente com diferentes emissões também podem ser utilizadas. As fontes de luz incandescente com diferentes filtros também podem ser utilizadas. A fonte de luz pode ser comutada entre iluminantes a uma taxa que não é visível ao olho humano. Os iluminantes do tipo sinusoidal também podem ser criados com LEDs ou outras fontes de luz, o que é útil para alguns dos algoritmos de visão computacional propostos.[0040] The light source is preferably chosen to be able to switch between at least two different illuminants. Three or more illuminants may be required for some methods. The total combination of illuminants is referred to as the light source. One method of doing this is to create illuminants from light-emitting diodes (LEDs) of different wavelengths. The LEDs can be turned on and off quickly, allowing for quick switching between illuminants. Fluorescent light sources with different emissions can also be used. Incandescent light sources with different filters can also be used. The light source can be switched between illuminants at a rate that is not visible to the human eye. Sinusoidal-type illuminants can also be created with LEDs or other light sources, which is useful for some of the proposed computer vision algorithms.

[0041] O sensor que está configurado para medir os dados de radiância da cena é vinculado e sincronizado com a comutação da fonte de luz entre os iluminantes. Ele pode ser configurado para capturar apenas informações durante o período de tempo em que um iluminante está ativo. Ele pode ser configurado para capturar/medir informações durante um ou mais iluminantes sendo ativos e usar vários algoritmos para calcular e emitir a radiância para um subconjunto dos iluminantes. Pode ser configurado para capturar a radiância da cena em um determinado período antes, depois ou durante a ativação da fonte de luz e pode durar mais ou menos que o pulso de luz. Isso significa que o sensor está vinculado à comutação, mas não precisa[0041] The sensor that is configured to measure scene radiance data is linked and synchronized with switching the light source between illuminants. It can be configured to only capture information during the time period when an illuminant is active. It can be configured to capture/measure information during one or more illuminants being active and use various algorithms to calculate and emit radiance for a subset of the illuminants. It can be configured to capture the radiance of the scene for a certain period before, after or during the light source activation and can last longer or shorter than the light pulse. This means that the sensor is linked to switching but does not need to

13 / 32 necessariamente capturar dados de radiância durante o período de tempo em que apenas um iluminante está ativo. Este procedimento pode ser vantajoso em alguns sistemas para reduzir o ruído ou devido às limitações de tempo do sensor.13 / 32 necessarily capture radiance data during the time period when only one illuminant is active. This procedure may be advantageous in some systems to reduce noise or due to sensor time limitations.

[0042] É possível que o sensor esteja sincronizado com a fonte de luz e que o sensor rastreie o estado dos iluminantes durante o tempo de integração do sensor. As variações espectrais da fonte de luz são gerenciadas por uma unidade de controle através de uma rede, trabalhando em sincronia com os tempos de integração do sensor. Múltiplas fontes de luz conectadas à rede podem ser sincronizadas para ter as mesmas frequências de mudança temporal e espectral, amplificando o efeito.[0042] It is possible that the sensor is synchronized with the light source and the sensor tracks the state of the illuminants during the sensor integration time. The spectral variations of the light source are managed by a control unit through a network, working in sync with the sensor integration times. Multiple light sources connected to the grid can be synchronized to have the same temporal and spectral shift frequencies, amplifying the effect.

[0043] Em um outro aspecto, modalidades da invenção são direcionados a um método para reconhecimento de objetos através de um aplicativo de visão computacional. O método proposto compreende pelo menos as seguintes etapas de método: - prover um objeto com refletância específica do objeto e padrões espectrais de fluorescência, o objeto deve ser reconhecido, - iluminar uma cena incluindo o objeto com uma fonte de luz que é composta de pelo menos dois iluminantes comutando entre os pelo menos dois iluminantes, em que pelo menos um dos pelo menos dois iluminantes é baseado em pelo menos um sistema de estado sólido, - medir, por meio de um sensor, os dados de radiância da cena incluindo o objeto ser reconhecido quando a cena é iluminada pela fonte de luz, - prover uma unidade de armazenamento de dados como um banco de dados com padrões espectrais de fluorescência vinculada aos respectivos objetos apropriadamente atribuídos, - estimar, através de uma unidade de processamento de dados, o padrão espectral de fluorescência específico de objeto do objeto a ser[0043] In another aspect, embodiments of the invention are directed to a method for recognizing objects through a computer vision application. The proposed method comprises at least the following method steps: - providing an object with object-specific reflectance and spectral fluorescence patterns, the object must be recognised, - illuminating a scene including the object with a light source that is composed of at least at least two illuminants switching between the at least two illuminants, wherein at least one of the at least two illuminants is based on at least one solid-state system, - measuring, by means of a sensor, the radiance data of the scene including the object be recognized when the scene is illuminated by the light source, - provide a data storage unit as a database with spectral fluorescence patterns linked to the respective appropriately assigned objects, - estimate, through a data processing unit, the object-specific spectral fluorescence pattern of the object to be

14 / 32 reconhecido fora dos dados de radiância da cena, e - comparar/corresponder, através da unidade de processamento de dados, o padrão espectral de fluorescência específico de objeto estimado do objeto a ser reconhecido aos padrões espectrais de fluorescência armazenados na unidade de armazenamento de dados, e - identificar, através da unidade de processamento de dados, um padrão espectral de fluorescência mais compatível, e, portanto, o objeto atribuído ao padrão espectral de fluorescência mais compatível.14 / 32 recognized outside the scene radiance data, and - compare/match, via the data processing unit, the estimated object-specific spectral fluorescence pattern of the object to be recognized to the fluorescence spectral patterns stored in the storage unit of data, and - to identify, through the data processing unit, a spectral pattern of fluorescence most compatible, and, therefore, the object assigned to the spectral pattern of fluorescence most compatible.

[0044] A etapa para conferir um objeto com uma refletância específica do objeto e padrão espectral de fluorescência compreende, de acordo com uma modalidade possível, no caso de um objeto artificial, por exemplo, conferir fluorescência ao objeto a ser reconhecido com um material de fluorescência.[0044] The step to confer an object with an object-specific reflectance and spectral pattern of fluorescence comprises, according to a possible embodiment, in the case of an artificial object, for example, imparting fluorescence to the object to be recognized with a material of fluorescence.

[0045] No caso de um objeto natural como o objeto a ser reconhecido, é possível que o objeto intrinsecamente já tenha padrões espectrais de refletância e fluorescência específicos do objeto.[0045] In the case of a natural object as the object to be recognized, it is possible that the object intrinsically already has object-specific spectral reflectance and fluorescence patterns.

[0046] A etapa para conferir fluorescência ao objeto pode ser realizada revestindo o objeto com o material de fluorescência ou de outra forma conferindo fluorescência à superfície do objeto. No último caso, a fluorescência pode ser distribuída por todo o objeto e, portanto, também pode ser detectada na superfície.[0046] The step of imparting fluorescence to the object may be performed by coating the object with the fluorescence material or otherwise imparting fluorescence to the surface of the object. In the latter case, the fluorescence can be distributed throughout the object and therefore can also be detected on the surface.

[0047] De acordo com uma possível modalidade do método proposto, o método compreende adicionalmente a etapa de exibição por meio de um dispositivo de exibição pelo menos o objeto identificado que é atribuído ao padrão espectral de fluorescência mais compatível identificado.[0047] According to a possible embodiment of the proposed method, the method additionally comprises the step of displaying by means of a device displaying at least the identified object that is assigned to the most compatible spectral pattern of fluorescence identified.

[0048] A etapa de correspondência do método proposto, particularmente, compreende identificar o padrão espectral de fluorescência mais compatível usando qualquer número de algoritmos de correspondência entre o padrão espectral de fluorescência específico de objeto estimado e os[0048] The matching step of the proposed method, in particular, comprises identifying the most compatible spectral fluorescence pattern using any number of matching algorithms between the estimated object-specific spectral fluorescence pattern and the

15 / 32 padrões espectrais de fluorescência armazenados, os algoritmos de correspondência sendo escolhidos a partir do grupo que compreende, mas não estão limitados a: menor raiz quadrada média do erro, menor erro médio absoluto, coeficiente de determinação mais alto, correspondência do valor máximo do comprimento de onda. No geral, os algoritmos de correspondência são arbitrários.15 / 32 stored fluorescence spectral standards, matching algorithms being chosen from the group comprising, but not limited to: smallest root mean square error, smallest mean absolute error, highest coefficient of determination, maximum value matching of the wavelength. In general, matching algorithms are arbitrary.

[0049] A etapa de estimativa do método proposto compreende, particularmente, estimar, usando os dados de radiância medidos sob os pelo menos dois iluminantes, os espectros fluorescentes e os espectros reflexivos do objeto.[0049] The estimation step of the proposed method comprises, in particular, estimating, using the radiance data measured under the at least two illuminants, the fluorescent spectra and the reflective spectra of the object.

[0050] A etapa para prover a unidade de armazenamento de dados compreende formar um banco de dados de informações químicas de fluorescência de objetos, isto é, de padrões espectrais de fluorescência de objetos/artigos, projetando múltiplas formulações fluorescentes, cada formulação fluorescente sendo aplicada e, portanto, atribuída a um objeto de modo que o objeto obtém e exibe um padrão espectral de fluorescência específico do objeto ao ser iluminado pela fonte de luz. Isso pode ser alcançado usando misturas específicas de produtos químicos fluorescentes com diferentes perfis de emissão em razões específicas para alcançar assinaturas espectrais/padrões espectrais de fluorescência exclusivos diferentes.[0050] The step to provide the data storage unit comprises forming a database of chemical information of fluorescence of objects, that is, of spectral patterns of fluorescence of objects/articles, projecting multiple fluorescent formulations, each fluorescent formulation being applied and therefore assigned to an object such that the object obtains and displays an object-specific spectral fluorescence pattern when illuminated by the light source. This can be achieved by using specific mixtures of fluorescent chemicals with different emission profiles at specific ratios to achieve different unique spectral signatures/spectral fluorescence patterns.

[0051] Particularmente, a fonte de luz é escolhida como uma fonte de luz comutável com dois iluminantes e com um curto tempo de alternância entre os dois iluminantes, isto é, os dois iluminantes mudam rapidamente entre si. É adicionalmente possível que os dois iluminantes sejam dois iluminantes do tipo senoidais de fases opostas. Os dois iluminantes podem ser escolhidos como iluminantes de LED.[0051] Particularly, the light source is chosen as a switchable light source with two illuminants and with a short switching time between the two illuminants, that is, the two illuminants change rapidly between each other. It is additionally possible that the two illuminants are two sinusoidal-type illuminants of opposite phases. The two illuminants can be chosen as LED illuminators.

[0052] A etapa de captura dos dados de radiância da cena é particularmente realizada por um sensor que está vinculado e sincronizado[0052] The stage of capturing the radiance data of the scene is particularly performed by a sensor that is linked and synchronized

16 / 32 com a comutação da fonte de luz entre os pelo menos dois iluminantes. É possível para capturar apenas informações durante o período de tempo em que um iluminante está ativo. Alternativamente, também é possível para capturar informações durante o período de tempo que um ou mais iluminantes estão ativos e usar vários algoritmos para calcular a radiância para um subconjunto dos iluminantes.16 / 32 with switching the light source between at least two illuminants. It is possible to only capture information during the time period that an illuminant is active. Alternatively, it is also possible to capture information during the period of time that one or more illuminants are active and use various algorithms to calculate the radiance for a subset of the illuminants.

[0053] Em um outro aspecto, as modalidades da invenção proveem um produto de programa de computador tendo instruções que são executáveis por um computador, o produto de programa de computador compreendendo instruções para perceber/realizar/executar qualquer uma das modalidades do método proposto.[0053] In another aspect, embodiments of the invention provide a computer program product having instructions that are executable by a computer, the computer program product comprising instructions to perceive/perform/execute any of the embodiments of the proposed method.

[0054] A presente invenção refere-se a um sistema e um método em que os espectros de fluorescência de um objeto a ser reconhecido são distinguidos sob condições de iluminação controladas e temporais e em bandas/linhas de interesse espectrais enquanto a assinatura espectral da formulação fluorescente, que é aplicada ao objeto a ser reconhecido, é usada para reconhecimento de objetos em aplicativos de visão computacional. O sistema e método propostos permitem o reconhecimento de um objeto independentemente de seu formato, iluminação ambiente e oclusões parciais usando química de fluorescência, isto é, o padrão espectral de fluorescência, do objeto a ser reconhecido como uma etiqueta.[0054] The present invention relates to a system and a method in which the fluorescence spectra of an object to be recognized are distinguished under controlled and temporal lighting conditions and in spectral bands/lines of interest while the spectral signature of the formulation fluorescent, which is applied to the object to be recognized, is used for object recognition in computer vision applications. The proposed system and method allow the recognition of an object regardless of its shape, ambient lighting and partial occlusions using fluorescence chemistry, ie the spectral pattern of fluorescence, of the object to be recognized as a tag.

[0055] A fim de prover a unidade de armazenamento de dados do sistema proposto, padrões espectrais de fluorescência exclusivos medidos para objetos/artigos específicos e consequentemente vinculados a esses objetos são usados para formar um banco de dados de informações químicas de fluorescência de objetos específicos. A fluorescência é aplicada como um aditivo, revestimento, tinta, etc. ou é parte do material biológico (isto é, frutas, vegetais) ou existe naturalmente (não colocada artificialmente), mas pode ser detectada. A unidade de armazenamento de dados provê uma ferramenta de[0055] In order to provide the data storage unit of the proposed system, unique fluorescence spectral patterns measured for specific objects/articles and consequently linked to those objects are used to form a database of fluorescence chemical information from specific objects . Fluorescence is applied as an additive, coating, ink, etc. either it is part of the biological material (ie fruits, vegetables) or it exists naturally (not artificially placed) but can be detected. The data storage unit provides a tool for

17 / 32 padrões espectrais de fluorescência exclusivos, cada um sendo vinculado exclusivamente a um objeto específico. Por meio da unidade de armazenamento de dados, o sistema proposto é permitido a reconhecer objetos exibindo uma química de fluorescência específica usando o sistema proposto, iluminando primeiro um respectivo objeto através da fonte de luz, detectando através dos dados de radiância de sensor do objeto e estimando através da unidade de processamento de dados o padrão espectral de fluorescência específico do objeto fora dos dados de radiância e comparando o padrão espectral de fluorescência específico do objeto estimado com os padrões espectrais fluorescentes armazenados na unidade de armazenamento de dados.17 / 32 unique fluorescence spectral patterns, each being uniquely linked to a specific object. By means of the data storage unit, the proposed system is allowed to recognize objects exhibiting a specific fluorescence chemistry using the proposed system, by first illuminating a respective object through the light source, detecting through the object's sensor radiance data and estimating through the data processing unit the object-specific fluorescence spectral pattern out of the radiance data and comparing the estimated object-specific fluorescence spectral pattern with the fluorescent spectral patterns stored in the data storage unit.

[0056] É conhecido na técnica que ter recursos engenheirados que podem ser facilmente definidos e detectados é a maneira mais eficiente do ponto de vista computacional de identificar objetos visualmente em comparação com outras técnicas. Por exemplo, pelo escaneamento de um código de barras, um sistema se conecta imediatamente a um banco de dados para identificar o objeto que está sendo escaneado. Da mesma forma, o sistema proposto é ainda mais eficiente devido à sua capacidade de identificar padrões espectrais de fluorescência discretos na dimensão espectral de uma imagem como um leitor de código de barras opera na dimensão espacial. O número de caracteres espectrais é independente do formato do objeto de interesse. Isso permite que o sistema e método propostos não sejam limitados em número de classificações à geometria/formato dos objetos. Objetos com o mesmo formato e até a mesma cor podem ser distinguidos pela análise da química da fluorescência extraída pelo sistema de visão computacional.[0056] It is known in the art that having engineered features that can be easily defined and detected is the most computationally efficient way of visually identifying objects compared to other techniques. For example, by scanning a barcode, a system immediately connects to a database to identify the object being scanned. Likewise, the proposed system is even more efficient due to its ability to identify discrete spectral fluorescence patterns in the spectral dimension of an image as a barcode reader operates in the spatial dimension. The number of spectral characters is independent of the shape of the object of interest. This allows the proposed system and method not to be limited in number of classifications to the geometry/shape of objects. Objects with the same shape and even the same color can be distinguished by analyzing the chemistry of the fluorescence extracted by the computer vision system.

[0057] Um dos principais aspectos da invenção é que os elementos de iluminação ambiente podem ser utilizados como sondas de luz para o sistema e método propostos. As condições internas geralmente exigem um ambiente de iluminação uniforme e controlado presente para facilitar para os aplicativos[0057] One of the main aspects of the invention is that the ambient lighting elements can be used as light probes for the proposed system and method. Indoor conditions often require a uniform and controlled lighting environment to be present to make it easier for applications

18 / 32 de visão computacional. No entanto, o sistema e o método propostos capitalizam as diferenças de condições de iluminação para reconhecer objetos como alternativa. Além disso, um aspecto exclusivo do sistema é que ele utiliza uma mudança rápida de iluminação ambiente de uma fonte de luz LED ou arranjos comparáveis para extrair informações químicas de fluorescência de um respectivo objeto. A rápida mudança de tais condições de iluminação não é visível aos olhos humanos e as mudanças espectrais das fontes de iluminação podem ser gerenciadas pelo sistema por meio de uma rede, trabalhando em sincronia com os tempos de integração do sensor. Múltiplas fontes de luz conectadas à rede podem ser sincronizadas para ter as mesmas frequências de mudança temporal e espectral, amplificando o efeito.18 / 32 computer vision. However, the proposed system and method capitalize on differences in lighting conditions to recognize objects as an alternative. Furthermore, a unique aspect of the system is that it utilizes a rapidly changing ambient lighting of an LED light source or comparable arrays to extract fluorescence chemical information from a respective object. The rapid change of such lighting conditions is not visible to human eyes and the spectral changes of lighting sources can be managed by the system via a network, working in sync with sensor integration times. Multiple light sources connected to the grid can be synchronized to have the same temporal and spectral shift frequencies, amplifying the effect.

[0058] Um outro aspecto exclusivo da invenção é que as informações de fluorescência (ou química) dos objetos podem ser acopladas às informações sobre aquele objeto, isto é, tipo de material, preço, manuais, etc. e informações mantidas no banco de dados dinâmico (ao vivo), isto é, a unidade de armazenamento de dados que rastreia e atualiza as informações em mapas 3D. Ao rastrear dinamicamente os objetos no espaço 3D usando o sistema proposto e potencialmente em combinação com outros métodos, o sistema proposto permitiria a capacidade de distinguir dois objetos idênticos pela localização 3D desses objetos, desde que as localizações dos objetos sejam atualizadas dinamicamente, e os objetos estejam no campo de visão do sensor do sistema proposto.[0058] Another unique aspect of the invention is that the fluorescence (or chemical) information of the objects can be coupled to the information about that object, that is, type of material, price, manuals, etc. and information held in the dynamic (live) database, that is, the data storage unit that tracks and updates information on 3D maps. By dynamically tracking objects in 3D space using the proposed system and potentially in combination with other methods, the proposed system would allow for the ability to distinguish two identical objects by the 3D location of those objects, provided that the locations of the objects are dynamically updated, and the objects are in the sensor field of view of the proposed system.

[0059] Os exemplos mencionados acima, destacando a utilidade exclusiva do sistema proposto, não estão completos e não se destinam a ser limitados a essas aplicações específicas. Aplicativos adicionais pode ser baseados em plataformas usando câmeras de vários tipos, incluindo monocromática, tipo RGB, sensores de luz multiespectrais ou hiperespectrais.[0059] The examples mentioned above, highlighting the unique utility of the proposed system, are not complete and are not intended to be limited to these specific applications. Additional applications can be platform-based using cameras of various types, including monochrome, RGB type, multispectral or hyperspectral light sensors.

[0060] De acordo com uma modalidade do método proposto, o objeto a ser reconhecido é provido com um material de luminescência que é[0060] According to one embodiment of the proposed method, the object to be recognized is provided with a luminescence material that is

19 / 32 escolhido a partir do grupo que compreende pelo menos:19 / 32 chosen from the group comprising at least:

[0061] Qualquer material com características de fluorescência (Stokes) em UV, VIS, NIR e/ou IR, qualquer material com características de conversão ascendente (anti-Stokes) em VIS e/ou NIR, biológicos projetados com efeitos de fluorescência, biológicos projetados com efeitos naturais de fluorescência, e/ou corantes alimentares.[0061] Any material with fluorescence characteristics (Stokes) in UV, VIS, NIR and/or IR, any material with upconversion characteristics (anti-Stokes) in VIS and/or NIR, biologicals designed with fluorescence effects, biological designed with natural fluorescence effects, and/or food coloring.

[0062] A técnica para conferir o objeto a ser reconhecido com um material de luminescência pode ser escolhida como uma ou uma combinação das seguintes técnicas: pulverização, laminação, estiramento, deposição (PVC, CVD, etc.), extrusão, aplicação/adesão de película, formação de vidro, técnicas de moldagem, impressão como tintas, todos os tipos de heliogravura, jato de tinta, fabricação de aditivos, tratamentos de tecido/têxteis (processos de tingimento ou impressão), absorção de corante/pigmento, desenhos (manual/outro), adesivos de conferência, rótulos de conferência, etiquetas de conferência, enxerto químico de superfície, conferência seca, conferência úmida, provendo misturas em sólidos, provendo corantes reativos/não reativos.[0062] The technique for conferring the object to be recognized with a luminescence material can be chosen as one or a combination of the following techniques: spraying, lamination, stretching, deposition (PVC, CVD, etc.), extrusion, application/adhesion filmmaking, glass forming, molding techniques, printing like inks, all types of heliogravure, inkjet, additive manufacturing, fabric/textile treatments (dyeing or printing processes), dye/pigment absorption, designs ( manual/other), conference adhesives, conference labels, conference labels, surface chemical grafting, dry conference, wet conference, providing mixtures in solids, providing reactive/non-reactive dyes.

[0063] O sensor para medir os dados de radiância da cena pode ser escolhido a partir do grupo que compreende pelo menos: fotodiodos de todos os tipos, sensores cobrindo comprimentos de onda de 250 nm e acima, sensores cobrindo comprimentos de onda até 1,800 nm, sensores tendo filtros dinâmicos ou estáticos, sistemas separados por comprimento de onda espacialmente comparáveis ou baseados em prisma, múltiplas câmeras, estereocâmeras, sensores hiperespectrais (≥ 10 bandas), sensores multiespectrais (> 3 bandas), sensores RGB (3 bandas), sensores cobrindo todas as bandas ou apenas bandas selecionadas, sensores cobrindo todas as taxas de quadros, outros sensores que respondem a fótons e/ou radiação eletromagnética (250 nm a 1,800 nm), sensores que compreendem filtros polarizados (circulares, lineares, etc.), sensores tendo filtros não polarizados.[0063] The sensor for measuring scene radiance data can be chosen from the group comprising at least: photodiodes of all types, sensors covering wavelengths from 250 nm and above, sensors covering wavelengths up to 1,800 nm , sensors having dynamic or static filters, spatially comparable or prism-based wavelength separated systems, multiple cameras, stereo cameras, hyperspectral sensors (≥ 10 bands), multispectral sensors (> 3 bands), RGB sensors (3 bands), sensors covering all bands or only selected bands, sensors covering all frame rates, other sensors that respond to photons and/or electromagnetic radiation (250 nm to 1,800 nm), sensors that comprise polarized filters (circular, linear, etc.), sensors having non-polarized filters.

20 / 3220 / 32

[0064] O banco de dados pode ser armazenado em um sistema de computação de borda ou em uma nuvem. Os dados podem ser armazenados com ou sem informações adicionais sobre os respectivos objetos anexados, anúncios, preço, proprietário, SDS, valores calóricos, receitas. Dados adicionais podem ser providos com data de validade, data de fabricação, nome, prazo de vida útil, lista de ingredientes, localização, carimbo temporal dos respectivos objetos. Além disso, os dados podem ser providos com instruções de uso, fabricante, local de origem, instruções de reciclagem, manuais, classificações, avaliações sobre os respectivos objetos. Além disso, os dados podem ser providos com informações sobre sinalização de tráfego, dados sobre o tipo de material, como têxteis, roupas, coleira de cachorro, bicicleta, carro, etc., relativos aos respectivos objetos. Além disso, podem ser providos com dados sobre os níveis de uso, quantidades restantes, peso, volume, teor de álcool, álcool consumido dos respectivos objetos.[0064] The database can be stored on an edge computing system or in a cloud. Data can be stored with or without additional information about the respective attached objects, advertisements, price, owner, SDS, caloric values, recipes. Additional data can be provided with expiration date, manufacture date, name, shelf life, ingredient list, location, time stamp of the respective objects. Furthermore, the data can be provided with instructions for use, manufacturer, place of origin, recycling instructions, manuals, ratings, evaluations on the respective objects. Furthermore, the data can be provided with information on traffic signs, data on the type of material such as textiles, clothes, dog collar, bicycle, car, etc., relating to the respective objects. Furthermore, data on usage levels, remaining amounts, weight, volume, alcohol content, alcohol consumed of the respective objects can be provided.

[0065] O objeto identificado que é atribuído ao padrão espectral de luminescência mais compatível pode ser exibido por meio de um ou uma combinação dos seguintes dispositivos: óculos inteligentes, telefones inteligentes, relógios inteligentes, outros itens usáveis, como câmeras de tórax, câmeras espiãs, sapatos, camisas, botões, lentes de contato, câmeras de segurança, veículos, drones, robótica, assistentes domésticos, notebooks, tablets, câmeras de monitoramento de tráfego, sistemas internos e externos, sistemas móveis ou fixos, TVs, brinquedos, escaneadores portáteis, escaneadores fixos, máquinas de café, eletrodomésticos, maquinaria industrial, equipamento/fábricas de produção, equipamento de reciclagem/triagem, latas de lixo inteligentes, latas de lixo inteligentes para reciclagem, canetas.[0065] The identified object that is assigned the most compatible luminescence spectral pattern can be displayed through one or a combination of the following devices: smart glasses, smart phones, smart watches, other wearable items such as chest cameras, spy cameras , shoes, shirts, buttons, contact lenses, security cameras, vehicles, drones, robotics, home assistants, notebooks, tablets, traffic monitoring cameras, indoor and outdoor systems, mobile or fixed systems, TVs, toys, handheld scanners , stationary scanners, coffee machines, home appliances, industrial machinery, production equipment/factories, recycling/sorting equipment, smart trash cans, smart recycling trash cans, pens.

[0066] Os métodos propostos têm muitas áreas de aplicação. Desse modo, pode ser usado, por exemplo, em: reconhecimento de objetos, rastreamento de objetos, classificação de objetos, identificação de objetos,[0066] The proposed methods have many application areas. Thus, it can be used, for example, in: object recognition, object tracking, object classification, object identification,

21 / 32 localização de objetos, gerenciamento de estoque, pedidos automatizados, varejo, loja online, veículos autônomos para prevenção de acidentes, anti- falsificação, aplicativos de realidade aumentada ou realidade mista, publicidade, gerenciamento de preparo físico/saúde, armazenamento, fabricação, montagem, contagem, aprendizagem, esportes, instruções, manuais, conselhos, culinária e suporte de inteligência artificial.21 / 32 object location, inventory management, automated ordering, retail, online store, autonomous vehicles for accident prevention, anti-counterfeiting, augmented reality or mixed reality applications, advertising, fitness/health management, warehousing, manufacturing , assembly, counting, learning, sports, instructions, manuals, advice, cooking and artificial intelligence support.

[0067] A invenção é adicionalmente definida nos exemplos a seguir. Deve ser entendido que estes exemplos, ao indicar as modalidades preferidas da invenção, são dados apenas a título de ilustração. A partir da discussão acima e dos exemplos, um versado na técnica pode determinar as características essenciais desta invenção e sem se afastar do espírito e escopo da mesma, pode fazer várias mudanças e modificações na invenção para adaptá-la a vários usos e condições.[0067] The invention is further defined in the following examples. It is to be understood that these examples, in indicating preferred embodiments of the invention, are given by way of illustration only. From the above discussion and examples, one skilled in the art can determine the essential features of this invention and, without departing from the spirit and scope of the same, can make various changes and modifications to the invention to adapt it to various uses and conditions.

[0068] A figura 1 mostra esquematicamente modalidades do sistema proposto.[0068] Figure 1 schematically shows modalities of the proposed system.

[0069] A figura 2 mostra as radiâncias medidas de três fontes de luz de banda larga usadas no exemplo 1.[0069] Figure 2 shows the measured radiances of three broadband light sources used in example 1.

[0070] A figura 3 mostra um exemplo de comparação de padrões espectrais de emissão medidos e calculados para um material do exemplo 1.[0070] Figure 3 shows an example of comparison of measured and calculated spectral emission patterns for a material of example 1.

[0071] A figura 4 mostra os espectros de emissão medidos (topo) e calculados (fundo) (padrões espectrais) para todos os materiais para o exemplo 1.[0071] Figure 4 shows the measured (top) and calculated (bottom) emission spectra (spectral patterns) for all materials for example 1.

[0072] A figura 5 mostra em diferentes tabelas diferentes algoritmos de comparação/correspondência para o exemplo 1.[0072] Figure 5 shows in different tables different comparison/matching algorithms for example 1.

[0073] A figura 6 mostra um diagrama de espectros iluminantes de exemplo e radiâncias medidas sob uma fonte de luz LED usada em uma modalidade do sistema proposto.[0073] Figure 6 shows a diagram of example illuminating spectra and measured radiance under an LED light source used in an embodiment of the proposed system.

[0074] A figura 7 mostra um diagrama de um exemplo de comparação de espectros de emissão medidos e calculados (padrões espectrais).[0074] Figure 7 shows a diagram of an example of comparison of measured and calculated emission spectra (spectral patterns).

22 / 3222 / 32

[0075] A figura 8 mostra os espectros de emissão calculados (padrões espectrais) (esquerda) e espectros de emissão medidos (padrões espectrais) (direita).[0075] Figure 8 shows the calculated emission spectra (spectral patterns) (left) and measured emission spectra (spectral patterns) (right).

[0076] A figura 9 mostra em diferentes tabelas diferentes algoritmos de comparação/correspondência que podem ser usadas para o exemplo 2.[0076] Figure 9 shows in different tables different comparison/matching algorithms that can be used for example 2.

[0077] As figuras 1a e figura 1b mostram esquematicamente modalidades do sistema proposto 100. O sistema 100 inclui pelo menos um objeto 130 a ser reconhecido. Além disso, o sistema 100 inclui um sensor 120 que pode ser percebido por um gerador de imagens, como uma câmera, particularmente uma câmera multiespectral ou hiperespectral. O sistema 100 adicionalmente inclui uma fonte de luz 110. A fonte de luz 110 é composta por diferentes iluminantes individuais, o número dos quais e a natureza dos mesmos dependem do método usado. Por exemplo 1, conforme indicado na Figura 1a, três iluminantes são providos e os três iluminantes são comumente lâmpadas incandescente 111, fluorescente compacta 112 e LED de luz branca 113 disponíveis. A fonte de luz também pode ser composta por dois iluminantes, conforme mostrado na figura 1b. Por exemplo 2, apenas dois iluminantes são providos, os dois iluminantes são iluminantes de LED 114 e 115 personalizados. O iluminante 114 consiste em três LEDs operando a 5 V. Um LED é um LED de 400 nm de VCC (VAOL-5GUV0T4), com um resistor em linha de 3300 ohms. O segundo LED é um LED de 500 nm da Lumex® (SSL-LX5093UEGC), com um resistor em linha de 3300 ohms. O terceiro LED é um LED de 610 nm da Lumex® (SSL-LX5094SOC), com um resistor em linha de 680 ohms. O iluminante 115 consiste em três LEDs operando a 5V. Um LED é um LED de 470 nm da Cree, Inc. (C503B-BCS-CV0Z0461), com um resistor em linha de 5000 ohms. O segundo LED é um LED de 574 nm da Kingbright® (WP7113CGCK), com um resistor em linha de 100 ohms. O terceiro LED é um LED de 643 nm da VCC (VAOL-5GAE4), com um resistor em linha de 47 ohms.[0077] Figures 1a and figure 1b schematically show embodiments of the proposed system 100. The system 100 includes at least one object 130 to be recognized. In addition, system 100 includes a sensor 120 that can be sensed by an imager, such as a camera, particularly a multispectral or hyperspectral camera. The system 100 additionally includes a light source 110. The light source 110 is composed of different individual illuminants, the number of which and the nature thereof depend on the method used. For example 1, as indicated in Figure 1a, three illuminants are provided and the three illuminants are commonly available incandescent 111, compact fluorescent 112 and white light LED 113. The light source can also be composed of two illuminants, as shown in figure 1b. For example 2, only two illuminants are provided, the two illuminants are custom LED illuminators 114 and 115. Illuminant 114 consists of three LEDs operating at 5 V. One LED is a 400 nm VDC LED (VAOL-5GUV0T4), with an in-line resistor of 3300 ohms. The second LED is a Lumex® 500nm LED (SSL-LX5093UEGC), with a 3300 ohm in-line resistor. The third LED is a 610 nm LED from Lumex® (SSL-LX5094SOC), with a 680 ohm in-line resistor. Illuminant 115 consists of three LEDs operating at 5V. An LED is a 470 nm LED from Cree, Inc. (C503B-BCS-CV0Z0461), with a 5000 ohm in-line resistor. The second LED is a Kingbright® 574nm LED (WP7113CGCK), with a 100 ohm in-line resistor. The third LED is a 643 nm LED from VCC (VAOL-5GAE4), with a 47 ohm in-line resistor.

23 / 3223 / 32

[0078] A fonte de luz pode ser configurada para iluminar uma cena incluindo o objeto 130 a ser reconhecido, comutando rapidamente entre os diferentes iluminantes (111, 112 e 113 na figura 1a, ou 114 e 115 na figura 1b). O sistema 100 compreende adicionalmente uma unidade de processamento de dados, isto é, CPU 140 que é configurada para estimar uma refletância específica de objeto e/ou padrão espectral de fluorescência com padrões espectrais de refletância e/ou fluorescência armazenados em uma unidade de armazenamento de dados 150 que é sem fio ou através de um fio conectado à CPU 140 e para identificar um padrão espectral de refletância e/ou fluorescência mais compatível e, portanto, um objeto que é atribuído ao padrão espectral de refletância e/ou fluorescência mais compatível. O sistema 100 inclui adicionalmente uma unidade de exibição 160 que é configurada para exibir pelo menos o objeto identificado que é atribuído ao padrão espectral de fluorescência mais compatível identificado. O sistema 100 pode compreender mais de um sensor, mais de uma fonte de luz e/ou mais de um objeto em que todos os componentes do sistema formam uma rede. Usando o sistema 100, é possível realizar uma modalidade do método proposto para reconhecimento de objetos. O objeto 130 a ser reconhecido é conferido com um material fluorescente, provendo assim ao objeto um padrão espectral de refletância e fluorescência específico do objeto. Para criar materiais com padrões/assinaturas espectrais fluorescentes exclusivos, foram usados corantes da série BASF Lumogen® F dispersos em um revestimento transparente automotivo de um componente. Quatro corantes diferentes, incluindo Amarelo 170, Laranja 240, Rosa 285 ou Vermelho 305, rotulados A, B, C e D, e uma combinação de Amarelo 170 e Laranja 240, rotulados E, foram usados para criar materiais para os exemplos 1 e 2. Os revestimentos transparentes tingidos foram estirados em painéis de aço branco com espessura de 200 mícrons e curados. Outros métodos de aplicação de fluorescência a um objeto podem ser usados.[0078] The light source can be configured to illuminate a scene including the object 130 to be recognized, quickly switching between the different illuminants (111, 112 and 113 in figure 1a, or 114 and 115 in figure 1b). System 100 further comprises a data processing unit, i.e. CPU 140 which is configured to estimate an object-specific reflectance and/or spectral pattern of fluorescence with spectral patterns of reflectance and/or fluorescence stored in a data storage unit. data 150 that is wirelessly or over a wire connected to the CPU 140 and to identify a most compatible reflectance and/or fluorescence spectral pattern and therefore an object that is assigned the most compatible reflectance and/or fluorescence spectral pattern. System 100 additionally includes a display unit 160 that is configured to display at least the identified object that is assigned the identified most compatible spectral fluorescence pattern. System 100 may comprise more than one sensor, more than one light source, and/or more than one object where all components of the system form a network. Using system 100, it is possible to realize an embodiment of the proposed method for object recognition. The object 130 to be recognized is matched with a fluorescent material, thereby providing the object with an object-specific spectral pattern of reflectance and fluorescence. To create materials with unique fluorescent spectral patterns/signatures, BASF Lumogen® F series dyes dispersed in a one-component automotive clearcoat were used. Four different dyes, including Yellow 170, Orange 240, Pink 285 or Red 305, labeled A, B, C, and D, and a combination of Yellow 170 and Orange 240, labeled E, were used to create materials for Examples 1 and 2. The tinted clearcoats were stretched onto 200 micron thick white steel panels and cured. Other methods of applying fluorescence to an object can be used.

24 / 3224 / 32

[0079] O objeto revestido 130 é iluminado com a fonte de luz 110 que é composta por múltiplos iluminantes. Os iluminantes podem ser comutados rapidamente a uma taxa que não é visível aos olhos humanos e as mudanças de iluminantes gerenciadas pelo sistema proposto por meio da rede, trabalhando em sincronia com os tempos de integração do sensor 120. No geral, é possível que múltiplas fontes de luz conectadas à rede possam ser sincronizadas para ter as mesmas frequências de mudança temporal e espectral, amplificando o efeito. Quando a cena incluindo o objeto 130 é iluminada pela fonte de luz 110, os dados de radiância da cena incluindo o objeto 130 são capturados/medidos pelo sensor 120. A unidade de processamento de dados 140 estima a refletância específica do objeto e/ou padrão espectral de fluorescência fora dos dados de radiância da cena separando primeiro os espectros de fluorescência e refletância do objeto.[0079] The coated object 130 is illuminated with the light source 110 which is composed of multiple illuminants. Illuminants can be switched quickly at a rate that is not visible to human eyes and the illuminant changes managed by the proposed system through the network, working in sync with the 120 sensor integration times. Overall, it is possible that multiple sources of light connected to the grid can be synchronized to have the same temporal and spectral shift frequencies, amplifying the effect. When the scene including the object 130 is illuminated by the light source 110, the radiance data of the scene including the object 130 is captured/measured by the sensor 120. The data processing unit 140 estimates the specific reflectance of the object and/or pattern. spectral of fluorescence outside the scene radiance data by first separating the fluorescence and reflectance spectra of the object.

[0080] Múltiplos métodos de separação de fluorescência de refletância são conhecidos. O método usado no exemplo 1 é descrito em Yinqiang Zheng, Imari Sato, and Yoichi Sato, “Spectra Estimation of Fluorescent and Reflective Scenes by Using Ordinary Illuminates”, ECCV 2014, Part V, LNCS 8693, pp. 188-202, 2014. O método aqui descrito representa por imagens um material fluorescente sob três iluminantes de banda larga diferentes com uma câmera hiperespectral. Este artigo foi incorporado por referência na íntegra.[0080] Multiple methods of separating fluorescence from reflectance are known. The method used in example 1 is described in Yinqiang Zheng, Imari Sato, and Yoichi Sato, “Spectra Estimation of Fluorescent and Reflective Scenes by Using Ordinary Illuminates”, ECCV 2014, Part V, LNCS 8693, pp. 188-202, 2014. The method described here image a fluorescent material under three different broadband illuminants with a hyperspectral camera. This article has been incorporated by reference in its entirety.

[0081] De acordo com a presente invenção, usando os dados de radiância medidos em três iluminantes diferentes 111, 112 e 113, como mostrado na figura 1a, os padrões espectrais de refletância e fluorescência são calculados em um processo de otimização de múltiplas etapas. O padrão espectral de fluorescência calculado para o objeto 130 é comparado pela unidade de processamento 140 com o padrão espectral conhecido e medido (usando um fluorômetro) de uma biblioteca de materiais armazenados no banco de dados 150. O banco de dados 150 inclui múltiplos padrões[0081] In accordance with the present invention, using the radiance data measured at three different illuminants 111, 112 and 113, as shown in Figure 1a, the spectral patterns of reflectance and fluorescence are calculated in a multi-step optimization process. The spectral pattern of fluorescence calculated for object 130 is compared by processing unit 140 with the known spectral pattern and measured (using a fluorometer) from a library of materials stored in database 150. Database 150 includes multiple patterns

25 / 32 espectrais de fluorescência vinculados a objetos específicos, respectivamente. Para formar tal banco de dados, é possível projetar diferentes formulações fluorescentes e aplicar essas formulações fluorescentes nos respectivos objetos diferentes, de modo que cada objeto seja exclusivamente vinculado a um padrão espectral de fluorescência específico do objeto. As formulações fluorescentes podem ser projetas usando misturas específicas de produtos químicos fluorescentes com diferentes perfis de emissão, em razões específicas para alcançar assinaturas espectrais exclusivas, respectivamente. O material fluorescente aplicado ao objeto 130 pode, então, ser identificado por qualquer número de algoritmos de correspondência entre o padrão espectral de fluorescência específico do objeto calculado e os padrões espectrais de material conhecidos armazenados no banco de dados 150, por exemplo, por menor raiz quadrada média do erro, menor erro médio absoluto, coeficiente de determinação mais alto ou correspondência do valor máximo do comprimento de onda de emissão. A identificação do material fluorescente, então, permite a identificação do objeto 130 usando as informações do banco de dados.25 / 32 fluorescence spectral linked to specific objects, respectively. To form such a database, it is possible to design different fluorescent formulations and apply these fluorescent formulations to the respective different objects, so that each object is uniquely linked to an object-specific spectral fluorescence pattern. Fluorescent formulations can be designed using specific mixtures of fluorescent chemicals with different emission profiles, at specific ratios to achieve unique spectral signatures, respectively. Fluorescent material applied to object 130 can then be identified by any number of matching algorithms between the calculated object-specific spectral fluorescence pattern and known spectral patterns of material stored in database 150, e.g. by smallest root mean square error, lowest mean absolute error, highest coefficient of determination, or maximum emission wavelength correspondence. The identification of the fluorescent material then allows the identification of the object 130 using the information from the database.

[0082] Finalmente, a unidade de processamento de dados 140 combina o padrão espectral de fluorescência estimado com padrões espectrais de fluorescência específicos do objeto armazenados na unidade de armazenamento de dados 150 e identifica o padrão espectral de fluorescência mais compatível. Finalmente, a unidade de processamento de dados 140 pode ler a partir da unidade de armazenamento de dados 150 por meio do padrão espectral de fluorescência mais compatível identificado do objeto que está vinculado a este padrão espectral de fluorescência mais compatível e pode exibir o objeto junto com o padrão espectral de fluorescência na unidade de exibição 160.[0082] Finally, data processing unit 140 combines the estimated fluorescence spectral pattern with object-specific fluorescence spectral patterns stored in data storage unit 150 and identifies the most compatible fluorescence spectral pattern. Finally, the data processing unit 140 can read from the data storage unit 150 through the identified most compatible spectral fluorescence pattern of the object which is linked to this most compatible spectral fluorescence pattern and can display the object along with the spectral pattern of fluorescence on the display unit 160.

[0083] O gerador de imagens 120 pode ser uma câmera hiperespectral ou um sensor multiespectral. Em vez de duas dúzias ou mais bandas de[0083] The imager 120 can be a hyperspectral camera or a multispectral sensor. Instead of two dozen or so bands of

26 / 32 sensores individuais em um sensor hiperespectral, um sensor multiespectral tem aproximadamente 4 a 20 bandas de sensores. Sensores multiespectrais podem operar no modo instantâneo, capturando uma cena inteira durante uma única exposição. Em contraste, os sensores hiperespectrais normalmente operam no modo de escaneamento de linha, o que significa que eles não podem obter a imagem de toda a cena de uma vez. Além disso, os sensores multiespectrais são muito mais econômicos que as câmeras hiperespectrais. Os sensores multiespectrais não possuem a mesma resolução espectral das câmeras hiperespectrais, mas são suficientes para prever a identificação do material utilizando o método proposto com algoritmos de correspondência apropriados. O sensor também pode operar de forma monocromática, com mecanismo para alterar a região espectral medida ao longo do tempo. O sensor pode operar com filtros de banda estreita. Isso pode ser útil em condições externas ou outras condições com um componente de iluminação solar quando os filtros de banda estreita correspondem às linhas de Fraunhofer, que são comprimentos de onda ausentes do espectro solar devido à absorção elementar dentro do sol. Desta forma, a radiação solar, que pode ser avassaladora em comparação com a fonte de luz artificial, pode ser amplamente excluída, permitindo a separação da refletância e da fluorescência e, portanto, a identificação do objeto.26 / 32 individual sensors in a hyperspectral sensor, a multispectral sensor has approximately 4 to 20 sensor bands. Multispectral sensors can operate in snapshot mode, capturing an entire scene during a single exposure. In contrast, hyperspectral sensors typically operate in line scan mode, which means they cannot image the entire scene at once. In addition, multispectral sensors are much more cost-effective than hyperspectral cameras. Multispectral sensors do not have the same spectral resolution as hyperspectral cameras, but they are sufficient to predict material identification using the proposed method with appropriate matching algorithms. The sensor can also operate monochromatically, with a mechanism to change the measured spectral region over time. The sensor can operate with narrowband filters. This can be useful in outdoor conditions or other conditions with a solar illumination component when narrowband filters correspond to Fraunhofer lines, which are wavelengths absent from the solar spectrum due to elemental absorption within the sun. In this way, solar radiation, which can be overwhelming compared to the artificial light source, can be largely excluded, allowing the separation of reflectance and fluorescence and hence object identification.

[0084] O objeto fluorescente 130 foi fotografado sob os diferentes iluminantes, 111, 112 e 113, por exemplo 1, como indicado na figura 1a, ou os iluminantes LED 114 e 115, por exemplo 2, como indicado na figura 1b. O sensor 120 usado é um gerador de imagens hiperespectral Resonon Pika L para os exemplos 1 e 2, consistindo em 300 bandas de comprimento de onda entre aproximadamente 384 nm e 1024 nm e posicionado a aproximadamente 0,5 metros do objeto 130. Por exemplo 2, as radiâncias resultantes foram refeitas em intervalos de 10 nm entre 420 nm e 740 nm.[0084] The fluorescent object 130 was photographed under the different illuminants, 111, 112 and 113, for example 1, as indicated in figure 1a, or the LED illuminants 114 and 115, for example 2, as indicated in figure 1b. The sensor 120 used is a Resonon Pika L hyperspectral imager for Examples 1 and 2, consisting of 300 wavelength bands between approximately 384 nm and 1024 nm and positioned approximately 0.5 meters from the object 130. For example 2 , the resulting radiances were reshot at 10 nm intervals between 420 nm and 740 nm.

[0085] O método usado para separar a fluorescência da refletância[0085] The method used to separate fluorescence from reflectance

27 / 32 usado no exemplo 2 está no artigo de Fu et al. “Separating Reflective and Fluorescent Compenents Using High Frequency Illumination in the Spectral Domain”, ICCV 2013. Conforme aplicado em seu artigo, o método requer fonte de luz personalizável (Nikon ELS-VIS) capaz de gerar um espectro do tipo senoidal. A fonte de luz personalizável tem baixo consumo de energia e é cara, evitando o uso generalizado ou uso em cenas de tamanho normal. Surpreendentemente, foi verificado aqui que a fonte de luz pode ser substituída por LEDs baratos e de alta potência, apesar da tecnologia LED atual ser incapaz de criar bandas de emissão tão estreitas quanto a Nikon ELS-VIS. As imagens hiperespectrais foram gravadas da mesma maneira que no Exemplo 1 e refeitas em intervalos de 10 nm. Comprimentos de onda em que ambos os iluminantes de LED 114, 115 têm radiâncias similares são omitidos devido à natureza do cálculo. Os resultados de emissão calculados/estimados foram comparados com a emissão de fluorescência medida para cada material usando um espectrofotômetro de fluorescência. Para facilitar a comparação, o espectro de emissão medido também foi refeito para os mesmos intervalos de 10 nm e os mesmos comprimentos de onda omitidos.27 / 32 used in example 2 is in the article by Fu et al. “Separating Reflective and Fluorescent Components Using High Frequency Illumination in the Spectral Domain”, ICCV 2013. As applied in your article, the method requires a customizable light source (Nikon ELS-VIS) capable of generating a sinusoidal-like spectrum. The customizable light source has low power consumption and is expensive, preventing widespread use or use in full-sized scenes. Surprisingly, it was found here that the light source can be replaced by cheap, high-power LEDs, despite current LED technology being unable to create emission bands as narrow as the Nikon ELS-VIS. Hyperspectral images were recorded in the same manner as in Example 1 and reshot at 10 nm intervals. Wavelengths where both LED illuminants 114, 115 have similar radiances are omitted due to the nature of the calculation. The calculated/estimated emission results were compared with the fluorescence emission measured for each material using a fluorescence spectrophotometer. For ease of comparison, the measured emission spectrum was also remade for the same 10 nm intervals and the same omitted wavelengths.

[0086] Para alcançar os resultados de emissão calculados/estimados, um algoritmo simples é aplicado aos dados de radiância medidos em cada comprimento de onda sob cada iluminante dos dois iluminantes LED 114, 115 e, portanto, permite a separação dos espectros de emissão de refletância e fluorescência a serem capturados.[0086] In order to achieve the calculated/estimated emission results, a simple algorithm is applied to the radiance data measured at each wavelength under each illuminant of the two LED illuminants 114, 115 and thus allows the separation of the emission spectra of reflectance and fluorescence to be captured.

[0087] Como a reflexão e a fluorescência têm comportamentos físicos diferentes, elas precisam ser descritas por modelos diferentes. A radiância de uma superfície refletida depende da luz incidente e de sua refletância. Usando a nomenclatura do artigo acima mencionado de Fu et al., a radiância observada de uma superfície normal refletida em um comprimento de onda λ é calculada como[0087] As reflection and fluorescence have different physical behaviors, they need to be described by different models. The radiance of a reflected surface depends on the incident light and its reflectance. Using the nomenclature from the aforementioned paper by Fu et al., the observed radiance of a normal surface reflected at a wavelength λ is calculated as

28 / 32 (1) em que l(λ) é o espectro da luz incidente no comprimento de onda λ e r(λ) é a refletância espectral da superfície no comprimento de onda λ.28 / 32 (1) where l(λ) is the spectrum of incident light at wavelength λ and r(λ) is the spectral reflectance of the surface at wavelength λ.

[0088] A radiância observada de uma superfície fluorescente pura depende da luz incidente, do espectro de absorção do material e de seu espectro de emissão. A fluorescência normalmente absorve luz em alguns comprimentos de onda e emite-os em comprimentos de onda mais longos. O espectro de absorção da superfície determinará quanto da luz é absorvido. Parte da energia absorvida é então liberada na forma de um espectro de emissão em comprimentos de onda mais longos que a luz incidente. O restante da energia absorvida é liberado como calor. O espectro observado da superfície fluorescente pura no comprimento de onda λ é descrito em termos de seus espectros de absorção e emissão como (2) em que a(λ') e e(λ) representam o espectro de absorção e emissão. Com k = (ʃ l(λ')a(λ')d λ'), pf(λ) podem ser escritos como pf(λ) = ke(λ) o que significa que o formato ou a distribuição do espectro emitido é constante, mas a escala k do espectro emitido muda sob diferentes iluminações. Ou seja, a radiância da emissão fluorescente muda sob diferentes iluminações, mas sua cor permanece a mesma, independentemente da cor de iluminação. Finalmente, a superfície reflexiva e fluorescente mostra uma radiância de acordo com: (3)[0088] The observed radiance of a pure fluorescent surface depends on the incident light, the material's absorption spectrum and its emission spectrum. Fluorescence normally absorbs light at some wavelengths and emits it at longer wavelengths. The surface absorption spectrum will determine how much of the light is absorbed. Part of the absorbed energy is then released in the form of an emission spectrum at wavelengths longer than the incident light. The rest of the absorbed energy is released as heat. The observed spectrum of the pure fluorescent surface at wavelength λ is described in terms of its absorption and emission spectra as (2) where a(λ') and e(λ) represent the absorption and emission spectrum. With k = (ʃ l(λ')a(λ')d λ'), pf(λ) can be written as pf(λ) = ke(λ) which means that the format or distribution of the emitted spectrum is constant, but the k scale of the emitted spectrum changes under different illuminations. That is, the radiance of the fluorescent emission changes under different lighting, but its color remains the same regardless of the lighting color. Finally, the reflective and fluorescent surface shows a radiance according to: (3)

[0089] Ao usar, conforme proposto de acordo com o método proposto, iluminância senoidal de alta frequência no domínio espectral, a radiância do objeto sob esses dois iluminantes senoidais pode ser descrita como: (4)[0089] When using, as proposed according to the proposed method, high frequency sinusoidal illuminance in the spectral domain, the radiance of the object under these two sinusoidal illuminants can be described as: (4)

29 / 3229 / 32

[0090] A partir daí, a refletância r(λ) e a emissão fluorescente ke(λ) podem ser recuperadas como (5) (6)[0090] From there, the reflectance r(λ) and the fluorescent emission ke(λ) can be recovered as (5) (6)

[0091] Por meio das equações descritas acima é possível calcular a partir dos dados de radiância p(λ) e da intensidade l(λ) dos iluminantes a refletância r(λ) e a emissão fluorescente e e(λ) do objeto que foi iluminado pela fonte de luz. Desse modo, a emissão fluorescente corresponde ao padrão espectral de fluorescência específico do objeto O padrão espectral de fluorescência específico do objeto calculado é então comparado com os padrões espectrais de fluorescência que são armazenados no banco de dados e vinculados aos respectivos objetos específicos.[0091] Through the equations described above it is possible to calculate from the radiance data p(λ) and the intensity l(λ) of the illuminants the reflectance r(λ) and the fluorescent emission ee(λ) of the object that was illuminated by the light source. In this way, the fluorescence emission matches the object-specific fluorescence spectral pattern. The calculated object-specific fluorescence spectral pattern is then compared with the fluorescence spectral patterns that are stored in the database and linked to the respective specific objects.

[0092] A figura 2 mostra exemplos de espectros iluminantes 230, 240 e 250. O diagrama 200 mostra um eixo geométrico horizontal 210 ao longo do qual o comprimento de onda é traçado e um eixo geométrico vertical 220 mostra a intensidade da iluminação. A curva 230 mostra a iluminação de um primeiro iluminante, ou seja, uma CFL (Lâmpada Fluorescente Compacta) com pelo menos três máximos pronunciados, ou seja, a 435,15 nm, a 546,47 nm e o máximo mais elevado a 611,45 nm. A curva 240 mostra o espectro iluminante de um segundo iluminante, ou seja, um iluminante incandescente com um aumento de intensidade de luz com o aumento do comprimento de onda. A curva 250 mostra o espectro iluminante de um terceiro iluminante, ou seja, um LED com dois máximos pronunciados, ou seja, a 453,54 nm e a 603,02 nm.[0092] Figure 2 shows examples of illuminating spectra 230, 240 and 250. Diagram 200 shows a horizontal axis 210 along which the wavelength is plotted and a vertical axis 220 shows the intensity of illumination. Curve 230 shows the illumination of a first illuminant, i.e. a CFL (Compact Fluorescent Lamp) with at least three pronounced maxima, i.e. at 435.15 nm, at 546.47 nm and the highest maximum at 611, 45 nm. Curve 240 shows the illuminant spectrum of a second illuminant, that is, an incandescent illuminant with an increase in light intensity with increasing wavelength. Curve 250 shows the illuminant spectrum of a third illuminant, ie an LED with two pronounced maxima, ie at 453.54 nm and 603.02 nm.

[0093] A figura 3 mostra uma comparação de resultados de emissão calculados (padrões espectrais de fluorescência calculados) por exemplo 1 com emissões fluorescentes medidas para o material A usando um fluorômetro. O diagrama 300 é abrangido ao longo de um eixo geométrico[0093] Figure 3 shows a comparison of calculated emission results (calculated spectral fluorescence patterns) eg 1 with measured fluorescent emissions for material A using a fluorometer. Diagram 300 is spanned along a geometric axis

30 / 32 horizontal 310 mostrando o comprimento de onda e um eixo geométrico vertical 320 mostrando a intensidade de emissão normalizada. Como pode ser visto nas curvas 330 e 340 em que a curva 330 mostra a emissão calculada com um máximo em 565,26 nm e a curva 340 mostra a emissão medida com um máximo em 568 nm, uma boa concordância é visível.30 / 32 horizontal 310 showing the wavelength and a vertical axis 320 showing the normalized emission intensity. As can be seen from curves 330 and 340 where curve 330 shows calculated emission with a maximum at 565.26 nm and curve 340 shows measured emission with a maximum at 568 nm, a good agreement is visible.

[0094] A figura 4 mostra na porção do topo os espectros de emissão medidos (padrões espectrais de fluorescência medidos) e na porção de fundo os respectivos espectros de emissão calculados (padrões espectrais de fluorescência calculados) para diferentes materiais A, B, C, D, E, por exemplo[0094] Figure 4 shows in the top portion the measured emission spectra (measured spectral fluorescence patterns) and in the bottom portion the respective calculated emission spectra (calculated spectral fluorescence patterns) for different materials A, B, C, D, E, for example

1. Em cada diagrama para cada material diferente A, B, C, D, E uma curva diferente é traçada como indicado.1. In each diagram for each different material A, B, C, D, E a different curve is plotted as indicated.

[0095] A figura 5 mostra os resultados de comparações quantitativas entre os espectros de emissão de fluorescência medidos e calculados para o exemplo 1. O erro médio absoluto (Figura 5a), ângulo espectral (Figura 5b) e distância euclidiana (Figura 5c) foram calculados para cada espectro calculado em relação aos espectros para cada material medido. O erro médio absoluto é um método comum de comparar o erro de um valor calculado com o valor de verdade terrestre, valores de menor erro médio absoluto indicam uma melhor correspondência entre os valores de verdade terrestre e os calculados. O mapeamento de ângulo espectral (figura 5b) é um conceito usado em imagens espectrais para classificar objetos em um banco de dados de espectros conhecido. Para mapeamento de ângulo espectral, um valor menor é indicativo de uma correspondência mais próxima entre o objeto desconhecido e o objeto medido. A distância euclidiana (figura 5c) é outro conceito usado em imagens espectrais da mesma maneira que o ângulo espectral. Novamente, valores inferiores indicam uma melhor correspondência para distância euclidiana. Para os materiais A, C, D e E os resultados do cálculo de erro médio absoluto, ângulo espectral e distância euclidiana identificam corretamente o material desconhecido, com exceção do[0095] Figure 5 shows the results of quantitative comparisons between the measured and calculated fluorescence emission spectra for example 1. The mean absolute error (Figure 5a), spectral angle (Figure 5b) and Euclidean distance (Figure 5c) were calculated for each spectrum calculated against the spectra for each material measured. Mean absolute error is a common method of comparing the error of a calculated value with the terrestrial truth value, values of smaller mean absolute error indicate a better match between terrestrial and calculated truth values. Spectral angle mapping (figure 5b) is a concept used in spectral imaging to classify objects in a database of known spectra. For spectral angle mapping, a smaller value is indicative of a closer correspondence between the unknown object and the measured object. Euclidean distance (figure 5c) is another concept used in spectral images in the same way as spectral angle. Again, lower values indicate a better match for Euclidean distance. For materials A, C, D and E the results of the calculation of mean absolute error, spectral angle and Euclidean distance correctly identify the unknown material, with the exception of the

31 / 32 material B, como pode ser visto nas tabelas mostradas na figura 5a, figura 5b e figura 5c, respectivamente.31 / 32 material B, as can be seen in the tables shown in figure 5a, figure 5b and figure 5c, respectively.

[0096] A Figura 6 mostra espectros iluminantes de exemplo e radiâncias medidas sob cada iluminante, por exemplo 2. O diagrama 600 mostra um eixo geométrico horizontal 610 ao longo do qual o comprimento de onda é traçado e um eixo geométrico vertical 620 que mostra a intensidade da iluminação. A curva 640 mostra a iluminação de um primeiro iluminante e a curva 641 mostra os respectivos dados de radiância do objeto iluminado pelo primeiro iluminante. A curva 630 mostra o espectro iluminante de um segundo iluminante e a curva 631 mostra os respectivos dados de radiância do objeto quando iluminado pelo segundo iluminante. O efeito da emissão de fluorescência é óbvio na faixa de ≈ 530 a 650 nm.[0096] Figure 6 shows example illuminant spectra and measured radiances under each illuminant, eg 2. Diagram 600 shows a horizontal axis 610 along which the wavelength is plotted and a vertical axis 620 showing the lighting intensity. Curve 640 shows the illumination of a first illuminant and curve 641 shows the respective radiance data of the object illuminated by the first illuminant. Curve 630 shows the illuminant spectrum of a second illuminant and curve 631 shows the respective radiance data of the object when illuminated by the second illuminant. The effect of fluorescence emission is obvious in the range ≈ 530 to 650 nm.

[0097] A figura 7 mostra uma comparação de resultados de emissão calculados (padrões espectrais de fluorescência calculados) por exemplo 2 com emissões de fluorescência medidas para o material A usando um fluorômetro. O diagrama 700 é abrangido ao longo de um eixo geométrico horizontal 710 mostrando o comprimento de onda e um eixo geométrico vertical 720 mostrando a intensidade de emissão normalizada. Como pode ser visto nas curvas 730 e 740 em que a curva 730 mostra a emissão calculada e a curva 740 mostra a emissão medida, uma boa concordância é visível.[0097] Figure 7 shows a comparison of calculated emission results (calculated spectral fluorescence patterns) eg 2 with measured fluorescence emissions for material A using a fluorometer. Diagram 700 is spanned along a horizontal axis 710 showing wavelength and a vertical axis 720 showing normalized emission intensity. As can be seen from curves 730 and 740 where curve 730 shows calculated emission and curve 740 shows measured emission, a good agreement is visible.

[0098] A figura 8 mostra no lado esquerdo espectros de emissão calculados (padrões espectrais de fluorescência calculados) para o exemplo 2 e no lado direito os respectivos espectros de emissão medidos para diferentes materiais A, B, C, D, E. Em cada diagrama para cada material diferente A, B, C , D, E uma curva diferente é traçada conforme indicado.[0098] Figure 8 shows on the left side calculated emission spectra (calculated fluorescence spectral patterns) for example 2 and on the right side the respective measured emission spectra for different materials A, B, C, D, E. In each diagram for each different material A, B, C , D, E a different curve is plotted as indicated.

[0099] A figura 9 mostra os resultados de comparações quantitativas entre o espectro de emissão de fluorescência medido e calculado para o exemplo 2. O erro médio absoluto (Figura 9a), ângulo espectral (Figura 9b) e distância euclidiana (Figura 9c) foram calculados para cada espectro[0099] Figure 9 shows the results of quantitative comparisons between the measured and calculated fluorescence emission spectrum for example 2. The mean absolute error (Figure 9a), spectral angle (Figure 9b) and Euclidean distance (Figure 9c) were calculated for each spectrum

32 / 32 calculado em relação aos espectros para cada material medido.32 / 32 calculated in relation to the spectra for each material measured.

Para cada um dos materiais A, C, D e E os resultados do cálculo de erro médio absoluto, ângulo espectral e distância euclidiana identificam corretamente o material desconhecido como pode ser visto nas tabelas mostradas na figura 9a, figura 9b e figura 9c.For each of the materials A, C, D and E the results of the calculation of mean absolute error, spectral angle and Euclidean distance correctly identify the unknown material as can be seen in the tables shown in Figure 9a, Figure 9b and Figure 9c.

Claims

1. System for recognizing objects through a computer vision application, the system (100) characterized in that it comprises at least the following components: - an object (130) to be recognized, the object having object-specific reflectance and spectral patterns of luminescence, - a light source (110) that is composed of at least two illuminants (111, 112, 113, 114, 115) and is configured to illuminate a scene including the object to be recognized by switching between the at least at least two illuminants, wherein at least one of the at least two illuminants is based on at least one solid-state lighting system, - a sensor (120) which is configured to measure radiance data of the scene including the object when the scene is illuminated by the light source, - a data storage unit (150) comprising spectral patterns of luminescence together with the respective appropriately assigned objects, - a data processing unit (140) which is configured to extract the object-specific luminescence spectral pattern of the object to be recognized out of the scene radiance data and to match the extracted object-specific luminescence spectral pattern with the luminescence spectral patterns stored in the data storage unit , and to identify a more compatible spectral pattern of luminescence and therefore its assigned object.

2. System according to claim 1, characterized in that it additionally comprises a display unit (160) that is configured to display at least the identified object that is assigned the most compatible spectral pattern of luminescence identified.

3. System according to claim 1 or 2, characterized in that the object (130) to be recognized is checked against a predefined luminescence material and the spectral pattern of luminescence of the resulting object is known and used as a tag.

4. System according to any one of claims 1 to 3, characterized in that the data processing unit (140) is configured to identify the most compatible spectral luminescence pattern using any number of matching algorithms between the spectral pattern of extracted object-specific luminescence and stored spectral luminescence patterns, the matching algorithms being chosen from the group comprising at least: smallest root mean square error, smallest mean absolute error, highest coefficient of determination, value match maximum wavelength.

5. System according to any one of the preceding claims, characterized in that the processing unit (140) is configured to estimate, using radiance data measured under at least two illuminants (111, 112, 113, 114, 115 ), the luminescence spectral pattern and the reflective spectral pattern of the object (130) to be recognized.

6. System according to any one of the preceding claims, characterized in that the sensor (120) is a hyperspectral camera or a multispectral camera.

7. System according to any one of the preceding claims, characterized in that the light source (110) is a switchable light source (110) with two illuminants (114, 115) each comprising one or more LEDs and with a short time of alternation between the two illuminants.

8. System according to any one of the preceding claims, characterized in that the sensor (120) is synchronized to the switching of the light source (110) to emit at once the radiance data of the scene under one of the at least two illuminants (111, 112, 113, 114, 115).

9. Method for object recognition through a computer vision application, the method characterized by the fact that it comprises at least the following steps: - providing an object (130) with object-specific reflectance and spectral luminescence patterns, the object ( 130) must be recognised, - illuminate a scene including the object (130) with a light source (110) that is composed of at least two illuminants (111, 112, 113, 114, 115), switching between the at least two illuminants (111, 112, 113, 114, 115), wherein at least one of the two illuminants is based on at least one solid-state system, - measuring, by means of a sensor (120), the radiance data of the scene including the object (130) when the scene is illuminated by the light source (110), - providing a data storage unit (150) with spectral patterns of luminescence together with the respective appropriately assigned objects, - estimating, through a unit data processing (140), the pad object-specific luminescence spectral range of the object to be recognized outside the radiance data of the scene, and - to match, through the data processing unit (140), the estimated object-specific luminescence spectral pattern to the stored luminescence spectral patterns in the data storage unit (150), and - identifying, through the data processing unit (140), a most compatible luminescence spectral pattern and, therefore, its assigned object.

10. Method according to claim 9, characterized in that the step to provide an object (130) to be recognized comprises giving the object a luminescence material, therefore providing the object with specific spectral patterns of reflectance and luminescence of object.

11. Method according to claim 9 or 10, characterized in that it additionally comprises the following steps: displaying through a display device (160) at least the identified object that is assigned to the most compatible spectral luminescence pattern identified.

A method according to any one of claims 9, 10 or 11, characterized in that the matching step comprises identifying the most compatible specific luminescence spectral pattern using any number of matching algorithms between the specific luminescence spectral pattern of estimated object and stored luminescence spectral pattern, the matching algorithms being chosen from the group comprising at least: smallest root mean square error, smallest mean absolute error, highest coefficient of determination, maximum wavelength matching .

13. Method according to any one of claims 9 to 12, characterized in that the estimation step comprises estimating, using the radiance data measured under the at least two illuminants (111, 112, 113, 114, 115), the luminescence spectral pattern and the object's reflective spectral pattern (130) in a multi-step optimization process.

Method according to any one of claims 9 to 13, characterized in that the light source (110) is chosen as a switchable light source with two illuminants (114, 115) each comprising one or more LEDs and with a short switching time between the two illuminants (114, 115).

15. Computer-readable storage medium characterized in that it comprises computer-readable instructions that, when read by a computer, cause it to perform the steps of the method as defined in any one of claims 9 to 14.