BR202022002209U2

BR202022002209U2 - AUTOMATED ANALYSIS AND CLASSIFICATION MICROSCOPE

Info

Publication number: BR202022002209U2
Application number: BR202022002209-2U
Authority: BR
Inventors: Alexandre Henrique Azevedo Coleto; Diana Frota De Abreu Secchin; Nelio Augusto Secchin; Sávio Cuzzuol De Oliveira
Original assignee: Aratu Ltda. Epp
Filing date: 2022-02-04
Publication date: 2023-08-15

Abstract

O presente modelo de utilidade refere-se a um microscópio de análise e classificação automatizado que realiza o imageamento microscópico de alta resolução de maneira automatizada e metodológica, utilizando visão computacional e inteligência artificial, possibilitando a análise qualitativa, quantitativa e estrutural, a classificação morfológica e a quantificação de porções pré-determinadas de amostras orgânicas e inorgânicas em qualquer um dos seus estados físicos. Mais especificamente, consiste em um equipamento que pode ser levado até mesmo a campo para as mais diversas análises via microscopia, retirando toda e qualquer interferência do operador, possibilitando uma padronização de análise em sua maior excelência com um processo mais ágil e preciso.

This utility model refers to an automated analysis and classification microscope that performs high-resolution microscopic imaging in an automated and methodological manner, using computer vision and artificial intelligence, enabling qualitative, quantitative and structural analysis, morphological classification and the quantification of pre-determined portions of organic and inorganic samples in any of their physical states. More specifically, it consists of equipment that can even be taken to the field for the most diverse analyzes via microscopy, removing any interference from the operator, enabling standardization of analysis to its greatest excellence with a more agile and precise process.

Description

AUTOMATED ANALYSIS AND CLASSIFICATION MICROSCOPE

Application field

[001] A presente modelo de utilidade refere-se a um microscópio de análise e classificação automatizado que realiza o imageamento microscópico de alta resolução de maneira automatizada e metodológica, utilizando visão computacional e inteligência artificial, possibilitando a análise qualitativa, quantitativa e estrutural, a classificação morfológica e a quantificação de porções pré-determinadas de amostras orgânicas e inorgânicas em qualquer um dos seus estados físicos. Mais especificamente, o presente modelo de utilidade consiste em um equipamento que pode ser levado até mesmo a campo para as mais diversas análises via microscopia, retirando toda e qualquer interferência do operador, possibilitando uma padronização de análise em sua maior excelência com um processo mais ágil e acertivo.[001] This utility model refers to an automated analysis and classification microscope that performs high-resolution microscopic imaging in an automated and methodological manner, using computer vision and artificial intelligence, enabling qualitative, quantitative and structural analysis, the morphological classification and quantification of pre-determined portions of organic and inorganic samples in any of their physical states. More specifically, this utility model consists of equipment that can even be taken to the field for the most diverse analyzes via microscopy, removing any interference from the operator, enabling standardization of analysis in its greatest excellence with a more agile process. and accurate.

[002] A classificação do presente modelo de utilidade está contemplada na área de física, mais especificamente na classe de óptica, na subclasse de elementos, sistemas e aparelhos ópticos, contemplando a categoria dos microscópios.[002] The classification of this utility model is covered in the area of physics, more specifically in the class of optics, in the subclass of optical elements, systems and devices, covering the category of microscopes.

Utility Model Fundamentals

[003] O microscópio é um instrumento óptico com capacidade de ampliar imagens de objetos de difícil visualização a olho nu através do seu poder de resolução. Segundo Rosana C. N. Melo, descrito no livro Células & Microscopia, publicado pela Editora Manole em 2018, os primeiros microscópios óticos datam de 1600, e são constiuídos basicamente por compenentes mecânicos (base, braçao, platina, revólver, canhão parafuso macrométrico e parafuso micrométrico) e componentes óticos (condensador, diafragma, fonte luminosa, lente ocular e lente objetiva). Entretanto, a operação desses equipamentos ainda é realizada de forma manual, desencadeando em uma considerável dependência da detreza do operador, dificultando, portanto, a padronização da maioria das análises e caracterizações realizadas via microscopia.[003] The microscope is an optical instrument with the ability to magnify images of objects that are difficult to see with the naked eye through its resolving power. According to Rosana C. N. Melo, described in the book Células & Microscopia, published by Editora Manole in 2018, the first optical microscopes date back to 1600, and are basically made up of mechanical components (base, arm, stage, revolver, macrometric screw barrel and micrometric screw) and optical components (condenser, diaphragm, light source, ocular lens and objective lens). However, the operation of this equipment is still carried out manually, resulting in considerable dependence on the operator's dexterity, therefore making it difficult to standardize the majority of analyzes and characterizations carried out via microscopy.

[004] Segundo Angelo Fernando Padilha e Francisco Ambrozio Filho, conforme descrito no livro Técnicas de Análise Microestrutural, publicado pela editora Hemus em 2006, para formar a imagem aumentada da amostra, o microscópio ótico conta com uma lente objetiva e uma ocular, colocadas nas extremidades diametralmente opostas do canhão, composto por sua vez, de duas partes que podem ser estendidas ou encurtadas. O movimento de extensão e encurtamento do tubo é responsável pela aproximação ou afastamento do conjunto objetiva-ocular. A luz que incide sobre um condensador, atravessa o objeto e é encaminhada para o canhão de lentes convergentes, formado pela objetiva e ocular. Quando o feixe luminoso atinge a lente objetiva, forma-se uma imagem intermediária e aumentada do objeto. A lente ocular, por fim, funciona como uma lupa que amplia e produz a imagem final do material observado.[004] According to Angelo Fernando Padilha and Francisco Ambrozio Filho, as described in the book Microstructural Analysis Techniques, published by Hemus in 2006, to form the enlarged image of the sample, the optical microscope has an objective lens and an eyepiece, placed in the diametrically opposite ends of the cannon, composed in turn of two parts that can be extended or shortened. The extension and shortening movement of the tube is responsible for bringing the objective-ocular assembly closer or further away. The light that falls on a condenser passes through the object and is directed to the converging lens barrel, formed by the objective and eyepiece. When the light beam reaches the objective lens, an intermediate and enlarged image of the object is formed. The ocular lens, finally, works like a magnifying glass that magnifies and produces the final image of the observed material.

[005] O correto posicionamento das lâminas com as amostras no microscópio é de fundamental importância para a geração de imagens de qualidade, segundo Luiz Henrique Monteio Leal, conforme descrito no livro Fundamentos de Microscopia publicado pela editora Eduerj em 2000. Entretanto, sabe-se que esse posicionamento está interligado com a operação e destreza do operador, dificultando posicionamentos replicáveis para diferentes operadores. Além disso, o posicionamento feito de forma manual pelo operador torna o processo de microscopia lento a laborioso.[005] The correct positioning of the slides with the samples in the microscope is of fundamental importance for the generation of quality images, according to Luiz Henrique Monteio Leal, as described in the book Fundamentals of Microscopy published by Eduerj in 2000. However, it is known that this positioning is interconnected with the operator's operation and dexterity, making replicable positioning difficult for different operators. Furthermore, positioning done manually by the operator makes the microscopy process slow to laborious.

Description of the State of the Art

[006] Para entendimento do estado da técnica, ou seja, o que já está disponível aos técnicos do assunto, serão apresentados os seguintes documentos de patente e informações publicadas na internet pelos fabricantes de tecnologias similares:[006] To understand the state of the art, that is, what is already available to technicians in the subject, the following patent documents and information published on the internet by manufacturers of similar technologies will be presented:

[007] No documento de patente PI 7,500,780, de propriedade de Carl Zeiss, depositado em fevereiro de 1975, revela-se um microscópio comparador para observação simultânea de dois objetos, no qual um espelho, parcialmente trasnparente e disposto no caminho óptico de observação, serve para direcionar sobre um desses objetos, os raios iluminatórios. Para a avalaição de imagens microscópicas é de grande vantagem oferecer ao observador, dentro do mesmo campo visual, ambas as imagens a serem avaliadas, possibilitando uma comparação mais eficiente. Entretanto, esse documento não apresenta uma possibilidade de comparação de múltiplas imagens via visão computacional, além de não oferecer um sistema de inteligência artifical para reconhecimento de padrões nas imagens e um mecanismo de posicionamento automático das lâminas com as amostras.[007] In patent document PI 7,500,780, owned by Carl Zeiss, filed in February 1975, a comparator microscope for simultaneous observation of two objects is disclosed, in which a mirror, partially transparent and arranged in the optical observation path, serves to direct the illuminating rays onto one of these objects. When evaluating microscopic images, it is of great advantage to offer the observer, within the same visual field, both images to be evaluated, enabling a more efficient comparison. However, this document does not present the possibility of comparing multiple images via computer vision, in addition to not offering an artificial intelligence system for recognizing patterns in the images and a mechanism for automatically positioning the slides with the samples.

[008] O documento de patente PI 7,608,750, de propriedade da Olympus Ptical Ltd, depositado em dezsembro de 1976, apresenta um microscópio provido de um mecanismo de ajustagem grosso e fino, no qual o eixo de penhão e o eixo de ajustagem fino são coaxilamente arranjados, e as engrenagens fixadas a esses eixos são ligadas com engrenagens de redução arranjadas em um punho de ajustagem grossa. Apesar dessa invenção aperfeiçoar a precisão da movimentanção da amostra no microscópio, a problemática da influência do operador ainda continua presente, não detendo de um dispositivo automático para posicionamento e varredura da amostra.[008] Patent document PI 7,608,750, owned by Olympus Ptical Ltd, filed in December 1976, presents a microscope provided with a coarse and fine adjustment mechanism, in which the pinion axis and the fine adjustment axis are coaxially arranged, and the gears attached to these shafts are connected with reduction gears arranged in a coarse-fitting cuff. Although this invention improves the precision of moving the sample in the microscope, the problem of operator influence is still present, as there is no automatic device for positioning and scanning the sample.

[009] No documento de patente PI 9,807,671-0 A, de propriedade da Q3DM, LLC (US), depositado em janeiro de 1998, apresenta um circuito analógico para um sistema de microscocópio de foco automático que mede um grau de foco de um objeto diretamente de um sinal de vídeo de uma câmera CCD de microscópio. Contudo, novamente, essa invenção não vem a solucionar a varredura automática da amostra, atuando somente no eixo z, eixo do foco, e também não detém elementos relacionados com a captação e interpretaçãos das imagens de forma via inteligência artificial.[009] In patent document PI 9,807,671-0 A, owned by Q3DM, LLC (US), filed in January 1998, presents an analog circuit for an autofocus microscope system that measures a degree of focus of an object directly from a video signal from a microscope CCD camera. However, again, this invention does not solve the automatic scanning of the sample, acting only on the z axis, the focus axis, and also does not contain elements related to the capture and interpretation of images via artificial intelligence.

[010] A Canon Kabushiki Kaisha depositou em outubro de 2011 o documento de patente BR 112013009408-7 A1, nele apresenta-se um microscópio para capturar uma imagem de um objeto, com um sistema óptico configurado para formar uma imagem do objeto, e um dispositivo de imageação para capturar a imagem do objeto, em que o dispositivo de imageação inclui uma pluralidade de unidades de imageação, e em que cada uma das unidades de imageação inclui um sensor de imagem e um mecanismo de movimento para mover o sensor de imagem. Entretanto, mais uma vez o dispositivo não apresenta soluções técnicas para posicionamento das amostras e interpretação das imagens.[010] Canon Kabushiki Kaisha filed patent document BR 112013009408-7 A1 in October 2011, which presents a microscope for capturing an image of an object, with an optical system configured to form an image of the object, and a imaging device for capturing the image of the object, wherein the imaging device includes a plurality of imaging units, and wherein each of the imaging units includes an image sensor and a motion mechanism for moving the image sensor. However, once again the device does not present technical solutions for positioning samples and interpreting images.

[011] A Leica Microsystems CMS GMBH, depositou em fevereiro de 2011 o documento de patente WO 2012/107468 A2, nele revela-se um método de foco automático para uso no exame microscópico de um objeto situado no foco de uma objetiva de microscópio, usando um caminho de feixe de foco automático, por meio de um dispositivo de deflexão disposto no lado da objetiva. Todavia, de forma distinta do modelo de utilidade aqui proposto, não existe melhorias significativas em qualquer aspecto relacionada interpretação das imagens e posicionamento automatizado das lâminas.[011] Leica Microsystems CMS GMBH filed patent document WO 2012/107468 A2 in February 2011, which discloses an automatic focus method for use in the microscopic examination of an object located at the focus of a microscope objective, using an autofocus beam path, through a deflection device arranged on the side of the objective. However, unlike the utility model proposed here, there are no significant improvements in any aspect related to image interpretation and automated positioning of slides.

[012] No documento de patente US 10,330,906 B2, de propriedade da University of Connecticut, depositado em fevereiro de 2016, verifica-se mais um microscópio com dispositivo de foco automático. No entanto, a referente invenção não oferece melhorias no que se refere a posicionamento automático das amostras a serem analisadas, e no que se refere a utilização de inteligência artificial para seleção das imagens.[012] In patent document US 10,330,906 B2, owned by the University of Connecticut, filed in February 2016, there is another microscope with an automatic focusing device. However, the related invention does not offer improvements with regard to the automatic positioning of the samples to be analyzed, and with regard to the use of artificial intelligence to select images.

[013] O documento de patente US 8,067,245 B2, de propriedade da Medica Corporation, depositado em julho de 2006, apresenta um dispositivo e método similar ao proposto por esse documento. Trata-se de um aparelho e método de análise automatizada de células sanguíneas que utiliza motores eletrônicos e um sistema de controle de circuito fechado para minimizar fatores externos e ambientais na análise. As lâminas de esfregaço são carregadas em carrossel, onde podem ser analisadas individualmente. As lâminas são movidas sob um microscópio de baixa ampliação; uma área ideal de exame é determinada; um mapa de plano focal é calculado para essa área e as posições dos candidatos a glóbulos brancos são calculadas. A lâmina é então movida sob um microscópio de alta potência, onde um mapa de plano focal refinado é calculado e os candidatos a glóbulos brancos individuais são fotografados. As células são pré-classificadas e as imagens disponibilizadas para análise do técnico. Além disso, amostras de glóbulos vermelhos, equivalentes ao que o técnico faria manualmente, são fotografadas e apresentadas ao técnico para avaliação. O técnico pode fazer anotações sobre essas células, tanto as vermelhas quanto as brancas, e arquivá-las. Entretanto, a tecnologia citada, contrariamente a da proposta deste documento, não apresenta um sistema que detém uma inteligência artificial para interpretação e classificação das imagens, e limita-se a análise de células sanguíneas apenas.[013] Patent document US 8,067,245 B2, owned by Medica Corporation, filed in July 2006, presents a device and method similar to that proposed by this document. It is a device and method for automated blood cell analysis that uses electronic motors and a closed-loop control system to minimize external and environmental factors in the analysis. The smear slides are loaded into a carousel where they can be analyzed individually. Slides are moved under a low-magnification microscope; an ideal examination area is determined; a focal plane map is calculated for this area and the positions of candidate white blood cells are calculated. The slide is then moved under a high-power microscope, where a refined focal plane map is calculated and individual white blood cell candidates are photographed. The cells are pre-classified and the images are made available for analysis by the technician. Additionally, red blood cell samples, equivalent to what the technician would do manually, are photographed and presented to the technician for evaluation. The technician can make notes about these cells, both red and white, and archive them. However, the technology mentioned, contrary to the proposal in this document, does not present a system that has artificial intelligence for interpreting and classifying images, and is limited to the analysis of blood cells only.

[014] O documento de patente US 9,676,095 B2, de propriedade da Cellavision, depositado em outubro de 2013, propõe um analisador óptico de uma amostra biológica que inclui um sistema robótico para o transporte da lâmina com a amostra a ser analisada. O sistema robótico é controlado por pelo menos três motores, permitindo o movimento do robô em três dimensões, e ainda possui um dispositivo para o manuseio das lâminas. Novamente, a tecnologia citada não propõe métodos de interpretação e classificação das imagens via visão computacional e inteligência artificial.[014] Patent document US 9,676,095 B2, owned by Cellavision, filed in October 2013, proposes an optical analyzer of a biological sample that includes a robotic system for transporting the slide with the sample to be analyzed. The robotic system is controlled by at least three motors, allowing the robot to move in three dimensions, and also has a device for handling the blades. Again, the technology mentioned does not propose methods for interpreting and classifying images via computer vision and artificial intelligence.

[015] O documento de patente US 10,481,379 B1, de propriedade da Nanotronics Imaging, depositado em outubro de 2018, reivindica um método para inspeção microscópica com uso de inteligência artificial e processamentos de imagem para identificação da posição do objeto no substrato, fornecendo um conjunto de coordenadas X, Y e θ em relação a um ponto de referência, onde θ é a orientação de cada objeto. Estando aquém da proposta de aplicação de métodos de interpretação e classificação das imagens via visão computacional e inteligência artificial do presente modelo de utilidade.[015] Patent document US 10,481,379 B1, owned by Nanotronics Imaging, filed in October 2018, claims a method for microscopic inspection using artificial intelligence and image processing to identify the position of the object on the substrate, providing a set of X, Y and θ coordinates relative to a reference point, where θ is the orientation of each object. Falling short of the proposed application of image interpretation and classification methods via computer vision and artificial intelligence of the present utility model.

[016] O documento de patente US 2020/0406134 A1, de propriedade da Tencent Technology, depositado em setembro de 2020, propõe um microscópio patológico dotado de inteligência artificial e realidade aumentada com a finalidade de detecção e análise de área tumoral, células e doenças infecciosas. No presente modelo de utilidade a inteligência artificial não se limita à patologia, uma vez que pode ser treinado na análise de amostras biológicas orgânicas e inorgânicas.[016] Patent document US 2020/0406134 A1, owned by Tencent Technology, filed in September 2020, proposes a pathological microscope equipped with artificial intelligence and augmented reality for the purpose of detecting and analyzing tumor areas, cells and diseases infectious. In the present utility model, artificial intelligence is not limited to pathology, as it can be trained in the analysis of organic and inorganic biological samples.

[017] No mercado existem equipamentos similares ao apresentado por esse documento, dentre os fabricantes pode-se citar a Cellavision, a Biotek, a BioSystems, a Nikon e a Euroimmun, mas nenhuma delas apresenta uma solução tecnológica com todas as vantagens do dispositivo proposto nesse documento.[017] On the market there is equipment similar to that presented in this document, among the manufacturers we can mention Cellavision, Biotek, BioSystems, Nikon and Euroimmun, but none of them presents a technological solution with all the advantages of the proposed device this document.

[018] Os autores do presente modelo de utilidade propuseram elementos alternativos a um novo microscópio de análise e classificação automatizado que realiza o imageamento microscópico de alta resolução de maneira automatizada e metodológica, utilizando visão computacional e inteligência artificial, ao perceberem que os dispositivos e métodos, tanto as disponíveis no mercado ou tal como as descritas nos documentos de patentes, apresentam os seguintes problemas técnicos ou limitações:

a) Os dispositivos não oferecem uma solução que faça a análise de amostras biológicas orgânicas e inorgânicas, geralmente limitando-se a um determinado grupo de amostras, como por exemplo células sanguíneas;
b) Em sua maioria, não apresentam um sistema simples de posicionamento e varredura da lâmina com a amostra em conjunto com um sistema de autofoco.
c) Nenhum dos dispositivos ou métodos apresenta um sistema de classificação, interpretação e aprendizagem das imagens via visão computacional e inteligência artificial que pode ser treinado na análise de amostras biológicas orgânicas e inorgânicas;
d) As tecnologias não apresentam um sistema de armazenamento das lâminas com as amostras, ou seja, um sistema que detenha um rigoroso controle de parâmetros físico-químicos como por exemplo a temperatura, umidade, composição do ar e pressão, além de não possuírem, um sistema de atmosfera inerte para quando solicitado.

[018] The authors of the present utility model proposed alternative elements to a new automated analysis and classification microscope that performs high-resolution microscopic imaging in an automated and methodological manner, using computer vision and artificial intelligence, realizing that the devices and methods , both those available on the market or as described in patent documents, present the following technical problems or limitations:

a) The devices do not offer a solution that analyzes organic and inorganic biological samples, generally limiting themselves to a certain group of samples, such as blood cells;
b) Most of them do not have a simple system for positioning and scanning the slide with the sample in conjunction with an autofocus system.
c) None of the devices or methods present a system for classifying, interpreting and learning images via computer vision and artificial intelligence that can be trained in the analysis of organic and inorganic biological samples;
d) The technologies do not present a storage system for the slides with the samples, that is, a system that has strict control of physical-chemical parameters such as temperature, humidity, air composition and pressure, in addition to not having, an inert atmosphere system stops when required.

Utility Model Summary

[019] O presente modelo de utilidade refere-se a um microscópio de análise e classificação automatizado que realiza o imageamento microscópico de alta resolução de maneira automatizada e metodológica, utilizando visão computacional e inteligência artificial, possibilitando a análise qualitativa, quantitativa e estrutural, a classificação morfológica e a quantificação de porções pré-determinadas de amostras orgânicas e inorgânicas em qualquer um dos seus estados físicos.[019] This utility model refers to an automated analysis and classification microscope that performs high-resolution microscopic imaging in an automated and methodological manner, using computer vision and artificial intelligence, enabling qualitative, quantitative and structural analysis, the morphological classification and quantification of pre-determined portions of organic and inorganic samples in any of their physical states.

[020] As amostras analisadas de acordo com o presente modelo de utilidade apresentam resultados mais assertivos e padronizados, além de possuírem um sistema de custódia mais seguro e confiável.[020] The samples analyzed according to this utility model present more assertive and standardized results, in addition to having a safer and more reliable custody system.

Advantageous Effects

[021] Em suma, visto acima as condições relativas às superações do estado da técnica, o microscópio de análise e classificação automatizado que realiza o imageamento microscópico de alta resolução de maneira automatizada e metodológica, utilizando visão computacional e inteligência artificial, permite estabelecer vantagens, descritas nos parágrafos a seguir.[021] In short, having seen above the conditions relating to surpassing the state of the art, the automated analysis and classification microscope that performs high-resolution microscopic imaging in an automated and methodological manner, using computer vision and artificial intelligence, allows establishing advantages, described in the following paragraphs.

[022] No presente modelo de utilidade consegue-se analisar amostras orgânicas e inorgânicas em qualquer em de seus estados físicos, não limitando-se a um determinado grupo de amostras. Além disso, permite a comparação entre imagens de amostras de mesmo tipo, otimizando todo o processo de análise.[022] In this utility model, it is possible to analyze organic and inorganic samples in any of their physical states, not limited to a certain group of samples. Furthermore, it allows comparison between images of samples of the same type, optimizing the entire analysis process.

[023] O dispositivo apresentado no presente modelo de utilidade possui um método, via visão computacional, para um robusto controle da custódia das amostras e suas imagens, retirando, portanto, o erro que eventualmente poderia acontecer relacionado a destreza do operador do equipamento.[023] The device presented in this utility model has a method, via computer vision, for robust control of the custody of samples and their images, therefore removing the error that could eventually occur related to the dexterity of the equipment operator.

[024] O microscópio de análise e classificação automatizado apresenta um eficaz, simples e modulável sistema de posicionamento e varredura da lâmina com a amostra em conjunto com um sistema de autofoco e troca de lentes objetivas completamente automatizado.[024] The automated analysis and classification microscope features an effective, simple and modular positioning and scanning system for the slide with the sample in conjunction with a completely automated autofocus and objective lens exchange system.

[025] A presente modelo de utilidade ainda apresenta um singular sistema de classificação, interpretação e aprendizagem das imagens via visão computacional e inteligência artificial que pode ter suas bibliotecas sempre atualizadas e revisadas a partir das imagens das amostras que esteja sendo realizadas. Mais uma vez, o dispositivo retira a interferência do operador na interpretação dos resultados, tornando o processo mais confiável.[025] This utility model also presents a unique system for classifying, interpreting and learning images via computer vision and artificial intelligence that can have its libraries always updated and revised based on the images of the samples being taken. Once again, the device removes operator interference in interpreting the results, making the process more reliable.

Brief description of the Drawings

[026] A Figura 1 apresenta a perspectiva da estrutura e partes internas do microscópio de análise e classificação automatizado.[026] Figure 1 presents the perspective of the structure and internal parts of the automated analysis and classification microscope.

[027] A Figura 2 apresenta a vista posterior da estrutura e partes internas do microscópio de análise e classificação automatizado.[027] Figure 2 shows the rear view of the structure and internal parts of the automated analysis and classification microscope.

[028] A Figura 3 apresenta a vista inferior da estrutura e partes internas do microscópio de análise e classificação automatizado.[028] Figure 3 shows the bottom view of the structure and internal parts of the automated analysis and classification microscope.

[029] A Figura 4 apresenta a perspectiva das partes internas do microscópio de análise e classificação automatizado.[029] Figure 4 shows the perspective of the internal parts of the automated analysis and classification microscope.

[030] A Figura 5 apresenta o fluxograma de funcionamento geral do dispositivo.[030] Figure 5 shows the general operating flowchart of the device.

Detailed description of the utility model

[031] O presente modelo de utilidade apresenta um microscópio de análise e classificação automatizado com uma estrutura mecânica montada com perfis rígidos (1) que aceitam um extenso leque de possíveis acoplagens. Além disso, fornecem uma alta capacidade de intercambialidade, precisão de movimentos e posicionamento para os componentes que neles são acoplados. Um exemplo de perfis rígidos (1), não restritivo, que pode ser utilizado é o perfil estrutural VSLOT padrão europeu em alumínio 6063 T% com tratamento superficial anodizado.[031] The present utility model presents an automated analysis and classification microscope with a mechanical structure assembled with rigid profiles (1) that accept an extensive range of possible couplings. Furthermore, they provide a high capacity for interchangeability, movement precision and positioning for the components that are coupled to them. An example of rigid profiles (1), non-restrictive, that can be used is the European standard VSLOT structural profile in 6063 T% aluminum with anodized surface treatment.

[032] Os pés (2) são componentes fundamentais para o dispositivo, são responsáveis por manter a estabilidade de toda a estrutura, além de realizarem o nivelamento necessário para o pleno funcionamento do equipamento.[032] The feet (2) are fundamental components for the device, they are responsible for maintaining the stability of the entire structure, in addition to performing the leveling necessary for the equipment to fully function.

[033] Os sistemas de transmissões dos movimentos tanto da base da lâmina (3) como da base de objetivas (4) são realizados via fusos (6) trapezoidais ou esféricos, que são posicionados e fixados por mancais de rolamento (7), fornecendo toda a precisão de movimento necessária para a varredura de toda a lâmina pela objetiva (5). Além disso, os sistemas de transmissões possuem guias lineares (8) de alta precisão, são mostrados nas figuras guias lineares (8) trapezoidais retificadas para a atuação dos deslizadores (9). Exemplos não restritivos de guias lineares (8) e deslizadores (9) que podem ser utilizados são o guia linear trapezoidal retificado MGN12 e o patim sem aba MGN12C.[033] The movement transmission systems of both the blade base (3) and the objective base (4) are carried out via trapezoidal or spherical spindles (6), which are positioned and fixed by rolling bearings (7), providing all the movement precision necessary to scan the entire slide through the objective (5). Furthermore, the transmission systems have high-precision linear guides (8). The figures show rectified trapezoidal linear guides (8) for the actuation of the sliders (9). Non-restrictive examples of linear guides (8) and sliders (9) that can be used are the MGN12 rectified trapezoidal linear guide and the MGN12C tabless slide.

[034] Os movimentos são gerados a partir de motores (10) programados nos três eixos de atuação, cujo sistema de passo dos mesmos é ajustado por um conjunto de redução por correias e polias (11a e 11b) elevando significativamente a precisão do movimento da base da lâmina (3) e da base de objetivas (4). Para referenciar e finalizar todo o sistema de movimentos, o equipamento dispõe de dispositivos fim de curso (12) para tais funções.[034] The movements are generated from motors (10) programmed in the three actuation axes, whose pitch system is adjusted by a set of reduction belts and pulleys (11a and 11b), significantly increasing the precision of the movement of the blade base (3) and objective base (4). To reference and finalize the entire movement system, the equipment has limit switches (12) for such functions.

[035] O movimento nos eixos X e Y utilizam um conjunto de redução por correias e polias (11a e 11b) com a razão de diâmetros de 13:54. Assim o avanço de um passo nos motores (10a e 10b) provoca um deslocamento mínimo nos fusos (6a e 6b), correspondendo ao avanço linear de 3,8 micrometros da base da lâmina (3).[035] The movement in the X and Y axes uses a set of reduction belts and pulleys (11a and 11b) with a diameter ratio of 13:54. Thus, advancing one step in the motors (10a and 10b) causes a minimum displacement in the spindles (6a and 6b), corresponding to a linear advance of 3.8 micrometers at the base of the blade (3).

[036] O movimento no eixo Z utiliza um conjunto de redução por correias e polias (11c) com a razão de diâmetros de 14:73. Assim o avanço de um passo no motor (10c) provoca um deslocamento mínimo no fuso (6c), correspondendo ao avanço linear de 1,2 micrometros da base de objetivas (4).[036] The movement in the Z axis uses a set of reduction belts and pulleys (11c) with a diameter ratio of 14:73. Thus, the advancement of one step in the motor (10c) causes a minimum displacement in the spindle (6c), corresponding to the linear advancement of 1.2 micrometers of the objective base (4).

[037] As objetivas (5) são trocadas por um sistema de cremalheira (13), possibilitando a análise da lâmina em diferentes aumentos. As lâminas são transferidas do estojo para a base de lâmina (3) por atuador linear que empurra uma nova lâmina não analisada que empurra a lâmina analisada para um coletor que fica totalmente preenchido após a análise de todas as lâminas do estojo. Junto a base de objetivas (4) existe um leitor de código de barras ou QR Code que identifica cada uma das lâminas antes do início da varredura da mesma. Os componentes: estojo, atuador linear e leitor de código de barras ou QR Code não são mostrados nas figuras.[037] The objectives (5) are exchanged for a rack system (13), making it possible to analyze the slide at different magnifications. The slides are transferred from the case to the slide base (3) by a linear actuator that pushes a new unanalyzed slide that pushes the analyzed slide into a collector that is completely filled after analyzing all the slides in the case. Next to the objective base (4) there is a barcode or QR Code reader that identifies each of the slides before scanning begins. The components: case, linear actuator and barcode or QR Code reader are not shown in the figures.

[038] O estojo, instalado na parte frontal da estrutura mecânica montada com perfis rígidos (1), mais especificamente em frente da base de lâmina (3), possui um sistema de armazenamento das lâminas de amostras dotado de sistema de controle dos parâmetros físico-químicos como por exemplo a temperatura, umidade, composição do ar e pressão, além de um sistema de atmosfera inerte se necessário.[038] The case, installed on the front of the mechanical structure assembled with rigid profiles (1), more specifically in front of the slide base (3), has a sample slide storage system equipped with a physical parameter control system. -chemicals such as temperature, humidity, air composition and pressure, in addition to an inert atmosphere system if necessary.

[039] Para controle dos motores (10a, 10b e 10c), interface de operação local e o armazenamento e processamento das imagens via visão computacional e inteligência artificial o presente modelo de utilidade possui uma unidade de processamento integrada e meios de comunicação via cabo ou radio frequência (WI-FI) com computador externo.[039] For controlling the motors (10a, 10b and 10c), local operation interface and the storage and processing of images via computer vision and artificial intelligence, the present utility model has an integrated processing unit and means of communication via cable or radio frequency (WI-FI) with external computer.

[040] Além disso, existem os itens básicos de microscopia que devem estar presentes no equipamento como por exemplo a câmera (14) para captura de imagens, condensadora (15) e distanciador focal (16).[040] In addition, there are basic microscopy items that must be present in the equipment, such as the camera (14) for capturing images, condenser (15) and focal distance (16).

[041] Como alternativa a fonte de luz transmitida, fornecida pelo condensador (15), o presente modelo de utilidade pode incluir uma iluminação superior, mais especificamente na base das objetivas, como fonte de luz incidente.[041] As an alternative to the transmitted light source, provided by the condenser (15), the present utility model can include superior lighting, more specifically at the base of the objectives, as an incident light source.

[042] A operação do microscópio de análise e classificação automatizado segue os passos indicados no fluxograma da figura 12. O primeiro passo é o operador colocar todas as lâminas não analisadas no estojo de lâminas. O estojo que pode ter as mais variadas geometrias possíveis, é posicionado no interior do microscópio, onde um atuador linear faz a o posicionamento da primeira lâmina a ser analisada na base de lâmina (3). O código da lâmina é verificado pelo leitor de código de barras ou QR Code, confirmando e demarcando a amostra a ser analisada. Então ocorre a etapa de auto-foco, onde a base de lâmina (3) se desloca até que o centro da mesma fique alinhado com o centro da condensadora (15), automaticamente o eixo Z que comporta a câmera (14) e a base de objetivas (4) irá realizar o deslocamento de descida até identificar o foco ideal próximo a lâmina. Com o foco estabelecido o software começa a realizar o imageamento da lâmina, realizando deslocamentos nos eixos X e Y, capturando as imagens por toda a extensão da lâmina pré-estabelecida. Todo o processo descrito pode ser realizado com ambas as lentes, sendo necessário apenas o comando do operador para que o programa faça a troca automaticamente. Ao final do processo de imageamento o conjunto se deslocará para próximo do estojo, onde um atuador linear irá posicionar uma nova lâmina para análise, e lâmina analisada é devolvida ao mesmo. Após a análise de todas as lâminas, o conjunto de lâminas analisadas no estojo são encaminhadas para um sistema externo de armazenamento.[042] The operation of the automated analysis and classification microscope follows the steps indicated in the flowchart in figure 12. The first step is for the operator to place all unanalyzed slides in the slide case. The case, which can have the most varied geometries possible, is positioned inside the microscope, where a linear actuator positions the first slide to be analyzed on the slide base (3). The slide code is verified by the barcode reader or QR Code, confirming and demarcating the sample to be analyzed. Then the auto-focus stage occurs, where the blade base (3) moves until its center is aligned with the center of the condenser (15), automatically the Z axis that holds the camera (14) and the base of objectives (4) will move downwards until identifying the ideal focus close to the slide. With the focus established, the software begins imaging the blade, moving in the X and Y axes, capturing images across the entire length of the pre-established blade. The entire process described can be carried out with both lenses, requiring only the operator's command for the program to make the change automatically. At the end of the imaging process, the assembly will move close to the case, where a linear actuator will position a new slide for analysis, and the analyzed slide is returned to it. After analyzing all slides, the set of slides analyzed in the case are sent to an external storage system.

[043] Vale ressaltar que todas as imagens capturadas durante o imageamento são armazenadas e analisadas via um sistema de inteligência artificial integrado ao microscópio, gerando a partir de sua aprendizagem e biblioteca de imagens um relatório com resultados de identificação de elementos específicos das lâminas, ou seja, sem a interferência do operador o microscópio já realiza a identificação e quantificação do que se deseja encontrar nas imagens de forma completamente autônoma e precisa.[043] It is worth mentioning that all images captured during imaging are stored and analyzed via an artificial intelligence system integrated into the microscope, generating from its learning and image library a report with identification results of specific elements of the slides, or In other words, without operator interference, the microscope already identifies and quantifies what you want to find in the images in a completely autonomous and precise way.

[044] Como exemplo prático e não limitativo, o microscópio de análise e classificação automatizado pode ser aplicado nas mais diversas áreas, sendo algumas delas a área da saúde, do saneamento básico, na microbiologia, na mineralogia entre outros.[044] As a practical and non-limiting example, the automated analysis and classification microscope can be applied in the most diverse areas, some of which are health, basic sanitation, microbiology, mineralogy, among others.

[045] O presente modelo de utilidade foi descrito em termos de suas características tidas como mais expressivas, entretanto, certas variações e modificações se tornarão aparentes para um técnico no assunto a partir da presente descrição e tais variações e modificações não são de forma alguma limitativas e estão incluídas no escopo do presente modelo de utilidade.[045] The present utility model has been described in terms of its characteristics considered to be most expressive, however, certain variations and modifications will become apparent to one skilled in the art from the present description and such variations and modifications are in no way limiting. and are included in the scope of this utility model.

Claims

Automated analysis and classification microscope that performs high-resolution microscopic imaging in an automated and methodological manner, using computer vision and artificial intelligence characterized by comprising a mechanical structure assembled with rigid profiles (1) in aluminum with anodized surface treatment, feet (2) for leveling the mechanical structure, blade base (3), objective base (4) formed by objectives (5), rack system (13) and incident light source, base movement system formed by spindles (6) trapezoidal or spherical, fixed by rolling bearings (7), with the bases supported on trapezoidal linear guides (8) rectified through sliders (9), with the movements generated from motors (10a, 10b and 10c) and referenced and terminated by limit switches (12), belt and pulley reduction sets (11a and 11b) with a diameter ratio of 13:54 for movements in the X and Y axes of the blade base (3), the set of reduction by belts and pulleys (11c) with a diameter ratio of 14:73 for movement in the Z axis of the objective base (4), case with control of physical-chemical parameters (temperature, humidity, air composition or inert gas and pressure), linear actuator and barcode or QR Code reader and integrated processing unit for motor control (10a, 10b and 10c), local operation interface, image storage and processing via computer vision and artificial intelligence and communication via cable or radio frequency (WI-FI) with an external computer, the camera (14) for capturing images, condenser (15) and focal length (16).