BR102017007917A2 - método de posicionamento automático para montagem de sondas para varredura e espectroscopia óptica in situ e dispositivo - Google Patents

Abstract

o presente pedido de patente descreve um método e um dispositivo capazes de realizar, automaticamente, a fixação de uma estrutura plasmônica microscópica a uma estrutura de suporte macroscópica. o procedimento e o dispositivo propostos permitem a construção de sondas que podem ser utilizadas para procedimentos de microscopia de varredura por sonda (do inglês, scanning probe microscopy ou spm), incluindo seu acoplamento com sistemas ópticos, gerando as técnicas de microscopia óptica de varredura por sonda (do inglês scanning probe optical microscopy ou spom), como a microscopia óptica de campo próximo (do inglês scanning near-field optical microscopy ou snom) ou a espectroscopia raman por efeito de sonda (do inglês tip enhanced raman spectroscopy ou ters). o método e dispositivo propostos baseiam-se em recursos de visão computacional e de controle de posicionamento em malha fechada utilizando-se de retroalimentação visual.

Description

(54) Título: MÉTODO DE POSICIONAMENTO AUTOMÁTICO PARA MONTAGEM DE SONDAS PARA VARREDURA E ESPECTROSCOPIA ÓPTICA IN SITU E DISPOSITIVO (51) Int. Cl.: G06T 7/70; G06T 7/60; G12B 5/00; G01Q 70/16 (73) Titular(es): UNIVERSIDADE FEDERAL DE MINAS GERAIS, IVISION SISTEMAS DE IMAGEM E VISÃO S.A, INSTITUTO NACIONAL DE METROLOGIA, QUALIDADE E TECNOLOGIA - INMETRO (72) Inventor(es): LAURA PINTO COELHO AMORIM; HUDSON LUIZ SILVA DE MIRANDA; JOHNATHAN MAYKE MELO NETO; ADO JORIO DE VASCONCELOS; LUIZ GUSTAVO DE OLIVEIRA LOPES CANÇADO; CASSIANO RABELO E SILVA; LUIZ THEMYSTOKLIZ SANCTOS MENDES; THIAGO DE LOURENÇO E VASCONCELOS; BRUNO SANTOS DE OLIVEIRA; BRÁULIO SOARES ARCHANJO; CARLOS ALBERTO ACHETE; LUIZ FERNANDO ETRUSCO (85) Data do Início da Fase Nacional:

17/04/2017 (57) Resumo: O presente pedido de patente descreve um método e um dispositivo capazes de realizar, automaticamente, a fixação de uma estrutura plasmônica microscópica a uma estrutura de suporte macroscópica. O procedimento e o dispositivo propostos permitem a construção de sondas que podem ser utilizadas para procedimentos de microscopia de varredura por sonda (do inglês, Scanning Probe Microscopy ou SPM), incluindo seu acoplamento com sistemas ópticos, gerando as técnicas de microscopia óptica de varredura por sonda (do inglês Scanning Probe Optical Microscopy ou SPOM), como a microscopia óptica de campo próximo (do inglês Scanning Near-field Optical Microscopy ou SNOM) ou a espectroscopia Raman por efeito de sonda (do inglês Tip Enhanced Raman Spectroscopy ou TERS). O método e dispositivo propostos baseiam-se em recursos de visão computacional e de controle de posicionamento em malha fechada utilizandose de retroalimentação visual.

1/14 “MÉTODO DE POSICIONAMENTO AUTOMÁTICO PARA MONTAGEM DE SONDAS PARA VARREDURA E ESPECTROSCOPIA

ÓPTICA IN SITU E DISPOSITIVO” [01] O presente pedido de patente descreve um método e um dispositivo capazes de realizar, automaticamente, a fixação de uma estrutura plasmônica microscópica a uma estrutura de suporte macroscópica. O método e o dispositivo propostos permitem a construção de sondas que podem ser utilizadas para procedimentos de microscopia de varredura por sonda (do inglês, Scanning Probe Microscopy ou SPM), incluindo seu acoplamento com sistemas ópticos, gerando as técnicas de microscopia óptica de varredura por sonda (do inglês Scanning Probe Optical Microscopy ou SPOM), como a microscopia óptica de campo próximo (do inglês Scanning Near-field Optical Microscopy ou SNOM) ou a espectroscopia Raman por efeito de sonda (do inglês Tip Enhanced Raman Spectroscopy ou TERS). O método e dispositivo propostos baseiam-se em recursos de visão computacional e de controle de posicionamento em malha fechada utilizando-se de retroalimentação visual.

[02] Procedimentos de SPOM, a exemplo de SNOM e TERS, são úteis em indústrias de manufatura de precisão, microeletrônica e biomédica, dentre outras áreas de ciência e tecnologia, em que a informação obtida através dessas técnicas resulta em uma melhora de qualidade e confiabilidade dos produtos. Os procedimentos ópticos que utilizam estas técnicas são capazes de ultrapassar o limite de difração da luz e produzir imagens com resolução atômica, assim como extrair informações de morfologia, condutividade elétrica, dureza e propriedades magnéticas e ópticas dos materiais em estudo. Mas isso é possível somente quando as sondas utilizadas possuem propriedades plasmônicas específicas, assim como um diâmetro de ápice pequeno o suficiente. Por essa razão, sondas utilizadas em experimentos TERS realizados em ambiente laboratorial, por

Petição 870170025264, de 17/04/2017, pág. 60/86

2/14 exemplo, são difíceis de serem confeccionadas com a qualidade necessária. Além disso, o sucesso de experimentos que utilizam essas sondas está associado à qualidade na fabricação das mesmas (Johnson, T. W., Lapin, Z. J., Beams, R., Lindquist, N. C., Rodrigo, S. G., Novotny, L., & Oh, S. H. (2012). Highly reproducible near-field optical imaging with sub-20nm resolution based on template-stripped gold pyramids. ACS Nano, 6(10), 9168-9174.).

[03] Uma sonda para SPOM é composta por uma estrutura plasmônica de dimensões nanométricas ou micrométricas, que deve ser fixada a uma estrutura de suporte macroscópica, que tem a função de ligar a estrutura plasmônica ao sistema de controle. Essa estrutura macroscópica pode ser, por exemplo, um fio fino.

[04] Para fixar uma estrutura plasmônica à estrutura macroscópica, o operador deve movimentar, através de micromanipuladores, a estrutura macroscópica, contendo em sua extremidade material adesivo, e posicionála na orientação correta sobre a estrutura plasmônica, localizada em um substrato, e mantê-la nessa posição durante o tempo necessário para a adesão das duas estruturas. Para se orientar nesse processo, o operador utiliza a imagem fornecida por um ampliador óptico acoplado a uma câmera.

[05] O artigo “Highly Reproducible Near-Field Optical Imaging with Sub20-nm Resolution Based on Template-Stripped Gold Pyramids” (JOHNSON ET AL., 2012), propõe um método de produção de pontas piramidais de ouro para a confecção de sondas sem, contudo, apresentar um método automático para o posicionamento e fixação das pirâmides na estrutura macroscópica (que é o que forma a sonda).

[06] O artigo intitulado Computer Vision for nanoscale imaging trata de uma revisão das técnicas empregadas em visão computacional em escala nanométrica para propósitos gerais, não se relacionando diretamente com

Petição 870170025264, de 17/04/2017, pág. 61/86

3/14 a tecnologia apresentada que utiliza parte de tais métodos e os aplica para a fabricação de sondas para varredura e espectroscopia óptica in situ (Eraldo Ribeiro and Mubarak Shah. 2006. Computer Vision for Nanoscale Imaging. Mach. Vision Appl. 17, 3 (July 2006), 147-162.).

[07] A patente BR1020150112335 “MÉTODO E EQUIPAMENTO PARA POSICIONAMENTO AUTOMÁTICO PARA MICROSCOPIA POR VARREDURA DE SONDA E ESPECTROSCOPIA ÓPTICA IN SITU, de 15/05/2015, utiliza uma metodologia similar à proposta na presente invenção, porém com técnicas de visão computacional, procedimentos e aplicações distintas, voltada ao posicionamento de sondas já montadas sobre o foco de laser, para a realização procedimentos de SPOM, como SNOM e TERS.

[08] Esses procedimentos exigem a presença de um técnico especialista, demanda tempo, destreza e treinamento, estando sujeito a erros humanos, variações na qualidade e na duração do procedimento. Essas dificuldades configuram limitações ao uso e disseminação de técnicas de SPOM, sendo, portanto, barreiras não só contra o avanço das técnicas em si, como de toda a inovação que pode vir com o emprego das mesmas.

[09] Diante dessas dificuldades, foi desenvolvido, então, um sistema automático para a etapa de fixação da estrutura plasmônica na estrutura macroscópica de suporte que, juntos, constituem a sonda. Com o dispositivo da presente invenção agrega-se maior repetibilidade, confiabilidade, rapidez e robustez à fabricação de sondas para experimentos de SPOM, como SNOM e TERS.

[010] A tecnologia aqui proposta pode ser utilizada, por exemplo, na montagem de sondas com a estrutura plasmônica proposta no artigo “Highly Reproducible Near-Field Optical Imaging with Sub-20-nm Resolution

Based on Template-Stripped Gold Pyramids” (JOHNSON ET AL., 2012), que propõe um método de produção de pontas piramidais de ouro para a

Petição 870170025264, de 17/04/2017, pág. 62/86

4/14 confecção de sondas. A fabricação deste tipo de sonda será utilizada para ilustrar a função do método e dispositivo aqui propostos. O presente pedido possui escopo distinto ao do artigo citado acima, uma vez que os métodos e dispositivos aqui descritos não dizem respeito à produção de pontas em si, mas sim a automatização da adesão da estrutura plasmônica, já preparada, aos demais componentes que constituem a sonda.

BREVE DESCRIÇÃO DAS FIGURAS [011] FIGURA 1 - Apresenta um fluxograma simplificado formado pelas etapas referentes à manipulação das imagens obtidas por meio de câmera, visando à obtenção dos contornos dos elementos de interesse, especificamente os contornos das estruturas plasmônicas no substrato, a da estrutura macroscópica de suporte e seu reflexo sobre o substrato.

[012] FIGURA 2 - Fluxograma que indica as etapas de manipulação dos contornos, obtidos a partir das ações indicadas no fluxograma representado na figura Figura 1, das estruturas plasmônicas, da estrutura macroscópica de suporte e seu reflexo. A manipulação desses contornos tem o objetivo de fornecer suas posições em coordenadas de imagem.

[013] FIGURA 3 - Fluxograma com as etapas de localização das estruturas plasmônicas, da estrutura macroscópica e seu reflexo, com objetivo de fornecer as posições atuais dos elementos ao software.

[014] FIGURA 4 - Fluxograma que apresenta as etapas de posicionamento da estrutura macroscópica, que são executadas de forma iterativa até o fim do posicionamento.

[015] FIGURA 5 - Fluxograma das ações que descrevem a finalização de um procedimento de montagem e o início do seguinte.

[016] FIGURA 6 - Apresenta a imagem óptica da situação desejada ao final do posicionamento. A estrutura macroscópica (1) e seu reflexo (2) encontram-se próximas o suficiente, havendo contato com a estrutura plasmônica (3) contida no substrato de estruturas plasmônicas (4). Após o

Petição 870170025264, de 17/04/2017, pág. 63/86

5/14 contato entre (1) e (3) é necessário esperar a secagem da substância a adesiva para retirada da ponta da matriz que compõe o substrato (4).

[017] FIGURA 7 - Apresenta a imagem óptica de um exemplo de sonda montada. Os elementos da sonda presentes na imagem são: (3) estrutura plasmônica (sonda de ouro), (5) substância adesiva (cola epoxi) e (1a) fio de tungstênio que compõe a estrutura macroscópica (1), de forma não limitante.

[018] FIGURA 8 - Detalhe do dispositivo de troca automática do estrutura macroscópica (1). Formado pelos elementos: (6) que representa o sistema de movimentação nos eixos x, y e z; (7) o motor responsável pela rotação do eixo (8) contendo o tambor (9). Em (9) ficará fixada, ao longo de seu perímetro, uma pluralidade de estruturas macroscópicas (1) a serem utilizadas no processo. O conjunto que forma a estrutura macroscópica (1) compreende um diapasão [1 (b)] e um fio de tungstênio [(1(a)j [019] FIGURA 9 - Vista superior de um substrato contendo estruturas plasmônicas (3) que ainda estão na matriz e a cavidade vazia [3(a)] que continha uma estrutura plasmônica que foi removida com sucesso.

[020] FIGURA 10 - Apresenta um diagrama de blocos simplificado em que estão representados os componentes principais de hardware do sistema e o fluxo de informações entre os equipamentos. (10) representa o computador de processo que executa os algoritmos de controle e visão.

(20) representa o controlador que recebe requisições de movimento do computador de processo e os repassa da forma adequada aos atuadores, além de enviar feedback dos movimentos efetivamente realizados. (30) representa o conjunto de atuadores responsável por movimentar a estrutura macroscópica (40) em direção ao alvo. A cena é capturada por uma câmera conectada a um microscópio de longa distância (50) que repassa a imagem ao computador de processo (10).

Petição 870170025264, de 17/04/2017, pág. 64/86

6/14

DESCRIÇÃO DETALHADA DA TECNOLOGIA [021] A presente invenção propõe um método e um dispositivo capazes de realizar, automaticamente, a fixação de uma estrutura plasmônica microscópica a uma estrutura de suporte macroscópica. O método e o dispositivo propostos permitem a construção de sondas que podem ser utilizadas para procedimentos de microscopia de varredura por sonda (SPM), incluindo seu acoplamento com sistemas ópticos, gerando as técnicas de microscopia óptica de varredura por sonda (SPOM), como a microscopia óptica de campo próximo (SNOM) ou a espectroscopia Raman por efeito de sonda (TERS). O método e dispositivo propostos baseiam-se em recursos de visão computacional e de controle de posicionamento em malha fechada utilizando-se de retroalimentação visual.

[022] O método é dividido em três subsistemas: um subsistema de visão, um de posicionamento e um terceiro de inteligência e controle. Conforme representado no diagrama de blocos da figura 10, o módulo de visão é composto por uma câmera e um ampliador óptico (50); o subsistema de posicionamento consiste em atuadores (30) capazes de movimentar tridimensionalmente o suporte macroscópico (40). Esses atuadores devem se comunicar com drivers que, por sua vez, se comunicam com um algoritmo de inteligência e controle que reside em um computador de processo (10). Finalmente, o subsistema de inteligência e controle (o software) é composto por algoritmos de visão computacional, de controle de posicionamento em malha fechada e por módulos para comunicação com os sensores (câmera) e atuadores utilizados na solução proposta.

[023] O método utilizado para confeccionar, automaticamente, uma sonda usada para procedimentos de SPOM é executado pelo subsistema de inteligência e controle. O método compreende as seguintes etapas:

a) adquirir imagens por meio de câmera controlada por um sistema de aquisição de imagens capaz de controlar a cadência e redefini-la

Petição 870170025264, de 17/04/2017, pág. 65/86

7/14 ao longo da execução do método, cronometrar as atividades da câmera e solicitar a aquisição de imagens, além de efetuar a contagem de imagens;

b) reconhecer o substrato em uma imagem adquirida, aplicando-se um filtro, efetuando-se a varredura da imagem e comparando-se as estruturas plasmônicas do substrato encontradas na varredura com a estrutura plasmônica padrão do substrato, localizando-se as regiões em que as estruturas plasmônicas encontradas apresentem maior similaridade com o padrão, efetuar verificação da cor e brilho da região anteriormente encontrada com os limiares estabelecidos, gerar uma imagem binária e obter os contornos de tais regiões, representar os contornos como uma forma geométrica correspondente e definir as estruturas de interesse (as bases das estruturas plasmônicas) do substrato a partir da dimensão, da forma geométrica da representação dos contornos (por exemplo o retângulo da base da pirâmide mencionada no Exemplo 1 ) e da localização de tais formas, que figurarão a representação das estruturas plasmônicas do substrato;

c) reconhecer em uma imagem uma estrutura macroscópica e sua reflexão e determinar as posições de ambas, aplicando-se um filtro, binarizando a imagem através do método automático de Otsu, extraindo seus contornos e identificando pares de contornos de áreas relevantes, verificar alinhamento horizontal e espaçamento vertical entre tais contornos e definir o par correspondente à estrutura macroscópica e seu reflexo, definir o contorno da estrutura macroscópica contendo o material adesivo, validar sua posição por meio da comparação com a posição esperada para a estrutura macroscópica em relação ao seu reflexo, utilizar a posição validada como coordenada da estrutura macroscópica e, de forma análoga,

Petição 870170025264, de 17/04/2017, pág. 66/86

8/14 repetir as operações acima para localização das coordenadas do reflexo da estrutura macroscópica;

d) verificar e atualizar dados referentes às posições do substrato e do conjunto estrutura macroscópica e seu reflexo, submetendo-se as imagens a um filtro passa-baixas para proporcionar maior estabilidade ao procedimento e impedir o envio de comandos para os atuadores baseados em medições equivocadas, a estabilidade é alcançada por meio da análise da coerência das variações das imagens verificando se as mudanças são fisicamente possíveis e esperadas antes de atualizá-las;

e) controlar os movimentos da estrutura macroscópica baseando-se no cálculo das distâncias relativas, horizontais (x) e verticais (Y), entre os elementos de interesse (substrato e o conjunto formado pela estrutura macroscópica e seu reflexo) que são calculadas através das imagens obtidas após a etapa “d”; definir com base nas imagens obtidas após a etapa “d” as direções e sentidos dos movimentos de aproximação da estrutura macroscópica à região de interesse do substrato para promover a colagem, definir o tipo de movimento com base nas distâncias calculadas, sendo que o movimento da sonda é realizado por meio de motores e pode ser subdividido em três escalas: movimentos de maior amplitude, moderados e degraus, em conformidade com a ordem crescente de precisão intrínseca ao posicionamento; enviar os comandos resultantes aos atuadores contendo todas as informações do movimento e executar as etapas iterativamente até que as condições necessárias para o posicionamento sejam atingidas (contato entre estrutura macroscópica e substrato para realizar a colagem);

Petição 870170025264, de 17/04/2017, pág. 67/86

9/14

f) após o fim do posicionamento, manter a estrutura macroscópica em contato com a região de interesse do substrato até que ocorra a secagem do material adesivo;

g) movimentar o conjunto formado pela estrutura macroscópica aderida à estrutura plasmônica (sonda montada), presente no substrato no momento anterior ao contato provocado pelo posicionamento, até uma região destinada ao acondicionamento de estruturas cuja etapa de adesão se encontra finalizada, destacar a sonda montada em tal região e posicionar uma nova estrutura macroscópica a ser fixada.

[024] Alternativamente nas etapas “b” e “c”, é possível a utilização de filtros, tais como o filtro de média e mediana, preferencialmente o Gaussiano.

[025] Nas etapas “b” e “c”, pode-se utilizar métodos de segmentação como o casamento de modelo (Template matching) para reconhecimento de padrões ou o método Otsu para a binarização da imagem, seguida de extração de contornos, combinada à posterior manipulação dos mesmos para a identificação correta da estrutura macroscópica e seu reflexo.

[026] A etapa “b” do método descrito anteriormente pode ser implementado utilizando-se técnicas como casamento de padrões (Template Matching), realizando a busca de um template (modelo) em uma imagem maior. Para isso, o modelo de referência percorre a imagem (correlação cruzada bidimencional entre a imagem e o modelo), e é comparado com os elementos da imagem. Ao fim dessa varredura, encontra-se a posição de maior compatibilidade com o modelo usado. Para o caso de aplicações em que há múltiplos objetos a serem reconhecidos, como no reconhecimento de uma matriz de estruturas plasmônicas para a produção de múltiplas sondas, utiliza-se alguma técnica de limiarização para selecionar uma

Petição 870170025264, de 17/04/2017, pág. 68/86

10/14 pluralidade de objetos que apresentaram maior compatibilidade uom modelo pré-definido.

[027] A escolha do template a ser utilizado na etapa “b” pode ser feita de forma “dinâmica”, no sentido de que o técnico seleciona na tela uma estrutura plasmônica a ser usada como template antes do início do procedimento. Com isso, ganha-se maior flexibilidade quanto à posição relativa entre o ampliador óptico e o substrato, a iluminação da cena e quanto ao próprio tipo de estrutura plasmônica a ser utilizada. Outra possibilidade é o uso de um banco de dados contendo diversas imagens de estruturas plasmônicas em substratos a serem usadas como modelo.

[028] O processo de posicionamento do suporte macroscópico inicia-se com a detecção das posições deste e da estrutura plasmônica localizada no canto inferior esquerdo do substrato, através da medição das distâncias relativas de ambos, nas direções X e Y do sistema de coordenadas utilizado (no caso, o sistema de coordenadas da própria imagem). Em seguida, um algoritmo determina os procedimentos adotados para realizar a aproximação do suporte macroscópico até a estrutura plasmônica, que representa a referência do sistema de coordenadas de controle.

[029] Na etapa “b”, se a posição detectada é alterada de forma brusca, é um provável erro de medição e não um movimento de fato. Ao ser movida pelos atuadores, a variação das coordenadas é gradual.

[030] As etapas de aquisição de imagens, detecção do suporte macroscópico e das estruturas plasmônicas no substrato, emissão dos sinais de controle para movimentação do conjunto ocorrem de maneira iterativa até a finalização do processo de colagem de um conjunto de estruturas macroscópicas a um conjunto de estruturas plasmônicas.

[031] Com base nas atualizações consideradas na etapa anterior, as distâncias relativas, horizontais (eixo X) e verticais (eixo Y), entre os elementos de interesse (estruturas alvo no substrato, suporte macroscópico

Petição 870170025264, de 17/04/2017, pág. 69/86

11/14 e seu reflexo) em coordenadas na imagem são calculadas. Com base nestas distâncias, a direção e o tipo de movimento são determinados. Depois de estabelecer os sentidos e distâncias do movimento, os comandos são enviados para os atuadores. Finalmente, verifica-se se as condições necessárias para o fim do procedimento foram atingidas.

[032] Para cada nova imagem adquirida pela câmera, as posições dos elementos de interesse são atualizadas. No entanto, mudanças bruscas na intensidade de iluminação e outras perturbações, como mudança de foco, podem levar a erros de detecção e posição. Assim, o algoritmo de detecção podería, por vezes, fornecer resultados errados para os módulos subsequentes. Para evitar tal problema, na etapa “d”, um módulo de condicionamento de sinal, constituído por um filtro anti-spike e um filtro passa-baixas, foi implementado para proporcionar maior estabilidade ao procedimento e impedir o envio de comandos para os atuadores baseados em medições equivocadas.

[033] Para produção de um grande número de sondas aplica-se a repetição das etapas de “a” até “g” para realizar a colagem de uma pluralidade de estruturas macroscópicas a uma pluralidade de estruturas plasmonicas.

[034] Pode-se utilizar uma etapa adicional, posterior à etapa “g” para realizar a inspeção do substrato para verificar se todas as estruturas plasmonicas foram, de fato, retiradas, para isso se utilizada uma imagem de microscopia óptica por reflexão do substrato visto de cima, de modo que seja possível ver claramente se ainda há ou não estruturas plasmonicas remanescentes; em caso positivo, descartam-se as estruturas correspondentes às posições nas quais as estruturas plasmonicas não foram removidas com sucesso.

[035] A invenção também propõe um dispositivo que compreende pelo menos uma estrutura macroscópica (1) com pelo menos um diapasão [1 (b)]

Petição 870170025264, de 17/04/2017, pág. 70/86

12/14 e pelo menos um fio de tungstênio [(1 (a)], um suporte para diapasão (9), um eixo (8), um motor (7), sistema de movimentação nos eixos x, y e z (6) conforme ilustra a Figura 8, de forma não limitante. Nessa configuração, a estrutura macroscópica (1) mais próxima ao substrato é detectada pelo sistema de posicionamento para a montagem da sonda completa, conforme descrito anteriormente.

[036] Montada a sonda, o sistema cambia de tal forma que outra estrutura macroscópica (1) se torne a mais próxima do substrato, e esse procedimento é repetido até que todas as estruturas macroscópicas (1) do sistema de troca automática estejam com uma estrutura plasmônica (3) aderida à sua extremidade, ou conforme outro critério de parada estabelecido pelo operador. Finalizado esse procedimento, o substrato pode ser levado para inspeção e os conjuntos correspondentes às tentativas de adesão mal sucedidas são descartados.

[037] Uma pluralidade de estruturas macroscópicas [1 (b)] (diapasão) e [(1 (a)] (fio de tungstênio) fixadas ao suporte (9) podem ser cambiadas ao longo do processo. A substituição da sonda montada, ilustrada na figura 7, por uma nova estrutura macroscópica (1) representada pela etapa “g” pode ser manual ou envolver um sistema de troca automática.

[038] Dessa forma, tem-se um dispositivo de posicionamento automático para montagem de sondas para varredura e espectroscopia óptica in situ, caracterizado por compreender pelo menos uma estrutura macroscópica (1) formada por pelo menos um diapasão [1(b)], pelo menos um fio de tungstênio [(1 (a)], um suporte para diapasão (9) um eixo (8), um motor (7), sistema de movimentação nos eixos x, y e z (6); em que o elemento (7) são motores, preferencialmente motores de passo ou sistemas piezoelétricos, e o suporte para diapasão (9) tem formato preferencialmente cilíndrico.

[039] A invenção pode ser melhor compreendida através do exemplo abaixo, não limitante.

Petição 870170025264, de 17/04/2017, pág. 71/86

13/14

Exemplo 1 - Resultados experimentais do protótipo [040] O protótipo construído do sistema de montagem de sondas para varredura provido da presente tecnologia de posicionamento automático por retroalimentação visual possui os seguintes elementos constituintes: computador HP Compaq DC 5800 Small Form Factor correspondente ao componente (10) na Figura 10; dois controladores compostos por dois Arduino Motor Shields L293D acoplados a dois Arduinos Uno (20); três motores de passo SM1.8 - A1734CMN (30); microscópio de longa distância motorizado KC VideoMax™ Long Distance Microscope (50); câmera V200e da Invent Vision (50) e um estágio de translação XYZ modelo PT3/M da ThorLabs (30). Além dos dispositivos que correspondem aos principais componentes de hardware, também foram utilizadas estruturas mecânicas para prover uma configuração favorável de componentes como a matriz de pontas piramidais (que são a incorporação das estruturas plasmônicas), suporte para o microscópio de longa distância com a câmera e um conector para ligar a estrutura de suporte macroscópica ao estágio de translação XYZ.

[041] O software contendo o método automático de posicionamento por retroalimentação visual descrito no presente pedido é operado através de uma interface gráfica com o usuário, desenvolvida paralelamente.

[042] O procedimento foi iniciado com a colagem (utilizando cola epoxi) de um pedaço de fio de tungstênio cortado de um carretei e fixado em um diapasão de quartzo [(1) na Figura 6] que cumpre o papel do suporte macroscópico neste experimento. O conjunto diapasão-fio foi então fixado ao estágio de translação XYZ [(30) na Figura 10]. Através do software desenvolvido, o operador é capaz de posicionar a ponta do fio sobre uma superfície onde foi aplicada cola epoxi. Nessa etapa, a cola foi aplicada à ponta do fio que será fixada posteriormente à ponta de ouro (3).

Petição 870170025264, de 17/04/2017, pág. 72/86

14/14 [043] Após aplicar cola epoxi à ponta do fio, o conjunto foi colocado em posição inicial para alinhamento do conjunto com uma das pontas na matriz. Ao realizar o posicionamento inicial, foi disparado o comando pelo software que inicia o alinhamento automático seguindo o método documentado na descrição detalhada desta invenção, levando em consideração as seguintes especificidades: as etapas “b” e “c” do método foram implementadas utilizando como técnica central o casamento de padrões, sendo que o padrão base foi obtido a partir de procedimentos de fabricação anteriores; o método de filtragem implementado para a etapa “d” consiste em um filtro que rejeita variações bruscas de posição que estão fora de um determinado limite de tolerância (filtragem anti-spike)', para controlar os movimentos dos atuadores na etapa “e”, foram utilizados dois controladores PID (Proporcional Integral e Derivativo), um para X e outro para Y, sendo que também foram utilizados desacopladores para diminuir as influências de uma malha de controle sobre a outra.

[044] A Figura 6 exibe o momento em que o conjunto suporte-fio atinge a posição desejada sobre a matriz de pontas. A Figura 7 mostra o resultado final após o procedimento de colagem da ponta de ouro à extremidade do fio de tungstênio. Utilizando-se do dispositivo mostrado na Figura 8, a estrutura macroscópica é trocada por uma ainda não contendo a sonda e o procedimento é reiniciado. Ao fim da montagem de todas as sondas presas no suporte, a forma é levada para inspeção, utilizando-se uma imagem de microscopia, como mostrado na Figura 9. Nessa inspeção, são identificadas quais estruturas plasmônicas foram retiradas com sucesso (3a) do substrato e quais não o foram ((3) na Figura 9). As sondas montadas adequadamente são guardadas e aquelas correspondentes às estruturas plasmônicas não retiradas são descartadas.

Petição 870170025264, de 17/04/2017, pág. 73/86

1/4

Claims (10)

1. REIVINDICAÇÕES

   1. Método de posicionamento automático para montagem de sondas para varredura e espectroscopia óptica in situ, caracterizado por compreender as seguintes etapas:

   a) adquirir imagens por meio de câmera controlada por um sistema de aquisição de imagens capaz de controlar a cadência e redefini-la ao longo da execução do método, cronometrar as atividades da câmera e solicitar a aquisição de imagens, além de efetuar a contagem de imagens;

   b) reconhecer o substrato em uma imagem adquirida, aplicando-se um filtro, efetuando-se a varredura da imagem e comparando-se as estruturas plasmônicas do substrato encontradas na varredura com a estrutura plasmônica padrão do substrato, localizando-se as regiões em que as estruturas plasmônicas encontradas apresentem maior similaridade com o padrão, efetuar verificação da cor e brilho da região anteriormente encontrada com os limiares estabelecidos, gerar uma imagem binária e obter os contornos de tais regiões, representar os contornos como uma forma geométrica correspondente e definir as estruturas de interesse (as bases das estruturas plasmônicas) do substrato a partir da dimensão, da forma geométrica da representação dos contornos e da localização de tais formas, que figurarão a representação das estruturas plasmônicas do substrato;

   c) reconhecer detectar em uma imagem uma estrutura macroscópica e sua reflexão e determinar as posições de ambas, aplicando-se um filtro, binarizando a imagem, extraindo seus contornos e identificando pares de contornos de áreas relevantes, verificar alinhamento horizontal e espaçamento vertical entre tais contornos e definir o par correspondente à estrutura macroscópica e seu reflexo, definir o contorno da estrutura macroscópica contendo o material adesivo,

   Petição 870170025264, de 17/04/2017, pág. 74/86
2. 2/4 validar sua posição por meio da comparação com a posição esperada para a estrutura macroscópica em relação ao seu reflexo, utilizar a posição validada como coordenada da estrutura macroscópica e, de forma análoga, repetir as operações acima para localização das coordenadas do reflexo da estrutura macroscópica;

   d) verificar e atualizar dados referentes às posições do substrato e do conjunto estrutura macroscópica e seu reflexo, submetendo-se as imagens a um filtro passa-baixas para proporcionar maior estabilidade ao procedimento e impedir o envio de comandos para os atuadores baseados em medições equivocadas, a estabilidade é alcançada por meio da análise da coerência das variações das imagens verificando se as mudanças são fisicamente possíveis e esperadas antes de atualizá-las;

   e) controlar os movimentos da estrutura macroscópica baseando-se no cálculo das distâncias relativas, horizontais (x) e verticais (Y), entre os elementos de interesse (substrato e o conjunto formado pela estrutura macroscópica e seu reflexo) que são calculadas através das imagens obtidas após a etapa “d”; definir com base nas imagens obtidas após a etapa “d” as direções e sentidos dos movimentos de aproximação da estrutura macroscópica à região de interesse do substrato para promover a colagem, definir o tipo de movimento com base nas distâncias calculadas, sendo que o movimento da sonda é realizado por meio de motores e pode ser subdividido em três escalas: movimentos de maior amplitude, moderados e degraus, em conformidade com a ordem crescente de precisão intrínseca ao posicionamento; enviar os comandos resultantes aos atuadores contendo todas as informações do movimento e executar as etapas iterativamente até que as condições necessárias para o

   Petição 870170025264, de 17/04/2017, pág. 75/86
3. 3/4 posicionamento sejam atingidas (contato entre estrutura macroscópica e substrato para realizar a colagem);

   f) após o fim do posicionamento, manter a estrutura macroscópica em contato com a região de interesse do substrato até que ocorra a secagem do material adesivo;

   g) movimentar o conjunto formado pela estrutura macroscópica aderida à estrutura plasmônica (sonda montada), presente no substrato no momento anterior ao contato provocado pelo posicionamento, até uma região destinada ao acondicionamento de estruturas cuja etapa de adesão se encontra finalizada, destacar a sonda montada em tal região e posicionar uma nova estrutura macroscópica a ser fixada.

   2. Método, de acordo com a reivindicação 1, etapas “b” e “c”, caracterizado pela utilização de filtros, tais como o filtro de média e mediana, preferencialmente o Gaussiano.

   3. Método, de acordo com a reivindicação 1, etapa “b”, caracterizado por utilizar para o reconhecimento de uma matriz de estruturas plasmônicas para a produção de múltiplas sondas, técnica de limiarização para selecionar uma pluralidade de objetos que apresentaram maior compatibilidade com um modelo pré-definido.
4. 4. Método, de acordo com a reivindicação 1, etapas “b” e “c”, caracterizado por utilizar métodos de segmentação como o casamento de modelo (Template matching) para reconhecimento de padrões ou o método Otsu para a binarização da imagem.
5. 5. Método, de acordo com a reivindicação 1, etapa “d”, caracterizado por utilizar um filtro anti-spike e um filtro passa-baixas.
6. 6. Método, de acordo com a reivindicação 1, caracterizado pela repetição das etapas de “a” até “g” para realizar a colagem de uma pluralidade de estruturas macroscópicas a uma pluralidade de estruturas plasmônicas, procedendo às etapas de aquisição de imagens, detecção do

   Petição 870170025264, de 17/04/2017, pág. 76/86

   4/4 suporte macroscópico e das estruturas plasmônicas no substrato, emissão dos sinais de controle para movimentação do conjunto de maneira iterativa até a finalização do processo de colagem de um conjunto de estruturas macroscópicas a um conjunto de estruturas plasmônicas.
7. 7. Método, de acordo com a reivindicação 1, caracterizado pela presença de uma etapa adicional após a etapa “g” que compreende a inspeção do substrato para verificar se todas as estruturas plasmônicas foram, de fato, retiradas, para isso se utilizada uma imagem de microscopia óptica por reflexão do substrato visto de cima, de modo que seja possível ver claramente se ainda há ou não estruturas plasmônicas remanescentes; em caso positivo, descartar as estruturas correspondentes às posições nas quais as estruturas plasmônicas não foram removidas com sucesso.
8. 8. Dispositivo de posicionamento automático para montagem de sondas para varredura e espectroscopia óptica in situ, caracterizado por compreender pelo menos uma estrutura macroscópica (1) formada por pelo menos um diapasão [1 (b)], pelo menos um fio de tungstênio [1 (a)], um suporte para diapasão (9) um eixo (8), um motor (7), sistema de movimentação nos eixos x, y e z (6).
9. 9. Dispositivo, de acordo com a reivindicação 5, caracterizado pelo elemento (7) ser motores, preferencialmente motores de passo ou sistemas piezoelétricos.
10. 10. Dispositivo, de acordo com a reivindicação 5, caracterizado pelo elemento (9) ter formato preferencialmente cilíndrico.

    Petição 870170025264, de 17/04/2017, pág. 77/86

    1/8

    DESENHOS

    FIGURA 1

    Petição 870170025264, de 17/04/2017, pág. 78/86

    2/8

    Manipulação de contornos

    Manipulação dos contornos do substrato Manipulação dos contornos da estrutura macroscópica Representar os contornos como retângulos Definir a ponta da estrutura com o material adesivo A partir da localização e dimensão dos retângulos, definir quais são as estruturas de interesse Validar sua posição com a esperada da estrutura ü

    Utilizar as posições validadas como coordenadas da estrutura

    Repetir o procedimento para localização das coordenadas do reflexo

    FIGURA 2

    Petição 870170025264, de 17/04/2017, pág. 79/86

    3/8

    Localização

    Estruturas Plasmônicas no Substrato

    A partir da localizaçao e dimensão dos retângulos, definir qual será a estrutura de interesse para a montagem atual

    FIGURA 3

    Petição 870170025264, de 17/04/2017, pág. 80/86

    4/8

    FIGURA 4

    Petição 870170025264, de 17/04/2017, pág. 81/86

    Petição 870170025264, de 17/04/2017, pág. 82/86

    5/8

    FIGURA 5

    6/8

    FIGURA 6

    Petição 870170025264, de 17/04/2017, pág. 83/86

    FÉ?'

    Petição 870170025264, de 17/04/2017, pág. 84/86

    7/8

    FIGURA 7

    FIGURA 8

    8/8

    FIGURA 9

    Feedback

    FIGURA 10

    Petição 870170025264, de 17/04/2017, pág. 85/86

    1/1