BR112019027945A2

BR112019027945A2 - previsão de parâmetros de iluminação estruturada

Info

Publication number: BR112019027945A2
Application number: BR112019027945-8A
Authority: BR
Inventors: Michael J. Carney; Stanley S. Hong; Robert Langlois; Hongji Ren; Kevin Wayne BARTIG; Rico Otto; Olga Andreevna Souverneva
Original assignee: Illumina, Inc.
Priority date: 2018-06-29
Filing date: 2019-06-20
Publication date: 2020-07-14
Also published as: JP2021177182A; RU2740050C1; KR102422076B1; US10831012B2; JP2021515255A; WO2020005718A1; EP3814824A4; KR102329661B1; KR20200016893A; MY201229A; BR112019027945B8; NZ760225A; TW202136709A; RU2740050C9; MX2019014804A; US11525993B2; AU2019283788B2; CA3065029C; US20210364773A1; BR112019027945B1

Abstract

As implementações da presente divulgação são direcionadas à previsão de parâmetros de iluminação estruturada para um determinado ponto no tempo, espaço e/ou temperatura utilizando estimativas de parâmetros de iluminação estruturada obtidos a partir de imagens de iluminação estruturada capturadas por um sistema de iluminação estruturada. Implementações específicas são direcionadas para prever parâmetros de frequência de iluminação estruturada, fase, orientação e/ou ordem de modulação.

Description

PREVISÃO DE PARÂMETROS DE ILUMINAÇÃO ESTRUTURADA REFERÊNCIA CRUZADA AOS PEDIDOS RELACIONADOS

[001] O presente pedido reivindica benefício ao Pedido Provisório de Patente No. US 62/692.303 depositado em 29 de junho de 2018 e intitulado "PREVISÃO DE PARÂMETROS DE ILUMINAÇÃO ESTRUTURADA".

ANTECEDENTES

[002] A microscopia de iluminação estruturada (SIM) descreve uma técnica na qual a luz espacialmente estruturada (isto é, padronizada) pode ser usada para criar imagens de uma amostra para aumentar a resolução lateral do microscópio através de dois ou mais fatores. Em alguns casos, durante a geração de imagens de amostra, são obtidas três imagens de padrões adicionais da amostra em várias fases do padrão (por exemplo, 0º, 120º e 240º), de modo que cada local da amostra seja exposto a uma faixa de intensidade de iluminação, com o procedimento repetido girando-se a orientação do padrão em torno do eixo óptico em três ângulos separados (por exemplo, 0º, 60º e 120º). As imagens capturadas (por exemplo, nove imagens) podem ser montadas em uma única imagem com uma largura de banda de frequência espacial estendida, e que pode ser transformada novamente no espaço real para gerar uma imagem com uma resolução mais alta do que aquela capturada por um microscópio convencional.

[003] Em algumas implementações dos sistemas SIM atuais, um feixe de luz linearmente polarizado é direcionado através de um divisor de feixe óptico que divide o feixe em duas ou mais ordens separadas que podem ser combinadas e projetadas na imagem da amostra como um padrão de margens de interferência com uma variação de intensidade senoidal. As grades de difração são exemplos de divisores de feixe que podem gerar feixes com um alto grau de coerência e ângulos de propagação estáveis. Quando dois desses feixes são combinados, a interferência entre os mesmos pode criar um padrão uniforme de margens de repetição regular em que o espaçamento é determinado por fatores que incluem o ângulo entre os feixes de interferência.

[004] Durante a captura e/ou montagem ou reconstrução subsequente de imagens em uma única imagem que possui uma largura de banda de frequência espacial estendida, os seguintes parâmetros de iluminação estruturada podem precisar ser considerados: o espaçamento entre as margens adjacentes (ou seja, a frequência do padrão de margens); a fase ou ângulo do padrão de iluminação estruturada; e a orientação do padrão de margem em relação à amostra iluminada. Em um sistema de geração de imagem ideal, não sujeito a fatores como instabilidade mecânica e variações térmicas, cada um desses parâmetros não mudaria, ou mudaria ao longo do tempo, e os parâmetros precisos de frequência, fase e orientação da SIM, associados a uma determinada amostra de imagem, seriam conhecidos. No entanto, devido a fatores como instabilidade mecânica do caminho do feixe de excitação e/ou expansão / contração térmica de uma amostra fotografada, esses parâmetros podem ser alterados ou mudar com o tempo.

[005] Como tal, um sistema de geração de imagem

SIM pode precisar estimar parâmetros de iluminação estruturada para ter em conta sua variação ao longo do tempo. Como muitos sistemas de geração de imagem SIM não executam o processamento de imagens SIM em tempo real (por exemplo, eles processam imagens capturadas de forma off- line), esses sistemas SIM podem gastar uma quantidade considerável de tempo computacional para processar uma imagem SIM com o intuito de estimar parâmetros de iluminação estruturada para essa imagem.

RESUMO

[006] As implementações da presente divulgação são direcionadas à previsão de parâmetros de iluminação estruturada para um determinado ponto no tempo, espaço e/ou temperatura usando estimativas de parâmetros de iluminação estruturada obtidos a partir de imagens de iluminação estruturada capturadas por um sistema de iluminação estruturada.

[007] Em um exemplo, um método compreende: usar um sistema de iluminação estruturada para capturar uma primeira imagem de uma amostra; usar um dispositivo de computação para estimar um primeiro parâmetro de iluminação estruturada usando pelo menos a primeira imagem capturada; usar o sistema de iluminação estruturada para capturar uma segunda imagem da amostra; usar o dispositivo de computação para estimar um segundo parâmetro de iluminação estruturada usando pelo menos a segunda imagem capturada; e usar pelo menos o primeiro parâmetro de iluminação estruturada ou o segundo parâmetro de iluminação estruturada, usando o dispositivo de computação para prever um terceiro parâmetro de iluminação estruturada correspondente a uma terceira imagem. Cada um dentre o primeiro, segundo e terceiro parâmetros de iluminação estruturada pode compreender uma fase, frequência, orientação ou ordem de modulação.

[008] Em algumas implementações, a primeira imagem é capturada no primeiro instante de tempo, a segunda imagem é capturada no segundo instante de tempo após o primeiro instante de tempo, a terceira imagem é capturada no terceiro instante de tempo entre o primeiro e o segundo instante de tempo, e o terceiro parâmetro de iluminação estruturada é previsto no terceiro instante de tempo usando pelo menos um método de interpolação. O método de interpolação pode compreender: usar o dispositivo de computação para determinar uma taxa de alteração do primeiro parâmetro de iluminação estruturada no primeiro instante de tempo para a segunda iluminação estruturada no segundo instante de tempo; e usar pelo menos a taxa de mudança determinada, usando o dispositivo de computação para prever o terceiro parâmetro de iluminação estruturada no terceiro instante de tempo.

[009] Em algumas implementações, o método compreende ainda: usar o dispositivo de computação para construir uma imagem de alta resolução usando pelo menos a terceira imagem e o terceiro parâmetro de iluminação estruturada.

[0010] Em algumas implementações: a primeira imagem é capturada no primeiro instante de tempo, a segunda imagem é capturada no segundo instante de tempo após o primeiro instante de tempo, a terceira imagem é capturada no terceiro instante de tempo após, ou antes, o primeiro e segundo instante de tempo, e o terceiro parâmetro de iluminação estruturada é previsto no terceiro instante de tempo usando pelo menos um método de extrapolação.

[0011] Em algumas implementações, o método compreende ainda: usar pelo menos o terceiro parâmetro de iluminação estruturada para ajustar um componente de hardware do sistema de iluminação estruturada para compensar alterações em um parâmetro de iluminação estruturada antes de capturar a terceira imagem no terceiro instante de tempo. O ajuste de um componente de hardware pode compreender ajustar um ou mais dentre: um espelho rotativo para ajustar uma fase ou orientação de um padrão de iluminação estruturada, um estágio de translação carregando uma grade de difração para ajustar uma fase ou orientação de um padrão de iluminação estruturada e um estágio de conversão de amostra para ajustar uma fase ou orientação de um padrão de iluminação estruturada.

[0012] Em algumas implementações, o método compreende ainda: armazenar em uma memória do sistema de iluminação estruturada: o primeiro parâmetro de iluminação estruturada, o segundo parâmetro de iluminação estruturada e o terceiro parâmetro de iluminação estruturada; e utilizar uma ou mais dentre: primeiro parâmetro de iluminação estruturada armazenado, segundo parâmetro de iluminação estruturada armazenado, terceiro parâmetro de iluminação estruturada armazenado e um valor armazenado com base nas características físicas conhecidas do sistema de iluminação estruturada para reduzir um espaço de busca para um quarto parâmetro de iluminação estruturada para uma quarta imagem.

[0013] Em algumas implementações, a previsão do terceiro parâmetro de iluminação estruturada correspondente à terceira imagem compreende aplicar um ajuste de mínimos quadrados ao pelo menos um primeiro parâmetro de iluminação estruturada e ao segundo parâmetro de iluminação estruturada. Em algumas implementações, a previsão do terceiro parâmetro de iluminação estruturada correspondente à terceira imagem compreende usar o segundo parâmetro de iluminação estruturada.

[0014] Em algumas implementações, a primeira imagem da amostra é capturada na primeira temperatura amostral; o primeiro parâmetro de iluminação estruturada é estimado na primeira temperatura amostral; a segunda imagem da amostra é capturada a uma segunda temperatura amostral; o segundo parâmetro de iluminação estruturada é estimado na segunda temperatura amostral; e o terceiro parâmetro de iluminação estruturada é previsto em uma terceira temperatura amostral.

[0015] Em algumas implementações, o método compreende ainda: dividir a primeira imagem da amostra em uma pluralidade de subseções de imagem; usar o dispositivo de computação para estimar um quarto parâmetro de iluminação estruturada usando pelo menos uma primeira subseção de imagem da pluralidade de subseções de imagem; usar o dispositivo de computação para estimar um quinto parâmetro de iluminação estruturada usando pelo menos uma segunda subseção de imagem da pluralidade de subseções de imagem; usar pelo menos o quarto parâmetro de iluminação estruturada ou o quinto parâmetro de iluminação estruturada, usando o dispositivo de computação para prever um sexto parâmetro de iluminação estruturada correspondente a uma terceira subseção de imagem da pluralidade de subseções de imagem.

[0016] Em algumas implementações, o método compreende ainda: dividir a primeira imagem da amostra em uma pluralidade de subseções de imagem; usar o dispositivo de computação para estimar um quarto parâmetro de iluminação estruturada usando pelo menos uma primeira subseção de imagem da pluralidade de subseções de imagem; e usar o quarto parâmetro de iluminação estruturada estimado como um parâmetro de iluminação estruturada previsto de uma segunda subseção de imagem da pluralidade de subseções de imagem.

[0017] Em um exemplo, um meio não transitório legível por computador pode possuir instruções executáveis armazenadas no mesmo, que, quando executadas por um processador, fazem com que o processador execute as seguintes operações: usar um sistema de iluminação estruturada para capturar uma primeira imagem de uma amostra; estimar um primeiro parâmetro de iluminação estruturada usando pelo menos a primeira imagem capturada; usar o sistema de iluminação estruturada para capturar uma segunda imagem da amostra; estimar um segundo parâmetro de iluminação estruturada usando pelo menos a segunda imagem capturada; e usar pelo menos o primeiro parâmetro de iluminação estruturada ou o segundo parâmetro de iluminação estruturada, prevendo um terceiro parâmetro de iluminação estruturada correspondente a uma terceira imagem.

[0018] Em algumas implementações, a primeira imagem é capturada em uma primeira posição de amostra, a segunda imagem é capturada em uma segunda posição de amostra, a terceira imagem é capturada em uma terceira posição de amostra entre a primeira posição de amostra e a segunda posição de amostra, e o terceiro parâmetro de iluminação estruturada é previsto na terceira posição de amostra usando pelo menos um método de interpolação. O método de interpolação pode compreender: usar o dispositivo de computação para determinar uma taxa de alteração do primeiro parâmetro de iluminação estruturada na primeira posição de amostra para a segunda iluminação estruturada na segunda posição de amostra; e usar pelo menos a taxa de mudança determinada, prevendo o terceiro parâmetro de iluminação estruturada na terceira posição de amostra.

[0019] Em algumas implementações, as instruções, quando executadas pelo processador, fazem com que o processador execute ainda uma operação de: construir uma imagem de alta resolução usando pelo menos a terceira imagem e o terceiro parâmetro de iluminação estruturada.

[0020] Em algumas implementações, a terceira posição de amostra é posterior à primeira posição de amostra e a segunda posição de amostra, e o terceiro parâmetro de iluminação estruturada é previsto na terceira posição de amostra usando pelo menos um método de extrapolação.

[0021] Em algumas implementações, as instruções,

quando executadas pelo processador, fazem com que o processador execute uma operação adicional de: usar pelo menos o terceiro parâmetro de iluminação estruturada para fazer com que um componente de hardware do sistema de iluminação estruturada seja ajustado para compensar alterações em um parâmetro de iluminação estruturada antes de capturar uma imagem na terceira posição de amostra.

[0022] Em algumas implementações, as instruções, quando executadas pelo processador, fazem com que o processador execute ainda operações de: armazenar, na memória do sistema de iluminação estruturada: o primeiro parâmetro de iluminação estruturada, o segundo parâmetro de iluminação estruturada e o terceiro parâmetro de iluminação estruturada; e usar uma ou mais dentre: primeiro parâmetro de iluminação estruturada armazenado, segundo parâmetro de iluminação estruturada armazenado, terceiro parâmetro de iluminação estruturada armazenado e um valor armazenado com base nas características físicas conhecidas do sistema de iluminação estruturada para reduzir um espaço de busca para um quarto parâmetro de iluminação estruturada para uma quarta imagem.

[0023] Em um exemplo, um sistema de geração de imagens de iluminação estruturada compreende: um emissor de luz para emitir luz; um divisor de feixe para dividir a luz emitida pelo emissor de luz com o intuito de projetar um padrão de iluminação estruturada no plano de uma amostra; um processador; e um meio não transitório legível por computador com instruções executáveis armazenadas no mesmo que, quando executadas pelo processador, fazem com que o processador execute operações de: capturar uma primeira imagem de uma amostra; estimar um primeiro parâmetro de iluminação estruturada usando pelo menos a primeira imagem capturada; capturar uma segunda imagem da amostra; estimar um segundo parâmetro de iluminação estruturada usando pelo menos a segunda imagem capturada; e usar pelo menos o primeiro parâmetro de iluminação estruturada ou o segundo parâmetro de iluminação estruturada, prevendo um terceiro parâmetro de iluminação estruturada correspondente a uma terceira imagem.

[0024] Em um exemplo, um método compreende: utilizar o sistema de iluminação estruturada para capturar uma primeira pluralidade de imagens de uma amostra; utilizar um dispositivo de computação para estimar um primeiro parâmetro de iluminação estruturada utilizando pelo menos a primeira pluralidade de imagens capturadas; utilizar o sistema de iluminação estruturada para capturar uma segunda pluralidade de imagens da amostra; utilizar o dispositivo de computação para estimar um segundo parâmetro de iluminação estruturada utilizando pelo menos a segunda pluralidade de imagens capturadas; e utilizar pelo menos o primeiro parâmetro de iluminação estruturada ou o segundo parâmetro de iluminação estruturada, usando o dispositivo de computação para prever um terceiro parâmetro de iluminação estruturada correspondente a uma ou mais imagens.

[0025] Outras características e aspectos da tecnologia divulgada tornar-se-ão evidentes a partir da descrição detalhada a seguir, tomada em conjunto com os desenhos anexos, que ilustram, a título exemplificativo, as características de acordo com as implementações da tecnologia divulgada. O resumo não se destina a limitar o escopo de quaisquer invenções aqui descritas, as quais são definidas pelas reivindicações e equivalentes.

[0026] Deverá ser apreciado que todas as combinações dos conceitos anteriores (desde que tais conceitos não sejam mutuamente inconsistentes) são contempladas como parte do objeto inventivo divulgado no presente documento. Em particular, todas as combinações do objeto reivindicado que aparecem no final desta divulgação são contempladas como parte do objeto inventivo divulgado no presente documento.

BREVE DESCRIÇÃO DAS FIGURAS

[0027] A presente divulgação, de acordo com uma ou mais implementações, é descrita de forma detalhada com referência às figuras a seguir. As figuras são fornecidas apenas para fins ilustrativos e meramente representam exemplos de implementações. Além disso, deverá ser observado que, para maior clareza e facilidade de ilustração, os elementos nas figuras não foram necessariamente desenhados em escala.

[0028] Algumas das figuras aqui incluídas ilustram várias implementações da tecnologia divulgada a partir de diferentes ângulos de visão. Embora o texto descritivo anexo possa se referir a visualizações como vista “superior”, “inferior” ou “lateral”, essas referências são meramente descritivas e não implicam ou exigem que a tecnologia divulgada seja implementada ou usada em uma orientação espacial específica, a menos que explicitamente indicado de outra forma.

[0029] A Figura 1A ilustra, em um exemplo, alterações indesejadas na frequência, as quais podem ocorrer ao longo do tempo em um sistema de geração de imagem SIM que projeta um padrão de iluminação estruturada 1D (unidimensional) em uma amostra.

[0030] A Figura 1B ilustra, em um exemplo, alterações indesejadas na fase, as quais podem ocorrer ao longo do tempo em um sistema de geração de imagem SIM que projeta um padrão de iluminação estruturada 1D em uma amostra.

[0031] A Figura 1C ilustra, em um exemplo, alterações indesejadas na orientação, as quais podem ocorrer ao longo do tempo em um sistema de geração de imagem SIM que projeta um padrão de iluminação estruturada 1D em uma amostra.

[0032] A Figura 2 ilustra, em um exemplo, um sistema de geração de imagem SIM que pode implementar a previsão de parâmetros de iluminação estruturada de acordo com algumas implementações descritas no presente documento.

[0033] A Figura 3 é um diagrama óptico que ilustra um exemplo de configuração óptica de um sistema de geração de imagem SIM com dois braços que pode implementar a previsão de parâmetros de iluminação estruturada de acordo com algumas implementações descritas no presente documento.

[0034] A Figura 4 ilustra, em um exemplo, padrões simplificados de margens de iluminação que podem ser projetados no plano de uma amostra através de uma grade vertical e uma grade horizontal do sistema de geração de imagem SIM da Figura 3 durante um ciclo de geração de imagens para utilizar iluminação estruturada para criar uma imagem de alta resolução.

[0035] A Figura 5A é um diagrama esquemático que ilustra um exemplo de configuração óptica de um sistema de geração de imagem SIM com duas lâminas de grade óptica que pode implementar a previsão de parâmetros de iluminação estruturada, de acordo com algumas implementações aqui descritas.

[0036] A Figura 5B é um diagrama esquemático que ilustra um exemplo de configuração óptica de um sistema de geração de imagem SIM com duas lâminas de grade óptica que pode implementar a previsão de parâmetros de iluminação estruturada, de acordo com algumas implementações descritas neste documento.

[0037] A Figura 6 ilustra, em um exemplo, padrões simplificados de margens de iluminação que podem ser projetados sobre o plano de uma amostra através de uma primeira grade de difração e uma segunda grade de difração do sistema de geração de imagem SIM das Figuras 5A e 5B durante a captura de imagem para um ciclo de geração de imagens de iluminação estruturada.

[0038] A Figura 7 mostra, em um exemplo, uma estimativa de um parâmetro de fase que varia no espaço (X) e no tempo (T).

[0039] A Figura 8 ilustra, em um exemplo, uma tendência da variação estimada de um parâmetro em função de x.

[0040] A Figura 9 é um diagrama de fluxo operacional que ilustra um método de interpolação exemplificativo para prever parâmetros de iluminação estruturada para um determinado instante de tempo usando estimativas de parâmetros de iluminação estruturada obtidos a partir de imagens capturadas antes e após o instante de tempo, de acordo com algumas implementações descritas no presente documento.

[0041] A Figura 10 é um diagrama de fluxo operacional que ilustra um método de extrapolação exemplificativo para prever parâmetros de iluminação estruturada para um determinado instante de tempo usando estimativas de parâmetros de iluminação estruturada obtidos a partir de duas ou mais imagens capturadas antes do instante de tempo, de acordo com algumas implementações descritas no presente documento.

[0042] A Figura 11 é um diagrama de fluxo operacional que ilustra um método exemplificativo de uso de um parâmetro de iluminação estruturada previsto durante a reconstrução de imagem de alta resolução para compensar alterações indesejadas nos parâmetros de iluminação estruturada ao longo do tempo, de acordo com algumas implementações descritas neste documento.

[0043] A Figura 12 é um diagrama de fluxo operacional que ilustra um método exemplificativo de uso de ajustes de parâmetros de iluminação estruturada previstos dos componentes de hardware do sistema de geração de imagem SIM para compensar alterações de parâmetros de iluminação estruturada ao longo do tempo, de acordo com algumas implementações descritas no presente documento.

[0044] A Figura 13 é um exemplo de um componente de computação que pode ser usado em conjunto com várias implementações da presente divulgação.

[0045] Os números não são exaustivos e não limitam a presente divulgação à forma precisa divulgada.

DESCRIÇÃO DETALHADA

[0046] Conforme aqui utilizado para se referir a um parâmetro de iluminação estruturada, o termo "frequência" pretende se referir a um espaçamento entre margens ou linhas de um padrão de iluminação estruturada (por exemplo, padrão de margem ou grade). Por exemplo, um padrão com um espaçamento maior entre as margens terá uma frequência mais baixa do que um padrão com um espaçamento menor entre as margens.

[0047] Conforme aqui utilizado para se referir a um parâmetro de iluminação estruturada, o termo "fase" pretende se referir a uma fase de um padrão de iluminação estruturada que ilumina uma amostra. Por exemplo, uma fase pode ser alterada transladando-se um padrão de iluminação estruturada em relação à uma amostra iluminada.

[0048] Conforme aqui utilizado para se referir a um parâmetro de iluminação estruturada, o termo "orientação" pretende se referir a uma orientação relativa entre um padrão de iluminação estruturada (por exemplo, padrão de margem ou grade) e uma amostra iluminada pelo padrão. Por exemplo, uma orientação pode ser alterada girando-se um padrão de iluminação estruturada em relação a uma amostra iluminada.

[0049] Conforme aqui utilizado para se referir a um parâmetro de iluminação estruturada, o termo de “prever” ou “predição” pretende significar calcular o(s) valor(es) do parâmetro sem medir diretamente o parâmetro, ou estimar o parâmetro a partir de uma imagem capturada correspondente ao parâmetro. Por exemplo, uma fase de um padrão de iluminação estruturada pode ser prevista no momento t, através de interpolação entre valores de fase medidos ou estimados diretamente (por exemplo, a partir de imagens de fase capturadas) nos momentos t, e t; em que t, < t;, < t3. Como outro exemplo, uma frequência de um padrão de iluminação estruturada pode ser prevista no momento t&, através de extrapolação a partir de valores de frequência diretamente medidos ou estimados (por exemplo, a partir de imagens de fase capturadas) nos momentos t, e t; em que t, < t; < ti.

[0050] Conforme aqui utilizado para se referir à luz difratada por uma grade de difração, o termo “ordem” ou “número de ordem” pretende se referir ao número de comprimentos de onda inteiros que representa a diferença de comprimento de percurso de luz a partir de fendas adjacentes ou estruturas da grade de difração para interferência construtiva. A interação de um feixe de luz incidente em uma série repetida de estruturas de grade ou outras estruturas de divisão de feixe pode redirecionar ou difratar partes do feixe de luz em direções angulares previsíveis em relação ao feixe original. O termo “ordem zero” ou “ordem máxima zero” pretende se referir à margem brilhante central emitida por uma grade de difração na qual não há difração. O termo “primeira ordem” pretende se referir às duas margens brilhantes difratadas em ambos os lados da margem de ordem zero, onde a diferença de comprimento do caminho é +1 comprimento de onda. Ordens mais altas são difratadas em ângulos maiores em relação ao feixe original. As propriedades da grade podem ser manipuladas para controlar quanto da intensidade do feixe é direcionada em várias ordens. Por exemplo, uma grade de fase pode ser fabricada para maximizar a transmissão das ordens +1 e minimizar a transmissão do feixe de ordem zero.

[0051] Conforme aqui utilizado para se referir a uma amostra, o termo "característica" pretende significar um ponto ou área em um padrão que pode ser diferenciado de outros pontos ou áreas de acordo com a localização relativa. Uma característica individual pode incluir uma ou mais moléculas de um tipo específico. Por exemplo, uma característica pode incluir uma única molécula de ácido nucleico alvo com uma sequência específica, ou uma característica pode incluir várias moléculas de ácido nucleico com a mesma sequência (e/ou sequência complementar da mesma).

[0052] Conforme aqui utilizado, o termo "plano XY" pretende significar uma área bidimensional definida por eixos de linha reta X e Y em um sistema de coordenadas cartesiano. Quando usada em referência a um detector e a um objeto observado pelo detector, a área pode ser especificada como ortogonal ao eixo do feixe ou à direção da observação entre o detector e o objeto sendo detectado.

[0053] Conforme aqui utilizado, o termo "coordenada

Z" pretende se referir à informação que especifica a localização de um ponto, linha ou zona ao longo de um eixo que é ortogonal a um plano XY. Em implementações específicas, o eixo Z é ortogonal a uma área de um objeto que é observado por um detector. Por exemplo, a direção do foco para um sistema óptico pode ser especificada ao longo do eixo Z.

[0054] Conforme usado aqui, o termo "opticamente acoplado" pretende se referir a um elemento sendo adaptado para transmitir luz a outro elemento de forma direta ou indireta.

[0055] Conforme observado acima, a estimativa de parâmetros para o processamento da imagem SIM pode ser necessária para corrigir alterações indesejadas nos parâmetros de iluminação estruturada ao longo do tempo. A título de exemplo, as Figuras 1A a 1C ilustram alterações indesejadas na frequência (Figura 1A), fase (Figura 1B) e orientação (Figura 1C) que podem ocorrer ao longo do tempo em um sistema de geração de imagem SIM que projeta um padrão de iluminação estruturada unidimensional em uma amostra regularmente padronizada. Em particular, a Figura 1A ilustra uma amostra 50 com características 51 iluminadas por um padrão de iluminação estruturada unidimensional que possui margens 60, antes e depois de deslocamentos de frequência. Antes de qualquer mudança de frequência, as margens 60 adjacentes têm uma distância ou espaçamento de centro a centro (P) correspondente a uma frequência inicial (f). Com o tempo, com variações de temperatura no sistema, a distância P pode aumentar ou diminuir. Por exemplo, a expansão térmica pode fazer com que a distância P aumente para P + APi, diminuindo correspondentemente a frequência f para f - Afi. Por outro lado, a contração térmica pode fazer com que a distância P diminua para P - AP1, aumentando correspondentemente a frequência f para f + Afo?.

[0056] A Figura 1B ilustra a amostra 50 iluminada por um padrão de iluminação estruturada unidimensional com margens 60, antes e depois das alterações em uma fase. Como mostrado, antes do desvio de fase, um primeiro estado de fase d pode corresponder às margens que iluminam completamente cada segunda coluna das características 51 da amostra 50. Com o tempo, a posição das margens 60 em relação à amostra 50 pode mudar de modo que todas as imagens de fase sejam compensadas por A%. Por exemplo, vibrações mecânicas no sistema de geração de imagem SIM (por exemplo, em um caminho de feixe de excitação), imprecisão em um estágio de translação usado por um estágio de grade ou amostra, variações térmicas e/ou outros fatores podem causar um desvio indesejado na fase. Depois que a fase é desviada por A%, o estado da primeira fase muda para O + Ad e as margens não são mais centralizadas em cada segunda coluna de características.

[0057] A Figura 1C ilustra a amostra 50 iluminada por um padrão de iluminação estruturada unidimensional com margens 60, antes e depois de mudanças na orientação. Como mostrado, antes de uma mudança na orientação, a orientação das margens em relação à amostra 50 é completamente vertical. Com o tempo, a orientação pode mudar devido a fatores como alterações no caminho do feixe de excitação,

movimento da amostra, variações térmicas e/ou outros fatores. Depois que a orientação gira em um ângulo A89, as margens não são mais completamente verticais em relação à amostra.

[0058] A estimativa de parâmetros durante um processo de geração de imagens SIM para contabilizar com precisão as alterações nos parâmetros de iluminação estruturada, conforme descrito acima, ajuda a garantir uma reconstrução precisa, e sem artefatos, de uma imagem a partir de um conjunto de imagens amostradas. No entanto, esse processo pode ser computacionalmente caro e é frequentemente realizado após a aquisição da imagem. Para sistemas de geração de imagem SIM críticos no que tange o tempo, que envolvem o processamento em tempo real e a reconstrução das imagens, e, assim, a estimativa em tempo real de parâmetros tais como a frequência, a fase, a orientação, e a ordem de modulação, estes requisitos de cálculo podem resultar em uma perda de rendimento nos dados (por exemplo, uma quantidade menor de dados pode ser processada por unidade de tempo). Em tais sistemas, a taxa na qual as amostras são visualizadas pode exceder a taxa na qual os parâmetros de iluminação estruturada podem ser estimados diretamente a partir das imagens amostradas. Como tal, é necessário um método para gerar uma estimativa de parâmetro com baixa complexidade e baixo tempo de processamento.

[0059] Para esse fim, as implementações da tecnologia aqui divulgada são direcionadas para prever parâmetros de iluminação estruturada em um determinado ponto no tempo, espaço e/ou temperatura usando estimativas de parâmetros de iluminação estruturada obtidos a partir de imagens capturadas pelo sistema de iluminação estruturada. Implementações específicas são direcionadas para prever a frequência, fase, orientação e/ou ordem de modulação de parâmetros de iluminação estruturada.

[0060] De acordo com algumas implementações, um parâmetro de iluminação estruturada pode ser previsto para um determinado ponto no tempo, espaço e/ou temperatura interpolando-se estimativas do parâmetro de iluminação estruturada a partir das capturas de imagens. Por exemplo, uma primeira frequência pode ser estimada a partir de uma primeira imagem amostrada, uma segunda frequência pode ser estimada a partir de uma segunda imagem amostrada e uma frequência correspondente a um instante de tempo entre a primeira imagem capturada e a segunda imagem capturada (por exemplo, uma frequência para uma imagem tirada entre a primeira e a segunda imagens) pode ser prevista através da interpolação usando pelo menos uma taxa determinada de mudança da frequência entre a primeira imagem capturada e a segunda imagem capturada.

[0061] De acordo com algumas implementações, um parâmetro de iluminação estruturada pode ser previsto para um determinado ponto no tempo, espaço e/ou temperatura através de extrapolação usando estimativas de um parâmetro de iluminação estruturada obtido a partir de duas capturas de imagens. Por exemplo, uma primeira orientação pode ser estimada a partir de uma primeira imagem amostrada, uma segunda orientação pode ser estimada a partir de uma segunda imagem amostrada e uma orientação correspondente a um instante de tempo após a primeira e a segunda imagens capturadas (por exemplo, uma orientação para uma terceira imagem tirada após a primeira e a segunda imagens) pode ser prevista através de extrapolação usando pelo menos uma taxa determinada de mudança de orientação da primeira imagem capturada para a segunda imagem capturada. Como um segundo exemplo, uma primeira orientação pode ser estimada a partir de uma primeira imagem amostrada, uma segunda orientação pode ser estimada a partir de uma segunda imagem amostrada e uma orientação correspondente a um instante de tempo após a primeira e a segunda imagens capturadas (por exemplo, uma orientação para uma terceira imagem tirada após a primeira e a segunda imagens) pode ser prevista mantendo-se o valor da segunda imagem capturada.

[0062] Em implementações, parâmetros de iluminação estruturada estimados e previstos podem ser usados para restringir um espaço de pesquisa para outros parâmetros de iluminação estruturada que são previstos. Por exemplo, dado um valor estimado de um parâmetro de iluminação estruturada para um primeiro ponto no tempo, espaço e/ou temperatura um valor do parâmetro de iluminação estruturada para o segundo ponto no tempo, espaço e/ou temperatura que está próximo ao primeiro ponto no tempo, espaço e/ou temperatura pode ser previsto levando-se em consideração o valor previsto ou estimado no primeiro ponto no tempo, espaço e/ou temperatura.

[0063] Nas implementações, os parâmetros de iluminação estruturada estimados e previstos podem ser armazenados na memória do sistema de iluminação estruturada para uso posterior pelo sistema. Por exemplo, parâmetros previstos e estimados podem ser armazenados em um arquivo de histórico, tal como uma tabela de pesquisa. Os parâmetros previstos armazenados na memória podem ser determinados a partir de parâmetros estimados ou podem ser definidos com base nas características físicas do sistema de iluminação estruturada. Por exemplo, o espaçamento nominal da grade do sistema de iluminação estruturada pode ser armazenado. Os parâmetros armazenados podem ser posteriormente referenciados para executar operações como: reconstrução de imagem calibrada, fornecer feedback a um componente de hardware para corrigir alterações nos parâmetros de iluminação estruturada e estreitar o espaço de pesquisa ao prever parâmetros de iluminação estruturada adicionais.

[0064] Antes de descrever várias implementações de técnicas divulgadas aqui para prever parâmetros de iluminação estruturada, é útil descrever exemplos de sistemas de geração de imagem SIM com os quais essas técnicas podem ser implementadas. As Figuras de 2 a 6 ilustram três desses exemplos de sistemas de geração de imagem SIM. Deverá ser observado que, embora esses sistemas sejam descritos principalmente no contexto de sistemas de geração de imagem SIM que geram padrões de iluminação 1D, a tecnologia aqui divulgada pode ser implementada com sistemas de geração de imagem SIM que geram padrões de iluminação com dimensões mais elevadas (por exemplo, padrões de grade bidimensionais).

[0065] A Figura 2 ilustra um sistema de imagem de microscopia de iluminação estruturada (SIM) 100 que pode implementar a previsão de parâmetros de iluminação estruturada de acordo com algumas implementações aqui descritas. Por exemplo, o sistema 100 pode ser um sistema de microscopia de fluorescência de iluminação estruturada que utiliza luz de excitação espacialmente estruturada para gerar imagens de uma amostra biológica.

[0066] No exemplo da Figura 2, um emissor de luz 150 está configurado para emitir um feixe de luz que é colimada pela lente de colimação 151. A luz colimada é estruturada (padronizada) através do conjunto óptico de estruturação de luz 155 e direcionada pelo espelho dicroico 160 através da lente objetiva 142 para uma amostra de um recipiente amostral 110, o qual é posicionado em um estágio de movimento 170. No caso de uma amostra fluorescente, a amostra fluoresce em resposta à luz de excitação estruturada, e a luz resultante é coletada pela lente objetiva 142 e direcionada para um sensor de imagem do sistema de câmera 140 para detectar fluorescência.

[0067] O conjunto óptico de estruturação de luz 155 inclui uma ou mais grades de difração óptica ou outros elementos de divisão de feixe (por exemplo, um cubo ou placa divisora de feixe) para gerar um padrão de luz (por exemplo, margens, tipicamente sinusoidais) que é projetado nas amostras de um recipiente amostral 110. As grades de difração podem ser grades transmissivas ou refletivas unidimensionais ou bidimensionais. As grades de difração podem ser grades de amplitude sinusoidal ou grades de fase sinusoidal.

[0068] Em algumas concretizações, a(s) grade(s) de difração pode(m) não utilizar uma etapa de rotação para mudar uma orientação de um padrão de iluminação estruturada. Em outras implementações, as grades de difração podem ser montadas em um estágio de rotação. Em algumas implementações, as grades de difração podem ser fixadas durante a operação do sistema de geração de imagem (isto é, não requer movimento rotacional ou linear). Por exemplo, em uma implementação específica, ainda descrita a seguir, as grades de difração podem incluir duas grades de difração transmissivas unidimensionais fixas orientadas perpendicularmente uma à outra (por exemplo, uma grade de difração horizontal e uma grade de difração vertical).

[0069] Conforme ilustrado no exemplo da Figura 2, o conjunto óptico de estruturação de luz 155 emite as primeiras ordens dos feixes de luz difratados (por exemplo, m = ordem t+1) enquanto bloqueia ou minimiza todas as outras ordens, incluindo as ordens de ordem zero. No entanto, em implementações alternativas, ordens adicionais de luz podem ser projetadas na amostra.

[0070] Durante cada ciclo de geração de imagem, o sistema de imagem 100 utiliza o conjunto óptico de estruturação de luz 155 para adquirir uma pluralidade de imagens em várias fases, com o padrão de margem deslocado lateralmente na direção da modulação (por exemplo, no plano XY e perpendicular às margens), com esse procedimento repetido uma ou mais vezes, girando a orientação do padrão em torno do eixo óptico (ou seja, com relação ao plano XY da amostra). As imagens capturadas podem então ser reconstruídas computacionalmente para gerar uma imagem de resolução mais alta (por exemplo, uma imagem com cerca de duas vezes a resolução espacial lateral de imagens individuais).

[0071] No sistema 100, o emissor de luz 150 pode ser um emissor de luz incoerente (por exemplo, feixes de luz emitidos por um ou mais diodo de excitação), ou um emissor de luz coerente, tal como um emissor de luz produzida por um ou mais lasers ou diodos a laser. Conforme ilustrado no exemplo do sistema 100, o emissor de luz 150 inclui uma fibra óptica 152 para guiar um feixe óptico a ser emitido. No entanto, outras configurações de um emissor de luz 150 podem ser usadas. Em implementações que utilizam iluminação estruturada em um sistema de imagem multicanal (por exemplo, um microscópio de fluorescência multicanal que utiliza múltiplos comprimentos de onda da luz), a fibra óptica 152 pode se acoplar opticamente a uma pluralidade de fontes de luz diferentes (não mostradas), cada fonte de luz emitindo luz em um comprimento de onda diferente. Embora o sistema 100 seja ilustrado como tendo um único emissor de luz 150, em algumas implementações, vários emissores de luz 150 podem ser incluídos. Por exemplo, vários emissores de luz podem ser incluídos no caso de um sistema de geração de imagens de iluminação estruturada que utiliza múltiplos braços, discutido mais adiante.

[0072] Em algumas implementações, o sistema 100 pode incluir uma lente de tubo 156 que pode incluir um elemento de lente que se articula ao longo do eixo Z para ajustar a forma e o caminho do feixe estruturado. Por exemplo, um componente da lente do tubo pode ser articulado para contabilizar uma gama de espessuras de amostra (por exemplo, diferentes espessuras de lamínula) do recipiente amostral 110.

[0073] No exemplo do sistema 100, o módulo ou dispositivo de entrega de líquidos 190 pode direcionar o fluxo de reagentes (por exemplo, nucleotídeos, tampões enzimas, reagentes de clivagem marcados com fluorescência etc) para (e através de) o recipiente amostral 110 e válvula de resíduos 120. O recipiente amostral 110 pode incluir um ou mais substratos sobre os quais as amostras são fornecidas. Por exemplo, no caso de um sistema para analisar um grande número de diferentes sequências de ácidos nucleicos, o recipiente amostral 110 pode incluir um ou mais substratos nos quais os ácidos nucleicos a serem sequenciados estão ligados, acoplados ou associados. O substrato pode incluir qualquer matriz ou substrato inerte no qual os ácidos nucleicos possam ser ligados, tal como, por exemplo, superfícies de vidro, superfícies de plástico, látex, dextrano, superfícies de poliestireno, superfícies de polipropileno, géis de poliacrilamida, superfícies de ouro e pastilhas de silício. Em algumas aplicações, o substrato está dentro de um canal ou outra área em uma pluralidade de locais formados em uma matriz ou arranjo através do recipiente amostral 110. O sistema 100 também pode incluir um atuador de estação de temperatura 130 e aquecedor/resfriador 135 que pode opcionalmente regular a temperatura das condições dos fluidos dentro do recipiente amostral 110.

[0074] Em implementações particulares, o recipiente amostral 110 pode ser implementado como uma célula de fluxo padronizada incluindo uma placa de cobertura translúcida, um substrato e um líquido contido entre estes, e uma amostra biológica pode estar localizada em uma superfície interna da placa de cobertura translúcida ou uma superfície interna do substrato. A célula de fluxo pode incluir um grande número (por exemplo, milhares, milhões ou bilhões) de poços ou regiões que são padronizados em uma matriz definida (por exemplo, uma matriz hexagonal, matriz retangular etc.) no substrato. Cada região pode formar um aglomerado (por exemplo, um aglomerado monoclonal) de uma amostra biológica como DNA, RNA ou outro material genômico que pode ser sequenciado, por exemplo, usando sequenciamento por síntese. A célula de fluxo pode ainda ser dividida em um número de faixas espaçadas (por exemplo, oito faixas), cada faixa incluindo uma matriz hexagonal de aglomerados.

[0075] O recipiente amostral 110 pode ser montado em um estágio de amostra 170 para fornecer movimento e alinhamento do recipiente amostral 110 em relação à lente objetiva 142. O estágio de amostra pode ter um ou mais atuadores para permitir que ele se mova em qualquer uma das três dimensões. Por exemplo, em termos do sistema de coordenadas cartesianas, os atuadores podem ser fornecidos para permitir que o estágio se mova nas direções X, Y e Z em relação à lente objetiva. Isso pode permitir que um ou mais locais de amostra no recipiente amostral 110 sejam posicionados em alinhamento óptico com a lente objetiva

142. O movimento do estágio de amostra 170 em relação à lente objetiva 142 pode ser alcançado movendo-se o próprio estágio de amostra, a lente objetiva, algum outro componente do sistema de imagem ou qualquer combinação dos itens anteriores. Outras implementações também podem incluir mover todo o sistema de imagem sobre uma amostra estacionária. Alternativamente, o recipiente amostral 110 pode ser fixado durante a geração de imagens.

[0076] Em algumas implementações, um componente de foco (eixo Z) 175 pode ser incluído para controlar o posicionamento dos componentes ópticos em relação ao recipiente amostral 110 na direção do foco (normalmente referido como eixo Z ou direção Z). O componente de foco 175 pode incluir um ou mais atuadores fisicamente acoplados ao estágio óptico ou ao estágio de amostra, ou ambos, para mover o recipiente amostral 110 no estágio de amostra 170 em relação aos componentes ópticos (por exemplo, a lente objetiva 142) para fornecer foco adequado para a operação de geração de imagem. Por exemplo, o atuador pode ser fisicamente acoplado ao estágio respectivo, tal como, por exemplo, por ligação mecânica, magnética, fluídica ou outra ligação ou através de contato direto ou indireto com o estágio. O um ou mais atuadores podem ser configurados para mover o estágio na direção Z, mantendo o estágio de amostra no mesmo plano (por exemplo, mantendo uma atitude nivelada ou horizontal, perpendicular ao eixo óptico). O um ou mais atuadores também podem ser configurados para inclinar o estágio. Isso pode ser feito, por exemplo, para que o recipiente amostral 110 possa ser nivelado dinamicamente para contabilizar qualquer inclinação em suas superfícies.

[0077] A luz estruturada que emana a partir de uma amostra de teste em um local de amostra que está sendo fotografado pode ser direcionada através do espelho dicroico 160 para um ou mais detectores do sistema de câmera 140. Em algumas implementações, um conjunto de troca de filtro 165 com um ou mais filtros de emissão pode ser incluído, onde o um ou mais filtros de emissão possam ser usados para passar por determinados comprimentos de onda de emissão e bloquear (ou refletir) outros comprimentos de onda de emissão. Por exemplo, o um ou mais filtros de emissão podem ser usados para alternar entre diferentes canais do sistema de imagem. Em uma implementação específica, os filtros de emissão podem ser implementados como espelhos dicroicos que direcionam a emissão de luz de diferentes comprimentos de onda para diferentes sensores de imagem do sistema de câmera 140.

[0078] O sistema de câmera 140 pode incluir um ou mais sensores de imagem para monitorar e rastrear a imagem (por exemplo, sequenciamento) do recipiente amostral 110. O sistema de câmera 140 pode ser implementado, por exemplo, como um sensor de imagem de câmera de dispositivo de carga acoplada (CCD), mas outras tecnologias de sensor de imagem (por exemplo, sensor de pixel ativo) podem ser usadas.

[0079] Os dados de saída (por exemplo, imagens) provenientes do sistema de câmera 140 podem ser comunicados a um componente de imagem SIM em tempo real 191 que pode ser implementado como um aplicativo de software que,

conforme descrito a seguir, pode reconstruir as imagens capturadas durante cada ciclo de geração de imagens para criar uma imagem com uma resolução espacial mais alta. As imagens reconstruídas podem levar em consideração alterações nos parâmetros de iluminação estruturada que são previstos ao longo do tempo. Além disso, o componente de imagem SIM 191 pode ser usado para rastrear os parâmetros SIM previstos e/ou fazer previsões dos parâmetros SIM dados os parâmetros SIM estimados e/ou previstos anteriores.

[0080] Um controlador 195 pode ser fornecido para controlar a operação do sistema de imagem de iluminação estruturada 100, incluindo a sincronização dos vários componentes ópticos do sistema 100. O controlador pode ser implementado para controlar aspectos operacionais do sistema, tais como, por exemplo, a configuração do conjunto óptico de estruturação de luz 155 (por exemplo, seleção e/ou translação linear de grades de difração), movimento da lente de tubo 156, foco, movimento do estágio e operações de imagem. O controlador também pode ser implementado para controlar elementos de hardware do sistema 100 para corrigir alterações nos parâmetros de iluminação estruturada ao longo do tempo. Por exemplo, o controlador pode ser configurado para transmitir sinais de controle para motores ou outros dispositivos que controlam uma configuração do conjunto óptico de estruturação de luz 155, estágio de movimento 170 ou algum outro elemento do sistema 100 para corrigir ou compensar alterações na fase, frequência e/ou orientação de iluminação estruturada ao longo do tempo. Nas implementações, esses sinais podem ser transmitidos de acordo com os parâmetros de iluminação estruturada previstos usando o componente de imagem SIM

191. Em algumas implementações, o controlador 195 pode incluir uma memória para armazenar parâmetros de iluminação estruturada previstos e/ou estimados correspondentes a diferentes instantes de tempo e/ou posições de amostra.

[0081] Em várias implementações, o controlador 195 pode ser implementado usando hardware, algoritmos (por exemplo, instruções executáveis por máquina) ou uma combinação dos itens anteriores. Por exemplo, em algumas implementações, o controlador pode incluir uma ou mais CPUs, GPUSs ou processadores com memória associada. Como exemplo adicional, o controlador pode compreender hardware ou outros circuitos para controlar a operação, tal como um processador de computador e um meio legível por computador não transitório com instruções legíveis por máquinas armazenadas no mesmo. Por exemplo, esse circuito pode incluir um ou mais dos seguintes itens: arranjo de portas programáveis em campo (FPGA), circuito integrado de aplicação específica (ASIC), dispositivo lógico programável (PLD), dispositivo lógico programável complexo (CPLD) arranjo lógico programável (PLA), lógica de arranjo programável (PAL) e outro dispositivo ou circuito de processamento semelhante. Como outro exemplo, o controlador pode compreender uma combinação desses circuitos com um ou mais processadores.

[0082] A Figura 3 é um diagrama óptico que ilustra uma configuração óptica exemplificativa de um sistema de geração de imagem SIM com dois braços 200 que pode implementar a previsão de parâmetros de iluminação estruturada de acordo com algumas implementações descritas neste documento. O primeiro braço do sistema 200 inclui um emissor de luz 210A, um primeiro colimador óptico 220A para colimar a saída de luz pelo emissor de luz 210A, uma grade de difração 230A em uma primeira orientação em relação ao eixo óptico, um espelho rotativo 240A e um segundo colimador óptico 250A. O segundo braço do sistema 200 inclui um emissor de luz 210B, um primeiro colimador óptico 220B para colimar a saída de luz pelo emissor de luz 210B, uma grade de difração 230B em uma segunda orientação em relação ao eixo óptico, um espelho rotativo 240B e um segundo colimador óptico 250B. Embora grades de difração sejam ilustradas neste exemplo, em outras implementações, outros elementos de divisão de feixe, tal como um cubo ou placa divisora de feixe, podem ser usados para dividir a luz recebida em cada braço do sistema de imagem SIM 200.

[0083] Cada emissor de luz 210A e 210B pode ser um emissor de luz incoerente (por exemplo, feixes de luz emitidos por um ou mais diodo de excitação), ou um emissor de luz coerente, tal como um emissor de luz produzida por um ou mais lasers ou diodos a laser. No exemplo do sistema 200, cada emissor de luz 210A e 210B é uma fibra óptica que emite um feixe óptico que é colimado por um colimador 220A e 220B respectivo.

[0084] Em algumas implementações, cada fibra óptica pode ser acoplada opticamente a uma fonte de luz correspondente (não mostrada), tal como um laser. Durante a geração de imagens, cada fibra óptica pode ser ligada ou desligada usando um obturador de alta velocidade (não mostrado) posicionado no caminho óptico entre a fibra e a fonte de luz, ou pulsando a fonte de luz correspondente da fibra a uma frequência predeterminada durante a geração de imagens. Em algumas implementações, cada fibra óptica pode ser acoplada opticamente à mesma fonte de luz. Em tais implementações, um divisor de feixe ou outro elemento óptico adequado pode ser usado para guiar a luz da fonte de luz para cada uma das fibras ópticas. Em tais exemplos, cada fibra óptica pode ser ligada ou desligada usando um obturador de alta velocidade (não mostrado) posicionado no caminho óptico entre a fibra e o divisor de feixe.

[0085] No exemplo de sistema de imagem SIM 200, o primeiro braço inclui uma grade vertical fixa 230A para projetar um padrão de grade em uma primeira orientação (por exemplo, um padrão de margem vertical) sobre a amostra, e o segundo braço inclui uma grade horizontal fixa 230B para projetar um padrão de grade em uma segunda orientação (por exemplo, um padrão de margem horizontal) sobre a amostra

271. As grades do sistema de imagem SIM 200 não precisam ser giradas ou transladas mecanicamente, o que pode fornecer velocidade, confiabilidade e repetibilidade melhoradas ao sistema.

[0086] Em implementações alternativas, as grades 230A e 230B podem ser montadas nos respectivos estágios de movimento linear que podem ser transladadas para alterar o comprimento do caminho óptico (e, portanto, a fase) da luz emitida pelas grades 230A e 230B. O eixo de movimento, do movimento linear dos estágios, pode ser perpendicular ou,

de outro modo, desviado da orientação de sua respectiva grade para realizar a translação do padrão da grade ao longo de uma amostra 271.

[0087] As grades 230A e 230B podem ser grades de difração transmissivas, incluindo uma pluralidade de elementos de difração (por exemplo, fendas ou ranhuras paralelas) formada em um substrato de vidro ou outra superfície apropriada. As grades podem ser implementadas como grades de fase que fornecem uma variação periódica do índice de refração do material de grade. A fenda ou recurso de espaçamento pode ser escolhido para difratar a luz em ângulos adequados e ajustada(o) para o tamanho de recurso resolvível mínimo das amostras fotografadas para operação do sistema de imagem SIM 200. Em outras implementações, as grades podem ser grades de difração refletivas.

[0088] No exemplo do sistema de imagem SIM 200, os padrões vertical e horizontal são deslocados em cerca de 90 graus. Em outras implementações, outras orientações das grades podem ser usadas para criar um deslocamento de cerca de 90 graus. Por exemplo, as grades podem ser orientadas de modo que projetem imagens deslocadas +45 graus em relação ao plano X ou Y da amostra 271. A configuração do sistema de imagem SIM 200 exemplificativo pode ser particularmente vantajosa no caso de uma amostra com padrão regular 271 com recursos em uma grade retangular, pois o aprimoramento da resolução estruturada pode ser alcançado usando apenas duas grades perpendiculares (por exemplo, grade vertical e grade horizontal).

[0089] No exemplo do sistema 200, as grades 230A e

230B são configuradas para difratar os feixes de entrada em um número de ordens (por exemplo, ordem 0, ordem +1, ordem t2, etc.) em que ordem +1 pode ser projetada na amostra

271. Tal como mostrado neste exemplo, a grade vertical 230A difrata um feixe de luz colimado em feixes difratados de primeira ordem (ordem +1), espalhando as primeiras ordens no plano da página e a grade horizontal 230B difrata um feixe de luz colimado em feixes difratados de primeira ordem, espalhando as ordens acima e abaixo do plano da página (ou seja, em um plano perpendicular à página). Para melhorar a eficiência do sistema, os feixes de ordem zero e todos os outros feixes de ordem superior (ou seja, +2 ordens ou mais) podem ser bloqueados (ou seja, filtrados para fora do padrão de iluminação projetado na amostra 271). Por exemplo, um elemento de bloqueio de feixe (não mostrado) como um filtro de ordem pode ser inserido no caminho óptico após cada grade de difração para bloquear o feixe de ordem 0 e os feixes de ordem superior. Em algumas implementações, as grades de difração 230A e 230B podem ser configuradas para difratar os feixes apenas nas primeiras ordens e o feixe de ordem O (feixe não difratado) pode ser bloqueado por algum elemento de bloqueio de feixe.

[0090] Cada braço inclui um modulador de fase óptica ou deslocador de fase 240A e 240B para mudar a fase da saída de luz difratada por cada uma das grades 230. Por exemplo, durante a criação de imagens estruturadas, a fase óptica de cada feixe difratado pode ser alterada por alguma fração (por exemplo, 1/2, 1/3, 1/4, etc.) da afinação (A) de cada margem do padrão estruturado. No exemplo da Figura

3, os moduladores de fase 240A e 240B são implementados como janelas rotativas que podem usar um galvanômetro ou outro atuador rotacional para girar e modular o comprimento do caminho óptico de cada feixe difratado. Por exemplo, a janela 240A pode girar em torno do eixo vertical para mudar a imagem projetada pela grade vertical 230A na amostra 271 para a esquerda ou para a direita, e a janela 240B pode girar em torno do eixo horizontal para mudar a imagem projetada pela grade horizontal 230B na amostra 271 para cima ou baixa.

[0091] Em outras implementações, outros moduladores de fase que alteram o comprimento do caminho óptico da luz difratada (por exemplo, estágios de translação linear, cunhas etc.) podem ser usados. Além disso, embora os moduladores de fase óptica 240A e 240B sejam ilustrados como sendo colocados após grades 230A e 230B, em outras implementações eles podem ser colocados em outros locais no sistema de iluminação.

[0092] Em implementações alternativas, um único modulador de fase pode ser operado em dois sentidos diferentes para os diferentes padrões de margens, ou um único modulador de fase pode utilizar um único movimento para ajustar ambos os comprimentos de trajeto. Por exemplo, uma grande janela óptica rotativa pode ser colocada após o espelho 260 com orifícios 261. Nesse caso, a grande janela pode ser usada no lugar das janelas 240A e 240B para modular as fases dos dois conjuntos de feixes difratados emitidos pelas grades de difração horizontal e vertical. Em vez de ser paralelo em relação ao eixo óptico de uma das grades, o eixo de rotação da grande janela rotativa pode ser desviado 45 graus (ou algum outro deslocamento angular) em relação ao eixo óptico de cada uma das grades verticais e horizontais para permitir a mudança de fase nas duas direções ao longo de um eixo comum de rotação da janela grande. Em algumas implementações, a janela grande rotativa pode ser substituída por uma ótica entalhada que gira em torno do eixo nominal do feixe.

[0093] No sistema 200 exemplificativo, um espelho 260 com furos 261 combina os dois braços para o interior do caminho óptico em um modo sem perdas (por exemplo, sem perda significativa de potência óptica, com exceção de uma pequena absorção no revestimento refletor). O espelho 260 pode ser localizado de modo que as ordens difratadas de cada uma das grades sejam resolvidas espacialmente e as ordens indesejadas possam ser bloqueadas. O espelho 260 passa as primeiras ordens de saída de luz pelo primeiro braço através dos orifícios 261. O espelho 260 reflete as primeiras ordens de saída de luz pelo segundo braço. Como tal, o padrão de iluminação estruturada pode ser alternado de uma orientação vertical (por exemplo, grade 230A) para uma orientação horizontal (por exemplo, grade 230B) ativando-se ou desativando-se cada emissor ou abrindo e fechando um obturador óptico que direciona a fonte de luz através do cabo de fibra óptica. Em outras implementações, o padrão de iluminação estruturada pode ser alterado usando-se um comutador óptico para alterar o braço que ilumina a amostra.

[0094] No sistema de imagem 200 exemplificativo também são ilustradas uma lente de tubo 265, um espelho semirreflexivo 280, uma objetiva 270 e uma câmera 290. Por exemplo, a lente de tubo 265 pode ser implementada para se articular ao longo do eixo Z para ajustar a forma e o caminho do feixe estruturado. O espelho semirreflexivo 280 pode ser um espelho dicroico para refletir a luz de iluminação estruturada recebida de cada braço na objetiva 270 para projeção na amostra 271 e passar através da luz emitida pela amostra 271 (por exemplo, luz fluorescente, que é emitida em comprimentos de onda diferentes daqueles de excitação) na câmera 290.

[0095] Os dados de saída (por exemplo, imagens) provenientes da câmera 290 podem ser comunicados a um componente de imagem SIM em tempo real (não mostrado) que pode ser implementado como um aplicativo de software que, conforme descrito abaixo, pode reconstruir as imagens capturadas durante cada ciclo de geração de imagens para criar uma imagem com uma resolução espacial mais alta. As imagens reconstruídas podem levar em consideração alterações nos parâmetros de iluminação estruturada que são previstos ao longo do tempo. Além disso, o componente de geração de imagem SIM em tempo real pode ser usado para rastrear os parâmetros SIM previstos e/ou fazer previsões dos parâmetros SIM, dados os parâmetros SIM estimados e/ou previstos anteriores.

[0096] Um controlador (não mostrado) pode ser fornecido para controlar a operação do sistema de imagem de iluminação estruturada 200, incluindo a sincronização dos vários componentes ópticos do sistema 200. O controlador pode ser implementado para controlar aspectos operacionais do sistema, tais como, por exemplo, configuração de cada braço óptico (por exemplo, ligar/desligar cada braço óptico durante a captura de imagens de fase, atuação dos moduladores de fase 240A e 240B), movimento da lente de tubo 265, movimento de estágio (se algum estágio for usado) da amostra 271, e operações de imagem. O controlador também pode ser implementado para controlar elementos de hardware do sistema 200 para corrigir alterações nos parâmetros de iluminação estruturada ao longo do tempo. Por exemplo, o controlador pode ser configurado para transmitir sinais de controle para dispositivos (por exemplo, moduladores de fase 240A e 240B) que controlam uma configuração de cada braço óptico ou algum outro elemento do sistema 100 para corrigir ou compensar alterações na fase, frequência, e/ou orientação de iluminação estruturada ao longo do tempo. Como outro exemplo, quando grades 230A e 230B são montadas em estágios de movimento linear (por exemplo, em vez de usar moduladores de fase 240A e 240B), o controlador pode ser configurado para controlar os estágios de movimento linear para corrigir ou compensar alterações de fase. Nas implementações, esses sinais podem ser transmitidos de acordo com os parâmetros de iluminação estruturada previstos usando um componente de imagem SIM. Em algumas implementações, o controlador pode incluir uma memória para armazenar parâmetros de iluminação estruturada previstos e/ou estimados correspondentes a diferentes tempos e/ou posições de amostra.

[0097] Deverá ser observado que, por uma questão de simplicidade, os componentes ópticos do sistema de imagem SIM 200 podem ter sido omitidos da discussão precedente. Além disso, embora o sistema 200 seja ilustrado neste exemplo como um sistema de canal único, em outras implementações, ele pode ser implementado como um sistema multicanal (por exemplo, usando duas câmeras e fontes de luz diferentes que emitem em dois comprimentos de onda diferentes).

[0098] A Figura 4 ilustra padrões de margens de iluminação simplificados que podem ser projetados no plano de uma amostra 271 por uma grade vertical 230A e uma grade horizontal 230B do sistema de imagem SIM 200 durante um ciclo de imagem para usar luz estruturada para criar uma imagem de alta resolução. Neste exemplo, imagens trifásicas com uma orientação de iluminação vertical podem ser capturadas usando grade vertical 230A, e imagens trifásicas com uma orientação de iluminação horizontal podem ser capturadas usando grade horizontal 230B. Para cada orientação, as margens projetadas podem ser deslocadas em fases em etapas de 1/3A (por exemplo, ajustando-se o modulador de fase 230A ou 230B para três posições diferentes) para capturar imagens trifásicas do padrão de orientação.

[0099] Durante a captura de cada imagem de fase, qualquer luz emitida pela amostra pode ser capturada pela câmera 290. Por exemplo, corantes fluorescentes situados em diferentes características da amostra 271 podem fluorescer e a luz resultante pode ser coletada pela lente objetiva 270 e direcionada para um sensor de imagem da câmera 290 para detectar a florescência. As seis imagens capturadas podem representar uma imagem inteira ou um local de uma amostra maior.

[00100] Depois que todas as imagens foram capturadas para o ciclo de geração de imagens (neste exemplo, seis imagens), uma imagem de alta resolução pode ser construída a partir das imagens capturadas. Por exemplo, uma imagem de alta resolução pode ser reconstruída a partir das seis imagens mostradas na Figura 4. Algoritmos adequados podem ser usados para combinar essas várias imagens para sintetizar uma única imagem da amostra com resolução espacial significativamente melhor do que qualquer uma das imagens componentes individuais.

[00101] Durante a construção da imagem de alta resolução, mudanças indesejadas ou alterações nos parâmetros de iluminação estruturada (por exemplo, fase, frequência, orientação), podem ser compensadas algoritmicamente pelo uso de parâmetros de iluminação estruturada previstos de acordo com a presente divulgação (por exemplo, alterações previstas em fase, frequência ou orientação). Por exemplo, desvios na fase, orientação e/ou frequência das imagens de iluminação vertical e/ou imagens de iluminação horizontal podem ser compensadas.

[00102] Em algumas implementações, mudanças indesejadas ou alterações nos parâmetros de iluminação estruturada podem ser compensadas antes da captura da imagem, controlando-se um ou mais elementos de hardware do sistema 200 para compensar essas alterações no sistema de imagem SIM. Por exemplo, antes de uma sequência de imagem e/ou entre a captura de imagens de uma sequência de imagem, o desvio de fase pode ser compensado para cada braço óptico ajustando-se um elemento de mudança de fase (por exemplo, espelho rotativo, atuador linear etc.). Em algumas implementações, uma combinação de hardware e compensação algorítmica pode ser implementada.

[00103] Embora o sistema 200 ilustre um sistema de geração de imagem com iluminação estruturada de dois braços que inclui duas grades orientadas em dois ângulos diferentes, deverá ser observado que em outras implementações, a tecnologia aqui descrita pode ser implementada com os sistemas utilizando mais do que dois braços. No caso de uma amostra regularmente padronizada com características em uma grade retangular, o aprimoramento da resolução pode ser alcançado com apenas dois ângulos perpendiculares (por exemplo, grade vertical e grade horizontal) conforme descrito acima. Por outro lado, para aprimorar a resolução da imagem em todas as direções para outras amostras (por exemplo, amostras com padrão hexagonal), três ângulos de grade podem ser usados. Por exemplo, um sistema de três braços podem incluir três emissores de luz e três grades de difração fixas (um por cada braço), onde cada grade de difração está orientada para em torno do eixo óptico do sistema para projetar uma respectiva orientação padrão sobre a amostra (por exemplo, um padrão de 0º, 120º ou 240º). Em tais sistemas, espelhos adicionais com furos podem ser usados para combinar as imagens adicionais das grades adicionais no sistema de uma maneira sem perdas. Alternativamente, esses sistemas podem utilizar um ou mais divisores de feixe de polarização para combinar as imagens de cada uma das grades.

[00104] As Figuras 5A e 5B são diagramas esquemáticos que ilustram um exemplo de configuração óptica de um sistema de imagem SIM com duas lâminas de grade óptica 500 que pode implementar a previsão de parâmetros de iluminação estruturada de acordo com algumas implementações aqui descritas. No sistema 500 exemplificativo, todas as alterações no padrão de grade projetadas na amostra 570 (por exemplo, mudanças de fase ou rotações do padrão) podem ser feitas através de translação linear de um estágio de movimento 530 ao longo de um único eixo de movimento, para selecionar uma grade 531 ou 532 (ou seja, selecionar a orientação da grade) ou para mudar de fase uma das grades 531 e 532.

[00105] O sistema 500 inclui um emissor de luz 510 (por exemplo, fibra óptica opticamente acoplada a uma fonte de luz), um primeiro colimador óptico 520 (por exemplo, lentes de colimação) para colimar a saída de luz pelo emissor de luz 510, um estágio de movimento linear 530 montado com uma primeira grade de difração 531 (por exemplo, grade horizontal) e uma segunda grade de difração 532 (por exemplo, grade vertical), uma lente de tubo 540 um espelho semirreflexivo 550 (por exemplo, espelho dicroico), um objeto 560, uma amostra 570 e uma câmera 580. Por simplicidade, os componentes ópticos do sistema de imagem SIM 500 podem ser omitidos da Figura 5A. Além disso, embora o sistema 500 seja ilustrado neste exemplo como um sistema de canal único, em outras implementações, ele pode ser implementado como um sistema multicanal (por exemplo, usando duas câmeras e fontes de luz diferentes que emitem em dois comprimentos de onda diferentes).

[00106] Conforme ilustrado pela Figura 5A, uma grade 531 (por exemplo, uma grade de difração horizontal) pode difratar um feixe de luz colimado em feixes de luz difratados de primeira ordem (no plano da página). Conforme ilustrado na Figura 5B, uma grade de difração 532 (por exemplo, uma grade de difração vertical) pode difratar um feixe em primeiras ordens (acima e abaixo do plano da página). Nesta configuração, apenas um único braço óptico com um único emissor 510 (por exemplo, fibra óptica) e um único estágio de movimento linear é necessário para gerar imagens de uma amostra 570, o que pode fornecer vantagens ao sistema, tal como reduzir o número de partes móveis do sistema para melhorar velocidade, complexidade e custo. Além disso, no sistema 500, a ausência de um polarizador pode fornecer a vantagem mencionada anteriormente de alta eficiência óptica. A configuração do exemplo de sistema de imagem SIM 200 pode ser particularmente vantajosa no caso de uma amostra regularmente padronizada 570 com recursos em uma grade retangular, pois o aprimoramento da resolução estruturada pode ser alcançado usando apenas duas grades perpendiculares (por exemplo, grade vertical e grade horizontal).

[00107] Para melhorar a eficiência do sistema, os feixes de ordem zero e todos os outros feixes de difração de ordem superior (ou seja, ordem t2 ou mais) produzidos por cada grade podem ser bloqueados (ou seja, filtrados para fora do padrão de iluminação projetada na amostra 570). Por exemplo, um elemento de bloqueio de feixe (não mostrado), tal como um filtro de ordem pode ser inserido no trajeto óptico após a fase de movimento 530. Em algumas implementações, grades de difração 531 e 532 podem ser configuradas para difratar o feixe em apenas a primeira ordem, e a ordem zero (ordem não difratada) pode ser bloqueada por algum elemento de bloqueio de feixe.

[00108] No exemplo do sistema 500, as duas grades podem ser dispostas a cerca de +45º em relação ao eixo do movimento (ou outro desvio angular do eixo do movimento, tal como +40º/-50º, cerca de +30º/-60º, etc.) de forma que um desvio de fase pode ser realizado para cada grade 531 e 532 ao longo de um único eixo de movimento linear. Em algumas implementações, as duas grades podem ser combinadas em um elemento óptico físico. Por exemplo, um lado do elemento óptico físico pode ter um padrão de grade em uma primeira orientação e um lado adjacente do elemento óptico físico pode ter um padrão de grade em uma segunda orientação ortogonal à primeira orientação.

[00109] O estágio de movimento linear de eixo único 530 pode incluir um ou mais atuadores para permitir que ele se mova ao longo do eixo X em relação ao plano de amostra ou ao longo do eixo Y em relação ao plano de amostra. Durante a operação, o estágio de movimento linear 530 pode fornecer deslocamento suficiente (por exemplo, cerca de 12 mm a 15 mm) e precisão (por exemplo, menos que 0,5 micrômetros de repetibilidade) para fazer com que padrões de iluminação precisos sejam projetados para reconstrução eficiente da imagem. Nas implementações em que o estágio de movimento 530 é utilizado em um sistema de imagem automatizado, como um microscópio de fluorescência, que pode ser configurado para fornecer uma operação de alta velocidade, geração mínima de vibração e uma vida útil longa. Nas implementações, o estágio de movimento linear 530 pode incluir rolamentos de rolos cruzados, um motor linear, um codificador linear de alta precisão e/ou outros componentes. Por exemplo, o estágio de movimento 530 pode ser implementado como um estágio de movimento de passo ou piezo de alta precisão que pode ser transladado usando um controlador.

[00110] Os dados de saída (por exemplo, imagens) da câmera 580 podem ser comunicados a um componente de imagem SIM em tempo real (não mostrado) que pode ser implementado como um aplicativo de software que, conforme descrito a seguir, pode reconstruir as imagens capturadas durante cada ciclo de geração de imagens para criar uma imagem com uma resolução espacial mais alta. As imagens reconstruídas podem levar em consideração alterações nos parâmetros de iluminação estruturada que são previstos ao longo do tempo. Além disso, o componente de imagem SIM em tempo real pode ser usado para rastrear os parâmetros previstos SIM e/ou fazer previsões dos parâmetros SIM, dados os parâmetros SIM estimados e/ou previstos anteriores.

[00111] Um controlador (não mostrado) pode ser fornecido para controlar a operação do sistema de imagem de iluminação estruturada 500, incluindo a sincronização dos vários componentes ópticos do sistema 500. O controlador pode ser implementado para controlar aspectos da operação do sistema, tais como, por exemplo, translação do estágio de movimento linear 530, movimento da lente do tubo 540, movimento do estágio (se algum estágio for utilizado) da amostra 570 e operações de imagem. O controlador também pode ser implementado para controlar os elementos de hardware do sistema 500 para corrigir alterações nos parâmetros de iluminação estruturada ao longo do tempo. Por exemplo, o controlador pode ser configurado para transmitir sinais de controle para dispositivos (por exemplo, estágio de movimento linear 530) para corrigir ou compensar alterações na fase, frequência e/ou orientação de iluminação estruturada ao longo do tempo. Nas implementações, esses sinais podem ser transmitidos de acordo com os parâmetros de iluminação estruturada previstos usando um componente de imagem SIM. Em algumas implementações, o controlador pode incluir uma memória para armazenar parâmetros de iluminação estruturada previstos e/ou estimados correspondentes aos diferentes tempos e/ou posições de amostra.

[00112] Embora o exemplo das Figuras 5A e 5B ilustre um sistema de imagem de lâmina de grade óptica dupla que pode implementar a previsão de parâmetro de iluminação estruturada, a previsão de parâmetro de iluminação estruturada pode ser implementada em sistemas de imagem SIM que usam um atuador de movimento linear montado com mais de duas grades de difração.

[00113] A Figura 6 ilustra padrões simplificados de margens de iluminação que podem ser projetados no plano de uma amostra 570 através de uma primeira grade de difração e uma segunda grade de difração de um sistema de imagem SIM de lâmina de grade óptica dupla 500 durante a captura de imagem para um ciclo de imagem de iluminação estruturada. Por exemplo, um sistema de imagem SIM 500 pode usar uma primeira grade de difração 531 e uma segunda grade de difração 532 para gerar os padrões de iluminação mostrados na Figura 6. Conforme ilustrado no exemplo da Figura 6, as duas grades projetam padrões de margens perpendiculares na superfície da amostra 570 e estão dispostas a cerca de +45º em relação ao eixo de movimento do estágio de movimento linear 530.

[00114] Por exemplo, uma primeira grade (por exemplo, grade 531), pode projetar margens de iluminação de primeira ordem na amostra 570. Qualquer luz emitida pela amostra pode ser capturada pela câmera 580 e uma imagem da primeira fase de primeiro padrão (por exemplo, padrão de +45º) pode ser capturada para criar uma imagem da primeira fase. Para capturar imagens deslocadas de fase adicionais, o padrão projetado pela grade pode ser mudado de fase através de translação do estágio de movimento linear. Esses movimentos de mudança de fase são ilustrados como as etapas 1 e 2 na Figura 6. Os movimentos de mudança de fase podem fornecer movimentos pequenos (por exemplo, cerca de 3 a 5 micrômetros ou menos) das grades para mudar levemente o padrão de margem projetado na grade.

[00115] Após a captura de todas as imagens de fase deslocada para uma grade de difração, o sistema 500 pode trocar grades de difração através de translação do estágio de movimento linear 530 para acoplar opticamente outra grade de difração à fonte de luz do sistema de imagem (por exemplo, transição da Figura 5A para a Figura 5B). Este movimento é ilustrado como etapa 3 no exemplo da Figura 6. No caso de mudanças na grade de difração, o estágio de movimento linear pode fornecer uma translação relativamente grande (por exemplo, da ordem de 12 mm a 15 mm).

[00116] Uma série de imagens de fase pode ser capturada para a próxima grade. Por exemplo, tal como ilustrado pela Figura 6, uma segunda grade de difração pode projetar margens de iluminação de primeira ordem na amostra, e as margens projetadas podem ser deslocadas em posição através de translação do estágio de movimento linear 530 para capturar imagens trifásicas do padrão de grade (por exemplo, etapas 4 e 5 de Figura 6).

[00117] Depois que todas as imagens forem capturadas para o ciclo de geração de imagens (neste exemplo, seis imagens), uma imagem de alta resolução pode ser construída a partir das imagens capturadas. Por exemplo, uma imagem de alta resolução pode ser reconstruída a partir das seis imagens mostradas na Figura 6. Algoritmos adequados podem ser usados para combinar essas várias imagens para sintetizar uma única imagem da amostra com resolução espacial significativamente melhor do que qualquer uma das imagens de componentes individuais.

[00118] Durante a construção da imagem de alta resolução, mudanças indesejadas ou alterações nos parâmetros de iluminação estruturada (por exemplo, fase, frequência, orientação), podem ser compensadas algoritmicamente pelo uso de parâmetros de iluminação estruturada previstos de acordo com a presente divulgação (por exemplo, alterações previstas em fase, frequência ou orientação). Por exemplo, desvios na fase, orientação e/ou frequência das imagens de iluminação vertical e/ou imagens de iluminação horizontal podem ser compensadas.

[00119] Em algumas implementações, mudanças indesejadas ou alterações nos parâmetros de iluminação estruturada podem ser compensadas antes da captura da imagem, controlando-se um ou mais elementos de hardware do sistema 500 para compensar essas alterações no sistema de imagem SIM. Por exemplo, antes de uma sequência de imagem e/ou entre a captura de imagens de uma sequência de imagem, o desvio de fase pode ser compensado pela translação do estágio de movimento linear 530. Em algumas implementações, uma combinação de hardware e compensação algorítmica pode ser implementada.

[00120] De acordo com as implementações descritas no presente documento, os parâmetros de iluminação estruturada podem ser previstos para um determinado momento no tempo usando estimativas de parâmetros de iluminação estruturada obtidos a partir de imagens capturadas antes e/ou após esse momento. Por exemplo, as limitações de recursos computacionais podem limitar a taxa na qual um sistema de imagem SIM (por exemplo, sistema 100, 200 ou 500) pode estimar diretamente parâmetros de iluminação estruturada, tais como fase, frequência e/ou orientação das imagens capturadas. Em alguns casos, um sistema de imagem SIM pode estimar ou medir diretamente um parâmetro de iluminação estruturada a cada imagem de fase, caso em que pode não ser necessário prever parâmetros de iluminação estruturada. No entanto, em outros casos, um sistema de imagem SIM pode apenas estimar ou medir diretamente um parâmetro de iluminação estruturada para algumas imagens de fase de um ciclo de imagens, uma vez por ciclo de imagem ou com menor frequência (por exemplo, a cada 3, 5, 10, 50 ou 100 ciclos de geração de imagem). Nesses casos, para acompanhar a taxa de amostragem do sistema de imagem, pode ser vantajoso aproveitar uma estimativa direta do parâmetro de iluminação estruturada que foi obtido para um determinado ponto no tempo e/ou espaço para fazer previsões sobre o parâmetro de iluminação estruturada em outros pontos no tempo e/ou espaço.

[00121] Para ilustrar matematicamente um exemplo desse princípio, a correlação com uma referência é uma maneira de estimar parâmetros de iluminação estruturada.

Correlação de saída => c(x)h(x - f) (1) em que h(x) é uma referência que pode ser conhecida ou derivada a partir de dados de imagem, c(x) é derivado a partir de dados de imagem que estão correlacionados com a referência, e f é um valor a ser estimado (neste exemplo, a frequência). Deverá ser observado que outras técnicas alternativas de estimativa podem ser utilizadas de acordo com a presente divulgação.

[00122] No exemplo da Equação (1), uma correlação de saída pode ser gerada para cada um dos vários valores hipotéticos de f. A estimativa de parâmetrof pode ser obtida como o valor de f que maximiza a magnitude da correlação. No entanto, em muitos casos, pode ser necessário tentar um grande número de valores hipotéticos de f para maximizar a correlação de saída. O grande espaço de pesquisa pode aumentar os requisitos computacionais e, como resultado, pode causar uma taxa de transferência reduzida do sistema (ou seja, menos dados processados por unidade de tempo).

[00123] Para contornar esse problema, informações de uma estimativa anterior podem ser usadas para determinar uma "vizinhança" de um novo valor a ser determinado. Como um exemplo, considere a Figura 7, que mostra uma estimativa (0) que varia no espaço (X) e no tempo (T). Como ilustrado pela Figura 7, um valor inicial para à pode ser obtido para as coordenadas X e T correspondentes ao bloco A. Supondo que o valor da estimativa varie lentamente no espaço ou no tempo, a estimativa do bloco A (0.) pode ser usada como um valor inicial para os blocos B ou E. Mais especificamente, o espaço de busca para os blocos B e E pode ser restrito a valores na “vizinhança” do valor de à obtido no bloco A. Com essa abordagem, o tempo necessário para identificar 4 pode ser reduzido consideravelmente e, como resultado, a quantidade de dados processados em uma unidade de tempo pode ser aumentada.

[00124] Para estender esse conceito, uma tendência da variação estimada pode ser prevista na dimensão espaço (X) ou tempo (T). Como um exemplo, considere a Figura 7, onde as estimativas por bloco aumentam A6x na dimensão espacial, e aumentam Ad; na dimensão temporal. Dada esta observação, uma estimativa inicial para o bloco B pode ser derivada como à, + Adx, tal como ilustrado pela Figura 8. Além disso, uma estimativa inicial do bloco E poderia ser derivada como 6, + Ads. Outros preditores nas dimensões X e T usando valores de vários blocos também podem ser implementados.

[00125] A Figura 9 é um diagrama de fluxo operacional que ilustra um exemplo de método de interpolação 900 para prever iluminação estruturada usando estimativas de parâmetros de iluminação estruturada obtidos a partir de múltiplas imagens capturadas por um sistema de iluminação estruturada. Nas implementações, o método 700 pode ser implementado executando-se instruções legíveis por máquina armazenadas na memória de um sistema de imagem SIM (por exemplo, sistema 100, 200 ou 500).

[00126] Na operação 910, uma primeira amostra de imagem SIM pode ser obtida. Por exemplo, uma imagem de fase de uma amostra pode ser capturada no primeiro ponto no tempo. Na operação 920, um parâmetro de iluminação estruturada pode ser estimado usando a primeira imagem capturada. Por exemplo, qualquer um de uma fase, frequência, orientação ou ordem de modulação de iluminação estruturada pode ser estimado. A estimativa pode ser obtida em um ponto específico no tempo, espaço e/ou temperatura.

[00127] Na operação 930, uma segunda amostra de imagem SIM pode ser obtida. Por exemplo, uma imagem de fase da amostra pode ser capturada em um segundo momento após um primeiro momento em que a primeira amostra de imagem SIM é capturada. Em algumas implementações, a primeira imagem da amostra e a segunda imagem da amostra podem ser capturadas durante a mesma sequência de geração de imagens (por exemplo, como parte de uma sequência de imagem que gera seis imagens de fase ou nove imagens de fase que são construídas em uma imagem de resolução mais alta). Em outras implementações, a primeira imagem e a segunda imagem podem ser capturadas durante diferentes sequências de geração de imagens. Na operação 940, um parâmetro de iluminação estruturada pode ser estimado usando a segunda imagem capturada. Por exemplo, qualquer um de uma fase, frequência, orientação ou ordem de modulação de iluminação estruturada pode ser estimado. A estimativa pode ser obtida em um ponto específico no tempo, espaço e/ou temperatura.

[00128] Na operação 950, utilizando-se pelo menos a estimativa do parâmetro de iluminação estruturada da primeira imagem e a estimativa de iluminação estruturada da segunda imagem, um parâmetro de iluminação estruturada correspondente a uma terceira imagem pode ser previsto, onde a terceira imagem está em um ponto no tempo, espaço (por exemplo, posição de amostra) e/ou temperatura (por exemplo, temperatura de amostra) entre a primeira imagem e a segunda imagem. Por exemplo, a terceira imagem pode ter sido capturada após a primeira imagem, mas antes da segunda imagem. Como exemplo adicional, a terceira imagem pode ser capturada posteriormente em uma posição entre a primeira imagem e a segunda imagem.

[00129] Em algumas implementações, esta previsão pode ser baseada em pelo menos uma taxa determinada de mudança do parâmetro de iluminação estruturada entre dois pontos no tempo. A título de ilustração matemática, para um primeiro tempo Tl, e um segundo tempo T2, se for determinado que uma fase de iluminação estruturada derivou por uma quantidade Ads, em seguida, a taxa de variação (por exemplo, desvio) da fase pode ser expressa como Ab, / (T2 - T1). Usando a interpolação, a quantidade de desvio de fase por um tempo T3 pode ser prevista. Por exemplo, se a fase passou de um deslocamento de 5 graus no tempo Tl para um deslocamento de 15 graus no tempo T2, pode-se prever que a fase passou de um deslocamento de 10 graus no tempo T3 a meio caminho entre esses dois instantes de tempo.

[00130] Embora o método 900 seja principalmente descrito no contexto da aplicação de interpolação para prever um parâmetro de iluminação estruturada em um determinado ponto no tempo, espaço e/ou temperatura, dadas duas estimativas conhecidas do parâmetro de iluminação estruturada, deve-se observar que o método 900 pode ser estendido ao caso em que existem mais de duas estimativas conhecidas. Nesses casos, uma função de estimativa de tendência apropriada pode ser usada para prever o parâmetro de iluminação estruturada. Por exemplo, no caso de estimativa de tendência linear, um ajuste de mínimos quadrados pode ser aplicado às estimativas conhecidas para interpolar e prever o parâmetro de iluminação estruturada em um determinado ponto no tempo, espaço e/ou temperatura. Em algumas implementações, uma previsão de um parâmetro de iluminação estruturada pode ser atualizada ao longo do tempo à medida que estimativas adicionais são coletadas. Além disso, embora o método 900 seja descrito como o uso de estimativas da primeira imagem e da segunda imagem para prever um parâmetro correspondente a uma terceira imagem, em algumas implementações, apenas uma das duas estimativas pode ser usada (por exemplo, mantendo-se a estimativa) para prever o parâmetro.

[00131] Além disso, embora o método 900 seja descrito no contexto da aplicação de interpolação para prever um parâmetro de iluminação estruturada em um tempo particular, dada duas estimativas conhecidas do parâmetro iluminação estruturada em diferentes momentos, o método 900 pode também ser estendido para considerar dimensões de espaço (por exemplo, um local ou subconjunto de uma amostra de imagem) e temperatura. Em alguns casos, uma previsão conjunta que considere vários parâmetros (por exemplo, espaço, tempo e/ou temperatura) pode ser aplicada. Por exemplo, tal como ilustrado pela Figura 7, uma tendência no tempo e no espaço pode ser considerada na previsão de parâmetros de iluminação estruturada. Alternativamente, uma tendência no parâmetro de iluminação estruturada apenas no espaço pode ser considerada.

[00132] A Figura 10 é um diagrama de fluxo operacional que ilustra um método de extrapolação 1000 exemplificativo para prever parâmetros de iluminação estruturada usando estimativas de parâmetros de iluminação estruturada obtidos a partir de duas ou mais imagens. Nas implementações, o método 700 pode ser implementado executando-se instruções legíveis por máquina armazenadas na memória de um sistema de imagem SIM (por exemplo, sistema 100, 200 ou 500).

[00133] As operações de 910 a 940 do método 1000 podem ser executadas como discutido acima com referência ao método 900. Por exemplo, uma frequência de iluminação estruturada pode ser estimada no primeiro ponto no tempo e no segundo ponto no tempo usando imagens capturadas.

[00134] Na operação 1050, utilizando-se pelo menos a estimativa do parâmetro de iluminação estruturada da primeira imagem e a estimativa da iluminação estruturada da segunda imagem, um parâmetro de iluminação estruturada correspondente a uma terceira imagem pode ser previsto, onde a terceira imagem é, em um ponto em tempo, espaço (por exemplo, a posição de amostra), e/ou temperatura (por exemplo, temperatura de amostra) após tanto a primeira imagem e a segunda imagem, ou antes, tanto da primeira imagem quanto da segunda imagem. Em algumas implementações, essa previsão pode ser baseada em pelo menos uma taxa determinada de alteração do parâmetro de iluminação estruturada entre os dois pontos no tempo. A título de ilustração matemática, para um primeiro instante de tempo Tl e para um segundo instante de tempo T2, se for determinado que uma frequência de iluminação estruturada derivou em uma quantidade Af, a taxa de variação (por exemplo, desvio) da fase pode ser expressa como Af / (T2 - Tl). Usando extrapolação, a quantidade total de desvio de frequência em um momento posterior T3 pode ser prevista.

[00135] Embora o método 1000 seja descrito no contexto da aplicação de extrapolação para prever um parâmetro de iluminação estruturada em um determinado ponto no tempo, espaço e/ou temperatura, dadas duas estimativas conhecidas do parâmetro de iluminação estruturada, deve-se observar que, como no caso do método 900, o método 1000 pode ser estendido ao caso em que existem mais de duas estimativas conhecidas. Nesses casos, uma função de estimativa de tendência apropriada pode ser usada para prever o parâmetro de iluminação estruturada. Por exemplo, no caso de estimativa de tendência linear, um ajuste de mínimos “quadrados pode ser aplicado às estimativas conhecidas para extrapolar e prever o parâmetro de iluminação estruturada. Em algumas implementações, uma previsão de um parâmetro de iluminação estruturada pode ser atualizada ao longo do tempo à medida que estimativas adicionais são coletadas.

[00136] Além disso, embora o método 1000 seja descrito como o uso de estimativas da primeira imagem e da segunda imagem para prever um parâmetro correspondente a uma terceira imagem, em algumas implementações, apenas uma das duas estimativas pode ser usada (por exemplo, mantendo- se a estimativa) para prever o parâmetro.

[00137] Além disso, embora o método 1000 seja descrito no contexto da aplicação de extrapolação para prever um parâmetro de iluminação estruturada em um determinado momento, dadas as duas estimativas conhecidas do parâmetro de iluminação estruturada em momentos diferentes, como no caso do método 900, o método 1000 também pode ser estendido para considerar outras dimensões, tais como espaço e temperatura.

[00138] Nas implementações dos métodos 900 e 1000, o parâmetro de iluminação estruturada estimado usando a primeira imagem, o parâmetro de iluminação estruturada estimado usando a segunda imagem e/ou o parâmetro de iluminação estruturada previsto para a terceira imagem podem ser armazenados em uma memória do sistema de imagem SIM. Por exemplo, os parâmetros estimados / previstos podem ser armazenados em um arquivo de histórico, tal como uma tabela de pesquisa a ser referenciada durante a construção de imagens de alta resolução, durante ajustes dos componentes de hardware do sistema de imagem SIM para compensar as alterações estruturadas dos parâmetros de iluminação e/ou facilitar previsão de outros parâmetros de iluminação estruturada em outros pontos no tempo, espaço e/ou temperatura. Nas implementações, o tempo, o local da amostra e a temperatura da amostra (correspondentes a cada estimativa ou previsão) podem ser armazenados.

[00139] Nas implementações dos métodos 900 e 1000, a primeira e a segunda estimativas usadas para prever o parâmetro de iluminação estruturada podem ser geradas usando-se uma pluralidade de imagens. Assim, uma ou mais imagens de um primeiro conjunto de imagens (por exemplo, 1, 2, 3, 4, 5, 6, etc.) em uma sequência de imagens podem ser usadas para gerar uma primeira estimativa e uma ou mais imagens a partir de um segundo conjunto de imagens (por exemplo, 1, 2, 3, 4, 5) em uma sequência de imagens pode ser usada para gerar uma segunda estimativa.

[00140] A Figura 11 é um diagrama de fluxo operacional que ilustra um método 1100 exemplificativo para utilizar um parâmetro de iluminação estruturada previsto durante a reconstrução de imagem de alta resolução para compensar alterações indesejadas nos parâmetros de iluminação estruturada ao longo do tempo. Nas implementações, o método 1100 pode ser implementado executando-se instruções legíveis por máquina armazenadas na memória de um sistema de imagem SIM (por exemplo, sistema 100, 200 ou 500).

[00141] Na operação 1110, um parâmetro de iluminação estruturada pode ser previsto para uma imagem capturada (por exemplo, uma imagem de fase) usando-se um método de interpolação. Por exemplo, um parâmetro de iluminação estruturada pode ser previsto em um ponto no tempo correspondente à imagem capturada pelo método de implementação 900. Na operação 1120, uma construção de imagem de alta resolução pode ser realizada usando-se a imagem capturada (por exemplo, imagem de fase) e outras imagens capturadas (por exemplo, outras imagens de fase capturadas). Durante a reconstrução da imagem em alta resolução, o parâmetro de iluminação estruturada previsto pode ser usado para compensar alterações no parâmetro de iluminação estruturada em uma dimensão de tempo, espaço e/ou temperatura. Por exemplo, alterações na frequência, fase e/ou orientação podem ser compensadas. Em alguns casos, a operação 1120 pode compreender o uso de vários parâmetros de iluminação estruturada previstos. Por exemplo, parâmetros de iluminação estruturada podem ser previstos para mais de uma imagem de fase. Além disso, dois ou mais dentre fase, frequência e orientação podem ser previstos para uma determinada imagem de fase.

[00142] A Figura 12 é um diagrama de fluxo operacional que ilustra um método 1200 exemplificativo para utilizar ajustes de parâmetros de iluminação estruturada previstos dos componentes de hardware do sistema de imagem SIM para compensar alterações de parâmetros de iluminação estruturada ao longo do tempo. Na operação 1210, um parâmetro de iluminação estruturada pode ser previsto usando-se um método de extrapolação. Por exemplo, um parâmetro de iluminação estruturada pode ser previsto em um momento futuro através do método de implementação 1000.

[00143] Na operação 1220, um componente mecânico e/ou óptico do dispositivo de imagem SIM pode ser ajustado usando-se pelo menos o parâmetro de iluminação estruturada previsto. Por exemplo, com base em um desvio de fase previsto em um ponto no tempo T, um componente de hardware do sistema de imagem SIM pode ser ajustado antes da captura de imagem de fase no tempo T.

[00144] Por exemplo, um ou mais componentes do conjunto óptico de estruturação de luz 155 podem ser ajustados para compensar as alterações de fase e/ou orientação que são previstas para um próximo instante tempo para o sistema de imagem SIM 100. Como outro exemplo, um espelho rotativo 240A ou 240B pode ser ajustado para compensar as alterações de fase previstas para um próximo instante de tempo para o sistema de imagem SIM 200. Como exemplo adicional, um estágio de translação linear 530 pode ser transladado para compensar as alterações de fase previstas para um próximo sistema de imagem SIM 500. Como outro exemplo, as alterações de orientação previstas para um sistema de imagem SIM podem ser compensadas ajustando-se uma ou mais de um estágio de translação carregando uma amostra e um caminho óptico de uma fonte de luz para a amostra.

[00145] Em algumas implementações, as técnicas aqui descritas para previsão de parâmetros de iluminação estruturada podem ser aplicadas a uma única amostra de imagem capturada dividindo-se a amostra de imagem capturada em uma pluralidade de subseções de imagem. Por exemplo, em algumas implementações, um método pode incluir: obter uma amostra de imagem; dividir a amostra de imagem em uma pluralidade de subseções de imagem (por exemplo, três ou mais subseções); estimar um primeiro parâmetro de iluminação estruturada usando uma primeira subseção de imagem da pluralidade de subseções de imagem; estimar um segundo parâmetro de iluminação estruturada usando uma segunda subseção de imagem da pluralidade de subseções de imagem; e usando pelo menos a estimativa do parâmetro de iluminação estruturada da primeira subseção de imagem e a estimativa do parâmetro de iluminação estruturada da segunda subseção de imagem, prever um parâmetro de iluminação estruturada correspondente a uma terceira subseção de imagem da pluralidade de subseções de imagem. O parâmetro de iluminação estruturada previsto para a terceira subseção de imagem pode ser qualquer um dentre fase, frequência, orientação ou ordem de modulação de iluminação estruturada. Em algumas implementações, os parâmetros de iluminação estruturada obtidos a partir de mais de duas subseções de imagem podem ser usados para prever um parâmetro de iluminação estruturada em outra subseção de imagem. Por exemplo, uma função de estimativa de tendência ou outra função de ajuste apropriada pode ser aplicada às estimativas conhecidas das outras subseções de imagem para prever o parâmetro de iluminação estruturada em outra subseção de imagem. Em outras implementações, uma estimativa do parâmetro de iluminação estruturada obtido a partir de uma primeira subseção de imagem pode ser usada como o parâmetro de iluminação estruturada prevista para uma segunda subseção de imagem.

[00146] Aplicando-se as técnicas de interpolação descritas aqui, a terceira subseção de imagem pode estar em um ponto no espaço (por exemplo, posição de amostra) ou temperatura (por exemplo, temperatura de amostra) entre a primeira subseção de imagem e a segunda subseção de imagem. Por exemplo, a terceira subseção de imagem pode estar entre a primeira subseção de imagem e a segunda subseção de imagem ao longo de um eixo cartesiano. No espaço cartesiano bidimensional, as subseções podem ser definidas por uma grade que divide uma imagem em retângulos com área igual, embora sejam possíveis definições alternativas de uma subseção. Como exemplo adicional, a terceira subseção de imagem pode estar em uma temperatura de amostra superior à temperatura de amostra da primeira subseção de imagem, mas inferior à temperatura de amostra da segunda subseção de imagem.

[00147] Aplicando-se as técnicas de extrapolação aqui descritas, a terceira subseção de imagem pode estar em um ponto no espaço (por exemplo, posição de amostra) ou temperatura (por exemplo, temperatura de amostra) que é posterior ou anterior à primeira subseção da imagem e à segunda subseção da imagem. Por exemplo, a terceira subseção de imagem pode estar após a primeira subseção e a após segunda subseção ao longo de um eixo cartesiano. Como outro exemplo, a terceira subseção de imagem pode estar em uma temperatura de amostra menor que uma temperatura de amostra da primeira subseção de imagem e menor que uma temperatura de amostra da segunda subseção de imagem.

[00148] Nas implementações, essas técnicas para usar subseções de imagem para prever parâmetros de iluminação estruturada para outra(s) subseção(ões) da imagem podem ser usadas em combinação com as técnicas descritas aqui para usar parâmetros de iluminação estruturada estimados provenientes de uma ou mais imagens para prever parâmetros de iluminação estruturada para outra imagem.

[00149] Conforme usado aqui, o termo componente pode descrever uma determinada unidade de funcionalidade que pode ser executada de acordo com uma ou mais implementações do presente pedido. Conforme usado aqui, um componente pode ser implementado utilizando-se qualquer forma de hardware, software ou uma combinação dos mesmos. Por exemplo, um ou mais processadores, controladores, FPGAs, CPUs, GPUs, ASICs, PLAs, PALs, CPLDs, componentes lógicos, rotinas de software ou outros mecanismos podem ser implementados para compor um componente. Na implementação, os vários componentes descritos neste documento podem ser implementados como componentes discretos ou as funções e recursos descritos podem ser compartilhados (parcialmente ou totalmente) entre um ou mais componentes. Em outras palavras, como seria evidente para um técnico na arte depois de ler a presente descrição, os vários recursos e funcionalidades descritos neste documento podem ser implementados em qualquer aplicação e podem ser implementados em um ou mais componentes separados ou compartilhados em várias combinações e permutações. Embora vários recursos ou elementos de funcionalidade possam ser descritos ou reivindicados individualmente como componentes separados, um técnico na arte entenderá que esses recursos e funcionalidades podem ser compartilhados entre um ou mais elementos comuns de software e hardware, e essa descrição não deve exigir ou implicar que componentes de hardware ou software separados sejam usados para implementar esses recursos ou funcionalidades.

[00150] A Figura 13 ilustra um componente de computação 1300 exemplificativo que pode ser usado para implementar várias características dos métodos aqui divulgados. o componente de computação 1300 pode representar, por exemplo, recursos de computação Ou processamento encontrados nos dispositivos de imagem; desktops e laptops; dispositivos portáteis de computação (tablets, smartphones etc.); mainframes, supercomputadores, estações de trabalho ou servidores; ou qualquer outro tipo de dispositivo de computação para fins específicos ou de uso geral que seja desejável ou apropriado para uma determinada aplicação ou ambiente. O componente de computação 1300 também pode representar recursos de computação incorporados ou disponíveis para um determinado dispositivo. Conforme usado neste documento, o termo

"dispositivo de computação" pode se referir ao hardware de um componente de computação.

[00151] o componente de computação 1300 pode incluir, por exemplo, um ou mais processadores, controladores, componentes de controle ou outros dispositivos de processamento, tal como um processador

1304. O processador 1304 pode ser implementado usando-se um mecanismo de processamento de finalidade geral ou de finalidade específica, tal como, por exemplo, um microprocessador, controlador ou outra lógica de controle. O processador 1304 pode ser um tipo de dispositivo de computação. No exemplo ilustrado, o processador 1304 está conectado a um barramento 1302, embora qualquer meio de comunicação possa ser usado para facilitar a interação com outros componentes do componente de computação 1300 ou para se comunicar externamente.

[00152] O componente de computação 1300 também pode incluir um ou mais componentes de memória, simplesmente referidos aqui como memória principal 1308. Por exemplo, a memória de acesso aleatório (RAM) ou outra memória dinâmica pode preferivelmente ser usada para armazenar informações e instruções para serem executadas pelo processador 1304. A memória principal 1308 também pode ser usada para armazenar variáveis temporárias ou outras informações intermediárias durante a execução das instruções a serem executadas pelo processador 1304. O componente de computação 1300 também pode incluir uma memória somente de leitura (“ROM”) ou outro dispositivo de armazenamento estático acoplado ao barramento 1302 para armazenar informações e instruções estáticas para o processador 1304.

[00153] O componente de computação 1300 também pode incluir uma ou mais várias formas de mecanismo de armazenamento de informações 1310 que podem incluir, por exemplo, uma unidade de mídia 1312 e uma interface de unidade de armazenamento 1320. A unidade de mídia 1312 pode incluir uma unidade ou outro mecanismo para suportar uma mídia de armazenamento fixo ou removível 1314. Por exemplo, uma unidade de disco rígido, uma unidade de estado sólido, uma unidade de disco óptico, uma unidade de CD, DVD ou BLU- RAY (R ou RW) ou outra unidade de mídia removível ou fixa pode ser fornecida. Assim, a mídia de armazenamento 1314 pode incluir, por exemplo, um disco rígido, uma unidade de estado sólido, cartucho, disco óptico, um CD, um DVD, um BLU-RAY ou outro meio fixo ou removível lido (gravado ou acessado) pela unidade de mídia 1312. Conforme ilustrado pelos exemplos, a mídia de armazenamento 1314 pode incluir um meio de armazenamento utilizável em computador, armazenado no software ou dados do computador.

[00154] Em concretizaçõesalternativas, o mecanismo de armazenamento de informações 1310 pode incluir outros instrumentos semelhantes para permitir que programas de computador, ou outras instruções ou dados, sejam carregados no componente de computação 1300. Tais instrumentos podem incluir, por exemplo, uma unidade de armazenamento fixa ou removível 1322 e uma interface 1320. Exemplos dessas unidades de armazenamento 1322 e interfaces 1320 podem incluir um cartucho de programa e uma interface de cartucho, uma memória removível (por exemplo, uma memória flash ou outro componente de memória removível) e um compartimento de memória, um compartimento PCMCIA e cartão e outras unidades de armazenamento fixas ou removíveis 1322 e interfaces 1320 que permitem que software e dados sejam transferidos da unidade de armazenamento 1322 para o componente de computação 1300.

[00155] O componente de computação 1300 também pode incluir uma interface de comunicação 1324. A interface de comunicação 1324 pode ser usada para permitir que software e dados sejam transferidos entre o componente de computação 1300 e dispositivos externos. Exemplos de interface de comunicação 1324 podem incluir uma interface periférica, tal como a interface PCIe (Peripheral Component Interconnect Express), um modem ou softmodem, uma interface de rede (tal como Ethernet, placa de rede, WiMedia, IEEE

802.XX ou outra interface), uma interface Bluetooth, uma porta de comunicação (tal como, por exemplo, uma porta USB, porta USB-C, porta Thunderbolt, ou outra porta), ou outros meios de interface de comunicação. O software e os dados transferidos via interface de comunicação 1324 podem normalmente ser transmitidos por sinais, que podem ser sinais eletrônicos, sinais eletromagnéticos (que incluem ópticos) ou outros sinais capazes de serem trocados por uma determinada interface de comunicação 1324. Esses sinais podem ser fornecidos à interface de comunicação 1324 via um canal 1328. Esse canal 1328 pode transmitir sinais e ser implementado usando um meio de comunicação com ou sem fio. Alguns exemplos de um canal podem incluir uma linha telefônica, um link de celular, um link de RF, um link óptico, uma interface de rede, uma rede local ou de área ampla e outros canais de comunicação com ou sem fio.

[00156] No presente documento, os termos "meio legível por computador", "meio utilizável por computador" e "meio de programa de computador" são usados para se referir geralmente a meios não transitórios, voláteis ou não voláteis, tais como, por exemplo, memória 1308, unidade de armazenamento 1322 e mídia 1314. Essas e outras várias formas de mídia de programa de computador ou mídia utilizável por computador podem estar envolvidas no transporte de uma ou mais sequências de uma ou mais instruções para execução em um processador. Tais instruções incorporadas no meio são geralmente denominadas "código de programa de computador" ou "produto de programa de computador" (que podem ser agrupados na forma de programas de computador ou outros agrupamentos). Quando executadas, essas instruções podem permitir que o componente de computação 1300 execute características ou funções do presente pedido, conforme discutido aqui.

[00157] Embora descrito acima em termos de várias concretizaçõese implementações exemplificativas, deverá ser entendido que as várias características, aspectos e funcionalidades descritas em uma ou mais concretizaçõesindividuais não estão limitadas em sua aplicabilidade à concretizaçãoespecífica com a qual são descritas, mas podem ser aplicadas, sozinhas ou em várias combinações, a uma ou mais das outras concretizações do pedido, sendo essas concretizações descritas ou não e sendo tais características apresentadas ou não como parte de uma concretização descrita. Assim, a amplitude e o escopo do presente pedido não devem ser limitados por nenhuma das concretizaçõesexemplificativas descritas acima.

[00158] Os termos e frases usados no presente documento, e suas variações, a menos que expressamente indicado de outra forma, devem ser interpretados como abertos em oposição à limitação. Como exemplos do exposto acima, o termo "incluindo" deve ser lido como significando "incluindo, sem limitação" ou similar; o termo "exemplo" é usado para fornecer instâncias exemplificativas do item em discussão, não uma lista exaustiva ou limitativa; os termos "um" ou "uma" devem ser lidos como significando "pelo menos um", "um ou mais" ou similares; e adjetivos, tais como “convencional”, “tradicional”, “normal”, “padrão”, “conhecido” e termos de significado semelhante não devem ser interpretados como limitando o item descrito a um determinado período ou a um item disponível a partir de um determinado período, mas deve ser lido para abranger tecnologias convencionais, tradicionais, normais ou padrão que possam estar disponíveis ou conhecidas agora ou em qualquer momento no futuro. Da mesma forma, quando este documento se refere a tecnologias que seriam aparentes ou conhecidas pelos técnicos na arte, essas tecnologias abrangeriam as aparentes ou conhecidas pelos técnicos na arte agora ou em qualquer momento no futuro.

[00159] A presença de palavras e frases ampliativas, tais como "uma ou mais", "pelo menos", "mas não se limitando a" ou outras frases semelhantes em alguns casos, não deve ser lida como significando que o caso mais estreito é intencional ou necessário nos casos em que essas frases ampliativas possam estar ausentes.

[00160] Além disso, as várias concretizações aqui apresentadas são descritas em termos de diagramas de blocos exemplificativos, fluxogramas e outras ilustrações. Como ficará evidente para um técnico na arte após a leitura deste documento, as concretizações ilustradas e suas várias alternativas podem ser implementadas sem confinamento aos exemplos ilustrados. Por exemplo, os diagramas de blocos e suas descrições anexas não devem ser interpretados como exigindo uma arquitetura ou configuração específica.

[00161] Os termos "substancialmente" e "cerca de" usados ao longo desta divulgação, incluindo as reivindicações, são usados para descrever e contabilizar pequenas flutuações, tal como devido a variações no processamento. Por exemplo, eles podem se referir a uma variação menor ou igual a t5%, tal como menor ou igual a +2%, tal como menor ou igual a tl1%, tal como menor ou igual a +0,5%, tal como menor ou igual a +0,2%, tal como menor ou igual a t0,1%, tal como menor ou igual a +0,05%.

[00162] Na medida do aplicável, os termos "primeiro", "segundo", "terceiro", etc. aqui mencionados são meramente empregados para mostrar os respectivos objetos descritos por esses termos como entidades separadas e não se destinam a conotar um senso de ordem cronológica, salvo indicação explícita em contrário neste documento.

[00163] Embora várias concretizações da presente divulgação tenham sido descritas acima, deverá ser entendido que elas foram apresentadas apenas a título exemplificativo, e não de limitação. Da mesma forma, os vários diagramas podem representar um exemplo arquitetônico ou outra configuração para a presente divulgação, e que é feito para ajudar no entendimento dos recursos e funcionalidades que podem ser aqui incluídos. A presente divulgação não está restrita aos exemplos arquitetônicos ou configurações ilustradas, mas as características desejadas podem ser implementadas usando uma variedade de arquiteturas e configurações alternativas. De fato, será evidente para um técnico na arte que particionamentos funcionais, lógicas ou físicas e configurações alternativas podem ser implementadas para implementar as características desejadas da presente divulgação. Além disso, uma ampla quantidade de nomes de diferentes módulos constituintes dos representados neste documento pode ser aplicada às várias partições. Além disso, com relação aos diagramas de fluxo, descrições operacionais e reivindicações de método, a ordem na qual as etapas são apresentadas neste documento não exige que várias concretizações sejam implementadas para executar a funcionalidade recitada na mesma ordem, a menos que o contexto determine de outra forma.

[00164] Embora a divulgação seja descrita acima em termos de várias concretizações e implementações exemplificativas, deverá ser entendido que os vários recursos, aspectos e funcionalidades descritas em uma ou mais concretizações individuais não estão limitadas em sua aplicabilidade à concretização específica com as quais são descritas, mas podem ser aplicadas, sozinhas ou em várias combinações, a uma ou mais das outras concretizações da divulgação, sendo essas concretizações descritas ou não e sendo essas características apresentadas ou não como parte de uma concretização descrita. Assim, a abrangência e o escopo da presente divulgação não devem ser limitados por nenhuma das concretizações exemplificativas descritas acima.

[00165] Deverá ser apreciado que todas as combinações dos conceitos anteriormente mencionados (desde que tais conceitos não sejam mutuamente inconsistentes) estão contempladas como parte do objeto inventivo divulgado no presente documento. Em particular, todas as combinações do objeto reivindicado que aparecem nesta divulgação estão contempladas como parte do objeto inventivo divulgado no presente documento.

Claims

REIVINDICAÇÕES

1. Método caracterizado pelo fato de que compreende: - utilizar um sistema de iluminação estruturada para capturar uma primeira imagem de uma amostra; - utilizar um dispositivo de computação para estimar um primeiro parâmetro de iluminação estruturada utilizando pelo menos a primeira imagem capturada; - utilizar o sistema de iluminação estruturada para capturar uma segunda imagem da amostra; - utilizar o dispositivo de computação para estimar um segundo parâmetro de iluminação estruturada utilizando pelo menos a segunda imagem capturada; e - utilizar pelo menos um primeiro parâmetro de iluminação estruturada ou segundo parâmetro de iluminação estruturada, utilizando o dispositivo de computação para prever um terceiro parâmetro de iluminação estruturada correspondente a uma terceira imagem.

2. Método, de acordo com a reivindicação 1, caracterizado pelo fato de que cada um dos primeiro, segundo, e terceiro parâmetros de iluminação estruturada compreende uma fase, frequência, orientação, ou ordem de modulação.

3. Método, de acordo com a reivindicação 1 ou reivindicação 2, caracterizado pelo fato de que a primeira imagem é capturada em um primeiro instante de tempo, em que a segunda imagem é capturada em um segundo instante de tempo após o primeiro instante de tempo, em que a terceira imagem é capturada em um terceiro instante de tempo entre o primeiro instante de tempo e segundo instante de tempo, e em que o terceiro parâmetro de iluminação estruturada é previsto no terceiro instante de tempo utilizando pelo menos um método de interpolação.

4, Método, de acordo com a reivindicação 3, caracterizado pelo fato de que o método de interpolação compreende: - utilizar o dispositivo de computação para determinar uma taxa de alteração do primeiro parâmetro de iluminação estruturada no primeiro instante de tempo em relação ao segundo parâmetro de iluminação estruturada no segundo instante de tempo; e - utilizar pelo menos a taxa de alteração determinada, utilizando o dispositivo de computação para prever o terceiro parâmetro de iluminação estruturada no terceiro instante de tempo.

5. Método, de acordo com qualquer uma das reivindicações de 1 a 4, caracterizado pelo fato de que adicionalmente compreende utilizar o dispositivo de computação para construir uma imagem de alta resolução utilizando pelo menos a terceira imagem e o terceiro parâmetro de iluminação estruturada.

6. Método, de acordo com a reivindicação 1 ou reivindicação 2, caracterizado pelo fato de que a primeira imagem é capturada em um primeiro instante de tempo, em que a segunda imagem é capturada em um segundo instante de tempo após o primeiro instante de tempo, em que a terceira imagem é capturada em um terceiro instante de tempo após ou antes o primeiro instante de tempo e o segundo instante de tempo, em que o terceiro parâmetro de iluminação estruturada está previsto no terceiro instante de tempo, utilizando pelo menos um método de extrapolação.

7. Método, de acordo com a reivindicação 6, caracterizado pelo fato de que adicionalmente compreende usar pelo menos o terceiro parâmetro de iluminação estruturada para ajustar um componente de hardware do sistema de iluminação estruturada para compensar alterações em um parâmetro de iluminação estruturada antes de capturar a terceira imagem no terceiro instante de tempo.

8. Método, de acordo com a reivindicação 7, caracterizado pelo fato de que o ajuste de um componente de hardware compreende ajustar um ou mais dentre, um espelho rotativo para ajustar uma fase ou orientação de um padrão de iluminação estruturada, um estágio de translação carregando uma grade de difração para ajustar uma fase ou orientação de um padrão de iluminação estruturada e um estágio de conversão de amostra para ajustar uma fase ou orientação de um padrão de iluminação estruturada.

9. Método, de acordo com qualquer uma das reivindicações de 1 para 8, caracterizado pelo fato de que adicionalmente compreende: - armazenar na memória do sistema de iluminação estruturada: o primeiro parâmetro de iluminação estruturada, o segundo parâmetro de iluminação estruturada e o terceiro parâmetro de iluminação estruturada; e - utilizar um ou mais dentre, primeiro parâmetro de iluminação estruturada, segundo parâmetro de iluminação estruturada armazenada, terceiro parâmetro de iluminação estruturada, e um valor armazenado com base nas características físicas conhecidas do sistema de iluminação estruturada para reduzir um espaço de busca para um quarto parâmetro de iluminação estruturada para uma quarta imagem.

10. Método, de acordo com qualquer uma das reivindicações de 1 a 9, caracterizado pelo fato de que prever o terceiro parâmetro de iluminação estruturada correspondente à terceira imagem compreende aplicar um ajuste de mínimos quadrados a pelo menos o primeiro parâmetro de iluminação estruturada e o segundo parâmetro de iluminação estruturada.

11. Método, de acordo com a reivindicação 1 ou reivindicação 2, caracterizado pelo fato de que prever o terceiro parâmetro de iluminação estruturada correspondente à terceira imagem compreende usar o segundo parâmetro de iluminação estruturada.

12. Método, de acordo com a reivindicação 1, caracterizado pelo fato de que: - a primeira imagem da amostra é capturada na primeira temperatura amostral; - o primeiro parâmetro de iluminação estruturada é estimado na primeira temperatura amostral; - a segunda imagem da amostra é capturada na segunda temperatura amostral; - o segundo parâmetro de iluminação estruturada é estimado na segunda temperatura amostral; e - o terceiro parâmetro de iluminação estruturada é previsto em uma terceira temperatura amostral.

13. Método, de acordo com qualquer uma das reivindicações de 1 a 8, caracterizado pelo fato de que adicionalmente compreende: - dividir a primeira imagem da amostra em uma pluralidade de subseções de imagem; - utilizar o dispositivo de computação para estimar um quarto parâmetro de iluminação estruturada utilizando pelo menos uma primeira subseção de imagem da pluralidade de subseções de imagem; - utilizar o dispositivo de computação para estimar um quinto parâmetro de iluminação estruturada utilizando pelo menos uma segunda subseção de imagem da pluralidade de subseções de imagem; - utilizar pelo menos o quarto parâmetro de iluminação estruturada ou o quinto parâmetro de iluminação estruturada, utilizando o dispositivo de computação para prever um sexto parâmetro de iluminação estruturada correspondente a uma terceira subseção de imagem da pluralidade de subseções de imagem.

14. Método, de acordo com qualquer uma das reivindicações de 1 a 8, caracterizado pelo fato de que adicionalmente compreende: - dividir a primeira imagem amostral em uma pluralidade de subseções de imagem; - utilizar o dispositivo de computação para estimar um quarto parâmetro de iluminação estruturada utilizando pelo menos uma primeira subseção de imagem da pluralidade de subseções de imagem;

- utilizar o quarto parâmetro de iluminação estruturada estimado como um parâmetro de iluminação estruturada previsto de uma segunda subseção de imagem da pluralidade de subseções de imagem.

15. Meio não transitório legível por computador caracterizado pelo fato de que possui instruções executáveis armazenadas no mesmo que, quando executadas por um processador, fazem com que o processador execute operações de: - utilizar um sistema de iluminação estruturada para capturar uma primeira imagem de uma amostra; - estimar um primeiro parâmetro de iluminação estruturada utilizando pelo menos a primeira imagem capturada; - utilizar o sistema de iluminação estruturada para capturar uma segunda imagem da amostra; - estimar um segundo parâmetro de iluminação estruturada utilizando pelo menos a segunda imagem capturada; e - utilizar pelo menos o primeiro parâmetro de iluminação estruturada ou o segundo parâmetro de iluminação estruturada, prevendo um terceiro parâmetro de iluminação estruturada correspondente a uma terceira imagem.

16. Meio, de acordo com a reivindicação 15, caracterizado pelo fato de que cada um dos primeiro, segundo e terceiro parâmetros de iluminação estruturada compreende uma fase, frequência, orientação ou modulação.

17. Meio, de acordo com a reivindicação 15 ou 16, caracterizado pelo fato de que a primeira imagem é capturada em uma primeira posição da amostra, em que a segunda imagem é capturada em uma segunda posição da amostra, em que a terceira imagem é capturada em uma terceira posição da amostra entre a primeira posição da amostra e a segunda posição da amostra, em que o terceiro parâmetro de iluminação estruturada é previsto na terceira posição da amostra utilizando pelo menos um método de interpolação.

18. Meio, de acordo com a reivindicação 17, caracterizado pelo fato de que o método de interpolação compreende: —- determinar uma taxa de alteração do primeiro parâmetro de iluminação estruturada na primeira posição da amostra em relação ao segundo parâmetro de iluminação estruturada na segunda posição da amostra; e - utilizar pelo menos a taxa de alteração determinada, prevendo o terceiro parâmetro de iluminação estruturada na terceira posição da amostra.

19. Meio, de acordo com a reivindicação 15 ou 16, caracterizado pelo fato de que as instruções, quando executadas pelo processador, fazem com que o processador adicionalmente execute uma operação adicional de construir uma imagem de alta resolução utilizando pelo menos a terceira imagem e o terceiro parâmetro de iluminação estruturada.

20. Meio, de acordo com a reivindicação 15 ou reivindicação 16, caracterizado pelo fato de que a terceira posição da amostra é posterior à primeira posição da amostra e a segunda posição da amostra, em que o terceiro parâmetro de iluminação estruturada é previsto na terceira posição da amostra utilizando pelo menos um método de extrapolação.

21. Meio, de acordo com a reivindicação 20, caracterizado pelo fato de que as instruções, quando executadas pelo processador, fazem com que o processador adicionalmente execute uma operação de usar pelo menos o terceiro parâmetro de iluminação estruturada para fazer com que um componente de hardware do sistema de iluminação estruturada seja ajustado para compensar alterações em um parâmetro de iluminação estruturada antes de capturar uma imagem na terceira posição da amostra.

22. Meio, de acordo com a reivindicação 21, caracterizado pelo fato de que o componente de hardware ajustado compreende um espelho rotativo para ajustar uma fase ou orientação de um padrão de iluminação estruturada, um estágio de tradução carregando uma grade de difração para ajustar uma fase ou orientação de um padrão de iluminação estruturada ou um estágio de conversão de amostra para ajustar uma fase ou orientação de um padrão de iluminação estruturada.

23. Meio, de acordo com qualquer uma das reivindicações de 15 a 22, caracterizado pelo fato de que as instruções, quando executadas pelo processador, fazem com que o processador adicionalmente execute as operações de: - armazenar na memória do sistema de iluminação estruturada: o primeiro parâmetro de iluminação estruturada, o segundo parâmetro de iluminação estruturada e o terceiro parâmetro de iluminação estruturada; e - utilizar um ou mais de um primeiro parâmetro de iluminação estruturada, segundo parâmetro de iluminação estruturada armazenadas, terceiro parâmetro de iluminação estruturada, e um valor armazenado com base nas características físicas conhecidas do sistema de iluminação estruturada para reduzir um espaço de busca para um quarto parâmetro de iluminação estruturada para uma quarta imagem.

24. Sistema de geração de imagens de iluminação estruturada caracterizado pelo fato de que compreende: - um emissor de luz para emitir luz; - um divisor de feixe para dividir a luz emitida pelo emissor de luz para projetar um padrão de iluminação estruturada no plano de uma amostra; - um processador; e - um meio não transitório legível por computador com instruções executáveis armazenadas no mesmo que, quando executadas pelo processador, fazem com que o processador execute operações de: - capturar uma primeira imagem de uma amostra; - estimar um primeiro parâmetro de iluminação estruturada utilizando pelo menos a primeira imagem capturada; - capturar uma segunda imagem da amostra; - estimar um segundo parâmetro de iluminação estruturada utilizando pelo menos a segunda imagem capturada; e - utilizar pelo menos o primeiro parâmetro de iluminação estruturada ou o segundo parâmetro de iluminação estruturada, prevendo um terceiro parâmetro de iluminação estruturada correspondente a uma terceira imagem.

25. Método caracterizado pelo fato de que compreende:

- utilizar um sistema de iluminação estruturada para capturar uma primeira pluralidade de imagens de uma amostra;

- utilizar um dispositivo de computação para estimar um primeiro parâmetro de iluminação estruturada utilizando pelo menos a primeira pluralidade de imagens capturadas;

- utilizar o sistema de iluminação estruturada para capturar uma segunda pluralidade de imagens da amostra;

- utilizar o dispositivo de computação para estimar um segundo parâmetro de iluminação estruturada utilizando pelo menos a segunda pluralidade de imagens capturadas; e

- utilizar pelo menos o primeiro parâmetro de iluminação estruturada ou o segundo parâmetro de iluminação estruturada, utilizando o dispositivo de computação para prever um terceiro parâmetro de iluminação estruturada correspondente a uma ou mais imagens.