BR112012028097B1 - Método e Sistema para analisar pelo menos um objeto sob um primeiro microscópio e um segundo microscópio e memória legível por computador não transitória - Google Patents

Método e Sistema para analisar pelo menos um objeto sob um primeiro microscópio e um segundo microscópio e memória legível por computador não transitória Download PDF

Info

Publication number
BR112012028097B1
BR112012028097B1 BR112012028097-0A BR112012028097A BR112012028097B1 BR 112012028097 B1 BR112012028097 B1 BR 112012028097B1 BR 112012028097 A BR112012028097 A BR 112012028097A BR 112012028097 B1 BR112012028097 B1 BR 112012028097B1
Authority
BR
Brazil
Prior art keywords
microscope
virtual
physical
coordinate system
data
Prior art date
Application number
BR112012028097-0A
Other languages
English (en)
Inventor
Alain Beauchamp
Danny Roberge
Benoît PERRON
Original Assignee
Ultra Electronics Forensic Technology Inc.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ultra Electronics Forensic Technology Inc. filed Critical Ultra Electronics Forensic Technology Inc.
Publication of BR112012028097B1 publication Critical patent/BR112012028097B1/pt

Links

Classifications

    • FMECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F42AMMUNITION; BLASTING
    • F42BEXPLOSIVE CHARGES, e.g. FOR BLASTING, FIREWORKS, AMMUNITION
    • F42B35/00Testing or checking of ammunition
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/18Arrangements with more than one light path, e.g. for comparing two specimens
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365Control or image processing arrangements for digital or video microscopes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10Investigating individual particles
    • G01N15/14Optical investigation techniques, e.g. flow cytometry
    • G01N15/1429Signal processing
    • G01N15/1433Signal processing using image recognition
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/0004Microscopes specially adapted for specific applications
    • G02B21/0016Technical microscopes, e.g. for inspection or measuring in industrial production processes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • G06T2207/10012Stereo images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • G06T2207/10021Stereoscopic video; Stereoscopic image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • G06T2207/30136Metal

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Optics & Photonics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Microscoopes, Condenser (AREA)

Abstract

ligação de microscópios para análise de objetos que compreendem marcas de ferramentas. a presente invenção refere-se a um método para analisar pelo menos um objeto sob um primeiro microscópio e um segundo microscópio concomitantemente por união de dois microscópios. o movimento de um microscópio resultará no movimento do outro. isso é feito computando-se uma transformação para ligar um primeiro sistema de coordenadas e um segundo sistema de coordenadas e gerar dados de orientação quando um dos dois microscópios é deslocado, sendo que os dados de orientação correspondentes a um conjunto de operações a ser aplicado ao outro microscópio seguem o movimento do microscópio que é deslocado.

Description

Relatório Descritivo da Patente de Invenção para "MÉTODO E SISTEMA PARA ANALISAR PELO MENOS UM OBJETO SOB UM PRIMEIRO MICROSCÓPIO E UM SEGUNDO MICROSCÓPIO E MEMÓRIA LEGÍVEL POR COMPUTADOR NÃO TRANSITÓRIA".
Campo da Técnica [0001] A presente invenção refere-se ao campo de geração de imagem 3D e identificação balística visual.
Antecedentes [0002] No campo de balísticas forenses, marcas de ferramentas microscópicas presentes em diferentes tipos de objetos são comparadas para encontrar marcas de ferramentas equivalentes para unir os objetos, como balas que podem ser eventualmente ligadas a uma arma de fogo recuperada. As comparações são tipicamente feitas com o uso de microscópios de comparação, em que um especialista irá comparar visualmente as marcas de ferramentas reveladas nos dois objetos e usar sua experiência para determinar uma equivalência. [0003] Algumas ferramentas de software existem para auxiliar o especialista na criação da determinação. Por exemplo, um sensor de aquisição de 3D pode ser usado para adquirir a topografia, e possivelmente, a imagem 2D, de um objeto com marcas de ferramentas. A análise visual dos dados resultantes pode então ser realizada por meio de um microscópio de comparação virtual que exibe os dados adquiridos.
[0004] Um microscópio de comparação virtual é uma ferramenta de software que exibe uma topografia de um ou diversos objetos que podem ter marcas de ferramentas. Sua entrada é uma lista de objetos virtuais, cada um definido por uma nuvem de pontos em um sistema de coordenada 3D que são conectados para gerar faces poligonais sobre a superfície completa do objeto. As exigências mínimas do microscópio de comparação virtual é a habilidade de exibir tais nuvens de pontos com o uso de técnicas de renderização, movendo os objetos virtuais no espaço em translação (translações X, Y, Z) e rotação ao redor de qualquer eixo geométrico, aproximação no objeto, simulando tipos diferentes de condições de iluminação. A fonte de luz pode ser transladada e girada também. Alguns microscópios virtuais podem também sobrepor uma textura relevante no objeto virtual. Um microscópio de comparação virtual tem algumas propriedades únicas que nunca são encontradas em um microscópio de comparação física: uma profundidade infinita de campo, que remove quaisquer problemas de foco, e projeto ideal da fonte de luz e modelos de refletividade, que oferecem um melhor controle no número de áreas muito claras ou escuras. Contudo, a ferramenta de software não é usada para criar a consideração final. O especialista deve confirmar equivalências potenciais com o uso do microscópio de comparação.
[0005] Um microscópio físico tem diversas limitações: profundidade finita de foco, não correspondência entre um eixo geométrico de simetria (ou rotação) do objeto, se alguma, e o eixo geométrico de rotação do motor que desloca o objeto, os eixos geométricos de rotação independentes e fontes de luz quando dois objetos são analisados ao mesmo tempo.
[0006] A comparação visual de marcas de ferramentas microscópicas presentes em dois objetos sob um microscópio de comparação pode ser significantemente desafiante, especialmente quando apenas algumas marcas estão presentes nos objetos. Nesse caso, o número de marcas equivalentes em qualquer região única de interesse pode não ser suficiente para afirmar que o par de objetos analisados é um “par conclusivo”, ou seja, um par de objetos que estava em contato com a mesma ferramenta ou foi disparada com a mesma arma de fogo. O especialista em marca de ferramenta ou arma de fogo deve então olhar para grupos de marcas equivalentes sobre diversas regiões de interesse.
[0007] Essa operação pode ser desafiante em razão das limitações do microscópio de comparação. Isso é especialmente verdadeiro para balas. Em alguns casos, as balas podem ter uma seção transversal circular, ou seja, uma forma pura, e o eixo geométrico de simetria de cada bala podem coincidir com o eixo geométrico de rotação quando colocado no microscópio de comparação. Nesse caso, o especialista pode comparar as balas girando manualmente cada bala ao redor de seu eixo geométrico de rotação correspondente. Contudo, em outros casos, o eixo geométrico de simetria e o eixo geométrico de rotação para uma bala pode não coincidir. O especialista em arma de fogo deve então aplicar diversas operações manuais que compreende girar as balas, transladar as balas e variar a posição e intensidade das fontes de luz para comparar as duas balas. Essas operações são particularmente desafiantes para balas com muito poucas marcas pequenas.
[0008] Uma limitação adicional do microscópio de comparação física é sua profundidade de foco finita. Quando a topografia no campo de visão não é localmente plana, não é possível analisar essa completa vista de área com foco óptico.
[0009] Com tais limitações, é desafiante e demorado procurar marcas equivalentes entre dois objetos com marcas de ferramentas. [00010] O documento US 6.404.140 revela um método computadorizado de análise balística de balas com base na aquisição de perfis de profundidade da superfície de uma bala, estimativa e compensação de erros de coaxialidade dos dados adquiridos e correspondência de dados normalizados com dados de referência para determinar se a bala sob exame foi disparada da arma em questão. [00011] Existe uma necessidade de aprimorar as ferramentas atualmente disponíveis para que especialistas facilitem a comparação que deve ser feita com o uso do microscópio de comparação.
Sumário [00012] Foi descrito um método para analisar pelo menos um objeto sob um primeiro microscópio e um segundo microscópio concorrentemente pela união dos dois microscópios. O movimento de um microscópio resultará no movimento do outro. Isso é feito computando-se uma transformação para ligar um primeiro sistema de coordenadas e um segundo sistema de coordenadas e gerar dados de orientação quando um dos dois microscópios é deslocado, os dados de orientação correspondentes a um conjunto de operações a ser aplicado ao outro microscópio para seguir o movimento do microscópio que é deslocado.
[00013] Esse método pode ser usado para aprimorar o processo de comparação em balística por ligação de um microscópio de comparação física com um microscópio de comparação virtual, ou por união de dois microscópios do mesmo tipo.
[00014] Um especialista pode comparar potencialmente regiões equivalentes dos dados digitais com o uso de um microscópio virtual, e então analisar as regiões correspondentes com um microscópio de comparação convencional com os objetos físicos. Uma pré-análise visual com um microscópio de comparação virtual permite que o especialista selecione as melhores regiões equivalentes em uma quantidade curta de tempo. Ele pode então focar nessas poucas regiões equivalentes no microscópio de comparação convencional para a análise final.
[00015] Ligando-se as operações feitas no microscópio virtual e as operações feitas em um microscópio de comparação motorizado, é permitido que a seleção de uma dada área de um objeto digitalizado no microscópio virtual que levará à área correspondente do objeto físico sob o microscópio de comparação convencional. Uma vez que a área é selecionada no microscópio virtual, dois modos são então possíveis de acordo com o nível de automação do microscópio de comparação: modo totalmente automatizado e modo manual/automático híbrido. Uma terceira configuração de sistema (modo duplo) incorpora os dois modos.
[00016] Para um microscópio de comparação totalmente automatizado, o objeto físico instalado em um eixo geométrico de rotação motorizado pode se mover automaticamente (por rotação e/ou translação) de modo que a área correspondente apareça no campo de visão e no foco do microscópio de comparação física. Para um microscópio de comparação manual/automático híbrido, o microscópio pode ser equipado com codificadores que reportam a posição atual de cada eixo geométrico, e os deslocamentos exigidos da bala física (rotação e/ou translação) podem ser manualmente realizados pelo especialista, com base em dados de orientação. Os dados de orientação podem ser atualizados periodicamente ou continuamente para orientar o usuário durante as operações manuais até a área selecionada estar em uma posição predefinida no campo de visão. Um sistema adaptado para funcionar nos dois modos também é possível. Diversas estratégias podem ser usadas para orientar os usuários: exibir um número etapas de translação e/ou rotação a ser aplicado para trazer a área correspondente no campo de visão do microscópio de comparação, exibir informações gráficas, como setas direcionais, com o uso de indicadores físicos como pequenas fontes de luz etc. [00017] O processo oposto também é possível, ao posicionar o objeto sob o microscópio de comparação física que conduz à região correspondente no campo de visão do microscópio de comparação a ser exibida automaticamente pelo microscópio virtual. Os dados digitais exibidos pelo microscópio de comparação virtual podem seguir a área no campo de visão do microscópio de comparação conforme o especialista manipula o objeto sob o microscópio de comparação. Isso permite uma análise paralela dos dados digitais e o objeto físico. [00018] De acordo com um primeiro aspecto amplo, é fornecido um método implantado por computador para analisar pelo menos um objeto sob um primeiro microscópio e um segundo microscópio, sendo que o método compreende: receber um primeiro conjunto de coordenadas de posição do pelo menos um objeto sob o primeiro microscópio como um conjunto de recursos no pelo menos um objeto que é sucessivamente exibido em um campo de visão do mesmo, sendo que o primeiro microscópio tem um primeiro sistema de coordenadas; receber um segundo conjunto de coordenadas de posição do pelo menos um objeto sob o segundo microscópio como um conjunto de recursos no pelo menos um objeto que é sucessivamente exibido em um campo de visão do mesmo, sendo que o segundo microscópio tem um segundo sistema de coordenadas; computar uma transformação para ligar o primeiro sistema de coordenadas e o segundo sistema de coordenadas com o uso do primeiro conjunto de coordenadas de posição e o segundo conjunto de coordenadas de posição; e gerar dados de orientação quando um do primeiro microscópio e o segundo microscópio é deslocado, sendo que os dados de orientação correspondentes a um conjunto de operações a ser aplicado ao outro do primeiro microscópio e o segundo microscópio seguem o movimento do um do primeiro microscópio e o segundo microscópio.
[00019] O primeiro microscópio e o segundo microscópio podem ser virtuais ou físicos. As operações podem ser feitas para dois objetos distintos, ambos instalados em dois eixos geométricos de rotação motorizados distintos de um único microscópio físico, e cujos dados digitais são exibidos por um microscópio de comparação virtual que permite dois objetos digitais como entradas.
[00020] De acordo com um segundo aspecto amplo, é fornecido um sistema para analisar pelo menos um objeto microscopicamente, o sistema compreende: pelo menos um primeiro microscópio e um segundo microscópio, o primeiro microscópio tem um primeiro sistema de coordenadas e o segundo microscópio tem um segundo sistema de coordenadas; um sistema de computador que compreende um processador e uma memória; e um módulo de ligação de microscópio armazenado na memória e executável pelo processador, o módulo de ligação de microscópio tem código de programa que quando executado, computa uma transformação para ligar o primeiro sistema de coordenadas e o segundo sistema de coordenadas, e gera dados de orientação quando um do primeiro microscópio e o segundo microscópio é deslocado, os dados de orientação correspondentes a um conjunto de operações a ser aplicado ao outro do primeiro microscópio e o segundo microscópio seguem o movimento de um dentre o primeiro microscópio e o segundo microscópio.
[00021] De acordo com um terceiro aspecto amplo, é fornecida uma memória legível por computador que tem afirmações e instruções gravadas na mesma para execução por um computador para executar um método para analisar pelo menos um objeto sob um primeiro microscópio e um segundo microscópio, sendo que o método compreende: receber um primeiro conjunto de coordenadas de posição do pelo menos um objeto sob o primeiro microscópio como um conjunto de recursos no pelo menos um objeto que é sucessivamente exibido em um campo de visão do mesmo, sendo que o primeiro microscópio tem um primeiro sistema de coordenadas; receber um segundo conjunto de coordenadas de posição do pelo menos um objeto sob o segundo microscópio como um conjunto de recursos no pelo menos um objeto que é sucessivamente exibido em um campo de visão do mesmo, sendo que o segundo microscópio tem um segundo sistema de coordenadas; computar uma transformação para ligar o primeiro sistema de coordenadas e o segundo sistema de coordenadas com o uso do primeiro conjunto de coordenadas de posição e o segundo conjunto de coordenadas de posição; e gerar dados de orientação quando um do primeiro microscópio e o segundo microscópio é deslocado, sendo que os dados de orientação correspondentes a um conjunto de operações a ser aplicado ao outro dentre o primeiro microscópio e o segundo microscópio seguem o movimento de um dentre o primeiro microscópio e o segundo microscópio.
[00022] O termo “objeto” refere-se a qualquer objeto que compreende marcas de ferramentas que podem ser usadas como um Pedaço Balístico de Evidência (BPOE). Exemplos de um objeto compreendem uma bala ou uma porção de uma bala, um estojo de cartucho, um cano de arma, um martelo, uma chave de fenda e similares.
Breve Descrição dos Desenhos [00023] Recursos e vantagens adicionais da presente invenção se tornarão aparentes a partir da seguinte descrição detalhada, tomada em combinação com os desenhos anexos, em que: a figura 1 é um fluxograma que ilustra um método para ligação de um microscópio virtual e um microscópio físico, de acordo com uma modalidade; a figura 2 é uma ilustração exemplificativa da topografia em 3D de um objeto; a figura 3 é um fluxograma que ilustra um método para ligação de um primeiro microscópio com um segundo microscópio de um mesmo tipo, de acordo com uma modalidade; a figura 4 ilustra um microscópio físico motorizado que tem um sistema de coordenadas físico e um eixo geométrico de rotação motorizado em uma orientação arbitrária em relação ao microscópio, e um objeto instalado no eixo geométrico de rotação com uma orientação arbitrária em relação ao eixo geométrico de rotação, de acordo com uma modalidade; a figura 5 é um diagrama de blocos que ilustra uma aquisição 3D e sistema de visualização, de acordo com uma modalidade; a figura 6 é um fluxograma que ilustra um método implantado por computador para ligação de um microscópio virtual e um microscópio físico, de acordo com uma modalidade; a figura 7 é um fluxograma que ilustra um método implantado por computador para um objeto com um primeiro microscópio e um segundo microscópio, de acordo com uma modalidade; a figura 8 é um diagrama de blocos que ilustra um sistema completamente automatizado; a figura 9 é um diagrama de blocos que ilustra um sistema automático manual/automatizado híbrido; e a figura 10 é um diagrama de blocos que ilustra um sistema de modo duplo.
[00024] Será notado que, por todos os desenhos anexos, os recursos são identificados por numerais de referência.
Descrição Detalhada [00025] A comparação visual de marcas de ferramentas microscópicas presentes em dois objetos, cada uma sob um microscópio físico, pode ser feita com o uso dos métodos descritos no presente documento. Quando o número de linhas equivalentes em qualquer região única de interesse não é suficiente para afirmar que um par de objetos sob análise são equivalentes, por exemplo, um par de balas disparadas de uma mesma arma de fogo, esses objetos podem ser transladados e girados juntos a outras regiões de interesse para comparar adicionalmente os dois e concluir em uma equivalência. Grupos de linhas equivalentes sobre diversas regiões de interesse podem então ser usados para a análise.
[00026] Em algumas modalidades, uma alternativa para a análise visual sob um microscópio físico consiste em gerar uma topografia em 3D (e, possivelmente, uma imagem 2D) para o objeto e visualizar a topografia em 3D em um microscópio virtual. Diferentes regiões de interesse do objeto são digitalizados e uma imagem de topografia em 3D (e, possivelmente, uma imagem 2D) é gerada para cada região de interesse. De maneira semelhante a um microscópio físico, a imagem do objeto exibida no microscópio virtual pode ser deslocada com o uso de movimentos de translação e rotação para exibir as regiões de interesse desejadas. Ao comparar dois objetos em dois microscópios virtuais, as imagens dos objetos são transladadas e giradas uma em relação à outra para encontrar recursos equivalentes entre as duas imagens.
[00027] Ao contrário de um microscópio físico, um microscópio virtual não sofre de profundidade de foco finita e não correspondência entre o eixo geométrico de simetria (rotação) do objeto, se houver alguma, e o eixo geométrico de rotação do motor virtual que desloca o objeto virtual. Além disso, os dados em 3D e possivelmente em 2D usados para construir o modelo 3D fornecido pode ser alterado para maximizar a facilidade de comparação a um examinador especialista. Exemplos de alterações compreendem o aprimoramento de detalhes microscópicos comparados ao formato de objeto geral, o mapeamento da textura microscópica do objeto sobre uma superfície cilíndrica perfeita e uso de geometria de iluminação idealizada e comportamento de reflexão. Além disso, qualquer uma das técnicas referidas no Pedido de Patente de no U.S. 13/080.761 (os conteúdos do mesmo estão aqui incorporados a título de referência) também pode ser usada. Contudo, o microscópio virtual não envolve a observação direta do objeto físico, mas a observação de um objeto virtual fornecido a partir de dados em 3D e, possivelmente, em 2D medidos.
[00028] Quando o par de objetos é analisado com o uso tanto de um microscópio físico quanto de um microscópio virtual, os sistemas de coordenadas dos microscópios físico e virtual são ligados para ter deslocamento da imagem de um objeto no microscópio virtual que causa um deslocamento do objeto no microscópio físico, e vice versa. [00029] Em uma modalidade, o usuário pode manipular tanto microscópio virtual quanto o convencional em paralelo. Ele pode selecionar um par de regiões equivalentes (um região do objeto A e uma região do objeto B), como visto no microscópio virtual e nos dois objetos físicos sob os microscópios físicos que irá seguir automaticamente para obter as regiões correspondentes no campo de visão dos microscópios físicos. Esse processo pode ser repetido sobre diversos pares de regiões equivalentes conforme desejado.
[00030] Em alguns casos, os objetos podem ter uma seção transversal circular, ou seja, uma forma pura, e um eixo geométrico de simetria de cada objeto podem coincidir com um eixo geométrico de rotação quando colocado em um microscópio físico. Em outros casos, o eixo geométrico de simetria e o eixo geométrico de rotação para um objeto podem não coincidir. Os métodos descritos no presente documento são adaptados para lidar com as duas situações.
[00031] A figura 1 é um fluxograma que ilustra uma modalidade de um método para ligação de um microscópio físico e um microscópio virtual para análise de um objeto. O objeto tem uma forma macroscópica e apresenta recursos microscópicos, como marcas de ferramentas microscópicas, em sua superfície. Uma primeira etapa 102 compreende adquirir dados topográficos em 3D (x,y,z) de uma superfície do objeto, enquanto obtém os recursos microscópicos e macroscópicos do objeto. A aquisição pode ser feita com o uso de quaisquer sensores conhecidos adaptados para digitalizar o objeto e adquirir profundidade e informações de superfície, como profilômetros a laser, microscópios confocais e outros.
[00032] Os dados topográficos em 3D adquiridos são então exibidos no microscópio virtual 104. A figura 2 é uma modalidade exemplificativa dos dados topográficos em 3D adquiridos como exibido. O objeto inteiro pode ser digitalizado, ou parte do objeto pode ser digitalizada, como ilustrado na figura 2, resultando em um único anel de uma bala. Na imagem exibida, um conjunto de recursos é selecionado a partir da topografia em 3D e esse recurso é posicionado na janela de exibição (ou campo de visão) do microscópio virtual 106. Conforme novos recursos são selecionados, o usuário pode ter que manipular os dados digitais, ao aplicar rotação, translação ou aproximação. A seleção de um dado recurso pode compreender selecionar um ponto que tem coordenadas (x, y, z), ou uma região que inclui muitos pontos. Essa operação pode ser feita clicando-se no recurso na tela com um mouse, tocando-se a tela sensível ao toque na posição do recurso, ou por outros métodos conhecidos.
[00033] O objeto correspondente também é posicionado sob um microscópio físico de modo que cada recurso identificado no microscópio virtual seja sucessivamente exibido no campo de visão do microscópio físico 108. Esse posicionamento pode ser feito manualmente para cada recurso, girando-se e transladando-se o estágio do microscópio físico, ou pode ser feito com o uso de um eixo geométrico motorizado e uma interface de software. O foco é automaticamente ou manualmente ajustado para maximizar contraste e definir melhor a posição Z da bala.
[00034] Uma vez que os dois conjuntos de recursos foram selecionados no microscópio físico e no microscópio virtual, uma transformação entre os dois sistemas de coordenadas é computado 110. O microscópio físico tem um sistema de coordenadas físico e o microscópio virtual tem um sistema de coordenadas virtual. Essa operação será explicada em mais detalhes abaixo.
[00035] A transformação computada do sistema de coordenadas para o sistema de coordenadas físico é então usada para ligar o microscópio virtual e o microscópio físico 112 de modo que o movimento do objeto sob um dos dois cause movimento correspondente no outro e/ou gere dados de orientação para orientar um usuário para realizar os movimentos apropriados manualmente. Em outras palavras, o movimento do objeto sob um dos dois microscópios faz com que uma posição correspondente ao outro microscópio seja gerada, e também o outro microscópio é automaticamente movido para a posição correspondente ou instruções específicas são dadas a um usuário para mover o outro microscópio para a posição correspondente.
[00036] A posição correspondente para o microscópio físico pode ser obtida calculando-se um deslocamento rotacional e/ou translacional para aplicar aos motores que controlam o estágio do microscópio físico quando a imagem no microscópio virtual é deslocada. De maneira semelhante, quando os motores são deslocados para mover o objeto no microscópio físico, o deslocamento rotacional e/ou translacional para aplicar à imagem do objeto no microscópio virtual pode ser calculado. Os deslocamentos aplicados, então, trarão um recurso selecionado no campo de visão de um dos microscópios para equivaler ao recurso no campo de visão do outro microscópio.
[00037] Em uma modalidade, o método pode ser usado para ligar dois microscópios de um mesmo tipo, ou seja, dois microscópios virtuais ou dois microscópios físicos. A ligação pode ser feita diretamente (ou seja, de um microscópio para o outro) ou indiretamente (ou seja, por meio de um ou mais microscópios de um tipo diferente). A figura 3a é um fluxograma que ilustra um método para ligar diretamente um primeiro microscópio e um segundo microscópio. Isso é feito também com objetos idênticos (ou um objeto e sua cópia quase idêntica) sob os dois microscópios físicos ou um mesmo modelo 3D de um objeto sob os dois microscópios virtuais. As técnicas usadas para produzir uma cópia quase idêntica de um objeto, como aquela que usa vários moldes e materiais como resina, são conhecidas por elementos versados na técnica. Em uma primeira etapa, um primeiro objeto é posicionado no primeiro microscópio de modo que um dado conjunto de recursos seja sucessivamente exibido no primeiro microscópio 302. De maneira semelhante, o segundo objeto é posicionado no segundo microscópio de modo que o mesmo dado conjunto de recursos seja sucessivamente exibido no segundo microscópio 304.
[00038] O primeiro microscópio tem um primeiro sistema de coordenadas, enquanto o segundo microscópio tem um segundo sistema de coordenadas. Uma transformação entre o primeiro sistema de coordenadas e o segundo sistema de coordenadas é computada 306. Essa transformação é computada com o uso do conjunto de posições do primeiro objeto no primeiro microscópio e o conjunto de posições do segundo objeto no segundo microscópio.
[00039] O primeiro sistema de coordenadas e o segundo sistema de coordenadas são então ligados 308 com o uso da transformação de modo que o movimento do objeto em um dos microscópios cause a geração de um conjunto de movimentos (dados de orientação) necessários para o outro microscópio seguir. Uma vez que os dois microscópios são ligados de tal maneira, diferentes objetos podem então ser visualizados em cada microscópio. Estando os dois microscópios travados juntos, então é permitido que um especialista confirme uma equivalência entre dois diferentes objetos ou dois modelos virtuais de diferentes objetos.
[00040] Em outra modalidade, a ligação de dois microscópios é feita indiretamente. Por exemplo, ao ligar uma pluralidade de microscópios físicos um ao outro (dois ou mais), uma topografia em 3D da superfície de cada objeto é adquirida. Os microscópios físicos são ligados a seus respectivos microscópios virtuais, e então os microscópios virtuais são ligados um ao outro, enquanto conduzem os microscópios físicos a serem unidos.
[00041] Para dois microscópios virtuais, os primeiro e segundo sistemas de coordenadas são, ambos, sistemas de coordenadas virtuais ditados pela posição do respectivo objeto quando colocado no eixo geométrico de rotação de um sistema de aquisição 3D. Para dois microscópios físicos, os primeiro e segundo sistemas de coordenadas são, ambos, sistemas de coordenadas físicos, que são diferentes em razão da atribuição dos objetos em um respectivo microscópio físico. [00042] Em uma modalidade, apenas subconjuntos dos objetos exibidos no microscópio de comparação virtual são ligados. Dessa forma, N objetos devem ser exibidos no microscópio de comparação virtual, entre os quais M < N objetos devem ser ligados ao objeto físico correspondente no microscópio físico. Isso permite que o usuário analise o objeto físico com o uso de todos os modelos virtuais relevantes disponíveis até mesmo quando alguns dos objetos físicos correspondentes não estão disponíveis. Em alguns casos, existem mais modelos virtuais disponíveis para comparação do que objetos físicos.
[00043] Três sistemas de coordenadas estão envolvidos na derivação da transformação de coordenada que liga as coordenadas do objeto virtual (ou imagem do objeto) no microscópio virtual e as coordenadas do objeto físico no sistema de coordenadas do microscópio físico, como descrito abaixo. Uma bala será usada como um objeto exemplificativo para os propósitos de ilustração. O primeiro sistema é o sistema de coordenadas intrínseco da bala física (B); o segundo é o sistema de coordenadas do microscópio físico (CM); o terceiro é o sistema de coordenadas da bala virtual (V). O sistema de coordenadas B da bala física é usado para a derivação da equação que liga os outros dois sistemas de coordenadas; os três sistemas de coordenadas são ilustrados na figura 4.
[00044] O primeiro sistema de coordenadas é o sistema de coordenadas intrínseco do objeto físico (sistema B). A topografia do objeto é descrita por um conjunto de pontos fixos R = (XB, YB, ZB) nesse sistema de coordenadas. Para o caso de uma bala primitiva, o eixo geométrico X_B é definido para estar ao longo de seu eixo geométrico de simetria na figura 4. Por definição, a coordenada XB, YB, ZB, de um dado ponto da bala física não é alterado à medida que a bala se move visto que esse sistema de coordenadas segue a bala física.
[00045] O segundo sistema é o sistema de coordenadas do microscópio físico (sistema CM). O mesmo é definido de modo a coincidir com o eixo geométrico X-Y da câmera que adquire uma imagem da área sob o microscópio. Dessa forma, a posição de X = 0, Y = 0 coincide com o pixel (0,0) da imagem da área no campo de visão. O eixo geométrico Z é definido como o eixo geométrico perpendicular aos eixos geométricos X e Y e ao longo do eixo geométrico óptico do microscópio. A posição Z = 0 é definida mediante a inicialização do sistema como a posição vertical de qualquer ponto que está na distância de trabalho do microscópio. Qualquer ponto em tal posição rende um contraste ideal. A figura 4 mostra os dois sistemas de coordenadas (B e CM).
[00046] Na inicialização, o objeto é colocado no eixo geométrico de rotação motorizado. Não há garantia de que o objeto seja colocado de modo que seu eixo geométrico de simetria (assumindo um objeto simétrico) esteja perfeitamente ao longo da direção do eixo geométrico de motor. A figura 4 ilustra essa situação. Além disso, o objeto pode ter sido girado ou transladado em qualquer forma possível antes de ser colocado no eixo geométrico motorizado. Dessa forma, uma rotação por ângulo beta ao redor de um eixo geométrico arbitrário é caracterizada por uma direção n e/ou uma translação S que é aplicada às coordenadas R do objeto para converter a posição de um dado ponto do sistema de coordenadas de objeto físico no sistema de coordenadas físico do microscópio R': R=M[beta,n]R + S, em que M é uma matriz de rotação que descreve uma rotação por um ângulo beta ao redor de uma direção n, e S é um vetor 3D que descreve a translação. Os parâmetros dessa equação são fixados uma vez que é assumido que o objeto nunca se move em relação ao eixo geométrico de motor de rotação, uma vez que o mesmo é colocado no local, o objeto é firmemente instalado ou fixado em algumas formas.
[00047] Uma rotação por algum ângulo alfa pode então ser aplicada ao redor do eixo geométrico de rotação do microscópio físico. O eixo geométrico de rotação é caracterizado por uma direção normalizada fixa d e um ponto de cruzamento A no eixo geométrico, ambos são desconhecidos nesse ponto. A operação de rotação pode ser representada por uma operação de matriz que é uma função de ângulo alfa, direção d, e vetor 3D A. As coordenadas de um ponto R' no objeto, no sistema de CM, são então transformadas em R'', como um resultado da rotação: R" = M [alfa, d](R'-A) + A. Existe alguma redundância na posição da vetor A. Esse ponto pode ser substituído por qualquer outro ponto no eixo geométrico de rotação. Dessa forma, A pode ser substituído por A + lambda*d, em que lambda é qualquer número real, sem alterar o vetor computado R''. Esse grau de liberdade será levado em consideração em um procedimento de minimização de função que será descrito abaixo.
[00048] Uma translação T também pode ser aplicada ou ao eixo geométrico de rotação ou ao microscópio, e ao longo de qualquer um dos três possíveis eixos geométricos de coordenada (no sistema de coordenadas CM). Tudo o que se move não tem importância, contanto que o deslocamento relativo dos componentes de objeto/microscópio seja deixado ao longo dos três eixos geométricos. A figura 4 mostra o caso em que o eixo geométrico de rotação pode ser transladado ao longo de X e Y, enquanto o microscópio pode ser transladado verticalmente, ao longo de Z. Como um resultado: R'" = R" + t e, combinando-se equações anteriores, R'" = M [alfa, d](M[beta, n]R + S - A) + A + T. O sinal apropriado ± deve ser aplicado em cada um dos componentes X,Y,Z da translação T de acordo com a fonte do deslocamento, ou o eixo geométrico motorizado que suporta a bala ou o microscópio.
[00049] Supõe-se que a coordenada R'" = (X''', Y''', Z''') de qualquer ponto do objeto no sistema de coordenadas físico de microscópio possa ser selecionada a partir dos dados no campo de visão do microscópio físico. Por exemplo, clicando-se em uma imagem ativa dos dados no campo de visão, as coordenadas X''' e Y''' podem ser definidas. Além disso, fazendo-se uma pesquisa para o melhor foco no ponto de pixel, uma coordenada Z''' pode ser definida. Na equação acima, os parâmetros conhecidos são o vetor T de translação, o ângulo de rotação alfa e a posição de vetor R''' selecionada; os desconhecidos são a direção d e vetor de origem de eixo geométrico A, mas também o posicionamento inicial do objeto no eixo geométrico de motor de rotação, definido por um ângulo beta, um direção n e um vetor de translação S. [00050] O terceiro sistema de coordenadas é o sistema de coordenadas do objeto virtual. Uma representação digitalizada do objeto, usada no microscópio virtual, é armazenada como um conjunto de pontos em 3D P que é fixado no sistema de coordenadas. É assumido que o objeto usado no microscópio virtual corresponde ao objeto naquele físico.
[00051] Supõe-se, ainda, que coordenadas de qualquer ponto P do objeto virtual possam ser selecionadas por um usuário, por exemplo, clicando-se no ponto na tela do microscópio virtual. O N normal, ou seja, a direção que é localmente perpendicular a P, também está disponível. Se não, pode ser computado com métodos conhecidos com base na topografia digitalizada em uma vizinhança de P. Supõem-se os pontos normais ao longo da direção externa, ou seja, fora do objeto, e não em direção ao interior da superfície.
[00052] Não há garantia de que um dado ponto do objeto digitalizado, com coordenada P no sistema de coordenadas (V), tenha as mesmas coordenadas do ponto R correspondente no objeto real em seu próprio sistema de coordenadas (B). Contudo, deve haver alguma transformação linear entre as mesmas. Supõe-se que nenhuma alteração de escala é envolvida. A transformação assumida é então uma combinação de uma rotação por ângulo gama ao redor de um eixo geométrico com direção m e uma translação Q. Os parâmetros m, gama e Q nessa transformação são desconhecidos, mas eles são fixos, mesmo se os objetos digitalizados e reais se moverem nos microscópios de comparação físico e virtual, respectivamente. O ponto P é conhecido, visto que o mesmo foi selecionado pelo usuário no microscópio virtual. A relação entre R e P é então: R = M [gama, m]P + Q, em que M é uma matriz de rotação que descreve uma rotação por ângulo gama ao redor de uma direção m, e Q é um vetor 3D que descreve a translação.
[00053] Uma relação entre dois vetores conhecidos, P e R'", é gerada substituindo-se a última equação no anterior: R'" = M [alfa, d](M[beta, n](M[gama, m]P + Q) + S - A) + A + T
[00054] Nesse ponto, o usuário seleciona N pontos com coordenadas P no microscópio virtual, que corresponde a N pontos com coordenadas R'"=(X"', Y''', Z''') no sistema de coordenadas físico de microscópio. As coordenadas X''' e Y''' (em unidades físicas, como mícron ou mm) são computadas da posição de pixel conhecida do ponto da imagem adquirida pela câmera. É assumido que a bala e/ou microscópio foi transladada ao longo da direção Z para trazer foco ideal ao ponto. Dessa forma, o componente Z''' do ponto é 0 por definição. As seguintes escalas e vetores permanecem constantes: gama, m, Q, beta, n, S e d. Os seguintes parâmetros são alterados entre pontos selecionados: alfa, o ângulo de rotação do objeto real ao redor do eixo geométrico motorizado do microscópio físico, e a translação T do eixo geométrico. Contudo, eles estão ambos disponíveis a partir da aplicação de software que controla o eixo geométrico motorizado do microscópio físico ou a partir dos codificadores de um microscópio não motorizado. Para cada um desses pares de pontos, a seguinte equação de vetor deve ser satisfeita: R'''_i = M [alfa_i, d](M[beta, n](M[gama, m]P_i + Q) + S - A) + A + T_i, em que o índice inteiro iestá na faixa de 1 a N, sendo que N é o número de pares de pontos definidos.
[00055] Visto que o produto de matrizes M(beta, n) e M(gama, m) é desconhecido, mas fixo, e visto que de maneira semelhante o vetor que resulta da operação M(beta, n)Q+S é desconhecido mas fixo, e visto que, além disso, essas matrizes e vetores não aparecem em outras combinações, elas podem ser substituídas por uma nova matriz de rotação M(delta, g) e vetor U, respectivamente, ambas desconhecidas e fixas: R"'_i = M[alfa_i, d](M[delta,g]P_i + U-A)+A + T_i [00056] Após uma manipulação algébrica, essa equação se torna: M[alfa_i, d](M[delta, g]P_i + U-A)+A + T_i- R"'_i = 0. [00057] Na prática, a equação acima nunca é perfeitamente satisfeita. Contudo, os parâmetros desconhecidos (ângulo delta, direção g, vetor U, direção d, vetor A) podem ser encontrados minimizando-se uma função não negativa que desaparece se e apenas se a equação de vetor acima for simultaneamente satisfeita para todos os N pontos selecionados, e sendo que é uma função crescente da norma do lado esquerdo dessa equação de vetor, para todos os N pontos selecionados.
[00058] Qualquer função que satisfaça essa condição pode ser escolhida. Uma função simples é a soma da norma do quadrado da equação de vetor acima de todos os N pontos: em que i é um índice que funciona sobre os pontos e j funciona sobre as três coordenadas, x, y, z.
[00059] A equação acima pode ser generalizada no caso em que o erro de medida muda de acordo com os três eixos geométricos x-y-z, adicionando-se um peso que caracteriza erros de medida ao longo de cada eixo geométrico: [00060] No método proposto, as coordenadas X e Y de R'", em um lado, e sua coordenada Z, por outro lado, são reveladas por operações distintas: selecionar um pixel em tela para X e Y, e pesquisar o foco otimizado para Z. Espera-se que erros de medida sejam diferentes para as duas técnicas. Isso é tratado como uso do peso apropriado na equação anterior.
[00061] Como discutido previamente, o vetor A pode ser substituído por qualquer outro ponto no eixo geométrico de rotação com direção d, ou seja, por A + lambda d, em que lambda é qualquer número real. O procedimento de minimização original é então equivalente para minimizar em que lambda é um parâmetro livre que não tem impacto no valor de F. Esse grau de liberdade pode gerar comportamento mal definido do procedimento de minimização visto que os parâmetros a serem pesquisados não são todos independentes. A solução é adotar um valor conveniente para lambda. Duas escolhas simples estão disponíveis: i) lambda pode ser escolhido de modo que U - A + lambda*d seja perpendicular a d, ou ii) lambda pode ser escolhido de modo que A + lambda*d seja perpendicular a d. A função final para minimizar pode então ser escrita na forma em que V e C são dois vetores, e em que V ou C é forçado a ser perpendicular a d (V tem a restrição com escolha i); C tem o mesmo com escolha ii). Supõe-se, então, que a seguinte equação é aproximadamente satisfeita: [00062] No seguinte exemplo, será adotada a segunda escolha, mas ambas são igualmente válidas O número de parâmetros independentes a serem encontrados pelo procedimento de minimização é então 10, ou seja, 1 (ângulo delta) + 2 (direção g, norma de unidade) + 2 (vetor C com uma restrição) + 2 (direção d, norma de unidade) + 3 (vetor V).
[00063] Tais problemas de minimização não linear podem ser resolvidos por técnicas iterativas como a técnica de Levenberg-Marquardt, métodos descendentes, recozimento simulado, algoritmos genéticos ou pesquisa de força bruta no espaço de parâmetro, ou quaisquer outros métodos conhecidos. Visto que pode haver diversos mínimos locais, o mínimo global pode ser revelado apenas com o uso de algumas das técnicas iterativas com uma lista de diversos pontos de partida. As restrições em g, d e V podem também ser tratadas com o uso de diferentes técnicas. As direções g e d podem ser definidas com 3 coordenadas cartesianas, no caso, dois multiplicadores de Lagrange são adicionados à função a ser minimizada para forçar que a norma desses vetores seja unificada. Esses dois vetores também podem ser descritos por um vetor de norma de unidade em coordenadas radiais com um par de ângulos de elevação e de azimute (teta, fi). As duas estratégias são válidas. De maneira semelhante, o vetor C pode ser definido com três coordenadas cartesianas, no caso, um multiplicador de Lagrange é adicionado à função para ser minimizado para tornar C perpendicular a d. O vetor C também pode ser descrito por apenas dois parâmetros independentes que são os pesos em uma combinação linear de dois vetores de norma de unidade perpendiculares uns aos outros e perpendiculares a d.
[00064] Uma vez que os parâmetros são conhecidos com precisão razoável a partir do procedimento de ajuste, os dois microscópios são ligados.
[00065] O usuário pode então selecionar um ponto P (e sua pontuação externa local normal associada à norma de unidade N) no microscópio virtual e computar os vetores Qi = (M\delta, g]P + K) e Q2 = M\delta,g\N. A rotação alfa e translação T exigidas para trazer o ponto do objeto real correspondente no campo de visão (por exemplo, no centro do campo de visão) deve satisfazer os componentes X e Y da seguinte equação de vetor: R’"=M[alfa ,d}Ql + c+T , em que as coordenadas X e Y são a posição do pixel central da exibição (convertida em unidades físicas, mícron ou mm).
[00066] Esse é um conjunto de duas equações em três desconhecidos (rotação alfa e os componentes X-Y do vetor T de translação). A restrição adicional é dada forçando-se a rotação a trazer o local normal Ν'" da topografia ao longo do eixo geométrico de microscópio vertical, ou seja, o eixo geométrico Z, ao máximo possível. Essa configuração geométrica otimiza a análise visual. Dessa forma, o ângulo entre o eixo geométrico Z e o local normal é minimizado. De maneira equivalente, o produto interno do vetor Z (0,0,1) e a norma de unidade N’"= Afialfa ,d]Q2 é maximizada. Técnicas conhecidas podem ser usadas para encontrar o ângulo alfa ideal a partir dessa condição. O valor do ângulo é então substituído pela equação para R'" para resolver os componentes de X-Y de T.
[00067] O componente Z da translação pode então ser revelado em duas possíveis formas, se não feitas manualmente: 1) automaticamente ajustado para maximizar contraste; 2) substituindo-se o valor de ângulo alfa previamente computado e o componente Z atual da posição de bala/microscópio na equação R'"; a translação Z a ser aplicada é então revelada a partir da distância de trabalho conhecida do microscópio.
[00068] O usuário também pode girar e transladar o objeto físico, por um ângulo alfa e um vetor T, respectivamente, e selecionar um ponto R'" = (X'", Y'", Z"). As coordenadas X'" e Y'" do ponto são reveladas a partir da imagem viva da área atualmente no campo de visão do microscópio de comparação físico e exibidas em tela. Supõe-se que uma translação T tenha sido aplicada ao longo da direção Z para trazer o ponto na melhor posição de foco. A coordenada Z'" é então definida como 0. O ponto P* correspondente na representação virtual de bala é então revelado como uma função de R'" como a seguir, por inversão da equação que encontra R'" a partir de um ponto P conhecido: P* = . o valor P* computado em geral será diferente de qualquer um dos pontos P que definem o modelo virtual. O P ponto adotado deve ser aquele, na lista, que é o mais próximo de P*, conforme medido pela distância Euclidiana, por exemplo. O objeto virtual pode então ser girado e/ou transladado para trazer o ponto (P) a alguma posição predefinida na tela do microscópio virtual, por exemplo, no centro da tela e com uma orientação predefinida para seu local normal.
[00069] Um fator de aproximação único é assumido na derivação prévia do método. Contudo, o último pode ser generalizado para um sistema que oferece diversas posições de aproximação predeterminada. Um relacionamento linear entre as coordenadas de pixel em duas diferentes aproximações pode ser determinado em inicialização: x(Aproximação 1) - xCentro = K [x(Aproximação 2) - xCentro] y(Aproximação 1) - yCentro = K [y(Aproximação 2) - yCentro] em que x(Aproximação 1) e x(Aproximação 2) são o componente x das coordenadas de pixel de um ponto em um objeto que repousa sob o microscópio na Aproximação 1 e Aproximação 2 respectivamente, e xCentro é a coordenada de pixel do centro da exibição. O termo K é a razão entre os fatores de aproximação. Supõe-se que o sistema foi corretamente calibrado de modo que um ponto em um objeto exibido no centro da tela permaneça no centro se a aproximação for alterada. Existe também um relacionamento linear para a melhor posição de foco: em que Δ é a diferença entre a distância de trabalho nas duas posições de aproximação.
[00070] A figura 5 ilustra uma modalidade exemplificativa para um sistema de aquisição de imagem em 3D que tem uma aplicação para união de microscópios. Um sistema de computador 502 compreende uma aplicação 508 que funciona em um processador 506, sendo que o processador é acoplado a uma memória 504. Um sensor 514 e uma exibição 510 são conectados ao sistema de computador 502.
[00071] A memória 504 acessível pelo processador 506 recebe e armazena dados, como imagens adquiridas, (x, y, z) topografias, coordenadas 3D, e quaisquer outras informações usadas pelo sistema de aquisição de imagem em 3D. A memória 504 pode ser uma memória principal, como uma memória de aceso aleatório de alta velocidade (RAM), ou uma unidade de armazenamento auxiliar, como um disco rígido, um disco flexível, ou uma unidade de fita magnética. A memória pode ser qualquer outro tipo de memória, como uma memória apenas de leitura (ROM), ou meio de armazenamento óptico como um videodisco e um disco compacto.
[00072] O processador 506 pode acessar a memória 504 para recuperar dados. O processador 506 pode ser qualquer dispositivo que pode realizar operações em dados. Exemplos são uma Unidade de Processamento Central (CPU), um processador terminal, um microprocessador, uma unidade de processamento de gráficos (GPU/VPU), uma unidade de processamento físico (PPU), uma unidade de sinal digital, e um processador de rede. A aplicação 508 é acoplada ao processador 506 e configurada para realizar várias tarefas como explicado abaixo em mais detalhes. Uma saída pode ser transmitida a um dispositivo de exibição 510.
[00073] Em uma modalidade, o sistema de computador 502 é integrado diretamente no sensor 514 enquanto em outra modalidade, o sistema de computador 502 é externo ao sensor 514. O sensor 514 pode se comunicar com o sistema de computador 502 em uma maneira com fio ou sem fio.
[00074] Em uma modalidade, a aplicação 508 compreende uma aplicação de microscópio 512 que se comunica com uma aplicação de ligação 513. Por exemplo, a aplicação de microscópio 512 pode ser responsável por controlar os motores do microscópio físico. Uma vez que a aplicação de ligação 513 computa os deslocamentos translacionais e rotacionais para os motores, eles são enviados à aplicação de microscópio 512. A aplicação 508, ou afirmações e instruções para execução pelo processador 506, pode ser realizada em qualquer tipo de meio legível por computador, se o mesmo for integrado dentro do sistema de computador 502 ou externo ao mesmo. [00075] Em uma modalidade, a execução da aplicação de ligação 513 fará com que o sistema de computador 502 peça a um usuário, por meio de uma interface de usuário como exibição 510, que entre com determinados parâmetros, posição dos objetos mediante análise, e/ou selecione recursos de interesse em uma tela ou exibição 510. Uma vez que as ações foram tomadas pelo usuário, o sistema de computador 502 irá então calcular automaticamente a transformação para ligar dois microscópios juntos e aplicar a transformação conforme necessário.
[00076] Em uma modalidade, uma pluralidade de microscópios físicos pode ser usada com um único microscópio virtual que tem múltiplos visualizadores para exibir imagens de objetos correspondentes sob observação nos microscópios físicos.
Alternativamente, cada microscópio físico pode operar com seu próprio microscópio virtual. Além disso, microscópios de dois estágios podem ser usados (microscópios capazes de reter dois objetos de uma vez), levando a uma razão de microscópio virtual N ou visualizadores para microscópios físicos N/2.
[00077] As diferenças em sistemas de coordenadas, se as mesmas estiverem entre um microscópio virtual e um microscópio físico, dois microscópios virtuais, ou dois microscópios físicos, podem estar em razão de uma variedade de fatores. Um fator possível é o posicionamento do objeto no eixo geométrico de rotação de um sistema de aquisição 3D. Outro fator é a orientação do eixo geométrico de rotação do sistema de aquisição 3D. Ainda, outro fator é o posicionamento do objeto no eixo geométrico de rotação do microscópio físico, e finalmente, uma orientação do eixo geométrico de rotação do microscópio físico.
[00078] A figura 6 é um fluxograma que ilustra um método implantado por computador, como executado pelo sistema de computador 502, para ligação de um microscópio físico e um microscópio virtual para análise de um objeto. Os dados topográficos em 3D são recebidos 602 e podem ser armazenados na memória 504 ou usados imediatamente pela aplicação 508. Os dados topográficos em 3D são exibidos 604 em um dispositivo de exibição 510.
[00079] Um primeiro conjunto de coordenadas representativo de recursos selecionados dos dados topográficos em 3D no microscópio virtual é recebido 606 pelo sistema de computador 502. Um segundo conjunto de coordenadas representativo das posições do microscópio físico quando o objeto é posicionado para exibir os recursos no microscópio físico selecionados também é recebido 608 pelo sistema de computador 502. Os primeiro e segundo conjuntos de coordenadas podem também ser armazenados na memória 504.
[00080] Na base dos conjuntos de coordenadas, uma transformação é computada 610 para ligar o sistema de coordenadas e o sistema de coordenadas físico. O sistema de coordenadas e o sistema de coordenadas físico são então ligados com o uso da transformação 612, de modo que o movimento do objeto sob um dos dois cause movimento correspondente no outro. Como indicado acima, em uma modalidade, o movimento atual do segundo microscópio não é automatizado. Os dados de orientação são gerados e fornecidos a um usuário para permitir movimento manual do segundo microscópio. [00081] A figura 7 é um fluxograma que ilustra um método implantado por computador como executado pelo sistema de computador 502, para análise de um par de objetos concorrentemente sob um primeiro microscópio e um segundo microscópio, sendo que o par de objetos tem recursos comuns e os microscópios que foram ligados, como pelo método descrito com referência à figura 3. O sistema de computador 502 recebe um primeiro conjunto de coordenadas 702 para o primeiro objeto posicionado no primeiro microscópio. O sistema de computador 502 também recebe um segundo conjunto de coordenadas 704 quando o primeiro objeto é movido para uma segunda posição no primeiro microscópio.
[00082] A aplicação 508 determina quais movimentos (rotações e/ou translações) são necessários no segundo sistema de coordenadas para posicionar o segundo objeto na segundo posição 706. A aplicação 508 pode então gerar dados de orientação 708 que quando aplicados ao segundo microscópio causa o movimento do segundo microscópio correspondente ao movimento do primeiro microscópio. Em uma modalidade, os dados de orientação são usados para mover automaticamente o segundo microscópio. Em outra modalidade, os dados de orientação são fornecidos ao usuário e o usuário segue as instruções de rotação e/ou translação para mover o segundo microscópio.
[00083] A figura 8 é um diagrama de blocos que ilustra o sistema que corresponde a um microscópio de comparação totalmente automatizado. O usuário seleciona pontos no objeto físico no campo de visão do microscópio de comparação 802 com o uso da aplicação de software de microscópio de comparação 808 (com alguma forma de dispositivo de entrada, como um mouse, teclado e/ou joystick) e seleciona pontos equivalentes na imagem virtual 810, também com o uso da aplicação de software de microscópio 808. A imagem virtual e o microscópio físico 802 são então ligados com o uso do método descrito acima. Quando o usuário move o objeto no microscópio de comparação com o uso da aplicação de software de microscópio de comparação 808, a imagem virtual 810 se move automaticamente. Quando o usuário move a imagem virtual 810, o objeto no microscópio de comparação física 802 automaticamente se move para a posição correspondente. Um microcontrolador 806 é a interface entre o microscópio de comparação física 802 e a aplicação de software de microscópio de comparação 808. Esse componente pode transladar as ações de software em deslocamento físico e vice-versa. Um conjunto de motores 804 é usado para realizar o deslocamento do objeto no microscópio de comparação 802.
[00084] A figura 9 ilustra o sistema que corresponde a um microscópio de comparação não automatizado, também chamado de um sistema automático manual/automatizado híbrido. O usuário seleciona manualmente pontos no objeto no microscópio de comparação física 802 e pontos equivalentes na imagem virtual 810 com o uso da aplicação de microscópio de comparação 808. A imagem virtual 810 e o microscópio físico 802 são então ligados com o uso do método descrito acima. Quando o usuário move manualmente o objeto no microscópio de comparação 802, a imagem virtual 810 se move automaticamente. Quando o usuário move a imagem virtual 810, a aplicação de microscópio de comparação 808 determina quais movimentos correspondentes precisam ser aplicados ao microscópio de comparação 802 e indica ao usuário quais eixos geométricos precisam ser operados, em que direção e qual quantidade, com o uso de indicadores. O controlador de microscópio de comparação 806 então monitora continuamente os dados dos codificadores 902 e notifica o usuário sobre o estado de cada eixo geométrico.
[00085] Quando o usuário move o objeto no microscópio de comparação 802, a posição de cada eixo geométrico do objeto/microscópio de comparação é reportada à aplicação de microscópio de comparação 808 através do controlador 806. Isso permite que a aplicação de microscópio de comparação 808 seja sincronizada com o microscópio de comparação física 802 operado manualmente. Como a maioria dos especialistas em arma de fogo usa atualmente microscópios não motorizados de comparação, a sincronização dos modelos físico e virtual pode ser, para eles, mais fácil de realizar, em modo manual.
[00086] A figura 10 ilustra um sistema de modo duplo que permite os dois cenários anteriores. Essa combinação inclui codificadores 902 e motores 804 e permite que o usuário mude entre o modo manual/automático híbrido e o modo totalmente automatizado, conforme a sua vontade.
[00087] Deve ser entendido que o método implantado por computadores pode ser executado com o uso de instruções e afirmações em uma única aplicação ou uma combinação de duas ou mais aplicações acopladas ao processador 506. Enquanto ilustrado no diagrama em blocos das figuras 5 e 8 a 10 como grupos de componentes discretos que se comunicam uns com os outros por meio de conexões de sinal de dados distintos, será entendido por elementos versados na técnica que as modalidades são fornecidas por uma combinação de componentes de hardware e software, sendo que alguns componentes são implantados por uma dada função ou operação de um sistema de hardware ou software, e muitas das trajetórias de dados ilustradas são implantadas por comunicação de dados em uma aplicação de computador ou sistema de operação. A estrutura ilustrada é então fornecida para a eficácia do ensinamento das presentes modalidades.
[00088] As modalidades da invenção descrita acima são destinadas a serem exemplificativas apenas. O escopo da invenção é então destinado a ser limitado somente pelo escopo das reivindicações anexas.
REIVINDICAÇÕES

Claims (9)

1. Método implantado por computador para analisar pelo menos um objeto sob um primeiro microscópio e um segundo microscópio, o método caracterizado pelo fato de que compreende: receber (606) um primeiro conjunto de coordenadas de posição do pelo menos um objeto sob o primeiro microscópio como um conjunto de recursos adquiridos de dados topográficos em 3D de uma superfície do pelo menos um objeto que é sucessivamente exibido em um campo de visão do mesmo, sendo que o primeiro microscópio tem um primeiro sistema de coordenadas; receber (608) um segundo conjunto de coordenadas de posição do pelo menos um objeto sob o segundo microscópio como um conjunto de recursos adquiridos de dados topográficos em 3D da superfície do pelo menos um objeto que é sucessivamente exibido em um campo de visão do mesmo, sendo que o segundo microscópio tem um segundo sistema de coordenadas; computar (110, 306, 610) uma transformação para ligar (112, 308, 612) o primeiro sistema de coordenadas e o segundo sistema de coordenadas com o uso do primeiro conjunto de coordenadas de posição e o segundo conjunto de coordenadas de posição e independentemente de um posicionamento inicial do pelo menos um objeto sob um respectivo dentre o primeiro microscópio e o segundo microscópio; gerar (708) dados de orientação quando um dentre o primeiro microscópio e o segundo microscópio é deslocado, sendo que os dados de orientação correspondentes a um conjunto de operações a ser aplicado ao outro dentre o primeiro microscópio e o segundo microscópio seguem o movimento de um dentre o primeiro microscópio e o segundo microscópio para trazer o conjunto de recursos exibidos dentro do campo de visão do primeiro microscópio para equivaler ao conjunto de recursos exibidos no campo de visão do segundo microscópio; e em que o primeiro microscópio é um microscópio físico e o segundo microscópio é um microscópio virtual, e em que receber um segundo conjunto de coordenadas de posição do pelo menos um objeto sob o segundo microscópio compreende receber um conjunto de coordenadas para um conjunto de recursos em uma imagem do pelo menos um objeto no microscópio virtual.
2. Método implantado por computador, de acordo com a reivindicação 1, caracterizado pelo fato de que compreende, ainda: adquirir (102) dados topográficos em 3D representativos de uma topografia de superfície em 3D do objeto; gerar a imagem do pelo menos um objeto a partir dos dados topográficos em 3D; e exibir (104) a imagem no microscópio virtual.
3. Método implantado por computador, de acordo com a reivindicação 1 ou 2, caracterizado pelo fato de que compreende, ainda, aplicar os dados de orientação a pelo menos um dentre o microscópio físico e o microscópio virtual em uma maneira automatizada.
4. Método implantado por computador, de acordo com qualquer uma das reivindicações 1 a 3, caracterizado pelo fato de que compreende, ainda, fornecer os dados de orientação a um usuário em um formato que permite que eles sejam aplicados manualmente, sendo que o formato compreende preferencialmente uma dentre as etapas de translação/rotação para o microscópio físico, informações gráficas e indicadores físicos.
5. Sistema para analisar pelo menos um objeto microscopicamente, o sistema caracterizado pelo fato de que compreende: pelo menos um primeiro microscópio e um segundo microscópio, sendo que o primeiro microscópio tem um primeiro sistema de coordenadas e o segundo microscópio tem um segundo sistema de coordenadas; um sistema de computador (502) que compreende um processador (506) e uma memória (504); e um módulo de ligação de microscópio (513) armazenado na memória (504) e executável pelo processador (506), sendo que o módulo de ligação de microscópio (513) tem código de programa que, quando executado, computa uma transformação para ligar o primeiro sistema de coordenadas e o segundo sistema de coordenadas independentemente de um posicionamento inicial do pelo menos um objeto sob um respectivo dentre o primeiro microscópio e o segundo microscópio, e gera dados de orientação quando um do primeiro microscópio e o segundo microscópio é deslocado, sendo que os dados de orientação correspondentes a um conjunto de operações a ser aplicado ao outro do primeiro microscópio e o segundo microscópio seguem o movimento do um do primeiro microscópio e o segundo microscópio para trazer um conjunto de recursos adquiridos dos dados topográficos em 3D de uma superfície do pelo menos um objeto exibido dentro do campo de visão do primeiro microscópio para equivaler a um conjunto de recursos adquiridos dos dados topográficos em 3D da superfície do pelo menos um objeto exibido dentro do campo de visão do segundo microscópio; e em que o primeiro microscópio é um microscópio físico e o segundo microscópio é um microscópio virtual, e em que receber um segundo conjunto de coordenadas de posição do pelo menos um objeto sob o segundo microscópio compreende receber um conjunto de coordenadas para um conjunto de recursos em uma imagem do pelo menos um objeto no microscópio virtual.
6. Sistema, de acordo com a reivindicação 5, caracterizado pelo fato de que compreende, ainda, um módulo de dados armazenado na memória (504) e executável pelo processador (506), sendo que o módulo de dados tem código de programa que, quando executado, adquire dados topográficos em 3D representativos de uma topografia de superfície em 3D do pelo menos um objeto, gera uma imagem a partir dos dados topográficos em 3D, e exibe a imagem no microscópio virtual.
7. Sistema, de acordo com a reivindicação 5 ou 6, caracterizado pelo fato de que compreende, ainda, um módulo de controle armazenado na memória (504) e executável pelo processador (506), sendo que o módulo de controle tem código de programa que, quando executado, aplica os dados de orientação a pelo menos um dentre o microscópio físico e o microscópio virtual em uma maneira automatizada.
8. Sistema, de acordo com qualquer uma das reivindicações 5 a 7, caracterizado pelo fato de que compreende, ainda, um módulo de controle armazenado na memória (504) e executável pelo processador (506), sendo que o módulo de controle tem código de programa que, quando executado, fornece os dados de orientação a um usuário em um formato que permite que os mesmos sejam aplicados manualmente.
9. Memória legível por computador não transitória que tem gravada na mesma afirmações e instruções para execução por um computador caracterizada por implementar um método para analisar pelo menos um objeto sob um primeiro microscópio e um segundo microscópio e efetuar as etapas de: receber (606) um primeiro conjunto de coordenadas de posição do pelo menos um objeto sob o primeiro microscópio como um conjunto de recursos adquiridos de dados topográficos em 3D de uma superfície do pelo menos um objeto que é sucessivamente exibido em um campo de visão do mesmo, sendo que o primeiro microscópio tem um primeiro sistema de coordenadas; receber (608) um segundo conjunto de coordenadas de posição do pelo menos um objeto sob o segundo microscópio como um conjunto de recursos adquiridos de dados topográficos em 3D da superfície do pelo menos um objeto que é sucessivamente exibido em um campo de visão do mesmo, sendo que o segundo microscópio tem um segundo sistema de coordenadas; computar (110, 306, 610) uma transformação para ligar (112, 308, 612) o primeiro sistema de coordenadas e o segundo sistema de coordenadas com o uso do primeiro conjunto de coordenadas de posição e o segundo conjunto de coordenadas de posição e independentemente de um posicionamento inicial do pelo menos um objeto sob um respectivo dentre o primeiro microscópio e o segundo microscópio; gerar (708) dados de orientação quando um dentre o primeiro microscópio e o segundo microscópio é deslocado, sendo que os dados de orientação correspondentes a um conjunto de operações a ser aplicado ao outro dentre o primeiro microscópio e o segundo microscópio seguem o movimento de um dentre o primeiro microscópio e o segundo microscópio para trazer o conjunto de recursos exibidos dentro do campo de visão do primeiro microscópio para equivaler ao conjunto de recursos exibidos no campo de visão do segundo microscópio; e em que o primeiro microscópio é um microscópio físico e o segundo microscópio é um microscópio virtual, e em que receber um segundo conjunto de coordenadas de posição do pelo menos um objeto sob o segundo microscópio compreende receber um conjunto de coordenadas para um conjunto de recursos em uma imagem do pelo menos um objeto no microscópio virtual.
BR112012028097-0A 2010-05-03 2011-05-02 Método e Sistema para analisar pelo menos um objeto sob um primeiro microscópio e um segundo microscópio e memória legível por computador não transitória BR112012028097B1 (pt)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US33060410P 2010-05-03 2010-05-03
US61/330,604 2010-05-03
PCT/CA2011/000521 WO2011137518A1 (en) 2010-05-03 2011-05-02 Linking of microscopes for analysis of objects comprising tool marks

Publications (1)

Publication Number Publication Date
BR112012028097B1 true BR112012028097B1 (pt) 2020-03-10

Family

ID=44903537

Family Applications (1)

Application Number Title Priority Date Filing Date
BR112012028097-0A BR112012028097B1 (pt) 2010-05-03 2011-05-02 Método e Sistema para analisar pelo menos um objeto sob um primeiro microscópio e um segundo microscópio e memória legível por computador não transitória

Country Status (6)

Country Link
US (1) US9080844B2 (pt)
EP (1) EP2567187B1 (pt)
BR (1) BR112012028097B1 (pt)
CA (1) CA2834905C (pt)
ES (1) ES2877098T3 (pt)
WO (1) WO2011137518A1 (pt)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5814147B2 (ja) * 2012-02-01 2015-11-17 パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカPanasonic Intellectual Property Corporation of America 入力装置、入力制御方法、および入力制御プログラム
US8596525B2 (en) * 2012-02-06 2013-12-03 Oracle International Corporation Topographic spot scanning for a storage library
US8613386B2 (en) * 2012-02-29 2013-12-24 Oracle International Corporation Contrast spot scanning for a storage library
US11249293B2 (en) 2018-01-12 2022-02-15 Iballistix, Inc. Systems, apparatus, and methods for dynamic forensic analysis
JP2022066928A (ja) * 2020-10-19 2022-05-02 日本電子株式会社 座標リンケージシステム及び座標リンケージ方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5995638A (en) * 1995-08-28 1999-11-30 Ecole Polytechnique Federale De Lausanne Methods and apparatus for authentication of documents by using the intensity profile of moire patterns
US6505140B1 (en) 2000-01-18 2003-01-07 Intelligent Automation, Inc. Computerized system and method for bullet ballistic analysis
US7292251B1 (en) * 2000-10-06 2007-11-06 The Research Foundation Of State University Of New York Virtual telemicroscope
WO2002040977A2 (en) * 2000-11-17 2002-05-23 Molecular Diagnostics, Inc. Evaluation of microscope slides
ATE344509T1 (de) 2002-03-18 2006-11-15 Charite Universitaetsmedizin Virtuelles mikroskop - vorrichtung und verfahren
EP1416308B1 (de) * 2002-10-31 2006-12-27 Leica Microsystems CMS GmbH Vergleichendes optisches System
US7958525B2 (en) * 2002-12-11 2011-06-07 Broadcom Corporation Demand broadcast channels and channel programming based on user viewing history, profiling, and requests
FR2863762B1 (fr) * 2003-12-15 2006-03-10 Christophe Mouisel Microscope comparateur numerique a vocation balistique, ou autre.
US7212949B2 (en) * 2004-08-31 2007-05-01 Intelligent Automation, Inc. Automated system and method for tool mark analysis
JP4937850B2 (ja) * 2007-07-03 2012-05-23 オリンパス株式会社 顕微鏡システム、そのvs画像生成方法、プログラム
MX2010012506A (es) * 2008-05-16 2010-12-21 Forensic Technology Wai Inc Adquisicion de topografias de objetos que tienen geometrias arbitrarias.

Also Published As

Publication number Publication date
US20110286090A1 (en) 2011-11-24
ES2877098T3 (es) 2021-11-16
EP2567187A4 (en) 2017-11-22
US9080844B2 (en) 2015-07-14
EP2567187A1 (en) 2013-03-13
EP2567187B1 (en) 2021-04-21
CA2834905A1 (en) 2011-11-10
CA2834905C (en) 2016-04-26
WO2011137518A1 (en) 2011-11-10

Similar Documents

Publication Publication Date Title
CN110780285B (zh) 激光雷达与组合惯导的位姿标定方法、系统及介质
US20180189966A1 (en) System and method for guidance of laparoscopic surgical procedures through anatomical model augmentation
BR112012028097B1 (pt) Método e Sistema para analisar pelo menos um objeto sob um primeiro microscópio e um segundo microscópio e memória legível por computador não transitória
US11972582B2 (en) Method and apparatus for acquiring labeled data, training method and apparatus, and medical equipment
US11094221B2 (en) Visual guidance system and method for posing a physical object in three dimensional space
Gong et al. Bound constrained bundle adjustment for reliable 3D reconstruction
JP5296543B2 (ja) 医療用画像における面内及び面外動き補償方法及び装置
Sylos Labini et al. Depth-awareness in a system for mixed-reality aided surgical procedures
Thabit et al. Evaluation of marker tracking using mono and stereo vision in Microsoft HoloLens for surgical navigation
Schüle et al. A model-based simultaneous localization and mapping approach for deformable bodies
WO2017180097A1 (en) Deformable registration of intra and preoperative inputs using generative mixture models and biomechanical deformation
Gard et al. Image-based measurement by instrument tip tracking for tympanoplasty using digital surgical microscopy
Yang et al. A novel craniotomy simulation system for evaluation of stereo-pair reconstruction fidelity and tracking
Goral et al. Accuracy assessment of Kinect for Xbox One in point-based tracking applications
Locuson et al. A virtual scalpel for visualizing patients in a three-dimensional, immersive, navigable and interactive virtual reality environment
Li et al. A high-accuracy monocular self-calibration method based on the essential matrix and bundle adjustment
Li et al. Research on camera calibration method based on coplanar points
Fütterer et al. Implementation of a multiview passive-stereo-imaging system with SoC technology
Guo et al. The attitude measurement system of high-speed railway foundation settlement monitoring target surface
Potter et al. Augmenting real-time video with virtual models for enhanced visualization for simulation, teaching, training and guidance
Wengert et al. Endoscopic navigation for minimally invasive suturing
Jia Research on positioning and navigation of medical robot based on RGB-D visual SLAM
Zhu et al. Calibrating distance mapping of non‐SVP catadioptric camera of the soccer robot
Klug Assistance for Measuring Human-Made Structures with Robotic Total Stations
Huang et al. Target measurement in elliptical orbit using generalized voxel coloring

Legal Events

Date Code Title Description
B25A Requested transfer of rights approved

Owner name: ULTRA ELECTRONICS FORENSIC TECHNOLOGY INC. (CA)

B06F Objections, documents and/or translations needed after an examination request according [chapter 6.6 patent gazette]
B06U Preliminary requirement: requests with searches performed by other patent offices: procedure suspended [chapter 6.21 patent gazette]
B09A Decision: intention to grant [chapter 9.1 patent gazette]
B16A Patent or certificate of addition of invention granted [chapter 16.1 patent gazette]

Free format text: PRAZO DE VALIDADE: 20 (VINTE) ANOS CONTADOS A PARTIR DE 02/05/2011, OBSERVADAS AS CONDICOES LEGAIS.