BR112014005451B1

BR112014005451B1 - Sistema de registro

Info

Publication number: BR112014005451B1
Application number: BR112014005451-7A
Authority: BR
Inventors: Paul Thienphrapa; Bharat Ramachandran; Aleksandra Popovic
Original assignee: Koninklijke Philips N.V.
Priority date: 2011-09-13
Filing date: 2012-09-05
Publication date: 2021-11-09
Also published as: CN103797512B; RU2014114531A; US9984437B2; BR112014005451A2; RU2624107C2; US20140212025A1; CN103797512A; EP2745268B1; EP2745268A2; WO2013038301A2; WO2013038301A3; JP6491476B2; JP2014531986A

Abstract

sistema de registro e método de registro um sistema de registro e método inclui um dispositivo configurável (104) tendo uma ou mais peças móveis (122) de forma que o movimento das peças móveis pode ser determinado em relação a uma referência para definir uma configuração específica do dispositivo configurável. um sistema de obtenção de imagem (110) tem um display no qual o dispositivo configurável é visível. um dispositivo de processamento (112) é configurado para registrar o dispositivo configurável com um sistema de coordenada do sistema de obtenção de imagem com base na configuração específica do dispositivo configurável.

Description

[01] Esta revelação se refere a um dispositivo de registro e mais particularmente a um sistema, dispositivo e método para registro in-situ com base em uma configuração do dispositivo.

[02] Registro é o processo de encontrar um relacionamento entre diferentes observações dos mesmos dados. Mais especificamente, é a computação de alinhamento de múltiplas medições dos mesmos dados devido a diferentes pontos de vista ou pertencentes a diferentes sistemas de coordenada. O registro é necessário para determinar a correspondência entre uma localização física em um sistema de coordenada de robô e sua posição no espaço a ser feita a imagem.

[03] Em uma configuração clínica, o registro entre uma imagem de ultrassom e as coordenadas do robô é realizado antes de uma operação. O registro pré-operatório, para o qual existem técnicas bem conhecidas, é mais adequado para situações em que pelo menos um sistema de coordenada é fixado com relação a uma palavra ou sistema de coordenada global. Se ambos os sistemas de coordenada estiverem se movendo, o registro em tempo real se torna inválido e deve ser computado novamente.

[04] No ultrassom com base em orientação de robô, é muito provável que ambos os dispositivos, isto é, um transdutor de ultrassom e o robô, estarão se movendo com relação um ao outro durante o procedimento. Apesar de o ultrassom poder algumas vezes estar fixado em uma posição, é benéfico ter flexibilidade no posicionamento, dado que o papel do ultrassom nas intervenções orientadas por robô é para ambos a orientação do robô e para prover obtenção de imagem em uma área de interesse. Um exemplo de um procedimento necessitando de um registro entre um transdutor de ultrassom (e subsequentemente, imagens de ultrassom) e um robô inclui um reparo cardíaco estrutural robótico. Neste caso, um dispositivo de Ecocardiografia Transesofágica (TEE - Transesophageal Echocardiography) é empregado. A sonda é montada em um cabo não-rígido fazendo-o se mover devido à respiração. Neste caso, uma vez estabelecido, o registro pode falhar. O monitoramento eletromagnético (EM - Electromagnetic) para registro contínuo do robô e a sonda de ultrassom pode ser usada. Esta solução é complexa e intensiva em recurso. Também, o monitoramento EM é suscetível a erros devido a alterações no campo da EM.

[05] O registro pré-operacional adiciona complexidade para um fluxo de trabalho cirúrgico já complexo enquanto a instalação dos marcadores fiduciais aumenta o tempo de cirurgia e a complexidade. Monitorar os sistemas de coordenada é difícil devido pelo menos aos requisitos adicionais de hardware.

[06] De acordo com os presentes princípios, um sistema de registro e método inclui um dispositivo configurável tendo uma ou mais peças móveis de forma que o movimento das peças móveis pode ser determinado em relação a uma referência para definir uma configuração específica do dispositivo configurável. Um sistema de obtenção de imagem tem um display no qual o dispositivo configurável é visível. Um dispositivo de processamento é configurado para registrar o dispositivo configurável com um sistema de coordenada do sistema de obtenção de imagem com base na configuração específica do dispositivo configurável.

[07] Um sistema de registro inclui um robô tendo uma ou mais peças móveis conectadas por articulação N de forma que o movimento das peças móveis em relação a uma referência define uma configuração específica do robô. Um sistema de obtenção de imagem tem um display no qual o robô é visível. Um dispositivo de processamento é configurado para registrar o robô com um sistema de coordenada de uma sonda ultrassônica do sistema de obtenção de imagem com base na configuração específica do robô.

[08] Um método de registro inclui detectar uma peça de referência de um dispositivo configurável em uma imagem operacional do dispositivo configurável; determinar uma configuração específica do dispositivo configurável; computação da configuração específica do dispositivo configurável em um sistema de coordenada de obtenção de imagem usando a peça de referência; e determinar uma transformação entre a configuração específica do dispositivo configurável e o sistema de coordenada de obtenção de imagem para registrar um sistema de coordenada do dispositivo configurável com o sistema de coordenada de obtenção de imagem.

[09] Estes e outros objetivos, aspectos e vantagens da presente revelação se tornarão aparentes a partir da descrição detalhada a seguir das realizações ilustrativas destes, que deve ser lida em conexão com os desenhos acompanhantes.

[010]Esta revelação apresentará em detalhe a descrição a seguir das realizações preferidas com referência às figuras a seguir, em que:

[011] A FIG. 1 é um diagrama em fluxo/bloco mostrando um sistema/método para registrar um robô ou outro dispositivo configurável com um fluxo de obtenção de imagem ou imagem de acordo com os presentes princípios;

[012] A FIG. 2 é um diagrama em bloco/fluxo mostrando um método para registrar um robô com um sistema de obtenção de imagem de acordo com uma realização ilustrativa;

[013] A FIG. 3 é um diagrama mostrando um eixo ou um link de um robô tendo um ou mais marcadores incluídos para identificar uma parte do eixo ou link em um fluxo de imagem de acordo com as realizações úteis;

[014] A FIG. 4 é um diagrama mostrando um eixo ou um link de um robô tendo dois marcadores incluídos para identificar uma orientação do eixo ou link em um fluxo de imagem de acordo com as realizações úteis;

[015] A FIG. 5 é um diagrama mostrando os traços de movimento para as coordenadas x, y e z entre um ponto do eixo computado em um sistema de coordenada de uma imagem de acordo com uma realização ilustrativa;

[016] A FIG. 6 é um diagrama mostrando um eixo ou link de um robô tendo uma fibra óptica de formato sensível montada nele para identificar uma posição do eixo ou link de acordo com as realizações úteis;

[017] A FIG. 7 é um diagrama mostrando um eixo ou link de um robô tendo um mecanismo vibratório montado nele para identificar uma posição do eixo ou link em um ambiente ultrassônico de acordo com uma realização;

[018] A FIG. 8 é um diagrama mostrando ilustrativamente uma computação de transformação para registrar um eixo ou link de um robô com um quadro de imagem/sonda de obtenção de imagem de acordo com uma realização;

[019] A FIG. 9 é um diagrama em bloco/fluxo mostrando etapas para registrar um dispositivo de robô com um sistema de coordenada de obtenção de imagem de acordo com uma realização ilustrativa.

[020]De acordo com os presentes princípios, os sistemas e métodos para realizar um registro automático e em tempo real entre um dispositivo de obtenção de imagem, tal como, uma sonda de ultrassom (US - Ultrasound) (por exemplo, uma sonda ultrassônica tridimensional (3D)), e um sistema manipulador robótico são providos. Estes sistema e métodos de registro podem ser empregados na realização de uma variedade de tarefas, tal como, por exemplo, localização de alvos, alívio da carga cognitiva associada ao alinhamento da sonda de obtenção de imagem, determinação de uma relação de imagens ao mundo físico, orientação de uma ferramenta cirúrgica para um alvo etc. Os procedimentos cirúrgicos mais complexos podem ser realizados por cirurgiões com a ajuda das presentes realizações empregando estas capacidades robótica e de obtenção de imagem.

[021]De acordo com uma realização particularmente útil, um registro em tempo real de um robô para uma sonda de obtenção de imagem é provida usando diversos métodos e dispositivos que permitam a detecção do robô ou um instrumento cirúrgico montado sobre o robô nas imagens. Um esquema de controle de qualidade permitindo o monitoramento da precisão do registro também é provido.

[022]Deve ser entendido que a presente invenção será descrita em termos de instrumentos médicos; no entanto, os ensinamentos da presente invenção são muito mais amplos e são aplicáveis a quaisquer instrumentos empregados no monitoramento ou análise de sistemas mecânicos ou biológicos complexos. Em particular, os presentes princípios são aplicáveis a procedimentos de monitoramento interno de sistemas biológicos, procedimentos em todas as áreas do corpo tal como os pulmões, trato gastrointestinal, órgãos excretores, vasos sanguíneos etc. Os elementos representados nas FIGS. podem ser implementados em diversas combinações de hardware e software e proveem funções que podem ser combinadas em um elemento único ou múltiplos elementos.

[023] As funções de diversos elementos mostrados nas FIGS. podem ser providas através do uso de hardware dedicado bem como hardware capaz de executar software em associação ao software apropriado. Quando providas por um processador, as funções podem ser providas por um único processador dedicado, por um processador único compartilhado, ou por uma pluralidade de processadores individuais, alguns dos quais podem ser compartilhados. Além disso, o uso explícito do termo “processador” ou “controlador” não deve ser construído para se referir exclusivamente ao hardware capaz de executar do software, e pode incluir implicitamente, sem limitação, hardware de processador de sinal digital (“DSP"), memória de somente leitura (“ROM") para armazenar software, memória de acesso aleatório (“RAM"), armazenamento não volátil etc.

[024] Além disso, todas as presentes afirmações citando princípios, aspectos e realizações da invenção, bem como os exemplos específicos destes, são destinados a englobar ambos os equivalentes estrutural e funcional destes. Adicionalmente, é pretendido que tais equivalentes incluam ambos os equivalentes atualmente conhecidos bem como os equivalentes desenvolvidos no futuro (isto é, quaisquer elementos desenvolvidos que realizem a mesma função, independente da estrutura). Desta forma, por exemplo, será percebido pelos técnicos no assunto que os diagramas em bloco apresentados aqui representam visões conceituais dos componentes do sistema ilustrativo e/ou circuito incorporando os princípios da invenção. Similarmente, será percebido que quaisquer fluxogramas, diagramas em fluxo e similares representam diversos processos que podem ser representados substancialmente em mídia de armazenamento legível em computador e assim executada por um computador ou processador, se tal computador ou processador estiver explicitamente mostrado ou não.

[025] Além disso, as realizações da presente invenção podem assumir a forma de um produto de programa de computador acessível a partir de um meio de armazenamento usável ou legível em computador provendo código de programa para uso por meio de ou em conexão com um computador ou qualquer sistema de execução da instrução. Para os propósitos desta descrição, um meio de armazenamento usável em computador ou legível em computador pode ser qualquer aparelho que possa incluir, armazenar, comunicar, propagar ou transportar o programa para uso por meio de ou em conexão com o sistema de execução de instrução, aparelho ou dispositivo. O meio pode ser um sistema eletrônico, magnético, óptico, eletromagnético, infravermelho, ou semicondutor (ou aparelho ou dispositivo) ou um meio de propagação. Exemplos de um meio legível em computador incluem uma memória de estado sólido ou semicondutora, fita magnética, um disquete removível de computador, uma memória de acesso aleatório (RAM), uma memória de somente leitura (ROM), um disco rígido magnético e um disco óptico. Os presentes exemplos de discos ópticos incluem disco compacto - memória de somente leitura (CD-ROM), disco compacto - gravação/leitura (CD-R/W) e DVD.

[026] Agora em referência aos desenhos nos quais os numerais similares representam o mesmo elemento ou elementos similares e inicialmente a FIG. 1, um sistema para registro automático online 100 emprega um sistema de robô cirúrgico guiado por imagem 102. O sistema robô 102 inclui um dispositivo ou robô configurável 104 e um sistema de controle 106. O robô 104 inclui um formato conhecido, que pode incluir uma parte do robô 104 ou o robô inteiro 104. O robô 104 pode incluir um ou mais marcadores fiduciais 108. Uma orientação do robô 104 é decifrada a partir da cinemática da(s) sua(s) peça(s) móvel(is) 122 (por exemplo, links ou ligações, apêndices etc.) e combinada com uma orientação computada a partir de imagens ao vivo. As imagens podem incluir imagens de ultrassom apesar de outras modalidades de obtenção de imagem poderem ser empregadas (por exemplo, raios X etc.). No presente exemplo, um sistema de obtenção de imagem 110 inclui um sistema ultrassônico tendo uma capacidade de obtenção de imagem tridimensional (3D) . Outros sistemas de obtenção de imagem também podem ser empregados. O sistema de obtenção de imagem 110 pode empregar uma sonda 105 para marcar uma posição e ângulo para coletar os dados da obtenção de imagem. O movimento do robô é empregado para computar e atualizar o registro entre dois sistemas de coordenada em tempo real, por exemplo, um sistema de coordenada de robô 109 e um sistema de coordenada de sonda ou obtenção de imagem 107.

[027]Os presentes princípios proveem um registro online que é realizado repetidamente como uma parte normal de uma operação. Onde os componentes são esperados a se mover, o registro online pode ser usado para gerenciar o desalinhamento entre os sistemas de coordenada. O registro online é mais eficaz se o sistema puder realizar o registro automaticamente, auxiliado pelo monitoramento opcional ou marcadores fiduciais 108. O monitoramento introduz um novo sistema de coordenada global no qual os sistemas de coordenadas de interesse podem ser medidos. O uso de marcadores fiduciais 108 pode ser visto como uma versão passiva desta abordagem, por exemplo, os sistemas de coordenada de interesse computam suas respectivas orientações em relação aos marcadores fixados globalmente. Em ambos os casos, como o registro entre os sistemas de coordenada pode sempre ser computado, os sistemas de coordenada são livres para se mover em relação um ao outro.

[028]O sistema 100 pode incluir uma estação de trabalho ou console 112 a partir do qual um procedimento é supervisionado e/ou gerenciado. A estação de trabalho 112 preferencialmente inclui um ou mais processadores 114 e memória 116 para armazenar programas e aplicações. A memória 116 pode armazenar um módulo de interpretação cinética robótica 115 configurado para interpretar os sinais de feedback posicional a partir de uma imagem ou imagens do dispositivo robô 104 conforme representado usando uma dada modalidade de obtenção de imagem. O módulo 115 pode ser configurado para usar o feedback visual posicional (por exemplo, monitoramento eletromagnético (EM), posições fiduciais, reconhecimento/informação geométrica ou formato etc.) para reconstruir deformações, deflexões e outras mudanças associadas ao robô 104.

[029] A modalidade de obtenção de imagem ou dispositivo de obtenção de imagem 110 pode incluir um sistema de obtenção de imagem ultrassônica. O sistema de coordenada 107 da sonda 105 e o sistema de coordenada 109 do robô 104 são preferencialmente registrados ao longo de um intervalo de tempo intermitente ou contínuo. Em uma realização, uma sonda de ultrassom 3D 105 capaz de transmitir imagens ao vivo é empregada. O robô 104 é preferencialmente posicionado dentro de uma região de visualização da imagem ultrassônica. O robô 104 inclui articulações N 111 (por exemplo, 3 ou 4) e codificadores N 113 são empregados para medir uma posição relativa ou absoluta das articulações 111. Desta forma, a posição de todo o robô 104, bem como um efetuador (por exemplo, um instrumento cirúrgico) com relação a algum sistema de coordenada fixo (geralmente a base do robô 104) é conhecida o tempo todo.

[030] A unidade de controle 106 pode ser incorporada na estação de trabalho 112 ou pode ser um dispositivo separado (por exemplo, um computador pessoal (PC) recebendo dados do dispositivo de obtenção de imagem 110 e outras partes do sistema robótico 102 e realizando o registro (métodos) . O sistema de controle 106 e/ou módulo de interpretação 115 podem empregar métodos de detecção automática de um instrumento cirúrgico em uma imagem e empregam mecanismos para aumentar a detecção. Por exemplo, uma técnica para computar uma configuração do instrumento no sistema de coordenada do dispositivo de obtenção de imagem pode incluir empregar um programa de reconhecimento de imagem que pode decifrar uma pluralidade de pontos (por exemplo, articulações ou partes finais) do robô 104 para detectar sua configuração em relação a uma posição de referência. Outro método inclui realizar um registro online e automático entre a sonda de ultrassom 3D 105 e o robô 104 usando uma posição/orientação conhecida do robô 104 e uma posição/orientação ocupada do robô 104 a partir de uma imagem de ultrassom do robô 104.

[031] O erro de registro pode ser monitorado por quadros de imagem por meio do módulo 115 e serem usados para acionar uma chave de segurança ou outro mecanismo 126 para ter o sistema de controle 106 desabilitado o robô 104 e parar a operação de acordo com um limite definido do usuário ou outras condições.

[032]O dispositivo de obtenção de imagem 110 pode ser empregado para obtenção de imagem in-situ de um objeto 131 durante um procedimento. O sistema de obtenção de imagem 110 pode incluir um sistema fluoroscópico, um sistema de tomografia computadorizada (CT - Computed Tomography) etc., apesar de um sistema ultrassônico ser preferido. O sistema de obtenção de imagem 110 gera imagens 134 de uma região no objeto 131 e o robô 104 é preferencialmente incluído no campo de visão ou pelo menos partes do robô 104 necessárias para registrar o sistema de coordenada de robô com aquele do dispositivo de obtenção de imagem 110.

[033] A estação de trabalho 112 inclui um display 118 para visualizar imagens internas de um indivíduo (paciente) 131. O display 118 também pode permitir um usuário a interagir com a estação de trabalho 112 e seus componentes e funções, ou qualquer outro elemento dentro do sistema 100. Isto é mais facilitado por uma interface 120 que pode incluir um teclado, um mouse, um joystick, um dispositivo háptico, ou qualquer outro periférico ou controle para permitir feedback do usuário a partir de interação com a estação de trabalho 112 .

[034] Em referência a FIG. 2, um método de registro online automático é ilustrativamente mostrado. No bloco 202, um instrumento é detectado em um fluxo de imagem 3D (por exemplo, ultrassom). No bloco 204, a configuração do instrumento é computada no sistema de coordenada de imagem. No bloco 206, a transformação do quadro é computada para registrar o instrumento com o fluxo de imagem. No bloco 208, o controle de qualidade é realizado. Estas etapas são descritas em mais detalhes abaixo com relação às realizações ilustrativas a seguir.

[035]Em uma realização, a detecção do instrumento no ultrassom 3D do bloco 202 pode empregar um método com base em imagem. Os instrumentos cirúrgicos são comumente compostos de material, por exemplo, metal, que é visível sob a obtenção de imagem por ultrassom. Além disso, os instrumentos cirúrgicos podem apresentar um eixo disposto longitudinalmente (um eixo ou similar) para permitir um cirurgião ou robô para operar em espaços confinados. Usar a natureza alongada do instrumento cirúrgico ou outros aspectos distintos, uma referência é provida, em que um algoritmo de obtenção de imagem pode explorar para detectar apropriadamente o instrumento em uma imagem de ultrassom de uma maneira automatizada. Uma técnica/algoritmo existente é a conhecida Transformação Hough, que pode segmentar um instrumento cirúrgico a partir de uma imagem com base no conhecimento do seu formato. Em um caso, uma linha ou formato de haste (correspondente ao eixo do instrumento) pode servir como um parâmetro de entrada para o algoritmo, enquanto, para detecção avançada, formatos mais complexos podem ser especificados.

[036] Em outra realização, a detecção do instrumento no ultrassom 3D do bloco 202 pode empregar um método com base fiducial. Diferentes tipos de marcadores fiduciais podem ser usados para facilitar a detecção da posição e orientação da ferramenta. Dado que os marcadores fiduciais aparecem com um alto contraste nas imagens, a detecção destes marcadores nas imagens pode ser realizada usando métodos de processamento de imagem conhecidos na técnica, tal como, por exemplo, a transformação Hough, limitação de imagem etc. Enquanto os instrumentos podem ser visíveis nas imagens de ultrassom, seus limites podem ser difíceis de discernir. Isto pode levar a erros na detecção automatizada de instrumento.

[037] Em referência a FIG. 3, para solucionar as questões de visibilidade do limite, uma ferramenta 300 pode ser aumentada com marcadores 302 que são fáceis de distinguir por meio dos algoritmos automatizados, mas não interferem na tarefa em mão. Por exemplo, os anéis 302 colocados em torno de um eixo da ferramenta 303 resulta em um padrão visível em ultrassom de saliências que é distinto para cada orientação da ferramenta 300. Esta abordagem pode empregar maquinário especializado ou fabricação de ferramentas cirúrgicas 300. Uma solução prática seria permitir a readaptação das ferramentas já existentes para prover um pequeno marcador destacável 306 que se encaixa em torno dos eixos ou instrumentos cirúrgicos existentes, desta forma aliviando a necessidade de projetar novamente as ferramentas. Estes marcadores 306 incluem padrões distintos de forma que as orientações da ferramenta são discerníveis por meio de algoritmos de detecção automatizada sob ultrassom ou outra modalidade de obtenção de imagem. Os marcadores 302, 306 podem ser feitos de material hiperecoico, tal como polímeros ou metal.

[038] Uma realização provê marcadores menores e mais simples 306, e pode incluir ter múltiplos marcadores ligados ao eixo da ferramenta 303. A composição destes marcadores 306 pode incluir aço ou qualquer outro material ecogênico que é compatível com um ambiente cirúrgico.

[039] Em referência a FIG. 4, para detectar a orientação do eixo 303, somente dois pontos ao longo do eixo 303 precisam ser detectados. Neste caso, uma realização mais simples do marcador assume a forma, por exemplo, de esferas 312. Os algoritmos para detectar formatos esféricos sob ultrassom podem incluir correlação cruzada normalizada (NCC - Normalized Cross Correlation) e soma da diferença quadrada (SSD - Sum of Squared Difference) . Outros algoritmos também podem ser usados.

[040] A FIG. 5 mostra os traços de movimento exemplar de um alvo (FB) e uma ferramenta robótica (Ponta) que está monitorando o alvo, ambos dos quais são detectados no ultrassom em 20 quadros por segundo usando o NCC. A FIG. 5 mostra os traços de movimento do eixo x retardados 24,85 vezes; os traços de movimento do eixo y retardados 24,85 vezes e os traços de movimento do eixo z retardados 24,85 vezes. Os marcadores empregados neste eram esferas de metal de 3,2 mm. Os resultados indicam que NCC é um método robusto para esta aplicação já que os traços coincidiram bem um com o outro.

[041]Devido às imagens de ultrassom 3D serem tipicamente geradas e processadas em uma taxa de 20-30 quadros por segundo, um novo registro pode ser computado naquela taxa (para cada nova imagem). Isto é um aspect vantajoso já que alivia a necessidade por uma etapa de registro explícita, e perturbações na posição da sonda não afetariam o registro ao longo de um período de tempo conforme o registro está sendo atualizado continuamente.

[042] Em referência a FIG. 6, um eixo 602 ou outra parte de um robô 604 pode incluir uma fibra ou fibras ópticas de formato sensível 606. Em uma realização, a detecção de um marcador ou marcadores 608 pode ser provida usando a fibra óptica de formato sensível 606, que é envolta em torno do eixo 602 ou acoplada de outra maneira ao eixo 602.

[043] As fibras sensíveis 606 podem incluir uma ou mais grades de Bragg de fibra óptica (FBG - Fiber Optic Bragg Gratings) , que são um segmento de uma fibra óptica que reflete comprimentos de onda particulares da luz e transmite todos os outros. Isto é alcançado adicionando uma variação periódica do índice refrativo no núcleo da fibra, que gera um espelho dielétrico de comprimento de onda específico. Um FBG pode, portanto, ser usado como um filtro óptico em linha para bloquear certos comprimentos de onda, ou como um refletor de comprimento de onda específico.

[044]O princípio por trás da operação de um FBG é o reflexo Fresnel em cada uma das interfaces onde o índice refrativo está mudando. Para alguns comprimentos de onda, a luz refletida de diversos períodos está na fase de forma que a interferência construtiva exista para reflexo e consequentemente, interferência destrutiva para transmissão. O comprimento de onda de Bragg é sensível à tensão bem como a temperatura. Isto significa que as grades FBGs podem ser usadas como elementos sensíveis nos sensores de fibra óptica. Uma das vantagens da técnica é que diversos elementos sensores podem ser distribuídos ao longo do comprimento de uma fibra. Incorporar três ou mais núcleos com diversos sensores (calibres) ao longo do comprimento de uma fibra que é incorporada em uma estrutura que permite a avaliação da curvatura da estrutura em função da posição longitudinal e consequentemente para a forma tridimensional (3D) de tal estrutura para ser precisamente determinada.

[045]Como uma alternativa aos FBGs, a retro dispersão inerente nas fibras ópticas convencionais pode ser explorada. Tal abordagem é para usar a dispersão Rayleigh na fibra de comunicações de modo único padrão. A dispersão Rayleigh ocorre como um resultado das flutuações aleatórias do índice de refração no núcleo da fibra. Estas flutuações aleatórias podem ser modeladas como uma grade de Bragg com uma variação aleatória da amplitude e fase ao longo do comprimento da grade. Por meio do uso deste efeito em três ou mais núcleos executados dentro de um comprimento único da fibra multi núcleos, o formato 3D e dinâmica da superfície de interesse seria monitorável.

[046] A fibra óptica 606 poderia ter luz lançada de uma posição conhecida na ferramenta de uma maneira helicoidal e estendida até uma ponta 610 do eixo 602. Este sistema poderia prover, em adição a posição e orientação da ponta, toda a informação do formato que seria valiosa se o efetuador final é um manipulador robótico altamente habilidoso com um alto grau de liberdade.

[047] Em referência a FIG. 7, um eixo 702 ou outra parte de um robô 704 pode incluir um(s) dispositivo(s) de movimento 706. O dispositivo de movimento 706 pode incluir um acionador mecânico ou outro elemento vibratório que pode ser visualizado em uma imagem ultrassônica. Em uma realização, a detecção do marcador 706 é provida pelo acionamento mecânico do marcador 706 posicionado em uma ponta da ferramenta 710. A ponta 710 vibra e desde que a ponta 710 esteja ligada ao robô 704, o marcador 706 vibra em uma dada frequência. Estas vibrações poderiam ser facilmente detectadas usando ultrassom de forma que a posição do marcador e a ponta da ferramenta possam ser detectadas. As vibrações inerentes na estrutura do robô ou links também podem ser empregadas para destacar imagens e detectar estruturas.

[048] Em referência novamente a FIG. 2, no bloco 204, a configuração do instrumento é computada no sistema de coordenada de ultrassom. A tarefa de detecção do instrumento descrita é somente a etapa inicial na realização de um registro online. O instrumento foi segmentado somente do resto da imagem. No bloco 204, uma configuração ou apresentação do instrumento é computada dada sua representação extraída do fluxo de imagem de ultrassom. Isto leva vantagem do fato que as ferramentas cirúrgicas comumente tem longos eixos entre o cabo (segurado pelo cirurgião ou robô) e efetuador final, que permite a extensão do robô/mão para o local alvo cirúrgico.

[049] Uma vez que o eixo do instrumento é encontrado em uma imagem de ultrassom, um vetor descrevendo a direção do eixo é determinado. O vetor é usado para computar a posição do instrumento nas coordenadas do ultrassom (uT) em tempo real, por exemplo, conforme novas imagens de ultrassom 3D são transmitidas.

[050] Em referência a FIG. 8, uma computação de transformação/registro é ilustrativamente mostrada. Um eixo da ferramenta 802 inclui uma pontaF do sistema de coordenada e uma sonda ultrassônica (ou uma imagem) 804 inclui um sistema de coordenada UF. Um vetor vtip descrevendo a direção do eixo é determinado nas coordenadas do ultrassom em tempo real. O procedimento que alcança esta computação é mostrado na Eq. 1.

[051] Na equação 1, os subscrito e o sobrescrito u e r denotam sistemas de coordenada de ultrassom e robô, respectivamente.

[052]Lista de símbolos: uT - Posição do eixo do instrumento conforme observado nas coordenadas de ultrassom (matriz de formação 4x4) .uR - Componente rotacional da posição uT (matriz 3x3) .uPtip - Componente posicional da posição uT, que é a posição da ponta do instrumento nas coordenadas de ultrassom (matriz 3x1).— - eixo de rotação entre o eixo do instrumento e o eixo -z do sistema de coordenada de ultrassom; é definido desta maneira porque devido ao sistema de coordenada local do instrumento, o vetor na direção do eixo para a ponta é definido como o eixo -z.θ - Ângulo de rotação em torno de quecorresponde ao vetor vtip ao eixo -z do ultrassom.vtip - Vetor associado à direção do eixo do instrumento.P - Resultado da operação do produto externo em f'J com ele mesmo, estabelecido para simplificar as equações.I - matriz de identidade 3x3.H - operador de desvio em ~>, que é a equivalente de convertê-lo para o primeiro operando de uma operação de produto cruzado quando a operação é expressa na notação da matriz.

[053] Em referência novamente a FIG. 2, no bloco 206, uma computação de uma transformação é realizada. A posição rT do instrumento nas coordenadas do robô é dada pela cinemática conhecida do robô (a partir dos codificadores e similares). As interfaces de programação de software para robôs permitem este parâmetro seja consultado em tempo real. Uma vez que rT é obtida, pode ser combinada com a posição do instrumento nas coordenadas do ultrassom uT encontrada na etapa anterior (bloco 204) para computar a transformação desejada rTu (Eq. 2) entre os sistemas de coordenada do robô e ultrassom. Esta Transformação rTu pode então ser usada para encontrar a localização relativa do robô de qualquer ponto encontrado nas imagens de ultrassom, permitindo que o robô mova uma ferramenta cirúrgica em direção a qualquer alvo com base na detecção do alvo na imagem de ultrassom, e finalmente permitir que o robô realize algumas funções automaticamente sob a orientação do ultrassom 3D e o processamento de imagem associado conforme descrito.

em que:rTu - Matriz de transformação entre o ultrassom e as coordenadas do robô.uT - Posição do eixo do instrumento conforme observado nas coordenadas de ultrassom.rT - Posição do eixo do instrumento nas coordenadas do robô, de acordo com a cinemática do robô.

[054]Para simplicidade, os instrumentos cirúrgicos descritos aqui são simétricos com relação às rotações em torno do seu eixo. Tal instrumento pode ser marcado como de quinta dimensão (5D) seguindo a linguagem robótica, que considera a posição 3D no espaço, bem como as rotações em torno de dois dos três eixos de coordenada. Uma extensão para 6D, a dimensão extra sendo uma rotação do instrumento em torno do seu eixo, é facilmente alcançado ou por (1) um único marcador projetado apropriadamente, ou (2) uma colocação apropriada de múltiplos marcadores simples em um padrão geométrico assimétrico. Os presentes princípios podem ser estendidos para acomodar qualquer cinemática e movimentos estruturais.

[055] Em referência novamente a FIG. 2, no bloco 208, o controle de qualidade para as presentes realizações podem assumir a forma de computação e considerar erros nas computações. O sistema e métodos descritos aqui permitem uma consulta on-line da precisão do registro que pode ser provida para o usuário do sistema para controle da qualidade. A precisão do registro pode ser medida como uma diferença no deslocamento relativo da ponta da ferramenta e orientação da ferramenta entre dois ou mais quadros das imagens de ultrassom. Aqui, apresentamos um método para avaliar a ponta, orientação.O erro (e) e':

em que:

é a posição da ponta do robô no sistema de coordenada do robô no momento de tempo t - 1

é a posição da ponta do robô no sistema de coordenada do robô no momento de tempo t (um quadro após t - 1) .

é a posição da ponta do robô no sistema de coordenada ultrassônica (US) no momento de tempo t - 1

é a posição da ponta do robô no sistema de coordenada US no momento de tempo t (um quadro após t - 1).

[056] No bloco 212, o erro pode ser apresentado para o usuário no display 118 (FIG. 1), que pode incluir a tela de US do dispositivo de obtenção de imagem. No bloco 214, o erro pode ser usado para acionar uma chave de segurança ou outro mecanismo do robô e parar a operação de acordo com um limite definido do usuário ou outras condições.

[057]Deve ser entendido que as presentes realizações podem ser empregadas em qualquer cirurgia minimamente invasiva para permitir o registro entre um dispositivo de obtenção de imagem (por exemplo, sonda de ultrassom) e um robô cirúrgico ou outro dispositivo sem a necessidade de registro pré-operatório, fiduciais colocados no paciente, intervenção manual, ou uma sonda de ultrassom fixa. O registro provê o sistema robótico com um mapeamento entre a obtenção de imagem e as coordenadas do robô, assim permitindo que o robô ou outro dispositivo mova o instrumento em direção a qualquer alvo detectado na imagem. Os presentes princípios são prontamente aplicáveis a uma ampla classe de sistemas robóticos ou dispositivos, procedimentos e aplicações.

[058] Em referência a FIG. 9, outro método de registro de acordo com os presentes princípios é ilustrativamente mostrado. No bloco 902, um aspecto de referência de um dispositivo configurável é detectado em uma imagem operacional do dispositivo configurável. Isto pode incluir um eixo longitudinal, uma base de robô, um aspecto distintivo etc. No bloco 904, uma configuração específica do dispositivo configurável é determinada. Por exemplo, os apêndices do robô podem ter uma determinada posição computável a partir de um codificador ou outro dispositivo de medição. A posição do apêndice pode ser computada relativamente a partir da posição ou aspecto de referência. No bloco 906, a configuração específica ou posição do sistema de dispositivo configurável é computada em um sistema de coordenada de obtenção de imagem usando o aspecto de referência. A posição pode incluir uma determinação de todos ou alguns dos aspectos do dispositivo configurável. Por exemplo, três dos quatro apêndices podem prover informação suficiente em uma posição do dispositivo. A configuração específica pode incluir encontrar uma posição do dispositivo configurável usando codificadores para determinar posições dos aspectos móveis do dispositivo configurável no bloco 908.

[059] No bloco 910, a configuração específica pode ser determinada usando sensibilidade de formato, com uma fibra óptica, em que um movimento de uma ou mais peças móveis do dispositivo configurável pode ser determinada usando o feedback da fibra óptica. No bloco 912, a uma ou mais peças móveis podem incluir pelo menos um marcador para designar uma posição nas imagens e determinar a configuração específica usando o pelo menos um marcador. Os marcadores devem estar visíveis nas imagens e podem incluir formatos ou peças em particular para assistir em definir precisamente a configuração ou posição do dispositivo. O marcador pode incluir, por exemplo, um mecanismo vibratório para designar a posição ou uma orientação de pelo menos uma ou mais peças móveis. Isto é particularmente útil na obtenção de imagem ultrassônica.

[060]No bloco 914, uma transformação é determinada entre a configuração específica do dispositivo configurável e o sistema de coordenada de obtenção de imagem para registrar um sistema de coordenada do dispositivo configurável com o sistema de coordenada de obtenção de imagem. A transformação permite a conversão de qualquer posição em um sistema de coordenada para outra. No bloco 916, um registro ou transformação do dispositivo configurável para o sistema de coordenada de obtenção de imagem pode ser atualizado com uma nova imagem tomada pelo sistema de obtenção de imagem. Esta atualização pode ser feita em cada novo quadro ou após um número de quadros predeterminado, conforme necessário. A atualização é feita em tempo real durante um procedimento ou operação. No bloco 918, o dispositivo configurável pode ser desabilitado ou sua operação alterada com base em um erro de registro medido. O erro de registro pode ser computado intermitentemente e empregado para comparação com um limite. Se o limite é excedido, o dispositivo (por exemplo, um robô) é desabilitado até que o registro possa ser restabelecido. Outras ações também podem estar ligadas a computação do erro, tal como, por exemplo, um som de alerta ou uma luz indicatória etc.

[061] Na interpretação das reivindicações anexas, deve ser entendido que:a) a palavra “compreendendo” não exclui a presença de outros elementos ou atos além daqueles listado em uma dada reivindicação;b) a palavra “um” ou “uma” antecedendo um elemento não exclui a presença de uma pluralidade de tais elementos;c) quaisquer sinais de referência nas reivindicações não limitam seu escopo;d) diversos “meios” podem ser representados pelo mesmo item ou hardware ou estrutura ou função implementada em software; ee) nenhuma sequência específica de atos é destinada a ser necessária exceto se indicado especificamente.

[062]Tendo descrito as realizações preferidas para sistemas e métodos para registro online automático entre um robô e imagens (que são destinados a serem ilustrativos e não limitativos), é percebido que modificações e variações podem ser feitas pelos técnicos no assunto à luz dos ensinamentos acima. É, portanto, para ser entendido que as mudanças podem ser feitas nas realizações particulares da revelação revelada que estão dentro do escopo das realizações descritas aqui conforme definidas pelas reivindicações anexas. Tendo assim descrito os detalhes e particularidades requeridas pelas leis de patente, o que é reivindicado e desejado a ser protegido pelas Cartas de Patente é estabelecido nas reivindicações anexas.

Claims

1. SISTEMA DE REGISTRO, caracterizado por compreender:um dispositivo configurável (104) sendo um robô e tendo peças móveis (122) de forma que os movimentos das peças móveis podem ser determinados em relação a uma referência para determinar uma configuração específica do dispositivo configurável;um sistema de obtenção de imagem (110) para prover uma imagem ao vivo de um dispositivo configurável (104) e tendo um display no qual o dispositivo configurável é visível;um dispositivo de processamento (112) configurado para registrar o dispositivo configurável com um sistema de coordenada do sistema de obtenção de imagem com base na configuração específica do dispositivo configurável e com base na configuração específica do dispositivo configurável computada a partir da imagem ao vivo; eum interruptor (126) configurado para desabilitar o robô com base em um erro de registro medido, em que o erro de registro, e , é medido como

em que r piPp (t -1) é a posição da ponta do robô no sistema de coordenada do robô no momento de tempo t -1, r pip (t) é a posição da ponta do robô no sistema de coordenada do robô no momento de tempo t, que é um quadro após t -1 , uptip(t -1) é a posição da ponta do robô no sistema de coordenada de imagem no momento de tempo t -1, e u ptip (t) é a posição da ponta do robô no sistema de coordenada de imagem no momento de tempo t, que é um quadro após t-1.

2. SISTEMA, de acordo com a reivindicação 1, caracterizado pelas peças móveis (122) incluírem links.

3. SISTEMA, de acordo com a reivindicação 2, caracterizado pelos links (122) serem acoplados a articulação (111) e incluindo ainda codificadores (113) configurado para medir o movimento das articulações.

4. SISTEMA, de acordo com a reivindicação 2, caracterizado pelos links (122) incluírem uma fibra óptica de formato sensível (606) e o movimento dos links é medido usando sinais da fibra óptica.

5. SISTEMA, de acordo com a reivindicação 2, caracterizado pelos links (122) incluírem uma parte final e a parte final incluir pelo menos um marcador (108) para designar uma posição nas imagens do sistema de obtenção de imagem.

6. SISTEMA, de acordo com a reivindicação 5, caracterizado por pelo menos um marcador (108) incluir um formato ou configuração para designar a posição ou uma orientação dos links.

7. SISTEMA, de acordo com a reivindicação 5, caracterizado pelo sistema de obtenção de imagem (110) incluir um sistema ultrassônico e pelo menos um marcador incluir um mecanismo vibratório (706) para designar a posição ou uma orientação dos links.

8. SISTEMA, de acordo com a reivindicação 1, caracterizado pelo dispositivo configurável (104) incluir um robô disposto dentro de um corpo vivo e o sistema de obtenção de imagem (110) incluir um sistema ultrassónico que obtém imagem de uma região de interesse no corpo.