BR112012011277B1

BR112012011277B1 - dispositivo de rastreamento do dedo mestre e um método de uso num sistema cirúrgico minimamente invasivo

Info

Publication number: BR112012011277B1
Application number: BR112012011277-5A
Authority: BR
Inventors: Brandon D. Itkowitz; Simon Dimaio; Karlin Y. Bark
Original assignee: Intuitive Surgical Operations, Inc
Priority date: 2009-11-13
Filing date: 2010-11-11
Publication date: 2020-10-13
Also published as: KR20120102647A; EP2480156B1; BR112012011277A2; JP5699158B2; US8543240B2; EP3092969A3; US20110118753A1; JP2013510675A; EP3092969A2; EP2480156A1; JP6000387B2; WO2011060187A1; CN102596086A; JP2015107377A; CN102596086B; KR101762631B1

Abstract

DISPOSITIVO DE RASTREAMENTO DO DEDO MESTRE E UM MÉTODO DE USO NUM SISTEMA CIRÚRGICO MINIMAMENTE INVASIVO. A presente invenção refere-se a um sistema cirúrgico minimamente invasivo, um sistema de rastreamento da mão rastreia a localização de um elemento sensor montado sobre parte de uma mão humana. Um parâmetro de controle do sistema é gerado baseado na localização da parte da mão humana. A operação do sistema cirúrgico minimamente invasivo é controlada usando o parâmetro de controle do sistema. Deste modo, o sistema cirúrgico minimamente invasivo inclui um sistema de rastreamento da mâo. O sistema de rastreamento da mão rastreia uma localização de parte de uma mão humana. Um controlador acoplado ao sistema de rastreamento da mão converte a localização para um parâmetro de controle do sistema, e injeta dentro do sistema cirúrgico minimamente invasivo um comando baseado no parâmetro de controle do sistema.

Description

REFERÊNCIA CRUZADA A PEDIDO RELACIONADO

[0001] Este pedido é uma continuação em parte do Pedido de Patente dos Estados Unidos N° 12/617.937 (apresentado em 13 de novembro de 2009, revelando "Interface do Cirurgião no Lado do Paciente para Instrumento Cirúrgico Teleoperado Minimamente Invasivo"), o qual está incorporado neste documento por referência na sua integridade.

Antecedentes Campo da Invenção

[0002] Aspectos desta invenção estão relacionados ao controle de sistemas cirúrgicos minimamente invasivos, e estão mais particularmente relacionados a usar o movimento da mão de um cirurgião no controle de um sistema cirúrgico minimamente invasivo.

Técnica Relacionada

[0003] Método e técnicas para rastrear posições da mão e gestos são conhecidos. Por exemplo, alguns controladores de jogos de vídeo utilizam entrada de rastreamento de mão. Por exemplo, a plataforma de jogos Nintendo Wii suporta posição sem fio e controles remotos de percepção de orientação. (Wii é uma marca registrada de Nintendo of America Inc. Redmond Washington, U.S.A.). O uso de gestos e outros movimentos físicos como oscilação de um taco ou ondular uma varinha de condão fornecem o elemento de jogo fundamental para esta plataforma. A Sony Playstation® Move tem atributos similares aqueles da plataforma de jogos Nintendo Wii®.

[0004] Uma luva sem fio de captura de dados de movimento CyberGlove® de CyberGlove® Systems inclui dezoito sensores de dados com dois sensores de curva em cada dedo, quatro sensores de abdução e sensores medindo cruzamento do polegar, arco da palma, flexão da munheca, e abdução da munheca. (CyberGlove® é uma marca registrada de CyberGlove® Systems LLC de San José, CA). Quando um sistema de rastreamento de três dimensões é usado com a luva de captura de dados de movimento CyberGlove®, x, y, z, guina-da, inclinação, posição de rotação, e informação de orientação para a mão estão disponíveis. O sistema de captura de movimento para a luva de captura de dados de movimento CyberGlove® tem sido usado na avaliação de protótipo digital, biomecânica em realidade virtual, e animação.

[0005] Outra luva de dados com quarenta sensores é a luva de dados ShapeHand de Measurand Inc. Um sistema ShapeClaw de captura de movimento da mão, portátil e de baixo peso de Measurand Inc.inclui um sistema de fitas flexíveis que capturam movimento do dedo indicador e do polegar junto com posição e orientação da mão e antebraço no espaço.

[0006] Em In-Cheol Kim e Sung-Il Chien, "Análise de Gestos da Trajetória da Mão em 3D Usando Modelos Markov Baseados em Percurso Oculto Composto" Inteligência Aplicada, Vol. 15 No. 2, p.131- 143, Setembro - Outubro 2001, Kim e Chien exploram o uso de entrada de trajetória em três dimensões com um sensor Polhemus para reconhecimento de gestos. Kim e Chien propõem esta forma de entrada devido a que as trajetórias em três dimensões oferecem mais poder de discriminação do que gestos em duas dimensões, os quais são usados predominantemente em abordagens baseadas em vídeo. Para seus experimentos, Kim e Chien fazem uso de um sensor magnético de rastreamento de posição Polhemus conectado à parte posterior de uma luva Fakespace PinchGlove. A PinchGlove fornece um meio para o usuário sinalizar o começo de fim de um gesto enquanto o sensor Polhemus captura a trajetória em três dimensões da mão do usuário.

[0007] Em Elena Sanchez-Nielsen, et al, "Reconhecimento de Gesto da Mão para Interação Homem-Máquina", Jornal de WSCG, Vol. 12, No. 1-3, ISSN 1213-6972, WSCG'2004, 2-6 de Fevereiro de 2003, Plzen, República Checa, um sistema de visão em tempo real é proposto para aplicação dentro de ambientes de interação visual através de reconhecimento de gestos da mão usando equipamento de propósito geral e sensores de baixo custo, como computador pessoal e câmera web. Em Pragati Garg, et al., "Reconhecimento de Gesto da Mão Baseado na Visão" 49 Academia Mundial de Ciência, Engenharia e Tecnologia, 972-977 (2009), uma revisão do reconhecimento de gesto da mão baseado na visão foi apresentada. Uma conclusão apresentada foi que a maioria das abordagens apoia-se em várias suposições subjacentes que podem ser adequadas em um ambiente controlado em laboratório, porém, não se generalizam para ambientes arbitrários. Os autores declaram "Métodos de visão por computador para interfaces de gestos da mão devem ultrapassar o desempenho atual em termos de robustez e velocidade para alcançar interatividade e aplicação prática". Na área médica, reconhecimento de gestos tem sido considerado para leitura estéril de imagens de radiologia. Vide Juan P. Wachs, et al., "Uma Ferramenta baseada no Gesto para Leitura Estéril de Imagens de Radiologia", Jornal da Associação Americana de Informática Médica (2008; 15:321-323, DOI 10.1197/jamia.M24).

Sumário

[0008] Em um aspecto, um sistema de rastreamento da mão em um sistema cirúrgico minimamente invasivo rastreia a localização de parte de uma mão humana. Um parâmetro de controle do sistema cirúrgico minimamente invasivo é gerado baseado na localização da parte da mão humana. A operação do sistema cirúrgico minimamente invasivo é controlada usando o parâmetro de controle do sistema.

[0009] Em um aspecto, elementos sensores montados sobre parte de uma mão humana são rastreados para obter localizações da parte da mão humana. Uma posição e uma orientação de um ponto de controle são geradas baseadas na localização. Teleoperação de um dispositivo em um sistema cirúrgico minimamente invasivo é controlado baseado na posição do ponto de controle e orientação. Em um aspecto, o dispositivo é um instrumento cirúrgico escravo teleoperado (operado à distância). Noutro aspecto, o dispositivo é um substituto virtual apresentado em uma imagem de vídeo de uma página cirúrgica. Exemplos de um substituto virtual incluem um instrumento cirúrgico escravo virtual, uma mão virtual, e um dispositivo virtual de telestration (técnica de ilustração em cirurgia remota).

[0010] Em um aspecto adicional, um parâmetro de fechamento de pega é gerado adicionalmente à posição e orientação do ponto de controle. A pega de um manipulador extremo do instrumento cirúrgico escravo teleoperado é controlada baseado no parâmetro de fechamento da pega.

[0011] Noutro aspecto, o parâmetro de controle do sistema é uma posição e uma orientação de um ponto de controle usado para teleoperação do instrumento de cirúrgico escravo. Ainda em outro aspecto, o parâmetro de controle do sistema é determinado a partir de duas mãos. O parâmetro do sistema de controle está em uma posição e uma orientação de um ponto de controle para uma das duas mãos, e uma posição e uma orientação de um ponto de controle para a outra das duas mãos. Os pontos de controle são usados para teleoperação de um manipulador de câmera endoscópica no sistema cirúrgico minimamente invasivo.

[0012] Em um aspecto, elementos sensores montados sobre parte de uma mão humana são rastreados para obter localizações da parte da mão humana. Uma posição e uma orientação de um segundo ponto de controle são gerados baseados na localização da parte da segunda mão humana. Neste aspecto, tanto o ponto de controle e o segundo ponto de controle são usados no controle da teleoperação.

[0013] Ainda em outro aspecto, elementos sensores montados nos dedos de uma mão humana são rastreados. Um movimento entre os dedos é determinado, e orientação de um instrumento cirúrgico escravo teleoperado em um sistema cirúrgico minimamente invasivo é controlado baseado no movimento.

[0014] Quando o movimento for um primeiro movimento, o controle inclui girar uma ponta de uma munheca de um instrumento cirúrgico escravo ao redor da direção na qual aponta. Quando o movimento é um segundo movimento diferente do primeiro movimento, o controle inclui movimento de guinar a munheca do instrumento cirúrgico escravo.

[0015] Um sistema cirúrgico minimamente invasivo inclui um sistema de rastreamento da mão e um controlador acoplado ao sistema de rastreamento da mão. O sistema de rastreamento da mão rastreia localizações de grande número de elementos sensores montados em parte de uma mão humana. O controlador transforma as localizações para uma posição e uma orientação de um ponto de controle. O controlador envia um comando para mover um dispositivo no sistema cirúrgico minimamente invasivo baseado no ponto de controle. Novamente, em um aspecto, o dispositivo é um instrumento cirúrgico escravo teleoperado, enquanto em outro aspecto, o dispositivo é um substituto virtual apresentado em uma imagem de vídeo de uma página cirúrgica.

[0016] Em um aspecto, o sistema também inclui um dispositivo de rastreamento do dedo mestre incluindo o grande número de sensores de rastreamento. O dispositivo de rastreamento do dedo mestre inclui, além disso, um corpo compressível, um primeiro laço do dedo afixado ao corpo compressível, e um segundo laço do dedo afixado ao corpo compressível. Um primeiro sensor de rastreamento no grande número de sensores de rastreamento é conectado ao primeiro circuito de dedo. Um segundo sensor de rastreamento no grande número de sensores de rastreamento é conectado ao segundo circuito de dedo.

[0017] Portanto, em um aspecto, um sistema cirúrgico minimamente invasivo inclui um dispositivo de rastreamento de um dedo mestre. O dispositivo de rastreamento do dedo mestre inclui um corpo compressível, um primeiro laço do dedo afixado ao corpo compressível, e um segundo laço do dedo afixado ao corpo compressível. Um primeiro sensor de rastreamento é conectado ao primeiro circuito de dedo. Um segundo sensor de rastreamento é conectado ao segundo circuito de dedo.

[0018] O corpo compressível inclui um primeiro extreme, um Segundo extreme, e uma superfície exterior externa. A superfície exterior externa inclui uma primeira parte se estendendo entre o primeiro e segundo extremo, e uma segunda parte, oposta e retirada da primeira parte, estendendo-se entre o primeiro e segundo extremo.

[0019] O corpo compressível tem também um comprimento. O comprimento é selecionado para limitar uma separação entre um primeiro dedo e um segundo dedo da mão humana.

[0020] O primeiro laço do dedo está afixado ao corpo compressível adjacente ao primeiro extremo e se estende aproximadamente a primeira parte da superfície exterior externa. Quando da colocação do primeiro laço do dedo em um primeiro dedo de uma mão humana, uma primeira parte da primeira seção da superfície exterior externa contata o primeiro dedo.

[0021] O segundo laço do dedo está afixado ao corpo compressível adjacente ao segundo extremo e se estende aproximadamente a primeira parte da superfície exterior externa. Quando da colocação do segundo laço do dedo em um segundo dedo da mão humana, uma segunda parte da primeira seção da superfície exterior externa contata o segundo dedo. Quando do movimento do primeiro e segundo dedos em direção um ao outro, o corpo compressível é posicionado entre os dois dedos de forma que o corpo compressível forneça resistência ao movimento.

[0022] Uma espessura do corpo compressível é selecionada de forma que quando uma ponta do primeiro dedo apenas toca uma ponta do segundo dedo, o corpo compressível é menor do que totalmente comprimido. O corpo compressível é configurado para fornecer retroalimentação táctil correspondente a uma força de segurar e um manipulador do extremo de um instrumento cirúrgico escravo teleoperado.

[0023] Em um aspecto, o primeiro e o segundo sensor de rastreamento são sensores eletromagnéticos passivos. Em um aspecto adicional, cada sensor de rastreamento eletromagnético passivo tem seis graus de liberdade.

[0024] Um método de uso do dispositivo de rastreamento do dedo mestre inclui uma primeira localização de um sensor montado sobre um primeiro dedo de uma mão humana e uma segunda localização de outro sensor montado sobre um segundo dedo. Cada localização tem N graus de liberdade, onde N é um número inteiro maior de que zero. A primeira localização e a segunda localização são mapeadas para uma localização de ponto de controle. A localização de ponto de controle tem seis graus de liberdade. Os seis graus de liberdade são menos que ou iguais a 2*N graus de liberdade. A primeira localização e a segunda localização também são mapeadas para um parâmetro tendo um único grau de liberdade. Teleoperação de um instrumento cirúrgico escravo em um sistema cirúrgico minimamente invasivo é controlado baseado na posição do ponto de controle e o parâmetro.

[0025] Em um primeiro aspecto, o parâmetro é uma distância de fechamento da pega. Em um Segundo aspecto, o parâmetro compre- ende uma orientação. Em outro aspecto, N é seis, enquanto em um aspecto diferente, N é cinco.

[0026] Ainda em um aspecto adicional, elementos sensores montados sobre parte de uma mão humana são rastreados para obter grande número de localizações da parte da mão humana. Um gesto da mão de um grande número de gestos de mão conhecidos é selecionado baseado no grande número de localizações. A operação do sistema cirúrgico minimamente invasivo é controlada baseada no gesto da mão.

[0027] O gesto da mão pode ser qualquer um de uma posição de gesto de mão, uma trajetória de gesto de mão, ou uma combinação de posição de gesto de mão e trajetória de gesto de mão. Quando o gesto da mão é uma posição do gesto da mão e o grande número de gestos de mão conhecidos inclui um grande número de posições de gesto de mão conhecidas, uma interface de usuário do sistema cirúrgico minimamente invasivo é controlado baseado na posição do gesto da mão.

[0028] Além disso, em um aspecto, quando o gesto da mão é posição do gesto da mão, a seleção de gesto da mão inclui geração de um conjunto de características observadas a partir do grande número de localizações rastreadas. O conjunto de características observadas é comparado com conjuntos de características do grande número de posições de gestos de mão conhecidos. Um dos gestos de mão conhecidos é selecionado como a posição do gesto de mão. A posição de gesto de mão selecionada é mapeada para um comando do sistema, e o comando do sistema é disparado no sistema cirúrgico minimamente invasivo.

[0029] Ainda em um aspecto adicional, quando o gesto de mão inclui uma trajetória de gesto de mão, a interface do usuário do sistema cirúrgico minimamente invasivo é controlada baseada na trajetória do gesto da mão.

[0030] No sistema cirúrgico minimamente invasivo com o sistema de rastreamento de mão e o controlador, o controlador transforma as localizações para um gesto de mão. O controlador envia um comando para modificar um modo de operação do sistema cirúrgico minimamente invasivo baseado no gesto da mão.

[0031] Ainda em outro aspecto, um elemento sensor montado sobre parte de uma mão humana é rastreado para obter uma localização da parte da mão humana. Baseado na localização, o método determina se uma posição da parte da mão humana está dentro de uma distância limiar de uma posição de uma pega de uma ferramenta mestra de um sistema cirúrgico minimamente invasivo. A operação do sistema cirúrgico minimamente invasivo é controlada baseada em um resultado da determinação. Em um aspecto, a teleoperação de um instrumento cirúrgico escravo teleoperado acoplado à pega da ferramenta mestra é controlada baseada em um resultado da determinação. Em outro aspecto, exibição de uma interface de usuário, ou exibição de um substituto visual é controlada baseada no resultado da determinação.

[0032] Em um aspecto, a posição da parte da mão humana é especificada por uma posição do ponto de controle. Em outro aspecto, a posição da parte da mão humana é uma posição de um dedo indicador.

[0033] Um sistema cirúrgico minimamente invasivo inclui um sistema de rastreamento da mão. O sistema de rastreamento da mão rastreia uma localização de parte de uma mão humana. Um controlador usa a localização na determinação se uma mão de um cirurgião está próxima o suficiente a uma pega de ferramenta mestra para permitir uma operação em particular do sistema cirúrgico minimamente invasivo.

[0034] Um sistema cirúrgico minimamente invasivo inclui também um controlador acoplado ao sistema de rastreamento da mão. O con- trolador converte a localização para um parâmetro de controle do sistema, e injeta dentro do sistema cirúrgico minimamente invasivo um comando baseado no parâmetro de controle do sistema.

BREVE DESCRIÇÃO DOS DESENHOS

[0035] A figura 1 é uma vista diagramática em alto nível de um sistema cirúrgico minimamente invasivo teleoperado incluindo um sistema de rastreamento da mão.

[0036] As figuras 2A a 2G são exemplos de várias configurações de uma pega de ferramenta mestra rastreada por mão usada para controlar um instrumento cirúrgico escravo teleoperado do sistema cirúrgico minimamente invasivo teleoperado da figura 1.

[0037] As figuras 3A a 3D são exemplos de posições de gesto da mão usadas para controlar modos do sistema no sistema cirúrgico minimamente invasivo teleoperado da figura 1.

[0038] As figuras 4A a 4C são exemplos de trajetórias de gesto da mão que também são usadas para controlar modos do sistema no sistema cirúrgico minimamente invasivo teleoperado da figura 1.

[0039] A figura 5 é uma ilustração de colocação de marcadores de padrão de comparação para rastreamento de mão em um sistema de rastreamento a base de câmera.

[0040] As figuras 6A e 6B são diagramas mais detalhados da console do cirurgião da figura 1, e incluem exemplos de sistemas de coordenadas utilizados em rastreamento manual pelo sistema cirúrgico minimamente invasivo teleoperado da figura 1.

[0041] A figura 7 é uma ilustração mais detalhada de uma pega de ferramenta mestra de vestir a mão e as localizações e sistemas de coordenadas usadas em rastreamento manual pelo sistema cirúrgico minimamente invasivo teleoperado da figura 1.

[0042] A figura 8 é um diagrama de fluxo de processo de um processo usado no sistema de rastreamento para rastrear dedos da mão e usados para gerar dados para teleoperação de um instrumento cirúrgico escravo no sistema cirúrgico minimamente invasivo teleoperado figura 1.

[0043] A figura 9 é um diagrama de fluxo de processo mais detalhado do processo DADOS DE LOCALIZAÇÃO NO MAPA PARA PONTO DE CONTROLE E PARAMETRO DA PEGA da figura 8.

[0044] A figura 10 é um diagrama de fluxo de processo de um processo usado no sistema de rastreamento para reconhecer posturas de gesto manual e trajetórias de gesto da mão.

[0045] A figura 11 é um diagrama de fluxo de processo de um processo usado no sistema de rastreamento para detecção da presença da mão.

[0046] A figura 12 é uma ilustração de um exemplo de um dispositivo de rastreamento de um dedo mestre.

[0047] A figura 13 é uma ilustração de uma imagem de vídeo, apresentada em um dispositivo de apresentação visual, incluindo um visual substituto, o qual neste exemplo inclui um instrumento fantasma virtual, e um instrumento cirúrgico escravo teleoperado.

[0048] A figura 14 é uma ilustração de uma imagem de vídeo, apresentada em um dispositivo de apresentação visual, a qual é um exemplo que inclui um par de mãos virtuais, e instrumentos cirúrgicos escravos teleoperados.

[0049] A figura 15 é uma ilustração de uma imagem de vídeo, apresentada em um dispositivo de apresentação visual, incluindo visuais substitutos, o qual neste exemplo inclui um dispositivo virtual de telestration (técnica de ilustração em cirurgia remota) e um instrumento fantasma virtual, e instrumentos cirúrgicos escravos teleoperados.

[0050] Nos desenhos, o primeiro dígito de um número de referência de três números indica o número da figura na qual o elemento com esse número de referência apareceu primeiro e os dois primeiros dígi- tos de um número de referência de quatro dígitos indicam o número da figura da figura na qual o elemento com esse número de referência apareceu primeiro.

DESCRIÇÃO DETALHADA

[0051] Como usado neste documento, uma localização inclui uma posição e uma orientação.

[0052] Como usado neste documento, um gesto da mão, algumas vezes chamado gesto, inclui uma posição de gesto da mão, uma trajetória de gesto de mão, e uma combinação de posição do gesto da mão e trajetória de gesto de mão.

[0053] Aspectos desta invenção aumentam a capacidade de controle de sistemas de sistemas cirúrgicos minimamente invasivos, por exemplo, o da Vinci® sistema cirúrgico minimamente invasivo teleope- rado comercializado por Intuitive Surgical, Inc. de Sunnyvale, Califórnia, pela utilização de informação de localização da mão no controle do sistema cirúrgico minimamente invasivo. Uma localização medida de um ou mais dedos da mão é usada para determinar um parâmetro de controle do sistema que por sua vez é usado para ativar um comando do sistema no sistema cirúrgico. Os comandos do sistema dependem da localização da pessoa cuja localização de mão está sendo rastreada, quer dizer, se a pessoa estiver no console de um cirurgião.

[0054] Quando as localizações medidas são para dedos de uma mão de uma pessoa não no console do cirurgião, os comandos do sistema incluem um comando para mudar a orientação de uma parte de um instrumento cirúrgico escravo teleoperado baseado em uma combinação de orientação de mão e movimento relativo de dois dedos de uma mão, e um comando para mover uma ponta de um instrumento cirúrgico escravo teleoperado de forma que o movimento da ponta segue o movimento de uma parte da mão. Quando as localizações me-didas são para os dedos de uma mão de uma pessoa no console do cirurgião, os comandos do sistema incluem comandos permitindo ou evitando o movimento de um instrumento cirúrgico escravo para continuar a seguir o movimento da pega de uma ferramenta mestra. Quando as localizações medidas são para dedos de uma mão de uma pessoa não no console do cirurgião, ou para dígitos de uma mão de uma pessoa em um console do cirurgião, os comandos do sistema incluem comandar o sistema, ou uma parte do sistema para tomar uma ação baseada em uma posição do gesto da mão, e comandar o sistema ou uma parte do sistema para tomar uma ação baseada na trajetória do gesto da mão.

[0055] A figura 1 é uma vista diagramática em alto nível de um sistema cirúrgico minimamente invasivo teleoperado 100, por exemplo, o Sistema Cirúrgico da Vinci®, incluindo um sistema de rastreamento da mão. Existem outras partes, cabos, etc. associados com o Sistema Cirúrgico da Vinci® , porém, estes não são ilustrados na figura 1 para evitar desvirtuar a revelação. Informação adicional com relação a sistemas cirúrgicos minimamente invasivos pode ser encontrada, por exemplo, nos Pedidos de Patente dos Estados Unidos N° 11/762,165 (apresentado em 13 de Junho de 2007, revelando "Sistema Cirúrgico Minimamente Invasivo"), e Patente dos Estados Unidos N° 6.331.181 (emitida em 18 de Dezembro de 2001, revelando "Ferramentas Cirúrgicas Robóticas, Arquitetura de Dados e Uso"), ambas as quais estão incorporadas neste documento por referência. Vide também, por exemplo, as Patentes dos Estados Unidos N° 7.155.315 (apresentada em 12 de Dezembro de 2005; revelando "Controle Referenciado por Câmera Em um Aparelho Cirúrgico Minimamente Invasivo") e 7.574.250 (apresentada em 4 de Fevereiro de 2003, revelando "Aparelho de Transferência de Imagem e Método para um Sistema Telerobó- tico"), as quais estão ambas incorporadas neste documento por referência.

[0056] Neste exemplo, o sistema 100 inclui um carro 110 com um grande número de manipuladores.

[0057] Cada manipulador e o instrumento cirúrgico escravo teleoperado controlado por esse manipulador pode ser unido e separado dos manipuladores da ferramenta mestra no console do cirurgião 185, e, além disso, eles podem ser unidos e separados da pega de rastreamento 170 do dedo mestre mecanicamente não embasada não ener- gizada, algumas vezes chamada pega de rastreamento 170 do dedo mestre.

[0058] Um endoscópio estereoscópico 112 montado sobre o manipulador 113 fornece uma imagem do local da cirurgia 103 dentro do paciente 111 que é exibida na tela 187 e na tela no console do cirurgião 185. A imagem inclui imagens de qualquer um dos dispositivos cirúrgicos escravos no campo de visão do endoscópio estereoscópico 112. As interações entre os manipuladores da ferramenta mestra no console do cirurgião 185, os dispositivos cirúrgicos escravos e endoscópio estereoscópico 112 são os mesmos como em um sistema conhecido e assim são conhecidos para aqueles versados na área.

[0059] Em um aspecto, o cirurgião 181 move pelo menos um dedo da mão do cirurgião, o qual por sua vez faz um sensor na pega de rastreamento 170 do dedo mestre mudar de localização. O transmissor de rastreamento da mão 175 fornece um campo de forma que a nova posição e orientação do dedo são percebidas pela pega de rastreamento 170 do dedo mestre. A nova posição percebida e orientação são fornecidas ao controlador de rastreamento da mão 130.

[0060] Em um aspecto, como explicado mais completamente abaixo, o controlador de rastreamento da mão 130 mapeia a posição percebida e orientação para uma posição de ponto de controle e uma orientação do ponto de controle em um sistema de coordenadas oculares do cirurgião 181. O controlador de rastreamento de mão 130 envia esta informação de localização para o sistema controlador 140 que por sua vez envia um comando do sistema ao instrumento cirúrgico escravo teleoperado unido à pega de rastreamento 170 do dedo mestre. Como explicado mais completamente abaixo, usando a pega de rastreamento 170 do dedo mestre, o cirurgião 181 pode controlar, por exemplo, a pega de um manipulador extremo do instrumento cirúrgico escravo teleoperado, assim como o giro e a guinada de uma munheca unida ao manipulador do extremo.

[0061] Em outro aspecto, rastreamento da mão de pelo menos uma parte da mão do cirurgião 181 ou da mão do cirurgião 180 é usada pelo controlador de rastreamento da mão 130 para determinar se uma posição do gesto da mão é feita pelo cirurgião, ou uma combinação de uma posição do gesto da mão e uma trajetória do gesto da mão é feita pelo cirurgião. Cada posição do gesto da mão e cada trajetória combinada com uma posição do gesto da mão são mapeadas para um comando de sistema diferente. Os comandos do sistema controlam, por exemplo, as mudanças do modo do sistema e controlam outros aspectos do sistema cirúrgico 100 minimamente invasivo.

[0062] Por exemplo, no lugar de usar pedais e comutadores como em um conhecido sistema cirúrgico minimamente invasivo, um gesto da mão, qualquer posição do gesto da mão ou trajetória do gesto da mão, é usada (i) para iniciar o seguinte entre movimentos da pega da ferramenta mestra e o instrumento cirúrgico escravo teleoperado, (ii) para ativação da embreagem mestra (a qual desconecta o controle mestre do instrumento escravo), (iii) para controle da câmera endos- cópica (a qual permite o mestre controlar o movimento do endoscópio ou recursos, tais como foco ou zoom eletrônico), (iv) para troca de braço robótico (a qual troca um controle mestre particular entre dois instrumentos escravos), e (v) para troca de TILEPRO™, (a qual alterna a tela de janelas de vídeo auxiliares na tela do cirurgião). (TILEPRO is a trademark of Intuitive Surgical, Inc. of Sunnyvale, CA, USA.)

[0063] Quando existem somente duas pegas de ferramenta mestra no sistema 100 e o cirurgião 180 precisa controlar o movimento de um instrumento cirúrgico diferente dos dois instrumentos cirúrgicos escravos teleoperados no lugar de usar um gesto de primeira mão. O cirurgião então associa um ou ambas as pegas das ferramentas mestras com outros instrumentos cirúrgicos escravos mantidos por outros braços manipuladores pelo uso de um gesto da mão diferente que nesta implementação fornece associação de troca da pega da ferramenta mestra para outro instrumento cirúrgico escravo teleoperado.

[0064] O cirurgião 181 realiza um procedimento equivalente quando existem somente duas pegas de rastreamento de dedo mestre no sistema 100.

[0065] Ainda em outro aspecto, uma unidade de rastreamento da mão 186 montada no console do cirurgião 185 rastreia pelo menos uma parte da mão do cirurgião 180 e envia a informação da localização percebida para o controlador dede rastreamento da mão 130. O controlador de rastreamento da mão 130 determina quando a mão do cirurgião está próxima o suficiente da pega da ferramenta mestra para permitir ao sistema o seguinte, por exemplo, o movimento do instrumento cirúrgico escravo que segue o movimento da pega da ferramenta mestra. Como explicado mais completamente abaixo, em um aspecto, o controlador de rastreamento da mão 130 determina a posição da mão do cirurgião e a posição da correspondente pega da ferramenta mestra. Se a diferença nas duas posições estiver dentro de uma distância predeterminada, por exemplo, menos do que uma separação limiar, o seguinte é permitido, e de outra forma é inibido. Deste modo, a distância é usada como uma medida de presença da mão do cirurgião com respeito à pega da ferramenta mestra no console do cirurgião 185. Em outro aspecto, quando a posição da mão do cirurgião relativa à posição da pega da ferramenta mestra for menor que a separação limiar, a exibição de uma interface de usuário em um monitor é inibida, por exemplo, desligada em um dispositivo de apresentação visual. De modo oposto, quando a posição da mão do cirurgião relativa à posição da pega da ferramenta mestra for maior do que a separação limiar, a interface do usuário é exibida no dispositivo de apresentação visual, por exemplo, ligando-o.

[0066] A detecção de presença da mão do cirurgião tem sido um problema antigo. Detecção de presença tem sido tentada muitas vezes usando diferentes tecnologias de percepção de contato, tais como comutadores capacitivos, sensores de pressão, e comutadores mecânicos. Todavia, estas abordagens são inerentemente problemáticas porque os cirurgiões têm preferências diferentes sobre como e onde eles seguram a pega da ferramenta mestra. O uso da distância como uma medida de presença é vantajoso devido a que este tipo de detecção de presença permite ao cirurgião tocar a pega da ferramenta mestra levemente e então quebrar momentaneamente o contato físico para ajustar a pega da ferramenta mestra, porém, isso não compele como o cirurgião segura a pega da ferramenta mestra com seus dedos.

[0067] Controle do Instrumento Cirúrgico por meio do Rastreamento da Mão

[0068] Um exemplo de pega de rastreamento 270 do dedo mestre mecanicamente não embasada não energizada, chamada algumas vezes de pega mestra de rastreamento de dedo 270, está ilustrada nas figuras 2A a 2D em configurações diferentes que são descritas mais completamente abaixo. Pega mestra de rastreamento de dedo 270 inclui sensores montados nos dedos 211, 212, algumas vezes citados como sensores montados no dedo e polegar 211, 212, os quais independentemente rastreiam a localização (posição e orientação em um exemplo) de cada um de uma ponta de dedo indicador 292B e uma ponta de polegar 292A, quer dizer, rastrear a localização de dois dedos da mão do cirurgião. Deste modo, a localização da própria mão é rastreada como oposta ao rastreamento da localização das pegas da ferramenta mestra em um sistema cirúrgico minimamente invasivo.

[0069] Em um aspecto, os sensores fornecem rastreamento de seis graus de liberdade (três de translação e três de rotação) para cada dedo da mão no qual o sensor está montado. Em outro aspecto, os sensores fornecem rastreamento de cinco graus de liberdade (três de translação e três de rotação) para cada dedo da mão no qual o sensor está montado.

[0070] Ainda em outro aspecto, os sensores fornecem rastreamento de três graus de liberdade (três de translação) para cada dedo da mão no qual um sensor está montado. Quando dois dedos estão cada um rastreado com três graus de liberdade, o total de seis graus trans- lacionais de liberdade são suficientes para controlar um instrumento cirúrgico escravo que não inclui um mecanismo de munheca.

[0071] Um conector acolchoado de espuma 210 está conectado a sensores montados 211, 212 entre dedo e polegar. O conector 210 compele o polegar 292 A e o dedo indicador 292B, que dizer, os dedos da mão 291R, a estarem dentro de uma distância fixa, isto é, existe uma distância de separação máxima entre os dedos da mão 291R na qual a pega de rastreamento do dedo mestre 270 é montada. Como o polegar 292 A e o dedo indicador 292B sâo levados desde a separação máxima (figura 2A) para uma configuração completamente fechada (figura 2D), o acolchoamento fornece retroalimentação positiva para ajudar ao cirurgião 181 a controlar a força da pega e um manipulador do extremo de um instrumento cirúrgico escravo teleoperado conectado à pega de rastreamento do dedo mestre 170.

[0072] A posição ilustrada na figura 2A com o polegar 292 A e dedo indicador 292B separado pela distância máxima permitida pela pe- ga de rastreamento do dedo mestre 270, a força da pega é um mínimo. De modo oposto, na posição ilustrada na figura 2D onde o polegar 292A e dedo indicador 292 estão tão próximos quanto permitido pelo conector 210, quer dizer, separados por uma distância mínima permitida pela pega de rastreamento do dedo mestre 270, a força da pega é um máximo. As figuras 2B e 2C representam posições que são mape-adas para forças de pega intermediárias.

[0073] Conforme explicado mais completamente abaixo, as localizações (posições e orientações) do polegar 292 A e dedo indicador 292B nas figuras 2A a 2D são mapeadas para um parâmetro de fechamento de pega, por exemplo, um valor de fechamento de pega normalizado que é usado para controlar a pega do instrumento cirúrgico escravo teleoperado conectado à pega de rastreamento do dedo mestre 270. Especificamente, as localizações percebidas do polegar 292 A e dedo indicador 292B são mapeadas para o parâmetro de fechamento da pega pelo controlador de rastreamento da mão 130.

[0074] Assim, uma localização de uma parte da mão do cirurgião 181 é rastreada. Baseado na localização rastreada, um parâmetro de controle do sistema de um sistema cirúrgico minimamente invasivo 100, quer dizer, um parâmetro de fechamento de uma pega, é gerado pelo controlador de rastreamento da mão 130, e alimentado ao controlador do sistema 140. O controlador do sistema 140 usa o parâmetro de fechamento da pega na geração de um comando do sistema que é enviado ao instrumento cirúrgico escravo teleoperado. O comando do sistema instrui o instrumento cirúrgico teleoperado para configurar um manipulador do extremo para ter um fechamento da pega correspondente ao parâmetro de fechamento da pega. Portanto, o sistema cirúrgico minimamente invasivo 100 usa o parâmetro de fechamento da pega para controlar a operação do instrumento cirúrgico escravo teleoperado do sistema cirúrgico minimamente invasivo 100.

[0075] Também, as localizações (posições e orientações) do polegar 292 A e dedo indicador 292B nas figuras 2A a 2D são mapeadas para uma posição do ponto de controle e uma orientação do ponto de controle pelo controlador de rastreamento da mão 130. A posição do ponto de controle e a orientação do ponto de controle estão mapeadas em um sistema de coordenadas oculares para o cirurgião 181, e então fornecidas ao controlador do sistema 140 por meio de um sinal de comando. A posição do ponto de controle e a orientação do ponto de controle no sistema de coordenadas oculares são usadas pelo controlador do sistema 140 para teleoperação do instrumento cirúrgico escravo conectado à pega de rastreamento do dedo mestre 170.

[0076] Novamente, uma localização de uma parte da mão do cirurgião 181 é rastreada. Baseado na localização rastreada, outro parâmetro de controle do sistema de um sistema cirúrgico minimamente invasivo 100, a posição do ponto de controle e orientação é gerado pelo controlador de rastreamento da mão 130. O controlador do rastreamento da mão 130 transmite um sinal de comando com a posição do ponto de controle e orientação para o controlador do sistema 140. O controlador do sistema 140 usa a posição do ponto de controle e orientação na geração de um comando do sistema que é enviado ao instrumento cirúrgico escravo teleoperado. O comando do sistema instrui ao instrumento cirúrgico teleoperado para posicionar o instrumento cirúrgico teleoperado baseado na posição do ponto de controle e orientação. Portanto, o sistema cirúrgico minimamente invasivo 100 usa a posição do ponto de controle e orientação para controlar a operação do instrumento cirúrgico escravo teleoperado do sistema cirúrgico minimamente invasivo 100.

[0077] Além disso para a determinação do fechamento da pega baseada nas posições dos sensores 211, 212, outro movimento relativo entre o dedo indicador 292B e polegar 292 A é usado para controlar o movimento de guinada e o movimento de giro do instrumento cirúrgico escravo. Esfregando juntos transversalmente o dedo 292B e o polegar 292 A como se girassem um eixo, o qual é representado pelas setas (figura 2E) ao redor de um eixo imaginário 293, produz o giro da ponta do instrumento cirúrgico escravo, enquanto desliza o dedo indicador e polegar para cima e para trás longitudinalmente ao longo do outro, o qual é representado pelas setas (figura 2F) junto a um eixo na direção apontada representada pela seta 295, produz movimento de guinada junto ao eixo-X do instrumento cirúrgico escravo. Isto é conseguido pelo mapeamento do vetor entre as posições da ponta do dedo indicador e a ponta do polegar para definir o eixo-X da orientação do ponto de controle. A posição do ponto de controle permanece relativamente estacionária visto que o dedo e polegar estão cada um deslizado de uma maneira simétrica junto ao eixo 295. Enquanto os movimentos do dedo e polegar não são movimentos completamente simétricos, a posição ainda permanece suficientemente estacionária que o usuário pode corrigir facilmente qualquer perturbação que possa ocorrer.

[0078] Novamente, localizações de uma parte da mão do cirurgião 181 são rastreadas. Baseado nas localizações rastreadas, ainda um outro parâmetro de controle do sistema, quer dizer, o movimento relativo entre dois dedos da mão do cirurgião 291R, é gerado pelo controlador 130 do rastreamento da mão.

[0079] O controlador do rastreamento da mão 130 converte o movimento relativo em uma orientação para o instrumento cirúrgico escravo teleoperado conectado à pega de rastreamento do dedo mestre 170. O controlador de rastreamento da mão 130 envia um sinal de comando com a orientação ao controlador do sistema 140. Enquanto esta orientação é uma orientação absoluta, o controlador do sistema de mapeamento 140, em um aspecto, usa esta entrada com movimen- to lento durante a teleoperação na mesma matéria como uma entrada de orientação de qualquer outro cardã passivo de pega de ferramenta mestra. Um exemplo de movimento lento é descrito em um Pedido de Patente dos Estados Unidos N° 12/495.213 comumente designado (apresentado em 30 de junho de 2009, revelando "Movimento Lento Para Alinhamento Mestre de Um Instrumento Cirúrgico Teleoperado"), o qual está incorporado integralmente neste documento por referência.

[0080] O controlador do sistema 140 usa a orientação na geração de um comendo do sistema que é enviado para o instrumento cirúrgico escravo teleoperado. O comando do sistema instrui ao instrumento cirúrgico teleoperado para girar o instrumento cirúrgico teleoperado baseado na orientação. Portanto, o sistema cirúrgico minimamente invasivo 100 usa o movimento entre os dois dedos para controlar a operação do instrumento cirúrgico escravo teleoperado do sistema cirúrgico minimamente invasivo 100.

[0081] Quando o movimento for um primeiro movimento, por exemplo, esfregamento transversal do dedo 292B e polegar 292A como girando um eixo, a orientação é um giro, e o comando do sistema resulta em um giro da ponta da munheca do instrumento cirúrgico escravo junto a sua direção indicada. Quando o movimento for um segundo movimento diferente do primeiro movimento, por exemplo, deslizamento do dedo indicador e polegar para cima e para trás longitudi-nalmente ao longo um do outro (figura2F), a orientação é uma guinada, e o comando do sistema resulta em um movimento de guinada da munheca do instrumento cirúrgico escravo.

[0082] Ainda em outro aspecto, quando cirurgião muda o modo de operação do sistema para um modo de reconhecimento de gestos, ambas as mãos são rastreadas e pontos de controle e orientações para ambas as mãos são gerados baseados nas posições e orientações percebidas pelos sensores montados nas mãos em um aspecto. Por exemplo, conforme ilustrado na figura 2G, as pontas do polegar e dedo indicador de cada mão são tocadas juntas para criar uma forma similar a um círculo. A posição percebida de cada mão é mapeada pelo controlador de rastreamento da mão 130 para um par de posições de ponto de controle. O par de pontos de controle é enviado com um evento da câmera do sistema de controle para o controlador do sistema 140.

[0083] Assim, neste aspecto, uma localização de uma parte de cada mão do cirurgião 181 é rastreada.

[0084] Outro parâmetro de controle do sistema do sistema cirúrgico minimamente invasivo 100, quer dizer, o par de posições de pontos de controle, baseado na localização rastreada é gerado pelo controlador de rastreamento da mão 130. O controlador do rastreamento da mão 130 envia o par de posições de ponto de controle com o evento da câmera do sistema de controle para o controlador do sistema 140.

[0085] Em resposta ao evento da câmera do sistema de controle, o controlador do sistema 140 gera um comando da câmera do sistema de controle baseado no par de posições do ponto de controle. O comando da câmera do sistema de controle é enviado para um manipulador da câmara endoscópica teleoperada no sistema cirúrgico minimamente invasivo 100. Portanto, o sistema cirúrgico minimamente invasivo 100 usa o par de posições de pontos de controle para controlar a operação do manipulador da câmara endoscópica teleoperada do sistema cirúrgico minimamente invasivo 100.

[0086] Controle do sistema via Posições do Gesto da Mão e Trajetórias do Gesto da Mão

[0087] Neste aspecto, depois de ser colocado em um modo de operação de detecção de gesto, o controlador de rastreamento da mão 130 detecta uma posição de gesto da mão, ou uma posição de gesto da mão e uma trajetória do gesto da mão. O controlador 130 mapeia posições do gesto da mão para certos comandos de controle do modo do sistema, e similarmente o controlador 130 mapeia trajetórias do gesto da mão para outros comandos de controle no modo do sistema. Observe que o mapeamento de posições e trajetórias é independente e assim este é diferente de, por exemplo, rastreamento de linguagem de sinais manuais. A capacidade para gerar comandos do sistema e para controlar o sistema 100 usando posições do gesto da mão e trajetórias, No lugar de chaves de manipulação, em numerosos pedais, etc. como conhecido em sistemas cirúrgicos minimamente invasivos, fornece grande facilidade de uso do sistema 100 para o cirurgião.

[0088] Quando um cirurgião está de pé, o uso de posições do gesto da mão e trajetórias do gesto da mão para controlar o sistema 100 torna desnecessário para o cirurgião tirar os olhos do cirurgião fora do paciente e/ou olhar ou da tela do monitor e buscar um pedal ou uma chave quando o cirurgião quiser mudar o modo do sistema. Finalmente, a eliminação das diversas chaves e pedais reduz a área útil exigida para o sistema cirúrgico teleoperado minimamente invasivo.

[0089] O conjunto particular de posições do gesto da mão e trajetórias do gesto da mão usadas para controlar o sistema cirúrgico minimamente invasivo 100 não é crítico na medida em que posição do gesto da mão e cada trajetória do gesto da mão são inequívocas. Especificamente, uma posição do gesto da mão não deve ser capaz de ser interpretada pelo controlador de rastreamento da mão 130 como uma ou outra posição mais do gesto da mão no conjunto de posições, e uma trajetória do gesto da mão não deve ser interpretada como mais que uma trajetória do gesto da mão no conjunto de trajetórias. Deste modo, as posições do gesto da mão e as trajetórias do gesto da mão tratadas abaixo são somente ilustrativas e não se destinam a ser limi- tantes.

[0090] As figuras 3A a 3D são exemplos de posições do gesto da mão 300A a 300D, respectivamente.

[0091] As figuras 4A a 4C são exemplos de trajetórias do gesto da mão. Observar, por exemplo, que a configuração na figura 2A aparece similar àquela na figura 3A, mas, o modo de operação do sistema cirúrgico minimamente invasivo 100 é diferente quando as duas configurações são usadas.

[0092] Na figura 2A, o instrumento cirúrgico escravo minimamente invasivo teleoperado é conectado à pega de rastreamento do dedo mestre 170 e o sistema 100 está no seguinte modo de forma que o movimento do instrumento cirúrgico escravo minimamente invasivo teleoperado segue o movimento rastreado da mão do cirurgião. Nas figuras 3A a 3D e 4A a 4C, o cirurgião coloca o sistema 100 no modo de reconhecimento de gestos, e então faz uma das posições do gesto da mão ilustradas ou trajetórias do gesto da mão. As posições do gesto da mão e trajetórias do gesto da mão são usadas no controle dos modos do sistema e não são usadas no seguinte modo de operação. Por exemplo, os modos do sistema controlados com posições do gesto da mão são para habilitar, desabilitar e alternar entre elementos visuais, para apagar o elemento visual, e para desenhar/apagar a telestra- tion (técnica de ilustração em cirurgia remota).

[0093] Na posição do gesto da mão 300 A (figura 3A), polegar 292 A e dedo indicador 292 são separados além do limiar da embreagem mestra, por exemplo, o afastamento entre os dois dedos da mão 291R é maior do que 115 mm. A posição do gesto da mão 300B (figura 3B) com dedo indicador 292B estendido e polegar 292 A enrolado é usado para sinalizar ao controlador de rastreamento da mão 130 que o cirurgião está desenhando uma trajetória do gesto da mão (Vide as figuras 4A e 4B). Posição do gesto da mão 300C (figura 3C) com polegar 292 A acima e dedo indicador 292B enrolado é usado para ligar uma interface de usuário e para alternar entre modos na interface do usuário. Posição do gesto da mão 300D (figura 3D) com polegar 292 A abaixo e dedo indicador 292B enrolado é usado para ligar a interface de usuário. Outras posições do gesto da mão podem incluir uma posição do gesto de "OK" da mão, uma posição do gesto da mão em forma de L.

[0094] O controlador de rastreamento da mão 130, em um aspecto, usa um recurso multidimensional para reconhecer e identificar uma posição do gesto da mão. Inicialmente, um grande número de posições de gesto da mão é especificado. A seguir, é especificado um conjunto de atributos que inclui um grande número de recursos. O conjunto de recursos está projetado para identificar unicamente cada posição do gesto da mão no grande número de posições.

[0095] Um processo de reconhecimento de posição do gesto da mão é treinado usando uma base de dados de treinamento. A base de dados de treinamento inclui um grande número de instâncias de cada uma das posições do gesto da mão. O grande número de instâncias inclui vetores de atributo para posições feitas por várias pessoas diferentes. Um conjunto de atributos é gerado para cada uma das instâncias na base de dados de treinamento. Estes conjuntos de atributos são usados para treinamento de um classificador Bayesiano multidimensional, conforme explicado mais completamente abaixo.

[0096] Quando o cirurgião 180 precisar no modo de operação de gesto da mão, o cirurgião ativa uma chave, por exemplo, pressiona um pedal, e então faz uma posição do gesto da mão com pelo menos uma mão. Observar que enquanto este exemplo exige um simples pedal, ele permite a eliminação dos outros pedais na bandeja dos pés do sistema cirúrgico minimamente invasivo conhecido e ainda assim tem as vantagens descritas acima. A unidade de rastreamento da mão 186 envia sinais representando as posições e orientações percebidas do polegar e dedo indicador da mão do cirurgião ou mãos para o controlador de rastreamento das mãos 130.

[0097] Usando os dados de rastreamento para os dígitos da mão do cirurgião, o controlador do rastreamento da mão 130 gera um conjunto de recursos observados. O controlador do rastreamento da mão 130 então usa o classificador Bayesiano multidimensional treinado e uma distância Mahalanobis para determinar a possibilidade, quer dizer, probabilidade, que o conjunto de atributos observados seja um conjunto de atributos de uma posição do gesto da mão no grande número de posições. Isto é feito para cada uma das posições do gesto da mão no grande número de poses.

[0098] A posição do gesto da mão no grande número de posições que é selecionado pelo controlador de rastreamento da mão 130 como a posição do gesto da mão observada é aquela tendo a menor distância Mahalanobis se a distância Mahalanobis for menor do que a distância Mahalanobis máxima na base de dados de treinamento para essa posição do gesto da mão. A posição selecionada do gesto da mão é mapeada para um evento do sistema. O controlador de rastreamento da mão 130 injeta o evento do sistema para o controlador do sistema 140.

[0099] O controlador do sistema 140 processa o evento do sistema e emite um comando do sistema. Por exemplo, se uma posição do gesto da mão 300C (figura 3C) for detectada, o controlador do sistema 140 envia um comando do sistema ao controlador da tela 150 para ligar a interface do usuário. Em resposta, o controlador da tela 150 executa pelo menos uma parte do módulo da interface do usuário 155 no processador 151 para gerar uma interface do usuário na tela do console do cirurgião 185.

[00100] Assim, neste aspecto, um sistema cirúrgico minimamente invasivo 100 rastreia uma localização de parte de uma mão humana. Baseado na localização rastreada, um parâmetro de controle do sistema é gerado, e.g., uma posição do gesto da mão é selecionada. A posição do gesto da mão é usada para controlar a interface do usuário de um sistema cirúrgico minimamente invasivo 100, por exemplo, a interface do usuário na tela do console do cirurgião 185.

[00101] O controle da interface do usuário é somente ilustrativo é não se destina a ser limitante. Um gesto da mão pode ser usado para realizar qualquer uma das mudanças de modo em um sistema cirúrgico minimamente invasivo conhecido, por exemplo, embreagem mestre, controle da câmera, foco da câmera, intercâmbio de braço manipulador, etc..

[00102] Se o processo de reconhecimento da posição do gesto da mão determinar que a posição é a posição do gesto da mão para uma trajetória do gesto da mão, um evento do sistema não é injetado pelo controlador de rastreamento da mão 130 baseado no reconhecimento da posição. No lugar disso, é iniciado um processo de reconhecimento da trajetória do gesto.

[00103] Neste exemplo, posição do gesto da mão 300B (figura 3B) é a posição usada para gerar uma trajetória do gesto da mão. As figuras 4A e 4B são exemplos bidimensionais de trajetórias de gesto da mão 400A e 400B que são feitas usando a posição do gesto da mão 300B. A figura 4C apresenta outros dois exemplos bidimensionais de trajetórias de gesto da mão que podem ser usados.

[00104] Em um aspecto, o processo de reconhecimento da trajetória do gesto da mão usa um Modelo A Oculto de Markov. Para gerar a distribuição de probabilidades para o Modelo A Oculto de Markov, uma base de dados de treinamento é necessária. Antes de obter a base de dados de treinamento, um conjunto de trajetórias de gestos da mão é especificado. Em um aspecto, as dezesseis trajetórias do gesto da mão da figura 4C são selecionadas.

[00105] Em um aspecto, vários objetos de teste são selecionados para fazer cada uma das trajetórias do gesto da mão. Em um exemplo, cada objeto de teste realizou cada uma das trajetórias um número de vezes predeterminado. Os dados de posição e orientação para cada um dos objetos para cada trajetória realizada foram salvos na base de dados de treinamento. Em um aspecto, conforme explicado mais completamente abaixo, a base de dados foi usada para treinar um discreto Modelo Oculto de Markov esquerda-direita usando um método iterativo Baum-Welch.

[00106] Quando um cirurgião faz uma trajetória, os dados são convertidos em uma sequência de observação O pelo controlador de rastreamento da mão 130. Com a sequência de observação O e o Modelo A Oculto de Markov, o controlador de rastreamento da mão 130 determina qual trajetória do gesto da mão corresponde à sequência do símbolo observado. Em um aspecto, o controlador de rastreamento da mão 130 usa o algoritmo de recursão para frente com o Modelo A Oculto de Markov para gerar a probabilidade total da sequência do símbolo observado. A trajetória do gesto da mão com a probabilidade mais alta é selecionada se essa probabilidade for maior do que o limite mínimo de probabilidade. Se a probabilidade mais alta for menor do que o limite mínimo de probabilidade, nenhuma trajetória do gesto da mão é selecionada, e o processo termina.

[00107] A trajetória do gesto da mão selecionada é mapeada para um evento do sistema. O controlador de rastreamento da mão 130 injeta o evento do sistema para o controlador do sistema 140.

[00108] O controlador do sistema 140 processa o evento do sistema e emite um comando do sistema. Por exemplo, se a trajetória selecionada do gesto da mão mapeada para um evento para mudar o nível de iluminação no local cirúrgico, o controlador do sistema 140 envia um evento de sistema para um controlador em um iluminador para mudar o nível de iluminação.

Detecção de Presença por Meio de Rastreamento da Mão

[00109] Em um aspecto, como indicado acima, as posições das mãos do cirurgião 291R, 291L (figura 6A) são rastreadas para determinar se a teleoperação do sistema cirúrgico minimamente invasivo 100 é permitida e em alguns aspectos se exibir uma interface de usuário para o cirurgião. Novamente, o controlador de rastreamento da mão 130 rastreia pelo menos uma parte de uma mão do cirurgião 180B (figura 6A). O controlador de rastreamento da mão 130 gera uma localização de uma pega de ferramenta mestra, por exemplo, pega de ferramenta mestra 621 (figura 6B), a qual representa as pegas da ferramenta mestra 621L, 621R (figura 6A), e uma localização da parte da mão. O controlador de rastreamento da mão 130 mapeia as duas localizações dentro de uma estrutura de coordenadas comum e então determina a distância entre as duas localizações na estrutura de coordenadas comum. A distância é um parâmetro de controle de um sistema cirúrgico minimamente invasivo que é baseado na localização rastrea- da da parte da mão do cirurgião.

[00110] Se a distância for menor do que um limiar seguro, quer dizer, menor do que uma separação máxima permitida entre a parte da mão e a pega da ferramenta mestra, a teleoperação do sistema cirúrgico minimamente invasivo 100 é permitida, e de outra forma, a teleoperação é impedida. Igualmente, no aspecto que usa detecção de presença para controlar a exibição de uma interface de usuário, se a distância for menor do que um limiar seguro, quer dizer, menor do que uma separação máxima permitida entre a parte da mão e a pega da ferramenta mestra, exibição de uma interface de usuário em uma tela do sistema cirúrgico minimamente invasivo 100 é impedida, e de outra forma, a exibição da interface do usuário é permitida.

[00111] Deste modo, a distância é usada no controle da teleoperação do sistema cirúrgico minimamente invasivo 100. Especificamente, o controlador de rastreamento da mão 130 envia um evento do sistema para o controlador do sistema 140 indicando se a teleoperação é permitida. Em resposta ao evento do sistema, o controlador do sistema 140 configura o sistema 100para permitir ou impedir teleoperação.

Tecnologias de Rastreamento de Localização da Mão

[00112] Antes de considerar os diversos aspectos de rastreamento da mão descritos acima em maior detalhe, é descrito um exemplo de uma tecnologia de rastreamento. Este exemplo é somente ilustrativo e em vista da seguinte descrição, qualquer tecnologia de rastreamento que forneça a informação necessária de localização de mão ou dedo pode ser utilizada.

[00113] Em um aspecto, rastreamento eletromagnético DC pulsado é usado com sensores montados em dois dedos de uma mão, por exemplo, o polegar e o dedo indicador, como ilustrado nas figuras 2A a 2D e figura 7. Cada sensor mede seis graus de liberdade e em um aspecto tem um tamanho de oito milímetros por dois milímetros por um milímetro e meio (8 mm x 2 mm x 1.5 mm). O sistema de rastreamento tem um espaço de trabalho hemisférico destro de 0,8 m e uma resolução de percepção de posição de 0,5mm e 0,1 graus. A taxa de atualização é de 160 Hertz e tem uma latência de percepção de quatro milésimos de segundo. Quando integrada dentro de um sistema, pode ser incorrida latência adicional devido à comunicação e filtragem adicional. Latência de comando efetiva de até 30 milésimos de segundo tem sido achado ser aceitável.

[00114] Neste aspecto, um sistema de rastreamento inclui um controlador de rastreamento de mão eletromagnético, sensores para uso na pega de rastreamento do dedo mestre, e um transmissor de rastreamento da mão. Um sistema de rastreamento adequado para uso em uma incorporação desta invenção é comercializado por Ascension Technology Corporation de Burlington, Vermont, USA como uma guia em 3D trakSTAR™ System com Transmissor de Amplitude Média. (trakSTAR™ é uma marca registrada de Ascension Technology Corpo- ration). O transmissor gera campos magnéticos DC pulsados para rastreamento de alta precisão sobre amplitudes médias, as quais são especificadas como 78 centímetros (31 polegadas). Este sistema fornece rastreamento dinâmico com 240 a 420 atualizações/segundo para cada sensor. As saídas dos sensores passivos miniaturizados não são afetadas pelas fontes de ruído das linhas de energia. Uma linha de visada livre entre o transmissor e os sensores não necessária. Existe rastreamento de todas as posições e nenhuma deriva inercial ou interferência ótica. Existe alta imunidade metálica e nenhuma distorção de metais não magnéticos.

[00115] Enquanto um sistema de rastreamento eletromagnético com coberturas de dedos é usado aqui, isto é somente ilustrativo e não se pretende que seja limitante. Por exemplo, um dispositivo semelhante a uma caneta pode ser segurado pelo cirurgião. O dispositivo semelhante a uma caneta é uma peça de dedo com três ou mais marcadores confiáveis de referência não colineares na superfície externa do dispositivo. Normalmente, para fazer pelo menos três marcadores confiáveis de referência visíveis em qualquer ponto de vista, mais marcadores de confiáveis de referência são usados devido à auto- oclusão. Os marcadores confiáveis de referência são suficientes para determinar seis graus de liberdade (três de translação e três de rotação) de movimento da peça do dedo e assim aquela da mão segurando o dispositivo similar a uma caneta. O dispositivo semelhante a uma caneta também percebe empunhadura /pegada em um aspecto.

[00116] O dispositivo semelhante a uma caneta é visto por duas ou mais câmeras de parâmetros conhecidos para localizar os marcadores confiáveis de referência em três dimensões e inferir a posição de três dimensões da peça do dedo. Os marcadores confiáveis de referência podem ser implementados, por exemplo, como 1) esferas retro- refletivas com iluminação próxima à câmera; 2) semi-esferas côncavas ou convexas com iluminação próxima à câmera ou 3) marcadores ativos tais como um LED (piscante). Em um aspecto, iluminação infravermelha próxima da peça do dedo é usada, e filtros são usados para bloquear o espectro visível na câmera para minimizar o distúrbio da confusão no fundo de tela.

[00117] Em outro aspecto, uma luva de dados 501 (figura 5) ou mão limpa 502 é usada, e marcadores confiáveis de referência 511 são conectados ao polegar e dedo indicador da luva 501 (e/ou a outros dedos da luva) que o cirurgião vai usar e/ou diretamente na pele da mão 502. Novamente, marcadores redundantes podem ser usados para acomodar auto-oclusão. Marcadores confiáveis de referência também podem ser colocados sobre outros dedos para habilitar mais recursos de interface de usuário através de gestos de mão especificamente de-finidos.

[00118] As localizações tridimensionais dos marcadores confiáveis de referência são computadas por triangulação de múltiplas câmeras tendo um campo de visão comum. As localizações tridimensionais dos marcadores confiáveis de referência são usadas para inferir a posição tridimensional (translação e orientação) da mão e também o tamanho da pega.

[00119] As localizações dos marcadores precisam ser calibradas antes do uso. Por exemplo, o cirurgião pode mostrar para a câmera a mão com marcadores em diferentes posições. As diferentes posições são então usadas na calibragem.

[00120] Ainda em outro aspecto, é usado rastreamento da mão sem marcador. Movimento articulado da mão pode ser rastreado pelo uso de imagens vistas desde uma ou mais câmeras e processamento dessas imagens por meio da execução de software de computação. O software de execução de computador não precisa rastrear todos os graus de liberdade da mão para serem úteis. O software de execução precisa somente rastrear a parte relacionada aos dois dedos de uma mão para ser útil para controlar uma ferramenta cirúrgica como demonstra-do neste documento.

[00121] Rastreamento baseado na câmera, a precisão das medições depende da precisão da localização dos marcadores na imagem; precisão de reconstrução tridimensional devido à geometria da câmera; e dados redundantes tais como mais do que um número mínimo, por exemplo, três, de marcadores confiáveis de referência, mais do que o número mínimo (uma ou duas) de câmeras, e cálculo de média temporária e filtragem.

[00122] A precisão de reconstrução tridimensional apoia-se pesadamente na precisão da calibragem da câmera. Alguns marcadores confiáveis de referência anexados às localizações conhecidas no console do cirurgião podem ser usados para determinar os parâmetros externos (rotação e translação) de múltiplas câmeras com respeito ao console do cirurgião. Este processo pode ser feito automaticamente. Marcadores confiáveis de referência podem ser usados para calibragem de marcadores confiáveis de referência visto que tais marcadores são ligados somente durante um processo de calibragem e antes do procedimento. Durante o procedimento, a calibragem de marcadores confiáveis de referência é desligada para evitar confusão com os marcadores confiáveis de referência usados para localizar as mãos do cirurgião. Os parâmetros relativos externos também podem ser computados pela observação de um marcador em movimento no campo de visão comum das câmeras.

[00123] Outras tecnologias de rastreamento que são adequadas para uso incluem, mas, não estão limitadas a isso, rastreamento iner- cial, rastreamento profundo de câmera, e percepção de curva de fibra.

[00124] Conforme usado neste documento, um elemento sensor, algumas vezes chamado um sensor de rastreamento, pode ser um sensor para qualquer uma das tecnologias de rastreamento da mão descritas acima, por exemplo, um sensor eletromagnético passivo, um marcador confiável de referência, ou um sensor para qualquer uma das outras tecnologias.

Sistemas de Coordenadas

[00125] Antes de considerar os diversos processos descritos acima em maiores detalhes, um exemplo de um console de cirurgião 185B (figura 6A) é considerado e vários sistemas de coordenadas são definidos para uso nos seguintes exemplos. O console do cirurgião 185B é um exemplo de console de cirurgião 185. O console do cirurgião 185B inclui um visor em três dimensões 610, algumas vezes citado como visor 610, manipuladores de ferramenta mestra 620L, 620R com pegas de ferramenta mestra 621L, 621R, e uma base 630. Pega da ferramenta mestra 621 (figura 6B) é um diagrama mais detalhado de pegas de ferramenta mestra 621L, 621R.

[00126] Pegas de ferramenta mestra 621L, 621R dos manipuladores de ferramenta mestra 620L, 620R são mantidas pelo cirurgião 180B usando o dedo indicador e polegar, de forma que apontar e apegar envolve orientação intuitiva e movimentos de beliscar. Os manipuladores de ferramenta mestra 620L, 62R em combinação com pegas de ferramenta mestra 621L, 621R são usadas para controlar instru-mentos cirúrgicos escravos teleoperados, endoscópios teleoperados, etc. da mesma maneira como manipuladores de ferramenta mestra conhecidos em um sistema cirúrgico teleoperado minimamente invasivo conhecido. Também, as coordenadas da posição dos manipuladores de ferramentas mestras 620L, 620R e pegas de ferramentas mestras 621L, 621R são conhecidos a partir da cinemática usada no controle dos instrumentos cirúrgicos escravos.

[00127] No modo de visão normal de operação, o visor 610 exibe imagens em três dimensões do local da cirurgia 103 a partir do endos- cópio estereoscópico 112. O visor 610 está posicionado no console 185B (figura 6B) próximo às mãos do cirurgião de forma que a imagem do local da cirurgia vista no visor 610 está orientada de tal forma que o cirurgião sente que ele ou ela está realmente olhando diretamente para baixo sobre o local da cirurgia 103. Os instrumentos cirúrgicos na imagem parecem estar localizados substancialmente onde as mãos do cirurgião estão localizadas e orientadas substancialmente como o cirurgião 180B esperaria baseado na posição das suas mãos. Todavia, o cirurgião 180B pode ver nem suas mãos, nem a posição ou orientação das pegas da ferramenta mestra 621L, 621R, enquanto se observa a imagem exibida do local da cirurgia no visor 610.

[00128] Em um aspecto, os manipuladores de ferramentas mestras 620L, 620R são movimentados a partir de diretamente em frente do cirurgião 180B e sob o visor 610 de forma que eles estejam posicionados sobre a base 630, e de forma que eles estejam não mais posicionados sob o visor 610, quer dizer, os manipuladores da ferramenta mestra são estacionados fora do caminho do gesto da mão. Isto fornece um volume desimpedido sob o visor 610 no qual o cirurgião 180B pode fazer gestos com a mão, uma ou ambas de posições do gesto da mão ou trajetórias do gesto da mão.

[00129] No aspecto da figura 6A, três sistemas de coordenadas são definidos com respeito ao console do cirurgião 185B: um sistema de coordenadas de visão 660, um sistema de coordenadas do mundo 670, e um sistema de coordenadas de rastreador 650. Observar que sistemas de coordenadas equivalentes são definidos para o cirurgião 181 (figura 1), de forma que o mapeamento descrito mais completamente abaixo pode ser feito para dados de rastreamento da pega de rastreamento do dedo mestre 170 ou das pegas de ferramentas mestras 621L, 621R. Vide, por exemplo, o Pedido de Patente dos Estados Unidos 12/617.937 (apresentado em 13 de Novembro de 2009, reve- lando "Interface do Cirurgião no Lado do Paciente para Instrumento Cirúrgico Teleoperado Minimamente Invasivo"), o qual foi anteriormente incorporado neste documento por referência.

[00130] No sistema de coordenadas de visão 660, o cirurgião 180B está olhando para baixo eixo-Z VisãoZ. Eixo-Y VisãoY aponta para cima na tela do monitor. Eixo-X VisãoX aponta para esquerda na tela do monitor. No sistema de coordenadas do mundo 670, o eixo-Z mun- doZ é um eixo vertical. Eixo- X mundo mundoX e eixo-Y mundo mundo Y estão em um plano perpendicular ao eixo-Z mundoZ.

[00131] A figura 6B é uma ilustração mais detalhada de uma pega de uma ferramenta mestra 621 e manipuladores de ferramenta mestra 620.

[00132] Sistemas de coordenadas 680, 690 são discutidos mais completamente abaixo com respeito ao método 1100 da figura 11.

Processo de Controle de Instrumento Cirúrgico por meio do Rastreamento da Mão

[00133] A figura 7 é uma ilustração do sensor 212 montado no dedo indicador 292B com uma localização 713 no sistema de coordenadas de rastreamento 750, e um sensor 211 montado no polegar 292A com uma localização 711 em um sistema de coordenadas de rastreamento 750. Os sensores 211 e 212 são partes do sistema de rastreamento eletromagnético descrito acima. O polegar 292A e o dedo indicador 292B são exemplos de dedos da mão direita 291R. Conforme observado anteriormente, uma parte de uma mão humana inclui pelo menos um dígito da mão. Como é sabido para aqueles versados na área, os dedos, algumas vezes chamados dígitos ou falanges, da mão são o polegar (primeiro dígito), dedo indicador (segundo dígito, dedo indicador), dedo médio (terceiro dígito), dedo anular (quarto dígito), dedo mindinho (quinto dígito).

[00134] Neste documento, o polegar e dedo indicador são usados como exemplos de dois dígitos de uma mão humana. Isto é somente ilustrativo é não se destina a ser limitante. Por exemplo, o polegar e o dedo médio podem ser usados no lugar do polegar e o dedo indicador. A descrição neste documento também é diretamente aplicável ao uso do dedo médio. Também, o uso da mão direita é somente ilustrativo. Quando sensores similares são usados na mão esquerda, a descrição neste documento também é aplicável diretamente à mão esquerda.

[00135] Um cabo 741, 742 conecta os sensores 211, 212 da pega de rastreamento do dedo mestre 270 para o controlador de rastreamento da mão 130. Em um aspecto, o cabo 741, 742 leva informação de posição e orientação dos sensores 211, 212 para o controlador de rastreamento da mão 130.

[00136] O uso de um cabo para transmitir a posição percebida e dados de orientação para o controlador de rastreamento da mão 130 é somente ilustrativo e não está destinado a ser limitante para este aspecto específico. Em vista desta revelação uma pessoa versada na área pode selecionar um mecanismo para transmitir a posição percebida e dados de orientação da pega mestra de rastreamento do dedo ou pegas mestras de rastreamento do dedo para o controlador de rastreamento da mão 130 (por exemplo, pelo uso de uma conexão sem fio).

[00137] O cabo 741, 742 não impede o movimento da pega de rastreamento do dedo mestre 270. Já que a pega de rastreamento do dedo mestre 270 é mecanicamente não embasada, cada pega de rastreamento do dedo mestre é efetivamente livre tanto para movimentos de posição como movimentos de orientação dentro do espaço de trabalho alcançável pelo cirurgião e do espaço de trabalho do transmissor de rastreamento da mão (por exemplo, esquerda - direita, acima - abaixo, dentro - fora, girar, inclinar, e guinar em um sistema de coordena-das cartesianas).

[00138] Em um aspecto, como descrito acima, cada sensor 211, 212 na pega de rastreamento do dedo mestre 270 percebe três graus de translação e três graus de rotação, quer dizer, seis graus de liberdade. Deste modo, os dados percebidos desde os dois sensores representam doze graus de liberdade. Em outro aspecto, cada sensor 211, 212 na pega de rastreamento do dedo mestre 270 percebe três graus de translação e dois graus de rotação (guinada e inclinação), quer dizer, cinco graus de liberdade. Deste modo, os dados percebidos desde os dois sensores representam dez graus de liberdade.

[00139] Usando uma posição de ponto de controle e orientação do ponto de controle baseada nas localizações rastreadas para controlar um instrumento cirúrgico escravo teleoperado exige seis graus de liberdade (três de translação e três de orientação), conforme descrito mais completamente abaixo. Assim, nos aspectos onde cada sensor tem cinco ou seis graus de liberdade, os sensores 211, 21 fornecem graus de liberdade redundantes. Conforme descrito acima e mais completamente abaixo, os graus de liberdade redundantes são mapeados para parâmetros usados para controlar aspectos de um instrumento cirúrgico escravo teleoperado diferentes de posição e orientação.

[00140] Ainda em um aspecto adicional, cada sensor 211, 212 percebe somente três graus de liberdade na translação e assim juntos representam seis graus de liberdade. Isto é suficiente para controlar três graus de translação, giro e fechamento de pega de um instrumento cirúrgico escravo que não inclui um mecanismo de munheca. A descrição a seguir é usada para gerar a localização do ponto de controle usando os seis graus de liberdade. A orientação do ponto de controle é tomada como a orientação do instrumento cirúrgico escravo. O pa-râmetro de fechamento da pega é determinado como descrito abaixo usando a localização do ponto de controle e a orientação do ponto de controle. O giro é determinado conforme descrito acima usando o movimento relativo do polegar e dedo índice.

[00141] Em qualquer dos aspectos onde os sensores percebem seis graus de liberdade, ou onde os sensores percebem cinco graus de liberdade, o sensor do dedo índice 212 gera um sinal representando uma posição do dedo indicador pmdicador e uma orientação do dedo indicador Rindicador na estrutura das coordenadas de rastreamento 750. O sensor do polegar 211 gera um sinal representando uma posição do polegar ppoiegar e uma orientação do polegar R-pOiegar na estrutura de coordenadas de rastreamento 750. Em um aspecto, as posições psndi- cador e ppoiegar são tomadas como alinhadas com o centro da unha do dedo do usuário no dedo indicador 292B e o centro da unha do usuário no polegar 292A, respectivamente.

[00142] Neste exemplo, as posições Pindicador e Ppoiegar estando cada uma representada por um vetor três por um na estrutura de coordenadas de rastreamento 750. As posições Pindicador e Ppoiegar estão em coordenadas de rastreamento.

[00143] As orientações Rindicador e R.poiegar na estão cada uma representadas uma matriz de três por três na estrutura de coordenadas de rastreamento 750, quer dizer,

[00144] Uma posição de ponto de controle pcp é centralizada entre o dedo indicador 292B e o polegar 292A. A posição do ponto de controle pcp na estrutura de ponto de controle 790, mas, é especificada em coordenadas de rastreador. O eixo-Z da estrutura do ponto de con- trole 790 se estende através da posição do ponto de controle pcp na direção apontada, como descrito mais completamente abaixo.

[00145] Também, como explicado abaixo, o dedo indicador 292B e o polegar 292A estão mapeados para as mandíbulas de um instrumento cirúrgico escravo, porém, os dois dedos são mais destros do que as mandíbulas do instrumento. O eixo-Y da estrutura 790 do ponto de controle corresponde ao pino usado para fechamento da mandíbula do instrumento. Deste modo, o eixo-Y da estrutura do ponto de controle 790 é perpendicular para um vetor entre o dedo indicador 292B e polegar 292A, como descrito abaixo.

[00146] A posição do ponto de controle pcp está representada como um vetor três por um em coordenadas do rastreador da estrutura de coordenadas de rastreamento 750. A orientação do ponto de controle Rcp está representada como uma matriz de três por três em coordenadas do rastreador, que dizer,

[00147] A figura 8 é um diagrama de fluxo de processo para mapeamento de uma localização de parte de uma mão para um parâmetro de fechamento de uma pega usado para controlar a pega de um instrumento cirúrgico escravo, por exemplo, um dos instrumentos cirúrgicos escravos teleoperados na figura 1. Este mapeamento também mapeia uma mudança temporal na localização de um parâmetro de fechamento de uma nova pega e uma correspondente localização de uma ponta de um instrumento escravo e a velocidade no movimento para essa localização.

[00148] Inicialmente, a partir da entrada para processar 800, RECEBE DADOS DE LOCALIZAÇÃO DA MÃO, o processo 810 recebe a posição do dedo indicador e orientação (pindicador, R-indicador) e posição do polegar e orientação (ppoiegar, R-poiegar) o qual neste exemplo estão armazenadas como dados 811. A posição do dedo indicador e orientação (Pindicador, , R-indicador) θ pOSÍÇãO dO polegar e Orientação (ppoiegar, R- Poiegar) estão baseadas em dados do sistema de rastreamento. O processo 810 transfere para o processo 820

DADOS DE LOCALIZAÇÃO NO MAPA PARA PONTO DE CONTROLE E PARÂMETRO DA PEGA.

[00149] O processo 820 DADOS DE LOCALIZAÇÃO NO MAPA PARA PONTO DE CONTROLE E PARÂMETRO DA PEGA gera uma posição de ponto de controle pcp, uma orientação de ponto de controle RcP, e um parâmetro de fechamento da pega usando gpega usando a posição do dedo indicador e orientação (pindicador, R-indicador) e posição do polegar e orientação (ppoiegar, R-Poiegar). Posição do ponto de controle pcp, orientação do ponto de controle RcP, e parâmetro de fechamento de pega gpega são armazenados como dados 821.

[00150] Em um aspecto, o mapeamento do ponto de controle realizado no processo 820 está definido para emular as propriedades chave da colocação dos pontos de controle dos manipuladores de ferramenta mestra conhecidos. Deste modo, a resposta ao movimento do polegar e dedo indicador será familiar e intuitiva para usuários do sistema cirúrgico minimamente invasivo teleoperado conhecido com um console de cirurgião similar ao console de cirurgião 180B (figura 6A).

[00151] A figura 9 é um diagrama de fluxo de processo mais detalhado para um aspecto do processo 820 de DADOS DE LOCALIZAÇÃO NO MAPA PARA PONTO DE CONTROLE E PARÂMETRO DA PEGA. Primeiro, no processo 820, MAPA DE DADOS POSIÇÃO DA MÃO PARA O PONTO DE CONTROLE, o processo 910 gera uma localização da posição do ponto de controle pcp a partir da posição do dedo indicador pindicador, e posição do polegar pPoiegar, isto é, pcp = 0,5 (pPolegar + Pindicador)

[00152] A posição do ponto de controle pcp é a média da posição do dedo pindicador e posição do polegar ppoiegar o processo 910 MAPA DE DADOS POSIÇÃO DA MÃO PARA O PONTO DE CONTROLE transfere o processamento para processo 920 GERAR ORIENTAÇÃO DO PONTO DE CONTROLE.

[00153] Como indicado acima, o eixo-Z da orientação do ponto de controle está alinhado na direção da indicação. Neste aspecto do processo 920 GERAR ORIENTAÇÃO DO PONTO DE CONTROLE, a fórmula de Rodriguez eixo/ângulo é usada para definir a direção de indicação do vetor do eixo-Z zmeio para a orientação do ponto de controle como meia rotação entre o vetor de indicação de direção do dedo indicador Zindicador e o vetor de indicação de direção do dedo polegar zPolegar. A partir da orientação do polegar R.poiegar, o vetor de indicação de direção do dedo polegar zpoiegaré: ZPolegar = [R-Polegar13 R-Polegar23 R-Polegar33]

[00154] Similarmente, da orientação do dedo indicador R-indicador, direção de indicação do vetor do dedo indicador indicador é: Zindicador = [R-indicador13 R-indicador 23 R- indicador 33]

[00155] O vetor ω é um vetor perpendicular ao vetor de indicação de direção do dedo indicador Zmdicador e vetor de indicação de direção do polegar zpoiegar. O vetor ω é definido como produto dos seguintes A vetores: vetor de indicação de direção do dedo indicador indicador e vetor de indicação de direção do polegar zpoiegar, quer dizer,w= indicador X Polegar

[00156] O ângulo 0 é a magnitude do ângulo entre o vetor de indicação de direção do dedo indicador Zindicador e o vetor de indicação de direção do polegar 2poiegar. O ângulo θ é definido como,

[00157] Com eixo ω e ângulo 0, o vetor de indicação de direção do eixo- Zmeio é: A A Zmeio R{ω,θ/2}* Zindicador

[00158] Deste modo, o processo 910 tem gerado posição do ponto de controle pcp e a parte inicial do processo 920 tem gerado a direção de indicação aproximada do eixo-Z na estrutura de ponto de controle 790. Pode-se proceder a interpolar os vetores de orientação do dedo indicador e polegar para gerar eixos de vetor de unidades de ponto de controle Xcp e Ycp de uma maneira similar e então reortogonaliza-los para produzir uma matriz de orientação de ponto de controle.

[00159] Contudo, maior destreza operacional pode ser alcançada a partir das localizações rastreadas dos dedos pelo uso do seguinte mapeamento. Este mapeamento usa as posições relativas do dedo indicador e polegar para girar e guinar efetivamente o ponto de controle como se manipulasse um pequeno cardã entre os dedos. O processo remanescente 920 é realizado como segue para gerar um conjunto completo de eixos de vetores de unidades de ponto de controle orto-normais Xcp cp, e ZCP.

[00160] Com estes vetores, a orientação do ponto de controle Rep é:

[00161] Agora com os processos 910 e 920, o processo 820 tern mapeado as posições do dedo indicador e polegar e orientações (pindicador, Rindicador) (Ppolegar, Rpolegar) p3T3 pOSÍÇãO dθ pOntO de COntrOlβ β orientação Rq>). O processo 820 deve gerar ainda o parâmetro de fechamento da pega gpega. Assim, o processo 920 GERAR ORIENTAÇÃO DE PONTO DE CONTROLE transfere o processamento para o processo 930 GERAR PARÂMETRO DE FECHAMENTO DE PEGA.

[00162] No processo 930, o fechamento da pega é determinado pelas distâncias da posição do dedo indicador pindicador e posição do polegar ppoiegar desde o eixo da linha do centro definida pela posição do A ponto de controle e direção do eixo-Z cp. Isto permite o fechamento ser invariável ao deslizamento quando o polegar e o indicador estão se tocando.

[00163] Assim, a posição do dedo indicador pindicador e posição do polegar ppoiegar são mapeadas encima do eixo-Z na estrutura 790. Posição pindicador-proj é a projeção da posição do dedo indicador pindicador sobre o eixo-Z da estrutura 790, e posição ppoiegar_-proj é a projeção da posição do polegar ppoiegar sobre o eixo-Z da estrutura 790.

[00164] A pOSiçãO Pindicador proj θ 3 pOSÍÇãO Ppolegar_proj SãO USadaS para avaliar um exame de distância de fechamento da pega ^val, quer dizer,

[00165] Neste documento, as linhas paralelas duplas são a representação conhecida das duas normas euclidianas. Avaliação da distância de fechamento da pega dvai está limitada por um limiar de distância máxima dmax e um limiar de distância mínima dmjn. Como ilustrado na figura 7, um conector acolchoado de espuma 210 entre os sensores 211, 212 compele os dedos a estar dentro de uma separação fixa, quer dizer, entre um limiar de distância máxima dmax e um limiar de distância mínima dmin. Adicionalmente, uma distância neutral do corresponde à distância de separação quando os dois dedos estiverem apenas se tocando.

[00166] Para um conjunto particular de sensores e um conector, um limiar de distância máxima dmax, um limiar de distância mínima dmin, e a distância neutra do são determinadas empiricamente. Em um aspecto três combinações diferentes de sensores e um conector são fornecidos para mãos pequenas, médias e grandes. Cada combinação tem seu próprio limiar de distância máxima dmax, limiar de distância mínima dmin, e distância neutra do como o comprimento do conector 210 é diferente em cada uma das combinações.

[00167] O processo 930 compara a distância dvai a um limiar de distância mínima dmin. Se a comparação achar que a distância dvai é me- nor do que o limiar de distância mínima dmin, a distância de fechamento da pega d é ajustada para uma distância limiar mínima dmin. De outra forma, o processo 930 compara a distância dvai a um limiar de distância máxima dmax. Se a comparação achar que a distância dvai é maior do que o limiar de distância máxima dmax, a distância de fechamento da pega d é ajustada para uma distância limiar máxima dmax. De outra forma, a distância de fechamento d da pega é ajustada para a distância dvai.

[00168] O teste realizado na distância dvai para determinar a distância d de fechamento é resumido conforme:

[00169] A seguir no processo 930, o parâmetro de fechamento da pega gpega é gerado:

[00170] Deste modo, uma distância de fechamento d entre um limiar de distância máxima dmax e a distância do é mapeado para um valor entre zero e um. Uma distância de fechamento de pega d entre um limiar de distância mínima dmin e a distância do é mapeado para um valor entre menos um e zero.

[00171] Um valor de um para o parâmetro de fechamento da pega gpegaé obtido quando o dedo indicador 292B e polegar 292A estão se- parados na extensão máxima permitida pelo conector 210 (figura 2A). Um valor de zero para parâmetro de fechamento de pega gpega é obtido quando a ponta do dedo indicador 292B e a ponta do polegar 292A estão apenas se tocando (figura 2C). Valores em uma faixa entre zero e um controlam a abertura/fechamento das mandíbulas do manipulador do extremo para um instrumento cirúrgico escravo. Um valor de menos um para o parâmetro de fechamento da pega gpega é obtido quando o dedo indicador 292B e o polegar 292 A estão se tocando e o conector 210 está totalmente comprimido entre o dedo índice 282B e o polegar 292A (figura 2D). Valores em uma faixa entre zero e um controlam a força da mandíbula das mandíbulas fechadas do manipulador do extremo. O conector 210 fornece um sinal táctil passivo para o fechamento da pega.

[00172] Este exemplo de mapeamento da distância d de fechamento da pega para um valor em uma de duas faixas é apenas ilustrativo e não se destina a ser limitante. O exemplo é ilustrativo do mapeamento da distância d de fechamento da pega para um valor em uma primeira faixa de parâmetro de fechamento de pega gpega para controlar a abertura/fechamento das mandíbulas de um manipulador do extremo de um instrumento cirúrgico escravo quando a distância d de fechamento da pega for maior do que a distância do neutra. Aqui "abertura/fechamento" significa a abertura e fechamento das mandíbulas. A distância d de fechamento da pega é mapeada para um valor em uma segunda faixa do parâmetro de fechamento da pega gpega para controlar a força da mandíbula das mandíbulas fechadas do manipulador do extremo quando a distância d de fechamento da pega for menor do que a distância neutra do.

[00173] Assim, o processo 820 tem mapeado a posição do dedo indicador e orientação (pindicador R-indicador) e posição do polegar e orientação (ppoiegar), para posição do ponto de controle e orientação (pcp, Rcp) eparâmetro de fechamento da pega gpega que é armazenado como dado 821. O processo 820 transfere para o processo 830 MAPEAR PARA COORDENADAS DO MUNDO (figura 8).

[00174] Processo 830 MAPEAR PARA COORDENADAS DO MUNDO recebe dados 821, e mapeia dados para um sistema de coordenadas do mundo. (Vide sistema de coordenadas do mundo 670 (figura 6A)). Especificamente, posição do ponto de controle e orientação (Pcp,. Rcp) e parâmetro de fechamento da pega gpega mapeado para a posição e orientação do ponto de controle nas coordenadas do mundo (pcP_wc Rcp_wc) usando uma transformação homogênea de quatro por quatro wc Ttcque mapeia coordenadas no sistema de coordenadas do rastreador 750 (figura 7B) para coordenadas no sistema de coordenadas do mundo 670, por exemplo,

onde: Wc Rtc Mapeia uma orientação em coordenadas do rastreador tc para uma orientação em coordenadas do mundo wc, e wcRtc Traduz uma posição em coordenadas do rastreador tc para uma posição em coordenadas do mundo wc.

[00175] O parâmetro de fechamento gpega não é mudado por este mapeamento. Os dados em coordenadas do mundo wc são armazenados como dados 831. O processo 830 transfere para o processo 840 MAPA PARA COORDENADAS OCULARES.

[00176] O processo 840 MAPA PARA COORDENADAS OCULARES recebe os dados 831 em coordenadas do mundo wc e mapeia os dados 831 para um sistema de coordenadas oculares (Vide sistema de coordenadas oculares 660 (figura 6A)). Especificamente, posição e orientação do ponto de controle me coordenadas do mundo (pcP wc, Rcp wc) e parâmetro de fechamento de gpegasão mapeado para posição e orientação do ponto de controle em coordenadas oculares (pcP ec, RcP ec) usando uma transformação homogênea de quatro por quatro ecTwc que mapeia coordenadas no sistema de coordenadas do mundo 670 (figura 6A) para coordenadas no sistema de coordenadas oculares 660, por exemplo.

onde: ec R wc Mapeia uma orientação em coordenadas do mundo WC para uma orientação em coordenadas oculares EC, e ectwc E uma translação de uma posição em coordenadas do mundo WC para uma posição em coordenadas oculares EC.

[00177] Novamente, o parâmetro de fechamento da pega gpega não é mudado pelo mapeamento. Os dados em coordenadas oculares são armazenados como dados 841. O processo 840 transfere para o processo 850 GERAR VELOCIDADES.

[00178] No processo 800, processos de mapeamento 830 e 840 são descritos como dois processos diferentes somente para facilitar a ilustração. Em um aspecto, os processos de mapeamento 830 e 840 são combinados de forma que os dados do ponto de controle em coordenadas de rastreador tC são mapeados diretamente para dados em co- ordenadas oculares ec usando uma transformação homogênea quatro por quatro ec T tc que mapeia coordenadas em um sistema de coordenadas do rastreador 650 (figura 6A) para coordenadas no sistema de coordenadas oculares 660, por exemplo,

[00179] Neste aspecto, a posição do ponto de controle em coordenadas oculares pcp é:

e a orientação do ponto de controle em coordenadas oculares Rcp é:

[00180] Em alguns aspectos, o mapeamento de coordenadas do mundo pode ser eliminado. Neste caso, os dados do ponto de controle são mapeados diretamente a partir do sistema de coordenadas de rastreamento para dentro do sistema de coordenadas oculares sem utilização de um sistema de coordenadas do mundo.

[00181] Para teleoperação, posição, orientação, e velocidade são necessárias. Deste modo, o processo 850 GERAR VELOCIDADES gera as velocidades necessárias. As velocidades podem ser geradas de várias maneiras. Algumas implementações tais como sensores inerciais e de giroscópio, podem medir diretamente sinais diferenciais para produzir uma velocidade linear e uma velocidade angular do ponto de controle. Se as velocidades não puderem ser medidas diretamente, o processo 850 estima as velocidades a partir da localização.

[00182] As velocidades podem ser estimadas usando diferenças finitas no sistema de coordenadas oculares sobre o intervalo de amostragem. Por exemplo, a velocidade linear Vcp_ec é estimada como:

a velocidade angular ωcpec é estimada como:

[00183] Em outro aspecto do processo 850 de GERAR VELOCIDADES, a velocidade linear do ponto de controle VcP_tc e velocidade angular do ponto de controle ωcp_tc são percebidos nas coordenadas do rastreador do sistema de coordenadas do rastreador 750 (figura 7). Neste aspecto, a velocidade linear VcP_tc do ponto de controle percebida diretamente e velocidade angular ωcp_tc do ponto de controle percebida diretamente são ratadas de do sistema de coordenadas do rastreador 750 para o sistema de coordenadas oculares 660 usando uma ecRtc.

[00184] Especificamente, usando os mapeamentos de rotação como definidos acima,

[00185] O processo 850 GERAR VELOCIDADES transfere para o processo 860 ENVIAR COMANDO DE CONTROLE.O processo 860 envia um comando apropriado de controle do sistema ao instrumento cirúrgico escravo baseado na posição, orientação, velocidades e parâmetro de fechamento da pega armazenado como dado 851.

[00186] Em um aspecto, os processos 810 e 850 são realizados pelo controlador de rastreamento da mão 130 (figura 1). O controlador 130 executa o módulo de rastreamento do dedo 135 em um processador 131 para realizar os processos 810 a 850. Neste aspecto, o módulo de rastreamento do dedo 135 é armazenado na memória 132. O processo 850 envia um evento de sistema ao controlador do sistema 140 que por sua vez realiza o processo 860.

[00187] É para ser apreciado que o controlador de rastreamento da mão 130 e o controlador do sistema 140 podem ser implementados na prática por uma combinação de hardware, software que sejam executados em um processador, e programa impresso inalterável. Também, funções destes controladores, como descritos neste documento, podem ser realizadas por uma unidade, ou divididas entre diferentes componentes, cada uma das quais pode ser implementada por sua vez por qualquer combinação de hardware, software que for executada em um processador, e programa impresso inalterável. Quando divididas entre diferentes componentes, os componentes podem ser centralizados em um local ou distribuídos através do sistema 100 para propósitos de processamento distribuído.

[00188] Processo de Posição do Gesto da Mão e Controle de Trajetória do Gesto.

[00189] A figura 10 é um diagrama de processo de um aspecto de um processo 1000 da posição do gesto da mão e controle da trajetória do gesto da mão do sistema 100. Em um aspecto como descrito acima, um processo de reconhecimento de posição do gesto da mão 1050 usa um classificador bayesiano multidimensional e um processo de reconhecimento de trajetória do gesto da mão 1060 usa um Modelo A Oculto de Markov discreto.

[00190] Como descrito acima, as figuras 3A a 3D são exemplos de posições do gesto da mão. Para treinar o processo 1050 de reconhecimento da posição do gesto da mão, uma série de posições de gesto estão especificadas. O número de posições do gesto da mão utilizado é limitado pela capacidade de definir posições únicas que possam inequivocamente ser identificadas pelo processo de reconhecimento 1050, e pela capacidade do cirurgião de lembrar e reproduzir confia- velmente cada uma das diferentes posições do gesto da mão.

[00191] Além de definir as posições do gesto da mão, um conjunto de atributos incluindo um grande número de recursos fi,onde i varia de 1 a n, é definido. O número n é o número de recursos usados. O número de um tipo de atributos é selecionado de forma que cada uma das posições neste conjunto de posições permissíveis pode ser identificada com precisão. Em um aspecto, o número n é seis.

[00192] O seguinte é um exemplo de um conjunto de atributos com n recursos.

[00193] O recurso fi é o produto interno de dois vetores de indica- A ção de direção do dedo indicador Zindicador 292B e o vetor de indicação de direção do polegar zPoiegar.292A. O recurso f2 é o produto interno da indicação de direção do dedo indicador 292B Zindicador e indicação de direção do dedo polegar 292A zpoiegar. O recurso Í3 é a distância do dedo polegar zpoiegar 292A projetada na indicação de direção do dedo indicador zindicador.292B. O recurso f4 é a distância do dedo polegar zpo- legar 292A do eixo ao longo na indicação de direção do dedo indicador Zindicador.292B. O recurso f5 e a componente Z da indicação de direção A do polegar 292A zpoiegar O recurso fn é o produto interno do vetor normal do dedo polegar xpoiegar 292A e indicação de direção do dedo indicador Zindicador-292B.

[00194] Antes de usar o método 1000, é necessário desenvolver uma base de dados de treinamento de posições de gesto da mão. Uma série de usuários diferentes produz cada posição do gesto da mão pelo menos uma vez, e os dados da posição e orientação de cada posição do gesto da mão para cada usuário são medidos usando o sistema de rastreamento. Por exemplo, cada pessoa em um grupo de pessoas faz cada uma das posições do gesto da mão permitidas. Posições e orientações do dedo indicador e polegar (pindicador, Rindicador), (Ppoiegar, Rpoiegar) são salvos para cada uma das posições do gesto da mão para cada pessoa no grupo na base de dados de treinamento.

[00195] Usando a base de dados de treinamento, um conjunto de atributos {fi} é gerado para cada posição do gesto da mão para cada usuário. O conjunto de vetores de recursos de treinamento para cada f posição do gesto da mão é usado então para computar, uma media Mi y e uma covariância M1-.

[00196] Assim, a base de dados de treinamento é usada para obter uma média de vetor de recurso e covariância para cada gesto de treinamento. Além disso, para cada posição do gesto da mão, uma dis- tância Mahalanobis ^^(Vide discussão abaixo) é gerada para cada treinador e a distância Mahalanobis máxima para cada posição do gesto da mão é salva como um limiar para essa posição do gesto da mão.

[00197] Podemos usar também a medida de distância Mahalanobis para verificar que todos os gestos treinados sejam suficientemente diferentes e inequívocos para o conjunto dado de atributos usados. Isto pode ser conseguido testando a distância Mahalanobis da média de um vetor de recurso de um gesto dado tea média do vetor do recurso de todas as outras posições de gesto permissíveis. Esta distância de teste deve ser muito maior do que o limiar da distância máxima de treinamento usada para esse gesto dado.

[00198] Como já conhecido para aqueles versados na área, uma especificação de um Modelo Oculto de Markov exige a especificação de sois parâmetros do modelo N, M e três medidas de probabilidades A, B, ir. O Modelo A Oculto de Markov está representado como: A = (A, B, π)

[00199] O parâmetro do modelo N é um número de estados no modelo, e o parâmetro do modelo M é o número de símbolos de observação por estado. As três medidas de probabilidades são distribuições de probabilidade de estado de transição A, distribuição de probabilidade de observação do gesto B, e distribuição do estado inicial π.

[00200] Em um aspecto para um Modelo Oculto de Markov, a distribuição de probabilidade de transição A é uma matriz N x N. Distribuição de probabilidade de observação do gesto B é uma matriz N x M, a distribuição do estado inicial π é uma matriz N x 1.

[00201] Dada uma sequência de observação O e um Modelo AOculto de Markov, a probabilidade da sequência de observação O dado o Modelo A Oculto de Markov, isto é, P(OI \ é avaliado no pro- cesso 1000, conforme descrito mais completamente abaixo.

[00202] Para gerar as distribuições de probabilidades para o Modelo A’ Oculto de Markov, é necessária uma base de dados de treinamento. Antes de obter a base de dados de treinamento, um conjunto de trajetórias de gestos da mão é especificado.

[00203] Uma série de objetos de teste J é selecionada para fazer cada uma das trajetórias do gesto da mão. Enquanto na figura 4C, as dezesseis trajetórias do gesto da mão são apresentadas em uma forma projetada em duas dimensões, os objetos do teste não são compelidos quando se realizam as diversas trajetórias do gesto da mão, as quais permitem que apareçam algumas variações tridimensionais Em um aspecto, cada objeto realizou cada trajetória do gesto da mão k vezes, isto produz j*k sequências de treinamento por trajetória do gesto da mão.

[00204] Em um aspecto, um Modelo Oculto de Markov discreto esquerda-direita, foi usado. O Modelo Oculto de Markov foi escolhido de forma que a probabilidade P(O| ) maximizada localmente usando um método iterativo Baum-Welch. Vide, por exemplo, Lawrence R. Rabiner, "Um Tutorial sobre Modelos Ocultos de Markov e Aplicações Selecionadas em Reconhecimento da Fala" Procedimentos da IEEE, Vol. 77, No. 2, pp. 257-286 (Fev. 1989), o qual está incorporado neste documento por referência como uma demonstração de conhecimento de Modelos Ocultos de Markov daqueles versados nos modelos. Em um aspecto, o método iterativo foi parado quando o modelo convergiu dentro de 0,1 por cento para três iterações sucessivas.

[00205] A probabilidade do estado inicial π foi colocada de forma que o modelo sempre comece com estado um. Matriz A de probabilidade de transição foi iniciada com entradas aleatórias, as quais foram classificadas em ordem descendente em uma base de fila por fila. Para obrigar a estrutura esquerda para direita, todas as entradas na dia- gonal-inferior da matriz A de probabilidades de transição foram colocadas para zero. Além disso, as transições maiores do que dois estados foram proibidas ao colocar entradas para zero onde (i - j) > 2 para todas as colunas i e colunas j. A matriz A de transição de probabilidades foi normalizada no fim em uma base de fila por fila.

[00206] A inicialização para a matriz B de probabilidade de observação particionou a sequência de observação uniformemente baseada no número de estados desejado. Então, cada estado pode observar inicialmente um ou mais símbolos com uma probabilidade baseada em uma conta de freqüência local. Esta matriz foi também normalizada em uma base de fila por fila. Vide, por exemplo, N. Liu, R.I.A. Davis, B.C. Lovell, P.J. Kootsookos, "Efeito de Escolhas HMM Iniciais em Treinamento de Sequência Múltipla para Reconhecimento de Gesto" - Conferência Internacional sobre Tecnologia de Informação, 5-7, Las Vegas, págs. 608-613 (Abril de 2004), o qual está incorporado neste documento por referência como uma demonstração de procedimentos de inicialização para Modelos Ocultos de Markov conhecidos por aqueles versados na área. Um Modelo Oculto de Markov foi desenvolvido para cada uma das trajetórias de gesto da mão.

[00207] Retornando ao método 1000, MODO GESTO HABILITADO checar processo 1001 determina se o cirurgião habilitou o modo de reconhecimento de gestos de operação do sistema 100. Em um aspecto, para habilitar o modo de reconhecimento de gesto, o cirurgião pressiona um pedal no console do cirurgião 185 (figura 1 A). Se o modo de reconhecimento de gesto for habilitado, checar o processo 1001 transfere para o processo 1010 RECEBER DADOS DE LOCALIZAÇÃO DA MÃO, e de outra forma retornar através de RETORNAR 1002.

[00208] Processo 1010 RECEBER DADOS DE LOCALIZAÇÃO DA MÃO recebe posição e orientação do dedo indicador (Pindicador, R- indicador) β pOSÍÇãO dO polegar e orientação (Ppolegar, R-polegar) para 0 gesto sendo feito pelo cirurgião. Como observado acima, posição do dedo indicador e orientação (pindicador R-indicador) e posição do polegar e orientação (ppoiegar, R-Poiegar) estão baseadas em dados do sistema de rastreamento. O processo 1010 transfere para o PROCESSO 1011 GERAR ATRIBUTOS.

[00209] No processo 1011 GERAR ATRIBUTOS, a posição do dedo indicador e orientação (pindicador R-indicador) e posição do polegar e orientação (pPoiegar, Rpoiegar) são usados para gerar cada um dos recursos fi a fn_o em um vetor de recurso observado fi o. Processo 1011 GERAR ATRIBUTOS transfere para o processo1012 COMPARAR ATRIBUTOS COM POSIÇÕES CONHECIDAS.

[00210] O processo 1012 COMPARAR ATRIBUTO COM POSIÇÕES CONHECIDAS compara o vetor fi_o de atributo observado com o conjunto de atributos treinado {fi} para cada posição. Este processo determina a probabilidade que o vetor do atributo observado esteja incluído dentro de um conjunto de atributos de um conjunto de dados de treinamento {fi} para uma posição do gesto da mão em particular, quer dizer, corresponde ao conjunto de dados de treinamento. Isto po- de ser expresso como ‘ ° onde o conjunto de atributos do conjunto de dados de treinamento {fi} é do objeto classe H. P(f- IΩ)

[00211] Neste exemplo, a probabilidade P(f- IΩ) é:

[00212] onde N é a dimensionalidade do vetor do atributo, por exemplo, n no exemplo acima.

[00213] Uma estatística usada para caracterizar esta probabilidade é a distância Mahalanobis d(fs_o), a qual é definida como:

onde

A distância Mahalanobis é conhecida para aqueles versados na área. Vide, por exemplo, Moghadam, Baback e Pentland, Alex, "Aprendizagem Visual Probabilística para Representação de Objeto" Transações IEEE sobre Análise de Padrão e Inteligência de Artificial, Vol. 19, N° 7, págs. 696 a 710 (julho 1997), a qual é incorporada neste documento por referência.

[00214] Usando os vetores representativos e valores representativos A de covariância *jf1’ né usada em uma forma diagonalizada de forma que a distância d(fi_0) Mahalanobis é:

onde

A forma em diagonal permite a distância Mahalanobis da d(fi_o) ser expressa em termos da soma:

[00215] Neste exemplo, esta é a expressão que é avaliada para determinar a distância Mahalanobis d(fi o). Portanto, o processo 1011 gera uma distância Mahalanobis d(fj o). Quando da finalização, o processo 1012 transfere para o processo 1013 SELECIONAR POSIÇÃO.

[00216] No processo 1013 SELECIONAR POSIÇÃO, a posição do gesto da mão tendo a menor distância Mahalanobis d(fi <>) é selecionada se a distância Mahalanobis d(fi <>)é menor do que a máxima distância Mahalanobis na base de dados de treinamento para essa posição do gesto da mão. Se a distância Mahalanobis d(fi <>) for maior do que a distância Mahalanobis máxima na base de dados de treinamento para essa posição do gesto da mão, nenhuma posição do gesto da mão é selecionada. O processo 1012 SELECIONAR POSIÇÃO transfere para o processo 1014 FILTRO TEMPORÁRIO.

[00217] Processo 1014 FILTRO TEMPORÁRIO determina se o resultado do processo 1013 tem fornecido o mesmo resultado consecutivamente um número de vezes predeterminado. Se o processo 1013 tem fornecido o mesmo resultado para o número de vezes predeterminado, o processo 1014 FILTRO TEMPORÁRIO transfere o processo de verificação 1015 POSIÇÃO DO GESTO, de outra forma retorna. O número de vezes predeterminado é selecionado de tal forma que o processo 1014 FILTRO TEMPORÁRIO evita oscilações ou detecções transientes quando a comuta entre posições do gesto da mão.

[00218] Processo de verificação 1015 POSIÇÃO DO GESTO determina se a posição do gesto da mão selecionado é posição do gesto da mão usado em uma trajetória do gesto da mão. Se a posição selecionada do gesto da mão for a posição do gesto da mão usada em uma trajetória do gesto da mão, o processo de verificação 1015 POSIÇÃO DO GESTO transfere o processamento para o processo 1020 GERAR SEQUÊNCIA DE VELOCIDADE, e de outra forma transfere o processamento para o processo de verificação 1016 MUDANÇA DE POSIÇÃO.

[00219] O processo de verificação 1016 MUDANÇA DE POSIÇÃO determina se a posição do gesto da mão tem mudado desde a última passagem através do método 1000. Se a posição do gesto da mão selecionada for a mesma do resultado da posição do gesto filtrado temporário imediatamente anterior, o processo de verificação 1016 MUDANÇA DE POSIÇÃO retorna através de RETORNO 1003, e de outra forma o transfere para o processo 1030MAPA PARA EVENTO DO SISTEMA.

[00220] O processo 1030 MAPA PARA EVENTO DO SISTEMA mapeia a posição selecionada do gesto da mão para um evento do sistema, por exemplo, o evento do sistema designado para a pose do gesto da mão é procurado. Ao encontrar o evento do sistema, o processo 1030 MAPA PARA EVENTO DO SISTEMA transfere o processamento o processo 1031 INJETAR EVENTO DO SISTEMA.

[00221] Em um aspecto, o processo 1031 INJETAR EVENTO DO SISTEMA envia o evento do sistema para um manipulador no controlador do sistema 140 (figura 1). Em resposta ao evento do sistema, o controlador do sistema 140 envia um comando de sistema apropriado para os controladores e/ou outros aparelhos no sistema 100. Por exemplo, se a posição do gesto da mão é designada a um evento de ligar a interface do usuário, o controlador do sistema 140 envia um comando para exibir o controlador 150 para ligar a interface do usuário. O controlador da tela do monitor 150 executa a parte do módulo 155 da interface do usuário no processador 150 necessário para ligar a interface do usuário.

[00222] Quando a posição do gesto da mão for a posição do gesto da mão usada para fazer uma trajetória, o processamento no método 1000 transfere de processo de verificação 1015 POSIÇÃO DO GESTO para o processo 1020 GERAR SEQUÊNCIA DE VELOCIDADE. Em um aspecto, o atributo principal usado para reconhecimento de trajetória do gesto da mão é um vetor unitário de velocidade. O vetor unitário de velocidade é invariável para a posição de partida do gesto. Além disso, um vetor de velocidade normalizada responde por variações no tamanho ou velocidade do gesto. Assim, no processo 1020, as amostras do ponto de controle são convertidas em uma sequência normalizada de velocidade de ponto de controle, isto é, dentro de uma se-quência de vetores unitários de velocidade.

[00223] Ao completar o processo 1020 GERAR SEQUÊNCIA DE VELOCIDADE, o processo 1020 transfere o processamento para o processo 1021 CONVERTER SEQUÊNCIA DE VELOCIDADE EM UMA SEQUENCIA DE SÍMBOLOS . Como observado acima o Modelo A Oculto de Markov discreto exige uma sequência de símbolos discretos como entrada. No processo 1021, os símbolos discretos são gerados a partir da sequência normalizada de velocidade do ponto de controle através da quantização do vetor.

[00224] Em um aspecto, a quantização do vetor foi realizada usando um agrupamento de média-K modificada com a condição que o processo pare quando as atribuições de agrupamento parem de mudar. Enquanto agrupamento de média-K for usado, o processo alavanca o fato que os atributos são vetores unitários. Neste caso, os vetores, os quais são similares na direção, são agrupados. Isto é feito usando o produto interno entre cada vetor unitário de atributo e os vetores do centro do agrupamento normalizado como a medida de semelhança.

[00225] O agrupamento é inicializado com atribuições aleatórias de vetores de trinta e dois agrupamentos e o processo global é repetido muitas vezes, onde o melhor resultado de agrupamento é selecionado baseado em um total máximo "dentro" de um indicador de custo de agrupamento. Observar que neste caso, o custo "dentro" do agrupamento está baseado em uma medida de similaridade. A cada um dos agrupamentos resultantes é atribuído um índice único, O qual serve como o símbolo para o Modelo Oculto de Markov. Um vetor de entrada é mapeado então para sua média de agrupamento mais próxima e o índice correspondente desse agrupamento é usado como o símbolo. Desta forma, uma sequência de vetores unitários de velocidade pode ser transferida para dentro de uma sequência de índices ou símbolos.

[00226] Em um aspecto, aos vetores agrupados foi atribuído um símbolo baseado em um livro de código de quantização de vetores de oito direções e bidimensional. Deste modo, o processo 1020 gera uma sequência de símbolos observados e transfere para o processo 1023 GERAR PROBABILIDADE DE GESTO.

[00227] Em um aspecto, para determinar qual o gesto que corresponde à sequência de símbolos observada, o processo 1023 GERAR PROBABILIDADE DO GESTO usa o algoritmo de recursão para frente com o Modelo Oculto de Markov para encontrar a probabilidade de que cada gesto coincida com a sequência de símbolos observada. O algoritmo de recursão para frente está descrito em Rainer, "Um tutorial sobre Modelos Ocultos de Markov e Aplicações Selecionadas em Reconhecimento da Fala" o qual foi previamente incorporado por referência neste documento. Quando da finalização do processo 1023 GERAR PROBABILIDADE DO GESTO, o processamento transfere para o processo 1024 SELECIONAR TRAJETÓRIA.

[00228] No processo 1024 SELECIONAR TRAJETÓRIA, a trajetória do gesto da mão com a mais alta probabilidade dentre os modelos permissíveis de trajetória de gesto do Modelo Oculto de Markov. Esta probabilidade também deve ser maior do que um dado limiar para ser aceita. Se a probabilidade mais alta não for maior do que o limiar, ne- nhuma trajetória do gesto da mão é selecionada. Este limiar deve ser sintonizado para maximizar a precisão de reconhecimento enquanto se evitam reconhecimentos falsos.

[00229] Quando da finalização, o processo 1024 SELECIONAR TRAJETÓRIA transfere o processamento para o processo de verificação 1025 TRAJETÓRIA ENCONTRADA. Se o processo 1024 SELECIONAR TRAJETÓRIA selecionou uma trajetória do gesto da mão, o processo de verificação 1025 TRAJETÓRIA ENCONTRADA transfere o processamento para o processo 1030 MAPA PARA EVENTO DO SISTEMA, e de outra forma retorna través de RETORNO 1004

[00230] O processo 1030 MAPA PARA EVENTO DO SISTEMA mapeia a trajetória do gesto da mão selecionada para um evento do sistema, por exemplo, o evento do sistema designado para a trajetória do gesto da mão é procurado. Ao encontrar o evento do sistema, o processo 1030 MAPA PARA EVENTO DO SISTEMA transfere o processamento o processo 1031 INJETAR EVENTO DO SISTEMA.

[00231] Em um aspecto, o processo 1031 INJETAR EVENTO DO SISTEMA envia o evento do sistema para um manipulador de evento no controlador do sistema 140 (figura 1). Em resposta ao evento do sistema, o controlador do sistema 140 envia um comando de sistema apropriado para o (s) controlador (es) ou aparelho (s) apropriado (s). Por exemplo, se o evento do sistema estiver atribuído a uma ação na interface do usuário, o controlador do sistema 140 envia um comando para o controlador 150 da tela do monitor para tomar uma ação na interface do usuário, por exemplo, mudar o modo de visão do local da cirurgia.

Processo de Detecção de Presença

[00232] Ainda em outro aspecto, como descrito acima, a posição rastreada de pelo menos uma parte da mão do cirurgião 180B é usada para determinar se a mão está presente em um manipulador-executor mestre do extremo 621. A figura 11 é um diagrama de fluxo de processo de um aspecto de um processo realizado 1100 de detecção de presença, em um aspecto, pelo controlador de rastreamento da mão 130 no sistema 100. O processo 1100 é realizado separadamente para cada uma das mãos do cirurgião em um aspecto.

[00233] No processo 1110 OBTER ÂNGULOS COMUNS, os ângulos comuns do manipulador de ferramenta mestra

[00234] 620 (figura 6B) são medidos. O processo 1110 OBTER ÂNGULOS COMUNS transfere o processamento para o processo 1111 GERAR CINEMÁTICA PARA FRENTE.

[00235] Visto que os comprimentos dos diversos elos no manipulador de ferramentas mestras 620 são conhecidos e a posição da base 629 do manipulador de ferramenta mestra 620 é conhecida, relações geométricas são usadas para gerar a localização da pega da ferramenta mestra 621 no sistema mestre de coordenadas do espaço de trabalho 680. Assim, o processo 1111GERAR CINEMÁTICA PARA FRENTE gera a posição pmtm da pega de ferramenta mestra 621 no sistema mestre de coordenadas 680 do espaço de trabalho usando os ângulos do processo 1110. O processo 1111GERAR CINEMÁTICA PARA FRENTE transfere o processamento para o processo 1112 MAPA PARA COORDENADAS DO MUNDO.

[00236] O processo 1112 MAPA PARA COORDENADAS DO MUNDO posicionai pmtm no Sistema mestre de coordenadas do espaço de trabalho 680 para uma posição pmtm_wc no sistema de coordenadas do mundo (figura 6A). Especificamente,

onde wcTws é uma transformação rígida homogênea quatro por quatro, a qual mapeia coordenadas no sistema de coordenadas 680 do espaço de trabalho para coordenadas no sistema de coordenadas do mundo 670.

[00237] Quando da finalização, o processo 1112 MAPA PARA AS COORDENADAS DO MUNDO transfere o processamento para o processo 1130 GERAR SEPARAÇÃO DA MÃO DO MANIPULADOR DO EXTREMO.

[00238] Retorno ao processo 1120 RECEBER DADOS DE LOCALIZAÇÃO DA MÃO o processo 1120 RECEBER DADOS DE LOCALIZAÇÃO DA MÃO recebe (recupera) a posição do dedo indicador e orientação (Pindicador , R-indicador) β pOSÍÇãO dO polegar e Orientação (Ppole- gar, R-polegar) θ pOSÍÇÕeS θ ONentaÇÕeS do dedo indicador (pindicador, R- indicador) e posição do polegar e orientação (ppoiegar, R-poiegar) estão baseadas em dados do sistema de rastreamento. O processo 1120 RECEBER DADOS DE LOCALIZAÇÃO DA MÃO transfere o processamento para o processo 1121 GERAR POSIÇÃO DA MÃO.

[00239] O processo 1121 GERAR POSIÇÃO DA MÃO mapeia a posição do dedo indicador e orientação (pindicador R-indicador) e posição do polegar e orientação (ppoiegar, R-poiegar) para uma posição e orientação de ponto de controle no sistema de coordenadas de rastreamento como descrito acima e essa descrição é incorporada neste documento por referência. Posição Pmão é a posição do ponto de controle em coordenadas de rastreamento. O processo 1121 GERAR POSIÇÃO DA MÃO transfere o processamento para o processo 1122 MAPA PARA COORDENADAS DO MUNDO.

[00240] O uso da posição do ponto de controle na detecção de presença é somente ilustrativo é não se destina a ser limitante. Em vista desta revelação, a detecção de presença pode ser feita, por exemplo, usando a posição da ponta do dedo indicador e usando a posição da ponta do polegar, ou usando somente uma destas posições. Os processos descritos abaixo são equivalentes para cada uma destas diversas posições associadas com uma parte de uma mão humana.

[00241] O processo 1122 MAPA PARA COORDENADAS DO MUNDO posiciona pmão no sistema de coordenadas de rastreamento para uma posição Pmtm_wc no sistema de coordenadas do mundo 670 (figura 6A). Especificamente,

onde é uma transformação rígida homogenea quatro por quatro, a qual mapeia coordenadas no sistema de coordenadas de rastreamento 650 para coordenadas no sistema 670 de coordenadas do mundo.

[00242] Quando da finalização, o processo 1122 MAPA PARA AS COORDENADAS DO MUNDO transfere o processamento para o processo 1130 GERAR SEPARAÇÃO DA MÃO DO MANIPULADOR DO EXTREMO.

[00243] O processo 1130 GERAR SEPARAÇÃO DA MÃO DO MA-NIPULADOR DO EXTREMO gera uma distância de separação dsep entre a posição Pmtm_wc no sistema de coordenadas do mundo 670 e posiciona Pmão_wc no sistema de coordenadas do mundo 670. Em um aspecto a distância de separação dsep é:

[00244] Quando da finalização, o processo 1130 GERAR SEPARAÇÃO DA MÃO DO MANIPULADOR DO EXTREMO transfere o processamento para o processo 1131 DISTÂNCIA SEGURA.

[00245] O processo de verificação 1131 DISTÂNCIA SEGURA compara a distância de separação dsep a um limiar de distância segura. Este limiar deve ser o suficientemente pequeno para ser conservador enquanto ainda permite ao cirurgião mudar o alcance ou manipular o extremo mais distante do manipulador do extremo. Se a distância de separação dsep for menor do que o limiar da distância segura, o processo de verificação1131 DISTÂNCIA SEGURA transfere para o processo 1140 PRESENÇA DE MÃO LIGADA. De modo oposto, a distância de separação dsep for maior do que o limiar de distância segura, o processo de verificação 1131 transfere para o processo 1150 PRESENÇA DA MÃO DESLIGADA.

[00246] O processo 1140 PRESENÇA DA MÃO LIGADA determina se o sistema 100 está na teleoperação. Se o sistema 100 estiver na teleoperação, nenhuma ação é exigida e a teleoperação é permitida para continuar, e assim o processo 1140 transfere para iniciar o processo 1100 de novo. Se o sistema 100 não estiver em teleoperação, o processo 1140 PRESENÇA DE MÃO LIGADA envia um evento de mão presente para o PROCESSO DE INJETAR EVENTO DO SISTEMA que por sua vez envia o evento mão presente ao controlador do sistema 140.

[00247] O processo 1150 PRESENÇA DA MÃO DESLIGADA determina se o sistema 100 está em teleoperação. Se o sistema 100 não estiver em teleoperação, nenhuma ação é exigida e assim o processo 1150 transfere para iniciar o processo 1100 de novo. Se o sistema 100 estiver em teleoperação, o processo 1150 PRESENÇA DE MÃO DESLIGADA envia um evento de mão não presente para o PROCESSO DE INJETAR EVENTO DO SISTEMA que por sua vez envia o evento mão presente ao controlador do sistema 140.

[00248] O controlador do sistema 140 determina se o evento mão presente ou o evento mão não presente exige qualquer mudança o modo de operação do sistema e emite um comando apropriado. Em um aspecto, o controlador do sistema 140 habilita a teleoperação em resposta a um evento mão presente, por exemplo, permite a teleoperação, e desabilita a teleoperação em resposta a um evento mão não presente se um instrumento cirúrgico minimamente invasivo teleope- rado estiver conectado à pega de ferramenta mestra. Como é conhecido por aqueles versados na área, um instrumento cirúrgico minimamente invasivo teleoperado é pode ser desconectado de uma pega de ferramenta mestra.

[00249] Em outros aspectos, o evento mão presente e o evento mão não presente são usados pelo controlador do sistema 140 em combinação com outros eventos para determinar se permite a teleoperação. Por exemplo, detecção de presença da cabeça do cirurgião pode ser combinada com a detecção de presença da mão do cirurgião ou mãos na determinação se permite a teleoperação.

[00250] Igualmente, como descrito acima, o evento da mão presente e o evento da mão não presente são usados pelo controlador do sistema 140 para controlar a tela do monitor de uma interface de usuário em uma tela do sistema cirúrgico minimamente invasivo. Quando o controlador do sistema 140 recebe o evento mão não presente, se a interface do usuário não estiver ligada, o controlador do sistema 140 envia um comando para o controlador 150 da tela do monitor para ligar a interface do usuário. O controlador da tela do monitor 150 executa a parte do módulo 155 da interface do usuário no processador 150 necessário para ligar a interface do usuário. Quando o controlador do sistema 140 recebe o evento mão presente, se a interface do usuário estiver ligada, o controlador do sistema 140 envia um comando para o controlador 150 da tela do monitor para desligar a interface do usuário. O controlador da tela do monitor 150 executa a parte do módulo 155 da interface do usuário necessário para desligar a interface do usuário.

[00251] O evento mão presente e o evento mão não presente podem ser usados pelo controlador do sistema 140 em combinação com outros eventos para determinar se exibe a interface do usuário. Assim, o controle da tela da interface do usuário e o controle de teleoperação são exemplos do controle do modo do sistema usando detecção de presença e não se destinam a serem limitadores para estes dois modos específicos de controle do sistema.

[00252] Por exemplo, a detecção de presença pode ser usada no controle de um visual substituto tal como aqueles descritos mais completamente abaixo. Também as combinações dos diversos modos, por exemplo, teleoperação e exibição visual substituta, podem ser controladas pelo controlador do sistema 140 baseado no evento mão presente e evento mão não presente.

[00253] Também, a detecção de presença de mão é útil na eliminação do propósito duplo das pegas de ferramenta mestra 621L, 621R, por exemplo, pressionar um pedal e depois usar as pegas de ferramenta mestra 621L, 621R, para controlar uma interface de usuário que é exibida no console do cirurgião 185B. Quando as pegas de ferramentas mestras são de propósito duplo, por exemplo, usada para controlar tanto um instrumento cirúrgico como uma interface de usuário, o cirurgião normalmente tem que pressionar um pedal para comutar para modo de operação interface do usuário. Se por alguma razão, o cirurgião falhar em pressionar o pedal, porém, acreditar que o sistema tem comutado para o modo de operação interface do usuário, o movimento da pega da ferramenta mestra pode resultar em um movimento indesejado do instrumento cirúrgico. O processo de detecção de presença 1100 é usado para evitar este problema e eliminar o duplo propósito das pegas da ferramenta mestra.

[00254] Com o processo 1100de detecção de presença, em um exemplo, quando o evento presença de mãos distante/fora for recebido pelo controlador 140, o controlador do sistema 140 envia um comando do sistema para bloquear os manipuladores de ferramenta mestra 620L, 620R (figura 6A) no lugar, e envia um comando do sistema para o controlador da tela do monitor 150 para apresentar a interface do usuário no monitor do console do cirurgião 185B. O movimento da mão do cirurgião é rastreado e é usado para controlar elementos na interface do usuário, por exemplo, mover uma chave deslizante, mudar a tela, etc.. Como observado acima o ponto de controle é mapeado dentro da estrutura de coordenadas oculares e assim pode ser associada com a localização de um elemento na interface do usuário. O mo-vimento dos pontos de controle é usado para manipular esse elemento. Isto é conseguido sem o cirurgião ter que ativar um pedal e é feito de forma que o cirurgião não possa de forma não intencional mover um instrumento cirúrgico. Assim, isto elimina os problemas associados usando as pegas de ferramenta mestra para controlar tanto o instrumento cirúrgico e a interface do usuário.

[00255] No exemplo acima, a estrutura de coordenadas do mundo é um exemplo de uma estrutura de coordenadas comuns. O uso da estrutura de coordenadas do mundo como a estrutura de coordenadas comum é somente ilustrativo é não se destina a ser limitante.

Pega de Rastreamento do Dedo Mestre

[00256] A figura 12 é uma ilustração de um exemplo de uma pega mestra de rastreamento de dedo 1270.A pega mestra de rastreamento de dedo 1270 é um exemplo de pega mestra de rastreamento de dedo 170, 270.

[00257] A pega mestra de rastreamento de dedo 1270 inclui um corpo compressível 1210 e dois circuitos de dedo 1220, 1230. O corpo compressível 1210 tem um primeiro extremo 1213 e um segundo extremo 1214.

[00258] O corpo compressível 1210 tem uma superfície exterior externa. A superfície exterior externa inclui uma primeira porção 1216 e uma segunda porção 1217. A primeira porção 1216, por exemplo, uma parte superior, se estende entre o primeiro extremo 1213 e segundo extremo 1214. A segunda porção 1217, por exemplo, a parte do fundo, se estende entre o primeiro extremo 1213 e o segundo extremo 1214. A segunda porção 1217, por exemplo, a parte do fundo se estende entre o primeiro extremo 1213 e o segundo extremo 1214. A segunda porção 1217 é oposta e retirada da primeira porção 1216.

[00259] Em um aspecto, a superfície exterior externa é uma superfície de um revestimento de tecido. O tecido é adequado para uso em uma sala de operações. O revestimento de tecido envolve espuma compressível. A espuma é selecionada para fornecer resistência à compressão, e a expansão como a compressão é liberada. Em um aspecto, várias tiras de espuma foram incluídas dentro do revestimento de tecido. A espuma também deve ser capaz de ser dobrada de forma que a primeira porção 1216 é posicionada entre o primeiro e segundo dedo de uma mão humana conforme a ponta do primeiro dedo se move em direção à ponta do segundo dedo.

[00260] A seção do corpo 1215 tem um comprimento L entre o laço do dedo 1220 e o laço do dedo 1230.Conforme explicado acima, o comprimento L é selecionado para limitar a separação entre um primeiro dedo no circuito 1220 e um segundo dedo no circuito 1230 (Vide figura 2A).

[00261] Em um aspecto, a seção do corpo 1215 tem uma espessura T. Como ilustrado na figura 2C, a espessura T é selecionada de forma que quando a pega de rastreamento do dedo mestre 1270 estiver configurada de forma tal que a região 1236 na segunda porção 1217 da superfície exterior externa adjacente ao extremo 1214 e região 1236 na segunda porção 1217 adjacente ao extremo 1213 estiverem apenas tocando, a segunda porção 1217 junto à extensão L não está em contato completo com ela mesma.

[00262] O primeiro laço do dedo 1220 está afixado ao corpo compressível 1210 adjacente ao primeiro extremo 1213. O circuito 1220 se estende ao redor de uma região 1225 da primeira porção 1216 da superfície exterior externa de corpo compressível 1210. Quando da colo- cação do primeiro laço do dedo 1220 no primeiro dedo da mão humana, a região 1225 contata o primeiro dedo, por exemplo, uma primeira parte da primeira porção 1216 da superfície exterior externa contata o polegar.

[00263] Neste exemplo, o laço do dedo 1220 tem dois extremos, o primeiro extremo do tecido 1221A e um segundo extremo do tecido 1221B. O extremo 1221 A e o extremo 1221B são extremos de uma tira de tecido que é afixada no corpo 1210. Um pedaço de tecido de laço 1222B é atado a uma superfície interna do extremo 1221B, e um pedaço de tecido de gancho 1222A é anexado é atado a uma superfície externa do extremo 1221 A. Um exemplo de tecido de gancho e tecido de laço é uma fita de fixação de nylon consistindo de duas tiras de tecido de nylon, uma tendo fios diminutos atados e a outra uma superfície áspera. As duas tiras formam uma união forte quando prensadas juntas. Um exemplo de uma fita de fixação disponível comercialmente é a fita de fixação VELCRO®. (VELCRO® é uma marca registrada de Indústrias Velcro B.V.).

[00264] O segundo laço do dedo 1230 está afixado ao corpo compressível 1210 adjacente ao segundo extremo 1214. O circuito 1230 se estende ao redor de uma região 1235 da primeira porção 1216 da superfície exterior externa de corpo compressível 1210. Quando da colocação do segundo laço do dedo 1230 no segundo dedo da mão humana, a região 1235 contata o segundo dedo, por exemplo, uma segunda parte da primeira porção 1216 da superfície exterior externa contata o dedo indicador. Segunda parte 1235 da primeira parte é oposta e retirada da primeira parte 1225 da primeira parte.

[00265] Neste exemplo, o laço do dedo 1230 também tem dois extremos, um primeiro extremo de tecido 1231A e um segundo extremo de tecido 1231B. O extremo 1231 A e o extremo 1231B são extremos de uma tira de tecido que é afixada no corpo 1210. Um pedaço de te- eido de laço 1232B é atado a uma superfície interna do extremo 1231B, e um pedaço de tecido de gancho 1232A é anexado é atado a uma superfície externa do extremo 1231 A.

[00266] Um primeiro sensor de rastreamento de localização 1211 é fixado ao primeiro laço do dedo 1220. Um segundo sensor de rastreamento de localização 1212 é fixado ao segundo laço do dedo 1230. Os sensores de rastreamento de localização podem ser qualquer um dos elementos sensores descritos acima. Em um exemplo, os sensores de rastreamento localização 1211, 1212 são sensores eletromagnéticos passivos.

Sistema Visual Substituto

[00267] Em um aspecto, o sistema de controle de rastreamento da mão é usado para controlar qualquer um de um grande número de visuais substitutos pode ser usado por um cirurgião para fiscalizar outro cirurgião. Por exemplo, quando o cirurgião 180 (figura 1A) estiver sendo fiscalizado pelo cirurgião 181 usando a pega de rastreamento do dedo mestre 170, o cirurgião 181 usa a pega de rastreamento do dedo mestre 170 para controlar um visual substituto de um instrumento cirúrgico, enquanto o cirurgião 180 usa a pega da ferramenta mestra para controlar um instrumento cirúrgico escravo teleoperado.

[00268] Alternativamente, o cirurgião 181 pode desenhar a distância, ou pode controlar uma mão virtual na tela do monitor. Também, o cirurgião 181 pode demonstrar como manipular a pega da ferramenta mestra no console do cirurgião ao manipular uma imagem virtual de pega de ferramenta mestra 621 que é apresentada na tela. Estes exemplos de visuais substitutos são somente ilustrativos é não se destinam a serem limitantes.

[00269] Além disso, o uso da pega mestra de rastreamento de dedo 170 embora não no console de um cirurgião é ilustrativo também e não se pretende que seja limitador. Por exemplo, com o sistema de detec- ção de presença descrito acima, um cirurgião no console do cirurgião poderia mover uma mão desde uma pega de ferramenta mestra, e depois usar essa mão para fiscalizar outro cirurgião conforme a mão é rastreada pelo sistema de rastreamento da mão.

[00270] Para facilitar a fiscalização, um módulo de visual substituto (não mostrado) é processado como parte de um subsistema de processamento de visão em um aspecto. Neste aspecto, o modulo de execução recebe a posição e orientação do ponto de controle da mão do fiscalizador, produz imagens estereoscópicas, as quais são compostas com as imagens da câmera endoscópica em tempo real e exibidas em qualquer combinação do console de cirurgião 185, a tela do monitor assistente, e a exibição da interface do cirurgião 187 do lado do paciente.

[00271] Quando o cirurgião 181 inicia a fiscalização ao empreender uma ação predefinida, por exemplo, uma posição do gesto da mão, um circuito do sistema de visual substituto é ativado, por exemplo, o módulo do visual substituto é executado em um módulo processador. A ação específica, por exemplo, posição do gesto da mão, usado como a ação predefinida não é essencial na medida em que o controlador do sistema 140 (figura 1) está configurado para reconhecer essa ação.

[00272] Em um aspecto, o visual substituto é um instrumento fantasma virtual 1311 (figura 13) controlado por uma pega mestra de rastreamento de dedo 170, enquanto o instrumento cirúrgico escravo 1310 teleoperado é controlado por um dos manipuladores de ferramenta mestra do console do cirurgião 185. O cirurgião 181 vê ambos os instrumentos 1310 e 1311 na tela estereoscópica no console do cirurgião 185. O uso de instrumento fantasma virtual 1311 como visual substituto é somente ilustrativo e não se destina a ser limitado a esta imagem em particular. Em vista desta revelação, outras imagens podem ser usadas para o visual substituto, o qual facilita a diferenciação entre a imagem representando o visual substituto e a imagem do manipulador real do extremo do instrumento cirúrgico escravo teleopera-do.

[00273] O instrumento virtual fantasma 1311 aparece similar ao instrumento real 1310, exceto que o instrumento virtual fantasma 1311 é exibido de uma forma que distingue claramente o instrumento virtual fantasma 1311 do instrumento real (por exemplo, uma imagem transparente ou translúcida, uma imagem inconfundivelmente colorida, etc.). O controle e operação do instrumento virtual fantasma 1311 é o mesmo conforme descrito acima para um instrumento cirúrgico teleoperado real. Assim, o cirurgião 181 pode manipular o instrumento virtual fantasma 1311 usando a pega mestra de rastreamento de dedo 170 para demonstrar o uso correto do instrumento cirúrgico escravo teleoperado 1310. O cirurgião 180 pode imitar o movimento do instrumento virtual fantasma 1311 com o instrumento 1310.

[00274] Instrumentos virtuais fantasmas são descritos mais completamente na Publicação do Pedido de Patente dos Estados Unidos N° 2009/0192523 Al (apresentado em 31 de março de 2009, revelando "Representação Sintética de um Instrumento Cirúrgico"), a qual está incorporada integralmente neste documento por referência. Vide também, do Pedido de Patente dos Estados Unidos N° 12/485.503 (apresentado em 16 de junho de 2009, revelando "Ferramenta de Medição Virtual para Cirurgia Minimamente Invasiva") Pedido de Patente dos Estados Unidos N° 12/485.545 (apresentado em 16 de junho de 2009, revelando "Ferramenta de Medição Virtual para Cirurgia Minimamente Invasiva"); Publicação de Pedido de Patente dos Estados Unidos N° US 2009/0036902 Al (apresentado em 11 de agosto de 2008, revelando "Interfaces de Usuário Interativo para Sistemas Cirúrgicos Robóti- cos Minimamente Invasivos"), Publicação de Pedido de Patente dos Estados Unidos N° US 2007/0167702 Al (apresentado em 30 de de- zembro de 2005, revelando "Sistema Robótico Médico Fornecendo "telestration"(técnica de ilustração em cirurgia remota) em Três Dimensões"); Publicação de Pedido de Patente dos Estados Unidos N° US 2007/0156017 Al (apresentada em 30 de dezembro de 2005, revelando "Telestration Estereoscópica para Cirurgia Robótica") e Publicação de Pedido de Patente dos Estados Unidos N° US 2010/0164950 Al (apresentado em 13 de maio de 2009; revelando "Telestration Eficiente em 3-D para Fiscalização Robótica Local"), cada uma das quais está incorporada integralmente por referência neste documento.

[00275] Em outro aspecto, o visual substituto é um par de mãos virtuais 1410, 1411 (figura 14) controlado por uma pega mestra de rastreamento de dedo 170, e uma segunda pega mestra de rastreamento de dedo, a qual não é visível na figura 1. Instrumentos cirúrgicos escravos teleoperados 1420, 1421 são controlados pelos manipuladores de ferramenta mestra do console do cirurgião 185. O cirurgião 181 vê imagens de vídeo 1400 no dispositivo de apresentação visual 187, e o cirurgião 18a também vê a imagem de vídeo 1400 na tela estereoscópica no console do cirurgião 185. Mãos virtuais 1410, 1411 são mostradas de uma forma que elas se distinguem claramente de outros objetos na imagem de vídeo 1400.

[00276] A abertura e fechamento do polegar e do dedo indicador de uma mão virtual é controlada usando o parâmetro de fechamento da pega gpega o qual foi descrito acima. A posição e orientação da mão virtual é controlada pela posição e orientação do ponto de controle, como descrito acima, as quais estão mapeadas dentro do espaço de coordenadas oculares, também como descritas igualmente acima.

[00277] Assim, conforme o cirurgião 181 move a mão direita do cirurgião em três dimensões, a mão virtual 1411 segue o movimento na imagem de vídeo 1400. O cirurgião 181 pode girar a mão virtual 1411 para indicar ao cirurgião 180 para girar o instrumento cirúrgico escravo teleoperado 1421. O cirurgião 181 pode movera mão virtual 1410 para uma localização em particular e depois usar o movimento do polegar e dedo indicador para instruir o cirurgião 180 para mover o instrumento cirúrgico escravo teleoperado 1420 para essa localização e para capturar o tecido. Quando o cirurgião 180 captura o tecido com o instrumento 1420, o cirurgião 181 pode usara mão virtual 1410 para instruir o cirurgião 180 como mover o tecido. Isto ocorre em tempo real e mãos virtuais 1410, 1411 são sobrepostas sobre a imagem estereoscópica do endoscópio. Contudo, os visuais substitutos também podem ser usados em um sistema monoscópico.

[00278] Em outro aspecto, o cirurgião 181 muda o modo de exibição usando uma posição do gesto da mão de forma que os visuais substitutos sejam um instrumento virtual fantasma 1510 e um dispositivo virtual de "telestration" (técnica de ilustração em cirurgia remota) 1511, os quais são apresentados na imagem de vídeo 1500 (figura 15). O dispositivo de telestration 1511 é controlado pela pega mestra de rastreamento do dedo 170, enquanto uma segunda pega mestra de rastreamento do dedo, a qual não é visível na figura 1, controla o instrumento virtual fantasma 1511.

[00279] Os instrumentos cirúrgicos escravos teleoperados 1520, 1521 são controlados pelos manipuladores de ferramenta mestra do console do cirurgião 185. O cirurgião 181 vê a imagem de vídeo 1500 no dispositivo de apresentação visual 187, e o cirurgião 180 vê também a imagem de vídeo 1500 na tela estereoscópica no console do cirurgião 185. O dispositivo de "telestration" virtual 1511 e o instrumento virtual fantasma 1411 são exibidos de uma forma que os distingue claramente dos outros objetos na imagem de vídeo 1500.

[00280] Para sobreporem gráficos e indicações com um dispositivo virtual de "telestration" (técnica de ilustração em cirurgia remota) 1511, o cirurgião 181 coloca o polegar e dedo indicador juntos como se apa- nhassem uma caneta imaginária e depois move a mão direita com o polegar e dedo indicador nesta posição para sobrepor imagens na imagem de vídeo exibida. Na imagem de vídeo 1500, o cirurgião 181 tem posicionado assim o polegar e o dedo indicador e feito a marca 1512 para ilustrar onde o tecido deve ser cortado usando o instrumento cirúrgico 1521. Depois que a marca 1512 foi feita, o cirurgião 1810 separou o polegar e o dedo indicador e moveu o dispositivo virtual de "telestration"(técnica de ilustração em cirurgia remota) 1511 para a posição mostrada na imagem de vídeo 1500.

[00281] A capacidade de marcação do dispositivo virtual de "telestration" (técnica de ilustração em cirurgia remota) 1511 é controlada usando o parâmetro de fechamento gpega o qual foi descrito acima. Conforme observado acima, quando o polegar e o dedo indicador estiverem apenas se tocando, o parâmetro de fechamento da pega gpega é mapeado para um valor inicial em uma segunda faixa, e assim quando o parâmetro de fechamento gpega estiver na segunda faixa, a "telestration" (técnica de ilustração em cirurgia remota) é habilitada para o dispositivo de "telestration" (técnica de ilustração em cirurgia remota) 1511. A posição e orientação do ponto de controle depois de serem mapeadas para o sistema de coordenadas oculares são usadas para controlar o movimento do dispositivo virtual de "telestration" (técnica de ilustração em cirurgia remota) 1511.

[00282] A descrição acima e desenhos anexos que ilustram aspectos e incorporações das presentes invenções não devem ser tomados como limitações - as concretizações definem as invenções protegidas. Diversas mudanças mecânicas, constitutivas, estruturais, elétricas e operacionais podem ser feitas sem afastar-se do espírito e escopo desta descrição e das concretizações. Em algumas instâncias, circuitos bem conhecidos, estruturas e técnicas não têm sido mostradas ou descritas em detalhe para evitar escurecimento da invenção.

[00283] Além disso, a terminologia desta descrição não se destina a limitar a invenção. Por exemplo, termos espacialmente relativos - tais como "debaixo", "abaixo", "inferior", "acima", "superior", "próximo", "distante", e similar - podem ser usados para descrever a relação de um elemento ou atributo com outro elemento ou atributo como ilustrado nas figuras. Estes termos espacialmente relativos estão concebidos para abranger diferentes posições (isto é, localizações) e orientações (quer dizer, colocações rotacionais) do dispositivo em uso ou operação além da posição e orientação mostrada nas figuras. Por exemplo, se o dispositivo nas figuras for virado, elementos descritos como "abaixo" ou "debaixo" outros elementos ou atributos então estariam "acima" ou "sobre" os outros elementos ou atributos. Assim, o termo exemplifica- dor "abaixo" pode abranger ambas as posições e orientações de acima e abaixo. O dispositivo pode ser orientado de outra forma (girado 90 graus o em outras orientações) e descritores espacialmente relativos usados neste documento interpretados consequentemente. Do mesmo modo, descrições de movimento junto e ao redor de vários eixos incluem diversas posições e orientações especiais do dispositivo.

[00284] A forma singular "um""uma", e "o/a" são concebidas para incluir também as formas plurais, a menos que o contexto o indique de outra forma. Os termos "compreende", "compreendendo", "inclui", e similares especificam a presença de atributos declarados, etapas, operações, elementos de processo, e/ou componentes, porém, não impedem a presença ou adição de um ou mais outros atributos, etapas, operações, elementos de processo, componentes e/ou grupos. Componentes descritos como conectados podem ser diretamente conectados elétrica ou mecanicamente, ou eles podem ser conectados indiretamente por meio de um ou mais componentes intermediários.

[00285] Memória se refere a uma memória volátil, uma memória não volátil, ou qualquer combinação das duas. Um processador está conectado a uma memória contendo instruções executadas pelo processador. Isto pode ser conseguido dentro de um sistema de computador, ou alternativamente por meio de uma conexão com outro computador por meio de modem e linhas analógicas, ou interfaces digitais e uma linha portadora digital.

[00286] Neste documento, um produto de programa de computador inclui um meio configurado para armazenar código legível por computador necessário para qualquer um ou qualquer combinação dos processos descritos com respeito ao rastreamento da mão ou nos quais código legível por computador para qualquer um ou qualquer combinação de processos descritos a respeito de rastreamento de mão é armazenado. Alguns exemplos de produtos de programa de computador são discos CD-ROM, discos DVD, memória flash, placas ROM, disquetes flexíveis, fitas magnéticas, discos rígidos de computador, servidores em uma rede e sinais transmitidos sobre uma rede representando código de programa legível por computador. Um produto de programa de computador tangível não transitório inclui um meio tangível não transitório configurado para armazenar instruções legíveis por computador para qualquer um ou qualquer combinação dos processos descritos com respeito aos diversos controladores ou nos quais instruções legíveis por computador para qualquer um ou qualquer combinação de processos descritos a respeito dos diversos controladores são armazenadas. Produtos de programa de computador tangíveis não transitórios são discos CD-ROM, discos DVD, memória flash, placas ROM, disquetes flexíveis, fitas magnéticas, discos rígidos de computador, e outros meios de armazenamento físicos não transitórios.

[00287] Em vista desta revelação, instruções usadas em qualquer um, ou em qualquer combinação de processos descritos com respeito a rastreamento de mão podem ser implementados em uma ampla variedade de configurações de sistema de computador usando um sistema operacional e linguagem de programação de computador de interesse para o usuário.

[00288] O uso de processadores e memórias diferentes na figura 1 é somente ilustrativo é não se destina a ser limitante. Em alguns aspectos, um processador de hardware simples pode ser usado e em outros aspectos processadores múltiplos podem ser usados.

[00289] Também, para cada uma das ilustrações, os diversos processos foram distribuídos entre um controlador de rastreamento da mão e um controlador do sistema. Isto também é ilustrativo é não se destina a ser limitante. Os diversos processos podem ser distribuídos através de controladores ou consolidados em um controlador sem mudar os princípios de operação no processo de rastreamento da mão.

[00290] Todos os exemplos e referências ilustrativas não são limitadores e não devem ser usados para limitar as concretizações para implementações específicas e incorporações descritas neste documento e suas equivalências. Os cabeçalhos são somente para formatação e não devem ser usados para limitar o assunto de qualquer forma, porque o texto abaixo de um cabeçalho pode incluir referência cruzada ou aplicar-se ao texto sob um ou mais cabeçalhos. Finalmente, em vista desta revelação, atributos particulares descritos com relação a um aspecto ou incorporação podem ser aplicados a outros aspectos revelados ou incorporações da invenção, mesmo que não mostrados especificamente nos desenhos ou descritos no texto.

Claims

1. Sistema cirúrgico minimamente invasivo (100), caracterizado pelo fato de que compreende um dispositivo mestre de rastreamento de dedo (1270) compreendendo ainda um primeiro laço do dedo (1220); um primeiro elemento de sensor (1211) fixado ao primeiro laço do dedo (1220); um segundo laço do dedo (1230); um segundo elemento do sensor (1212) fixado ao segundo laço do dedo (1230); e um corpo compressível (1210) que comprime um primeiro extremo (1213) e um segundo extremo (1214); sendo que o segundo extremo (1214) é oposto e removido do primeiro extremo (1213); o primeiro laço do dedo (1220) é afixado de modo adjacente ao primeiro extremo (1213); o segundo laço do dedo (1230) é afixado de modo adjacente ao segundo extremo (1214); e quando da colocação do primeiro laço do dedo (1220) em um primeiro dígito (292B) e do segundo laço do dedo (1230) em um segundo dígito (292A), o corpo compressível (1210) é posicionado entre os primeiro e segundo dígitos (292B, 292A) de modo que o corpo compressível (1210) forneça resistência ao movimento do primeiro dígito (292B) em direção ao segundo dígito (292A).

2. Sistema, de acordo com a reivindicação 1, caracterizado pelo fato de que o corpo compressível (1270) compreende ainda uma superfície exterior externa incluindo uma primeira porção (1216) se estendendo entre os primeiro e segundo extremos (1213, 1214), e uma segunda porção (1217), oposta e removida da primeira porção (1216), estendendo-se entre os primeiro e segundo extremos (1213, 1214).

3. Sistema, de acordo com a reivindicação 2, caracterizado pelo fato de que o primeiro laço do dedo (1220) está afixado ao corpo com-pressível (1210) de modo adjacente ao primeiro extremo (1213) e es-tendendo-se ao redor da primeira porção (1216) da superfície exterior externa, quando da colocação do primeiro laço do dedo (1220) em um primeiro dígito (292B) de uma mão humana, uma primeira parte da primeira porção (1216) da superfície exterior externa contata o primeiro dígito (292B), o segundo laço do dedo (1230) é afixado ao corpo compressível (1210) de modo adjacente ao segundo extremo (1217) e estendendo-se ao redor da primeira porção (1216) da superfície exterior externa, e quando da colocação do segundo laço do dedo (1230) em um segundo dígito (292A) da mão humana, uma segunda parte da primeira porção (1216) da superfície exterior externa contata o segundo dígito (292A).

4. Sistema, de acordo com a reivindicação 1, caracterizado pelo fato de que um comprimento (L) do corpo compressível (1210) é selecionado para limitar uma separação entre o primeiro laço do dedo (1220) e o segundo laço do dedo (1230) após a colocação do primeiro laço do dedo (1220) no primeiro dígito (292B) e do segundo laço do dedo (1230) no segundo dígito (292A).

5. Sistema, de acordo com a reivindicação 1, caracterizado pelo fato de que uma espessura (T) do corpo compressível (1210) é selecionada de forma que quando uma ponta do primeiro dígito (292B) de uma mão humana apenas toca uma ponta do segundo dígito (292A) da mão humana, o corpo compressível (1210) é menos do que totalmente comprimido.

6. Sistema, de acordo com a reivindicação 1, caracterizado pelo fato de que compreende ainda um instrumento cirúrgico escravo teleoperado (1310, 1420, 1421, 1520, 1521) tendo um manipulador do extremo, sendo que o corpo compressível (1210) é configurado para fornecer retroalimentação táctil correspondente a uma força de pega do manipulador do extremo.

7. Sistema, de acordo com a reivindicação 1, caracterizado pelo fato de que uma porção de cada um dentre os primeiro e segundo laços do dedo (1220, 1230) compreende um tecido de gancho (1222A, 1232A) e outra porção de cada um dentre os primeiro e segundo laços do dedo (1220, 1230) compreende um tecido de laço (1222B, 1232B), sendo que o tecido de laço (1222B, 1232B) fixa de forma removível ao tecido de gancho (1222A, 1232A) para formar um circuito de dedo (1220, 1230).

8. Sistema, de acordo com a reivindicação 1, caracterizado pelo fato de que cada um dentre os primeiro e segundo elementos de sensor compreende um sensor eletromagnético passivo.

9. Sistema, de acordo com a reivindicação 8, caracterizado pelo fato de que cada sensor de rastreamento eletromagnético passivo tem seis graus de liberdade.

10. Método, caracterizado pelo fato de que compreende recebimento, em um controlador (130, 140), de uma primeira localização de um sensor (1211) montado em um primeiro dígito (292A) de uma mão humana e uma segunda localização de outro sensor (1212) montado em um segundo dígito (292B) da mão humana, cada uma dentre as primeira e segunda localizações tendo N graus de liberdade, sendo que N é um número inteiro; mapeamento, pelo controlador (130, 140), da primeira loca-lização (1211) e da segunda localização (1212) para uma localização do ponto de controle, sendo que a localização do ponto de controle tem seis graus de liberdade, e sendo que os seis graus de liberdade são menos do que ou iguais a 2*N graus de liberdade; mapeamento, pelo controlador (130, 140), da primeira loca-lização e da segunda localização para um parâmetro tendo um único grau de liberdade; e controle, pelo controlador (130, 140), de teleoperação de um instrumento cirúrgico escravo (1310, 1420, 1421, 1520, 1521) em um sistema cirúrgico minimamente invasivo (100) baseado na localização do ponto de controle e no parâmetro.

11. Método, de acordo com a reivindicação 10, caracterizado pelo fato de que o parâmetro compreende uma distância de fechamento da pega.

12. Método, de acordo com a reivindicação 10, caracterizado pelo fato de que o parâmetro compreende uma orientação.

13. Método, de acordo com a reivindicação 12, caracterizado pelo fato de que a orientação compreende uma guinada.

14. Método, de acordo com a reivindicação 10, caracterizado pelo fato de que N é seis.

15. Método, de acordo com a reivindicação 10, caracterizado pelo fato de que N é cinco.

16. Método, caracterizado pelo fato de que compreende recebimento, em um controlador (130, 140), de uma primeira localização de um sensor (1211) montado em um primeiro dígito (292A) de uma mão humana e uma segunda localização de outro sensor (1212) montado em um segundo dígito (292B) da mão humana, cada uma dentre as primeira e segunda localizações tendo três graus de liberdade; mapeamento, pelo controlador (130, 140), da primeira localização e da segunda localização para uma posição do ponto de controle, sendo que o ponto de controle tem três graus de liberdade; mapeamento, pelo controlador (130, 140), da primeira localização e da segunda localização para um parâmetro tendo um único grau de liberdade; e controle de teleoperação de um instrumento cirúrgico escravo (1310, 1420, 1421, 1520, 1521) que não inclui um mecanismo de munheca em um sistema cirúrgico minimamente invasivo (100) baseado na posição do ponto de controle e no parâmetro.

17. Método, de acordo com a reivindicação 16, caracterizado pelo fato de que o parâmetro compreende uma distância de fechamento da pega.

18. Método, de acordo com a reivindicação 16, caracterizado pelo fato de que o parâmetro compreende giro.