BR112012011422B1

BR112012011422B1 - Sistema cirúrgico minimamente invasivo

Info

Publication number: BR112012011422B1
Application number: BR112012011422-0A
Authority: BR
Inventors: Brandon D. Itkowitz; Simon Dimaio; Tao Zhao
Original assignee: Intuitive Surgical Operations, Inc
Priority date: 2009-11-13
Filing date: 2010-11-11
Publication date: 2020-09-29
Also published as: CN106725860A; KR20130027006A; BR112012011422A2; KR101762638B1; CN106725860B; EP2498711B1; JP2013510673A; JP5702798B2; EP3320875A1; EP2498711A2; CN102647955B; WO2012044334A3; CN102647955A; WO2012044334A2

Abstract

método e aparelho para o controle de gesticulação manual em um sistema cirúrgico minimamente invasivo. a invenção refere-se a um sistema cirúrgico minimamente invasivo, no qual um sistema de acompanhamento de mão acompanha a localização de um elemento sensor montado em parte de uma mão humana . um parâmetro de controle de sistema é gerado com base na localização de uma parte da mão humana. a operação do sistema cirúrgico minimamente invasivo é controlada usando o parâmetro de controle de sistema. assim, o sistema cirúrgico minimamente invasivo inclui um sistema de acompanhamento de mão. um sistema de acompanhamento de mão acompanha a localização de parte de uma mão humana . um controlador acoplado a um sistema de acompanhamento de mão converte a localização a um parâmetro de controle de sistema , e injeta no sistema cirúrgico de sistema.

Description

Antecedentes Campo da Invenção

[0001] Aspectos da presente invenção são relacionados ao controle de sistemas cirúrgicos minimamente invasivos, e são mais particularmente relacionados ao uso de movimento da mão de um cirurgião no controle de um sistema cirúrgico minimamente invasivo.

Técnica Relacionada

[0002] Método e técnicas para a leitura das posições e gesticulação da mão são conhecidos. Por exemplo, alguns controladores de vídeo game utilizam informação de acompanhamento de mão. Por exemplo, a plataforma de jogos Nintendo Wii® suporta controles remotos da posição e a orientação wireless. (Wii é uma marca registrada da Nintendo of America Inc, Redmond Washington, U.S.A.). O uso de gesticulações e outros movimentos físicos tais como oscilar um bastão ou acenar uma varinha de condão proporciona o elemento de jogo fundamental para a referida plataforma. O Sony Playstation Move tem características similares àquelas da plataforma de jogos Nintendo Wii®.

[0003] Uma luva de captura de dados de movimento wireless CyberGlove® oferecida pela CyberGlove sistemas inclui dezoito sensores de dados com dois sensores de dobra em cada dedo, quatro sensores de abdução e sensores medindo o cruzamento do polegar, arco da palma, flexão do punho, e abdução do punho. (CyberGlove® é uma marca registrada da CyberGlove sistemas LLC de San Jose, CA.). Quando um sistema de leitura tridimensional é usado com a luva de captura de dados de movimento CyberGlove®, x, y, z, guinada, passo, posição do rolo, e informação de orientação para a mão são disponíveis. O sistema de captura de movimento para a luva de captura de dados de movimento CyberGlove® foi usado em avaliação de protótipo digital, biomecânica de realidade virtual, e animação.

[0004] Outra luva de dados com quarenta sensores é a luva de dados ShapeHand da Measurand Inc. Um sistema de captura de movimento de mão leve e portátil ShapeClaw da Measurand Inc. inclui um sistema de fitas flexíveis que capturam o movimento do dedo indicador e o polegar junto com a posição e a orientação da mão e antebraço no espaço.

[0005] Em In-Cheol Kim e Sung-Il Chien, "Analysis de 3D mão Trajetória gesticulaçãos usando Stroke-Based Composite Modelos Ocultos de Markov (Hidden Markov Modeljs",Applied Intelligence, Vol.15 No. 2, p.131 - 143, Setembro - Outubro 2001, Kim e Chien explora o uso de entrada de trajetória tridimensional com urn sensor Polhemus para reconhecimento de gestos. Kim e Chien propõem esta forma de entrada pelo fato de que as trajetórias tridimensionais oferecem maior potência de discriminação do que as gesticulações bidimensionais, que são predominantemente usadas em abordagens com base em vídeo. Para os seus experimentos, Kim e Chien fazem uso de um sensor de acompanhamento de posição magnético Polhemus fixado na parte posterior de uma Fakespace PinchGlove. A PinchGlove proporciona um meio para o usuário sinalizar o início e o final de uma gesticulação enquanto o sensor Polhemus captura a trajetória tridimensional da mão do usuário.

[0006] Em Elena Sanchez-Nielsen, et al., "Hand Gesture Recognition for Human-Machine Interaction" Journal de WSCG, Vol. 12, No. 1-3, ISSN 1213-6972, WSCG'2004, fevereiro 2-6 20003, Plzen Czech Republic, um sistema de visão de tempo real é proposto para aplicação em ambientes de interação visual através de reconhecimento de gestos da mão usando hardware de objetivo geral e sensores de baixo custo, tal como um computador pessoal e uma web cam. Em Pragati Garg, et al., "Vision Based Hand Gesture Recognition," 49 World Academy of Science, Engineering and Technology, 972-977 (2009), uma revisão de reconhecimento de gestos da mão com base em vídeo foi apresentada. Uma conclusão apresentada foi que a maior parte das abordagens se baseiam em diversas suposições subjacentes que podem ser adequadas em uma instalação de laboratório controlado mas que não generalizam a uma instalação arbitrária. Os autores determinaram "Métodos de visão por computador para interfaces de gesticulação das mãos devem superar o desempenho atual em termos de robustez e velocidade para alcançar interatividade e usabilidade" (Computer Vision methods for hand gesture interfaces deve surpass current performance in terms of robustness and speed to achieve interactivity and usability). Na área médica, o reconhecimento de gestos foi considerado para a navegação estéril de imagens radiológicas. Vide Juan P. Wachs, et al., "A Gesture-based Tool for Sterile Browsing of Radiology Imagens", Journal of the American Medical Informatics Association (2008; 15:321-323, DOI 10.1197/jamia.M24).

Sumário

[0007] Em um aspecto, um sistema de acompanhamento de mão em um sistema cirúrgico minimamente invasivo acompanha a localização de parte de uma mão humana. Um parâmetro de controle de sistema do sistema cirúrgico minimamente invasivo é gerado com base na localização da parte da mão humana. A operação do sistema cirúrgico minimamente invasivo é controlada usando o parâmetro de controle de sistema.

[0008] Em um aspecto, elementos sensores montados em parte da mão humana são acompanhados para obter localizações de uma parte da mão humana. A posição e uma orientação de um ponto de controle são geradas com base na localização. Teleoperação de um dispositivo em um sistema cirúrgico minimamente invasivo é controlada com base no ponto de controle de posição e orientação. Em um aspecto, o dispositivo é um instrumento cirúrgico escravo teleoperado. Em outro aspecto, o dispositivo é um proxy virtual apresentado em uma imagem de vídeo de um campo cirúrgico. Exemplos de um proxy virtual incluem um instrumento cirúrgico escravo virtual, uma mão virtual, e um dispositivo de medicina remota virtual.

[0009] Em um aspecto adicional, um parâmetro de fechamento de preensão é gerado além da posição e da orientação do ponto de controle. A preensão de uma extremidade executora do instrumento cirúrgico escravo teleoperado é controlada com base no parâmetro de fechamento de preensão.

[00010] Em outro aspecto, o parâmetro de controle de sistema é uma posição e uma orientação de um ponto de controle usado para teleoperação do instrumento cirúrgico escravo. Em ainda outro aspecto, o parâmetro de controle de sistema é determinado a partir das duas mãos. O parâmetro de controle de sistema é uma posição e uma orientação de um ponto de controle para uma das duas mãos, e uma posição e uma orientação de um ponto de controle para a outra das duas mãos. Os pontos de controle são usados para teleoperação de um manipulador de câmera endoscópica no sistema cirúrgico minimamente invasivo.

[00011] Em ainda outro aspecto, elementos sensores montados em parte de uma segunda mão humana são acompanhados além dos elementos sensores na parte da mão humana. Uma posição e uma orientação de um segundo ponto de controle são geradas com base na localização de uma parte da segunda mão humana. No referido aspecto, não só o ponto de controle mas também o segundo ponto de controle são usados no controle de teleoperação.

[00012] Em ainda outro aspecto, elementos sensores montados nos dedos da mão humana são acompanhados. Um movimento entre os dedos é determinado, e a orientação de um instrumento cirúrgico escravo teleoperado em um sistema cirúrgico minimamente invasivo é controlada com base no movimento.

[00013] Quando o movimento é um primeiro movimento, o controle inclui rolar uma ponta de um punho de instrumento cirúrgico escravo sobre a sua direção de indicação. Quando o movimento é um segundo movimento diferente a partir do primeiro movimento, o controle inclui movimento de guinada do punho de instrumento cirúrgico escravo.

[00014] Um sistema cirúrgico minimamente invasivo inclui um sistema de acompanhamento de mão e um controlador acoplado a um sistema de acompanhamento de mão. Um sistema de acompanhamento de mão acompanha as localizações de uma pluralidade de elementos sensores montada em parte da mão humana. O controlador transforma as localizações em uma posição e uma orientação de um ponto de controle. O controlador envia um comando para mover um dispositivo no sistema cirúrgico minimamente invasivo com base no ponto de controle. Mais uma vez, em um aspecto, o dispositivo é um instrumento cirúrgico escravo teleoperado, enquanto em outro aspecto, o dispositivo é um proxy virtual apresentado em uma imagem de vídeo de um campo cirúrgico.

[00015] Em um aspecto, o sistema também inclui um dispositivo de acompanhamento de dedo principal incluindo a pluralidade de sensores de leitura. O dispositivo de acompanhamento de dedo principal adicionalmente inclui um corpo compressível, uma primeira alça de dedo fixada ao corpo compressível, e uma segunda alça de dedo fixada ao corpo compressível. Um primeiro sensor de leitura na pluralidade de sensores de leitura é fixado à primeira alça de dedo. Um segundo sensor de leitura na pluralidade de sensores de leitura é fixado à segunda alça de dedo.

[00016] Assim sendo, em um aspecto, um sistema cirúrgico minimamente invasivo inclui um dispositivo de acompanhamento de dedo principal. O dispositivo de acompanhamento de dedo principal inclui um corpo compressível, uma primeira alça de dedo fixada ao corpo compressível, e uma segunda alça de dedo fixada ao corpo compressível. Um primeiro sensor de leitura é fixado à primeira alça de dedo. Um segundo sensor de leitura é fixado à segunda alça de dedo.

[00017] O corpo compressível inclui uma primeira extremidade, uma segunda extremidade, e uma superfície exterior externa. A superfície exterior externa inclui uma primeira porção que se estende entre as primeira e segunda extremidades, e uma segunda porção, oposta e removida a partir da primeira porção, que se estende entre as primeira e segunda extremidades.

[00018] O corpo compressível também tem um comprimento. O comprimento é selecionado para limitar a separação entre um primeiro dedo e um segundo dedo da mão humana.

[00019] A primeira alça de dedo é fixada ao corpo compressível adjacente à primeira extremidade e se estende sobre a primeira porção da superfície exterior externa. Com a colocação da primeira alça de dedo em um primeiro dedo da mão humana, uma primeira parte da primeira porção da superfície exterior externa entra em contato com o primeiro dedo.

[00020] A segunda alça de dedo é fixada ao corpo compressível adjacente à segunda extremidade e se estende sobre a primeira porção da superfície exterior externa. Com a colocação da segunda alça de dedo em um segundo dedo da mão humana, uma segunda parte da primeira porção da superfície exterior externa entra em contato com o segundo dedo. Com o movimento dos primeiro e segundo dedos um em direção ao outro, o corpo compressível é posicionado entre os dois dedos de modo que o corpo compressível proporciona resistência ao movimento.

[00021] A espessura do corpo compressível é selecionada de modo que com uma ponta do primeiro dedo apenas tocando uma ponta do segundo dedo, o corpo compressível é menos do que completamente comprimido. O corpo compressível é configurado para proporcionar feedback háptico correspondendo a uma força de preensão de uma extremidade executora de um instrumento cirúrgico escravo teleoperado.

[00022] Em um aspecto, os primeiro e segundo sensores de leitura são sensores eletromagnéticos passivos. Em um aspecto adicional, cada sensor eletromagnético passivo de leitura tem seis graus de liberdade.

[00023] Um método de usar o dispositivo de acompanhamento de dedo principal inclui acompanhar uma primeira localização de um sensor montado em um primeiro dedo da mão humana e uma segunda localização de outro sensor montado em um segundo dedo. Cada localização tem N graus de liberdade, onde N é um número inteiro maior do que zero. A primeira localização e a segunda localização são mapeadas a um local de ponto de controle. A localização de ponto de controle tem seis graus de liberdade. Os seis graus de liberdade são menos do que ou igual a 2*N graus de liberdade. A primeira localização e a segunda localização são também mapeadas a um parâmetro tendo um único grau de liberdade. Ateleoperação de um instrumento cirúrgico escravo em um sistema cirúrgico minimamente invasivo é controlada com base na localização do ponto de controle e do parâmetro.

[00024] Em um primeiro aspecto, o parâmetro é uma distância de fechamento de preensão. Em um segundo aspecto, o parâmetro compreende uma orientação. Em outro aspecto, N é seis, enquanto em um aspecto diferente, N é cinco.

[00025] Em ainda um aspecto adicional, elementos sensores montados em parte da mão humana são acompanhados para obter uma pluralidade de localizações de uma parte da mão humana. A gesticulação da mão a partir de uma pluralidade de gesticulações de mão conhecidas é selecionada com base na pluralidade de localizações. A operação de um sistema cirúrgico minimamente invasivo é controlada com base na gesticulação da mão.

[00026] A gesticulação da mão pode ser qualquer uma de uma posição de gesticulação da mão, uma trajetória de gesticulação da mão, ou uma combinação de uma posição de gesticulação da mão e uma trajetória de gesticulação da mão. Quando a gesticulação da mão é a posição de gesticulação da mão e a pluralidade de gesticulações de mão conhecida inclui uma pluralidade de posições conhecidas de gesticulação da mão, uma interface do usuário do sistema cirúrgico minimamente invasivo é controlada com base na posição de gesticulação da mão.

[00027] Adicionalmente, em um aspecto, quando a gesticulação da mão é a posição de gesticulação da mão, uma seleção de gesticulação da mão inclui gerar um conjunto de características observadas a partir da pluralidade de localizações acompanhadas. O conjunto de características observadas é comparado com conjuntos de características de uma pluralidade de posições conhecidas de gesticulação da mão. Uma das gesticulações da mão conhecida é selecionada como a posição de gesticulação da mão. A posição de gesticulação da mão conhecida selecionada é mapeada a um comando do sistema, e o comando do sistema é engatilhado no sistema cirúrgico minimamente invasivo.

[00028] Em ainda um aspecto adicional, quando a gesticulação da mão inclui a trajetória de gesticulação da mão, a interface do usuário do sistema cirúrgico minimamente invasivo é controlada com base na trajetória de gesticulação da mão.

[00029] No sistema cirúrgico minimamente invasivo com um sistema de acompanhamento de mãos e o controlador, o controlador transforma as localizações em uma gesticulação da mão. O controlador envia um comando para modificar um modo de operação do sistema cirúrgico minimamente invasivo com base na gesticulação da mão.

[00030] Em ainda outro aspecto, um elemento sensor montado em parte de uma mão humana é acompanhado para obter a localização de uma parte da mão humana. Com base na localização, o método determina se a posição da parte da mão humana está dentro de uma distância limiar a partir da posição de um empunhamento de ferramenta principal de um sistema cirúrgico minimamente invasivo. Operação do sistema cirúrgico minimamente invasivo é controlada com base no resultado da determinação. Em um aspecto, a teleoperação de um instrumento cirúrgico escravo teleoperado acoplada ao empunhamento de ferramenta principal é controlada com base no resultado da determinação. Em outro aspecto, a exibição de uma interface do usuário, ou a exibição de um proxy visual é controlada com base no resultado da determinação.

[00031] Em um aspecto, a posição de uma parte da mão humana é especificada por uma posição de ponto de controle. Em outro aspecto, a posição de uma parte da mão humana é uma posição de dedo indicador.

[00032] Um sistema cirúrgico minimamente invasivo inclui um sistema de acompanhamento de mão. Um sistema de acompanhamento de mão acompanha a localização de parte de uma mão humana. Um controlador usa a localização para determinar se a mão de um cirurgião está suficientemente próxima de um empunhamento de ferramenta principal para permitir uma operação particular do sistema cirúrgico minimamente invasivo.

[00033] Um sistema cirúrgico minimamente invasivo também inclui um controlador acoplado a um sistema de acompanhamento de mão. O controlador converte a localização a um parâmetro de controle de sistema, e injeta no sistema cirúrgico minimamente invasivo um comando com base no parâmetro de controle de sistema.

Breve Descrição dos Desenhos

[00034] A figura 1 é uma vista diagramática de alto nível de um sistema cirúrgico teleoperado minimamente invasivo incluindo um sistema de acompanhamento de mão.

[00035] As figuras 2A a 2G são exemplos de diversas configurações de um empunhamento de ferramenta principal acompanhada a mão usada para controlar um instrumento cirúrgico escravo teleoperado do sistema cirúrgico teleoperado minimamente invasivo da figura 1.

[00036] As figuras 3A a 3D são exemplos de posições de gesticulação da mão usadas para controlar modos de sistema no sistema cirúrgico teleoperado minimamente invasivo da figura 1.

[00037] As figuras 4A a 4C são exemplos de trajetórias de gesticulação da mão que também são usadas para controlar os modos de sistema no sistema cirúrgico teleoperado minimamente invasivo da figura 1.

[00038] A figura 5 é uma ilustração da disposição de marcadores fiduciais para acompanhamento de mão em um sistema de acompanhamento com base em câmera.

[00039] As figuras 6A e 6B são diagramas mais detalhados do console do cirurgião da figura 1, e inclui exemplos de sistemas de coordenadas utilizado no acompanhamento de mão pelo sistema cirúrgico teleoperado minimamente invasivo da figura 1.

[00040] A figura 7 é uma ilustração mais detalhada de um empunhamento de ferramenta principal usado na mão e as localizações e os sistemas de coordenadas usados no acompanhamento de mão pelo sistema cirúrgico teleoperado minimamente invasivo da figura 1.

[00041] A figura 8 é um diagrama de fluxo de processo de um processo usado no sistema de acompanhamento para acompanhar os dedos da mão e usado para gerar dados para a teleoperação de um instrumento cirúrgico escravo no sistema cirúrgico teleoperado minimamente invasivo da figura 1.

[00042] A figura 9 é um diagrama de fluxo de processo mais detalhado do processo de DADOS DE LOCALIZAÇÃO DE MAPA PARA O PONTO DE CONTROLE E PARÂMETRO DE PREENSÃO da figura 8.

[00043] A figura 10 é um diagrama de fluxo de processo de um processo usado no sistema de acompanhamento para reconhecer as posições de gesticulação da mão e as trajetórias de gesticulação da mão.

[00044] A figura 11 é um diagrama de fluxo de processo de um processo usado no sistema de acompanhamento para a detecção da presença da mão.

[00045] A figura 12 é uma ilustração de um exemplo de um dispositivo de acompanhamento de dedo principal.

[00046] A figura 13 é uma ilustração de uma imagem de vídeo, apresentada em um dispositivo de tela, incluindo um proxy visual, o qual neste exemplo inclui um instrumento espectral virtual, e um instrumento cirúrgico escravo teleoperado.

[00047] A figura 14 é uma ilustração da imagem de vídeo, apresentada em um dispositivo de tela, incluindo proxys visuais, que neste exemplo inclui um par de mãos virtuais, e instrumentos cirúrgicos escravos teleoperados.

[00048] A figura 15 é uma ilustração a imagem de vídeo, apresentada em um dispositivo de tela, incluindo proxy visuais, o que neste exemplo inclui um dispositivo de medicina remota virtual e um instrumento espectral virtual, e instrumentos cirúrgicos escravos teleoperados.

[00049] Nos desenhos, o primeiro dígito de um número de referência de três dígitos indica o número da figura na qual o elemento com aquele número de referência primeiro apareceu e os primeiros dois dígitos de um número de referência de quatro dígitos indica o número de figura da figura na qual o elemento com aquele número de referência primeiro surgiu.

Descrição Detalhada

[00050] Como usado aqui, a localização inclui uma posição e uma orientação.

[00051] Como usado aqui, a gesticulação da mão, algumas vezes chamada de uma gesticulação, inclui uma posição de gesticulação da mão, uma trajetória de gesticulação da mão, e uma combinação de uma posição de gesticulação da mão e uma trajetória de gesticulação da mão.

[00052] Aspectos da presente invenção aumentam a capacidade de controle de sistemas cirúrgicos minimamente invasivos, por exemplo, o sistema cirúrgico teleoperado minimamente invasivo da Vinci® comercializado pelo Intuitive Surgical, Inc. de Sunnyvale, Califórnia, ao utilizar informação de localização de mão no controle do sistema cirúrgico minimamente invasivo. A localização medida de um ou mais dedos da mão é usada para determinar um parâmetro de controle de sistema o qual por sua vez é usado para engatilhar um comando do sistema no sistema cirúrgico. Os comandos do sistema dependem da localização da pessoa cuja localização da mão está sendo acompanhada, isto é, se a pessoa está em um console do cirurgião.

[00053] Quando as localizações medidas são para os dedos de uma mão de uma pessoa não em um console do cirurgião, os comandos do sistema incluem um comando para mudar a orientação de uma parte de um instrumento cirúrgico escravo teleoperado com base na combinação de orientação de mão e movimento relativo de dois dedos de uma mão, e um comando para mover uma ponta de um instrumento cirúrgico escravo teleoperado de modo que o movimento da ponta segue o movimento de uma parte da mão. Quando as localizações medidas são para dedos da mão de uma pessoa em um console do cirurgião, os comandos do sistema incluem comandos que permitem ou evitam o movimento de um instrumento cirúrgico escravo de continuar a seguir o movimento de um empunhamento de ferramenta principal. Quando as localizações medidas são ou para dedos de uma mão de uma pessoa não em um console do cirurgião, ou para dedos de uma mão de uma pessoa em um console do cirurgião, os comandos do sistema incluem comandar o sistema, ou uma parte do sistema para realizar uma ação com base na posição de gesticulação da mão, e comandar o sistema ou uma parte do sistema para realizar uma ação com base na trajetória de gesticulação da mão.

[00054] A figura 1 é a vista diagramática de alto nível de um sistema cirúrgico teleoperado minimamente invasivo 100, por exemplo, o da Vinci® Surgical System, incluindo um sistema de acompanhamento de mão. Há outras partes, cabos etc. associados com o da Vinci® Surgical System, mas os referidos não são ilustrados na figura 1 para evitar desvios a partir da descrição. Adicionalmente informação relativa a sistemas cirúrgicos minimamente invasivos pode ser encontrada, por exemplo, no pedido de patente US No. 11/762,165 (depositada em 13 de Junho de 2007, descrevendo"Minimally Invasive Surgical System"), e patente US No. 6,331,181 (emitida em 18 de Dezembro de 2001, descrevendo "Surgical Robotic Tools, Data Architecture, And Use "), ambas as quais se encontram aqui incorporadas por referência. Vide também, por exemplo, Patentes US No. 7,155,315 (depositada em 12 de Dezembro de 2005; descrevendo "Camera Referenced Control In A Minimally Invasive Surgical Apparatus") e 7,574,250 (depositada em 4 de Fevereiro de 2003; descrevendo "Image Shifting Apparatus And Method For A Telerobotic System"), ambas as quais se encontram aqui incorporadas por referência.

[00055] Neste exemplo, o sistema 100 inclui um carrinho 110 com uma pluralidade de manipuladores. Cada manipulador e o instrumento cirúrgico escravo teleoperado controlado pelo referido manipulador podem ser acoplados a e desacoplados a partir dos manipuladores de instrumento principal no console do cirurgião 185, e adicionalmente os mesmos podem ser acoplados a e desacoplados a partir do empunhamento de acompanhamento de dedo principal mecanicamente não aterrado e não acionado 170, algumas vezes chamado de empunhamento de acompanhamento de dedo principal 170.

[00056] Um endoscópio estereoscópico 112 montado no manipulador 113 proporciona uma imagem de campo cirúrgico 103 dentro do paciente 111 que é exibida na tela 187 e na tela no console do cirurgião 185. A imagem inclui imagens de qualquer dos dispositivos cirúrgicos escravos no campo de visão de endoscópio estereoscópico 112. As interações entre os manipuladores de instrumento principal no console do cirurgião 185, os dispositivos cirúrgicos escravos e endoscópio estereoscópico 112 são as mesmas que as no sistema conhecido e portanto, são conhecidos daqueles versados na técnica.

[00057] Em um aspecto, o cirurgião 181 move pelo menos um dedo da mão do cirurgião, o qual por sua vez faz com que um sensor em empunhamento de acompanhamento de dedo principal 170 mude a localização. O transmissor de acompanhamento de mão 175 proporciona um campo de modo que a nova posição e a orientação do dedo são percebidas pelo empunhamento de acompanhamento de dedo principal 170. As novas a posição e a orientação percebidas são proporcionadas ao controlador de acompanhamento de mão 130.

[00058] Em um aspecto, como explicado mais completamente abaixo, o controlador de acompanhamento de mão 130 mapeia as a posição e a orientação percebidas a uma posição de ponto de controle e uma orientação do ponto de controle em um sistema de coordenadas de olho do cirurgião 181. O controlador de acompanhamento de mão 130 envia a referida informação de localização ao controlador do sistema 140 o qual por sua vez envia um comando do sistema ao instrumento cirúrgico escravo teleoperado acoplado ao empunhamento de acompanhamento de dedo principal 170. Como explicado mais completamente abaixo, usando empunhamento de acompanhamento de dedo principal 170, o cirurgião 181 pode controlar, por exemplo, a preensão de uma extremidade executora do instrumento cirúrgico escravo teleoperado, assim como a rolagem e a guinada de um punho acoplado à extremidade executora.

[00059] Em outro aspecto, o acompanhamento de mão de pelo menos uma parte da mão do cirurgião 181 ou da mão do cirurgião 180 é usado pelo controlador de acompanhamento de mão 130 para determinar se a posição de gesticulação da mão é realizada pelo cirurgião, ou uma combinação da posição de gesticulação da mão e a trajetória de gesticulação da mão é realizada pelo cirurgião. Cada posição de gesticulação da mão e cada trajetória combinada com a posição de gesticulação da mão é mapeada a um diferente comando de sistema. Os comandos do sistema controlam, por exemplo, mudanças de modo de sistema e controlam outros aspectos do sistema cirúrgico minimamente invasivo 100.

[00060] Por exemplo, em vez de usar pedais e chaves como no sistema cirúrgico minimamente invasivo conhecido, a gesticulação da mão, ou a posição de gesticulação da mão ou a trajetória de gesticulação da mão, é usada (i) para iniciar seguir entre os movimentos do empunhamento de ferramenta principal e o instrumento cirúrgico escravo teleoperado associados, (ii) para ativação de embreagem principal (que desacopla o controle principal do instrumento escravo), (iii) para controle de câmera endoscópica (que permite que o principal controle o movimento ou características do endoscópio, tais como foco ou zoom eletrônico), (iv) para permutar o braço robótico (que permuta um controle principal particular entre dois instrumentos escravos), e (v) para permutar TILEPRO™, (que fixa a tela da janela de vídeo auxiliar na tela do cirurgião). (TILEPRO é uma marca registrada do Intuitive Surgical, Inc. de Sunnyvale, CA, USA).

[00061] Quando há apenas dois empunhamentos de ferramentas principais no sistema 100 e o cirurgião 180 quer controlar o movimento de um instrumento cirúrgico escravo diferente dos dois instrumentos cirúrgicos escravos teleoperados acoplados aos dois empunhamentos de ferramentas principais, o cirurgião pode travar um ou ambos os dois instrumentos cirúrgicos escravos teleoperados no lugar usando uma primeira gesticulação da mão. O cirurgião então associa um ou ambos os empunhamentos de ferramentas principais com outros instrumentos cirúrgicos escravos mantidos pelo outro dos braços manipuladores ao usar uma gesticulação diferente da mão que na presente implementação proporciona associação de permuta do empunhamento de ferramenta principal para outro instrumento cirúrgico escravo teleoperado. O cirurgião 181 realiza um procedimento equivalente quando há apenas dois empunhamentos de acompanhamento de dedo principais no sistema 100.

[00062] Em ainda outro aspecto, uma unidade de acompanhamento de mão186 montada no console do cirurgião 185 acompanha pelo menos uma parte da mão do cirurgião 180 e envia a informação de localização percebida para o controlador de acompanhamento de mão 130. O controlador de acompanhamento de mão 130 determina quando a mão do cirurgião está suficientemente próxima do empunhamento de ferramenta principal para permitir que o sistema acompanhe, por exemplo, o movimento do instrumento cirúrgico escravo acompanhando o movimento do empunhamento de ferramenta principal. Como explicado mais completamente abaixo, em um aspecto, o controlador de acompanhamento de mão 130 determina a posição da mão do cirurgião e a posição do empunhamento de ferramenta principal correspondente. Se a diferença nas duas posições está dentro de uma distância predeterminada, por exemplo, menos do que uma separação limiar, o acompanhamento é permitido, e de outro modo o acompanhamento é inibido. Assim, a distância é usada como uma medida da presença da mão do cirurgião com relação ao empunhamento de ferramenta principal no console do cirurgião 185. Em outro aspecto, quando a posição da mão do cirurgião com relação à posição do empunhamento de ferramenta principal é menos do que a separação limiar, a exibição de uma interface do usuário na tela é inibida, por exemplo, desligada em um dispositivo de tela. De modo oposto, quando a posição da mão do cirurgião com relação à posição do empunhamento de ferramenta principal é maior do que a separação limiar, a interface do usuário é exibida no dispositivo de tela, por exemplo, ligada.

[00063] A detecção da presença da mão do cirurgião tem sido um problema duradouro. A detecção da presença tem sido experimentada muitas vezes usando diferentes tecnologias de percepção de contato, tais como chaves capacitativas, sensores de pressão, e chaves mecânicas. Entretanto, as referidas abordagens são inerentemente problemáticas pelo fato de que os cirurgiões têm diferentes preferências de como e onde querem segurar o empunhamento de ferramenta principal. O uso da distância como a medida de presença é vantajoso pelo fato de que este tipo de detecção da presença permite ao cirurgião tocar o empunhamento de ferramenta principal ligeiramente e então momentaneamente romper o contato físico para ajustar o empunhamento de ferramenta principal, mas não determina como o cirurgião mantém o empunhamento de ferramenta principal com seus dedos.

[00064] Controle de instrumento cirúrgico por meio de acompanhamento de mão

[00065] Um exemplo de um empunhamento de acompanhamento de dedo principal mecanicamente não aterrado e não acionado 270, algumas vezes chamado de empunhamento de acompanhamento de dedo principal 270, é ilustrado nas figuras 2A a 2D em diferentes configurações que são descritas mais completamente abaixo. Empunhamento de acompanhamento de dedo principal 270 inclui sensores montados em dedos 211,212, algumas vezes referidos como sensores montados em dedos e o polegar 211,212, que independentemente acompanham a localização (posição e orientação em um exemplo) de cada um de uma ponta de dedo indicador 292B e uma ponta de polegar 292A, isto é, acompanham a localização de dois dedos da mão do cirurgião. Assim, a localização da mão em si é acompanhada diferente de acompanhar a localização dos empunhamentos de ferramentas principais no sistema cirúrgico minimamente invasivo conhecido.

[00066] Em um aspecto, os sensores proporcionam acompanhamento de seis graus de liberdade (três translações e três rotações) para cada dedo da mão sobre o qual um sensor é montado. Em outro aspecto, os sensores proporcionam acompanhamento de cinco graus de liberdade (três translações e dois rotações) para cada dedo da mão sobre a qual um sensor é montado.

[00067] Em ainda outro aspecto, os sensores proporcionam o acompanhamento de três graus de liberdade (três translações) para cada dedo da mão sobre a qual um sensor é montado. Quando dois dedos são cada um dos quais acompanhado com três graus de liberdade, o total de seis graus translacionais de liberdade é suficiente para controlar um instrumento cirúrgico escravo que não inclui um mecanismo de punho.

[00068] Um conector acolchoado com espuma 210 é conectado entre sensores montados em dedos e o polegar 211,212. Conector 210 restringe o polegar 292A e o dedo indicador 292B, isto é, os dedos de mão 291R, para estarem dentro de uma distância fixa, isto é, há uma distância de separação máxima entre os dedos de mão 291R sobre a qual o empunhamento de acompanhamento de dedo principal 270 é montado. Na medida em que o polegar 292A e o dedo indicador 292B são movidos a partir da separação máxima (figura 2A) para uma configuração completamente fechada (figura 2D), o acolchoamento proporciona feedback positivo para ajudar o cirurgião 181 a controlar a força de preensão de uma extremidade executora de um instrumento cirúrgico escravo teleoperado acoplado ao empunhamento de acompanhamento de dedo principal 170.

[00069] Para a posição ilustrada na figura 2A com o polegar 292A e o dedo indicador 292B separado por uma distância máxima permitida pelo empunhamento de acompanhamento de dedo principal 270, a força de preensão é uma mínima. De modo oposto, na posição ilustrada na figura 2D onde o polegar 292A e o dedo indicador 292 estão o mais próximo permitido pelo conector 210, isto é, separado por uma mínima distância permitida pelo empunhamento de acompanhamento de dedo principal 270, a força de preensão é a máxima. As figuras 2B e 2C representam as posições que são mapeadas para intermediar as forças de preensão.

[00070] Como explicado mais completamente abaixo, as localizações (posições e orientações) de polegar 292A e de dedo indicador 292B nas figuras 2A a 2D são mapeadas a um parâmetro de fechamento de preensão, por exemplo, um valor de fechamento de empunhamento normalizado que é usado para controlar a preensão do instrumento cirúrgico escravo teleoperado acoplado a empunhamento de acompanhamento de dedo principal 270. Especificamente, as localizações percebidas de polegar 292A e de dedo indicador 292B são mapeadas ao parâmetro de fechamento de preensão pelo controlador de acompanhamento de mão 130.

[00071] Assim, a localização de uma parte da mão do cirurgião 181 é acompanhada. Com base na localização acompanhada, um parâmetro de controle de sistema de sistema cirúrgico minimamente invasivo 100, isto é, um parâmetro de fechamento de preensão, é gerado pelo controlador de acompanhamento de mão 130, e fornecido ao controlador do sistema 140. O controlador do sistema 140 usa o parâmetro de fechamento de preensão na geração de um comando do sistema que é enviado ao instrumento cirúrgico escravo teleoperado. O comando do sistema instrui o instrumento cirúrgico teleoperado para configurar uma extremidade executora para ter um fechamento de preensão correspondendo ao parâmetro de fechamento de preensão. Assim sendo, o sistema cirúrgico minimamente invasivo 100 usa o parâmetro de fechamento de preensão para controlar a operação do instrumento cirúrgico escravo teleoperado de sistema cirúrgico minimamente invasivo 100.

[00072] Ainda, as localizações (posição e orientação) de polegar 292A e de dedo indicador 292B nas figuras 2A a 2D são mapeadas a uma posição de ponto de controle e uma orientação do ponto de controle pelo controlador de acompanhamento de mão 130. A posição de ponto de controle e orientação do ponto de controle são mapeadas em um sistema de coordenadas de olho para o cirurgião 181, e então proporcionados ao controlador do sistema 140 via um sinal de comando. A posição de ponto de controle e a orientação do ponto de controle no sistema de coordenadas de olho são usadas pelo controlador do sistema 140 para teleoperação do instrumento cirúrgico escravo acoplado ao empunhamento de acompanhamento de dedo principal 170.

[00073] Mais uma vez, a localização da parte da mão do cirurgião 181 é acompanhada. Com base na localização acompanhada, outro parâmetro de controle de sistema do sistema cirúrgico minimamente invasivo 100, isto é, a posição de ponto de controle e orientação, é gerado pelo controlador de acompanhamento de mão 130. O controlador de acompanhamento de mão 130 transmite um sinal de comando com a posição de ponto de controle e a orientação ao controlador do sistema 140. O controlador do sistema 140 usa o ponto de controle de posição e de orientação em gerar um comando do sistema que é enviado ao instrumento cirúrgico escravo teleoperado. O comando do sistema instrui o instrumento cirúrgico teleoperado para posicionar o instrumento cirúrgico teleoperado com base no ponto de controle de posição e orientação. Assim sendo, o sistema cirúrgico minimamente invasivo 100 usa o ponto de controle de posição e de orientação para controlar a operação do instrumento cirúrgico escravo teleoperado de sistema cirúrgico minimamente invasivo 100.

[00074] Além de determinar o fechamento de preensão com base nas posições de sensores 211,212, outro movimento relativo entre o dedo indicador 292B e o polegar 292A é usado para controlar o movimento de guinada e o movimento de rolagem do instrumento cirúrgico escravo. Esfregar junto transversalmente o dedo 292B e o polegar 292A como se estivesse girando um eixo, que é reapresentado pelas setas na (figura 2E) sobre um eixo imaginário 293, produz a rolagem da ponta do instrumento cirúrgico escravo, enquanto se deslizar junto o dedo indicador e o polegar para cima e para baixo no sentido do comprimento um junto do outro, que é reapresentado pelas setas na (figura 2F) um eixo na direção de indicação reapresentada pela seta 295, produz movimento de guinada junto do eixo X do instrumento cirúrgico escravo. Isto é alcançado ao mapear o vetor entre as posições da ponta do dedo indicador e da ponta do polegar para definir a orientação do eixo X do ponto de controle. A posição do ponto de controle permanece relativamente estacionária uma vez que o dedo e o polegar estão cada um dos quais deslizando de modo simétrico junto ao eixo 295. Enquanto os movimentos do dedo e do polegar não são movimentos completamente simétricos, a posição ainda permanece suficientemente estacionária que o usuário pode facilmente corrigir qualquer perturbação que possa ocorrer.

[00075] Mais uma vez, as localizações da parte da mão do cirurgião 181 são acompanhadas. Com base nas localizações acompanhadas, ainda outros parâmetros de controle de sistema, isto é, o movimento relativo entre dois dedos de mão do cirurgião 291R, é gerado pelo controlador de acompanhamento de mão 130.

[00076] O controlador de acompanhamento de mão 130 converte o movimento relativo em uma orientação para o instrumento cirúrgico escravo teleoperado acoplado a empunhamento de acompanhamento de dedo principal 170. O controlador de acompanhamento de mão 130 envia um sinal de comando com a orientação ao controlador do sistema 140. Enquanto a referida orientação é um mapeamento de orientação absoluta, o controlador do sistema 140, em um aspecto, usa a referida entrada com alavancagem durante a teleoperação do mesmo modo que uma entrada de orientação a partir de qualquer outro utensílio de empunhamento passivo de ferramenta principal. Um exemplo de alavancagem é descrito no pedido de Patente US comumente cessionado No. 12/495,213 (depositado em 30 de Junho de 2009, descrevendo "Ratcheting For Master Alignment of A Teleoperated Instrumento cirúrgico"), o qual se encontra aqui incorporado por referência em sua totalidade.

[00077] O controlador do sistema 140 usa a orientação para gerar um comando do sistema que é enviado ao instrumento cirúrgico escravo teleoperado. O comando do sistema instrui o instrumento cirúrgico teleoperado para girar o instrumento cirúrgico teleoperado com base na orientação. Assim sendo, o sistema cirúrgico minimamente invasivo 100 usa o movimento entre os dois dedos para controlar a operação do instrumento cirúrgico escravo teleoperado de sistema cirúrgico minimamente invasivo 100.

[00078] Quando o movimento é um primeiro movimento, por exemplo, transversalmente esfregar o dedo 292B e o polegar 292A como se estivesse girando um eixo, a orientação é uma rolagem, e o comando do sistema resulta em uma rolagem da ponta do punho de instrumento cirúrgico escravo junto à sua direção de indicação. Quando o movimento é um segundo movimento diferente do primeiro movimento, por exemplo, deslizar o dedo indicador e o polegar para cima e para baixo no sentido do comprimento um junto do outro (figura 2F), a orientação é uma guinada, e o comando do sistema resulta no movimento de guinada do punho de instrumento cirúrgico escravo.

[00079] Em ainda outro aspecto, quando o cirurgião muda o modo de operação do sistema para um modo de reconhecimento de gestos, ambas as mãos são acompanhadas e pontos de controle e orientações para ambas as mãos são gerados com base nas posições e orientações percebidas dos sensores montados nas mãos em um aspecto. Por exemplo, como ilustrado na figura 2G, as pontas do polegar e do dedo indicador de cada mão estão em contato juntas para formar um formato circular. A posição percebida de cada mão é mapeada pelo controlador de acompanhamento de mão 130 a um par de posição de pontos de controle. O par de pontos de controle é enviado com um evento de sistema de controle de câmera para o controlador do sistema 140.

[00080] Assim, no referido aspecto, a localização de uma parte de cada mão do cirurgião 181 é acompanhada. Outro parâmetro de controle de sistema de sistema cirúrgico minimamente invasivo 100, isto é, o par de posição de pontos de controle, com base na localização acompanhada é gerado pelo controlador de acompanhamento de mão 130. O controlador de acompanhamento de mão 130 envia o par de posição de pontos de controle com um evento de sistema de controle de câmera para o controlador do sistema 140.

[00081] Em resposta ao evento de sistema de controle de câmera, o controlador do sistema 140 gera um comando de sistema de controle de câmera com base no par de posição de pontos de controle. O comando de sistema de controle de câmera é enviado a um manipulador de câmera endoscópica teleoperado no sistema cirúrgico minimamente invasivo 100. Assim sendo, o sistema cirúrgico minimamente invasivo 100 usa o par de posição de pontos de controle para controlar a operação do manipulador de câmera endoscópica teleoperado de sistema cirúrgico minimamente invasivo 100.

[00082] Controle de sistema por meio das posições de gesticulação da mão e trajetórias de gesticulação da mão

[00083] No referido aspecto, após ser disposto em um modo de operação de detecção de gesticulação, o controlador de acompanhamento de mão 130 detecta a posição de gesticulação da mão, ou a posição de gesticulação da mão e a trajetória de gesticulação da mão. O controlador 130 mapeia as posições de gesticulação da mão a um determinado comando de controle de modo do sistema, e de modo similar o controlador 130 mapeia as trajetórias de gesticulação da mão para outro comando de controle de modo do sistema. Observar que o mapeamento de poses e as trajetórias são independentes e assim isto é diferente a partir, por exemplo, do acompanhamento de linguagem de sinal manual. A habilidade para gerar comandos de sistema e para controlar o sistema 100 usando as posições de gesticulação da mão e as trajetórias de gesticulação da mão, em lugar de manipular chaves, numerosos pedais, etc. como nos sistemas cirúrgicos minimamente invasivos conhecidos, proporciona maior facilidade de uso do sistema 100 para o cirurgião.

[00084] Quando um cirurgião está em pé, o uso das posições de gesticulação da mão e das trajetórias de gesticulação da mão para controlar o sistema 100 torna desnecessário para o cirurgião retirar os olhos do paciente e/ou tela de visualização e buscar por um pedal ou uma chave quando o cirurgião quer mudar o modo do sistema. Finalmente, a eliminação das diversos chaves e pedais reduz o espaço no piso necessário pelo sistema cirúrgico teleoperado minimamente invasivo.

[00085] O conjunto particular de posições de gesticulação da mão e trajetórias de gesticulação da mão usada para controlar o sistema cirúrgico minimamente invasivo 100 não é fundamental desde que cada posição de gesticulação da mão e cada trajetória de gesticulação da mão sejam inequívocas. Especificamente, uma posição de gesticulação da mão não deve ser capaz de ser interpretada pelo controlador de acompanhamento de mão 130 como uma ou mais outras posições de gesticulação da mão no conjunto de poses, e uma trajetória de gesticulação da mão não deve ser interpretada como mais do que uma trajetória de gesticulação da mão no conjunto de trajetórias. Assim, as posições de gesticulação da mão e as trajetórias de gesticulação da mão discutidas abaixo são apenas ilustrativas e não se pretende que sejam limitantes.

[00086] As figuras 3A a 3D são exemplos de posições de gesticulação da mão 300A a 300D, respectivamente. As figuras 4A a 4C são exemplos de trajetórias de gesticulação da mão. Observar, por exemplo, que a configuração na figura 2A parece similar àquela na figura 3A, mas o modo de operação do sistema cirúrgico minimamente invasivo 100 é diferente quando as duas configurações são usadas.

[00087] Na figura 2A, o instrumento cirúrgico escravo minimamente invasivo teleoperado é acoplado ao empunhamento de acompanhamento de dedo principal 170 e o sistema 100 está no modo de acompanhamento, de modo que o movimento do instrumento cirúrgico escravo minimamente invasivo teleoperado segue o movimento acompanhado da mão do cirurgião. Nas figuras 3A a 3D e 4A a 4C, o cirurgião coloca o sistema 100 em modo de reconhecimento de gestos, e então faz uma das posições ilustradas de gesticulação da mão ou trajetórias de gesticulação da mão. As posições de gesticulação da mão e as trajetórias de gesticulação da mão são usadas no controle dos modos dos sistemas e não são usadas no modo de acompanhamento de operação. Por exemplo, os modos dos sistemas controlados com as posições de gesticulação da mão são para habilitar, desabilitar, e fazer um rodízio entre as exibições visuais, para engatara exibição visual, e para arrastar / apagar a medicina remota.

[00088] Na posição de gesticulação da mão 300A (figura 3A), o polegar 292A e o dedo indicador 292 são separados além de um limiar de engrenagem principal, por exemplo, a separação entre os dois dedos da mão 291R é maior do que 115 mm. A posição de gesticulação da mão 300B (figura 3B) com o dedo indicador 292B estendido e o polegar 292A enrolado é usada para sinalizar ao controlador de acompanhamento de mão 130 que o cirurgião está traçando uma trajetória de gesticulação da mão (vide as figuras 4A e 4B). A posição de gesticulação da mão 300C (figura 3C) com o polegar 292A para cima e o dedo indicador 292B enrolado é usada para ligar uma interface do usuário e para fazer um rodízio entre modos em uma interface do usuário. A posição de gesticulação da mão 300D (figura 3D) com o polegar 292A para baixo e o dedo indicador 292B enrolado é usada para desligar a interface do usuário. Outras posições de gesticulação da mão podem incluir um "A-okay" posição de gesticulação da mão, posição de gesticulação da mão em forma de L, etc.

[00089] O controlador de acompanhamento de mão 130, em um aspecto, usa um vetor de característica multidimensional para reconhecer e identificar a posição de gesticulação da mão. Inicialmente, uma pluralidade de posições de gesticulação da mão é especificada. Em seguida, um conjunto de característica que inclui uma pluralidade de características é especificado. O conjunto de característica é projetado para unicamente identificar cada posição de gesticulação da mão na pluralidade de poses.

[00090] Um processo de reconhecimento de posição de gesticulação da mão é treinado usando uma base de dados de treinamento. A base de dados de treinamento inclui uma pluralidade de exemplos de cada uma das posições de gesticulação da mão. A pluralidade de exemplos inclui vetores de característica para as poses produzidas para uma série de diferentes pessoas. Um conjunto de característica é gerado para cada um dos exemplos em uma base de dados de treinamento. Os referidos conjuntos de características são usados para treinar um classificador multidimensional Bayesian, como explicado mais completamente abaixo.

[00091] Quando cirurgião 180 quer dar entrada a um modo de operação de gesticulação da mão, o cirurgião ativa uma chave, por exemplo, pressiona um pedal, e então realiza a posição de gesticulação da mão com pelo menos uma mão. Observar que enquanto o referido exemplo requer um único pedal, o mesmo permite a eliminação dos outros pedais no console de pé do sistema cirúrgico minimamente invasivo conhecido e assim ainda tem as vantagens descritas acima. A unidade de acompanhamento de mão186 envia sinais que representam as posições e orientações percebidas do polegar e do dedo indicador da mão ou mãos do cirurgião ao controlador de acompanhamento de mão 130.

[00092] Usando os dados de acompanhamento para os dedos da mão do cirurgião, o controlador de acompanhamento de mão 130 gera um conjunto de características observadas. O controlador de acompanhamento de mão 130 então usa o classificador multidimensional treinado Bayseian e a distância de Mahalanobis para determinar a probabilidade, isto é, a possibilidade, de que o conjunto de características observadas é um conjunto de característica de uma posição de gesticulação da mão na pluralidade de poses. Isto é realizado para cada uma das posições de gesticulação da mão na pluralidade de poses.

[00093] A posição de gesticulação da mão na pluralidade de poses que é selecionada pelo controlador de acompanhamento de mão 130 como a posição observada de gesticulação da mão é uma tendo a menor distância de Mahalanobis se a distância de Mahalanobis é menor do que a máxima distância de Mahalanobis em uma base de dados de treinamento para aquela posição de gesticulação da mão. A posição selecionada de gesticulação da mão é mapeada a um evento de sistema. O controlador de acompanhamento de mão 130 injeta o evento de sistema no controlador do sistema 140.

[00094] O controlador do sistema 140 processa o evento de sistema e emite um comando do sistema. Por exemplo, se a posição de gesticulação da mão 300C (figura 3C) é detectada, o controlador do sistema 140 envia um comando do sistema ao controlador de tela 150 para ligar a interface do usuário. Em resposta, o controlador de tela 150 executa pelo menos uma parte do módulo de interface do usuário 155 no processador 151 para gerar uma interface do usuário na tela de console do cirurgião 185.

[00095] Assim, no referido aspecto, o sistema cirúrgico minimamente invasivo 100 acompanha a localização de parte da mão humana. Com base na localização acompanhada, um parâmetro de controle de sistema é gerado, por exemplo, a posição de gesticulação da mão é selecionada. A posição de gesticulação da mão é usada para controlar a interface do usuário de sistema cirúrgico minimamente invasivo 100, por exemplo, exibir a interface do usuário na tela de console do cirurgião 185.

[00096] O controle de interface do usuário é apenas ilustrativo e não se pretende que seja limitante. A gesticulação da mão pode ser usada para realizar qualquer uma das mudanças de modo no sistema cirúrgico minimamente invasivo conhecido, por exemplo, engrenagem principal, controle de câmera, foco de câmera, permutação do braço manipulador, etc.

[00097] Se um processo de reconhecimento de posição de gesticulação da mão determina que a posição observada de gesticulação da mão é a posição de gesticulação da mão para uma trajetória de gesticulação da mão, um evento de sistema não é injetado pelo controlador de acompanhamento de mão 130 com base no reconhecimento da pose. Em vez disso, um processo de reconhecimento de trajetória de gesticulação da mão é iniciado.

[00098] Neste exemplo, a posição de gesticulação da mão 300B (figura 3B) é a pose usada para gerar a trajetória de gesticulação da mão. As figuras 4A e 4B são exemplos bidimensionais de trajetórias de gesticulação da mão 400A e 400B que são produzidas usando a posição de gesticulação da mão 300B. A figura 4C apresenta outros exemplos bidimensionais de trajetórias de gesticulação da mão que podem ser usados.

[00099] Em um aspecto, um processo de reconhecimento de trajetória de gesticulação da mão usa um Modelo Oculto de Markov A (Hidden Markov Model). Para gerar as distribuições de probabilidade para o Modelo Oculto de Markov A (Hidden Markov Model), uma base de dados de treinamento é necessária. Antes de obter a base de dados de treinamento, um conjunto de trajetórias de gesticulação da mão é especificado. Em um aspecto, as dezesseis trajetórias de gesticulação da mão da figura 4C são selecionadas.

[000100] Em um aspecto, um número de indivíduos de teste é selecionado para produzir cada uma das trajetórias de gesticulação da mão. Em um exemplo, cada indivíduo de teste realizou cada trajetória um predeterminado número de vezes. Os dados de posição e de orientação para cada um dos indivíduos para cada trajetória realizada foram salvos em uma base de dados de treinamento. Em um aspecto, como explicado mais completamente abaixo, a base de dados de treinamento foi usada para treinar um Modelo Oculto de Markov (Hidden Markov Model) de esquerda-direita distinto usando um método interativo de Baum-Welch.

[000101] Quando um cirurgião faz uma trajetória, os dados são convertidos em uma sequência de observação O pelo controlador de acompanhamento de mão 130. Com a sequência de observação O e os Modelos Ocultos de Markov A (Hidden Markov Model), o controlador de acompanhamento de mão 130 determina que a trajetória de gesticulação da mão corresponde à sequência de símbolos observados. Em um aspecto, o controlador de acompanhamento de mão 130 usa o algoritmo de recorrência para frente com os Modelos Ocultos de Markov A (Hidden Markov Model) para gerar a probabilidade total de uma sequência de símbolos observados. A trajetória de gesticulação da mão com a maior probabilidade é selecionada se aquela probabilidade é maior do que uma probabilidade limiar. Se a maior probabilidade for menor do que a probabilidade limiar, nenhuma trajetória de gesticulação da mão é selecionada, e o processamento termina.

[000102] A trajetória de gesticulação da mão selecionada é mapeada a um evento de sistema. O controlador de acompanhamento de mão 130 injeta o evento de sistema no controlador do sistema 140.

[000103] O controlador do sistema 140 processa o evento de sistema e emite um comando do sistema. Por exemplo, se a trajetória de gesticulação da mão selecionada mapeada para um evento para mudar o nível de iluminação no campo cirúrgico, controlador do sistema 140 envia um evento de sistema a um controlador em um iluminador para mudar o nível de iluminação.

Detecção da presença por meio de acompanhamento de mão

[000104] Em um aspecto, como indicado acima, as posições de mãos do cirurgião 291R, 291L (figura 6A) são acompanhados para determinar se a teleoperação de sistema cirúrgico minimamente invasivo 100 é permitida e em alguns aspectos se exibir uma interface do usuário ao cirurgião. Mais uma vez, o controlador de acompanhamento de mão 130 acompanha pelo menos uma parte da mão do cirurgião 180B (figura 6A). O controlador de acompanhamento de mão 130 gera a localização de um empunhamento de ferramenta principal, por exemplo, o empunhamento de ferramenta principal 621 (figura 6B), que representa os empunhamentos de ferramentas principais 621L, 621R (figura 6A), e a localização de uma parte da mão. O controlador de acompanhamento de mão 130 mapeia as duas localizações em uma estrutura de coordenada comum e então determina a distância entre as duas localizações na estrutura de coordenada comum. A distância é um parâmetro de controle de sistema de um sistema cirúrgico minimamente invasivo que é com base na localização acompanhada de uma parte da mão do cirurgião.

[000105] Se a distância for menor do que um limiar seguro, isto é, menor do que a separação permitida máxima entre a parte da mão e o empunhamento de ferramenta principal, a teleoperação de sistema cirúrgico minimamente invasivo 100 é permitida, e de outro modo, a teleoperação é inibida. De modo similar, no aspecto que usa detecção da presença para controlar a exibição de uma interface do usuário, se a distância for menor do que um limiar seguro, isto é, menor do que a separação permitida máxima entre a parte da mão e o empunhamento de ferramenta principal, a exibição de uma interface do usuário na tela do sistema cirúrgico minimamente invasivo 100 é inibida, e de outro modo a tela da interface do usuário é permitida.

[000106] Assim, a distância é usada no controle de teleoperação de sistema cirúrgico minimamente invasivo 100. Especificamente, o controlador de acompanhamento de mão 130 envia um evento de sistema ao controlador do sistema 140 indicando se teleoperação é permitida. Em resposta ao evento de sistema, o controlador do sistema 140 configura o sistema 100 para permitir ou inibir a teleoperação.

Tecnologias de Acompanhamento de Localização de Mão

[000107] Antes de considerar os diversos aspectos de acompanhamento de mão descritos acima em detalhes adicionais, um exemplo de uma tecnologia de acompanhamento é descrito. O referido exemplo é apenas ilustrativo e em vista da descrição do acompanhamento, qualquer tecnologia de acompanhamento que proporciona a necessária informação de localização de mão ou dedo pode ser utilizada.

[000108] Em um aspecto, acompanhamento eletromagnético DC pulsado é usado com sensores montados em dois dedos de uma mão, por exemplo, o polegar e o dedo indicador, como ilustrado nas figuras 2A a 2D e na figura 7. Cada sensor mede seis graus de liberdade e em um aspecto tem um tamanho de oito milímetros por dois milímetros por um e meio milímetros (8 mm x 2 mm x 1,5 mm). O sistema de acompanhamento tem uma área de trabalho destra de 0,8 m de hemisfério e uma resolução de leitura de posição de 0,5 mm e 0,1 graus. O coeficiente de atualização é 160 Hertz e tem uma latência de leitura de quatro milissegundos. Quando integrado em um sistema, latência adicional pode ser incorrida em virtude de comunicação e filtragem adicional. Uma latência de comando efetiva de até 30 milissegundos foi observada ser aceitável.

[000109] No referido aspecto, um sistema de acompanhamento inclui um controlador eletromagnético de acompanhamento de mão, sensores para uso no empunhamento de acompanhamento de dedo principal, e um transmissor de acompanhamento de mão. Um sistema de acompanhamento adequado para uso em uma modalidade da presente invenção é oferecido pela Ascension Technology Corporation de Burlington, Vermont, USA como um sistema 3D guidance trakSTAR™ com um transmissor Mid-Range. (trakSTAR™ é a marca registrada de Ascension Technology Corporation.) O transmissor gera campos magnéticos DC pulsados para acompanhamento de alta precisão sobre faixas médias, que é especificada como de 78 centímetros (31 polegadas). O referido sistema proporciona acompanhamento dinâmico com 240 a 420 atualizações/segundo para cada sensor. As emissões dos sensores passivos miniaturizados não são afetadas pelas fontes de ruído da linha de forca. Uma linha de visão clara entre o transmissor e os sensores não é necessária. Há todo acompanhamento de atitude e nenhum desvio inercial ou interferência ótica. Há elevada imunidade de metal e nenhuma distorção a partir dos metais não magnéticos.

[000110] Embora um sistema de acompanhamento eletromagnético com coberturas de dedo seja usado aqui, isto é apenas ilustrativo e não se pretende que seja limitante. Por exemplo, um dispositivo do tipo de caneta pode ser segurado pelo cirurgião. O dispositivo do tipo de caneta é uma peça de dedo com três ou mais marcadores fiduciais não colineares na superfície externa do dispositivo. Tipicamente, para produzir pelo menos três marcadores fiduciais visíveis em qualquer ponto de visão, mais marcadores fiduciais são usados em virtude de auto-oclusão. Os marcadores fiduciais são suficientes para determinar um movimento de seis graus de liberdade (três translações e três rotações) da peça de dedo e assim aquele da mão que está segurando o dispositivo do tipo de caneta. O dispositivo do tipo de caneta também percebe a preensão em um aspecto.

[000111] O dispositivo do tipo de caneta é visto por duas ou mais câmeras de parâmetros conhecidos para localizar os marcadores fiduciais em três dimensões e para inferir na pose tridimensional da peça de dedo. Os marcadores fiduciais podem ser implementados, por exemplo, como 1) esferas retrorrefletivas com iluminação próxima da câmera; 2) meias esferas côncavas ou convexas com iluminação próxima da câmera; ou 3) marcadores ativos tais como um LED (que pisca). Em um aspecto, iluminação próxima do infravermelho da peça de dedo é usada, e filtros são usados para bloquear o espectro visível na câmera para minimizar a perturbação do ruído de fundo.

[000112] Em outro aspecto, a luva de dados 501 (figura 5) ou mão nua 502 é usada, e marcadores fiduciais 511 são fixados ao polegar e ao dedo indicador da luva 501 (e/ou a outros dedos da luva) que o cirurgião vai usar e/ou diretamente à pele da mão 502. Mais uma vez, marcadores redundantes podem ser usados para acomodar auto-oclusão. Marcadores fiduciais também podem ser dispostos nos outros dedos para permitir mais características de interface do usuário através de gesticulações de mão especificamente definidas.

[000113] As localizações tridimensionais dos marcadores fiduciais são computadas por triangulação de múltiplas câmeras tendo um campo de visão comum. As localizações tridimensionais dos marcadores fiduciais são usadas para inferir uma pose tridimensional (translação e orientação) da mão e também o tamanho da preensão.

[000114] As localizações do marcador precisam ser calibradas antes do uso. Por exemplo, o cirurgião pode mostrar a mão com marcadores em diferentes poses para a câmera. As diferentes poses são então usadas na calibração.

[000115] Em ainda outro aspecto, acompanhamento de mão sem marcador é usado. O movimento da mão articulada pode ser acompanhado ao se usar imagens vistas a partir de uma ou mais câmeras e processar as referidas imagens por meio de execução de um software de computador. O software de execução em computador não precisa acompanhar todos os graus de liberdade da mão para ser útil. O software de execução precisa apenas acompanhar uma parte relacionada aos dois dedos da mão para ser útil para controlar um instrumento cirúrgico como demonstrado aqui.

[000116] Em acompanhamento com base em câmera, a precisão das medições depende da precisão da localização dos marcadores na imagem; a precisão da reconstrução tridimensional em virtude da geometria da câmera; e dados redundantes tais como mais do que um número mínimo, por exemplo, três, de marcadores fiduciais, mais do que um número mínimo (um ou dois) de câmeras, e nivelamento e filtragem temporal.

[000117] A precisão da reconstrução tridimensional se baseia fortemente na precisão da calibração da câmera. Alguns marcadores fiduciais fixados a localizações conhecidas no console do cirurgião podem ser usados para determinar os parâmetros extrínsecos (rotações e translações) de múltiplas câmeras com relação ao console do cirurgião. O referido processo pode ser realizado automaticamente. Marcadores fiduciais ativos podem ser usados para os marcadores fiduciais de calibração uma vez que os referidos marcadores são apenas ligados durante um processo de calibração e antes do o procedimento. Durante o procedimento, os marcadores fiduciais de calibração são desligados para evitar confusão com os marcadores fiduciais usados para localizar as mãos do cirurgião. Os parâmetros extrínsecos relativos podem também ser computados ao se observar um marcador móvel no campo de visão comum das câmeras.

[000118] Outras tecnologias de acompanhamento que são adequadas para uso incluem, mas não são limitadas a, acompanhamento inercial, acompanhamento de profundidade da câmera, e leitura de flexão da fibra.

[000119] Como usado aqui, um elemento sensor, algumas vezes chamado de um sensor de leitura, pode ser um sensor para qualquer uma das tecnologias de acompanhamento de mão descritas acima, por exemplo, um sensor eletromagnético passivo, um marcador fiducial, ou um sensor para qualquer uma das outras tecnologias.

Sistemas de coordenadas

[000120] Antes de considerar os diversos processos descritos acima em detalhes adicionais, um exemplo de um console do cirurgião 185B (figura 6A) é considerado, e diversos sistemas de coordenadas são definidos para uso nos exemplos de acompanhamento. O console do cirurgião 185B é um exemplo de console do cirurgião 185. O console do cirurgião 185B inclui um visualizador tridimensional 610, algumas vezes referido como visualizador 610, manipuladores de instrumento principal 620L, 620R com empunhamentos de ferramentas principais 621L, 621R, e uma base 630. Empunhamento de ferramenta principal 621 (figura 6B) é um diagrama mais detalhado dos empunhamentos de ferramentas principais 621L, 621R.

[000121] Os empunhamentos de ferramentas principais 621L, 621R de manipuladores de instrumento principal 620L, 620R são segurados pelo cirurgião 180B usando o dedo indicador e o polegar, de modo que o direcionamento e a preensão envolvem movimentos intuitivos de apontar e pinçar. Os manipuladores de instrumento principal 620L, 620R em combinação com os empunhamentos de ferramentas principais 621L, 621R são usados para controlar os instrumentos cirúrgicos escravos teleoperados, endoscópios teleoperados, etc. da mesma maneira que os manipuladores conhecidos de instrumento principal no sistema conhecido cirúrgico teleoperado minimamente invasivo. Ainda, as coordenadas de posição dos manipuladores de instrumento principal 620L, 620R e os empunhamentos de ferramentas principais 621L, 621R são conhecidos a partir das cinemáticas usadas no controle dos instrumentos cirúrgico escravos.

[000122] No modo de operação de visualização normal, o visualizador 610 exibe imagens tridimensionais de campo cirúrgico 103 a partir do endoscópio estereoscópico 112. Visualizador 610 é posicionado no console 185B (figura 6B) próximo às mãos do cirurgião de modo que a imagem do campo cirúrgico vista no visualizador 610 é orientada de modo que o cirurgião 180B percebe que ele está de fato olhando diretamente para o campo cirúrgico 103. Os instrumentos cirúrgicos na imagem parecem estar localizados substancialmente onde as mãos do cirurgião estão localizadas e orientadas substancialmente como o cirurgião 180B esperaria com base na posição de suas mãos. Entretanto, o cirurgião 180B não pode ver nem as suas mãos, nem a posição ou a orientação dos empunhamentos de ferramentas principais 621L, 621R, enquanto visualiza a imagem exibida do campo cirúrgico no visualizador 610.

[000123] Em um aspecto, os manipuladores de instrumento principal 620L, 620R são movidos a partir de diretamente em frente do cirurgião 180B e sob o visualizador 610 de modo que os mesmos são posicionados sobre a base 630, e de modo que os mesmos não estão mais posicionados sob o visualizador 610, isto é, os manipuladores do instrumento principal são dispostos fora do caminho da gesticulação da mão. Isto proporciona um volume não obstruído sob o visualizador 610 em que o cirurgião 180B pode realizar gesticulações da mão, ou uma ou ambas as posições de gesticulação da mão ou trajetórias de gesticulação da mão.

[000124] No aspecto da figura 6A, três sistemas de coordenadas são definidos com relação ao console do cirurgião 185B: uma vista do sistema de coordenada 660, um sistema de coordenada mundial 670, e um sistema de coordenada de acompanhamento 650. Observar que sistemas de coordenadas equivalentes são definidos para o cirurgião 181 (figura 1), de modo que o mapeamento descrito mais completamente abaixo pode ser realizado para a leitura de dados a partir de empunhamento de acompanhamento de dedo principal 170 ou a partir de empunhamentos de ferramentas principais 621L, 621R. Vide, por exemplo, o pedido de patente US No. 12/617,937, intitulado "Patient- Side Surgeon Interface For a Minimally Invasive Teleoperated Instrumento cirúrgico," depositada em 13 de Novembro de 2009, o qual se encontra aqui incorporado por referência em sua totalidade.

[000125] No sistema de coordenada de visão 660, o cirurgião 180B está olhando para o eixo-Z visãoZ. O eixo-Y visãoY aponta para cima na tela. X-eixo visãoX aponta para a esquerda na tela. No sistema de coordenada mundial 670, o eixo-Z mundiaIZ é um eixo vertical. O eixo- X mundial Xworld e o eixo-Y mundial mundialY estão em um plano perpendicular ao eixo-Z mundiaIZ.

[000126] A figura 6B é uma ilustração mais detalhada do empunhamento de ferramenta principal 621 e manipuladores de instrumento principal 620. Os sistemas de coordenadas 680, 690 são discutidos mais completamente abaixo com relação a método 1100 da figura 11.

Processo de Controle de instrumento cirúrgico por meio de acompanhamento de mão

[000127] A figura 7 é uma ilustração do sensor 212 montado no dedo indicador 292B com a localização 713 no sistema de coordenada de acompanhamento 750, e um sensor 211 montado no polegar 292A com a localização 711 no sistema de coordenada de acompanhamento 750. Os sensores 211 e 212 são parte do sistema de acompanhamento eletromagnético descrito acima. O polegar 292A e o dedo indicador 292B são exemplos de dedos da mão direita 291R. Como observado anteriormente, a parte da mão humana inclui pelo menos um dedo da mão. Como é conhecido daqueles versados na técnica, os dedos, algumas vezes chamados de dedos ou falanges, da mão são o polegar (primeiro dedo), dedo indicador (segundo dedo; dedo indicador), dedo do meio (terceiro dedo), dedo anular (quarto dedo), e dedo mínimo (quinto dedo).

[000128] Aqui, o polegar e o dedo indicador são usados como exemplos de dois dedos da mão humana. Isto é apenas ilustrativo e não se pretende que seja limitante. Por exemplo, o polegar e o dedo do meio podem ser usados no lugar do polegar e do dedo indicador. A descrição aqui é diretamente aplicável ao uso do dedo do meio ainda. Ainda, o uso da mão direita é apenas ilustrativo. Quando sensores similares são usados na mão esquerda, a descrição aqui é diretamente aplicável à mão esquerda ainda.

[000129] Cabo 741,742 conecta os sensores 211, 212 do empunhamento de acompanhamento de dedo principal 270 ao controlador de acompanhamento de mão 130. Em um aspecto, cabo 741, 742 porta posição e informação de orientação a partir dos sensores 211,212 ao controlador de acompanhamento de mão 130.

[000130] O uso de um cabo para transmitir os dados da posição e a orientação percebidas ao controlador de acompanhamento de mão 130 é apenas ilustrativo e não se pretende que seja limitante a este aspecto específico. Em vista da presente descrição um versado na técnica pode selecionar um mecanismo para transmitir os dados da posição e a orientação percebidas a partir do empunhamento de acompanhamento de dedo principal ou empunhamento de acompanhamento de dedo principais ao controlador de acompanhamento de mão 130 (por exemplo, pelo uso de conexão sem fio).

[000131] O cabo 741, 742 não inibe o movimento de empunhamento de acompanhamento de dedo principal 270. Uma vez que o empunhamento de acompanhamento de dedo principal 270 é mecanicamente não aterrado, cada empunhamento de acompanhamento de dedo principal é de fato não restringido para ambos os movimentos de posição e de orientação dentro do espaço de trabalho alcançável pelo cirurgião e o espaço de trabalho do transmissor de acompanhamento de mão (por exemplo, esquerda - direita, para cima - para baixo, par dentro - para fora, rolar, passo, e guinada no sistema de coordenada Cartesiano).

[000132] Em um aspecto, como descrito acima, cada sensor 211,212 no empunhamento de acompanhamento de dedo principal 270 percebe três graus de translações e três graus de rotações, isto é, seis graus de liberdade. Assim, os dados percebidos a partir dos dois sensores representam doze graus de liberdade. Em outro aspecto, cada sensor 211,212 no empunhamento de acompanhamento de dedo principal 270 percebe três graus de translações e dois graus de rotações (guinada e passo), isto é, cinco graus de liberdade. Assim, os dados percebidos a partir dos dois sensores representam dez graus de liberdade.

[000133] Ao se usar uma posição de ponto de controle e uma orientação do ponto de controle com base nas localizações acompanhadas para controlar um instrumento cirúrgico escravo teleoperado requer seis graus de liberdade (três translações e três orientação), como descrito mais completamente abaixo. Assim, nos aspectos onde cada sensor tem cinco ou seis graus de liberdade, os sensores 211, 212 proporcionam graus de liberdade redundantes. Como descrito acima e mais completamente abaixo, os graus de liberdade redundantes são mapeados aos parâmetros usados para controlar o instrumento cirúrgico escravo teleoperado aspectos diferentes de posição e orientação.

[000134] Em ainda um aspecto adicional, cada sensor 211, 212 percebe apenas três translações graus de liberdade e portanto juntos representam seis graus de liberdade. Isto é suficiente para controlar três graus de translações, rolagem, e fechamento de preensão de um instrumento cirúrgico escravo que não inclui um mecanismo de punho. A descrição do acompanhamento é usada para gerar a localização do ponto de controle usando os seis graus de liberdade. A orientação do ponto de controle é tomada como a orientação do instrumento cirúrgico escravo. O parâmetro de fechamento de preensão é determinado como descrito abaixo usando a localização de ponto de controle e a orientação do ponto de controle. A rolagem é determinada como descrito acima usando o movimento relativo do polegar e do dedo indicador.

[000135] Em qualquer um dos aspectos onde os sensores percebem seis graus de liberdade, ou onde os sensores percebem cinco graus de liberdade, o sensor do dedo indicador 212 gera um sinal que representa uma posição do dedo indicador pindicador e uma orientação do dedo indicador Rindicador na estrutura de coordenadas de acompanhamento 750. O sensor do polegar 211 gera um sinal que representa uma posição do polegar ppoiegar e uma orientação do polegar Rpoiegarna estrutura de coordenadas de acompanhamento 750. Em um aspecto, as posições pindicador e ppoiegar são tomadas como alinhadas com o centro da unha do usuário no dedo indicador 292B e o centro da unha do usuário no polegar 292A, respectivamente.

[000136] Neste exemplo, as posições pindicador e ppoiegar são cada uma reapresentada como um vetor três por um na estrutura de coordenadas de acompanhamento 750. As posições pindicador e ppoiegar estão nas coordenadas de rastreamento.

[000137] As orientações Rindicador e Rpoiegar são cada uma reapresentada como uma matriz três por três na estrutura de coordenadas de acompanhamento 750, isto é,

[000138] Uma posição de ponto de controle pcp é centrada entre o dedo indicador 292B e o polegar 292A. A posição de ponto de controle Pcp está na estrutura de ponto de controle 790, mas é especificada nas coordenadas de rastreamento. O eixo-Z de estrutura de ponto de controle 790 se estende através da posição de ponto de controle pcp na direção de indicação, como descrito mais completamente abaixo.

[000139] Ainda, como explicado abaixo, o dedo indicador 292B e o polegar 292A são mapeados para as mandíbulas de um instrumento cirúrgico escravo, mas os dois dedos são mais hábeis do que as mandíbulas do instrumento. O eixo-Y da estrutura de ponto de controle 790 corresponde ao pino usado para o fechamento da mandíbula do instrumento. Assim, o eixo-Y da estrutura de ponto de controle 790 é perpendicular a um vetor entre o dedo indicador 292B e o polegar 292A, como descrito abaixo.

[000140] A posição do ponto de controle pcp é reapresentada como um vetor três por um nas coordenadas de rastreamento da estrutura de coordenadas de acompanhamento 750. A orientação do ponto de controle Rcp é reapresentada como a matriz três por três nas coordenadas de rastreamento, isto é,

[000141] A figura 8 é um diagrama de fluxo de processo para mapear a localização de parte da mão a um parâmetro de fechamento de preensão usado para controlar a preensão de um instrumento cirúrgico escravo, por exemplo, um dos instrumentos cirúrgicos escravos teleoperados na figura 1. O referido mapeamento também mapeia uma mudança temporal na localização para um novo parâmetro de fechamento de preensão e a localização correspondente de uma ponta do instrumento escravo e a velocidade em mover para aquela localização.

[000142] Inicialmente, ao se dar entrada no processo 800, processo de RECEBER DADOS DE LOCALIZAÇÃO DA MÃO 810 se recebe a posição e a orientação do dedo indicador (pindicador, Rindicador) e a posição e a orientação do polegar (ppoiegar, Rpoiegar), que neste exemplo são armazenadas como dados 811. A posição e a orientação do dedo indicador (pindicador, Rindicador) e a posição e a orientação do polegar (ppoiegar, RPoiegar) são com base em dados provenientes do sistema de acompanhamento. O processo 810 transfere para o processo MAPEAR OS DADOS DE LOCALIZAÇÃO AO PONTO DE CONTROLE E PARÂMETRO DE PREENSÃO 820.

[000143] O processo MAPEAR OS DADOS DE LOCALIZAÇÃO AO PONTO DE CONTROLE E PARÂMETRO DE PREENSÃO 820 gera uma posição de ponto de controle pcp, uma orientação do ponto de controle Rcp, e um parâmetro de fechamento de preensão gpreensão usando a posição e a orientação do dedo indicador (pindicador, Rindicador) e a posição e a orientação do polegar (ppoiegar, Rpoiegar). A posição de ponto de controle pcp, a orientação do ponto de controle Rcp, e o parâmetro de fechamento de preensão gpreensão são armazenados como dados 821.

[000144] Em um aspecto, o mapeamento do ponto de controle realizado no processo 820 é definido para emular propriedades chave da disposição do ponto de controle dos manipuladores de instrumento principal conhecido. Assim, a resposta ao movimento do polegar e do dedo indicador será familiar e intuitiva aos usuários do sistema cirúrgico minimamente invasivo teleoperado conhecido com um console do cirurgião similar ao console do cirurgião 180B (figura 6A).

[000145] A figura 9 é um diagrama de fluxo de processo mais detalhado para um aspecto do processo de MAPEAR OS DADOS DE LOCALIZAÇÃO AO PONTO DE CONTROLE E PARÂMETRO DE PREENSÃO 820. Primeiro, no processo 820, o processo de MAPEAR OS DADOS DE POSIÇÃO DA MÃO AO PONTO DE CONTROLE 910 gera a localização de posição de ponto de controle pcp a partir da posição do dedo indicador pindicador e da posição do polegar ppoiegar, isto é, Pcp — 0,5 (Ppolegar + Pindicador )

[000146] A posição do ponto de controle pcp é a média posição de dedo pindicador e posição do polegar ppoiegar. O processo de MAPEAR OS DADOS DE POSIÇÃO DA MÃO AO PONTO DE CONTROLE 910 transfere o processamento para o processo de GERAR A ORIENTAÇÃO DO PONTO DE CONTROLE 920.

[000147] Como indicado acima, o eixo-Z da orientação do ponto de controle é alinhado na direção de indicação. No referido aspecto do processo de GERAR A ORIENTAÇÃO DO PONTO DE CONTROLE 920, a fórmula de eixo/ângulo de Rodriguez é usada para definir o vetor de direção de indicação do eixo-Z zmetade para a orientação do ponto de controle como as meias rotações entre o vetor de direção de indicação do dedo indicador zdedojndjcador e o vetor de direção de indicação do polegar fpolegar. A partir de orientação do polegar Rpoiegar, o vetor de direção de indicação do polegar ipolegar é:

[000148] De modo similar, a partir de orientação do dedo indicador Rindicador, o vetor de direção de indicação do dedo indicador z ˆ é:

[000149] Vector ω é um vetor perpendicular ao vetor de direção de indicação do dedo indicador zded0jndjcador e ao vetor de direção de indicação do polegar ipolegar. O vetor ω é definido como o produto cruzado do vetor de direção de indicação do dedo indicador zded0inidicador e o vetor de direção de indicação do polegar zpolegar, isto é,

[000150] O ângulo θ é a magnitude do ângulo entre o vetor de direção de indicação do dedo indicador fded0indicador e o vetor de direção de indicação do polegar ipolegar. O ângulo θ é definido como,

[000151] Com o eixo ω e ângulo 0, o vetor de direção de indicação do θixo-Z zmetade é:

[000152] Assim, o processo 910 gerou a posição de ponto de controle Pcp e a parte inicial do processo 920 gerou a direção de indicação aproximada do eixo-Z na estrutura de ponto de controle 790. Pode se proceder para interpolar os vetores do dedo indicador e de orientação do polegar para gerar os eixos do vetor de unidade de ponto de controle xcp e ycp de modo similar e então reortogonalizar os mesmos para produzir uma orientação da matriz do ponto de controle.

[000153] Entretanto, uma maior destreza de teleoperação pode ser alcançada a partir das localizações acompanhadas dos dedos ao se usar o mapeamento de acompanhamento. O referido mapeamento usa as posições relativas do dedo indicador e do polegar para efetivamente rolar e guinar o ponto de controle como se manipula a pequenas gimbal entre os dedos. O restante do processo 920 é realizado como a seguir para gerar um conjunto completo de eixos de vetores de unidade de ponto de controle ortogonal xcp, ycp, e zcp.

[000154] Com os referidos vetores, orientação do ponto de controle Rcp é:

[000155] Agora com os processos 910 e 920, o processo 820 mapeou as posições e orientações do dedo indicador e do polegar (pindicador, Rindicador), (Ppoiegar, Rpoiegar) ao ponto de controle de posição e de orientação (pcp, Rcp). O processo 820 deve ainda gerar um parâmetro de fechamento de preensão gpreensão. Assim, o processo de GERAR ORIENTAÇÃO DO PONTO DE CONTROLE 920 transfere o processamento para o processo de GERAR PARÂMETRO DE FECHAMENTO DE PREENSÃO 930.

[000156] No processo 930, o fechamento de preensão é determinado pelas distâncias da posição do dedo indicador pindicador e da posição do polegar ppoiegara partir do eixo de linha central definido pela posição de ponto de controle pcp e direção do eixo-Z zcp. Isto permite que o fechamento de preensão seja invariante para deslizar quando o polegar e o dedo indicador estão se tocando.

[000157] Assim, a posição do dedo indicador pindicador e a posição do polegar ppoiegar são mapeadas no eixo-Z na estrutura 790. A Posição Pindicador_proj é a projeção de posição do dedo indicador pmdicador sobre o eixo-Z da estrutura 790, e a posição pPoiegar_Proj é a projeção de posição do polegar ppoiegar sobre o eixo-Z da estrutura 790.

[000158] A pOSiçãO Pindicador_proJ θ 3 pOSÍÇãO Ppolegar_proj SãO USadaS para avaliar uma distância de fechamento de preensão de avaliação dvai, isto é,

[000159] Aqui, as linhas duplas paralelas são as conhecidas representativas da distância Euclideana dois-norm. A distância de fechamento de preensão de avaliação dvai é delimitada pelo limiar de distância máxima dmax e um limiar de distância mínima dmin. Como ilustrado na figura 7, o conector acolchoado com espuma 210 entre sensores 211,212 restringe os dedos para estarem dentro de uma separação, isto é, entre um limiar de distância máxima dmax e um limiar de distância mínima dmin. Adicionalmente, uma distância neutra do corresponde à distância de separação quando os dois dedos estão apenas se tocando.

[000160] Para um conjunto particular de sensores e um conector, um limiar de distância máxima dmax, um limiar de distância mínima dmin, e a distância neutra do são empiricamente determinados. Em um aspecto, três diferentes combinações de sensores e um conector são proporcionadas para mãos pequenas, médias, e grandes. Cada combinação tem o seu próprio limiar de distância máxima dmax, limiar de distância mínima dmin, e distância neutra do na medida em que o comprimento de conector 210 é diferente em cada uma das combinações.

[000161] O processo 930 compara a distância dvai ao limiar de distância mínima dmin. Se a comparação observar que a distância dvai é menos do que o limiar de distância mínima dmin, a distância de fechamento de preensão d é ajustada para limiar de distância mínima dmin. De outro modo, o processo 930 compara a distância dvai ao limiar de distância máxima dmax. Se a comparação observar que a distância dvai é maior do que o limiar de distância máxima dmax, a distância de fechamento de preensão d é ajustada para distância máxima limiar dmax. De outro modo, a distância de fechamento de preensão d é ajustada para distância dvai.

[000162] O teste realizado na distância dvai para determinar a distância de fechamento de preensão d é resumido como:

[000163] Em seguida no processo 930, o parâmetro de fechamento de preensão gpreensão é gerado:

[000164] Assim, a distância de fechamento de preensão d entre limiar de distância máxima dmax e a distância do é mapeada a um valor entre zero e um. A distância de fechamento de preensão d entre o limiar de distância mínima dmin e a distância do é mapeado a um valor entre menos um e zero.

[000165] Um valor de um para o parâmetro de fechamento de preensão gpreensão é obtido quando o dedo indicador 292B e o polegar 292A são separados a uma extensão máxima permitida pelo conector 210 (figura 2A). Um valor de zero para o parâmetro de fechamento de preensão gpreensão é obtido quando a ponta do dedo indicador 292B e a ponta de polegar 292A estão apenas se tocando (figura 2C). Valores na faixa entre zero e um, controla a abertura / fechamento das mandíbulas da extremidade executora de um instrumento cirúrgico escravo. Um valor de menos um para o parâmetro de fechamento de preensão gPreensão é obtido quando o dedo indicador 292B e o polegar 292A estão se tocando e o conector 210 é completamente comprimido entre o dedo indicador 292B e o polegar 292A (figura 2D). Valores na faixa entre zero e menos um controla a força da mandíbula das mandíbulas fechadas da extremidade executora. O conector 210 proporciona a passive instrução háptica para o fechamento da mandíbula.

[000166] O referido exemplo de mapeamento de distância de fechamento de preensão d a um valor em uma das duas faixas é apenas ilustrativo e não se pretende que seja limitante. O exemplo é ilustrativo do mapeamento de distância de fechamento de preensão d a um valor em uma primeira faixa de parâmetro de fechamento de preensão gPreensão para controlar a abertura / fechamento das mandíbulas de uma extremidade executora de um instrumento cirúrgico escravo quando a distância de fechamento de preensão d é maior do que distância neutra do. Aqui "abertura / fechamento" significa a abertura e o fechamento das mandíbulas. A distância de fechamento de preensão d é mapeada a um valor em uma segunda faixa do parâmetro de fechamento de preensão gpreensão para controlar a força da mandíbula das mandíbulas fechadas da extremidade executora quando a distância de fechamento de preensão d é menor do que a distância neutra do.

[000167] Assim, o processo 820 mapeou a posição e a orientação do dedo indicador (pindicador, Rindicador) e a posição e a orientação do polegar (pPoiegar, RPoiegar) em um ponto de controle de posição e de orientação (pcp, RcP) e o parâmetro de fechamento de preensão gpreensão que é armazenado como os dados 821. O processo 820 transfere para processo de MAPEAR PARA AS COORDENADAS MUNDIAIS 830 (figura 8).

[000168] O processo de MAPEAR PARA AS COORDENADAS MUNDIAIS 830 recebe os dados 821, e mapeia os dados 821 a um sistema de coordenada mundial, (vide sistema de coordenada mundial 670 (figura 6A). Especificamente, o ponto de controle de posição e de orientação (pCp, Rcp) e o parâmetro de fechamento de preensão gpreensão são mapeados para o ponto de controle de posição e de orientação das coordenadas mundiais (pcp_wc, RcP_wc) usando uma transformada homogênea de quatro por quatro wcTtc que mapeia as coordenadas no sistema de coordenada de acompanhamento 750 (figura 7B) para coordenadas no sistema de coordenada mundial 670, por exemplo,

onde wcRtc mapeia uma orientação nas coordenadas de rastreamento tc para uma orientação nas coordenadas mundiais wc, e wcttc traduz a posição nas coordenadas de rastreamento tc para uma posição nas coordenadas mundiais wc.

[000169] O parâmetro de fechamento de preensão gpreensão não é alterado pelo referido mapeamento. Os dados nas coordenadas mundiais wc são armazenados como dados 831. O processo 830 transfere para o processo de MAPEAR COORDENADAS DE OLHO 840.

[000170] O Processo de MAPEAR COORDENADAS DE OLHO 840 recebe os dados 831 nas coordenadas mundiais wc e mapeia os dados 831 a um sistema de coordenadas de olho (vide sistema de coordenadas de olho 660 (figura 6A). Especificamente, o ponto de controle de posição e de orientação das coordenadas mundiais (pCp_wc, Rcp_wc) e o parâmetro de fechamento de preensão gpreensão são mapeados para as ponto de controle de posição e de orientação das coordenadas de olho (pcp_ec, Rcp_ec) usando a transformada homogênea de quatro por quatro ecTwc que mapeia as coordenadas no sistema de coordenada mundial 670 (figura 6A) para as coordenadas no sistema de coordenadas de olho 660, por exemplo,

onde ecRwc mapeia uma orientação nas coordenadas mundiais wc para uma orientação nas coordenadas de olho ec, e ectV7C é uma tradução de uma posição nas coordenadas mundiais wc para a posição nas coordenadas de olho ec.

[000171] Mais uma vez, o parâmetro de fechamento de preensão gpreensão não é alterado pelo mapeamento. Os dados nas coordenadas de olho são armazenados como dados 841. O processo 840 se transfere para o processo de GERAR VELOCIDADES 850.

[000172] Em processo 800, os processos de mapeamento 830 e 840 são descritos como dois diferentes processos apenas para facilidade de ilustração. Em um aspecto, os processos de mapeamento 830 e 840 são combinados de modo que os dados de ponto de controle nas coordenadas de rastreamento tc são mapeados diretamente aos dados nas coordenadas de olho ec usando a transformada homogênea de quatro por quatro ecTtc que mapeia as coordenadas no sistema de coordenada de acompanhamento 650 (figura 6A) para as coordenadas no sistema de coordenadas de olho 660, por exemplo,

[000173] No referido aspecto, a posição do ponto de controle nas coordenadas de olho pcp_ec é:

e a orientação do ponto de controle nas coordenadas de olho Rcp_ec é:

[000174] Em alguns aspectos, o mapeamento de coordenada mundial pode ser eliminado. Neste caso, os dados de ponto de controle são mapeados diretamente a partir do sistema de coordenada de acompanhamento dentro do sistema de coordenadas de olho sem utilizar um sistema de coordenada mundial.

[000175] Para teleoperação, posição, orientação, e velocidade são necessárias. Assim, o processo de GERAR VELOCIDADES 850 gera a velocidade necessária. As velocidades podem ser geradas em um número de modos. Algumas implementações, tais como sensores inerciais e de giroscópio, podem medir diretamente sinais diferenciais para produzir uma velocidade linear e uma velocidade angular do ponto de controle. Se as velocidades não puderem ser diretamente medidas, o processo 850 estima as velocidades a partir das medições de localização no sistema de coordenadas de olho em um aspecto.

[000176] As velocidades podem ser estimadas usando diferenças finitas no sistema de coordenadas de olho sobre o intervalo de amostragem. Por exemplo, a velocidade linear vCp_ec é estimada como:

e a velocidade angular ωcp_ec é estimada como:

[000177] Em outro aspecto do processo de GERAR VELOCIDADES 850, o ponto de controle de velocidade linear vcp_tc e o ponto de controle velocidade angular ωcp_tc são percebidos nas coordenadas de rastreamento de sistema de coordenada de acompanhamento 750 (figura 7). No referido aspecto, a velocidade linear do ponto de controle diretamente percebido vcp_tc e a velocidade angular do ponto de controle diretamente percebido ωcp_tc são giradas a partir do sistema de coordenada de acompanhamento 750 para o sistema de coordenadas de olho 660 usando a rotação ecRtc. Especificamente, usando o mapeamento de rotações como definidos acima,

[000178] O processo de GERAR VELOCIDADES 850 transfere para processo de ENVIAR COMANDO DE CONTROLE 860. O processo 860 envia um comando de controle de sistema apropriado ao instrumento cirúrgico escravo com base na posição, orientação, velocidades, e parâmetro de fechamento de preensão armazenados como dados 851.

[000179] Em um aspecto, os processos 810 a 850 são realizados pelo controlador de acompanhamento de mão 130 (figura 1). O controlador 130 executa o módulo de acompanhamento de dedo 135 no processador 131 para realizar os processos 810 a 850. No referido aspecto, O módulo de acompanhamento de dedo 135 é armazenado na memória 132. O processo 850 envia um evento de sistema ao controlador do sistema 140 que por sua vez realiza o processo 860.

[000180] Deve ser observado que o controlador de acompanhamento de mão 130 e o controlador do sistema 140 podem ser implementados na prática por qualquer combinação de hardware, software que é executado em um processador, e firmware. Ainda, as funções dos referidos controladores, como descrito aqui, podem ser realizadas por uma unidade, ou dividas entre diferentes componentes, cada um dos quais pode ser implementado por sua vez por qualquer combinação de hardware, software que é executado em um processador, e firmware. Quando dividido entre diferentes componentes, os componentes podem ser centralizados em uma localização ou distribuídos através do sistema 100 para fins processamento distribuído.

Processo de pose de gesticulação de mão e controle de trajetória de gesticulação

[000181] A figura 10 é um diagrama de fluxo de processo de um aspecto de um processo 1000 de posição de gesticulação da mão e controle de sistema de trajetória de gesticulação da mão 100. Em um aspecto como descrito acima, um processo de reconhecimento de posição de gesticulação da mão 1050 usa um classificador multidimensional de Bayesian e um processo de reconhecimento de trajetória de gesticulação da mão 1060 usa um Modelo Oculto de Markov A distinto (Hidden Markov Model).

[000182] Como descrito acima, as figuras 3A a 3D são exemplos de posições de gesticulação da mão. Para treinar o processo de reconhecimento de posição de gesticulação da mão 1050, um número de posições de gesticulação da mão é especificado. O número de posições de gesticulação da mão utilizado é limitado pela habilidade de definir poses únicas que podem inequivocamente ser identificadas por um processo de reconhecimento 1050, e pela habilidade do cirurgião de lembrar e confiavelmente reproduzir cada uma das diferentes posições de gesticulação da mão.

[000183] Além de definir as posições de gesticulação da mão, um conjunto de característica incluindo uma pluralidade de características fi, onde i varia a partir de 1 a n, é definido. O número n é o número de características usado. O número de e o tipo de características é selecionado de modo que cada uma das posições de gesticulação da mão no conjunto de poses permissíveis pode ser precisamente identificada. Em um aspecto, o número n é seis.

[000184] O acompanhamento é um exemplo de um conjunto de característica com n características.

[000185] A característica fi é o produto de ponto de direção de indicação de zjndjcador dedo indicador 292B e direção de indicação £polegar de polegar 292A. A característica Í2 é a distância entre o dedo indicador 292B e o polegar 292A. A característica Í3 é a distância de polegar 292A projetada na direção de indicação zjndjcador do dedo indicador 292B. A característica Í4 é a distância de polegar 292A a partir do eixo junto a direção de indicação ijndjcador do dedo indicador 292B. A característica f5 é o componente Z da direção de indicação fpolegar de polegar 292A. A característica fn é 0 produto de ponto de vetor normal de polegar xpolegardo polegar 292A e a direção de indicação zjndjcador de dedo indicador 292B.

[000186] Antes de usar 0 método 1000, é necessário se desenvolver a base de dados de treinamento de posições de gesticulação da mão. Um número de diferentes usuários produz cada posição de gesticulação da mão pelo menos uma vez, e a posição e a orientação dadas para cada posição de gesticulação da mão para cada usuário são medidas usando 0 sistema de acompanhamento. Por exemplo, cada pessoa em um grupo de pessoas faz cada uma das posições permissíveis de gesticulação da mão. As posições e as orientações do dedo indicador e dO polegar (Pindicador, Rindicador), (Ppolegar, Rpolegar) SãO SalvaS para Cada uma das posições de gesticulação da mão para cada pessoa no grupo em uma base de dados de treinamento.

[000187] Ao se usar a base de dados de treinamento, um conjunto de características {fs} é gerado para cada posição de gesticulação da mão para cada usuário. O conjunto de vetores de treinamento de característica para cada posição de gesticulação da mão é então usado para computar, um meio f e a covariância ZA.

[000188] Assim, a base de dados de treinamento é usada para obter um meio de vetor de característica e covariância para cada gesticulação treinada. Adicionalmente, para cada posição de gesticulação da mão, a distância de Mahalanobis d(fi) (vide discussão abaixo) é gerada para cada treinador e a máxima distância de Mahalanobis d(fi) para cada posição de gesticulação da mão é salva como um limiar para aquela posição de gesticulação da mão.

[000189] Se pode também usar a distância de Mahalanobis medida para verificar que todas as gesticulações treinadas são suficientemente diferentes e inequívocas para o determinado conjunto de características usado. Isto pode ser realizado ao se testar a distância de Mahalanobis de um determinado meio de vetor de característica de gesticulação f,e um meio de vetor de características de todas as outras poses de gesticulação permissíveis. A referida distância de teste deve ser muito maior do que o limiar de distância máxima de treinamento usado para aquela determinada gesticulação.

[000190] Como é conhecido daqueles versados na técnica, a especificação de um Modelo Oculto de Markov (Hidden Markov Model) requer a especificação de dois parâmetros de modelo N, M e três medições de probabilidade A, B, TT.Modelo Oculto de Markov A (Hidden Markov Model) é reapresentado como: A = (A, B, π)

[000191] Parâmetro de modelo N é o número de estados no modelo, e parâmetro de modelo M é o número de símbolos de observação por estado. As três medições de probabilidade são distribuição de probabilidade de estado de transição A, distribuição de probabilidade de observação de gesticulação B, e distribuição de estado inicial π.

[000192] Em um aspecto para um Modelo Oculto de Markov distinto (Hidden Markov Model), a distribuição de probabilidade de transição A é uma matriz N x N. A distribuição de probabilidade de observação de gesticulação B é uma matriz N x M, e a distribuição de estado inicial π é uma matriz N x 1 .

[000193] Considerando uma sequência de observação O e os Modelos Ocultos de Markov A (Hidden Markov Model), a probabilidade de sequência de observação O considerando os Modelos Ocultos de Markov A (Hidden Markov Model), isto é, P(O|A) é avaliada no processo 1000, como descrito mais completamente abaixo.

[000194] Para gerar as distribuições de probabilidade para os Modelos Ocultos de Markov A (Hidden Markov Model), a base de dados de treinamento é necessária. Antes de obter a base de dados de treinamento, um conjunto de trajetórias de gesticulação da mão é especificado.

[000195] Um número de indivíduos de teste j é selecionado para produzir cada uma das trajetórias de gesticulação da mão. Enquanto na figura 4C, as dezesseis trajetórias de gesticulação da mão são apresentadas na forma projetada bidimensional, os indivíduos de teste são ilimitados quando realizam as diversas trajetórias de gesticulação da mão, que permitem que algumas variações tridimensionais surjam. Em um aspecto, cada indivíduo realizou cada trajetória de gesticulação da mão k vezes, isto produz j*k sequências de treinamento por trajetória de gesticulação da mão.

[000196] Em um aspecto, o Modelo Oculto de Markov (Hidden Markov Model) de esquerda-direita distinto foi usado. Modelos Ocultos de Markov A (Hidden Markov Model) foram escolhidos de modo que a probabilidade P(O|A) é localmente maximizada usando um método interativo de Baum-Welch. Vide, por exemplo, Lawrence R. Rabiner, "A Tutorial on Hidden Markov Models and Selected Applications in Speech Recognition," Proceedings of the IEEE, Vol. 77, No. 2, pp. 257-286 (Feb. 1989), o qual está aqui incorporado por referência como uma demonstração de conhecimento de Modelos Ocultos de Markov (Hidden Markov Models) daqueles versados nos modelos. Em um aspecto, o método iterativo foi interrompido quando o modelo convergiu dentro 0,1 porcento para três iterações sucessivas.

[000197] A probabilidade de estado inicial π foi ajustada de modo que o modelo sempre começa com o estado um. A matriz de probabilidade de transição A foi inicializada com entradas aleatórias, que foram armazenados em ordem decrescente em uma base de fileira por fileira. Para reforçar a estrutura de esquerda para direita, todas as entradas na diagonal inferior da matriz de probabilidade de transição A foram ajustadas em zero. Adicionalmente, transições maiores do que dois estados foram desabilitadas por ajustar as entradas em zero onde (i - j) > 2 para todas as fileiras i e colunas j. A matriz de probabilidade de transição A foi normalizada no final da fileira em base de fileira por fileira.

[000198] A inicialização para a matriz de probabilidade de observação B dividiu a sequência de observação uniformemente com base no número de estados desejados. Portanto, cada estado pode inicialmente observar um ou mais símbolos com a probabilidade com base na contagem de frequência local. A referida matriz foi também normalizada em uma base de fileira por fileira. Vide, por exemplo, N. Liu, R.I.A. Davis, B.C. Lovell, P.J. Kootsookos, "Effect of Initial HMM Choices in Multiple Sequence Training for Gesture Recognition," International Conference on Information Technology, 5-7, Las Vegas, pgs 608 - 613 (Abril de 2004), a qual se encontra aqui incorporada por referência como uma demonstração de procedimentos de inicialização para Modelos Ocultos de Markov (Hidden Markov Model)s conhecidos por aqueles versados na técnica. Os Modelos Ocultos de Markov (Hidden Markov Model) foram desenvolvidos para cada uma das trajetórias de gesticulação da mão.

[000199] Retornando ao método 1000, processo de checagem de MODO DE GESTICULAÇÃO HABILITADO 1001 determina se o cirurgião habilitou o modo de reconhecimento de gestos de operação de sistema 100. Em um aspecto, para permitir o modo de reconhecimento de gestos, o cirurgião pressiona um pedal no console do cirurgião 185 (figura 1A). Se o modo de reconhecimento de gestos está habilitado, checar o processo 1001 transfere para o processo de DADOS DE RECEBIMENTO DE LOCALIZAÇÃO DE MÃO 1010, e de outro modo retorna através de RETORNA 1002.

[000200] Os DADOS DE RECEBIMENTO DE LOCALIZAÇÃO DE MÃO 1010 recebem a posição e a orientação do dedo indicador (Pindicador; Rindicador) θ a pOSÍÇãO e a Orientação dO polegar (Ppolegar, Rpoiegar) para a gesticulação sendo produzida pelo cirurgião. Como observado acima, a posição e a orientação do dedo indicador (pindicador, Rindicador) θ a pOSÍÇãO e 3 Orientação do polegar (Ppolegar, Rpoiegar) são com base em dados a partir do sistema de acompanhamento. O processo 1010 transfere para o PROCESSO DE GERAR CARACTERÍSTICAS 1011.

[000201] No PROCESSO DE GERAR CARACTERÍSTICAS 1011, a posição e a orientação do dedo indicador (pindicador, Rindicador) e a posição e a orientação do polegar (ppoiegar, Rpoiegar) são usadas para gerar cada uma das características fi_o a fn_o em um vetor de característica observada fi_o. O processo de GERAR CARACTERÍSTICAS 1011 transfere para processo de COMPARAR A CARACTERÍSTICA COM AS POSES CONHECIDAS 1012.

[000202] O processo de COMPARAR A CARACTERÍSTICA COM AS POSES CONHECIDAS 1012 compara o vetor de característica observada fi_o com o conjunto de características treinadas {f J para cada pose. O referido processo determina a probabilidade de que o vetor de característica observada está incluído dentro um conjunto de características de conjunto de dados de treinamento {fs} para uma posição particular de gesticulação da mão, isto é, corresponde ao conjunto de dados de treinamento. Isto pode ser expresso como P(fi_o|Ω) onde conjunto de características de conjunto de dados de treinamento {f,} é a partir da classe de objeto Ω.

[000203] Neste exemplo, a probabilidade P(fi_o|Ω) é:

onde N é a dimensionalidade do vetor de característica, por exemplo, n no exemplo acima.

[000204] Uma estatística usada para caracterizar a referida probabilidade é a distância de Mahalanobis d(fj_o), que é definida como:

onde fj o=fj —fj. A distância de Mahalanobis é conhecida daqueles versados na técnica. Vide, por exemplo, Moghadam, Baback e Pentland, Alex, "Probabilistic Visual Learning for Object Representation,"IEEE Transactions On Pattern Analysis and Machine Intelligence, Vol. 19, No. 7, pp. 696 a 710 (Julho de 1997), a qual se encontra aqui incorporada por referência.

[000205] Ao se usar o vetor característico O e valor característico A de covariância Zn, Eg é usado na forma diagonalizada de modo que a distância de Mahalanobis d(fi_o) é:

onde y = <DTfLo. A forma diagonalizada permite que a distância de Mahalanobis d(fi_o) seja expressa em termos da soma:

[000206] Neste exemplo, esta é a expressão que é avaliada para determinar a distância de Mahalanobis d(fi_o). Assim sendo, o processo 1011 gera a distância de Mahalanobis d(fi_o). Com a conclusão, o processo 1012 transfere para o processo SELECIONAR POSE 1013.

[000207] No processo SELECIONAR POSE 1013, a posição de gesticulação da mão tendo a menor distância de Mahalanobis d(fj_o) é selecionada se distância de Mahalanobis d(fj_o) é menos do que a máxima distância de Mahalanobis em uma base de dados de treinamento para aquela posição de gesticulação da mão. Se distância de Mahalanobis d(fi_o) é maior do que a máxima distância de Mahalanobis em uma base de dados de treinamento para aquela posição de gesticulação da mão, nenhuma posição de gesticulação da mão é selecionada. O processo SELECIONAR POSE 1012 transfere para PROCESSO DE FILTRO TEMPORAL 1014.

[000208] O PROCESSO DE FILTRO TEMPORAL 1014 determina se o resultado do processo 1013 proporcionou o mesmo resultado consecutivamente um predeterminado número de vezes. Se o processo 1013 proporcionou o mesmo resultado para o predeterminado número de vezes, o processo de FILTRO TEMPORAL 1014 transfere para o processo de checar POSE DE GESTICULAÇÃO 1015, e de outro modo retorna. O predeterminado número de vezes é selecionado de modo que o processo de FILTRO TEMPORAL 1014 evita as oscilações ou detecções transitórias quando se comuta entre as posições de gesticulação da mão.

[000209] O processo de checar POSE DE GESTICULAÇÃO 1015 determina se a posição selecionada de gesticulação da mão é a posição de gesticulação da mão usada na trajetória de gesticulação da mão. Se a posição selecionada de gesticulação da mão é a posição de gesticulação da mão usada na trajetória de gesticulação da mão, o processo de checar POSE DE GESTICULAÇÃO 1015 transfere o processamento para o processo de GERAR SEQUÊNCIA DE VELOCIDADE 1020, e de outro modo transfere o processamento para o processo de checar MUDANÇA DE POSE 1016.

[000210] O Processo de checar MUDANÇA DE POSE 1016 determina se a posição de gesticulação da mão se alterou a partir da última passagem através de método 1000. Se a posição selecionada de gesticulação da mão é a mesma que a imediatamente anterior resulta em uma POSE DE GESTICULAÇÃO FILTRADA TEMPORAL, o processo de checar MUDANÇA DE POSE 1016 retorna através de RETORNA 1003, e de outro modo transfere para o processo de MAPEAR PARA EVENTO DE SISTEMA 1030.

[000211] Processo de MAPEAR PARA EVENTO DE SISTEMA 1030 mapeia a posição selecionada de gesticulação da mão a um evento de sistema, por exemplo, o evento de sistema atribuído à posição de gesticulação da mão é observado. Ao se achar o evento de sistema, o processo de MAPEAR PARA EVENTO DE SISTEMA 1030 transfere o processamento para o processo de INJETAR EVENTO DE SISTEMA 1031.

[000212] Em um aspecto, o processo de INJETAR EVENTO DE SISTEMA 1031 envia o evento de sistema para um gerenciador de evento no controlador do sistema 140 (figura 1). Em resposta ao evento de sistema, o controlador do sistema 140 envia um comando apropriado de sistema aos controladores e/ou outro aparelho no sistema 100. Por exemplo, se a posição de gesticulação da mão é atribuída a um evento de ligar interface do usuário, o controlador do sistema 140 envia um comando to controlador de tela 150 para ligar a interface do usuário. O controlador de tela 150 executa a parte de módulo de interface do usuário 155 no processador 150 necessária para ligar a interface do usuário.

[000213] Quando a posição de gesticulação da mão é a posição de gesticulação da mão usada na produção da trajetória, o processamento no método 1000 transfere a partir do processo de checar POSE DE GESTICULAÇÃO 1015 para o processo de GERAR SEQUÊNCIA DE VELOCIDADE 1020. Em um aspecto, a característica principal usada para o reconhecimento da trajetória de gesticulação da mão é um vetor de unidade de velocidade. O vetor de unidade de velocidade é invariante para a partida da posição de gesticulação. Adicionalmente, um vetor de velocidade normalizada é responsável por variações de tamanho ou de velocidade da gesticulação. Assim, no processo 1020, amostras do ponto de controle são convertidas em uma sequência de velocidade de ponto de controle normalizado, isto é, em uma sequência de vetores de unidade de velocidade.

[000214] Com a conclusão do processo de GERAR SEQUÊNCIA DE VELOCIDADE 1020, o processo 1020 transfere o processamento para o processo de CONVERTER SEQUÊNCIA DE VELOCIDADE EM SEQUÊNCIA DE SÍMBOLO 1021. Como observado acima Modelo Oculto de Markov distinto A (Hidden Markov Model) requer uma sequência de símbolos distintos como entrada. No processo 1021, os símbolos distintos são gerados a partir da sequência de velocidade de ponto de controle normalizado através da quantização do vetor.

[000215] Em um aspecto, a quantização do vetor foi realizada usando uma agregação de meio-K modificado com a condição de que o processo para quando as determinações da agregação param de mudar. Enquanto agregação do meio-K é usada, o processo alavanca o fato de que as características são vetores de unidade. Neste caso, os vetores, que são similares em direção, são agregados. Isto é realizado usando o produto de ponto entre cada vetor de característica de unidade e os vetores de centro de agregação normalizados como a métrica de similaridade.

[000216] A agregação é inicializada com determinações aleatórias de vetores a trinta e dois grupos e o processo geral é iterado múltiplas vezes, onde o melhor resultado de agregação é selecionado com base na máxima total "dentro" métrica de custo do grupo. Observar que neste caso, o custo do grupo "dentro" é com base na medida de similaridade. Cada um dos grupos resultantes é atribuído com um único indicador, que serve como um símbolo para os Modelos Ocultos de Markov (Hidden Markov Model). Um vetor de entrada é então mapeado ao seu meio de grupo mais próximo e o indicador correspondente daquele grupo é usado como o símbolo. Deste modo, uma sequência de vetores de unidade de velocidade pode ser traduzida em uma sequência de índices ou símbolos.

[000217] Em um aspecto, os vetores de agregados foram atribuídos um símbolo com base no livro de códigos de quantização de vetor bidimensional de oito direções fixas. Assim, o processo 1020 gera uma sequência de símbolos observada e transfere para processo de GERAR PROBABILIDADE DE GESTICULAÇÃO 1023.

[000218] Em um aspecto, para determinar que a gesticulação corresponde à sequência de símbolos observados, o processo de GERAR PROBABILIDADE DE GESTICULAÇÃO 1023 usa o algoritmo de recorrência para frente com os Modelos Ocultos de Markov (Hidden Markov Model) para encontrara probabilidade de que cada gesticulação corresponde à sequência de símbolos observados. O algoritmo de recorrência para frente é descrito em Rainer, "A Tutorial on Modelos Hidden Markov Models and Selected Applications in Speech Recognition,"o qual foi anteriormente aqui incorporado por referência. Com a conclusão do processo de GERAR PROBABILIDADE DE GESTICULAÇÃO 1023, o processamento se transfere para o processo de SELECIONAR TRAJETÓRIA 1024.

[000219] No processo de SELECIONAR TRAJETÓRIA 1024, a trajetória de gesticulação da mão com a maior probabilidade a partir de entre os modelos de gesticulação de trajetória dos Modelos Ocultos de Markov permissíveis (Hidden Markov Model). Esta probabilidade deve também ser maior do que um determinado limiar a ser aceito. Se a maior probabilidade não é maior do que o limiar, nenhuma trajetória de gesticulação da mão é selecionada. O referido limiar deve ser sintonizado para maximizar a precisão do reconhecimento ao mesmo tempo em que se evita falso reconhecimento.

[000220] Com a conclusão, o processo de SELECIONAR TRAJETÓRIA 1024 transfere para o processamento para o processo de checar TRAJETÓRIA ENCONTRADA 1025. Se o processo de SELECIONAR TRAJETÓRIA 1024 selecionou uma trajetória de gesticulação da mão, o processo de checar TRAJETÓRIA ENCONTRADA 1025 transfere para o processamento para o processo de MAPEAR PARA EVENTO DE SISTEMA 1030, e de outro modo retorna através de RETORNA 1004.

[000221] O processo de MAPEAR PARA EVENTO DE SISTEMA 1030 mapeia a trajetória de gesticulação da mão selecionada a um evento de sistema, por exemplo, o evento de sistema atribuído à trajetória de gesticulação da mão é observado. Ao encontrar o evento de sistema, o processo de MAPEAR PARA EVENTO DE SISTEMA 1030 transfere o processamento para o processo de INJETAR EVENTO DE SISTEMA 1031.

[000222] Em um aspecto, o processo de INJETAR EVENTO DE SISTEMA 1031 envia o evento de sistema ao gerenciador de evento no controlador do sistema 140 (figura 1). Em resposta ao evento de sistema, o controlador do sistema 140 envia um comando apropriado de sistema ao(s) controlador(s) apropriado(s) ou aparelho. Por exemplo, se o evento de sistema é atribuído para uma ação em uma interface do usuário, o controlador do sistema 140 envia um comando ao controlador de tela 150 para adotar aquela ação na interface do usuário, por exemplo, mudar o modo de visualização do campo cirúrgico.

[000223] Processo de Detecção da presença

[000224] Em ainda outro aspecto, como descrito acima, a posição acompanhada de pelo menos uma parte da mão do cirurgião 180B é usada para determinar se a mão está presente em uma extremidade executora do manipulador principal 621. A figura 11 é um diagrama de fluxo de processo de um aspecto de um processo 1100 de detecção da presença realizou, em um aspecto, pelo controlador de acompanhamento de mão 130 no sistema 100. O processo 1100 é realizado separadamente para cada das mãos do cirurgião em um aspecto.

[000225] No processo OBTER ÂNGULOS DA ARTICULAÇÃO 1110, os ângulos de articulação do manipulador de ferramenta principal 620 (figura 6B) são medidos. O processo de OBTER ÂNGULOS DA ARTICULAÇÃO 1110 transfere o processamento para o processo de gerar CINEMÁTICA PARA FRENTE 1111.

[000226] Uma vez que os comprimentos dos diversos links no manipulador de ferramenta principal 620 são conhecidos e a posição de base 629 de manipulador de ferramenta principal 620 é conhecida, as relações geométricas são usadas para gerar a localização de empunhamento de ferramenta principal 621 no sistema de coordenada de espaço de trabalho principal 680. Assim, o processo de GERAR CINEMÁTICA PARA FRENTE 1111 gera a posição pmtm de empunhamento de ferramenta principal 621 no sistema de coordenada de espaço de trabalho principal 680 usando os ângulos a partir do processo 1110. O processo de GERAR CINEMÁTICA PARA FRENTE 1111 transfere o processamento para processo de MAPEAR PARA AS COORDENADAS MUNDIAIS 1112.

[000227] O processo de MAPEAR PARA AS COORDENADAS MUNDIAIS 1112 mapeia a posição pmtm no sistema de coordenada de espaço de trabalho principal 680 para a posição pmtm_wc no sistema de coordenada mundial 670 (figura 6A). Especificamente, Pmtm_wc = WCTws * Pmtm onde WCTws é uma transformação rígida homogênea quatro por quatro, que mapeia as coordenadas no sistema de coordenada de espaço de trabalho 680 para as coordenadas no sistema de coordenada mundial 670.

[000228] Com a conclusão, o processo de MAPEAR PARA AS COORDENADAS MUNDIAIS 1112 transfere o processamento para processo de GERAR A SEPARAÇÃO DA EXTREMIDADE EXECUTORA PARA MÃO 1130.

[000229] Retornando aos dados de recebimento de localização de mão 1120, o processo de DADOS DE RECEBIMENTO DE LOCALIZAÇÃO DE MÃO 1120 recebe (recupera) a posição e a orientação do dedo indicador (pindicador, Rindicador) e a posição e a orientação do polegar (ppoiegar, Rpoiegar). A posição e a orientação do dedo indicador (pindicador, Rindicador) e a posição e a orientação do polegar (Ppolegar, Rpoiegar) são com base em dados a partir do sistema de acompanhamento. O processo de DADOS DE RECEBIMENTO DE LOCALIZAÇÃO DE MÃO 1120 transfere o processamento para o processo de GERAR POSIÇÃO DE MÃO 1121.

[000230] O processo de GERAR POSIÇÃO DE MÃO 1121 mapeia a posição e a orientação do dedo indicador (pindicador, Rindicador) e a posição e a orientação do polegar (ppoiegar, Rpoiegar) a um ponto de controle de posição e de orientação no sistema de coordenada de acompanhamento como descrito acima e a referida descrição está aqui incorporada por referência. A posição Pmão é a posição do ponto de controle nas coordenadas de acompanhamento. O processo de GERAR POSIÇÃO DE MÃO 1121 transfere o processamento para o processo de MAPEAR PARA AS COORDENADAS MUNDIAIS 1122.

[000231] O uso da posição de ponto de controle na detecção da presença é apenas ilustrativo e não se pretende que seja limitante. Em vista da presente descrição, a detecção da presença pode ser realizada, por exemplo, usando a posição da ponta do dedo indicador e usando a posição da ponta do polegar, ou usando apenas uma das referidas posições. Os processos descritos abaixo são equivalentes a cada uma das referidas diversas posições associadas com uma parte da mão humana.

[000232] O processo de MAPEAR PARA AS COORDENADAS MUNDIAIS 1122 mapeia a posição pmão em coordenadas de acompanhamento a uma posição p mão_wc no sistema de coordenada mundial 670 (Figura 6A). Especificamente, Pmão_wc = WCTtc * Pmão onde wcTtc é 3 transformação rígida homogênea quatro por quatro, que mapeia as coordenadas no sistema de coordenada de acompanhamento 650 para coordenadas no sistema de coordenada mundial 670.

[000233] Com a conclusão, o processo de MAPEAR PARA AS COORDENADAS MUNDIAIS 1122 transfere o processamento para processo de GERAR A SEPARAÇÃO DA EXTREMIDADE EXECUTORA PARA MÃO 1130.

[000234] O processo de GERAR A SEPARAÇÃO DA EXTREMIDADE EXECUTORA PARA MÃO 1130 gera uma distância de separação dsep entre posição pmtm_wc no sistema de coordenada mundial 670 e posição pmão_wc no sistema de coordenada mundial 670. Em um aspecto a distância de separação dsep é: ^sep — ||Pmtm_wc Phand wc ||

[000235] Com a conclusão, o processo de GERAR A SEPARAÇÃO DA EXTREMIDADE EXECUTORA PARA MÃO 1130 transfere o processamento para processo de checar DISTÂNCIA SEGURA 1131.

[000236] O Processo de checar DISTÂNCIA SEGURA 1131 compara a distância de separação dsep a um limiar de distância segura. O referido limiar deve ser suficientemente pequeno para ser conservador e ainda permitir que o cirurgião mude a preensão ou manipule a extremidade mais distai da extremidade executora. Se a distância de separação dsep é menor do que o limiar de distância segura, o processo de checar DISTÂNCIA SEGURA 1131 transfere para o processo de PRESENÇA DE MÃO LIGADO 1140. De modo oposto, se a distância de separação dsepfor maior do que a distância segura do limiar de DISTÂNCIA SEGURA, checar o processo 1131 transferir para processo de PRESENÇA DE MÃO DESLIGADO 1150.

[000237] O processo de PRESENÇA DE MÃO LIGADO 1140 determina se sistema 100 está em teleoperação. Se o sistema 100 está em teleoperação, nenhuma ação é necessária e a teleoperação é permitida prosseguir, e assim o processo 1140 transfere para processo inicial 1100. Se o sistema 100 não está em teleoperação, o processo de PRESENÇA DE MÃO LIGADO 1140 envia um evento de presença de mão ao processo de INJETAR EVENTO DE SISTEMA que por sua vez envia um evento de presença de mão ao controlador do sistema 140.

[000238] O processo de PRESENÇA DE MÃO DESLIGADO 1150 determina se o sistema 100 está em teleoperação. Se o sistema 100 não está em teleoperação, nenhuma ação é necessária e assim o processo 1150 transfere para iniciar o processo 1100. Se o sistema 100 está em teleoperação, o processo de PRESENÇA DE MÃO DESLIGADO 1150 envia um evento de mão não presente ao processo de INJETAR EVENTO DE SISTEMA o qual por sua vez envia um evento de presença de mão ao controlador do sistema 140.

[000239] O controlador do sistema 140 determina se um evento de presença de mão ou um evento de mão não presente requer qualquer mudança ao modo do sistema de operação e emite um comando apropriado. Em um aspecto, o controlador do sistema 140 permite a teleoperação em resposta ao evento de presença de mão, por exemplo, permite a teleoperação, e desabilita a teleoperação em resposta ao evento de mão não presente se um instrumento cirúrgico minimamente invasivo teleoperado é acoplado ao empunhamento de ferramenta principal. Como é conhecido daqueles versados na técnica, um instrumento cirúrgico minimamente invasivo teleoperado é acoplável a e desacoplável a partir de um empunhamento de ferramenta principal.

[000240] Em outros aspectos, um evento de presença de mão e evento de mão não presente são usados pelo controlador do sistema 140 em combinação com outros eventos para determinar se permite a teleoperação. Por exemplo, a detecção da presença da cabeça do cirurgião pode ser combinada com a detecção da presença da mão ou mãos do cirurgião para determinar se permite a teleoperação.

[000241] De modo similar, como descrito acima, um evento de presença de mão e evento de mão não presente são usados pelo controlador do sistema 140 para controlar a tela de uma interface do usuário em uma tela do sistema cirúrgico minimamente invasivo. Quando o controlador do sistema 140 recebe um evento de mão não presente, se a interface do usuário não está ligada, o controlador do sistema 140 envia um comando ao controlador de tela 150 para ligar a interface do usuário. O controlador de tela 150 executa a parte de módulo de interface do usuário 155 no processador 150 necessária para ligar a interface do usuário. Quando o controlador do sistema 140 recebe um evento de presença de mão, se a interface do usuário está ligada, o controlador do sistema 140 envia um comando ao controlador de tela 150 para desligar a interface do usuário. O controlador de tela 150 executa a parte de módulo de interface do usuário 155 no processador 150 necessária para desligar a interface do usuário.

[000242] Um evento de presença de mão e evento de mão não presente pode ser usado pelo controlador do sistema 140 em combinação com outros eventos para determinar se exibir a interface do usuário. Assim, a interface do usuário exibe o controle e o controle de teleoperação são exemplos de modo do sistema controle usando detecção da presença e não pretendem ser limitados aos referidos dois específicos modos de controle de sistema.

[000243] Por exemplo, a detecção da presença pode ser usada no controle de um proxy visual tal como os descritos mais completamente abaixo. Também combinações de diversos modos, por exemplo, teleoperação e proxy exibição visual de proxy, podem ser controlados pelo controlador do sistema 140 com base em um evento de presença de mão e evento de mão não presente.

[000244] Ainda, a detecção da presença da mão é útil em eliminar a dupla determinação de empunhamentos de ferramentas principais 621L, 621R, por exemplo, empurrando um pedal e então usando empunhamentos de ferramentas principais 621L, 621R para controlar uma interface do usuário que é exibida no console do cirurgião 185B. Quando os empunhamentos de ferramentas principais são duplo determinados, por exemplo, usados no controle não só de um instrumento cirúrgico mas também de uma interface do usuário, o cirurgião tipicamente tem que pressionar um pedal para alternar para o modo de operação de interface do usuário. Se por alguma razão, o cirurgião falhar em pressionar o pedal, mas acredita que o sistema tenha alternado para o modo de operação de interface do usuário, o movimento do empunhamento de ferramenta principal pode resultar em movimento indesejado do instrumento cirúrgico. Processo de detecção da presença 1100 é usado para evitar este problema e para eliminar a dupla determinação dos empunhamentos de ferramentas principais.

[000245] Com o processo de detecção da presença 1100, em um exemplo, quando o evento de não presença de mãos é recebido pelo controlador do sistema 140, o controlador do sistema 140 envia um comando do sistema para travar manipuladores de instrumento principal 620I, 620R (figura 6A) no lugar, e envia um comando do sistema ao controlador de tela 150 para apresentar a interface do usuário na tela de console do cirurgião 185B. O movimento da mão do cirurgião é acompanhado e é usado para controlar os elementos em uma interface do usuário, por exemplo, mover uma chave deslizante, mudar a tela, etc. Como observado acima o ponto de controle é mapeado dentro da estrutura de coordenada de olho e assim pode ser associado com a localização de um elemento na interface do usuário. O movimento do ponto de controle é usado para manipular aquele elemento. Isto é realizado sem o cirurgião ter que ativar um pedal e é realizado de modo que o cirurgião não pode inadvertidamente mover um instrumento cirúrgico. Assim, isto elimina os problemas associados usando os empunhamentos de ferramentas principais para controlar não só o instrumento cirúrgico mas também a interface do usuário.

[000246] No exemplo acima, a estrutura de coordenada mundial é um exemplo de uma estrutura de coordenada comum. O uso da estrutura de coordenada mundial como a estrutura de coordenada comum é apenas ilustrativo e não se pretende que seja limitante.

Empunhamento de acompanhamento de dedo principal

[000247] A figura 12 é uma ilustração de um exemplo de um empunhamento de acompanhamento de dedo principal 1270. Empunhamento de acompanhamento de dedo principal 1270 é um exemplo de empunhamento de acompanhamento de dedo principal 170, 270.

[000248] Empunhamento de acompanhamento de dedo principal 1270 inclui um corpo compressível 1210 e duas alças de dedos 1220, 1230. O corpo compressível 1210 tem uma primeira extremidade 1213 e uma segunda extremidade 1214. Uma seção de corpo 1215 se estende entre a primeira extremidade 1213 e a segunda extremidade1214.

[000249] O corpo compressível 1210 tem uma superfície exterior externa. A superfície exterior externa inclui uma primeira porção 1216 e uma segunda porção 1217. A primeira porção 1216, por exemplo, uma porção superior, se estende entre a primeira extremidade 1213 e a segunda extremidade1214. A segunda porção 1217, por exemplo, a porção de fundo, se estende entre a primeira extremidade 1213 e a segunda extremidade1214. A segunda porção 1217 é oposta e removida a partir da primeira porção 1216.

[000250] Em um aspecto, a superfície exterior externa é uma superfície de um invólucro de tecido. O tecido é adequado para uso em um ambiente cirúrgico. O invólucro de tecido encerra uma espuma compressível. A espuma é selecionada para proporcionar resistência à compressão, e expansão na medida em que a compressão é liberada. Em um aspecto, diversas tiras foram incluídas dentro do invólucro de tecido. A espuma também deve ser capaz de ser dobrada de modo que a primeira porção 1216 é posicionada entre os primeiro e segundo dedos da mão humana na medida em que a ponta do primeiro dedo é movida em direção da ponta do segundo dedo.

[000251] A seção de corpo 1215 tem um comprimento L entre a alça de dedo 1220 e a alça de dedo 1230. Como explicado acima, o comprimento L é selecionado para limitar a separação entre a primeira alça de dedo 1220 e a segunda alça de dedo 1230 (vide a figura 2A).

[000252] Em um aspecto, a seção de corpo 1215 tem uma espessura T. Como ilustrado na figura 2C, a espessura T é selecionada de modo que quando o empunhamento de acompanhamento de dedo principal 1270 é configurado de modo que a região 1236 na segunda porção 1217 da superfície exterior externa adjacente à extremidade 1214 e a região 1226 na segunda porção 1217 adjacente à extremidade 1213 estão apenas se tocando, a segunda porção 1217 junto ao comprimento L não está em completo contato com si mesma.

[000253] A primeira alça de dedo 1220 é fixada ao corpo compressível 1210 adjacente à primeira extremidade 1213. A alça 1220 se estende sobre a região 1225 da primeira porção 1216 da superfície exterior externa de corpo compressível 1210. Com a colocação da primeira alça de dedo 1220 no primeiro dedo da mão humana, a região 1225 entra em contato com o primeiro dedo, por exemplo, uma primeira parte da primeira porção 1216 da superfície exterior externa entra em contato com o polegar.

[000254] Neste exemplo, a alça de dedo 1220 tem duas extremidades, uma primeira extremidade de tecido 1221A e uma segunda extremidade de tecido 1221B. A extremidade 1221A e a extremidade 1221B são extremidades de uma tira de tecido que é fixada no corpo 1210. Uma peça de tecido em alça 1222B é fixada a uma superfície interna da extremidade 1221B, e uma peça de tecido em gancho 1222A é fixada a uma superfície externa de extremidade 1221 A. Um exemplo de tecido em gancho e tecido em alça é uma fita de fixação de náilon consistindo de duas tiras de tecido de náilon, uma tendo pequenos fios farpados e a outra uma superfície bruta. As duas tiras formam uma ligação forte quando pressionadas juntas. Um exemplo de uma fita de fixação comercialmente oferecida é a fita de fixação VELCRO®. (VELCRO® é uma marca registrada da Velcro Industries B. V.)

[000255] A segunda alça de dedo 1230 é fixada ao corpo compressível 1210 adjacente a segunda extremidade 1214. A alça 1230 se estende sobre a região 1235 da primeira porção 1216 da superfície exterior externa de corpo compressível 1210. Com a colocação da segunda alça de dedo 1230 no segundo dedo da mão humana, a região 1235 entra em contato com o segundo dedo, por exemplo, uma segunda parte da primeira porção 1216 da superfície exterior externa entra em contato com o dedo indicador. A segunda parte 1235 da primeira porção é oposta e removida a partir de primeira parte 1225 da primeira porção.

[000256] Neste exemplo, a alça de dedo 1230 também tem duas extremidades, uma primeira extremidade de tecido 1231A e uma segunda extremidade de tecido 1231B. A extremidade 1231A e a extremidade 1231B são extremidades de uma tira de tecido que é fixada ao corpo 1210. A peça de tecido em alça 1232B é fixada a uma superfície interna de extremidade 1231B, e a peça de tecido em gancho 1232A é fixada a uma superfície externa de extremidade 1231 A.

[000257] Um primeiro sensor de leitura de localização 1211 é fixado à primeira alça de dedo 1220. Um segundo sensor de leitura de localização 1212 é fixado à segunda alça de dedo 1230. Os sensores de leitura de localização podem ser qualquer um dos elementos sensores descritos acima. Em um exemplo, os sensores de leitura de localização 1211, 1212 são sensores eletromagnéticos passivos.

Sistema de Proxy Visual

[000258] Em um aspecto, um sistema de controle de acompanhamento de mão é usado para controlar qualquer um de uma pluralidade de proxys visuais que podem ser usados por um cirurgião par controlar outro cirurgião. Por exemplo, quando o cirurgião 180 (figura 1A) está sendo controlado pelo cirurgião 181 usando empunhamento de acompanhamento de dedo principal 170, o cirurgião 181 usa o empunhamento de acompanhamento de dedo principal 170 para controlarum proxy visual de um instrumento cirúrgico, enquanto o cirurgião 180 usa o empunhamento de ferramenta principal para controlar um instrumento cirúrgico escravo teleoperado.

[000259] Alternativamente, o cirurgião 181 pode teleoperar, ou pode controlar uma mão virtual na tela. Ainda, o cirurgião 181 pode demonstrar como manipular o empunhamento de ferramenta principal no console do cirurgião ao manipular uma imagem virtual de empunhamento de ferramenta principal 621 que é apresentada na tela. Os referidos exemplos de proxys visuais são apenas ilustrativos e não são pretendidos que sejam limitantes.

[000260] Adicionalmente, o uso de empunhamento de acompanhamento de dedo principal 170 enquanto não em um console do cirurgião é também ilustrativo e não se pretende que seja limitante. Por exemplo, com o sistema de detecção da presença descrito acima, um cirurgião em um console do cirurgião pode mover a mão a partir de um empunhamento de ferramenta principal, e então usar aquela mão para controlar outro cirurgião na medida em que a mão é acompanhada por um sistema de acompanhamento de mão.

[000261] Para facilitar a supervisão, um módulo de proxy visual (não mostrado) é processado como parte de um subsistema de processamento de visão em um aspecto. No referido aspecto, o módulo de execução recebe a posição e a orientação do ponto de controle da mão do supervisor, e torna as imagens estéreos, que são compostas com as imagens da câmera endoscópica em tempo real e exibidas em qualquer combinação de console de cirurgião 185, na tela auxiliar, e na tela de interface do cirurgião do lado do paciente 187.

[000262] Quando o cirurgião 181 inicia a supervisão ao adotar uma ação predefinida, por exemplo, uma posição de gesticulação da mão, uma alça de sistema visual proxy é ativada, por exemplo, o módulo de proxy visual é executado em um módulo processador. A ação particular, por exemplo, a posição de gesticulação da mão, usada como a ação predefinida não é essencial desde que o controlador do sistema 140 (figura 1) seja configurado para reconhecer a referida ação.

[000263] Em um aspecto, o proxy visual é um instrumento espectral virtual 1311 (figura 13) controlado pelo empunhamento de acompanhamento de dedo principal 170, enquanto o instrumento cirúrgico escravo teleoperado 1310 é controlado por um dos manipuladores de instrumento principal de console do cirurgião 185. O cirurgião 181 vê ambos os instrumentos 1310 e 1311 no dispositivo de tela 187, enquanto o cirurgião 180 vê ambos os instrumentos 1310 e 1311 na tela estereoscópica no console do cirurgião 185. O uso de instrumento espectral virtual 1311 como um proxy visual é apenas ilustrativo e não se pretende que seja limitante à referida imagem particular. Em vista da descrição, outras imagens podem ser usadas para o proxy visual, que facilita a diferenciação entre a imagem que representa o proxy visual e a imagem atual da extremidade executora do instrumento cirúrgico escravo teleoperado.

[000264] O instrumento espectral virtual 1311 parece similar ao instrumento atual 1310, exceto em que o instrumento espectral virtual 1311 é exibido em um modo que claramente distingue o instrumento espectral virtual 1311 a partir do instrumento atual 1310 (por exemplo, uma imagem transparente ou translúcida parecida com imagem fantasma, uma imagem distintamente colorida, etc.). O controle e a operação do instrumento espectral virtual 1311 são os mesmos que os descritos acima para um instrumento cirúrgico teleoperado atual. Assim, o cirurgião 181 pode manipular o instrumento espectral virtual 1311 usando o empunhamento de acompanhamento de dedo principal 170 para demonstrar o uso adequado do instrumento cirúrgico escravo teleoperado 1310.0 cirurgião 180 pode mimetizar o movimento do instrumento espectral virtual 1311 com o instrumento 1310.

[000265] Instrumentos espectrais virtuais são descritos mais completamente na publicação de pedido de Patente US comumente cessionado No. US 2009/0192523 A1 (depositada em 31 de Março de 2009; descrevendo "Synthetic Representation of a Surgical Instrument"), o qual se encontra aqui incorporado por referência em sua totalidade. Vide ainda, o pedido de patente US No. 12/485,503 (depositado em 16 de Junho de 2009, descrevendo "Virtural Measurement Tool for Minimally Invasive Surgery"); pedido de patente US No. 12/485,545 (depositado em 16 de Junho de 2009, descrevendo "Virtual Measurement Tool for Minimally Invasive Surgery"); publicação de pedido de patente US No. US 2009/0036902 A1 (depositada em 11 de Agosto de 2008; descrevendo "Interactive user interfaces for Robotic Minimally Invasive Surgical Systems"); publicação de pedido de patente US No. US 2007/0167702 A1 (depositada em 30 de Dezembro de 2005; descrevendo "Medical Robotic System Providing Three-Dimensional Telestration"); publicação de pedido de patente US No. US 2007/0156017 A1 (depositada em 30 de Dezembro de 2005; descrevendo "Stereo Telestration for Robotic Surgery") e publicação de pedido de patente US No. US 2010/0164950 A1 (depositada em 13 de Maio de 2009; descrevendo "Efficient 3-D Telestration for Local Robotic Proctoring"), cada um dos quais se encontra aqui incorporado por referência em sua totalidade.

[000266] Em outro aspecto, o proxy visual é um par de mãos virtuais 1410, 1411 (figura 14) controlado pelo empunhamento de acompanhamento de dedo principal 170 e um segundo empunhamento de acompanhamento de dedo principal, que não é visível na figura 1. Instrumentos cirúrgicos escravos teleoperados 1420, 1421 são controlados pelos manipuladores de instrumento principal de console do cirurgião 185. O cirurgião 181 vê a imagem de vídeo 1400 no dispositivo de tela 187, e o cirurgião 180 também vê a imagem de vídeo 1400 na tela estereoscópica no console do cirurgião 185. As mãos virtuais 1410, 1411 são exibidas de um modo que claramente distingue as mesmas a partir de outros objetos na imagem de vídeo 1400.

[000267] A abertura e o fechamento do polegar e o dedo indicador de uma mão virtual são controlados usando o parâmetro de fechamento de preensão gpreensão, que foi descrito acima. A posição e a orientação da mão virtual são controladas pela posição de ponto de controle e orientação, como descrito acima, que são mapeadas em um espaço de coordenada de olho, também ainda como descrito acima.

[000268] Assim, na medida em que o cirurgião 181 move a mão direita do cirurgião em três dimensões, a mão virtual 1411 segue o movimento na imagem de vídeo 1400. O cirurgião 181 pode rolar a mão virtual 1411 para indicar ao cirurgião 180 para rolar o instrumento cirúrgico escravo teleoperado 1421. O cirurgião 181 pode movera mão virtual 1410 a uma localização particular e então usar o movimento do polegar e do dedo indicador para instruir o cirurgião 180 para mover o instrumento cirúrgico escravo teleoperado 1420 para aquela localização e para prender o tecido. Quando o cirurgião 180 pega o tecido com o instrumento 1420, o cirurgião 181 pode usar a mão virtual 1410 para instruir cirurgião 180 como mover o tecido. Tudo isso ocorre em tempo real e as mãos virtuais 1410, 1411 são superimpostas na imagem do endoscópio estereoscópico. Entretanto, os proxys visuais podem também ser usados em um sistema monoscópico.

[000269] Em outro aspecto, o cirurgião 181 muda o modo de tela usando a posição de gesticulação da mão de modo que os proxys visuais sejam um instrumento espectral virtual 1510 e um dispositivo de medicina remota virtual 1511, que são apresentados em imagem de vídeo 1500 (figura 15). O dispositivo de medicina remota 1511 é controlado pelo empunhamento de acompanhamento de dedo principal 170, enquanto um segundo empunhamento de acompanhamento de dedo principal, que não é visível na figura 1, controla o instrumento espectral virtual 1511.

[000270] Os instrumentos cirúrgicos escravos teleoperados 1520, 1521 são controlados pelos manipuladores de instrumento principal de console do cirurgião 185. O cirurgião 181 vê a imagem de vídeo 1500 no dispositivo de tela 187, e o cirurgião 180 também vê a imagem de vídeo 1500 na tela estereoscópica no console do cirurgião 185. O dispositivo de medicina remota virtual 1511 e o instrumento espectral virtual 1411 são exibidos de um modo que claramente distingue os mesmos a partir de outros objetos na imagem de vídeo 1500.

[000271] Para teleoperar com o dispositivo de medicina remota virtual 1511, o cirurgião 181 coloca o polegar e o dedo indicador juntos como se para pegar uma caneta ou lápis imaginário e então move a mão direita com o polegar e o dedo indicador nesta posição para teleoperar na imagem exibida de vídeo. Na imagem de vídeo 1500, o cirurgião 181 posicionou assim o polegar e o dedo indicador e produziu a marca 1512 para ilustrar onde o tecido deve ser cortado usando o instrumento cirúrgico 1521. Após a marca 1512 ser realizada, o cirurgião 1810 separa o polegar e o dedo indicador e move o dispositivo de medicina remota virtual 1511 a uma posição mostrada na imagem de vídeo 1500.

[000272] A capacidade de marcação do dispositivo de medicina remota virtual 1511 é controlada usando o parâmetro de fechamento de preensão gpreensão, que foi descrito acima. Como observado acima, quando o polegar e o dedo indicador estão apenas se tocando, o parâmetro de fechamento de preensão gpreensão é mapeado a um valor inicial em uma segunda faixa, e assim quando o parâmetro de fechamento de preensão gpreensão está na segunda faixa, a medicina remota está habilitada para o dispositivo de medicina remota 1511. O ponto de controle de posição e de orientação após ser mapeado ao sistema de coordenadas de olho é usado para controlar o movimento de dispositivo de medicina remota virtual 1511.

[000273] A descrição acima e os desenhos anexos que ilustram os aspectos e as modalidades da presente invenção não devem ser tomados como limitantes — as reivindicações definem as invenções protegidas. Diversas mudanças mecânicas, de composição, estruturais, elétricas, e operacionais podem ser produzidas sem se desviar do espírito e âmbito da presente descrição e das reivindicações. Em alguns exemplos, circuitos, estruturas, e técnicas bem conhecidas não foram mostrados ou descritos em detalhes para evitar obscurecimento da presente invenção.

[000274] Adicionalmente, a terminologia d apresente descrição não pretende limitar a presente invenção. Por exemplo, termos espacialmente relativos — tais como "embaixo", "abaixo", "inferior", "acima", "superior", "proximal", "distal", e semelhante — podem ser usados para descrever uma relação de elemento ou de característica com outro elemento ou característica como ilustrado nas figuras. Os referidos termos espacialmente relativos pretendem englobar diferentes posições (isto é, localizações) e orientações (isto é, disposições rotacionais) do dispositivo em uso ou operação além da posição e a orientação mostrada nas figuras. Por exemplo, se o dispositivo nas figuras é girado, os elementos descritos como "abaixo" ou "embaixo" outros elementos ou características estarão então "acima" ou "sobre" os outros elementos ou características. Assim, o termo exemplificative "abaixo" pode englobar ambas as posições e orientações de acima e abaixo. O dispositivo pode ser de outro modo orientado (girado em 90 graus ou em outras orientações) e os elementos de descrição espacialmente relativos usados aqui interpretados de acordo. Da mesma forma, as descrições de movimento junto e em torno dos diversos eixos incluem as diversas posições e orientações do dispositivo especial.

[000275] As formas singulares "um", "uma", e "o", "a" pretendem incluir as formas plurais também, a não ser que o contexto indique de outro modo. Os termos "compreende", "compreendendo", "inclui", e semelhante especificam a presença de determinadas características, etapas, operações, elementos de processos e/ou componentes, mas não impedem a presença ou a adição de uma ou mais outras características, etapas, operações, elementos de processos, componentes, e/ou grupos. Os componentes descritos como acoplados podem ser eletricamente ou mecanicamente diretamente acoplados, ou os mesmos podem ser indiretamente acoplados por meio de um ou mais componentes intermediários.

[000276] Memória se refere a uma memória volátil, uma memória não volátil, ou qualquer combinação das duas. Um processador é acoplado a uma memória contendo instruções executadas pelo processador. Isto pode ser realizado dentro um sistema de computação, ou alternativamente por meio de uma conexão a outro computador por meio de modems e linhas analógicas, ou interfaces digitais e uma linha de veículo digital.

[000277] Aqui, um produto de programa de computador inclui um meio configurado para armazenar código capaz de ser lido necessário para qualquer um ou qualquer combinação dos processos descritos com relação ao acompanhamento de mão ou em que o código capaz de ser lido por computador para qualquer um ou qualquer combinação de processos descritos com relação ao acompanhamento de mão é armazenado. Alguns exemplos de produtos de programa de computador são discos CD-ROM, discos DVD, memória flash, cartões ROM, disquetes, fitas magnéticas, drives rígidos de computador, servidores em uma rede e sinais transmitidos sobre uma rede que representam código do programa capaz de ser lido por computador. Um produto de programa de computador tangível não transitório inclui um meio tangível não transitório configurado para armazenar instruções capazes de serem lidas por computador para qualquer um de, ou qualquer combinação de processos descritos com relação aos diversos controladores ou em que as instruções capazes de serem lidas por computador para qualquer um de, ou qualquer combinação de processos descritos com relação aos diversos controladores são armazenadas. Produtos de programa de computador tangíveis não transitórios são discos CD-ROM, discos DVD, memória flash, cartões ROM, disquetes, fitas magnéticas, drives rígidos de computador e outros meios de armazenamento físicos não transitórios.

[000278] Em vista da presente descrição, as instruções usadas em qualquer um de, ou qualquer combinação de processos descritos com relação ao acompanhamento de mão podem ser implementadas em uma grande variedade de configurações de sistema de computação usando um sistema operacional e linguagem de programa de computador de interesse ao usuário.

[000279] O uso de diferentes memórias e processadores na figura 1 é apenas ilustrativo e não se pretende que seja limitante. Em alguns aspectos, um único processador de hardware pode ser usado e em outros aspectos múltiplos processadores podem ser usados.

[000280] Ainda, para cada de ilustração, os diversos processos foram distribuídos entre um controlador de acompanhamento de mão e um controlador do sistema. Isto também é ilustrativo e não pretende ser limitante. Os diversos processos podem ser distribuídos através de controladores ou consolidados em um controlador sem mudar os princípios de operação no processo de acompanhamento de mão.

[000281] Todos os exemplos e referências ilustrativas são não limitantes e não devem ser usados para limitar as reivindicações às implementações e modalidades específicas descritas aqui e de suas equivalentes. Os cabeçalhos são unicamente para formatar e não devem ser usados para limitar o assunto em qualquer modo, pelo fato de que o texto sob um cabeçalho pode se referenciar ou se aplicar ao texto sob um ou mais cabeçalhos. Finalmente, em vista da presente descrição, características particulares descritas em relação a um aspecto ou modalidade podem ser aplicadas a outros aspectos ou modalidades descritas na presente invenção, embora não especificamente mostrado nos desenhos ou descritos no texto.

Claims

1. Sistema cirúrgico minimamente invasivo (100) caracterizado pelo fato de que compreende: um sistema de acompanhamento de mão (186), em que o sistema de acompanhamento de mão (186) é configurado para acompanhar localizações de uma pluralidade de sensores de acompanhamento (1211, 1212) montados nas partes de uma mão humana; e um controlador (130) acoplado ao sistema de acompanhamento de mão (186), em que o controlador (130) é configurado para: selecionar uma gesticulação da mão a partir de uma pluralidade de gesticulações de mão conhecidas com base na pluralidade de localizações; determinar se a gesticulação da mão selecionada é uma pose de gesticulação da mão (300A-300D) associada a uma trajetória de gesticulação da mão(400A-400B); e em resposta à determinação de que a gesticulação da mão selecionada é a pose de gesticulação da mão (300A-300D) associada à trajetória de gesticulação da mão(400A-400B), selecionar uma trajetória de gesticulação de mão a partir de uma pluralidade de trajetórias de gesticulação de mão conhecidas (400A-400B); e controlar operação de um sistema cirúrgico minimamente invasivo (100) com base na trajetória de gesticulação da mão selecionada.

2. Sistema cirúrgico minimamente invasivo, de acordo com a reivindicação 1, caracterizado pelo fato de que, para controlar a operação do sistema cirúrgico minimamente invasivo (100), o controlador (130) é configurado ainda para controlar uma interface de usuário com base na trajetória de gesticulação da mão (400A, 400B).

3. Sistema cirúrgico minimamente invasivo, de acordo com a reivindicação 1, caracterizado pelo fato de que para controlar a operação do sistema cirúrgico minimamente invasivo (100), o controle é configurado ainda para: usar o acompanhamento para controlar um proxy visual, em que o proxy visual é selecionado a partir de um grupo de proxies visuais incluindo uma mão virtual (1410,1411), um instrumento cirúrgico virtual, e um dispositivo de medicina remota virtual (1511).

4. Sistema cirúrgico minimamente invasivo, de acordo com a reivindicação 1, caracterizado pelo fato de que, para selecionar a trajetória de gesticulação da mão, o controlador é configurado ainda para: gerar uma sequência de velocidade a partir de uma trajetória da pluralidade de localizações; e converter a sequência de velocidade em uma sequência de símbolos.

5. Sistema cirúrgico minimamente invasivo, de acordo com a reivindicação 4, caracterizado pelo fato de que, para selecionar a trajetória de gesticulação da mão, o controlador é configurado ainda para: analisar a sequência de símbolos com uma pluralidade de Modelos Ocultos de Markov em que cada uma dentre a pluralidade de trajetórias de gesticulação da mão conhecidas (400A, 400B) tem um Modelo Oculto de Markov na pluralidade de Modelos Ocultos de Markov.

6. Sistema cirúrgico minimamente invasivo, de acordo com a reivindicação 1, caracterizado pelo fato de que o controlador é configurado ainda para: mapear a trajetória de gesticulação da mão selecionada para um comando de sistema.

7. Sistema cirúrgico minimamente invasivo, de acordo com a reivindicação 6, caracterizado pelo fato de que, para controlar o sistema cirúrgico minimamente invasivo (100), o controlador é configurado para injetar o comando de sistema em sistema cirúrgico minimamente invasivo (100).

8. Sistema cirúrgico minimamente invasivo, de acordo com a reivindicação 1, caracterizado pelo fato de que a gesticulação da mão é uma posição de gesticulação da mão (300A-300D) e a pluralidade de gesticulações de mão conhecidas inclui uma pluralidade de posições de gesticulação da mão conhecidas (300A-300D).

9. Sistema cirúrgico minimamente invasivo, de acordo com a reivindicação 2, caracterizado pelo fato de que, para controlar a operação do sistema cirúrgico minimamente invasivo (100), o controlador (130) é configurado ainda para usar o acompanhamento para controlar um proxy visual.

10. Sistema cirúrgico minimamente invasivo, de acordo com a reivindicação 9, caracterizado pelo fato de que o proxy visual é selecionado a partir de um grupo de proxies visuais incluindo uma mão virtual (1410, 1411), um instrumento cirúrgico virtual, e um dispositivo de medicina remota virtual (1511).

11. Sistema cirúrgico minimamente invasivo, de acordo com a reivindicação 1, caracterizado pelo fato de que para selecionar a gesticulação da mão, o controlador (130) é configurado para gerar um conjunto de características observadas a partir da pluralidade de localizações.

12. Sistema cirúrgico minimamente invasivo, de acordo com a reivindicação 11, caracterizado pelo fato de que para selecionar a gesticulação da mão, o controlador (130) é configurado ainda para: comparar o conjunto de características observadas com os conjuntos de características da pluralidade de posições de gesticulação da mão conhecidas (300A-300D).

13. Sistema cirúrgico minimamente invasivo, de acordo com a reivindicação 12, caracterizado pelo fato de que para selecionar a gesticulação da mão, o controlador (130) é configurado ainda para: selecionar uma posição de gesticulação da mão (300A- 300D) a partir da pluralidade de posições de gesticulação da mão conhecidas (300A-300D) com base na comparação.

14. Sistema cirúrgico minimamente invasivo, de acordo com a reivindicação 5, caracterizado pelo fato de que para selecionar a gesticulação da mão, o controlador (130) é configurado ainda para selecionar a trajetória de gesticulação da mão com base na análise