BR112012011277B1 - dispositivo de rastreamento do dedo mestre e um método de uso num sistema cirúrgico minimamente invasivo - Google Patents

dispositivo de rastreamento do dedo mestre e um método de uso num sistema cirúrgico minimamente invasivo Download PDF

Info

Publication number
BR112012011277B1
BR112012011277B1 BR112012011277-5A BR112012011277A BR112012011277B1 BR 112012011277 B1 BR112012011277 B1 BR 112012011277B1 BR 112012011277 A BR112012011277 A BR 112012011277A BR 112012011277 B1 BR112012011277 B1 BR 112012011277B1
Authority
BR
Brazil
Prior art keywords
hand
finger
location
tracking
surgeon
Prior art date
Application number
BR112012011277-5A
Other languages
English (en)
Other versions
BR112012011277A2 (pt
Inventor
Brandon D. Itkowitz
Simon Dimaio
Karlin Y. Bark
Original Assignee
Intuitive Surgical Operations, Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US12/617,937 external-priority patent/US8521331B2/en
Application filed by Intuitive Surgical Operations, Inc filed Critical Intuitive Surgical Operations, Inc
Publication of BR112012011277A2 publication Critical patent/BR112012011277A2/pt
Publication of BR112012011277B1 publication Critical patent/BR112012011277B1/pt

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/014Hand-worn input/output arrangements, e.g. data gloves
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30Surgical robots
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30Surgical robots
    • A61B34/37Master-slave robots
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/70Manipulators specially adapted for use in surgery
    • A61B34/74Manipulators with manual electric input means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00017Electrical control of surgical instruments
    • A61B2017/00207Electrical control of surgical instruments with hand gesture control or hand gesture recognition
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046Tracking techniques
    • A61B2034/2051Electromagnetic tracking systems
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046Tracking techniques
    • A61B2034/2065Tracking using image or pattern recognition
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/70Manipulators specially adapted for use in surgery
    • A61B34/74Manipulators with manual electric input means
    • A61B2034/741Glove like input devices, e.g. "data gloves"

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Surgery (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Robotics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Animal Behavior & Ethology (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Manipulator (AREA)

Abstract

DISPOSITIVO DE RASTREAMENTO DO DEDO MESTRE E UM MÉTODO DE USO NUM SISTEMA CIRÚRGICO MINIMAMENTE INVASIVO. A presente invenção refere-se a um sistema cirúrgico minimamente invasivo, um sistema de rastreamento da mão rastreia a localização de um elemento sensor montado sobre parte de uma mão humana. Um parâmetro de controle do sistema é gerado baseado na localização da parte da mão humana. A operação do sistema cirúrgico minimamente invasivo é controlada usando o parâmetro de controle do sistema. Deste modo, o sistema cirúrgico minimamente invasivo inclui um sistema de rastreamento da mâo. O sistema de rastreamento da mão rastreia uma localização de parte de uma mão humana. Um controlador acoplado ao sistema de rastreamento da mão converte a localização para um parâmetro de controle do sistema, e injeta dentro do sistema cirúrgico minimamente invasivo um comando baseado no parâmetro de controle do sistema.

Description

REFERÊNCIA CRUZADA A PEDIDO RELACIONADO
[0001] Este pedido é uma continuação em parte do Pedido de Patente dos Estados Unidos N° 12/617.937 (apresentado em 13 de novembro de 2009, revelando "Interface do Cirurgião no Lado do Paciente para Instrumento Cirúrgico Teleoperado Minimamente Invasivo"), o qual está incorporado neste documento por referência na sua integridade.
Antecedentes Campo da Invenção
[0002] Aspectos desta invenção estão relacionados ao controle de sistemas cirúrgicos minimamente invasivos, e estão mais particularmente relacionados a usar o movimento da mão de um cirurgião no controle de um sistema cirúrgico minimamente invasivo.
Técnica Relacionada
[0003] Método e técnicas para rastrear posições da mão e gestos são conhecidos. Por exemplo, alguns controladores de jogos de vídeo utilizam entrada de rastreamento de mão. Por exemplo, a plataforma de jogos Nintendo Wii suporta posição sem fio e controles remotos de percepção de orientação. (Wii é uma marca registrada de Nintendo of America Inc. Redmond Washington, U.S.A.). O uso de gestos e outros movimentos físicos como oscilação de um taco ou ondular uma varinha de condão fornecem o elemento de jogo fundamental para esta plataforma. A Sony Playstation® Move tem atributos similares aqueles da plataforma de jogos Nintendo Wii®.
[0004] Uma luva sem fio de captura de dados de movimento CyberGlove® de CyberGlove® Systems inclui dezoito sensores de dados com dois sensores de curva em cada dedo, quatro sensores de abdução e sensores medindo cruzamento do polegar, arco da palma, flexão da munheca, e abdução da munheca. (CyberGlove® é uma marca registrada de CyberGlove® Systems LLC de San José, CA). Quando um sistema de rastreamento de três dimensões é usado com a luva de captura de dados de movimento CyberGlove®, x, y, z, guina-da, inclinação, posição de rotação, e informação de orientação para a mão estão disponíveis. O sistema de captura de movimento para a luva de captura de dados de movimento CyberGlove® tem sido usado na avaliação de protótipo digital, biomecânica em realidade virtual, e animação.
[0005] Outra luva de dados com quarenta sensores é a luva de dados ShapeHand de Measurand Inc. Um sistema ShapeClaw de captura de movimento da mão, portátil e de baixo peso de Measurand Inc.inclui um sistema de fitas flexíveis que capturam movimento do dedo indicador e do polegar junto com posição e orientação da mão e antebraço no espaço.
[0006] Em In-Cheol Kim e Sung-Il Chien, "Análise de Gestos da Trajetória da Mão em 3D Usando Modelos Markov Baseados em Percurso Oculto Composto" Inteligência Aplicada, Vol. 15 No. 2, p.131- 143, Setembro - Outubro 2001, Kim e Chien exploram o uso de entrada de trajetória em três dimensões com um sensor Polhemus para reconhecimento de gestos. Kim e Chien propõem esta forma de entrada devido a que as trajetórias em três dimensões oferecem mais poder de discriminação do que gestos em duas dimensões, os quais são usados predominantemente em abordagens baseadas em vídeo. Para seus experimentos, Kim e Chien fazem uso de um sensor magnético de rastreamento de posição Polhemus conectado à parte posterior de uma luva Fakespace PinchGlove. A PinchGlove fornece um meio para o usuário sinalizar o começo de fim de um gesto enquanto o sensor Polhemus captura a trajetória em três dimensões da mão do usuário.
[0007] Em Elena Sanchez-Nielsen, et al, "Reconhecimento de Gesto da Mão para Interação Homem-Máquina", Jornal de WSCG, Vol. 12, No. 1-3, ISSN 1213-6972, WSCG'2004, 2-6 de Fevereiro de 2003, Plzen, República Checa, um sistema de visão em tempo real é proposto para aplicação dentro de ambientes de interação visual através de reconhecimento de gestos da mão usando equipamento de propósito geral e sensores de baixo custo, como computador pessoal e câmera web. Em Pragati Garg, et al., "Reconhecimento de Gesto da Mão Baseado na Visão" 49 Academia Mundial de Ciência, Engenharia e Tecnologia, 972-977 (2009), uma revisão do reconhecimento de gesto da mão baseado na visão foi apresentada. Uma conclusão apresentada foi que a maioria das abordagens apoia-se em várias suposições subjacentes que podem ser adequadas em um ambiente controlado em laboratório, porém, não se generalizam para ambientes arbitrários. Os autores declaram "Métodos de visão por computador para interfaces de gestos da mão devem ultrapassar o desempenho atual em termos de robustez e velocidade para alcançar interatividade e aplicação prática". Na área médica, reconhecimento de gestos tem sido considerado para leitura estéril de imagens de radiologia. Vide Juan P. Wachs, et al., "Uma Ferramenta baseada no Gesto para Leitura Estéril de Imagens de Radiologia", Jornal da Associação Americana de Informática Médica (2008; 15:321-323, DOI 10.1197/jamia.M24).
Sumário
[0008] Em um aspecto, um sistema de rastreamento da mão em um sistema cirúrgico minimamente invasivo rastreia a localização de parte de uma mão humana. Um parâmetro de controle do sistema cirúrgico minimamente invasivo é gerado baseado na localização da parte da mão humana. A operação do sistema cirúrgico minimamente invasivo é controlada usando o parâmetro de controle do sistema.
[0009] Em um aspecto, elementos sensores montados sobre parte de uma mão humana são rastreados para obter localizações da parte da mão humana. Uma posição e uma orientação de um ponto de controle são geradas baseadas na localização. Teleoperação de um dispositivo em um sistema cirúrgico minimamente invasivo é controlado baseado na posição do ponto de controle e orientação. Em um aspecto, o dispositivo é um instrumento cirúrgico escravo teleoperado (operado à distância). Noutro aspecto, o dispositivo é um substituto virtual apresentado em uma imagem de vídeo de uma página cirúrgica. Exemplos de um substituto virtual incluem um instrumento cirúrgico escravo virtual, uma mão virtual, e um dispositivo virtual de telestration (técnica de ilustração em cirurgia remota).
[0010] Em um aspecto adicional, um parâmetro de fechamento de pega é gerado adicionalmente à posição e orientação do ponto de controle. A pega de um manipulador extremo do instrumento cirúrgico escravo teleoperado é controlada baseado no parâmetro de fechamento da pega.
[0011] Noutro aspecto, o parâmetro de controle do sistema é uma posição e uma orientação de um ponto de controle usado para teleoperação do instrumento de cirúrgico escravo. Ainda em outro aspecto, o parâmetro de controle do sistema é determinado a partir de duas mãos. O parâmetro do sistema de controle está em uma posição e uma orientação de um ponto de controle para uma das duas mãos, e uma posição e uma orientação de um ponto de controle para a outra das duas mãos. Os pontos de controle são usados para teleoperação de um manipulador de câmera endoscópica no sistema cirúrgico minimamente invasivo.
[0012] Em um aspecto, elementos sensores montados sobre parte de uma mão humana são rastreados para obter localizações da parte da mão humana. Uma posição e uma orientação de um segundo ponto de controle são gerados baseados na localização da parte da segunda mão humana. Neste aspecto, tanto o ponto de controle e o segundo ponto de controle são usados no controle da teleoperação.
[0013] Ainda em outro aspecto, elementos sensores montados nos dedos de uma mão humana são rastreados. Um movimento entre os dedos é determinado, e orientação de um instrumento cirúrgico escravo teleoperado em um sistema cirúrgico minimamente invasivo é controlado baseado no movimento.
[0014] Quando o movimento for um primeiro movimento, o controle inclui girar uma ponta de uma munheca de um instrumento cirúrgico escravo ao redor da direção na qual aponta. Quando o movimento é um segundo movimento diferente do primeiro movimento, o controle inclui movimento de guinar a munheca do instrumento cirúrgico escravo.
[0015] Um sistema cirúrgico minimamente invasivo inclui um sistema de rastreamento da mão e um controlador acoplado ao sistema de rastreamento da mão. O sistema de rastreamento da mão rastreia localizações de grande número de elementos sensores montados em parte de uma mão humana. O controlador transforma as localizações para uma posição e uma orientação de um ponto de controle. O controlador envia um comando para mover um dispositivo no sistema cirúrgico minimamente invasivo baseado no ponto de controle. Novamente, em um aspecto, o dispositivo é um instrumento cirúrgico escravo teleoperado, enquanto em outro aspecto, o dispositivo é um substituto virtual apresentado em uma imagem de vídeo de uma página cirúrgica.
[0016] Em um aspecto, o sistema também inclui um dispositivo de rastreamento do dedo mestre incluindo o grande número de sensores de rastreamento. O dispositivo de rastreamento do dedo mestre inclui, além disso, um corpo compressível, um primeiro laço do dedo afixado ao corpo compressível, e um segundo laço do dedo afixado ao corpo compressível. Um primeiro sensor de rastreamento no grande número de sensores de rastreamento é conectado ao primeiro circuito de dedo. Um segundo sensor de rastreamento no grande número de sensores de rastreamento é conectado ao segundo circuito de dedo.
[0017] Portanto, em um aspecto, um sistema cirúrgico minimamente invasivo inclui um dispositivo de rastreamento de um dedo mestre. O dispositivo de rastreamento do dedo mestre inclui um corpo compressível, um primeiro laço do dedo afixado ao corpo compressível, e um segundo laço do dedo afixado ao corpo compressível. Um primeiro sensor de rastreamento é conectado ao primeiro circuito de dedo. Um segundo sensor de rastreamento é conectado ao segundo circuito de dedo.
[0018] O corpo compressível inclui um primeiro extreme, um Segundo extreme, e uma superfície exterior externa. A superfície exterior externa inclui uma primeira parte se estendendo entre o primeiro e segundo extremo, e uma segunda parte, oposta e retirada da primeira parte, estendendo-se entre o primeiro e segundo extremo.
[0019] O corpo compressível tem também um comprimento. O comprimento é selecionado para limitar uma separação entre um primeiro dedo e um segundo dedo da mão humana.
[0020] O primeiro laço do dedo está afixado ao corpo compressível adjacente ao primeiro extremo e se estende aproximadamente a primeira parte da superfície exterior externa. Quando da colocação do primeiro laço do dedo em um primeiro dedo de uma mão humana, uma primeira parte da primeira seção da superfície exterior externa contata o primeiro dedo.
[0021] O segundo laço do dedo está afixado ao corpo compressível adjacente ao segundo extremo e se estende aproximadamente a primeira parte da superfície exterior externa. Quando da colocação do segundo laço do dedo em um segundo dedo da mão humana, uma segunda parte da primeira seção da superfície exterior externa contata o segundo dedo. Quando do movimento do primeiro e segundo dedos em direção um ao outro, o corpo compressível é posicionado entre os dois dedos de forma que o corpo compressível forneça resistência ao movimento.
[0022] Uma espessura do corpo compressível é selecionada de forma que quando uma ponta do primeiro dedo apenas toca uma ponta do segundo dedo, o corpo compressível é menor do que totalmente comprimido. O corpo compressível é configurado para fornecer retroalimentação táctil correspondente a uma força de segurar e um manipulador do extremo de um instrumento cirúrgico escravo teleoperado.
[0023] Em um aspecto, o primeiro e o segundo sensor de rastreamento são sensores eletromagnéticos passivos. Em um aspecto adicional, cada sensor de rastreamento eletromagnético passivo tem seis graus de liberdade.
[0024] Um método de uso do dispositivo de rastreamento do dedo mestre inclui uma primeira localização de um sensor montado sobre um primeiro dedo de uma mão humana e uma segunda localização de outro sensor montado sobre um segundo dedo. Cada localização tem N graus de liberdade, onde N é um número inteiro maior de que zero. A primeira localização e a segunda localização são mapeadas para uma localização de ponto de controle. A localização de ponto de controle tem seis graus de liberdade. Os seis graus de liberdade são menos que ou iguais a 2*N graus de liberdade. A primeira localização e a segunda localização também são mapeadas para um parâmetro tendo um único grau de liberdade. Teleoperação de um instrumento cirúrgico escravo em um sistema cirúrgico minimamente invasivo é controlado baseado na posição do ponto de controle e o parâmetro.
[0025] Em um primeiro aspecto, o parâmetro é uma distância de fechamento da pega. Em um Segundo aspecto, o parâmetro compre- ende uma orientação. Em outro aspecto, N é seis, enquanto em um aspecto diferente, N é cinco.
[0026] Ainda em um aspecto adicional, elementos sensores montados sobre parte de uma mão humana são rastreados para obter grande número de localizações da parte da mão humana. Um gesto da mão de um grande número de gestos de mão conhecidos é selecionado baseado no grande número de localizações. A operação do sistema cirúrgico minimamente invasivo é controlada baseada no gesto da mão.
[0027] O gesto da mão pode ser qualquer um de uma posição de gesto de mão, uma trajetória de gesto de mão, ou uma combinação de posição de gesto de mão e trajetória de gesto de mão. Quando o gesto da mão é uma posição do gesto da mão e o grande número de gestos de mão conhecidos inclui um grande número de posições de gesto de mão conhecidas, uma interface de usuário do sistema cirúrgico minimamente invasivo é controlado baseado na posição do gesto da mão.
[0028] Além disso, em um aspecto, quando o gesto da mão é posição do gesto da mão, a seleção de gesto da mão inclui geração de um conjunto de características observadas a partir do grande número de localizações rastreadas. O conjunto de características observadas é comparado com conjuntos de características do grande número de posições de gestos de mão conhecidos. Um dos gestos de mão conhecidos é selecionado como a posição do gesto de mão. A posição de gesto de mão selecionada é mapeada para um comando do sistema, e o comando do sistema é disparado no sistema cirúrgico minimamente invasivo.
[0029] Ainda em um aspecto adicional, quando o gesto de mão inclui uma trajetória de gesto de mão, a interface do usuário do sistema cirúrgico minimamente invasivo é controlada baseada na trajetória do gesto da mão.
[0030] No sistema cirúrgico minimamente invasivo com o sistema de rastreamento de mão e o controlador, o controlador transforma as localizações para um gesto de mão. O controlador envia um comando para modificar um modo de operação do sistema cirúrgico minimamente invasivo baseado no gesto da mão.
[0031] Ainda em outro aspecto, um elemento sensor montado sobre parte de uma mão humana é rastreado para obter uma localização da parte da mão humana. Baseado na localização, o método determina se uma posição da parte da mão humana está dentro de uma distância limiar de uma posição de uma pega de uma ferramenta mestra de um sistema cirúrgico minimamente invasivo. A operação do sistema cirúrgico minimamente invasivo é controlada baseada em um resultado da determinação. Em um aspecto, a teleoperação de um instrumento cirúrgico escravo teleoperado acoplado à pega da ferramenta mestra é controlada baseada em um resultado da determinação. Em outro aspecto, exibição de uma interface de usuário, ou exibição de um substituto visual é controlada baseada no resultado da determinação.
[0032] Em um aspecto, a posição da parte da mão humana é especificada por uma posição do ponto de controle. Em outro aspecto, a posição da parte da mão humana é uma posição de um dedo indicador.
[0033] Um sistema cirúrgico minimamente invasivo inclui um sistema de rastreamento da mão. O sistema de rastreamento da mão rastreia uma localização de parte de uma mão humana. Um controlador usa a localização na determinação se uma mão de um cirurgião está próxima o suficiente a uma pega de ferramenta mestra para permitir uma operação em particular do sistema cirúrgico minimamente invasivo.
[0034] Um sistema cirúrgico minimamente invasivo inclui também um controlador acoplado ao sistema de rastreamento da mão. O con- trolador converte a localização para um parâmetro de controle do sistema, e injeta dentro do sistema cirúrgico minimamente invasivo um comando baseado no parâmetro de controle do sistema.
BREVE DESCRIÇÃO DOS DESENHOS
[0035] A figura 1 é uma vista diagramática em alto nível de um sistema cirúrgico minimamente invasivo teleoperado incluindo um sistema de rastreamento da mão.
[0036] As figuras 2A a 2G são exemplos de várias configurações de uma pega de ferramenta mestra rastreada por mão usada para controlar um instrumento cirúrgico escravo teleoperado do sistema cirúrgico minimamente invasivo teleoperado da figura 1.
[0037] As figuras 3A a 3D são exemplos de posições de gesto da mão usadas para controlar modos do sistema no sistema cirúrgico minimamente invasivo teleoperado da figura 1.
[0038] As figuras 4A a 4C são exemplos de trajetórias de gesto da mão que também são usadas para controlar modos do sistema no sistema cirúrgico minimamente invasivo teleoperado da figura 1.
[0039] A figura 5 é uma ilustração de colocação de marcadores de padrão de comparação para rastreamento de mão em um sistema de rastreamento a base de câmera.
[0040] As figuras 6A e 6B são diagramas mais detalhados da console do cirurgião da figura 1, e incluem exemplos de sistemas de coordenadas utilizados em rastreamento manual pelo sistema cirúrgico minimamente invasivo teleoperado da figura 1.
[0041] A figura 7 é uma ilustração mais detalhada de uma pega de ferramenta mestra de vestir a mão e as localizações e sistemas de coordenadas usadas em rastreamento manual pelo sistema cirúrgico minimamente invasivo teleoperado da figura 1.
[0042] A figura 8 é um diagrama de fluxo de processo de um processo usado no sistema de rastreamento para rastrear dedos da mão e usados para gerar dados para teleoperação de um instrumento cirúrgico escravo no sistema cirúrgico minimamente invasivo teleoperado figura 1.
[0043] A figura 9 é um diagrama de fluxo de processo mais detalhado do processo DADOS DE LOCALIZAÇÃO NO MAPA PARA PONTO DE CONTROLE E PARAMETRO DA PEGA da figura 8.
[0044] A figura 10 é um diagrama de fluxo de processo de um processo usado no sistema de rastreamento para reconhecer posturas de gesto manual e trajetórias de gesto da mão.
[0045] A figura 11 é um diagrama de fluxo de processo de um processo usado no sistema de rastreamento para detecção da presença da mão.
[0046] A figura 12 é uma ilustração de um exemplo de um dispositivo de rastreamento de um dedo mestre.
[0047] A figura 13 é uma ilustração de uma imagem de vídeo, apresentada em um dispositivo de apresentação visual, incluindo um visual substituto, o qual neste exemplo inclui um instrumento fantasma virtual, e um instrumento cirúrgico escravo teleoperado.
[0048] A figura 14 é uma ilustração de uma imagem de vídeo, apresentada em um dispositivo de apresentação visual, a qual é um exemplo que inclui um par de mãos virtuais, e instrumentos cirúrgicos escravos teleoperados.
[0049] A figura 15 é uma ilustração de uma imagem de vídeo, apresentada em um dispositivo de apresentação visual, incluindo visuais substitutos, o qual neste exemplo inclui um dispositivo virtual de telestration (técnica de ilustração em cirurgia remota) e um instrumento fantasma virtual, e instrumentos cirúrgicos escravos teleoperados.
[0050] Nos desenhos, o primeiro dígito de um número de referência de três números indica o número da figura na qual o elemento com esse número de referência apareceu primeiro e os dois primeiros dígi- tos de um número de referência de quatro dígitos indicam o número da figura da figura na qual o elemento com esse número de referência apareceu primeiro.
DESCRIÇÃO DETALHADA
[0051] Como usado neste documento, uma localização inclui uma posição e uma orientação.
[0052] Como usado neste documento, um gesto da mão, algumas vezes chamado gesto, inclui uma posição de gesto da mão, uma trajetória de gesto de mão, e uma combinação de posição do gesto da mão e trajetória de gesto de mão.
[0053] Aspectos desta invenção aumentam a capacidade de controle de sistemas de sistemas cirúrgicos minimamente invasivos, por exemplo, o da Vinci® sistema cirúrgico minimamente invasivo teleope- rado comercializado por Intuitive Surgical, Inc. de Sunnyvale, Califórnia, pela utilização de informação de localização da mão no controle do sistema cirúrgico minimamente invasivo. Uma localização medida de um ou mais dedos da mão é usada para determinar um parâmetro de controle do sistema que por sua vez é usado para ativar um comando do sistema no sistema cirúrgico. Os comandos do sistema dependem da localização da pessoa cuja localização de mão está sendo rastreada, quer dizer, se a pessoa estiver no console de um cirurgião.
[0054] Quando as localizações medidas são para dedos de uma mão de uma pessoa não no console do cirurgião, os comandos do sistema incluem um comando para mudar a orientação de uma parte de um instrumento cirúrgico escravo teleoperado baseado em uma combinação de orientação de mão e movimento relativo de dois dedos de uma mão, e um comando para mover uma ponta de um instrumento cirúrgico escravo teleoperado de forma que o movimento da ponta segue o movimento de uma parte da mão. Quando as localizações me-didas são para os dedos de uma mão de uma pessoa no console do cirurgião, os comandos do sistema incluem comandos permitindo ou evitando o movimento de um instrumento cirúrgico escravo para continuar a seguir o movimento da pega de uma ferramenta mestra. Quando as localizações medidas são para dedos de uma mão de uma pessoa não no console do cirurgião, ou para dígitos de uma mão de uma pessoa em um console do cirurgião, os comandos do sistema incluem comandar o sistema, ou uma parte do sistema para tomar uma ação baseada em uma posição do gesto da mão, e comandar o sistema ou uma parte do sistema para tomar uma ação baseada na trajetória do gesto da mão.
[0055] A figura 1 é uma vista diagramática em alto nível de um sistema cirúrgico minimamente invasivo teleoperado 100, por exemplo, o Sistema Cirúrgico da Vinci®, incluindo um sistema de rastreamento da mão. Existem outras partes, cabos, etc. associados com o Sistema Cirúrgico da Vinci® , porém, estes não são ilustrados na figura 1 para evitar desvirtuar a revelação. Informação adicional com relação a sistemas cirúrgicos minimamente invasivos pode ser encontrada, por exemplo, nos Pedidos de Patente dos Estados Unidos N° 11/762,165 (apresentado em 13 de Junho de 2007, revelando "Sistema Cirúrgico Minimamente Invasivo"), e Patente dos Estados Unidos N° 6.331.181 (emitida em 18 de Dezembro de 2001, revelando "Ferramentas Cirúrgicas Robóticas, Arquitetura de Dados e Uso"), ambas as quais estão incorporadas neste documento por referência. Vide também, por exemplo, as Patentes dos Estados Unidos N° 7.155.315 (apresentada em 12 de Dezembro de 2005; revelando "Controle Referenciado por Câmera Em um Aparelho Cirúrgico Minimamente Invasivo") e 7.574.250 (apresentada em 4 de Fevereiro de 2003, revelando "Aparelho de Transferência de Imagem e Método para um Sistema Telerobó- tico"), as quais estão ambas incorporadas neste documento por referência.
[0056] Neste exemplo, o sistema 100 inclui um carro 110 com um grande número de manipuladores.
[0057] Cada manipulador e o instrumento cirúrgico escravo teleoperado controlado por esse manipulador pode ser unido e separado dos manipuladores da ferramenta mestra no console do cirurgião 185, e, além disso, eles podem ser unidos e separados da pega de rastreamento 170 do dedo mestre mecanicamente não embasada não ener- gizada, algumas vezes chamada pega de rastreamento 170 do dedo mestre.
[0058] Um endoscópio estereoscópico 112 montado sobre o manipulador 113 fornece uma imagem do local da cirurgia 103 dentro do paciente 111 que é exibida na tela 187 e na tela no console do cirurgião 185. A imagem inclui imagens de qualquer um dos dispositivos cirúrgicos escravos no campo de visão do endoscópio estereoscópico 112. As interações entre os manipuladores da ferramenta mestra no console do cirurgião 185, os dispositivos cirúrgicos escravos e endoscópio estereoscópico 112 são os mesmos como em um sistema conhecido e assim são conhecidos para aqueles versados na área.
[0059] Em um aspecto, o cirurgião 181 move pelo menos um dedo da mão do cirurgião, o qual por sua vez faz um sensor na pega de rastreamento 170 do dedo mestre mudar de localização. O transmissor de rastreamento da mão 175 fornece um campo de forma que a nova posição e orientação do dedo são percebidas pela pega de rastreamento 170 do dedo mestre. A nova posição percebida e orientação são fornecidas ao controlador de rastreamento da mão 130.
[0060] Em um aspecto, como explicado mais completamente abaixo, o controlador de rastreamento da mão 130 mapeia a posição percebida e orientação para uma posição de ponto de controle e uma orientação do ponto de controle em um sistema de coordenadas oculares do cirurgião 181. O controlador de rastreamento de mão 130 envia esta informação de localização para o sistema controlador 140 que por sua vez envia um comando do sistema ao instrumento cirúrgico escravo teleoperado unido à pega de rastreamento 170 do dedo mestre. Como explicado mais completamente abaixo, usando a pega de rastreamento 170 do dedo mestre, o cirurgião 181 pode controlar, por exemplo, a pega de um manipulador extremo do instrumento cirúrgico escravo teleoperado, assim como o giro e a guinada de uma munheca unida ao manipulador do extremo.
[0061] Em outro aspecto, rastreamento da mão de pelo menos uma parte da mão do cirurgião 181 ou da mão do cirurgião 180 é usada pelo controlador de rastreamento da mão 130 para determinar se uma posição do gesto da mão é feita pelo cirurgião, ou uma combinação de uma posição do gesto da mão e uma trajetória do gesto da mão é feita pelo cirurgião. Cada posição do gesto da mão e cada trajetória combinada com uma posição do gesto da mão são mapeadas para um comando de sistema diferente. Os comandos do sistema controlam, por exemplo, as mudanças do modo do sistema e controlam outros aspectos do sistema cirúrgico 100 minimamente invasivo.
[0062] Por exemplo, no lugar de usar pedais e comutadores como em um conhecido sistema cirúrgico minimamente invasivo, um gesto da mão, qualquer posição do gesto da mão ou trajetória do gesto da mão, é usada (i) para iniciar o seguinte entre movimentos da pega da ferramenta mestra e o instrumento cirúrgico escravo teleoperado, (ii) para ativação da embreagem mestra (a qual desconecta o controle mestre do instrumento escravo), (iii) para controle da câmera endos- cópica (a qual permite o mestre controlar o movimento do endoscópio ou recursos, tais como foco ou zoom eletrônico), (iv) para troca de braço robótico (a qual troca um controle mestre particular entre dois instrumentos escravos), e (v) para troca de TILEPRO™, (a qual alterna a tela de janelas de vídeo auxiliares na tela do cirurgião). (TILEPRO is a trademark of Intuitive Surgical, Inc. of Sunnyvale, CA, USA.)
[0063] Quando existem somente duas pegas de ferramenta mestra no sistema 100 e o cirurgião 180 precisa controlar o movimento de um instrumento cirúrgico diferente dos dois instrumentos cirúrgicos escravos teleoperados no lugar de usar um gesto de primeira mão. O cirurgião então associa um ou ambas as pegas das ferramentas mestras com outros instrumentos cirúrgicos escravos mantidos por outros braços manipuladores pelo uso de um gesto da mão diferente que nesta implementação fornece associação de troca da pega da ferramenta mestra para outro instrumento cirúrgico escravo teleoperado.
[0064] O cirurgião 181 realiza um procedimento equivalente quando existem somente duas pegas de rastreamento de dedo mestre no sistema 100.
[0065] Ainda em outro aspecto, uma unidade de rastreamento da mão 186 montada no console do cirurgião 185 rastreia pelo menos uma parte da mão do cirurgião 180 e envia a informação da localização percebida para o controlador dede rastreamento da mão 130. O controlador de rastreamento da mão 130 determina quando a mão do cirurgião está próxima o suficiente da pega da ferramenta mestra para permitir ao sistema o seguinte, por exemplo, o movimento do instrumento cirúrgico escravo que segue o movimento da pega da ferramenta mestra. Como explicado mais completamente abaixo, em um aspecto, o controlador de rastreamento da mão 130 determina a posição da mão do cirurgião e a posição da correspondente pega da ferramenta mestra. Se a diferença nas duas posições estiver dentro de uma distância predeterminada, por exemplo, menos do que uma separação limiar, o seguinte é permitido, e de outra forma é inibido. Deste modo, a distância é usada como uma medida de presença da mão do cirurgião com respeito à pega da ferramenta mestra no console do cirurgião 185. Em outro aspecto, quando a posição da mão do cirurgião relativa à posição da pega da ferramenta mestra for menor que a separação limiar, a exibição de uma interface de usuário em um monitor é inibida, por exemplo, desligada em um dispositivo de apresentação visual. De modo oposto, quando a posição da mão do cirurgião relativa à posição da pega da ferramenta mestra for maior do que a separação limiar, a interface do usuário é exibida no dispositivo de apresentação visual, por exemplo, ligando-o.
[0066] A detecção de presença da mão do cirurgião tem sido um problema antigo. Detecção de presença tem sido tentada muitas vezes usando diferentes tecnologias de percepção de contato, tais como comutadores capacitivos, sensores de pressão, e comutadores mecânicos. Todavia, estas abordagens são inerentemente problemáticas porque os cirurgiões têm preferências diferentes sobre como e onde eles seguram a pega da ferramenta mestra. O uso da distância como uma medida de presença é vantajoso devido a que este tipo de detecção de presença permite ao cirurgião tocar a pega da ferramenta mestra levemente e então quebrar momentaneamente o contato físico para ajustar a pega da ferramenta mestra, porém, isso não compele como o cirurgião segura a pega da ferramenta mestra com seus dedos.
[0067] Controle do Instrumento Cirúrgico por meio do Rastreamento da Mão
[0068] Um exemplo de pega de rastreamento 270 do dedo mestre mecanicamente não embasada não energizada, chamada algumas vezes de pega mestra de rastreamento de dedo 270, está ilustrada nas figuras 2A a 2D em configurações diferentes que são descritas mais completamente abaixo. Pega mestra de rastreamento de dedo 270 inclui sensores montados nos dedos 211, 212, algumas vezes citados como sensores montados no dedo e polegar 211, 212, os quais independentemente rastreiam a localização (posição e orientação em um exemplo) de cada um de uma ponta de dedo indicador 292B e uma ponta de polegar 292A, quer dizer, rastrear a localização de dois dedos da mão do cirurgião. Deste modo, a localização da própria mão é rastreada como oposta ao rastreamento da localização das pegas da ferramenta mestra em um sistema cirúrgico minimamente invasivo.
[0069] Em um aspecto, os sensores fornecem rastreamento de seis graus de liberdade (três de translação e três de rotação) para cada dedo da mão no qual o sensor está montado. Em outro aspecto, os sensores fornecem rastreamento de cinco graus de liberdade (três de translação e três de rotação) para cada dedo da mão no qual o sensor está montado.
[0070] Ainda em outro aspecto, os sensores fornecem rastreamento de três graus de liberdade (três de translação) para cada dedo da mão no qual um sensor está montado. Quando dois dedos estão cada um rastreado com três graus de liberdade, o total de seis graus trans- lacionais de liberdade são suficientes para controlar um instrumento cirúrgico escravo que não inclui um mecanismo de munheca.
[0071] Um conector acolchoado de espuma 210 está conectado a sensores montados 211, 212 entre dedo e polegar. O conector 210 compele o polegar 292 A e o dedo indicador 292B, que dizer, os dedos da mão 291R, a estarem dentro de uma distância fixa, isto é, existe uma distância de separação máxima entre os dedos da mão 291R na qual a pega de rastreamento do dedo mestre 270 é montada. Como o polegar 292 A e o dedo indicador 292B sâo levados desde a separação máxima (figura 2A) para uma configuração completamente fechada (figura 2D), o acolchoamento fornece retroalimentação positiva para ajudar ao cirurgião 181 a controlar a força da pega e um manipulador do extremo de um instrumento cirúrgico escravo teleoperado conectado à pega de rastreamento do dedo mestre 170.
[0072] A posição ilustrada na figura 2A com o polegar 292 A e dedo indicador 292B separado pela distância máxima permitida pela pe- ga de rastreamento do dedo mestre 270, a força da pega é um mínimo. De modo oposto, na posição ilustrada na figura 2D onde o polegar 292A e dedo indicador 292 estão tão próximos quanto permitido pelo conector 210, quer dizer, separados por uma distância mínima permitida pela pega de rastreamento do dedo mestre 270, a força da pega é um máximo. As figuras 2B e 2C representam posições que são mape-adas para forças de pega intermediárias.
[0073] Conforme explicado mais completamente abaixo, as localizações (posições e orientações) do polegar 292 A e dedo indicador 292B nas figuras 2A a 2D são mapeadas para um parâmetro de fechamento de pega, por exemplo, um valor de fechamento de pega normalizado que é usado para controlar a pega do instrumento cirúrgico escravo teleoperado conectado à pega de rastreamento do dedo mestre 270. Especificamente, as localizações percebidas do polegar 292 A e dedo indicador 292B são mapeadas para o parâmetro de fechamento da pega pelo controlador de rastreamento da mão 130.
[0074] Assim, uma localização de uma parte da mão do cirurgião 181 é rastreada. Baseado na localização rastreada, um parâmetro de controle do sistema de um sistema cirúrgico minimamente invasivo 100, quer dizer, um parâmetro de fechamento de uma pega, é gerado pelo controlador de rastreamento da mão 130, e alimentado ao controlador do sistema 140. O controlador do sistema 140 usa o parâmetro de fechamento da pega na geração de um comando do sistema que é enviado ao instrumento cirúrgico escravo teleoperado. O comando do sistema instrui o instrumento cirúrgico teleoperado para configurar um manipulador do extremo para ter um fechamento da pega correspondente ao parâmetro de fechamento da pega. Portanto, o sistema cirúrgico minimamente invasivo 100 usa o parâmetro de fechamento da pega para controlar a operação do instrumento cirúrgico escravo teleoperado do sistema cirúrgico minimamente invasivo 100.
[0075] Também, as localizações (posições e orientações) do polegar 292 A e dedo indicador 292B nas figuras 2A a 2D são mapeadas para uma posição do ponto de controle e uma orientação do ponto de controle pelo controlador de rastreamento da mão 130. A posição do ponto de controle e a orientação do ponto de controle estão mapeadas em um sistema de coordenadas oculares para o cirurgião 181, e então fornecidas ao controlador do sistema 140 por meio de um sinal de comando. A posição do ponto de controle e a orientação do ponto de controle no sistema de coordenadas oculares são usadas pelo controlador do sistema 140 para teleoperação do instrumento cirúrgico escravo conectado à pega de rastreamento do dedo mestre 170.
[0076] Novamente, uma localização de uma parte da mão do cirurgião 181 é rastreada. Baseado na localização rastreada, outro parâmetro de controle do sistema de um sistema cirúrgico minimamente invasivo 100, a posição do ponto de controle e orientação é gerado pelo controlador de rastreamento da mão 130. O controlador do rastreamento da mão 130 transmite um sinal de comando com a posição do ponto de controle e orientação para o controlador do sistema 140. O controlador do sistema 140 usa a posição do ponto de controle e orientação na geração de um comando do sistema que é enviado ao instrumento cirúrgico escravo teleoperado. O comando do sistema instrui ao instrumento cirúrgico teleoperado para posicionar o instrumento cirúrgico teleoperado baseado na posição do ponto de controle e orientação. Portanto, o sistema cirúrgico minimamente invasivo 100 usa a posição do ponto de controle e orientação para controlar a operação do instrumento cirúrgico escravo teleoperado do sistema cirúrgico minimamente invasivo 100.
[0077] Além disso para a determinação do fechamento da pega baseada nas posições dos sensores 211, 212, outro movimento relativo entre o dedo indicador 292B e polegar 292 A é usado para controlar o movimento de guinada e o movimento de giro do instrumento cirúrgico escravo. Esfregando juntos transversalmente o dedo 292B e o polegar 292 A como se girassem um eixo, o qual é representado pelas setas (figura 2E) ao redor de um eixo imaginário 293, produz o giro da ponta do instrumento cirúrgico escravo, enquanto desliza o dedo indicador e polegar para cima e para trás longitudinalmente ao longo do outro, o qual é representado pelas setas (figura 2F) junto a um eixo na direção apontada representada pela seta 295, produz movimento de guinada junto ao eixo-X do instrumento cirúrgico escravo. Isto é conseguido pelo mapeamento do vetor entre as posições da ponta do dedo indicador e a ponta do polegar para definir o eixo-X da orientação do ponto de controle. A posição do ponto de controle permanece relativamente estacionária visto que o dedo e polegar estão cada um deslizado de uma maneira simétrica junto ao eixo 295. Enquanto os movimentos do dedo e polegar não são movimentos completamente simétricos, a posição ainda permanece suficientemente estacionária que o usuário pode corrigir facilmente qualquer perturbação que possa ocorrer.
[0078] Novamente, localizações de uma parte da mão do cirurgião 181 são rastreadas. Baseado nas localizações rastreadas, ainda um outro parâmetro de controle do sistema, quer dizer, o movimento relativo entre dois dedos da mão do cirurgião 291R, é gerado pelo controlador 130 do rastreamento da mão.
[0079] O controlador do rastreamento da mão 130 converte o movimento relativo em uma orientação para o instrumento cirúrgico escravo teleoperado conectado à pega de rastreamento do dedo mestre 170. O controlador de rastreamento da mão 130 envia um sinal de comando com a orientação ao controlador do sistema 140. Enquanto esta orientação é uma orientação absoluta, o controlador do sistema de mapeamento 140, em um aspecto, usa esta entrada com movimen- to lento durante a teleoperação na mesma matéria como uma entrada de orientação de qualquer outro cardã passivo de pega de ferramenta mestra. Um exemplo de movimento lento é descrito em um Pedido de Patente dos Estados Unidos N° 12/495.213 comumente designado (apresentado em 30 de junho de 2009, revelando "Movimento Lento Para Alinhamento Mestre de Um Instrumento Cirúrgico Teleoperado"), o qual está incorporado integralmente neste documento por referência.
[0080] O controlador do sistema 140 usa a orientação na geração de um comendo do sistema que é enviado para o instrumento cirúrgico escravo teleoperado. O comando do sistema instrui ao instrumento cirúrgico teleoperado para girar o instrumento cirúrgico teleoperado baseado na orientação. Portanto, o sistema cirúrgico minimamente invasivo 100 usa o movimento entre os dois dedos para controlar a operação do instrumento cirúrgico escravo teleoperado do sistema cirúrgico minimamente invasivo 100.
[0081] Quando o movimento for um primeiro movimento, por exemplo, esfregamento transversal do dedo 292B e polegar 292A como girando um eixo, a orientação é um giro, e o comando do sistema resulta em um giro da ponta da munheca do instrumento cirúrgico escravo junto a sua direção indicada. Quando o movimento for um segundo movimento diferente do primeiro movimento, por exemplo, deslizamento do dedo indicador e polegar para cima e para trás longitudi-nalmente ao longo um do outro (figura2F), a orientação é uma guinada, e o comando do sistema resulta em um movimento de guinada da munheca do instrumento cirúrgico escravo.
[0082] Ainda em outro aspecto, quando cirurgião muda o modo de operação do sistema para um modo de reconhecimento de gestos, ambas as mãos são rastreadas e pontos de controle e orientações para ambas as mãos são gerados baseados nas posições e orientações percebidas pelos sensores montados nas mãos em um aspecto. Por exemplo, conforme ilustrado na figura 2G, as pontas do polegar e dedo indicador de cada mão são tocadas juntas para criar uma forma similar a um círculo. A posição percebida de cada mão é mapeada pelo controlador de rastreamento da mão 130 para um par de posições de ponto de controle. O par de pontos de controle é enviado com um evento da câmera do sistema de controle para o controlador do sistema 140.
[0083] Assim, neste aspecto, uma localização de uma parte de cada mão do cirurgião 181 é rastreada.
[0084] Outro parâmetro de controle do sistema do sistema cirúrgico minimamente invasivo 100, quer dizer, o par de posições de pontos de controle, baseado na localização rastreada é gerado pelo controlador de rastreamento da mão 130. O controlador do rastreamento da mão 130 envia o par de posições de ponto de controle com o evento da câmera do sistema de controle para o controlador do sistema 140.
[0085] Em resposta ao evento da câmera do sistema de controle, o controlador do sistema 140 gera um comando da câmera do sistema de controle baseado no par de posições do ponto de controle. O comando da câmera do sistema de controle é enviado para um manipulador da câmara endoscópica teleoperada no sistema cirúrgico minimamente invasivo 100. Portanto, o sistema cirúrgico minimamente invasivo 100 usa o par de posições de pontos de controle para controlar a operação do manipulador da câmara endoscópica teleoperada do sistema cirúrgico minimamente invasivo 100.
[0086] Controle do sistema via Posições do Gesto da Mão e Trajetórias do Gesto da Mão
[0087] Neste aspecto, depois de ser colocado em um modo de operação de detecção de gesto, o controlador de rastreamento da mão 130 detecta uma posição de gesto da mão, ou uma posição de gesto da mão e uma trajetória do gesto da mão. O controlador 130 mapeia posições do gesto da mão para certos comandos de controle do modo do sistema, e similarmente o controlador 130 mapeia trajetórias do gesto da mão para outros comandos de controle no modo do sistema. Observe que o mapeamento de posições e trajetórias é independente e assim este é diferente de, por exemplo, rastreamento de linguagem de sinais manuais. A capacidade para gerar comandos do sistema e para controlar o sistema 100 usando posições do gesto da mão e trajetórias, No lugar de chaves de manipulação, em numerosos pedais, etc. como conhecido em sistemas cirúrgicos minimamente invasivos, fornece grande facilidade de uso do sistema 100 para o cirurgião.
[0088] Quando um cirurgião está de pé, o uso de posições do gesto da mão e trajetórias do gesto da mão para controlar o sistema 100 torna desnecessário para o cirurgião tirar os olhos do cirurgião fora do paciente e/ou olhar ou da tela do monitor e buscar um pedal ou uma chave quando o cirurgião quiser mudar o modo do sistema. Finalmente, a eliminação das diversas chaves e pedais reduz a área útil exigida para o sistema cirúrgico teleoperado minimamente invasivo.
[0089] O conjunto particular de posições do gesto da mão e trajetórias do gesto da mão usadas para controlar o sistema cirúrgico minimamente invasivo 100 não é crítico na medida em que posição do gesto da mão e cada trajetória do gesto da mão são inequívocas. Especificamente, uma posição do gesto da mão não deve ser capaz de ser interpretada pelo controlador de rastreamento da mão 130 como uma ou outra posição mais do gesto da mão no conjunto de posições, e uma trajetória do gesto da mão não deve ser interpretada como mais que uma trajetória do gesto da mão no conjunto de trajetórias. Deste modo, as posições do gesto da mão e as trajetórias do gesto da mão tratadas abaixo são somente ilustrativas e não se destinam a ser limi- tantes.
[0090] As figuras 3A a 3D são exemplos de posições do gesto da mão 300A a 300D, respectivamente.
[0091] As figuras 4A a 4C são exemplos de trajetórias do gesto da mão. Observar, por exemplo, que a configuração na figura 2A aparece similar àquela na figura 3A, mas, o modo de operação do sistema cirúrgico minimamente invasivo 100 é diferente quando as duas configurações são usadas.
[0092] Na figura 2A, o instrumento cirúrgico escravo minimamente invasivo teleoperado é conectado à pega de rastreamento do dedo mestre 170 e o sistema 100 está no seguinte modo de forma que o movimento do instrumento cirúrgico escravo minimamente invasivo teleoperado segue o movimento rastreado da mão do cirurgião. Nas figuras 3A a 3D e 4A a 4C, o cirurgião coloca o sistema 100 no modo de reconhecimento de gestos, e então faz uma das posições do gesto da mão ilustradas ou trajetórias do gesto da mão. As posições do gesto da mão e trajetórias do gesto da mão são usadas no controle dos modos do sistema e não são usadas no seguinte modo de operação. Por exemplo, os modos do sistema controlados com posições do gesto da mão são para habilitar, desabilitar e alternar entre elementos visuais, para apagar o elemento visual, e para desenhar/apagar a telestra- tion (técnica de ilustração em cirurgia remota).
[0093] Na posição do gesto da mão 300 A (figura 3A), polegar 292 A e dedo indicador 292 são separados além do limiar da embreagem mestra, por exemplo, o afastamento entre os dois dedos da mão 291R é maior do que 115 mm. A posição do gesto da mão 300B (figura 3B) com dedo indicador 292B estendido e polegar 292 A enrolado é usado para sinalizar ao controlador de rastreamento da mão 130 que o cirurgião está desenhando uma trajetória do gesto da mão (Vide as figuras 4A e 4B). Posição do gesto da mão 300C (figura 3C) com polegar 292 A acima e dedo indicador 292B enrolado é usado para ligar uma interface de usuário e para alternar entre modos na interface do usuário. Posição do gesto da mão 300D (figura 3D) com polegar 292 A abaixo e dedo indicador 292B enrolado é usado para ligar a interface de usuário. Outras posições do gesto da mão podem incluir uma posição do gesto de "OK" da mão, uma posição do gesto da mão em forma de L.
[0094] O controlador de rastreamento da mão 130, em um aspecto, usa um recurso multidimensional para reconhecer e identificar uma posição do gesto da mão. Inicialmente, um grande número de posições de gesto da mão é especificado. A seguir, é especificado um conjunto de atributos que inclui um grande número de recursos. O conjunto de recursos está projetado para identificar unicamente cada posição do gesto da mão no grande número de posições.
[0095] Um processo de reconhecimento de posição do gesto da mão é treinado usando uma base de dados de treinamento. A base de dados de treinamento inclui um grande número de instâncias de cada uma das posições do gesto da mão. O grande número de instâncias inclui vetores de atributo para posições feitas por várias pessoas diferentes. Um conjunto de atributos é gerado para cada uma das instâncias na base de dados de treinamento. Estes conjuntos de atributos são usados para treinamento de um classificador Bayesiano multidimensional, conforme explicado mais completamente abaixo.
[0096] Quando o cirurgião 180 precisar no modo de operação de gesto da mão, o cirurgião ativa uma chave, por exemplo, pressiona um pedal, e então faz uma posição do gesto da mão com pelo menos uma mão. Observar que enquanto este exemplo exige um simples pedal, ele permite a eliminação dos outros pedais na bandeja dos pés do sistema cirúrgico minimamente invasivo conhecido e ainda assim tem as vantagens descritas acima. A unidade de rastreamento da mão 186 envia sinais representando as posições e orientações percebidas do polegar e dedo indicador da mão do cirurgião ou mãos para o controlador de rastreamento das mãos 130.
[0097] Usando os dados de rastreamento para os dígitos da mão do cirurgião, o controlador do rastreamento da mão 130 gera um conjunto de recursos observados. O controlador do rastreamento da mão 130 então usa o classificador Bayesiano multidimensional treinado e uma distância Mahalanobis para determinar a possibilidade, quer dizer, probabilidade, que o conjunto de atributos observados seja um conjunto de atributos de uma posição do gesto da mão no grande número de posições. Isto é feito para cada uma das posições do gesto da mão no grande número de poses.
[0098] A posição do gesto da mão no grande número de posições que é selecionado pelo controlador de rastreamento da mão 130 como a posição do gesto da mão observada é aquela tendo a menor distância Mahalanobis se a distância Mahalanobis for menor do que a distância Mahalanobis máxima na base de dados de treinamento para essa posição do gesto da mão. A posição selecionada do gesto da mão é mapeada para um evento do sistema. O controlador de rastreamento da mão 130 injeta o evento do sistema para o controlador do sistema 140.
[0099] O controlador do sistema 140 processa o evento do sistema e emite um comando do sistema. Por exemplo, se uma posição do gesto da mão 300C (figura 3C) for detectada, o controlador do sistema 140 envia um comando do sistema ao controlador da tela 150 para ligar a interface do usuário. Em resposta, o controlador da tela 150 executa pelo menos uma parte do módulo da interface do usuário 155 no processador 151 para gerar uma interface do usuário na tela do console do cirurgião 185.
[00100] Assim, neste aspecto, um sistema cirúrgico minimamente invasivo 100 rastreia uma localização de parte de uma mão humana. Baseado na localização rastreada, um parâmetro de controle do sistema é gerado, e.g., uma posição do gesto da mão é selecionada. A posição do gesto da mão é usada para controlar a interface do usuário de um sistema cirúrgico minimamente invasivo 100, por exemplo, a interface do usuário na tela do console do cirurgião 185.
[00101] O controle da interface do usuário é somente ilustrativo é não se destina a ser limitante. Um gesto da mão pode ser usado para realizar qualquer uma das mudanças de modo em um sistema cirúrgico minimamente invasivo conhecido, por exemplo, embreagem mestre, controle da câmera, foco da câmera, intercâmbio de braço manipulador, etc..
[00102] Se o processo de reconhecimento da posição do gesto da mão determinar que a posição é a posição do gesto da mão para uma trajetória do gesto da mão, um evento do sistema não é injetado pelo controlador de rastreamento da mão 130 baseado no reconhecimento da posição. No lugar disso, é iniciado um processo de reconhecimento da trajetória do gesto.
[00103] Neste exemplo, posição do gesto da mão 300B (figura 3B) é a posição usada para gerar uma trajetória do gesto da mão. As figuras 4A e 4B são exemplos bidimensionais de trajetórias de gesto da mão 400A e 400B que são feitas usando a posição do gesto da mão 300B. A figura 4C apresenta outros dois exemplos bidimensionais de trajetórias de gesto da mão que podem ser usados.
[00104] Em um aspecto, o processo de reconhecimento da trajetória do gesto da mão usa um Modelo A Oculto de Markov. Para gerar a distribuição de probabilidades para o Modelo A Oculto de Markov, uma base de dados de treinamento é necessária. Antes de obter a base de dados de treinamento, um conjunto de trajetórias de gestos da mão é especificado. Em um aspecto, as dezesseis trajetórias do gesto da mão da figura 4C são selecionadas.
[00105] Em um aspecto, vários objetos de teste são selecionados para fazer cada uma das trajetórias do gesto da mão. Em um exemplo, cada objeto de teste realizou cada uma das trajetórias um número de vezes predeterminado. Os dados de posição e orientação para cada um dos objetos para cada trajetória realizada foram salvos na base de dados de treinamento. Em um aspecto, conforme explicado mais completamente abaixo, a base de dados foi usada para treinar um discreto Modelo Oculto de Markov esquerda-direita usando um método iterativo Baum-Welch.
[00106] Quando um cirurgião faz uma trajetória, os dados são convertidos em uma sequência de observação O pelo controlador de rastreamento da mão 130. Com a sequência de observação O e o Modelo A Oculto de Markov, o controlador de rastreamento da mão 130 determina qual trajetória do gesto da mão corresponde à sequência do símbolo observado. Em um aspecto, o controlador de rastreamento da mão 130 usa o algoritmo de recursão para frente com o Modelo A Oculto de Markov para gerar a probabilidade total da sequência do símbolo observado. A trajetória do gesto da mão com a probabilidade mais alta é selecionada se essa probabilidade for maior do que o limite mínimo de probabilidade. Se a probabilidade mais alta for menor do que o limite mínimo de probabilidade, nenhuma trajetória do gesto da mão é selecionada, e o processo termina.
[00107] A trajetória do gesto da mão selecionada é mapeada para um evento do sistema. O controlador de rastreamento da mão 130 injeta o evento do sistema para o controlador do sistema 140.
[00108] O controlador do sistema 140 processa o evento do sistema e emite um comando do sistema. Por exemplo, se a trajetória selecionada do gesto da mão mapeada para um evento para mudar o nível de iluminação no local cirúrgico, o controlador do sistema 140 envia um evento de sistema para um controlador em um iluminador para mudar o nível de iluminação.
Detecção de Presença por Meio de Rastreamento da Mão
[00109] Em um aspecto, como indicado acima, as posições das mãos do cirurgião 291R, 291L (figura 6A) são rastreadas para determinar se a teleoperação do sistema cirúrgico minimamente invasivo 100 é permitida e em alguns aspectos se exibir uma interface de usuário para o cirurgião. Novamente, o controlador de rastreamento da mão 130 rastreia pelo menos uma parte de uma mão do cirurgião 180B (figura 6A). O controlador de rastreamento da mão 130 gera uma localização de uma pega de ferramenta mestra, por exemplo, pega de ferramenta mestra 621 (figura 6B), a qual representa as pegas da ferramenta mestra 621L, 621R (figura 6A), e uma localização da parte da mão. O controlador de rastreamento da mão 130 mapeia as duas localizações dentro de uma estrutura de coordenadas comum e então determina a distância entre as duas localizações na estrutura de coordenadas comum. A distância é um parâmetro de controle de um sistema cirúrgico minimamente invasivo que é baseado na localização rastrea- da da parte da mão do cirurgião.
[00110] Se a distância for menor do que um limiar seguro, quer dizer, menor do que uma separação máxima permitida entre a parte da mão e a pega da ferramenta mestra, a teleoperação do sistema cirúrgico minimamente invasivo 100 é permitida, e de outra forma, a teleoperação é impedida. Igualmente, no aspecto que usa detecção de presença para controlar a exibição de uma interface de usuário, se a distância for menor do que um limiar seguro, quer dizer, menor do que uma separação máxima permitida entre a parte da mão e a pega da ferramenta mestra, exibição de uma interface de usuário em uma tela do sistema cirúrgico minimamente invasivo 100 é impedida, e de outra forma, a exibição da interface do usuário é permitida.
[00111] Deste modo, a distância é usada no controle da teleoperação do sistema cirúrgico minimamente invasivo 100. Especificamente, o controlador de rastreamento da mão 130 envia um evento do sistema para o controlador do sistema 140 indicando se a teleoperação é permitida. Em resposta ao evento do sistema, o controlador do sistema 140 configura o sistema 100para permitir ou impedir teleoperação.
Tecnologias de Rastreamento de Localização da Mão
[00112] Antes de considerar os diversos aspectos de rastreamento da mão descritos acima em maior detalhe, é descrito um exemplo de uma tecnologia de rastreamento. Este exemplo é somente ilustrativo e em vista da seguinte descrição, qualquer tecnologia de rastreamento que forneça a informação necessária de localização de mão ou dedo pode ser utilizada.
[00113] Em um aspecto, rastreamento eletromagnético DC pulsado é usado com sensores montados em dois dedos de uma mão, por exemplo, o polegar e o dedo indicador, como ilustrado nas figuras 2A a 2D e figura 7. Cada sensor mede seis graus de liberdade e em um aspecto tem um tamanho de oito milímetros por dois milímetros por um milímetro e meio (8 mm x 2 mm x 1.5 mm). O sistema de rastreamento tem um espaço de trabalho hemisférico destro de 0,8 m e uma resolução de percepção de posição de 0,5mm e 0,1 graus. A taxa de atualização é de 160 Hertz e tem uma latência de percepção de quatro milésimos de segundo. Quando integrada dentro de um sistema, pode ser incorrida latência adicional devido à comunicação e filtragem adicional. Latência de comando efetiva de até 30 milésimos de segundo tem sido achado ser aceitável.
[00114] Neste aspecto, um sistema de rastreamento inclui um controlador de rastreamento de mão eletromagnético, sensores para uso na pega de rastreamento do dedo mestre, e um transmissor de rastreamento da mão. Um sistema de rastreamento adequado para uso em uma incorporação desta invenção é comercializado por Ascension Technology Corporation de Burlington, Vermont, USA como uma guia em 3D trakSTAR™ System com Transmissor de Amplitude Média. (trakSTAR™ é uma marca registrada de Ascension Technology Corpo- ration). O transmissor gera campos magnéticos DC pulsados para rastreamento de alta precisão sobre amplitudes médias, as quais são especificadas como 78 centímetros (31 polegadas). Este sistema fornece rastreamento dinâmico com 240 a 420 atualizações/segundo para cada sensor. As saídas dos sensores passivos miniaturizados não são afetadas pelas fontes de ruído das linhas de energia. Uma linha de visada livre entre o transmissor e os sensores não necessária. Existe rastreamento de todas as posições e nenhuma deriva inercial ou interferência ótica. Existe alta imunidade metálica e nenhuma distorção de metais não magnéticos.
[00115] Enquanto um sistema de rastreamento eletromagnético com coberturas de dedos é usado aqui, isto é somente ilustrativo e não se pretende que seja limitante. Por exemplo, um dispositivo semelhante a uma caneta pode ser segurado pelo cirurgião. O dispositivo semelhante a uma caneta é uma peça de dedo com três ou mais marcadores confiáveis de referência não colineares na superfície externa do dispositivo. Normalmente, para fazer pelo menos três marcadores confiáveis de referência visíveis em qualquer ponto de vista, mais marcadores de confiáveis de referência são usados devido à auto- oclusão. Os marcadores confiáveis de referência são suficientes para determinar seis graus de liberdade (três de translação e três de rotação) de movimento da peça do dedo e assim aquela da mão segurando o dispositivo similar a uma caneta. O dispositivo semelhante a uma caneta também percebe empunhadura /pegada em um aspecto.
[00116] O dispositivo semelhante a uma caneta é visto por duas ou mais câmeras de parâmetros conhecidos para localizar os marcadores confiáveis de referência em três dimensões e inferir a posição de três dimensões da peça do dedo. Os marcadores confiáveis de referência podem ser implementados, por exemplo, como 1) esferas retro- refletivas com iluminação próxima à câmera; 2) semi-esferas côncavas ou convexas com iluminação próxima à câmera ou 3) marcadores ativos tais como um LED (piscante). Em um aspecto, iluminação infravermelha próxima da peça do dedo é usada, e filtros são usados para bloquear o espectro visível na câmera para minimizar o distúrbio da confusão no fundo de tela.
[00117] Em outro aspecto, uma luva de dados 501 (figura 5) ou mão limpa 502 é usada, e marcadores confiáveis de referência 511 são conectados ao polegar e dedo indicador da luva 501 (e/ou a outros dedos da luva) que o cirurgião vai usar e/ou diretamente na pele da mão 502. Novamente, marcadores redundantes podem ser usados para acomodar auto-oclusão. Marcadores confiáveis de referência também podem ser colocados sobre outros dedos para habilitar mais recursos de interface de usuário através de gestos de mão especificamente de-finidos.
[00118] As localizações tridimensionais dos marcadores confiáveis de referência são computadas por triangulação de múltiplas câmeras tendo um campo de visão comum. As localizações tridimensionais dos marcadores confiáveis de referência são usadas para inferir a posição tridimensional (translação e orientação) da mão e também o tamanho da pega.
[00119] As localizações dos marcadores precisam ser calibradas antes do uso. Por exemplo, o cirurgião pode mostrar para a câmera a mão com marcadores em diferentes posições. As diferentes posições são então usadas na calibragem.
[00120] Ainda em outro aspecto, é usado rastreamento da mão sem marcador. Movimento articulado da mão pode ser rastreado pelo uso de imagens vistas desde uma ou mais câmeras e processamento dessas imagens por meio da execução de software de computação. O software de execução de computador não precisa rastrear todos os graus de liberdade da mão para serem úteis. O software de execução precisa somente rastrear a parte relacionada aos dois dedos de uma mão para ser útil para controlar uma ferramenta cirúrgica como demonstra-do neste documento.
[00121] Rastreamento baseado na câmera, a precisão das medições depende da precisão da localização dos marcadores na imagem; precisão de reconstrução tridimensional devido à geometria da câmera; e dados redundantes tais como mais do que um número mínimo, por exemplo, três, de marcadores confiáveis de referência, mais do que o número mínimo (uma ou duas) de câmeras, e cálculo de média temporária e filtragem.
[00122] A precisão de reconstrução tridimensional apoia-se pesadamente na precisão da calibragem da câmera. Alguns marcadores confiáveis de referência anexados às localizações conhecidas no console do cirurgião podem ser usados para determinar os parâmetros externos (rotação e translação) de múltiplas câmeras com respeito ao console do cirurgião. Este processo pode ser feito automaticamente. Marcadores confiáveis de referência podem ser usados para calibragem de marcadores confiáveis de referência visto que tais marcadores são ligados somente durante um processo de calibragem e antes do procedimento. Durante o procedimento, a calibragem de marcadores confiáveis de referência é desligada para evitar confusão com os marcadores confiáveis de referência usados para localizar as mãos do cirurgião. Os parâmetros relativos externos também podem ser computados pela observação de um marcador em movimento no campo de visão comum das câmeras.
[00123] Outras tecnologias de rastreamento que são adequadas para uso incluem, mas, não estão limitadas a isso, rastreamento iner- cial, rastreamento profundo de câmera, e percepção de curva de fibra.
[00124] Conforme usado neste documento, um elemento sensor, algumas vezes chamado um sensor de rastreamento, pode ser um sensor para qualquer uma das tecnologias de rastreamento da mão descritas acima, por exemplo, um sensor eletromagnético passivo, um marcador confiável de referência, ou um sensor para qualquer uma das outras tecnologias.
Sistemas de Coordenadas
[00125] Antes de considerar os diversos processos descritos acima em maiores detalhes, um exemplo de um console de cirurgião 185B (figura 6A) é considerado e vários sistemas de coordenadas são definidos para uso nos seguintes exemplos. O console do cirurgião 185B é um exemplo de console de cirurgião 185. O console do cirurgião 185B inclui um visor em três dimensões 610, algumas vezes citado como visor 610, manipuladores de ferramenta mestra 620L, 620R com pegas de ferramenta mestra 621L, 621R, e uma base 630. Pega da ferramenta mestra 621 (figura 6B) é um diagrama mais detalhado de pegas de ferramenta mestra 621L, 621R.
[00126] Pegas de ferramenta mestra 621L, 621R dos manipuladores de ferramenta mestra 620L, 620R são mantidas pelo cirurgião 180B usando o dedo indicador e polegar, de forma que apontar e apegar envolve orientação intuitiva e movimentos de beliscar. Os manipuladores de ferramenta mestra 620L, 62R em combinação com pegas de ferramenta mestra 621L, 621R são usadas para controlar instru-mentos cirúrgicos escravos teleoperados, endoscópios teleoperados, etc. da mesma maneira como manipuladores de ferramenta mestra conhecidos em um sistema cirúrgico teleoperado minimamente invasivo conhecido. Também, as coordenadas da posição dos manipuladores de ferramentas mestras 620L, 620R e pegas de ferramentas mestras 621L, 621R são conhecidos a partir da cinemática usada no controle dos instrumentos cirúrgicos escravos.
[00127] No modo de visão normal de operação, o visor 610 exibe imagens em três dimensões do local da cirurgia 103 a partir do endos- cópio estereoscópico 112. O visor 610 está posicionado no console 185B (figura 6B) próximo às mãos do cirurgião de forma que a imagem do local da cirurgia vista no visor 610 está orientada de tal forma que o cirurgião sente que ele ou ela está realmente olhando diretamente para baixo sobre o local da cirurgia 103. Os instrumentos cirúrgicos na imagem parecem estar localizados substancialmente onde as mãos do cirurgião estão localizadas e orientadas substancialmente como o cirurgião 180B esperaria baseado na posição das suas mãos. Todavia, o cirurgião 180B pode ver nem suas mãos, nem a posição ou orientação das pegas da ferramenta mestra 621L, 621R, enquanto se observa a imagem exibida do local da cirurgia no visor 610.
[00128] Em um aspecto, os manipuladores de ferramentas mestras 620L, 620R são movimentados a partir de diretamente em frente do cirurgião 180B e sob o visor 610 de forma que eles estejam posicionados sobre a base 630, e de forma que eles estejam não mais posicionados sob o visor 610, quer dizer, os manipuladores da ferramenta mestra são estacionados fora do caminho do gesto da mão. Isto fornece um volume desimpedido sob o visor 610 no qual o cirurgião 180B pode fazer gestos com a mão, uma ou ambas de posições do gesto da mão ou trajetórias do gesto da mão.
[00129] No aspecto da figura 6A, três sistemas de coordenadas são definidos com respeito ao console do cirurgião 185B: um sistema de coordenadas de visão 660, um sistema de coordenadas do mundo 670, e um sistema de coordenadas de rastreador 650. Observar que sistemas de coordenadas equivalentes são definidos para o cirurgião 181 (figura 1), de forma que o mapeamento descrito mais completamente abaixo pode ser feito para dados de rastreamento da pega de rastreamento do dedo mestre 170 ou das pegas de ferramentas mestras 621L, 621R. Vide, por exemplo, o Pedido de Patente dos Estados Unidos 12/617.937 (apresentado em 13 de Novembro de 2009, reve- lando "Interface do Cirurgião no Lado do Paciente para Instrumento Cirúrgico Teleoperado Minimamente Invasivo"), o qual foi anteriormente incorporado neste documento por referência.
[00130] No sistema de coordenadas de visão 660, o cirurgião 180B está olhando para baixo eixo-Z VisãoZ. Eixo-Y VisãoY aponta para cima na tela do monitor. Eixo-X VisãoX aponta para esquerda na tela do monitor. No sistema de coordenadas do mundo 670, o eixo-Z mun- doZ é um eixo vertical. Eixo- X mundo mundoX e eixo-Y mundo mundo Y estão em um plano perpendicular ao eixo-Z mundoZ.
[00131] A figura 6B é uma ilustração mais detalhada de uma pega de uma ferramenta mestra 621 e manipuladores de ferramenta mestra 620.
[00132] Sistemas de coordenadas 680, 690 são discutidos mais completamente abaixo com respeito ao método 1100 da figura 11.
Processo de Controle de Instrumento Cirúrgico por meio do Rastreamento da Mão
[00133] A figura 7 é uma ilustração do sensor 212 montado no dedo indicador 292B com uma localização 713 no sistema de coordenadas de rastreamento 750, e um sensor 211 montado no polegar 292A com uma localização 711 em um sistema de coordenadas de rastreamento 750. Os sensores 211 e 212 são partes do sistema de rastreamento eletromagnético descrito acima. O polegar 292A e o dedo indicador 292B são exemplos de dedos da mão direita 291R. Conforme observado anteriormente, uma parte de uma mão humana inclui pelo menos um dígito da mão. Como é sabido para aqueles versados na área, os dedos, algumas vezes chamados dígitos ou falanges, da mão são o polegar (primeiro dígito), dedo indicador (segundo dígito, dedo indicador), dedo médio (terceiro dígito), dedo anular (quarto dígito), dedo mindinho (quinto dígito).
[00134] Neste documento, o polegar e dedo indicador são usados como exemplos de dois dígitos de uma mão humana. Isto é somente ilustrativo é não se destina a ser limitante. Por exemplo, o polegar e o dedo médio podem ser usados no lugar do polegar e o dedo indicador. A descrição neste documento também é diretamente aplicável ao uso do dedo médio. Também, o uso da mão direita é somente ilustrativo. Quando sensores similares são usados na mão esquerda, a descrição neste documento também é aplicável diretamente à mão esquerda.
[00135] Um cabo 741, 742 conecta os sensores 211, 212 da pega de rastreamento do dedo mestre 270 para o controlador de rastreamento da mão 130. Em um aspecto, o cabo 741, 742 leva informação de posição e orientação dos sensores 211, 212 para o controlador de rastreamento da mão 130.
[00136] O uso de um cabo para transmitir a posição percebida e dados de orientação para o controlador de rastreamento da mão 130 é somente ilustrativo e não está destinado a ser limitante para este aspecto específico. Em vista desta revelação uma pessoa versada na área pode selecionar um mecanismo para transmitir a posição percebida e dados de orientação da pega mestra de rastreamento do dedo ou pegas mestras de rastreamento do dedo para o controlador de rastreamento da mão 130 (por exemplo, pelo uso de uma conexão sem fio).
[00137] O cabo 741, 742 não impede o movimento da pega de rastreamento do dedo mestre 270. Já que a pega de rastreamento do dedo mestre 270 é mecanicamente não embasada, cada pega de rastreamento do dedo mestre é efetivamente livre tanto para movimentos de posição como movimentos de orientação dentro do espaço de trabalho alcançável pelo cirurgião e do espaço de trabalho do transmissor de rastreamento da mão (por exemplo, esquerda - direita, acima - abaixo, dentro - fora, girar, inclinar, e guinar em um sistema de coordena-das cartesianas).
[00138] Em um aspecto, como descrito acima, cada sensor 211, 212 na pega de rastreamento do dedo mestre 270 percebe três graus de translação e três graus de rotação, quer dizer, seis graus de liberdade. Deste modo, os dados percebidos desde os dois sensores representam doze graus de liberdade. Em outro aspecto, cada sensor 211, 212 na pega de rastreamento do dedo mestre 270 percebe três graus de translação e dois graus de rotação (guinada e inclinação), quer dizer, cinco graus de liberdade. Deste modo, os dados percebidos desde os dois sensores representam dez graus de liberdade.
[00139] Usando uma posição de ponto de controle e orientação do ponto de controle baseada nas localizações rastreadas para controlar um instrumento cirúrgico escravo teleoperado exige seis graus de liberdade (três de translação e três de orientação), conforme descrito mais completamente abaixo. Assim, nos aspectos onde cada sensor tem cinco ou seis graus de liberdade, os sensores 211, 21 fornecem graus de liberdade redundantes. Conforme descrito acima e mais completamente abaixo, os graus de liberdade redundantes são mapeados para parâmetros usados para controlar aspectos de um instrumento cirúrgico escravo teleoperado diferentes de posição e orientação.
[00140] Ainda em um aspecto adicional, cada sensor 211, 212 percebe somente três graus de liberdade na translação e assim juntos representam seis graus de liberdade. Isto é suficiente para controlar três graus de translação, giro e fechamento de pega de um instrumento cirúrgico escravo que não inclui um mecanismo de munheca. A descrição a seguir é usada para gerar a localização do ponto de controle usando os seis graus de liberdade. A orientação do ponto de controle é tomada como a orientação do instrumento cirúrgico escravo. O pa-râmetro de fechamento da pega é determinado como descrito abaixo usando a localização do ponto de controle e a orientação do ponto de controle. O giro é determinado conforme descrito acima usando o movimento relativo do polegar e dedo índice.
[00141] Em qualquer dos aspectos onde os sensores percebem seis graus de liberdade, ou onde os sensores percebem cinco graus de liberdade, o sensor do dedo índice 212 gera um sinal representando uma posição do dedo indicador pmdicador e uma orientação do dedo indicador Rindicador na estrutura das coordenadas de rastreamento 750. O sensor do polegar 211 gera um sinal representando uma posição do polegar ppoiegar e uma orientação do polegar R-pOiegar na estrutura de coordenadas de rastreamento 750. Em um aspecto, as posições psndi- cador e ppoiegar são tomadas como alinhadas com o centro da unha do dedo do usuário no dedo indicador 292B e o centro da unha do usuário no polegar 292A, respectivamente.
[00142] Neste exemplo, as posições Pindicador e Ppoiegar estando cada uma representada por um vetor três por um na estrutura de coordenadas de rastreamento 750. As posições Pindicador e Ppoiegar estão em coordenadas de rastreamento.
[00143] As orientações Rindicador e R.poiegar na estão cada uma representadas uma matriz de três por três na estrutura de coordenadas de rastreamento 750, quer dizer,
Figure img0001
[00144] Uma posição de ponto de controle pcp é centralizada entre o dedo indicador 292B e o polegar 292A. A posição do ponto de controle pcp na estrutura de ponto de controle 790, mas, é especificada em coordenadas de rastreador. O eixo-Z da estrutura do ponto de con- trole 790 se estende através da posição do ponto de controle pcp na direção apontada, como descrito mais completamente abaixo.
[00145] Também, como explicado abaixo, o dedo indicador 292B e o polegar 292A estão mapeados para as mandíbulas de um instrumento cirúrgico escravo, porém, os dois dedos são mais destros do que as mandíbulas do instrumento. O eixo-Y da estrutura 790 do ponto de controle corresponde ao pino usado para fechamento da mandíbula do instrumento. Deste modo, o eixo-Y da estrutura do ponto de controle 790 é perpendicular para um vetor entre o dedo indicador 292B e polegar 292A, como descrito abaixo.
[00146] A posição do ponto de controle pcp está representada como um vetor três por um em coordenadas do rastreador da estrutura de coordenadas de rastreamento 750. A orientação do ponto de controle Rcp está representada como uma matriz de três por três em coordenadas do rastreador, que dizer,
Figure img0002
[00147] A figura 8 é um diagrama de fluxo de processo para mapeamento de uma localização de parte de uma mão para um parâmetro de fechamento de uma pega usado para controlar a pega de um instrumento cirúrgico escravo, por exemplo, um dos instrumentos cirúrgicos escravos teleoperados na figura 1. Este mapeamento também mapeia uma mudança temporal na localização de um parâmetro de fechamento de uma nova pega e uma correspondente localização de uma ponta de um instrumento escravo e a velocidade no movimento para essa localização.
[00148] Inicialmente, a partir da entrada para processar 800, RECEBE DADOS DE LOCALIZAÇÃO DA MÃO, o processo 810 recebe a posição do dedo indicador e orientação (pindicador, R-indicador) e posição do polegar e orientação (ppoiegar, R-poiegar) o qual neste exemplo estão armazenadas como dados 811. A posição do dedo indicador e orientação (Pindicador, , R-indicador) θ pOSÍÇãO dO polegar e Orientação (ppoiegar, R- Poiegar) estão baseadas em dados do sistema de rastreamento. O processo 810 transfere para o processo 820
DADOS DE LOCALIZAÇÃO NO MAPA PARA PONTO DE CONTROLE E PARÂMETRO DA PEGA.
[00149] O processo 820 DADOS DE LOCALIZAÇÃO NO MAPA PARA PONTO DE CONTROLE E PARÂMETRO DA PEGA gera uma posição de ponto de controle pcp, uma orientação de ponto de controle RcP, e um parâmetro de fechamento da pega usando gpega usando a posição do dedo indicador e orientação (pindicador, R-indicador) e posição do polegar e orientação (ppoiegar, R-Poiegar). Posição do ponto de controle pcp, orientação do ponto de controle RcP, e parâmetro de fechamento de pega gpega são armazenados como dados 821.
[00150] Em um aspecto, o mapeamento do ponto de controle realizado no processo 820 está definido para emular as propriedades chave da colocação dos pontos de controle dos manipuladores de ferramenta mestra conhecidos. Deste modo, a resposta ao movimento do polegar e dedo indicador será familiar e intuitiva para usuários do sistema cirúrgico minimamente invasivo teleoperado conhecido com um console de cirurgião similar ao console de cirurgião 180B (figura 6A).
[00151] A figura 9 é um diagrama de fluxo de processo mais detalhado para um aspecto do processo 820 de DADOS DE LOCALIZAÇÃO NO MAPA PARA PONTO DE CONTROLE E PARÂMETRO DA PEGA. Primeiro, no processo 820, MAPA DE DADOS POSIÇÃO DA MÃO PARA O PONTO DE CONTROLE, o processo 910 gera uma localização da posição do ponto de controle pcp a partir da posição do dedo indicador pindicador, e posição do polegar pPoiegar, isto é, pcp = 0,5 (pPolegar + Pindicador)
[00152] A posição do ponto de controle pcp é a média da posição do dedo pindicador e posição do polegar ppoiegar o processo 910 MAPA DE DADOS POSIÇÃO DA MÃO PARA O PONTO DE CONTROLE transfere o processamento para processo 920 GERAR ORIENTAÇÃO DO PONTO DE CONTROLE.
[00153] Como indicado acima, o eixo-Z da orientação do ponto de controle está alinhado na direção da indicação. Neste aspecto do processo 920 GERAR ORIENTAÇÃO DO PONTO DE CONTROLE, a fórmula de Rodriguez eixo/ângulo é usada para definir a direção de indicação do vetor do eixo-Z zmeio para a orientação do ponto de controle como meia rotação entre o vetor de indicação de direção do dedo indicador Zindicador e o vetor de indicação de direção do dedo polegar zPolegar. A partir da orientação do polegar R.poiegar, o vetor de indicação de direção do dedo polegar zpoiegaré: ZPolegar = [R-Polegar13 R-Polegar23 R-Polegar33]
[00154] Similarmente, da orientação do dedo indicador R-indicador, direção de indicação do vetor do dedo indicador indicador é: Zindicador = [R-indicador13 R-indicador 23 R- indicador 33]
[00155] O vetor ω é um vetor perpendicular ao vetor de indicação de direção do dedo indicador Zmdicador e vetor de indicação de direção do polegar zpoiegar. O vetor ω é definido como produto dos seguintes A vetores: vetor de indicação de direção do dedo indicador indicador e vetor de indicação de direção do polegar zpoiegar, quer dizer,w= indicador X Polegar
[00156] O ângulo 0 é a magnitude do ângulo entre o vetor de indicação de direção do dedo indicador Zindicador e o vetor de indicação de direção do polegar 2poiegar. O ângulo θ é definido como,
Figure img0003
[00157] Com eixo ω e ângulo 0, o vetor de indicação de direção do eixo- Zmeio é: A A Zmeio R{ω,θ/2}* Zindicador
[00158] Deste modo, o processo 910 tem gerado posição do ponto de controle pcp e a parte inicial do processo 920 tem gerado a direção de indicação aproximada do eixo-Z na estrutura de ponto de controle 790. Pode-se proceder a interpolar os vetores de orientação do dedo indicador e polegar para gerar eixos de vetor de unidades de ponto de controle Xcp e Ycp de uma maneira similar e então reortogonaliza-los para produzir uma matriz de orientação de ponto de controle.
[00159] Contudo, maior destreza operacional pode ser alcançada a partir das localizações rastreadas dos dedos pelo uso do seguinte mapeamento. Este mapeamento usa as posições relativas do dedo indicador e polegar para girar e guinar efetivamente o ponto de controle como se manipulasse um pequeno cardã entre os dedos. O processo remanescente 920 é realizado como segue para gerar um conjunto completo de eixos de vetores de unidades de ponto de controle orto-normais Xcp cp, e ZCP.
Figure img0004
Figure img0005
[00160] Com estes vetores, a orientação do ponto de controle Rep é:
Figure img0006
[00161] Agora com os processos 910 e 920, o processo 820 tern mapeado as posições do dedo indicador e polegar e orientações (pindicador, Rindicador) (Ppolegar, Rpolegar) p3T3 pOSÍÇãO dθ pOntO de COntrOlβ β orientação Rq>). O processo 820 deve gerar ainda o parâmetro de fechamento da pega gpega. Assim, o processo 920 GERAR ORIENTAÇÃO DE PONTO DE CONTROLE transfere o processamento para o processo 930 GERAR PARÂMETRO DE FECHAMENTO DE PEGA.
[00162] No processo 930, o fechamento da pega é determinado pelas distâncias da posição do dedo indicador pindicador e posição do polegar ppoiegar desde o eixo da linha do centro definida pela posição do A ponto de controle e direção do eixo-Z cp. Isto permite o fechamento ser invariável ao deslizamento quando o polegar e o indicador estão se tocando.
[00163] Assim, a posição do dedo indicador pindicador e posição do polegar ppoiegar são mapeadas encima do eixo-Z na estrutura 790. Posição pindicador-proj é a projeção da posição do dedo indicador pindicador sobre o eixo-Z da estrutura 790, e posição ppoiegar_-proj é a projeção da posição do polegar ppoiegar sobre o eixo-Z da estrutura 790.
Figure img0007
[00164] A pOSiçãO Pindicador proj θ 3 pOSÍÇãO Ppolegar_proj SãO USadaS para avaliar um exame de distância de fechamento da pega ^val, quer dizer,
Figure img0008
[00165] Neste documento, as linhas paralelas duplas são a representação conhecida das duas normas euclidianas. Avaliação da distância de fechamento da pega dvai está limitada por um limiar de distância máxima dmax e um limiar de distância mínima dmjn. Como ilustrado na figura 7, um conector acolchoado de espuma 210 entre os sensores 211, 212 compele os dedos a estar dentro de uma separação fixa, quer dizer, entre um limiar de distância máxima dmax e um limiar de distância mínima dmin. Adicionalmente, uma distância neutral do corresponde à distância de separação quando os dois dedos estiverem apenas se tocando.
[00166] Para um conjunto particular de sensores e um conector, um limiar de distância máxima dmax, um limiar de distância mínima dmin, e a distância neutra do são determinadas empiricamente. Em um aspecto três combinações diferentes de sensores e um conector são fornecidos para mãos pequenas, médias e grandes. Cada combinação tem seu próprio limiar de distância máxima dmax, limiar de distância mínima dmin, e distância neutra do como o comprimento do conector 210 é diferente em cada uma das combinações.
[00167] O processo 930 compara a distância dvai a um limiar de distância mínima dmin. Se a comparação achar que a distância dvai é me- nor do que o limiar de distância mínima dmin, a distância de fechamento da pega d é ajustada para uma distância limiar mínima dmin. De outra forma, o processo 930 compara a distância dvai a um limiar de distância máxima dmax. Se a comparação achar que a distância dvai é maior do que o limiar de distância máxima dmax, a distância de fechamento da pega d é ajustada para uma distância limiar máxima dmax. De outra forma, a distância de fechamento d da pega é ajustada para a distância dvai.
[00168] O teste realizado na distância dvai para determinar a distância d de fechamento é resumido conforme:
Figure img0009
[00169] A seguir no processo 930, o parâmetro de fechamento da pega gpega é gerado:
Figure img0010
[00170] Deste modo, uma distância de fechamento d entre um limiar de distância máxima dmax e a distância do é mapeado para um valor entre zero e um. Uma distância de fechamento de pega d entre um limiar de distância mínima dmin e a distância do é mapeado para um valor entre menos um e zero.
[00171] Um valor de um para o parâmetro de fechamento da pega gpegaé obtido quando o dedo indicador 292B e polegar 292A estão se- parados na extensão máxima permitida pelo conector 210 (figura 2A). Um valor de zero para parâmetro de fechamento de pega gpega é obtido quando a ponta do dedo indicador 292B e a ponta do polegar 292A estão apenas se tocando (figura 2C). Valores em uma faixa entre zero e um controlam a abertura/fechamento das mandíbulas do manipulador do extremo para um instrumento cirúrgico escravo. Um valor de menos um para o parâmetro de fechamento da pega gpega é obtido quando o dedo indicador 292B e o polegar 292 A estão se tocando e o conector 210 está totalmente comprimido entre o dedo índice 282B e o polegar 292A (figura 2D). Valores em uma faixa entre zero e um controlam a força da mandíbula das mandíbulas fechadas do manipulador do extremo. O conector 210 fornece um sinal táctil passivo para o fechamento da pega.
[00172] Este exemplo de mapeamento da distância d de fechamento da pega para um valor em uma de duas faixas é apenas ilustrativo e não se destina a ser limitante. O exemplo é ilustrativo do mapeamento da distância d de fechamento da pega para um valor em uma primeira faixa de parâmetro de fechamento de pega gpega para controlar a abertura/fechamento das mandíbulas de um manipulador do extremo de um instrumento cirúrgico escravo quando a distância d de fechamento da pega for maior do que a distância do neutra. Aqui "abertura/fechamento" significa a abertura e fechamento das mandíbulas. A distância d de fechamento da pega é mapeada para um valor em uma segunda faixa do parâmetro de fechamento da pega gpega para controlar a força da mandíbula das mandíbulas fechadas do manipulador do extremo quando a distância d de fechamento da pega for menor do que a distância neutra do.
[00173] Assim, o processo 820 tem mapeado a posição do dedo indicador e orientação (pindicador R-indicador) e posição do polegar e orientação (ppoiegar), para posição do ponto de controle e orientação (pcp, Rcp) eparâmetro de fechamento da pega gpega que é armazenado como dado 821. O processo 820 transfere para o processo 830 MAPEAR PARA COORDENADAS DO MUNDO (figura 8).
[00174] Processo 830 MAPEAR PARA COORDENADAS DO MUNDO recebe dados 821, e mapeia dados para um sistema de coordenadas do mundo. (Vide sistema de coordenadas do mundo 670 (figura 6A)). Especificamente, posição do ponto de controle e orientação (Pcp,. Rcp) e parâmetro de fechamento da pega gpega mapeado para a posição e orientação do ponto de controle nas coordenadas do mundo (pcP_wc Rcp_wc) usando uma transformação homogênea de quatro por quatro wc Ttcque mapeia coordenadas no sistema de coordenadas do rastreador 750 (figura 7B) para coordenadas no sistema de coordenadas do mundo 670, por exemplo,
Figure img0011
onde: Wc Rtc Mapeia uma orientação em coordenadas do rastreador tc para uma orientação em coordenadas do mundo wc, e wcRtc Traduz uma posição em coordenadas do rastreador tc para uma posição em coordenadas do mundo wc.
[00175] O parâmetro de fechamento gpega não é mudado por este mapeamento. Os dados em coordenadas do mundo wc são armazenados como dados 831. O processo 830 transfere para o processo 840 MAPA PARA COORDENADAS OCULARES.
[00176] O processo 840 MAPA PARA COORDENADAS OCULARES recebe os dados 831 em coordenadas do mundo wc e mapeia os dados 831 para um sistema de coordenadas oculares (Vide sistema de coordenadas oculares 660 (figura 6A)). Especificamente, posição e orientação do ponto de controle me coordenadas do mundo (pcP wc, Rcp wc) e parâmetro de fechamento de gpegasão mapeado para posição e orientação do ponto de controle em coordenadas oculares (pcP ec, RcP ec) usando uma transformação homogênea de quatro por quatro ecTwc que mapeia coordenadas no sistema de coordenadas do mundo 670 (figura 6A) para coordenadas no sistema de coordenadas oculares 660, por exemplo.
Figure img0012
onde: ec R wc Mapeia uma orientação em coordenadas do mundo WC para uma orientação em coordenadas oculares EC, e ectwc E uma translação de uma posição em coordenadas do mundo WC para uma posição em coordenadas oculares EC.
[00177] Novamente, o parâmetro de fechamento da pega gpega não é mudado pelo mapeamento. Os dados em coordenadas oculares são armazenados como dados 841. O processo 840 transfere para o processo 850 GERAR VELOCIDADES.
[00178] No processo 800, processos de mapeamento 830 e 840 são descritos como dois processos diferentes somente para facilitar a ilustração. Em um aspecto, os processos de mapeamento 830 e 840 são combinados de forma que os dados do ponto de controle em coordenadas de rastreador tC são mapeados diretamente para dados em co- ordenadas oculares ec usando uma transformação homogênea quatro por quatro ec T tc que mapeia coordenadas em um sistema de coordenadas do rastreador 650 (figura 6A) para coordenadas no sistema de coordenadas oculares 660, por exemplo,
Figure img0013
[00179] Neste aspecto, a posição do ponto de controle em coordenadas oculares pcp é:
Figure img0014
e a orientação do ponto de controle em coordenadas oculares Rcp é:
Figure img0015
[00180] Em alguns aspectos, o mapeamento de coordenadas do mundo pode ser eliminado. Neste caso, os dados do ponto de controle são mapeados diretamente a partir do sistema de coordenadas de rastreamento para dentro do sistema de coordenadas oculares sem utilização de um sistema de coordenadas do mundo.
[00181] Para teleoperação, posição, orientação, e velocidade são necessárias. Deste modo, o processo 850 GERAR VELOCIDADES gera as velocidades necessárias. As velocidades podem ser geradas de várias maneiras. Algumas implementações tais como sensores inerciais e de giroscópio, podem medir diretamente sinais diferenciais para produzir uma velocidade linear e uma velocidade angular do ponto de controle. Se as velocidades não puderem ser medidas diretamente, o processo 850 estima as velocidades a partir da localização.
[00182] As velocidades podem ser estimadas usando diferenças finitas no sistema de coordenadas oculares sobre o intervalo de amostragem. Por exemplo, a velocidade linear Vcp_ec é estimada como:
Figure img0016
a velocidade angular ωcpec é estimada como:
Figure img0017
[00183] Em outro aspecto do processo 850 de GERAR VELOCIDADES, a velocidade linear do ponto de controle VcP_tc e velocidade angular do ponto de controle ωcp_tc são percebidos nas coordenadas do rastreador do sistema de coordenadas do rastreador 750 (figura 7). Neste aspecto, a velocidade linear VcP_tc do ponto de controle percebida diretamente e velocidade angular ωcp_tc do ponto de controle percebida diretamente são ratadas de do sistema de coordenadas do rastreador 750 para o sistema de coordenadas oculares 660 usando uma ecRtc.
[00184] Especificamente, usando os mapeamentos de rotação como definidos acima,
Figure img0018
[00185] O processo 850 GERAR VELOCIDADES transfere para o processo 860 ENVIAR COMANDO DE CONTROLE.O processo 860 envia um comando apropriado de controle do sistema ao instrumento cirúrgico escravo baseado na posição, orientação, velocidades e parâmetro de fechamento da pega armazenado como dado 851.
[00186] Em um aspecto, os processos 810 e 850 são realizados pelo controlador de rastreamento da mão 130 (figura 1). O controlador 130 executa o módulo de rastreamento do dedo 135 em um processador 131 para realizar os processos 810 a 850. Neste aspecto, o módulo de rastreamento do dedo 135 é armazenado na memória 132. O processo 850 envia um evento de sistema ao controlador do sistema 140 que por sua vez realiza o processo 860.
[00187] É para ser apreciado que o controlador de rastreamento da mão 130 e o controlador do sistema 140 podem ser implementados na prática por uma combinação de hardware, software que sejam executados em um processador, e programa impresso inalterável. Também, funções destes controladores, como descritos neste documento, podem ser realizadas por uma unidade, ou divididas entre diferentes componentes, cada uma das quais pode ser implementada por sua vez por qualquer combinação de hardware, software que for executada em um processador, e programa impresso inalterável. Quando divididas entre diferentes componentes, os componentes podem ser centralizados em um local ou distribuídos através do sistema 100 para propósitos de processamento distribuído.
[00188] Processo de Posição do Gesto da Mão e Controle de Trajetória do Gesto.
[00189] A figura 10 é um diagrama de processo de um aspecto de um processo 1000 da posição do gesto da mão e controle da trajetória do gesto da mão do sistema 100. Em um aspecto como descrito acima, um processo de reconhecimento de posição do gesto da mão 1050 usa um classificador bayesiano multidimensional e um processo de reconhecimento de trajetória do gesto da mão 1060 usa um Modelo A Oculto de Markov discreto.
[00190] Como descrito acima, as figuras 3A a 3D são exemplos de posições do gesto da mão. Para treinar o processo 1050 de reconhecimento da posição do gesto da mão, uma série de posições de gesto estão especificadas. O número de posições do gesto da mão utilizado é limitado pela capacidade de definir posições únicas que possam inequivocamente ser identificadas pelo processo de reconhecimento 1050, e pela capacidade do cirurgião de lembrar e reproduzir confia- velmente cada uma das diferentes posições do gesto da mão.
[00191] Além de definir as posições do gesto da mão, um conjunto de atributos incluindo um grande número de recursos fi,onde i varia de 1 a n, é definido. O número n é o número de recursos usados. O número de um tipo de atributos é selecionado de forma que cada uma das posições neste conjunto de posições permissíveis pode ser identificada com precisão. Em um aspecto, o número n é seis.
[00192] O seguinte é um exemplo de um conjunto de atributos com n recursos.
Figure img0019
[00193] O recurso fi é o produto interno de dois vetores de indica- A ção de direção do dedo indicador Zindicador 292B e o vetor de indicação de direção do polegar zPoiegar.292A. O recurso f2 é o produto interno da indicação de direção do dedo indicador 292B Zindicador e indicação de direção do dedo polegar 292A zpoiegar. O recurso Í3 é a distância do dedo polegar zpoiegar 292A projetada na indicação de direção do dedo indicador zindicador.292B. O recurso f4 é a distância do dedo polegar zpo- legar 292A do eixo ao longo na indicação de direção do dedo indicador Zindicador.292B. O recurso f5 e a componente Z da indicação de direção A do polegar 292A zpoiegar O recurso fn é o produto interno do vetor normal do dedo polegar xpoiegar 292A e indicação de direção do dedo indicador Zindicador-292B.
[00194] Antes de usar o método 1000, é necessário desenvolver uma base de dados de treinamento de posições de gesto da mão. Uma série de usuários diferentes produz cada posição do gesto da mão pelo menos uma vez, e os dados da posição e orientação de cada posição do gesto da mão para cada usuário são medidos usando o sistema de rastreamento. Por exemplo, cada pessoa em um grupo de pessoas faz cada uma das posições do gesto da mão permitidas. Posições e orientações do dedo indicador e polegar (pindicador, Rindicador), (Ppoiegar, Rpoiegar) são salvos para cada uma das posições do gesto da mão para cada pessoa no grupo na base de dados de treinamento.
[00195] Usando a base de dados de treinamento, um conjunto de atributos {fi} é gerado para cada posição do gesto da mão para cada usuário. O conjunto de vetores de recursos de treinamento para cada f posição do gesto da mão é usado então para computar, uma media Mi y e uma covariância M1-.
[00196] Assim, a base de dados de treinamento é usada para obter uma média de vetor de recurso e covariância para cada gesto de treinamento. Além disso, para cada posição do gesto da mão, uma dis- tância Mahalanobis ^^(Vide discussão abaixo) é gerada para cada treinador e a distância Mahalanobis máxima para cada posição do gesto da mão é salva como um limiar para essa posição do gesto da mão.
[00197] Podemos usar também a medida de distância Mahalanobis para verificar que todos os gestos treinados sejam suficientemente diferentes e inequívocos para o conjunto dado de atributos usados. Isto pode ser conseguido testando a distância Mahalanobis da média de um vetor de recurso de um gesto dado tea média do vetor do recurso de todas as outras posições de gesto permissíveis. Esta distância de teste deve ser muito maior do que o limiar da distância máxima de treinamento usada para esse gesto dado.
[00198] Como já conhecido para aqueles versados na área, uma especificação de um Modelo Oculto de Markov exige a especificação de sois parâmetros do modelo N, M e três medidas de probabilidades A, B, ir. O Modelo A Oculto de Markov está representado como: A = (A, B, π)
[00199] O parâmetro do modelo N é um número de estados no modelo, e o parâmetro do modelo M é o número de símbolos de observação por estado. As três medidas de probabilidades são distribuições de probabilidade de estado de transição A, distribuição de probabilidade de observação do gesto B, e distribuição do estado inicial π.
[00200] Em um aspecto para um Modelo Oculto de Markov, a distribuição de probabilidade de transição A é uma matriz N x N. Distribuição de probabilidade de observação do gesto B é uma matriz N x M, a distribuição do estado inicial π é uma matriz N x 1.
[00201] Dada uma sequência de observação O e um Modelo AOculto de Markov, a probabilidade da sequência de observação O dado o Modelo A Oculto de Markov, isto é, P(OI \ é avaliado no pro- cesso 1000, conforme descrito mais completamente abaixo.
[00202] Para gerar as distribuições de probabilidades para o Modelo A’ Oculto de Markov, é necessária uma base de dados de treinamento. Antes de obter a base de dados de treinamento, um conjunto de trajetórias de gestos da mão é especificado.
[00203] Uma série de objetos de teste J é selecionada para fazer cada uma das trajetórias do gesto da mão. Enquanto na figura 4C, as dezesseis trajetórias do gesto da mão são apresentadas em uma forma projetada em duas dimensões, os objetos do teste não são compelidos quando se realizam as diversas trajetórias do gesto da mão, as quais permitem que apareçam algumas variações tridimensionais Em um aspecto, cada objeto realizou cada trajetória do gesto da mão k vezes, isto produz j*k sequências de treinamento por trajetória do gesto da mão.
[00204] Em um aspecto, um Modelo Oculto de Markov discreto esquerda-direita, foi usado. O Modelo Oculto de Markov foi escolhido de forma que a probabilidade P(O| ) maximizada localmente usando um método iterativo Baum-Welch. Vide, por exemplo, Lawrence R. Rabiner, "Um Tutorial sobre Modelos Ocultos de Markov e Aplicações Selecionadas em Reconhecimento da Fala" Procedimentos da IEEE, Vol. 77, No. 2, pp. 257-286 (Fev. 1989), o qual está incorporado neste documento por referência como uma demonstração de conhecimento de Modelos Ocultos de Markov daqueles versados nos modelos. Em um aspecto, o método iterativo foi parado quando o modelo convergiu dentro de 0,1 por cento para três iterações sucessivas.
[00205] A probabilidade do estado inicial π foi colocada de forma que o modelo sempre comece com estado um. Matriz A de probabilidade de transição foi iniciada com entradas aleatórias, as quais foram classificadas em ordem descendente em uma base de fila por fila. Para obrigar a estrutura esquerda para direita, todas as entradas na dia- gonal-inferior da matriz A de probabilidades de transição foram colocadas para zero. Além disso, as transições maiores do que dois estados foram proibidas ao colocar entradas para zero onde (i - j) > 2 para todas as colunas i e colunas j. A matriz A de transição de probabilidades foi normalizada no fim em uma base de fila por fila.
[00206] A inicialização para a matriz B de probabilidade de observação particionou a sequência de observação uniformemente baseada no número de estados desejado. Então, cada estado pode observar inicialmente um ou mais símbolos com uma probabilidade baseada em uma conta de freqüência local. Esta matriz foi também normalizada em uma base de fila por fila. Vide, por exemplo, N. Liu, R.I.A. Davis, B.C. Lovell, P.J. Kootsookos, "Efeito de Escolhas HMM Iniciais em Treinamento de Sequência Múltipla para Reconhecimento de Gesto" - Conferência Internacional sobre Tecnologia de Informação, 5-7, Las Vegas, págs. 608-613 (Abril de 2004), o qual está incorporado neste documento por referência como uma demonstração de procedimentos de inicialização para Modelos Ocultos de Markov conhecidos por aqueles versados na área. Um Modelo Oculto de Markov foi desenvolvido para cada uma das trajetórias de gesto da mão.
[00207] Retornando ao método 1000, MODO GESTO HABILITADO checar processo 1001 determina se o cirurgião habilitou o modo de reconhecimento de gestos de operação do sistema 100. Em um aspecto, para habilitar o modo de reconhecimento de gesto, o cirurgião pressiona um pedal no console do cirurgião 185 (figura 1 A). Se o modo de reconhecimento de gesto for habilitado, checar o processo 1001 transfere para o processo 1010 RECEBER DADOS DE LOCALIZAÇÃO DA MÃO, e de outra forma retornar através de RETORNAR 1002.
[00208] Processo 1010 RECEBER DADOS DE LOCALIZAÇÃO DA MÃO recebe posição e orientação do dedo indicador (Pindicador, R- indicador) β pOSÍÇãO dO polegar e orientação (Ppolegar, R-polegar) para 0 gesto sendo feito pelo cirurgião. Como observado acima, posição do dedo indicador e orientação (pindicador R-indicador) e posição do polegar e orientação (ppoiegar, R-Poiegar) estão baseadas em dados do sistema de rastreamento. O processo 1010 transfere para o PROCESSO 1011 GERAR ATRIBUTOS.
[00209] No processo 1011 GERAR ATRIBUTOS, a posição do dedo indicador e orientação (pindicador R-indicador) e posição do polegar e orientação (pPoiegar, Rpoiegar) são usados para gerar cada um dos recursos fi a fn_o em um vetor de recurso observado fi o. Processo 1011 GERAR ATRIBUTOS transfere para o processo1012 COMPARAR ATRIBUTOS COM POSIÇÕES CONHECIDAS.
[00210] O processo 1012 COMPARAR ATRIBUTO COM POSIÇÕES CONHECIDAS compara o vetor fi_o de atributo observado com o conjunto de atributos treinado {fi} para cada posição. Este processo determina a probabilidade que o vetor do atributo observado esteja incluído dentro de um conjunto de atributos de um conjunto de dados de treinamento {fi} para uma posição do gesto da mão em particular, quer dizer, corresponde ao conjunto de dados de treinamento. Isto po- de ser expresso como ‘ ° onde o conjunto de atributos do conjunto de dados de treinamento {fi} é do objeto classe H. P(f- IΩ)
[00211] Neste exemplo, a probabilidade P(f- IΩ) é:
Figure img0020
[00212] onde N é a dimensionalidade do vetor do atributo, por exemplo, n no exemplo acima.
[00213] Uma estatística usada para caracterizar esta probabilidade é a distância Mahalanobis d(fs_o), a qual é definida como:
Figure img0021
onde
Figure img0022
A distância Mahalanobis é conhecida para aqueles versados na área. Vide, por exemplo, Moghadam, Baback e Pentland, Alex, "Aprendizagem Visual Probabilística para Representação de Objeto" Transações IEEE sobre Análise de Padrão e Inteligência de Artificial, Vol. 19, N° 7, págs. 696 a 710 (julho 1997), a qual é incorporada neste documento por referência.
[00214] Usando os vetores representativos e valores representativos A de covariância *jf1’ né usada em uma forma diagonalizada de forma que a distância d(fi_0) Mahalanobis é:
Figure img0023
Figure img0024
onde
Figure img0025
A forma em diagonal permite a distância Mahalanobis da d(fi_o) ser expressa em termos da soma:
Figure img0026
[00215] Neste exemplo, esta é a expressão que é avaliada para determinar a distância Mahalanobis d(fi o). Portanto, o processo 1011 gera uma distância Mahalanobis d(fj o). Quando da finalização, o processo 1012 transfere para o processo 1013 SELECIONAR POSIÇÃO.
[00216] No processo 1013 SELECIONAR POSIÇÃO, a posição do gesto da mão tendo a menor distância Mahalanobis d(fi <>) é selecionada se a distância Mahalanobis d(fi <>)é menor do que a máxima distância Mahalanobis na base de dados de treinamento para essa posição do gesto da mão. Se a distância Mahalanobis d(fi <>) for maior do que a distância Mahalanobis máxima na base de dados de treinamento para essa posição do gesto da mão, nenhuma posição do gesto da mão é selecionada. O processo 1012 SELECIONAR POSIÇÃO transfere para o processo 1014 FILTRO TEMPORÁRIO.
[00217] Processo 1014 FILTRO TEMPORÁRIO determina se o resultado do processo 1013 tem fornecido o mesmo resultado consecutivamente um número de vezes predeterminado. Se o processo 1013 tem fornecido o mesmo resultado para o número de vezes predeterminado, o processo 1014 FILTRO TEMPORÁRIO transfere o processo de verificação 1015 POSIÇÃO DO GESTO, de outra forma retorna. O número de vezes predeterminado é selecionado de tal forma que o processo 1014 FILTRO TEMPORÁRIO evita oscilações ou detecções transientes quando a comuta entre posições do gesto da mão.
[00218] Processo de verificação 1015 POSIÇÃO DO GESTO determina se a posição do gesto da mão selecionado é posição do gesto da mão usado em uma trajetória do gesto da mão. Se a posição selecionada do gesto da mão for a posição do gesto da mão usada em uma trajetória do gesto da mão, o processo de verificação 1015 POSIÇÃO DO GESTO transfere o processamento para o processo 1020 GERAR SEQUÊNCIA DE VELOCIDADE, e de outra forma transfere o processamento para o processo de verificação 1016 MUDANÇA DE POSIÇÃO.
[00219] O processo de verificação 1016 MUDANÇA DE POSIÇÃO determina se a posição do gesto da mão tem mudado desde a última passagem através do método 1000. Se a posição do gesto da mão selecionada for a mesma do resultado da posição do gesto filtrado temporário imediatamente anterior, o processo de verificação 1016 MUDANÇA DE POSIÇÃO retorna através de RETORNO 1003, e de outra forma o transfere para o processo 1030MAPA PARA EVENTO DO SISTEMA.
[00220] O processo 1030 MAPA PARA EVENTO DO SISTEMA mapeia a posição selecionada do gesto da mão para um evento do sistema, por exemplo, o evento do sistema designado para a pose do gesto da mão é procurado. Ao encontrar o evento do sistema, o processo 1030 MAPA PARA EVENTO DO SISTEMA transfere o processamento o processo 1031 INJETAR EVENTO DO SISTEMA.
[00221] Em um aspecto, o processo 1031 INJETAR EVENTO DO SISTEMA envia o evento do sistema para um manipulador no controlador do sistema 140 (figura 1). Em resposta ao evento do sistema, o controlador do sistema 140 envia um comando de sistema apropriado para os controladores e/ou outros aparelhos no sistema 100. Por exemplo, se a posição do gesto da mão é designada a um evento de ligar a interface do usuário, o controlador do sistema 140 envia um comando para exibir o controlador 150 para ligar a interface do usuário. O controlador da tela do monitor 150 executa a parte do módulo 155 da interface do usuário no processador 150 necessário para ligar a interface do usuário.
[00222] Quando a posição do gesto da mão for a posição do gesto da mão usada para fazer uma trajetória, o processamento no método 1000 transfere de processo de verificação 1015 POSIÇÃO DO GESTO para o processo 1020 GERAR SEQUÊNCIA DE VELOCIDADE. Em um aspecto, o atributo principal usado para reconhecimento de trajetória do gesto da mão é um vetor unitário de velocidade. O vetor unitário de velocidade é invariável para a posição de partida do gesto. Além disso, um vetor de velocidade normalizada responde por variações no tamanho ou velocidade do gesto. Assim, no processo 1020, as amostras do ponto de controle são convertidas em uma sequência normalizada de velocidade de ponto de controle, isto é, dentro de uma se-quência de vetores unitários de velocidade.
Figure img0027
[00223] Ao completar o processo 1020 GERAR SEQUÊNCIA DE VELOCIDADE, o processo 1020 transfere o processamento para o processo 1021 CONVERTER SEQUÊNCIA DE VELOCIDADE EM UMA SEQUENCIA DE SÍMBOLOS . Como observado acima o Modelo A Oculto de Markov discreto exige uma sequência de símbolos discretos como entrada. No processo 1021, os símbolos discretos são gerados a partir da sequência normalizada de velocidade do ponto de controle através da quantização do vetor.
[00224] Em um aspecto, a quantização do vetor foi realizada usando um agrupamento de média-K modificada com a condição que o processo pare quando as atribuições de agrupamento parem de mudar. Enquanto agrupamento de média-K for usado, o processo alavanca o fato que os atributos são vetores unitários. Neste caso, os vetores, os quais são similares na direção, são agrupados. Isto é feito usando o produto interno entre cada vetor unitário de atributo e os vetores do centro do agrupamento normalizado como a medida de semelhança.
[00225] O agrupamento é inicializado com atribuições aleatórias de vetores de trinta e dois agrupamentos e o processo global é repetido muitas vezes, onde o melhor resultado de agrupamento é selecionado baseado em um total máximo "dentro" de um indicador de custo de agrupamento. Observar que neste caso, o custo "dentro" do agrupamento está baseado em uma medida de similaridade. A cada um dos agrupamentos resultantes é atribuído um índice único, O qual serve como o símbolo para o Modelo Oculto de Markov. Um vetor de entrada é mapeado então para sua média de agrupamento mais próxima e o índice correspondente desse agrupamento é usado como o símbolo. Desta forma, uma sequência de vetores unitários de velocidade pode ser transferida para dentro de uma sequência de índices ou símbolos.
[00226] Em um aspecto, aos vetores agrupados foi atribuído um símbolo baseado em um livro de código de quantização de vetores de oito direções e bidimensional. Deste modo, o processo 1020 gera uma sequência de símbolos observados e transfere para o processo 1023 GERAR PROBABILIDADE DE GESTO.
[00227] Em um aspecto, para determinar qual o gesto que corresponde à sequência de símbolos observada, o processo 1023 GERAR PROBABILIDADE DO GESTO usa o algoritmo de recursão para frente com o Modelo Oculto de Markov para encontrar a probabilidade de que cada gesto coincida com a sequência de símbolos observada. O algoritmo de recursão para frente está descrito em Rainer, "Um tutorial sobre Modelos Ocultos de Markov e Aplicações Selecionadas em Reconhecimento da Fala" o qual foi previamente incorporado por referência neste documento. Quando da finalização do processo 1023 GERAR PROBABILIDADE DO GESTO, o processamento transfere para o processo 1024 SELECIONAR TRAJETÓRIA.
[00228] No processo 1024 SELECIONAR TRAJETÓRIA, a trajetória do gesto da mão com a mais alta probabilidade dentre os modelos permissíveis de trajetória de gesto do Modelo Oculto de Markov. Esta probabilidade também deve ser maior do que um dado limiar para ser aceita. Se a probabilidade mais alta não for maior do que o limiar, ne- nhuma trajetória do gesto da mão é selecionada. Este limiar deve ser sintonizado para maximizar a precisão de reconhecimento enquanto se evitam reconhecimentos falsos.
[00229] Quando da finalização, o processo 1024 SELECIONAR TRAJETÓRIA transfere o processamento para o processo de verificação 1025 TRAJETÓRIA ENCONTRADA. Se o processo 1024 SELECIONAR TRAJETÓRIA selecionou uma trajetória do gesto da mão, o processo de verificação 1025 TRAJETÓRIA ENCONTRADA transfere o processamento para o processo 1030 MAPA PARA EVENTO DO SISTEMA, e de outra forma retorna través de RETORNO 1004
[00230] O processo 1030 MAPA PARA EVENTO DO SISTEMA mapeia a trajetória do gesto da mão selecionada para um evento do sistema, por exemplo, o evento do sistema designado para a trajetória do gesto da mão é procurado. Ao encontrar o evento do sistema, o processo 1030 MAPA PARA EVENTO DO SISTEMA transfere o processamento o processo 1031 INJETAR EVENTO DO SISTEMA.
[00231] Em um aspecto, o processo 1031 INJETAR EVENTO DO SISTEMA envia o evento do sistema para um manipulador de evento no controlador do sistema 140 (figura 1). Em resposta ao evento do sistema, o controlador do sistema 140 envia um comando de sistema apropriado para o (s) controlador (es) ou aparelho (s) apropriado (s). Por exemplo, se o evento do sistema estiver atribuído a uma ação na interface do usuário, o controlador do sistema 140 envia um comando para o controlador 150 da tela do monitor para tomar uma ação na interface do usuário, por exemplo, mudar o modo de visão do local da cirurgia.
Processo de Detecção de Presença
[00232] Ainda em outro aspecto, como descrito acima, a posição rastreada de pelo menos uma parte da mão do cirurgião 180B é usada para determinar se a mão está presente em um manipulador-executor mestre do extremo 621. A figura 11 é um diagrama de fluxo de processo de um aspecto de um processo realizado 1100 de detecção de presença, em um aspecto, pelo controlador de rastreamento da mão 130 no sistema 100. O processo 1100 é realizado separadamente para cada uma das mãos do cirurgião em um aspecto.
[00233] No processo 1110 OBTER ÂNGULOS COMUNS, os ângulos comuns do manipulador de ferramenta mestra
[00234] 620 (figura 6B) são medidos. O processo 1110 OBTER ÂNGULOS COMUNS transfere o processamento para o processo 1111 GERAR CINEMÁTICA PARA FRENTE.
[00235] Visto que os comprimentos dos diversos elos no manipulador de ferramentas mestras 620 são conhecidos e a posição da base 629 do manipulador de ferramenta mestra 620 é conhecida, relações geométricas são usadas para gerar a localização da pega da ferramenta mestra 621 no sistema mestre de coordenadas do espaço de trabalho 680. Assim, o processo 1111GERAR CINEMÁTICA PARA FRENTE gera a posição pmtm da pega de ferramenta mestra 621 no sistema mestre de coordenadas 680 do espaço de trabalho usando os ângulos do processo 1110. O processo 1111GERAR CINEMÁTICA PARA FRENTE transfere o processamento para o processo 1112 MAPA PARA COORDENADAS DO MUNDO.
[00236] O processo 1112 MAPA PARA COORDENADAS DO MUNDO posicionai pmtm no Sistema mestre de coordenadas do espaço de trabalho 680 para uma posição pmtm_wc no sistema de coordenadas do mundo (figura 6A). Especificamente,
Figure img0028
onde wcTws é uma transformação rígida homogênea quatro por quatro, a qual mapeia coordenadas no sistema de coordenadas 680 do espaço de trabalho para coordenadas no sistema de coordenadas do mundo 670.
[00237] Quando da finalização, o processo 1112 MAPA PARA AS COORDENADAS DO MUNDO transfere o processamento para o processo 1130 GERAR SEPARAÇÃO DA MÃO DO MANIPULADOR DO EXTREMO.
[00238] Retorno ao processo 1120 RECEBER DADOS DE LOCALIZAÇÃO DA MÃO o processo 1120 RECEBER DADOS DE LOCALIZAÇÃO DA MÃO recebe (recupera) a posição do dedo indicador e orientação (Pindicador , R-indicador) β pOSÍÇãO dO polegar e Orientação (Ppole- gar, R-polegar) θ pOSÍÇÕeS θ ONentaÇÕeS do dedo indicador (pindicador, R- indicador) e posição do polegar e orientação (ppoiegar, R-poiegar) estão baseadas em dados do sistema de rastreamento. O processo 1120 RECEBER DADOS DE LOCALIZAÇÃO DA MÃO transfere o processamento para o processo 1121 GERAR POSIÇÃO DA MÃO.
[00239] O processo 1121 GERAR POSIÇÃO DA MÃO mapeia a posição do dedo indicador e orientação (pindicador R-indicador) e posição do polegar e orientação (ppoiegar, R-poiegar) para uma posição e orientação de ponto de controle no sistema de coordenadas de rastreamento como descrito acima e essa descrição é incorporada neste documento por referência. Posição Pmão é a posição do ponto de controle em coordenadas de rastreamento. O processo 1121 GERAR POSIÇÃO DA MÃO transfere o processamento para o processo 1122 MAPA PARA COORDENADAS DO MUNDO.
[00240] O uso da posição do ponto de controle na detecção de presença é somente ilustrativo é não se destina a ser limitante. Em vista desta revelação, a detecção de presença pode ser feita, por exemplo, usando a posição da ponta do dedo indicador e usando a posição da ponta do polegar, ou usando somente uma destas posições. Os processos descritos abaixo são equivalentes para cada uma destas diversas posições associadas com uma parte de uma mão humana.
[00241] O processo 1122 MAPA PARA COORDENADAS DO MUNDO posiciona pmão no sistema de coordenadas de rastreamento para uma posição Pmtm_wc no sistema de coordenadas do mundo 670 (figura 6A). Especificamente,
Figure img0029
onde é uma transformação rígida homogenea quatro por quatro, a qual mapeia coordenadas no sistema de coordenadas de rastreamento 650 para coordenadas no sistema 670 de coordenadas do mundo.
[00242] Quando da finalização, o processo 1122 MAPA PARA AS COORDENADAS DO MUNDO transfere o processamento para o processo 1130 GERAR SEPARAÇÃO DA MÃO DO MANIPULADOR DO EXTREMO.
[00243] O processo 1130 GERAR SEPARAÇÃO DA MÃO DO MA-NIPULADOR DO EXTREMO gera uma distância de separação dsep entre a posição Pmtm_wc no sistema de coordenadas do mundo 670 e posiciona Pmão_wc no sistema de coordenadas do mundo 670. Em um aspecto a distância de separação dsep é:
Figure img0030
[00244] Quando da finalização, o processo 1130 GERAR SEPARAÇÃO DA MÃO DO MANIPULADOR DO EXTREMO transfere o processamento para o processo 1131 DISTÂNCIA SEGURA.
[00245] O processo de verificação 1131 DISTÂNCIA SEGURA compara a distância de separação dsep a um limiar de distância segura. Este limiar deve ser o suficientemente pequeno para ser conservador enquanto ainda permite ao cirurgião mudar o alcance ou manipular o extremo mais distante do manipulador do extremo. Se a distância de separação dsep for menor do que o limiar da distância segura, o processo de verificação1131 DISTÂNCIA SEGURA transfere para o processo 1140 PRESENÇA DE MÃO LIGADA. De modo oposto, a distância de separação dsep for maior do que o limiar de distância segura, o processo de verificação 1131 transfere para o processo 1150 PRESENÇA DA MÃO DESLIGADA.
[00246] O processo 1140 PRESENÇA DA MÃO LIGADA determina se o sistema 100 está na teleoperação. Se o sistema 100 estiver na teleoperação, nenhuma ação é exigida e a teleoperação é permitida para continuar, e assim o processo 1140 transfere para iniciar o processo 1100 de novo. Se o sistema 100 não estiver em teleoperação, o processo 1140 PRESENÇA DE MÃO LIGADA envia um evento de mão presente para o PROCESSO DE INJETAR EVENTO DO SISTEMA que por sua vez envia o evento mão presente ao controlador do sistema 140.
[00247] O processo 1150 PRESENÇA DA MÃO DESLIGADA determina se o sistema 100 está em teleoperação. Se o sistema 100 não estiver em teleoperação, nenhuma ação é exigida e assim o processo 1150 transfere para iniciar o processo 1100 de novo. Se o sistema 100 estiver em teleoperação, o processo 1150 PRESENÇA DE MÃO DESLIGADA envia um evento de mão não presente para o PROCESSO DE INJETAR EVENTO DO SISTEMA que por sua vez envia o evento mão presente ao controlador do sistema 140.
[00248] O controlador do sistema 140 determina se o evento mão presente ou o evento mão não presente exige qualquer mudança o modo de operação do sistema e emite um comando apropriado. Em um aspecto, o controlador do sistema 140 habilita a teleoperação em resposta a um evento mão presente, por exemplo, permite a teleoperação, e desabilita a teleoperação em resposta a um evento mão não presente se um instrumento cirúrgico minimamente invasivo teleope- rado estiver conectado à pega de ferramenta mestra. Como é conhecido por aqueles versados na área, um instrumento cirúrgico minimamente invasivo teleoperado é pode ser desconectado de uma pega de ferramenta mestra.
[00249] Em outros aspectos, o evento mão presente e o evento mão não presente são usados pelo controlador do sistema 140 em combinação com outros eventos para determinar se permite a teleoperação. Por exemplo, detecção de presença da cabeça do cirurgião pode ser combinada com a detecção de presença da mão do cirurgião ou mãos na determinação se permite a teleoperação.
[00250] Igualmente, como descrito acima, o evento da mão presente e o evento da mão não presente são usados pelo controlador do sistema 140 para controlar a tela do monitor de uma interface de usuário em uma tela do sistema cirúrgico minimamente invasivo. Quando o controlador do sistema 140 recebe o evento mão não presente, se a interface do usuário não estiver ligada, o controlador do sistema 140 envia um comando para o controlador 150 da tela do monitor para ligar a interface do usuário. O controlador da tela do monitor 150 executa a parte do módulo 155 da interface do usuário no processador 150 necessário para ligar a interface do usuário. Quando o controlador do sistema 140 recebe o evento mão presente, se a interface do usuário estiver ligada, o controlador do sistema 140 envia um comando para o controlador 150 da tela do monitor para desligar a interface do usuário. O controlador da tela do monitor 150 executa a parte do módulo 155 da interface do usuário necessário para desligar a interface do usuário.
[00251] O evento mão presente e o evento mão não presente podem ser usados pelo controlador do sistema 140 em combinação com outros eventos para determinar se exibe a interface do usuário. Assim, o controle da tela da interface do usuário e o controle de teleoperação são exemplos do controle do modo do sistema usando detecção de presença e não se destinam a serem limitadores para estes dois modos específicos de controle do sistema.
[00252] Por exemplo, a detecção de presença pode ser usada no controle de um visual substituto tal como aqueles descritos mais completamente abaixo. Também as combinações dos diversos modos, por exemplo, teleoperação e exibição visual substituta, podem ser controladas pelo controlador do sistema 140 baseado no evento mão presente e evento mão não presente.
[00253] Também, a detecção de presença de mão é útil na eliminação do propósito duplo das pegas de ferramenta mestra 621L, 621R, por exemplo, pressionar um pedal e depois usar as pegas de ferramenta mestra 621L, 621R, para controlar uma interface de usuário que é exibida no console do cirurgião 185B. Quando as pegas de ferramentas mestras são de propósito duplo, por exemplo, usada para controlar tanto um instrumento cirúrgico como uma interface de usuário, o cirurgião normalmente tem que pressionar um pedal para comutar para modo de operação interface do usuário. Se por alguma razão, o cirurgião falhar em pressionar o pedal, porém, acreditar que o sistema tem comutado para o modo de operação interface do usuário, o movimento da pega da ferramenta mestra pode resultar em um movimento indesejado do instrumento cirúrgico. O processo de detecção de presença 1100 é usado para evitar este problema e eliminar o duplo propósito das pegas da ferramenta mestra.
[00254] Com o processo 1100de detecção de presença, em um exemplo, quando o evento presença de mãos distante/fora for recebido pelo controlador 140, o controlador do sistema 140 envia um comando do sistema para bloquear os manipuladores de ferramenta mestra 620L, 620R (figura 6A) no lugar, e envia um comando do sistema para o controlador da tela do monitor 150 para apresentar a interface do usuário no monitor do console do cirurgião 185B. O movimento da mão do cirurgião é rastreado e é usado para controlar elementos na interface do usuário, por exemplo, mover uma chave deslizante, mudar a tela, etc.. Como observado acima o ponto de controle é mapeado dentro da estrutura de coordenadas oculares e assim pode ser associada com a localização de um elemento na interface do usuário. O mo-vimento dos pontos de controle é usado para manipular esse elemento. Isto é conseguido sem o cirurgião ter que ativar um pedal e é feito de forma que o cirurgião não possa de forma não intencional mover um instrumento cirúrgico. Assim, isto elimina os problemas associados usando as pegas de ferramenta mestra para controlar tanto o instrumento cirúrgico e a interface do usuário.
[00255] No exemplo acima, a estrutura de coordenadas do mundo é um exemplo de uma estrutura de coordenadas comuns. O uso da estrutura de coordenadas do mundo como a estrutura de coordenadas comum é somente ilustrativo é não se destina a ser limitante.
Pega de Rastreamento do Dedo Mestre
[00256] A figura 12 é uma ilustração de um exemplo de uma pega mestra de rastreamento de dedo 1270.A pega mestra de rastreamento de dedo 1270 é um exemplo de pega mestra de rastreamento de dedo 170, 270.
[00257] A pega mestra de rastreamento de dedo 1270 inclui um corpo compressível 1210 e dois circuitos de dedo 1220, 1230. O corpo compressível 1210 tem um primeiro extremo 1213 e um segundo extremo 1214.
[00258] O corpo compressível 1210 tem uma superfície exterior externa. A superfície exterior externa inclui uma primeira porção 1216 e uma segunda porção 1217. A primeira porção 1216, por exemplo, uma parte superior, se estende entre o primeiro extremo 1213 e segundo extremo 1214. A segunda porção 1217, por exemplo, a parte do fundo, se estende entre o primeiro extremo 1213 e o segundo extremo 1214. A segunda porção 1217, por exemplo, a parte do fundo se estende entre o primeiro extremo 1213 e o segundo extremo 1214. A segunda porção 1217 é oposta e retirada da primeira porção 1216.
[00259] Em um aspecto, a superfície exterior externa é uma superfície de um revestimento de tecido. O tecido é adequado para uso em uma sala de operações. O revestimento de tecido envolve espuma compressível. A espuma é selecionada para fornecer resistência à compressão, e a expansão como a compressão é liberada. Em um aspecto, várias tiras de espuma foram incluídas dentro do revestimento de tecido. A espuma também deve ser capaz de ser dobrada de forma que a primeira porção 1216 é posicionada entre o primeiro e segundo dedo de uma mão humana conforme a ponta do primeiro dedo se move em direção à ponta do segundo dedo.
[00260] A seção do corpo 1215 tem um comprimento L entre o laço do dedo 1220 e o laço do dedo 1230.Conforme explicado acima, o comprimento L é selecionado para limitar a separação entre um primeiro dedo no circuito 1220 e um segundo dedo no circuito 1230 (Vide figura 2A).
[00261] Em um aspecto, a seção do corpo 1215 tem uma espessura T. Como ilustrado na figura 2C, a espessura T é selecionada de forma que quando a pega de rastreamento do dedo mestre 1270 estiver configurada de forma tal que a região 1236 na segunda porção 1217 da superfície exterior externa adjacente ao extremo 1214 e região 1236 na segunda porção 1217 adjacente ao extremo 1213 estiverem apenas tocando, a segunda porção 1217 junto à extensão L não está em contato completo com ela mesma.
[00262] O primeiro laço do dedo 1220 está afixado ao corpo compressível 1210 adjacente ao primeiro extremo 1213. O circuito 1220 se estende ao redor de uma região 1225 da primeira porção 1216 da superfície exterior externa de corpo compressível 1210. Quando da colo- cação do primeiro laço do dedo 1220 no primeiro dedo da mão humana, a região 1225 contata o primeiro dedo, por exemplo, uma primeira parte da primeira porção 1216 da superfície exterior externa contata o polegar.
[00263] Neste exemplo, o laço do dedo 1220 tem dois extremos, o primeiro extremo do tecido 1221A e um segundo extremo do tecido 1221B. O extremo 1221 A e o extremo 1221B são extremos de uma tira de tecido que é afixada no corpo 1210. Um pedaço de tecido de laço 1222B é atado a uma superfície interna do extremo 1221B, e um pedaço de tecido de gancho 1222A é anexado é atado a uma superfície externa do extremo 1221 A. Um exemplo de tecido de gancho e tecido de laço é uma fita de fixação de nylon consistindo de duas tiras de tecido de nylon, uma tendo fios diminutos atados e a outra uma superfície áspera. As duas tiras formam uma união forte quando prensadas juntas. Um exemplo de uma fita de fixação disponível comercialmente é a fita de fixação VELCRO®. (VELCRO® é uma marca registrada de Indústrias Velcro B.V.).
[00264] O segundo laço do dedo 1230 está afixado ao corpo compressível 1210 adjacente ao segundo extremo 1214. O circuito 1230 se estende ao redor de uma região 1235 da primeira porção 1216 da superfície exterior externa de corpo compressível 1210. Quando da colocação do segundo laço do dedo 1230 no segundo dedo da mão humana, a região 1235 contata o segundo dedo, por exemplo, uma segunda parte da primeira porção 1216 da superfície exterior externa contata o dedo indicador. Segunda parte 1235 da primeira parte é oposta e retirada da primeira parte 1225 da primeira parte.
[00265] Neste exemplo, o laço do dedo 1230 também tem dois extremos, um primeiro extremo de tecido 1231A e um segundo extremo de tecido 1231B. O extremo 1231 A e o extremo 1231B são extremos de uma tira de tecido que é afixada no corpo 1210. Um pedaço de te- eido de laço 1232B é atado a uma superfície interna do extremo 1231B, e um pedaço de tecido de gancho 1232A é anexado é atado a uma superfície externa do extremo 1231 A.
[00266] Um primeiro sensor de rastreamento de localização 1211 é fixado ao primeiro laço do dedo 1220. Um segundo sensor de rastreamento de localização 1212 é fixado ao segundo laço do dedo 1230. Os sensores de rastreamento de localização podem ser qualquer um dos elementos sensores descritos acima. Em um exemplo, os sensores de rastreamento localização 1211, 1212 são sensores eletromagnéticos passivos.
Sistema Visual Substituto
[00267] Em um aspecto, o sistema de controle de rastreamento da mão é usado para controlar qualquer um de um grande número de visuais substitutos pode ser usado por um cirurgião para fiscalizar outro cirurgião. Por exemplo, quando o cirurgião 180 (figura 1A) estiver sendo fiscalizado pelo cirurgião 181 usando a pega de rastreamento do dedo mestre 170, o cirurgião 181 usa a pega de rastreamento do dedo mestre 170 para controlar um visual substituto de um instrumento cirúrgico, enquanto o cirurgião 180 usa a pega da ferramenta mestra para controlar um instrumento cirúrgico escravo teleoperado.
[00268] Alternativamente, o cirurgião 181 pode desenhar a distância, ou pode controlar uma mão virtual na tela do monitor. Também, o cirurgião 181 pode demonstrar como manipular a pega da ferramenta mestra no console do cirurgião ao manipular uma imagem virtual de pega de ferramenta mestra 621 que é apresentada na tela. Estes exemplos de visuais substitutos são somente ilustrativos é não se destinam a serem limitantes.
[00269] Além disso, o uso da pega mestra de rastreamento de dedo 170 embora não no console de um cirurgião é ilustrativo também e não se pretende que seja limitador. Por exemplo, com o sistema de detec- ção de presença descrito acima, um cirurgião no console do cirurgião poderia mover uma mão desde uma pega de ferramenta mestra, e depois usar essa mão para fiscalizar outro cirurgião conforme a mão é rastreada pelo sistema de rastreamento da mão.
[00270] Para facilitar a fiscalização, um módulo de visual substituto (não mostrado) é processado como parte de um subsistema de processamento de visão em um aspecto. Neste aspecto, o modulo de execução recebe a posição e orientação do ponto de controle da mão do fiscalizador, produz imagens estereoscópicas, as quais são compostas com as imagens da câmera endoscópica em tempo real e exibidas em qualquer combinação do console de cirurgião 185, a tela do monitor assistente, e a exibição da interface do cirurgião 187 do lado do paciente.
[00271] Quando o cirurgião 181 inicia a fiscalização ao empreender uma ação predefinida, por exemplo, uma posição do gesto da mão, um circuito do sistema de visual substituto é ativado, por exemplo, o módulo do visual substituto é executado em um módulo processador. A ação específica, por exemplo, posição do gesto da mão, usado como a ação predefinida não é essencial na medida em que o controlador do sistema 140 (figura 1) está configurado para reconhecer essa ação.
[00272] Em um aspecto, o visual substituto é um instrumento fantasma virtual 1311 (figura 13) controlado por uma pega mestra de rastreamento de dedo 170, enquanto o instrumento cirúrgico escravo 1310 teleoperado é controlado por um dos manipuladores de ferramenta mestra do console do cirurgião 185. O cirurgião 181 vê ambos os instrumentos 1310 e 1311 na tela estereoscópica no console do cirurgião 185. O uso de instrumento fantasma virtual 1311 como visual substituto é somente ilustrativo e não se destina a ser limitado a esta imagem em particular. Em vista desta revelação, outras imagens podem ser usadas para o visual substituto, o qual facilita a diferenciação entre a imagem representando o visual substituto e a imagem do manipulador real do extremo do instrumento cirúrgico escravo teleopera-do.
[00273] O instrumento virtual fantasma 1311 aparece similar ao instrumento real 1310, exceto que o instrumento virtual fantasma 1311 é exibido de uma forma que distingue claramente o instrumento virtual fantasma 1311 do instrumento real (por exemplo, uma imagem transparente ou translúcida, uma imagem inconfundivelmente colorida, etc.). O controle e operação do instrumento virtual fantasma 1311 é o mesmo conforme descrito acima para um instrumento cirúrgico teleoperado real. Assim, o cirurgião 181 pode manipular o instrumento virtual fantasma 1311 usando a pega mestra de rastreamento de dedo 170 para demonstrar o uso correto do instrumento cirúrgico escravo teleoperado 1310. O cirurgião 180 pode imitar o movimento do instrumento virtual fantasma 1311 com o instrumento 1310.
[00274] Instrumentos virtuais fantasmas são descritos mais completamente na Publicação do Pedido de Patente dos Estados Unidos N° 2009/0192523 Al (apresentado em 31 de março de 2009, revelando "Representação Sintética de um Instrumento Cirúrgico"), a qual está incorporada integralmente neste documento por referência. Vide também, do Pedido de Patente dos Estados Unidos N° 12/485.503 (apresentado em 16 de junho de 2009, revelando "Ferramenta de Medição Virtual para Cirurgia Minimamente Invasiva") Pedido de Patente dos Estados Unidos N° 12/485.545 (apresentado em 16 de junho de 2009, revelando "Ferramenta de Medição Virtual para Cirurgia Minimamente Invasiva"); Publicação de Pedido de Patente dos Estados Unidos N° US 2009/0036902 Al (apresentado em 11 de agosto de 2008, revelando "Interfaces de Usuário Interativo para Sistemas Cirúrgicos Robóti- cos Minimamente Invasivos"), Publicação de Pedido de Patente dos Estados Unidos N° US 2007/0167702 Al (apresentado em 30 de de- zembro de 2005, revelando "Sistema Robótico Médico Fornecendo "telestration"(técnica de ilustração em cirurgia remota) em Três Dimensões"); Publicação de Pedido de Patente dos Estados Unidos N° US 2007/0156017 Al (apresentada em 30 de dezembro de 2005, revelando "Telestration Estereoscópica para Cirurgia Robótica") e Publicação de Pedido de Patente dos Estados Unidos N° US 2010/0164950 Al (apresentado em 13 de maio de 2009; revelando "Telestration Eficiente em 3-D para Fiscalização Robótica Local"), cada uma das quais está incorporada integralmente por referência neste documento.
[00275] Em outro aspecto, o visual substituto é um par de mãos virtuais 1410, 1411 (figura 14) controlado por uma pega mestra de rastreamento de dedo 170, e uma segunda pega mestra de rastreamento de dedo, a qual não é visível na figura 1. Instrumentos cirúrgicos escravos teleoperados 1420, 1421 são controlados pelos manipuladores de ferramenta mestra do console do cirurgião 185. O cirurgião 181 vê imagens de vídeo 1400 no dispositivo de apresentação visual 187, e o cirurgião 18a também vê a imagem de vídeo 1400 na tela estereoscópica no console do cirurgião 185. Mãos virtuais 1410, 1411 são mostradas de uma forma que elas se distinguem claramente de outros objetos na imagem de vídeo 1400.
[00276] A abertura e fechamento do polegar e do dedo indicador de uma mão virtual é controlada usando o parâmetro de fechamento da pega gpega o qual foi descrito acima. A posição e orientação da mão virtual é controlada pela posição e orientação do ponto de controle, como descrito acima, as quais estão mapeadas dentro do espaço de coordenadas oculares, também como descritas igualmente acima.
[00277] Assim, conforme o cirurgião 181 move a mão direita do cirurgião em três dimensões, a mão virtual 1411 segue o movimento na imagem de vídeo 1400. O cirurgião 181 pode girar a mão virtual 1411 para indicar ao cirurgião 180 para girar o instrumento cirúrgico escravo teleoperado 1421. O cirurgião 181 pode movera mão virtual 1410 para uma localização em particular e depois usar o movimento do polegar e dedo indicador para instruir o cirurgião 180 para mover o instrumento cirúrgico escravo teleoperado 1420 para essa localização e para capturar o tecido. Quando o cirurgião 180 captura o tecido com o instrumento 1420, o cirurgião 181 pode usara mão virtual 1410 para instruir o cirurgião 180 como mover o tecido. Isto ocorre em tempo real e mãos virtuais 1410, 1411 são sobrepostas sobre a imagem estereoscópica do endoscópio. Contudo, os visuais substitutos também podem ser usados em um sistema monoscópico.
[00278] Em outro aspecto, o cirurgião 181 muda o modo de exibição usando uma posição do gesto da mão de forma que os visuais substitutos sejam um instrumento virtual fantasma 1510 e um dispositivo virtual de "telestration" (técnica de ilustração em cirurgia remota) 1511, os quais são apresentados na imagem de vídeo 1500 (figura 15). O dispositivo de telestration 1511 é controlado pela pega mestra de rastreamento do dedo 170, enquanto uma segunda pega mestra de rastreamento do dedo, a qual não é visível na figura 1, controla o instrumento virtual fantasma 1511.
[00279] Os instrumentos cirúrgicos escravos teleoperados 1520, 1521 são controlados pelos manipuladores de ferramenta mestra do console do cirurgião 185. O cirurgião 181 vê a imagem de vídeo 1500 no dispositivo de apresentação visual 187, e o cirurgião 180 vê também a imagem de vídeo 1500 na tela estereoscópica no console do cirurgião 185. O dispositivo de "telestration" virtual 1511 e o instrumento virtual fantasma 1411 são exibidos de uma forma que os distingue claramente dos outros objetos na imagem de vídeo 1500.
[00280] Para sobreporem gráficos e indicações com um dispositivo virtual de "telestration" (técnica de ilustração em cirurgia remota) 1511, o cirurgião 181 coloca o polegar e dedo indicador juntos como se apa- nhassem uma caneta imaginária e depois move a mão direita com o polegar e dedo indicador nesta posição para sobrepor imagens na imagem de vídeo exibida. Na imagem de vídeo 1500, o cirurgião 181 tem posicionado assim o polegar e o dedo indicador e feito a marca 1512 para ilustrar onde o tecido deve ser cortado usando o instrumento cirúrgico 1521. Depois que a marca 1512 foi feita, o cirurgião 1810 separou o polegar e o dedo indicador e moveu o dispositivo virtual de "telestration"(técnica de ilustração em cirurgia remota) 1511 para a posição mostrada na imagem de vídeo 1500.
[00281] A capacidade de marcação do dispositivo virtual de "telestration" (técnica de ilustração em cirurgia remota) 1511 é controlada usando o parâmetro de fechamento gpega o qual foi descrito acima. Conforme observado acima, quando o polegar e o dedo indicador estiverem apenas se tocando, o parâmetro de fechamento da pega gpega é mapeado para um valor inicial em uma segunda faixa, e assim quando o parâmetro de fechamento gpega estiver na segunda faixa, a "telestration" (técnica de ilustração em cirurgia remota) é habilitada para o dispositivo de "telestration" (técnica de ilustração em cirurgia remota) 1511. A posição e orientação do ponto de controle depois de serem mapeadas para o sistema de coordenadas oculares são usadas para controlar o movimento do dispositivo virtual de "telestration" (técnica de ilustração em cirurgia remota) 1511.
[00282] A descrição acima e desenhos anexos que ilustram aspectos e incorporações das presentes invenções não devem ser tomados como limitações - as concretizações definem as invenções protegidas. Diversas mudanças mecânicas, constitutivas, estruturais, elétricas e operacionais podem ser feitas sem afastar-se do espírito e escopo desta descrição e das concretizações. Em algumas instâncias, circuitos bem conhecidos, estruturas e técnicas não têm sido mostradas ou descritas em detalhe para evitar escurecimento da invenção.
[00283] Além disso, a terminologia desta descrição não se destina a limitar a invenção. Por exemplo, termos espacialmente relativos - tais como "debaixo", "abaixo", "inferior", "acima", "superior", "próximo", "distante", e similar - podem ser usados para descrever a relação de um elemento ou atributo com outro elemento ou atributo como ilustrado nas figuras. Estes termos espacialmente relativos estão concebidos para abranger diferentes posições (isto é, localizações) e orientações (quer dizer, colocações rotacionais) do dispositivo em uso ou operação além da posição e orientação mostrada nas figuras. Por exemplo, se o dispositivo nas figuras for virado, elementos descritos como "abaixo" ou "debaixo" outros elementos ou atributos então estariam "acima" ou "sobre" os outros elementos ou atributos. Assim, o termo exemplifica- dor "abaixo" pode abranger ambas as posições e orientações de acima e abaixo. O dispositivo pode ser orientado de outra forma (girado 90 graus o em outras orientações) e descritores espacialmente relativos usados neste documento interpretados consequentemente. Do mesmo modo, descrições de movimento junto e ao redor de vários eixos incluem diversas posições e orientações especiais do dispositivo.
[00284] A forma singular "um""uma", e "o/a" são concebidas para incluir também as formas plurais, a menos que o contexto o indique de outra forma. Os termos "compreende", "compreendendo", "inclui", e similares especificam a presença de atributos declarados, etapas, operações, elementos de processo, e/ou componentes, porém, não impedem a presença ou adição de um ou mais outros atributos, etapas, operações, elementos de processo, componentes e/ou grupos. Componentes descritos como conectados podem ser diretamente conectados elétrica ou mecanicamente, ou eles podem ser conectados indiretamente por meio de um ou mais componentes intermediários.
[00285] Memória se refere a uma memória volátil, uma memória não volátil, ou qualquer combinação das duas. Um processador está conectado a uma memória contendo instruções executadas pelo processador. Isto pode ser conseguido dentro de um sistema de computador, ou alternativamente por meio de uma conexão com outro computador por meio de modem e linhas analógicas, ou interfaces digitais e uma linha portadora digital.
[00286] Neste documento, um produto de programa de computador inclui um meio configurado para armazenar código legível por computador necessário para qualquer um ou qualquer combinação dos processos descritos com respeito ao rastreamento da mão ou nos quais código legível por computador para qualquer um ou qualquer combinação de processos descritos a respeito de rastreamento de mão é armazenado. Alguns exemplos de produtos de programa de computador são discos CD-ROM, discos DVD, memória flash, placas ROM, disquetes flexíveis, fitas magnéticas, discos rígidos de computador, servidores em uma rede e sinais transmitidos sobre uma rede representando código de programa legível por computador. Um produto de programa de computador tangível não transitório inclui um meio tangível não transitório configurado para armazenar instruções legíveis por computador para qualquer um ou qualquer combinação dos processos descritos com respeito aos diversos controladores ou nos quais instruções legíveis por computador para qualquer um ou qualquer combinação de processos descritos a respeito dos diversos controladores são armazenadas. Produtos de programa de computador tangíveis não transitórios são discos CD-ROM, discos DVD, memória flash, placas ROM, disquetes flexíveis, fitas magnéticas, discos rígidos de computador, e outros meios de armazenamento físicos não transitórios.
[00287] Em vista desta revelação, instruções usadas em qualquer um, ou em qualquer combinação de processos descritos com respeito a rastreamento de mão podem ser implementados em uma ampla variedade de configurações de sistema de computador usando um sistema operacional e linguagem de programação de computador de interesse para o usuário.
[00288] O uso de processadores e memórias diferentes na figura 1 é somente ilustrativo é não se destina a ser limitante. Em alguns aspectos, um processador de hardware simples pode ser usado e em outros aspectos processadores múltiplos podem ser usados.
[00289] Também, para cada uma das ilustrações, os diversos processos foram distribuídos entre um controlador de rastreamento da mão e um controlador do sistema. Isto também é ilustrativo é não se destina a ser limitante. Os diversos processos podem ser distribuídos através de controladores ou consolidados em um controlador sem mudar os princípios de operação no processo de rastreamento da mão.
[00290] Todos os exemplos e referências ilustrativas não são limitadores e não devem ser usados para limitar as concretizações para implementações específicas e incorporações descritas neste documento e suas equivalências. Os cabeçalhos são somente para formatação e não devem ser usados para limitar o assunto de qualquer forma, porque o texto abaixo de um cabeçalho pode incluir referência cruzada ou aplicar-se ao texto sob um ou mais cabeçalhos. Finalmente, em vista desta revelação, atributos particulares descritos com relação a um aspecto ou incorporação podem ser aplicados a outros aspectos revelados ou incorporações da invenção, mesmo que não mostrados especificamente nos desenhos ou descritos no texto.

Claims (18)

1. Sistema cirúrgico minimamente invasivo (100), caracterizado pelo fato de que compreende um dispositivo mestre de rastreamento de dedo (1270) compreendendo ainda um primeiro laço do dedo (1220); um primeiro elemento de sensor (1211) fixado ao primeiro laço do dedo (1220); um segundo laço do dedo (1230); um segundo elemento do sensor (1212) fixado ao segundo laço do dedo (1230); e um corpo compressível (1210) que comprime um primeiro extremo (1213) e um segundo extremo (1214); sendo que o segundo extremo (1214) é oposto e removido do primeiro extremo (1213); o primeiro laço do dedo (1220) é afixado de modo adjacente ao primeiro extremo (1213); o segundo laço do dedo (1230) é afixado de modo adjacente ao segundo extremo (1214); e quando da colocação do primeiro laço do dedo (1220) em um primeiro dígito (292B) e do segundo laço do dedo (1230) em um segundo dígito (292A), o corpo compressível (1210) é posicionado entre os primeiro e segundo dígitos (292B, 292A) de modo que o corpo compressível (1210) forneça resistência ao movimento do primeiro dígito (292B) em direção ao segundo dígito (292A).
2. Sistema, de acordo com a reivindicação 1, caracterizado pelo fato de que o corpo compressível (1270) compreende ainda uma superfície exterior externa incluindo uma primeira porção (1216) se estendendo entre os primeiro e segundo extremos (1213, 1214), e uma segunda porção (1217), oposta e removida da primeira porção (1216), estendendo-se entre os primeiro e segundo extremos (1213, 1214).
3. Sistema, de acordo com a reivindicação 2, caracterizado pelo fato de que o primeiro laço do dedo (1220) está afixado ao corpo com-pressível (1210) de modo adjacente ao primeiro extremo (1213) e es-tendendo-se ao redor da primeira porção (1216) da superfície exterior externa, quando da colocação do primeiro laço do dedo (1220) em um primeiro dígito (292B) de uma mão humana, uma primeira parte da primeira porção (1216) da superfície exterior externa contata o primeiro dígito (292B), o segundo laço do dedo (1230) é afixado ao corpo compressível (1210) de modo adjacente ao segundo extremo (1217) e estendendo-se ao redor da primeira porção (1216) da superfície exterior externa, e quando da colocação do segundo laço do dedo (1230) em um segundo dígito (292A) da mão humana, uma segunda parte da primeira porção (1216) da superfície exterior externa contata o segundo dígito (292A).
4. Sistema, de acordo com a reivindicação 1, caracterizado pelo fato de que um comprimento (L) do corpo compressível (1210) é selecionado para limitar uma separação entre o primeiro laço do dedo (1220) e o segundo laço do dedo (1230) após a colocação do primeiro laço do dedo (1220) no primeiro dígito (292B) e do segundo laço do dedo (1230) no segundo dígito (292A).
5. Sistema, de acordo com a reivindicação 1, caracterizado pelo fato de que uma espessura (T) do corpo compressível (1210) é selecionada de forma que quando uma ponta do primeiro dígito (292B) de uma mão humana apenas toca uma ponta do segundo dígito (292A) da mão humana, o corpo compressível (1210) é menos do que totalmente comprimido.
6. Sistema, de acordo com a reivindicação 1, caracterizado pelo fato de que compreende ainda um instrumento cirúrgico escravo teleoperado (1310, 1420, 1421, 1520, 1521) tendo um manipulador do extremo, sendo que o corpo compressível (1210) é configurado para fornecer retroalimentação táctil correspondente a uma força de pega do manipulador do extremo.
7. Sistema, de acordo com a reivindicação 1, caracterizado pelo fato de que uma porção de cada um dentre os primeiro e segundo laços do dedo (1220, 1230) compreende um tecido de gancho (1222A, 1232A) e outra porção de cada um dentre os primeiro e segundo laços do dedo (1220, 1230) compreende um tecido de laço (1222B, 1232B), sendo que o tecido de laço (1222B, 1232B) fixa de forma removível ao tecido de gancho (1222A, 1232A) para formar um circuito de dedo (1220, 1230).
8. Sistema, de acordo com a reivindicação 1, caracterizado pelo fato de que cada um dentre os primeiro e segundo elementos de sensor compreende um sensor eletromagnético passivo.
9. Sistema, de acordo com a reivindicação 8, caracterizado pelo fato de que cada sensor de rastreamento eletromagnético passivo tem seis graus de liberdade.
10. Método, caracterizado pelo fato de que compreende recebimento, em um controlador (130, 140), de uma primeira localização de um sensor (1211) montado em um primeiro dígito (292A) de uma mão humana e uma segunda localização de outro sensor (1212) montado em um segundo dígito (292B) da mão humana, cada uma dentre as primeira e segunda localizações tendo N graus de liberdade, sendo que N é um número inteiro; mapeamento, pelo controlador (130, 140), da primeira loca-lização (1211) e da segunda localização (1212) para uma localização do ponto de controle, sendo que a localização do ponto de controle tem seis graus de liberdade, e sendo que os seis graus de liberdade são menos do que ou iguais a 2*N graus de liberdade; mapeamento, pelo controlador (130, 140), da primeira loca-lização e da segunda localização para um parâmetro tendo um único grau de liberdade; e controle, pelo controlador (130, 140), de teleoperação de um instrumento cirúrgico escravo (1310, 1420, 1421, 1520, 1521) em um sistema cirúrgico minimamente invasivo (100) baseado na localização do ponto de controle e no parâmetro.
11. Método, de acordo com a reivindicação 10, caracterizado pelo fato de que o parâmetro compreende uma distância de fechamento da pega.
12. Método, de acordo com a reivindicação 10, caracterizado pelo fato de que o parâmetro compreende uma orientação.
13. Método, de acordo com a reivindicação 12, caracterizado pelo fato de que a orientação compreende uma guinada.
14. Método, de acordo com a reivindicação 10, caracterizado pelo fato de que N é seis.
15. Método, de acordo com a reivindicação 10, caracterizado pelo fato de que N é cinco.
16. Método, caracterizado pelo fato de que compreende recebimento, em um controlador (130, 140), de uma primeira localização de um sensor (1211) montado em um primeiro dígito (292A) de uma mão humana e uma segunda localização de outro sensor (1212) montado em um segundo dígito (292B) da mão humana, cada uma dentre as primeira e segunda localizações tendo três graus de liberdade; mapeamento, pelo controlador (130, 140), da primeira localização e da segunda localização para uma posição do ponto de controle, sendo que o ponto de controle tem três graus de liberdade; mapeamento, pelo controlador (130, 140), da primeira localização e da segunda localização para um parâmetro tendo um único grau de liberdade; e controle de teleoperação de um instrumento cirúrgico escravo (1310, 1420, 1421, 1520, 1521) que não inclui um mecanismo de munheca em um sistema cirúrgico minimamente invasivo (100) baseado na posição do ponto de controle e no parâmetro.
17. Método, de acordo com a reivindicação 16, caracterizado pelo fato de que o parâmetro compreende uma distância de fechamento da pega.
18. Método, de acordo com a reivindicação 16, caracterizado pelo fato de que o parâmetro compreende giro.
BR112012011277-5A 2009-11-13 2010-11-11 dispositivo de rastreamento do dedo mestre e um método de uso num sistema cirúrgico minimamente invasivo BR112012011277B1 (pt)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US12/617,937 US8521331B2 (en) 2009-11-13 2009-11-13 Patient-side surgeon interface for a minimally invasive, teleoperated surgical instrument
US12/617,937 2009-11-13
US12/887,254 2010-09-21
US12/887,254 US8543240B2 (en) 2009-11-13 2010-09-21 Master finger tracking device and method of use in a minimally invasive surgical system
PCT/US2010/056409 WO2011060187A1 (en) 2009-11-13 2010-11-11 A master finger tracking device and method of use in a minimally invasive surgical system

Publications (2)

Publication Number Publication Date
BR112012011277A2 BR112012011277A2 (pt) 2016-04-12
BR112012011277B1 true BR112012011277B1 (pt) 2020-10-13

Family

ID=43501524

Family Applications (1)

Application Number Title Priority Date Filing Date
BR112012011277-5A BR112012011277B1 (pt) 2009-11-13 2010-11-11 dispositivo de rastreamento do dedo mestre e um método de uso num sistema cirúrgico minimamente invasivo

Country Status (7)

Country Link
US (1) US8543240B2 (pt)
EP (2) EP3092969A3 (pt)
JP (2) JP5699158B2 (pt)
KR (1) KR101762631B1 (pt)
CN (1) CN102596086B (pt)
BR (1) BR112012011277B1 (pt)
WO (1) WO2011060187A1 (pt)

Families Citing this family (111)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9266239B2 (en) * 2005-12-27 2016-02-23 Intuitive Surgical Operations, Inc. Constraint based control in a minimally invasive surgical apparatus
US10532466B2 (en) * 2008-08-22 2020-01-14 Titan Medical Inc. Robotic hand controller
US8332072B1 (en) 2008-08-22 2012-12-11 Titan Medical Inc. Robotic hand controller
US8423182B2 (en) 2009-03-09 2013-04-16 Intuitive Surgical Operations, Inc. Adaptable integrated energy control system for electrosurgical tools in robotic surgical systems
US8120301B2 (en) * 2009-03-09 2012-02-21 Intuitive Surgical Operations, Inc. Ergonomic surgeon control console in robotic surgical systems
US20110172550A1 (en) 2009-07-21 2011-07-14 Michael Scott Martin Uspa: systems and methods for ems device communication interface
US8996173B2 (en) 2010-09-21 2015-03-31 Intuitive Surgical Operations, Inc. Method and apparatus for hand gesture control in a minimally invasive surgical system
US8543240B2 (en) * 2009-11-13 2013-09-24 Intuitive Surgical Operations, Inc. Master finger tracking device and method of use in a minimally invasive surgical system
US8935003B2 (en) 2010-09-21 2015-01-13 Intuitive Surgical Operations Method and system for hand presence detection in a minimally invasive surgical system
US8521331B2 (en) 2009-11-13 2013-08-27 Intuitive Surgical Operations, Inc. Patient-side surgeon interface for a minimally invasive, teleoperated surgical instrument
EP2524280A1 (en) 2010-01-14 2012-11-21 BrainLAB AG Controlling a surgical navigation system
CN102934142B (zh) 2010-04-09 2016-10-05 卓尔医学产品公司 用于ems设备通信接口的系统和方法
WO2012065175A2 (en) 2010-11-11 2012-05-18 The Johns Hopkins University Human-machine collaborative robotic systems
WO2012073789A1 (ja) * 2010-11-30 2012-06-07 オリンパス株式会社 マスタ操作入力装置及びマスタスレーブマニピュレータ
JP5800616B2 (ja) * 2011-07-15 2015-10-28 オリンパス株式会社 マニピュレータシステム
JP5953058B2 (ja) 2011-08-04 2016-07-13 オリンパス株式会社 手術支援装置およびその着脱方法
JP5931497B2 (ja) 2011-08-04 2016-06-08 オリンパス株式会社 手術支援装置およびその組立方法
EP2740434A4 (en) 2011-08-04 2015-03-18 Olympus Corp MEDICAL MANIPULATOR AND CONTROL METHOD THEREOF
JP6009840B2 (ja) 2011-08-04 2016-10-19 オリンパス株式会社 医療機器
JP6005950B2 (ja) 2011-08-04 2016-10-12 オリンパス株式会社 手術支援装置及びその制御方法
EP2740435B8 (en) 2011-08-04 2018-12-19 Olympus Corporation Surgical support apparatus
JP6000641B2 (ja) 2011-08-04 2016-10-05 オリンパス株式会社 マニピュレータシステム
JP6021353B2 (ja) * 2011-08-04 2016-11-09 オリンパス株式会社 手術支援装置
JP5841451B2 (ja) 2011-08-04 2016-01-13 オリンパス株式会社 手術器具およびその制御方法
JP5936914B2 (ja) 2011-08-04 2016-06-22 オリンパス株式会社 操作入力装置およびこれを備えるマニピュレータシステム
JP6081061B2 (ja) 2011-08-04 2017-02-15 オリンパス株式会社 手術支援装置
JP6021484B2 (ja) 2011-08-04 2016-11-09 オリンパス株式会社 医療用マニピュレータ
WO2013018897A1 (ja) 2011-08-04 2013-02-07 オリンパス株式会社 術具及び医療用マニピュレータ
US20130060166A1 (en) * 2011-09-01 2013-03-07 The Regents Of The University Of California Device and method for providing hand rehabilitation and assessment of hand function
US10795448B2 (en) 2011-09-29 2020-10-06 Magic Leap, Inc. Tactile glove for human-computer interaction
US9924907B2 (en) * 2011-09-30 2018-03-27 Google Technology Holdings LLC Method and system for identifying location of a touched body part
KR101929451B1 (ko) * 2012-02-03 2018-12-14 삼성전자주식회사 로봇의 제어 장치 및 방법
US9445876B2 (en) * 2012-02-27 2016-09-20 Covidien Lp Glove with sensory elements incorporated therein for controlling at least one surgical instrument
JP5941762B2 (ja) * 2012-06-14 2016-06-29 オリンパス株式会社 マニピュレータシステム
JP6053358B2 (ja) * 2012-07-03 2016-12-27 オリンパス株式会社 手術支援装置
KR102188033B1 (ko) 2012-09-17 2020-12-07 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 원격조작 수술 기구 기능들에 입력 장치들을 할당하는 방법 및 시스템
WO2014052802A2 (en) 2012-09-28 2014-04-03 Zoll Medical Corporation Systems and methods for three-dimensional interaction monitoring in an ems environment
US10631939B2 (en) 2012-11-02 2020-04-28 Intuitive Surgical Operations, Inc. Systems and methods for mapping flux supply paths
US10864048B2 (en) 2012-11-02 2020-12-15 Intuitive Surgical Operations, Inc. Flux disambiguation for teleoperated surgical systems
US9566414B2 (en) 2013-03-13 2017-02-14 Hansen Medical, Inc. Integrated catheter and guide wire controller
US9283046B2 (en) 2013-03-15 2016-03-15 Hansen Medical, Inc. User interface for active drive apparatus with finite range of motion
CN105188592B (zh) * 2013-03-15 2018-07-27 Sri国际公司 超灵巧型手术系统
US10849702B2 (en) 2013-03-15 2020-12-01 Auris Health, Inc. User input devices for controlling manipulation of guidewires and catheters
CN105228550A (zh) * 2013-04-25 2016-01-06 直观外科手术操作公司 外科手术设备的控制输入可视化视野
US11020016B2 (en) 2013-05-30 2021-06-01 Auris Health, Inc. System and method for displaying anatomy and devices on a movable display
US9211644B1 (en) * 2013-10-25 2015-12-15 Vecna Technologies, Inc. System and method for instructing a device
JP6358463B2 (ja) * 2013-11-13 2018-07-18 パナソニックIpマネジメント株式会社 マスタースレーブ装置用マスター装置及びその制御方法、及び、マスタースレーブ装置
EP3243476B1 (en) 2014-03-24 2019-11-06 Auris Health, Inc. Systems and devices for catheter driving instinctiveness
US11977998B2 (en) 2014-05-15 2024-05-07 Storz Endoskop Produktions Gmbh Surgical workflow support system
US9211643B1 (en) * 2014-06-25 2015-12-15 Microsoft Technology Licensing, Llc Automatic in-situ registration and calibration of robotic arm/sensor/workspace system
US9363640B2 (en) 2014-08-05 2016-06-07 Samsung Electronics Co., Ltd. Electronic system with transformable mode mechanism and method of operation thereof
EP3753518A1 (en) 2014-09-04 2020-12-23 Memic Innovative Surgery Ltd. Control of device including mechanical arms
US9811555B2 (en) * 2014-09-27 2017-11-07 Intel Corporation Recognition of free-form gestures from orientation tracking of a handheld or wearable device
CN104503576A (zh) * 2014-12-22 2015-04-08 山东超越数控电子有限公司 一种基于手势识别的计算机操作方法
DE102015200428B3 (de) 2015-01-14 2016-03-17 Kuka Roboter Gmbh Verfahren zur Ausrichtung eines mehrachsigen Manipulators mit einem Eingabegerät
CN104622429B (zh) * 2015-01-17 2017-06-16 深圳市前海安测信息技术有限公司 医生端、患者端辅助诊疗设备以及远程诊疗系统和方法
US10606341B2 (en) 2015-02-22 2020-03-31 Technion Research & Development Foundation Limited Gesture recognition using multi-sensory data
US10842577B2 (en) * 2015-02-24 2020-11-24 Sri International Hyperdexterous system user interface
KR20170127561A (ko) 2015-03-17 2017-11-21 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 원격조작 의료 시스템에서 기구의 스크린상 식별을 위한 시스템 및 방법
US10600015B2 (en) 2015-06-24 2020-03-24 Karl Storz Se & Co. Kg Context-aware user interface for integrated operating room
KR101697185B1 (ko) * 2015-07-29 2017-01-17 국립암센터 무구속 힘 반향 마스터 디바이스 및 이를 포함하는 수술 로봇 시스템
EP3334323B1 (en) * 2015-08-11 2020-06-24 Human XTensions Ltd. Control unit attachable to an endoscope having a shaft deflectable via two rotatable knobs to allow one-handed operation of the knobs
WO2017025456A1 (en) * 2015-08-13 2017-02-16 Siemens Healthcare Gmbh Device and method for controlling a system comprising an imaging modality
WO2017031132A1 (en) * 2015-08-17 2017-02-23 Intuitive Surgical Operations, Inc. Unground master control devices and methods of use
JP2017077609A (ja) * 2015-10-21 2017-04-27 ファナック株式会社 ロボットの手首部の機構パラメータを校正する校正装置および校正方法
US9925013B2 (en) * 2016-01-14 2018-03-27 Synaptive Medical (Barbados) Inc. System and method for configuring positions in a surgical positioning system
US10151606B1 (en) 2016-02-24 2018-12-11 Ommo Technologies, Inc. Tracking position and movement using a magnetic field
EP3795110A1 (en) 2016-03-09 2021-03-24 Memic Innovative Surgery Ltd. Modular device comprising mechanical arms
US11037464B2 (en) 2016-07-21 2021-06-15 Auris Health, Inc. System with emulator movement tracking for controlling medical devices
CN108289600A (zh) 2016-10-03 2018-07-17 威博外科公司 用于机器人外科手术的沉浸式三维显示器
US10099368B2 (en) 2016-10-25 2018-10-16 Brandon DelSpina System for controlling light and for tracking tools in a three-dimensional space
JP7099728B2 (ja) 2016-11-29 2022-07-12 バーチャル インシジョン コーポレイション ユーザの存在検出機能を備えたユーザコントローラ、関連システムおよび方法
KR20180064821A (ko) * 2016-12-06 2018-06-15 한화에어로스페이스 주식회사 경계면 설정 장치 및 방법
US11523871B2 (en) 2016-12-08 2022-12-13 Avidbots Corp Optical-based input for medical devices
US11559364B2 (en) 2016-12-15 2023-01-24 Intuitive Surgical Operations, Inc. Detection of user touch on controller handle
WO2018112227A2 (en) 2016-12-15 2018-06-21 Intuitive Surgical Operations, Inc. Actuated grips for controller
US11779410B2 (en) 2017-03-09 2023-10-10 Momentis Surgical Ltd Control console including an input arm for control of a surgical mechanical arm
US10973592B2 (en) 2017-03-09 2021-04-13 Memie Innovative Surgery Ltd. Control console for surgical device with mechanical arms
CN107220507B (zh) * 2017-06-06 2021-04-13 吕煜 远程医疗操控装置以及操控方法
CN107224327A (zh) * 2017-06-07 2017-10-03 佛山市蓝瑞欧特信息服务有限公司 用于远程医疗的单工具操控系统以及使用方法
CN107411822A (zh) * 2017-06-07 2017-12-01 佛山市蓝瑞欧特信息服务有限公司 远程医疗用双工具操控系统以及使用方法
US10678338B2 (en) 2017-06-09 2020-06-09 At&T Intellectual Property I, L.P. Determining and evaluating data representing an action to be performed by a robot
KR101971882B1 (ko) * 2017-08-18 2019-04-24 재단법인 실감교류인체감응솔루션연구단 3차원 자기 센서 기반의 손가락 모션 캡쳐 인터페이스 장치
CN107608509A (zh) * 2017-09-14 2018-01-19 国家电网公司 一种vr控制器及巡检头戴设备
WO2019083805A1 (en) 2017-10-23 2019-05-02 Intuitive Surgical Operations, Inc. SYSTEMS AND METHODS FOR PRESENTING ENHANCED REALITY ON A SCREEN OF A TELEOPERATION SYSTEM
US20190125320A1 (en) 2017-10-30 2019-05-02 Ethicon Llc Control system arrangements for a modular surgical instrument
JP6902208B2 (ja) * 2017-11-14 2021-07-14 オムロン株式会社 把持方法、把持システム及びプログラム
EP3709924A4 (en) 2017-11-15 2021-12-15 Intuitive Surgical Operations, Inc. MASTER CONTROL DEVICE AND ASSOCIATED PROCESSES
EP3717918B1 (en) * 2017-11-30 2024-03-06 Michael Munoz Internet of things (iot) enabled wireless sensor system enabling process control, predictive maintenance of electrical distribution networks, liquid and gas pipelines and monitoring of air pollutants including nuclear, chemical, and biological agents using attached and/or embedded passive electromagnetic sensors
EP3684281A4 (en) 2017-12-08 2021-10-13 Auris Health, Inc. SYSTEM AND PROCEDURE FOR NAVIGATION AND TARGETING OF MEDICAL INSTRUMENTS
US11969216B2 (en) 2017-12-28 2024-04-30 Cilag Gmbh International Surgical network recommendations from real time analysis of procedure variables against a baseline highlighting differences from the optimal solution
US11304763B2 (en) * 2017-12-28 2022-04-19 Cilag Gmbh International Image capturing of the areas outside the abdomen to improve placement and control of a surgical device in use
US11969142B2 (en) 2017-12-28 2024-04-30 Cilag Gmbh International Method of compressing tissue within a stapling device and simultaneously displaying the location of the tissue within the jaws
US11701162B2 (en) 2018-03-08 2023-07-18 Cilag Gmbh International Smart blade application for reusable and disposable devices
CN112218595A (zh) 2018-05-18 2021-01-12 奥瑞斯健康公司 用于机器人使能的远程操作的系统的控制器
EP3840681A1 (en) 2018-08-22 2021-06-30 Intuitive Surgical Operations, Inc. Control switch position sensing across a rotational joint
US10838486B2 (en) * 2019-02-28 2020-11-17 Microsoft Technology Licensing, Llc Virtual reality controller
WO2020185218A1 (en) * 2019-03-12 2020-09-17 Intuitive Surgical Operations, Inc. Layered functionality for a user input mechanism in a computer-assisted surgical system
JP2020162916A (ja) * 2019-03-29 2020-10-08 ソニー株式会社 制御装置及びマスタスレーブシステム
KR102225106B1 (ko) * 2019-04-25 2021-03-09 울산대학교 산학협력단 원격제어 마스터 장치
EP3989793A4 (en) 2019-06-28 2023-07-19 Auris Health, Inc. CONSOLE OVERLAY ITS METHODS OF USE
CN114126532A (zh) 2019-08-23 2022-03-01 直观外科手术操作公司 可移动显示系统
EP4017395A1 (en) 2019-08-23 2022-06-29 Intuitive Surgical Operations, Inc. Moveable display unit on track
CN114730220A (zh) 2019-10-08 2022-07-08 直观外科手术操作公司 控制输入设备处的手存在感测
RU2716353C1 (ru) * 2019-11-25 2020-03-11 Ассистирующие Хирургические Технологии (Аст), Лтд Контроллер кисти для использования в контроллере оператора роботохирургического комплекса
RU2718568C1 (ru) * 2019-11-25 2020-04-08 Ассистирующие Хирургические Технологии (Аст), Лтд Контроллер запястья для использования в контроллере оператора роботохирургического комплекса
US20230302650A1 (en) 2020-10-15 2023-09-28 Intuitive Surgical Operations, Inc. Detection and mitigation of predicted collisions of objects with user control system
CN116761571A (zh) 2020-11-30 2023-09-15 直观外科手术操作公司 用于计算机辅助设备的输入控件的触觉轮廓
GB2605812B (en) * 2021-04-14 2024-03-20 Prec Robotics Limited An apparatus, computer-implemented method and computer program
CN114099005B (zh) * 2021-11-24 2023-09-15 重庆金山医疗机器人有限公司 器械是否在视野内、是否被遮挡的判断法及能量显示方法
WO2024014592A1 (ko) * 2022-07-15 2024-01-18 엘지전자 주식회사 Xr 디바이스, xr 디바이스의 컨트롤러 장치, 이들을 이용한 xr 디바이스의 동작 방법

Family Cites Families (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0573118A (ja) * 1991-09-17 1993-03-26 Yaskawa Electric Corp ロボツト制御装置
US5762458A (en) * 1996-02-20 1998-06-09 Computer Motion, Inc. Method and apparatus for performing minimally invasive cardiac procedures
US5913820A (en) * 1992-08-14 1999-06-22 British Telecommunications Public Limited Company Position location system
DE4306786C1 (de) * 1993-03-04 1994-02-10 Wolfgang Daum Chirurgischer Manipulator
US6463361B1 (en) * 1994-09-22 2002-10-08 Computer Motion, Inc. Speech interface for an automated endoscopic system
US5855583A (en) * 1996-02-20 1999-01-05 Computer Motion, Inc. Method and apparatus for performing minimally invasive cardiac procedures
US6436107B1 (en) * 1996-02-20 2002-08-20 Computer Motion, Inc. Method and apparatus for performing minimally invasive surgical procedures
US6331181B1 (en) 1998-12-08 2001-12-18 Intuitive Surgical, Inc. Surgical robotic tools, data architecture, and use
US7699855B2 (en) * 1996-12-12 2010-04-20 Intuitive Surgical Operations, Inc. Sterile surgical adaptor
US6809462B2 (en) 2000-04-05 2004-10-26 Sri International Electroactive polymer sensors
US6110130A (en) * 1997-04-21 2000-08-29 Virtual Technologies, Inc. Exoskeleton device for directly measuring fingertip position and inferring finger joint angle
US6049327A (en) * 1997-04-23 2000-04-11 Modern Cartoons, Ltd System for data management based onhand gestures
US7472047B2 (en) 1997-05-12 2008-12-30 Immersion Corporation System and method for constraining a graphical hand from penetrating simulated graphical objects
DE69840264D1 (de) 1997-05-12 2009-01-08 Immersion Corp Kraftrückkopplungsschinittstellenvorrichtung für die hand
US6126373A (en) * 1997-12-19 2000-10-03 Fanuc Usa Corporation Method and apparatus for realtime remote robotics command
US6799065B1 (en) 1998-12-08 2004-09-28 Intuitive Surgical, Inc. Image shifting apparatus and method for a telerobotic system
US6424885B1 (en) 1999-04-07 2002-07-23 Intuitive Surgical, Inc. Camera referenced control in a minimally invasive surgical apparatus
US7236618B1 (en) * 2000-07-07 2007-06-26 Chee-Kong Chui Virtual surgery system with force feedback
JP2002059380A (ja) * 2000-08-22 2002-02-26 Olympus Optical Co Ltd マスタースレーブ装置
JP4014792B2 (ja) * 2000-09-29 2007-11-28 株式会社東芝 マニピュレータ
US7410483B2 (en) * 2003-05-23 2008-08-12 Novare Surgical Systems, Inc. Hand-actuated device for remote manipulation of a grasping tool
US9002518B2 (en) 2003-06-30 2015-04-07 Intuitive Surgical Operations, Inc. Maximum torque driving of robotic surgical tools in robotic surgical systems
JP3783011B2 (ja) * 2003-10-02 2006-06-07 株式会社日立製作所 操作入力装置および遠隔操作システムおよび遠隔操作方法
JP2005224528A (ja) 2004-02-16 2005-08-25 Olympus Corp 内視鏡
US7976559B2 (en) * 2004-11-04 2011-07-12 Dynamic Surgical Inventions, Llc Articulated surgical probe and method for use
JP2006167867A (ja) * 2004-12-16 2006-06-29 Fuji Heavy Ind Ltd 遠隔操作装置
KR100960577B1 (ko) * 2005-02-08 2010-06-03 오블롱 인더스트리즈, 인크 제스처 기반의 제어 시스템을 위한 시스템 및 방법
US9492240B2 (en) 2009-06-16 2016-11-15 Intuitive Surgical Operations, Inc. Virtual measurement tool for minimally invasive surgery
US8398541B2 (en) 2006-06-06 2013-03-19 Intuitive Surgical Operations, Inc. Interactive user interfaces for robotic minimally invasive surgical systems
US7907166B2 (en) 2005-12-30 2011-03-15 Intuitive Surgical Operations, Inc. Stereo telestration for robotic surgery
US20070167702A1 (en) 2005-12-30 2007-07-19 Intuitive Surgical Inc. Medical robotic system providing three-dimensional telestration
US7845537B2 (en) * 2006-01-31 2010-12-07 Ethicon Endo-Surgery, Inc. Surgical instrument having recording capabilities
JP2006137001A (ja) * 2006-02-06 2006-06-01 Yaskawa Electric Corp 把持物体の位置、姿勢修正方法
US20070225562A1 (en) * 2006-03-23 2007-09-27 Ethicon Endo-Surgery, Inc. Articulating endoscopic accessory channel
EP2037794B1 (en) 2006-06-13 2021-10-27 Intuitive Surgical Operations, Inc. Minimally invasive surgical system
US20090192523A1 (en) 2006-06-29 2009-07-30 Intuitive Surgical, Inc. Synthetic representation of a surgical instrument
US9696808B2 (en) * 2006-07-13 2017-07-04 Northrop Grumman Systems Corporation Hand-gesture recognition method
WO2008133956A2 (en) * 2007-04-23 2008-11-06 Hansen Medical, Inc. Robotic instrument control system
US20090138025A1 (en) 2007-05-04 2009-05-28 Hansen Medical, Inc. Apparatus systems and methods for forming a working platform of a robotic instrument system by manipulation of components having controllably rigidity
US7843158B2 (en) * 2008-03-31 2010-11-30 Intuitive Surgical Operations, Inc. Medical robotic system adapted to inhibit motions resulting in excessive end effector forces
US8803955B2 (en) * 2008-04-26 2014-08-12 Intuitive Surgical Operations, Inc. Augmented stereoscopic visualization for a surgical robot using a camera unit with a modified prism
CN102112945B (zh) * 2008-06-18 2016-08-10 奥布隆工业有限公司 用于交通工具接口的基于姿态的控制系统
US8830224B2 (en) 2008-12-31 2014-09-09 Intuitive Surgical Operations, Inc. Efficient 3-D telestration for local robotic proctoring
US9155592B2 (en) 2009-06-16 2015-10-13 Intuitive Surgical Operations, Inc. Virtual measurement tool for minimally invasive surgery
US8543240B2 (en) * 2009-11-13 2013-09-24 Intuitive Surgical Operations, Inc. Master finger tracking device and method of use in a minimally invasive surgical system

Also Published As

Publication number Publication date
CN102596086B (zh) 2016-01-20
JP2013510675A (ja) 2013-03-28
US8543240B2 (en) 2013-09-24
EP2480156B1 (en) 2016-06-29
KR20120102647A (ko) 2012-09-18
JP6000387B2 (ja) 2016-09-28
EP3092969A3 (en) 2017-03-01
EP2480156A1 (en) 2012-08-01
KR101762631B1 (ko) 2017-07-28
JP5699158B2 (ja) 2015-04-08
EP3092969A2 (en) 2016-11-16
BR112012011277A2 (pt) 2016-04-12
CN102596086A (zh) 2012-07-18
JP2015107377A (ja) 2015-06-11
US20110118753A1 (en) 2011-05-19
WO2011060187A1 (en) 2011-05-19

Similar Documents

Publication Publication Date Title
US11707336B2 (en) Method and system for hand tracking in a robotic system
BR112012011277B1 (pt) dispositivo de rastreamento do dedo mestre e um método de uso num sistema cirúrgico minimamente invasivo
US9901402B2 (en) Method and apparatus for hand gesture control in a minimally invasive surgical system
US8682489B2 (en) Method and system for hand control of a teleoperated minimally invasive slave surgical instrument
EP3574860B1 (en) System for hand presence detection in a minimally invasive surgical system
JP5702798B2 (ja) 低侵襲外科システムにおけるハンドジェスチャー制御の方法および装置
BR112012011323B1 (pt) sistema cirúrgico minimamente invasivo

Legal Events

Date Code Title Description
B15K Others concerning applications: alteration of classification

Ipc: G06F 3/01 (2006.01), A61B 34/30 (2016.01), A61B 34

B06F Objections, documents and/or translations needed after an examination request according [chapter 6.6 patent gazette]
B06U Preliminary requirement: requests with searches performed by other patent offices: procedure suspended [chapter 6.21 patent gazette]
B09A Decision: intention to grant [chapter 9.1 patent gazette]
B16A Patent or certificate of addition of invention granted [chapter 16.1 patent gazette]

Free format text: PRAZO DE VALIDADE: 20 (VINTE) ANOS CONTADOS A PARTIR DE 11/11/2010, OBSERVADAS AS CONDICOES LEGAIS.