BR112019022739A2 - treinamento, simulação e colaboração em realidade virtual em sistema cirúrgico robótico - Google Patents

treinamento, simulação e colaboração em realidade virtual em sistema cirúrgico robótico Download PDF

Info

Publication number
BR112019022739A2
BR112019022739A2 BR112019022739A BR112019022739A BR112019022739A2 BR 112019022739 A2 BR112019022739 A2 BR 112019022739A2 BR 112019022739 A BR112019022739 A BR 112019022739A BR 112019022739 A BR112019022739 A BR 112019022739A BR 112019022739 A2 BR112019022739 A2 BR 112019022739A2
Authority
BR
Brazil
Prior art keywords
virtual
user
environment
robotic
view
Prior art date
Application number
BR112019022739A
Other languages
English (en)
Inventor
Fai Kin Siu Bernard
Mark Johnson Eric
Yu Haoran
Eduardo Garcia Kilroy Pablo
Original Assignee
Verb Surgical Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Verb Surgical Inc filed Critical Verb Surgical Inc
Publication of BR112019022739A2 publication Critical patent/BR112019022739A2/pt

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00039—Operational features of endoscopes provided with input arrangements for the user
    • A61B1/00042—Operational features of endoscopes provided with input arrangements for the user for mechanical operation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/313—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for introducing through surgical openings, e.g. laparoscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B34/35—Surgical robots for telesurgery
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B34/37—Master-slave robots
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/20—Linear translation of whole images or parts thereof, e.g. panning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B23/00—Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes
    • G09B23/28—Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes for medicine
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/40—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mechanical, radiation or invasive therapies, e.g. surgery, laser therapy, dialysis or acupuncture
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/20—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the management or administration of healthcare resources or facilities, e.g. managing hospital staff or surgery rooms
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/67—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for remote operation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A61B1/00048—Constructional features of the display
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00147—Holding or positioning arrangements
    • A61B1/00149—Holding or positioning arrangements using articulated arms
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00017—Electrical control of surgical instruments
    • A61B2017/00216—Electrical control of surgical instruments with eye tracking or head position tracking control
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/102—Modelling of surgical devices, implants or prosthesis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/102—Modelling of surgical devices, implants or prosthesis
    • A61B2034/104—Modelling the effect of the tool, e.g. the effect of an implanted prosthesis or for predicting the effect of ablation or burring
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/105—Modelling of the patient, e.g. for ligaments or bones
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/107—Visualisation of planned trajectories or target regions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2048—Tracking techniques using an accelerometer or inertia sensor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2055—Optical tracking systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2074—Interface software
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • A61B2034/256—User interfaces for surgical systems having a database of accessory information, e.g. including context sensitive help or scientific articles
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • A61B2034/258—User interfaces for surgical systems providing specific settings for specific users
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B2034/302—Surgical robots specifically adapted for manipulations within body cavities, e.g. within abdominal or thoracic cavities
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/365—Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/367—Correlation of different images or relation of image positions in respect to the body creating a 3D dataset from 2D images using position information
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/372—Details of monitor hardware
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/374—NMR or MRI
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/376—Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/376—Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy
    • A61B2090/3762—Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy using computed tomography systems [CT]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/378—Surgical systems with images on a monitor during operation using ultrasound
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/50—Supports for surgical instruments, e.g. articulated arms
    • A61B2090/502—Headgear, e.g. helmet, spectacles
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/70—Manipulators specially adapted for use in surgery
    • A61B34/76—Manipulators having means for providing feel, e.g. force or tactile feedback
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B23/00—Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes
    • G09B23/28—Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes for medicine
    • G09B23/285—Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes for medicine for injections, endoscopy, bronchoscopy, sigmoidscopy, insertion of contraceptive devices or enemas

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Veterinary Medicine (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Physics & Mathematics (AREA)
  • Robotics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Optics & Photonics (AREA)
  • Biophysics (AREA)
  • Urology & Nephrology (AREA)
  • Pure & Applied Mathematics (AREA)
  • Educational Technology (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Physics (AREA)
  • Medicinal Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Educational Administration (AREA)
  • Algebra (AREA)
  • Human Computer Interaction (AREA)
  • Mechanical Engineering (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)

Abstract

um sistema de realidade virtual proporcionando um ambiente cirúrgico robótico virtual, e métodos para utilizar o sistema de realidade virtual são descritos neste documento. dentro do sistema de realidade virtual, vários modos de usuário permitem diferentes tipos de interações entre um usuário e o ambiente cirúrgico robótico virtual. por exemplo, uma variação de um método para facilitar navegação de um ambiente cirúrgico robótico virtual inclui exibir uma vista em perspectiva em primeira pessoa do ambiente cirúrgico robótico virtual a partir de um primeiro ponto de observação, exibir uma primeira vista de janela do ambiente cirúrgico robótico virtual a partir de um segundo ponto de observação e exibir uma segunda vista de janela do ambiente cirúrgico robótico virtual a partir de um terceiro ponto de observação. adicionalmente, em resposta a uma entrada do usuário associando as primeira e segunda vistas de janela, uma trajetória entre os segundo e terceiro pontos de observação pode ser gerada sequencialmente ligando as primeira e segunda vistas de janela.

Description

Relatório Descritivo da Patente de Invenção para TREINAMENTO, SIMULAÇÃO E COLABORAÇÃO EM REALIDADE VIRTUAL EM SISTEMA CIRÚRGICO ROBÓTICO.
REFERÊNCIA CRUZADA E PEDIDOS RELACIONADOS
[001] Este pedido reivindica prioridade para o Pedido de Patente Provisório U.S. N2 de Série 62/526.919, depositado em 29 de junho de 2017, o qual é incorporado por referência em sua totalidade CAMPO TÉCNICO
[002] Esta invenção refere-se, em geral, ao campo de cirurgia robótica e mais especificamente, a sistemas e métodos úteis para proporcionar ambientes cirúrgicos robóticos virtuais.
ANTECEDENTES
[003] Cirurgia minimamente invasiva (MIS), tal como cirurgia laparoscópica, envolve técnicas pretendidas para reduzir dano ao tecido durante um procedimento cirúrgico. Por exemplo, os procedimentos laparoscópicos tipicamente envolvem criar várias pequenas incisões no paciente (por exemplo, no abdome), e introduzir um ou mais instrumentos cirúrgicos (por exemplo, uma extremidade de operação, pelo menos uma câmera, etc.) através da incisão no paciente. Os procedimentos cirúrgicos podem então ser executados utilizando os instrumentos cirúrgicos introduzidos, com o auxílio de visualização proporcionado pela câmera.
[004] Geralmente, a MIS proporciona vários benefícios, tais como reduzidas cicatrizes no paciente, menos dor para o paciente, períodos de recuperação mais rápidos do paciente, e menos custos do tratamento médico associados com a recuperação do paciente. Em algumas modalidades, a MIS pode ser executada com sistemas robóticos que incluem um ou mais braços robóticos para manipular os instrumentos cirúrgicos baseado em comandos a partir de um operador. Um braço robótico pode, por exemplo, suportar em sua extremidade
Petição 870190110594, de 30/10/2019, pág. 9/139
2/86 distal vários dispositivos tais como extremidades de operação cirúrgica, dispositivos de representação de imagem, cânula para proporcionar acesso à cavidade corporal e aos órgãos do paciente, etc.
[005] Os sistemas cirúrgicos robóticos geralmente são sistemas complexos executando procedimentos complexos. Por consequência, um usuário (por exemplo, cirurgiões) geralmente pode requer treinamento e experiência significativos para operar com sucesso um sistema cirúrgico robótico. Tais treinamento e experiência são vantajosos para efetivamente planejar os pormenores de procedimentos MIS (por exemplo, determinar o número, localização e orientação idéias de braços robóticos, determinar o número e a localização ótica de incisões, determinar tipos e tamanhos ideais de instrumentos cirúrgicos, determinar ordens de ações em um procedimento, etc.).
[006] Adicionalmente, o processo de projeto de sistemas cirúrgicos robóticos também pode ser complicado. Por exemplo, aprimoramentos no hardware (por exemplo, braços robóticos) são prototipados como modalidades físicas e fisicamente testados. Os aprimoramentos no software (por exemplo, algoritmos de controle para os braços robóticos) também podem requerer modalidades físicas. Tal prototipação e teste cíclico são geralmente acumulativamente caros e demorados.
SUMÁRIO
[007] Geralmente, um sistema de realidade virtual para proporcionar um ambiente cirúrgico robótico virtual pode incluir um processador de realidade virtual (por exemplo, um processador em um computador implementando instruções armazenadas na memória) para gerar um ambiente cirúrgico robótico virtual, um vídeo montado na cabeça vestível por um usuário, e um ou mais controladores de mão manipulados pelo usuário para interagir com o ambiente cirúrgico robótico virtual. O processador de realidade virtual pode, em algumas variações, ser configurado para gerar um ambiente cirúrgico robótico virtual ba
Petição 870190110594, de 30/10/2019, pág. 10/139
3/86 seado em pelo menos um arquivo de configuração predeterminado descrevendo um componente virtual (por exemplo, componente robótico virtual) no ambiente virtual. O vídeo montado na cabeça pode incluir um vídeo imersivo para exibir o ambiente cirúrgico robótico virtual para o usuário (por exemplo, com uma vista em perspectiva de primeira pessoa do ambiente virtual). Em algumas variações, o sistema de realidade virtual pode adicionalmente ou alternativamente incluir um vídeo externo para exibir o ambiente cirúrgico robótico virtual. O vídeo imersivo e o vídeo externo, se ambos estiverem presentes, podem ser sincronizados para apresentarem o mesmo ou similar conteúdo. O sistema de realidade virtual pode ser configurado para gerar um ambiente cirúrgico robótico virtual dentro do qual um usuário pode navegar ao redor de uma sala de operação virtual e interagir com objetos virtuais via o vídeo montado na cabeça e/ou os controladores de mão. O sistema de realidade virtual (e variações do mesmo, como ainda descritas neste documento) pode servir como uma ferramenta útil com respeito à cirurgia robótica, em aplicações incluindo, mas não limitadas ao treinamento, simulação, e/ou colaboração entre as várias pessoas. [008] Em algumas variações, um sistema de realidade virtual pode fazer interface com uma sala de operação real ou verdadeira (não virtual). O sistema de realidade virtual pode permitir a visualização de um ambiente cirúrgico robótico, e pode incluir um processador de realidade virtual configurado para gerar um ambiente cirúrgico robótico virtual compreendendo pelo menos um componente robótico virtual, e pelo menos um sensor em um ambiente cirúrgico robótico. O sensor pode estar em comunicação com o processador de realidade virtual e configurado para detectar uma condição de um componente robótico correspondendo ao componente robótico virtual. O processador de realidade virtual é configurado para receber a condição detectada do componente robótico e modificar o componente robótico virtual basea
Petição 870190110594, de 30/10/2019, pág. 11/139
4/86 do pelo menos em parte na condição detectada de modo que o componente robótico virtual imita o componente robótico.
[009] Por exemplo, um usuário pode monitorar um procedimento cirúrgico robótico real produzido em uma sala de operação real via um sistema de realidade virtual que faz interface com a sala de operação real (por exemplo, o usuário pode interagir com um ambiente de realidade virtual que é refletivo das condições na sala de operação real). As posições detectadas dos componentes robóticos durante um procedimento cirúrgico podem ser comparadas com suas posições esperadas como determinadas a partir do pré-planejamento cirúrgico em um ambiente virtual, de modo que desvios a partir do plano cirúrgico pode acionar um cirurgião para executar ajustes para evitar colisões (por exemplo, alterar uma posição de um braço robótico, etc.).
[0010] Em algumas variações, o um ou mais sensores podem ser configurados para detectar características ou condições de um componente robótico tal como posição, orientação, ritmo ou velocidade. Como um exemplo ilustrativo, o um ou mais sensores no ambiente cirúrgico robótico podem ser configurados para detectar a posição e/ou a orientação de um componente robótico tal como um braço robótico. A posição e a orientação do braço robótico podem ser alimentadas para o processador de realidade virtual, o qual move ou de outro modo modifica um braço robótico virtual correspondendo ao braço robótico real. Assim, um usuário visualizando o ambiente cirúrgico robótico virtual pode visualizar o braço robótico virtual ajustado. Como outro exemplo ilustrativo, um ou mais sensores podem ser configurados para detectar uma colisão envolvendo o componente robótico no ambiente cirúrgico robótico, e o sistema pode proporcionar um alarme notificando ao usuário sobre a ocorrência da colisão.
[0011] Dentro do sistema de realidade virtual, vários modos de usuário permitem diferentes tipos de interação entre um usuário e o
Petição 870190110594, de 30/10/2019, pág. 12/139
5/86 ambiente cirúrgico robótico virtual. Por exemplo, uma variação de um método para facilitar navegação de um ambiente cirúrgico robótico virtual inclui exibir um vista em perspectiva de primeira pessoa do ambiente cirúrgico robótico virtual a partir de um primeiro ponto de observação dentro do ambiente cirúrgico robótico virtual, exibir uma primeira vista de janela do ambiente cirúrgico robótico virtual a partir de um segundo ponto de observação e exibir uma segunda vista de janela do ambiente cirúrgico robótico virtual a partir de um terceiro ponto de observação. As primeira e segunda vistas de janela podem ser exibidas nas respectivas regiões da vista em perspectiva em primeira pessoa exibida. Adicionalmente, o método pode incluir, em resposta a uma entrada do usuário associando as primeira e segunda vistas de janela, sequencialmente ligando as primeira e segunda vistas de janela para gerar uma trajetória entre os segundo e terceiro pontos de observação. As vistas de janela do ambiente cirúrgico robótico virtual podem ser exibidas em diferentes fatores de escala (por exemplo, zoom, níveis), e podem oferecer vistas do ambiente virtual a partir de qualquer ponto de observação adequado no ambiente virtual, tal como dentro do paciente virtual, em cima do paciente virtual, etc.
[0012] Em resposta a uma entrada do usuário indicando seleção de uma vista de janela particular, o método pode incluir exibir uma nova vista em perspectiva em primeira pessoa do ambiente virtual a partir do ponto de observação da vista de janela selecionada. Em outras palavras, as vistas de janela podem, por exemplo, operar como portais facilitando o transporte entre diferentes pontos de observação dentro do ambiente virtual.
[0013] Como outro exemplo de interação com o usuário entre um usuário e o ambiente cirúrgico robótico virtual, uma variação de um método para facilitar visualização de um ambiente cirúrgico robótico virtual inclui exibir uma vista em perspectiva em primeira pessoa do
Petição 870190110594, de 30/10/2019, pág. 13/139
6/86 ambiente cirúrgico robótico virtual a partir de um primeiro ponto de observação dentro do ambiente cirúrgico robótico virtual, receber uma entrada do usuário indicando a colocação de uma câmera virtual em um segundo ponto de observação dentro do ambiente cirúrgico robótico virtual diferente do primeiro ponto de observação, gerar uma vista em perspectiva da câmera virtual do ambiente cirúrgico robótico virtual a partir do segundo ponto de observação, e exibir a vista em perspectiva da câmera virtual em uma região da vista em perspectiva em primeira pessoa exibida. A vista da câmera pode, por exemplo, proporcionar uma vista suplementar do ambiente virtual para o usuário que permite ao usuário monitorar vários aspectos do ambiente simultaneamente enquanto mantendo foco principal em uma primeira vista em perspectiva principal. Em algumas variações, o método pode ainda incluir receber uma entrada do usuário indicando uma seleção de um tipo de câmera virtual (por exemplo, uma câmera de cinema configurada para ser colocada fora de um paciente virtual, uma câmera endoscópica configurada para ser colocada dentro de um paciente virtual, uma câmera de 360 graus, etc.) e exibir um modelo virtual do tipo de câmera virtual selecionado no segundo ponto de observação dentro do ambiente cirúrgico robótico virtual. Outros exemplos de interações do usuário com o ambiente virtual são descritos neste documento.
[0014] Em outra variação de um sistema de realidade virtual, o sistema de realidade virtual pode similar um ambiente cirúrgico robótico no qual um usuário pode operar tanto um instrumento cirúrgico roboticamente controlado utilizando um controlador manual como um instrumento cirúrgico laparoscópico manual (por exemplo, enquanto adjacente a uma mesa do paciente, ou sobre o leito). Por exemplo, um sistema de realidade virtual para simular um ambiente cirúrgico robótico pode incluir um controlador de realidade virtual configurado para gerar um ambiente cirúrgico robótico virtual compreendendo pelo me
Petição 870190110594, de 30/10/2019, pág. 14/139
7/86 nos um braço robótico virtual e pelo menos uma ferramenta laparoscópica manual virtual, um primeiro dispositivo manual comunicativamente acoplado com o controlador de realidade virtual para manipular o pelo menos um braço robótico virtual no ambiente cirúrgico robótico virtual, e um segundo dispositivo manual compreendendo uma parte manual e um componente da ferramenta representativo de pelo menos uma parte de uma ferramenta laparoscópica manual, em que o segundo dispositivo manual é comunicativamente acoplado com o controlador de realidade virtual para manipular a pelo menos uma ferramenta laparoscópica manual virtual no ambiente cirúrgico robótico virtual. Por exemplo, em algumas variações, o componente da ferramenta pode incluir um eixo da ferramenta e um adaptador de eixo para acoplar o eixo da ferramenta com a parte manual do segundo dispositivo manual (por exemplo, o adaptador de eixo pode incluir prendedores). O segundo dispositivo manual pode ser uma ferramenta laparoscópica manual funcional ou uma maquete (por exemplo, cópia fiel ou versão genérica) de uma ferramenta laparoscópica manual, cujos movimentos (por exemplo, no componente da ferramenta) podem ser mapeados pelo controlador de realidade virtual para corresponderem aos movimentos da ferramenta laparoscópica manual virtual.
[0015] O segundo dispositivo manual pode ser modular. Por exemplo, o componente da ferramenta pode ser removível a partir da parte manual do segundo dispositivo manual, desse modo permitindo que o segundo dispositivo manual funcione como um dispositivo laparoscópico manual (para controlar uma ferramenta laparoscópica manual virtual) quando o componente da ferramenta é conectado com a parte manual, bem como um dispositivo manual não laparoscópico (por exemplo, para controlar uma ferramenta roboticamente controlada ou braço robótico) quando o componente da ferramenta é desacoplado da parte manual. Em algumas variações, a parte manual do segundo
Petição 870190110594, de 30/10/2019, pág. 15/139
8/86 dispositivo manual pode ser substancialmente similar ao primeiro dispositivo manual.
[0016] A parte manual do segundo dispositivo manual pode incluir um componente interativo, tal como um gatilho ou botão, o qual atua uma função da ferramenta laparoscópica manual virtual em resposta ao engate do componente interativo por um usuário. Por exemplo, um gatilho na parte manual do segundo dispositivo manual pode ser mapeado para um gatilho virtual na ferramenta laparoscópica manual virtual. Como um exemplo ilustrativo, em uma variação na qual a ferramenta laparoscópica manual virtual é um grampeador laparoscópico manual virtual, um gatilho na parte manual pode ser mapeado para ativar um grampeador virtual no ambiente virtual. Outros aspectos do sistema podem ainda aproximar a configuração da ferramenta virtual no ambiente virtual. Por exemplo, o sistema de realidade virtual pode ainda incluir um simulador de paciente (por exemplo, abdome de paciente simulado) incluindo uma cânula configurada para receber pelo menos uma parte do componente da ferramenta do segundo dispositivo manual, para desse modo ainda simular o sentimento do usuário de uma ferramenta laparoscópica manual.
[0017] Geralmente, um método implementado por computador para operar um ambiente cirúrgico robótico virtual pode incluir gerar um ambiente cirúrgico robótico virtual utilizando um aplicativo cliente, em que o ambiente cirúrgico robótico virtual inclui pelo menos um componente robótico virtual, e passar informação entre dois aplicativos de software de modo a efetuar os movimentos do componente robótico virtual. Por exemplo, em resposta a um comando do usuário para mover o pelo menos um componente robótico virtual no ambiente cirúrgico robótico virtual, o método pode incluir passar a informação de condição com respeito ao pelo menos um componente robótico virtual a partir do aplicativo cliente para um aplicativo do servidor, gerar um
Petição 870190110594, de 30/10/2019, pág. 16/139
9/86 comando de atuação baseado no comando do usuário e na informação de condição utilizando o aplicativo do servidor, passar o comando de atuação a partir do aplicativo do servidor para o aplicativo cliente, e mover o pelo menos um componente robótico virtual baseado no comando de atuação. O aplicativo cliente e o aplicativo do servidor podem ser executados em um dispositivo processador compartilhado, ou em dispositivos processadores separados.
[0018] Em algumas variações, passar a informação de condição e/ou passar o comando de atuação pode incluir ativar uma interface de programação de aplicativo (API) para suportar comunicação entre os aplicativos cliente e do servidor. A PAI pode incluir uma ou mais definições de estruturas de dados para componentes robóticos virtual e para outros componentes virtuais no ambiente virtual. Por exemplo, a API pode incluir várias estruturas de dados para um braço robótico virtual, um segmento de braço robótico virtual (por exemplo, elo), uma mesa de paciente virtual, uma cânula virtual, e/ou um instrumento cirúrgico virtual. Como outro exemplo, a PAI pode incluir uma estrutura de dados para um ponto de contato virtual para permitir manipulação de pelo menos um componente robótico virtual (por exemplo, braço robótico virtual) ou outro componente virtual.
[0019] Por exemplo, o método pode incluir passar informação de condição com respeito a um braço robótico virtual, tal como posição e orientação (por exemplo, posição do braço robótico virtual). O aplicativo cliente pode passar tal informação de condição para o aplicativo do servidor, em consequência do que o aplicativo do servidor pode gerar um comando de atuação baseado em cinemática associada com o braço robótico virtual.
[0020] Como descrito neste documento, existem várias aplicações e usos para o sistema de realidade virtual. Em uma variação, o sistema de realidade virtual pode ser utilizado para agilizar o ciclo P&D du
Petição 870190110594, de 30/10/2019, pág. 17/139
10/86 rante o desenvolvimento de um sistema cirúrgico robótico, tal como por permitir simulação de projeto potencial sem o tempo e o gasto significativo de protótipos físicos. Por exemplo, um método para projetar um sistema cirúrgico robótico pode incluir gerar um modelo virtual de um sistema cirúrgico robótico, testar o modelo virtual do sistema cirúrgico robótico em um ambiente de sala de operação virtual, modificar o modelo virtual do sistema cirúrgico robótico baseado no teste, e gerar um modelo real do sistema cirúrgico robótico baseado no modelo virtual modificado. Testar o modelo virtual pode, por exemplo, envolver executar um procedimento cirúrgico virtual utilizando um braço robótico virtual e um instrumento cirúrgico virtual suportado pelo braço robótico virtual, tal como através do aplicativo cliente descrito neste documento. Durante um teste, o sistema pode detectar um ou mais eventos de colisão envolvendo o braço robótico virtual, o que pode, por exemplo, ativar uma modificação para o modelo virtual (por exemplo, modificar o braço robótico virtual em comprimento do elo, diâmetro, etc.) em resposta ao evento de colisão detectado. Teste adicional do modelo virtual modificado então pode ser executado, para desse modo confirmar se a modificação reduziu a probabilidade do evento de colisão correndo durante o procedimento cirúrgico virtual. Por consequência, testar e modificar projetos de sistema cirúrgico virtual em um ambiente virtual pode ser utilizado para identificar problemas antes de testar protótipos físicos do projeto.
[0021] Em outra variação, o sistema de realidade virtual pode ser utilizado para testar um modo de controle para um componente cirúrgico robótico. Por exemplo, um método para testar um modo de controle para um componente cirúrgico robótico pode incluir gerar um ambiente cirúrgico robótico virtual, o ambiente cirúrgico robótico virtual compreendendo pelo menos um componente robótico virtual correspondendo ao componente cirúrgico robótico, emular um modo de con
Petição 870190110594, de 30/10/2019, pág. 18/139
11/86 trole para o componente cirúrgico robótico no ambiente cirúrgico robótico virtual, e, em resposta a um comando do usuário para mover o pelo menos um componente robótico virtual, mover o pelo menos um componente robótico virtual de acordo com o modo de controle emulado. Em algumas variações, mover o componente robótico virtual pode incluir passar informação de condição com respeito ao pelo menos um componente robótico virtual a partir de um primeiro aplicativo (por exemplo, aplicativo de ambiente operacional virtual) para um segundo aplicativo (por exemplo, aplicativo de cinemática), gerar um comando de atuação baseado na informação de condição e no modo de controle emulado, passar o comando de atuação a partir do segundo aplicativo para o primeiro aplicativo, e mover o pelo menos um componente robótico virtual no ambiente cirúrgico robótico virtual baseado no comando de atuação.
[0022] Por exemplo, o modo de controle a ser testado pode ser uma trajetória segundo o modo de controle para um braço robótico. Ao seguir a trajetória, o movimento do braço robótico pode ser programado e então emulado utilizando o sistema de realidade virtual. Por consequência, quando o sistema é utilizado para emular um modo de controle seguindo a trajetória, o comando de atuação gerado por um aplicativo de cinemática pode incluir gerar um comando atuado para cada uma das várias junções virtuais no braço robótico virtual. Este conjunto de comandos atuados pode ser implementado por um aplicativo de ambiente de operação virtual para mover o braço robótico virtual no ambiente virtual, desse modo permitindo teste em relação à colisão, volume ou espaço de trabalho de movimento, etc.
[0023] Outras variações e exemplos de sistemas de realidade virtual, seus modos e interações com o usuário, e aplicações e utilizações do sistema de realidade virtual, são descritos em detalhes adicionais neste documento.
Petição 870190110594, de 30/10/2019, pág. 19/139
12/86
BREVE DESCRIÇÃO DOS DESENHOS
[0024] A FIGURA 1A representa um exemplo de uma disposição de ambiente de operação com um sistema cirúrgico robótico e de um console do cirurgião. A FIGURA 1B é uma ilustração esquemática de uma variação ilustrativa de um manipulador de braço robótico, do controlador de ferramenta, e da cânula com uma ferramenta cirúrgica.
[0025] A FIGURA 2A é uma ilustração esquemática de uma variação de um sistema de realidade virtual. A FIGURA 2B é uma ilustração esquemática de um vídeo imersivo para exibir uma vista imersiva de um ambiente de realidade virtual.
[0026] A FIGURA 3 é uma ilustração esquemática de componentes de um sistema de realidade virtual.
[0027] A FIGURA 4A é uma estrutura ilustrativa para uma comunicação entre um aplicativo de ambiente de realidade virtual e um aplicativo de cinemática para uso em um sistema de realidade virtual. As FIGURAS 4B e 4C são tabelas resumindo estruturas e campos de dados ilustrativos para uma interface de programa aplicativo para comunicação entre o aplicativo de ambiente de realidade virtual e o aplicativo de cinemática.
[0028] A FIGURA 5A é uma ilustração esquemática de outra variação de um sistema de realidade virtual incluindo uma variação ilustrativa de um controlador laparoscópico manual. A FIGURA 5B é uma ilustração esquemática de um vídeo imersivo para exibir uma vista imersiva de um ambiente de realidade virtual incluindo uma ferramenta laparoscópica manual virtual controlada pelo controlador laparoscópico manual.
[0029] A FIGURA 6A é uma vista em perspectiva de uma variação ilustrativa de um controlador laparoscópico manual. A FIGURA 6B é uma ilustração esquemática de uma ferramenta laparoscópica manual virtual sobreposta na parte do controlador laparoscópico manual apre
Petição 870190110594, de 30/10/2019, pág. 20/139
13/86 sentado na FIGURA 6A. 6C a 6E são uma vista lateral, uma vista em perspectiva parcial detalhada, e uma vista em seção transversal parcial, respectivamente, do controlador laparoscópico manual apresentado na FIGURA 6A.
[0030] A FIGURA 7 é uma ilustração esquemática de outra variação de um sistema de realidade virtual fazendo interface com um ambiente cirúrgico robótico.
[0031] A FIGURA 8 é uma ilustração esquemática de um menu exibido para seleção de um ou mais modos de uma variação de um sistema de realidade virtual.
[0032] As FIGURAS 9A a 9C são ilustrações esquemáticas de um ambiente cirúrgico robótico virtual com portais ilustrativos.
[0033] As FIGURAS 10A e 10B são ilustrações esquemáticas de um ambiente cirúrgico robótico virtual ilustrativo visto em um modo de voo. A FIGURA 10C é uma ilustração esquemática de uma região de transição para modificar uma vista do ambiente cirúrgico robótico virtual ilustrativo no modo de voo.
[0034] A FIGURA 11 é uma ilustração esquemática de um ambiente cirúrgico robótico virtual visto a partir de um ponto de observação proporcionando uma vista de casa de boneca de uma sala de operação virtual.
[0035] A FIGURA 12 é uma ilustração esquemática de uma vista de um ambiente cirúrgico robótico virtual com um visor transparente frontal para exibir vistas suplementares.
[0036] A FIGURA 13 é uma ilustração esquemática de um vídeo proporcionado por uma variação de um sistema de realidade virtual operando em um modo de estação de comando virtual.
[0037] A FIGURA 14 é um fluxograma de uma variação ilustrativa de um método para operar um menu de modo de usuário para seleção de modos de usuário em um sistema de realidade virtual.
Petição 870190110594, de 30/10/2019, pág. 21/139
14/86
[0038] A FIGURA 15 é um fluxograma de uma variação ilustrativa de um método para operar em um modo de rotação de vista do ambiente em um sistema de realidade virtual.
[0039] A FIGURA 16 é um fluxograma de uma variação ilustrativa de um método para operar um modo de usuário permitindo pontos instantâneos em um ambiente virtual.
DESCRIÇÃO DETALHADA
[0040] Exemplos de vários aspectos e variações da invenção são descritos neste documento e ilustrados nos desenhos acompanhantes. A descrição seguinte não é pretendida para limitar a invenção a essas modalidades, mas ao invés disso, para permitir que os versados na técnica produzam e utilizem essa invenção.
Vista geral do sistema cirúrgico robótico
[0041] Um sistema cirúrgico robótico e ambiente cirúrgico ilustrativos são ilustrados na FIGURA 1A. Como apresentado, um sistema cirúrgico robótico 150 pode incluir um ou mais braços robóticos 160 localizados em uma plataforma cirúrgica (por exemplo, mesa, leito, etc.), em que atuadores ou ferramentas cirúrgicas são conectados com as extremidades distais dos braços robóticos 160 para executar um procedimento cirúrgico. Por exemplo, o sistema cirúrgico robótico 150 pode incluir, como apresentado no esquema ilustrativo da FIGURA 1B, pelo menos um braço robótico 160 acoplado com uma plataforma cirúrgica, e um controlador de ferramenta 170 geralmente conectado com uma extremidade distal do braço robótico 160. Uma cânula 100 acoplada com a extremidade do controlador de ferramenta 170 pode receber e orientar um instrumento cirúrgico 190 (por exemplo, atuador, câmera, etc.). Além disso, o braço robótico 160 pode incluir vários elos que são atuados de modo a posicionar e orientar o controlador de ferramenta 170, o qual atual o instrumento cirúrgico 190. O sistema cirúrgico robótico pode ainda incluir uma torre de controle 152 (por
Petição 870190110594, de 30/10/2019, pág. 22/139
15/86 exemplo, incluindo uma fonte de alimentação, equipamento de computação, etc.) e/ou outro equipamento adequado para suportar funcionalidade dos componentes robóticos.
[0042] Em algumas variações, um usuário (tal como um cirurgião ou outro operador) pode utilizar um console do usuário 100 para remotamente manipular os braços robóticos 160 e/ou os instrumentos cirúrgicos (por exemplo, tele-operação). O console do usuário 100 pode estar localizado na mesma sala de procedimento que o sistema robótico 150, como apresentado na FIGURA 1A. Em outras modalidades, o console do usuário 100 pode estar localizado em uma sala adjacente ou próxima, ou tele-operado a partir de uma localização remota em um prédio, cidade, ou país diferente. Em um exemplo, o console do usuário 100 compreende um assento 110, controles operados pelos pés 120, um ou mais dispositivos de interface manual com o usuário 122, e pelo menos um vídeo do usuário 130 configurado para exibir, por exemplo, uma vista do local cirúrgico dentro de um paciente. Por exemplo, como apresentado no console do usuário ilustrativo apresentado na FIGURA 1A, um usuário localizado no assento 10 e visualizando o vídeo do usuário 130 pode manipular os controles operados pelos pés 120 e/ou os dispositivos de interface manual com o usuário para remotamente controlar os braços robóticos 160 e/ou os instrumentos cirúrgicos.
[0043] Em algumas variações, um usuário pode operar o sistema cirúrgico robótico 150 em um modo sobre o leito (OTB), no qual o usuário está no lado do paciente e simultaneamente manipulando um controlador de ferramenta roboticamente acionado / atuador conectado com o mesmo (por exemplo, com um dispositivo de interface manual com o usuário 122 mantido em uma mão) e uma ferramenta laparoscópica manual. Por exemplo, a mão esquerda do usuário pode estar manipulando um dispositivo de interface manual com o usuário 122
Petição 870190110594, de 30/10/2019, pág. 23/139
16/86 para controlar um componente cirúrgico robótico, enquanto a mão direita do usuário pode estar manipulando uma ferramenta laparoscópica manual. Assim, nessas variações, o usuário pode executar tanto a MIS assistida por robô como as técnicas laparoscópicas manuais em relação a um paciente.
[0044] Durante um procedimento ou cirurgia ilustrativa, o paciente é preparado e guarnecido em um modo estéril, e anestesia é realizada. O acesso inicial ao local cirúrgico pode ser executado manualmente com o sistema robótico 150 em uma configuração recolhida ou configuração retraída para facilitar o acesso ao local cirúrgico. Uma vez que o acesso esteja completo, o posicionamento inicial e/ou preparação do sistema robótico pode ser executado. Durante o procedimento cirúrgico, um cirurgião ou outro usuário no console do usuário 100 pode utilizar os controles operados pelos pés 120 e/ou os dispositivos de interface com o usuário 122 para manipular vários atuadores e/ou sistema de representação de imagem para executar o procedimento. Assistência manual também pode ser proporcionada na mesa de procedimento por equipe com vestimenta estéril, a qual pode executar tarefas incluindo, mas não limitadas a retrair órgãos, ou executar reposicionamento manual ou troca de ferramenta envolvendo um ou mais braços robóticos 160. Equipe não esterilizada também pode estar presente para ajudar o cirurgião no console de controle 100. Quando o procedimento ou cirurgia está completa, o sistema robótico 150 e/ou o console do usuário 100 podem ser configurados ou estabelecidos em um estado para facilitar um ou mais procedimentos pósoperatórios, incluindo, mas não limitado à limpeza e/ou esterilização do sistema robótico 150, e/ou entrada e impressão de registro de cuidados com a saúde, seja eletrônico ou cópia impressa, tal como via o console do usuário 100.
[0045] Na FIGURA 1A, os braços robóticos 160 são apresentados
Petição 870190110594, de 30/10/2019, pág. 24/139
17/86 com um sistema montado na mesa, mas em outras modalidades, os braços robóticos podem ser montados em um carrinho, no teto, ou na parede lateral, ou em outras superfícies de suporte adequadas. A comunicação entre o sistema robótico 150, o console do usuário 100 e quaisquer outros vídeos pode ser via conexões com uso de fios e/ou sem uso de fios. Quaisquer conexões com uso de fios podem ser opcionalmente embutidas no piso e/ou nas paredes ou no teto. A comunicação entre o console do usuário 100 e o sistema robótico 150 pode ser com uso de fios e/ou sem uso de fios, e pode ser proprietária e/ou executada utilizando qualquer um dentre vários protocolos de comunicação de dados. Ainda em outras variações, o console do usuário 100 não inclui um vídeo integrado 130, mas pode proporcionar uma saída de vídeo que pode ser conectada com a saída para um ou mais vídeos genéricos, incluindo vídeos remotos acessíveis via a internet ou rede. A saída ou alimentação de vídeo também pode ser criptografada para garantir privacidade e toda ou partes da saída de vídeo podem ser salvar em um servidor ou sistema eletrônicos de registros médicos.
[0046] Em outros exemplos, consoles de usuário adicionais 100 podem ser proporcionados, por exemplo, para controlar instrumentos cirúrgicos adicionais, e/ou para assumir o controle de um ou mais instrumentos cirúrgicos em um console do usuário principal. Isto irá permitir, por exemplo, que um cirurgião assuma ou ilustre uma técnica durante um procedimento cirúrgico com estudantes de medicina e médicos em treinamento, ou para ajudar durante cirurgias complexas requerendo vários cirurgiões atuando simultaneamente ou de uma maneira coordenada.
Sistema de realidade virtual
[0047] Um sistema de realidade virtual para proporcionar um ambiente cirúrgico robótico virtual é descrito neste documento. Como apresentado na FIGURA 2A, um sistema de realidade virtual 200 pode
Petição 870190110594, de 30/10/2019, pág. 25/139
18/86 incluir um processador de realidade virtual 210 (por exemplo, um processador em um computador implementando instruções armazenadas na memória) para gerar um ambiente cirúrgico robótico virtual , um vídeo montado na cabeça 220 vestível por um usuário U, e um ou mais controladores manuais 230 manipuláveis pelo usuário U para interagir com o ambiente cirúrgico robótico virtual. Como apresentado na FIGURA 2B, o vídeo montado na cabeça 220 pode incluir um vídeo imersivo 222 para exibir o ambiente cirúrgico robótico virtual para o usuário U (por exemplo, com uma vista em perspectiva em primeira pessoa do ambiente virtual). O vídeo imersivo pode, por exemplo, ser um vídeo estereoscópico proporcionado por montagens de óculos. Em algumas variações, o sistema de realidade virtual 200 pode adicionalmente ou alternativamente incluir um vídeo externo 240 para exibir o ambiente cirúrgico robótico virtual. O vídeo imersivo 222 e o vídeo externo 240, se ambos estiverem presentes, podem ser sincronizados para apresentar o mesmo conteúdo ou conteúdo similar.
[0048] Como descrito em detalhes adicionais neste documento, o sistema de realidade virtual (e variações do mesmo, como ainda descrito neste documento) pode servir como uma ferramenta útil com respeito à cirurgia robótica, em aplicações incluindo, mas não limitadas ao treinamento, simulação, e/ou colaboração entre várias pessoas. Exemplos mais específicos de aplicações e usos do sistema de realidade virtual são descritos neste documento.
[0049] Geralmente, o processador de realidade virtual é configurado para gerar um ambiente cirúrgico robótico virtual dentro do qual um usuário pode navegar ao redor de uma sala de operação virtual e interagir com objetos virtuais via o vídeo montado na cabeça e/ou controladores manuais. Por exemplo,um sistema cirúrgico robótico virtual pode ser integrado em uma sala de operação virtual, com um ou mais componentes robóticos virtuais possuindo malhas tridimensionais e
Petição 870190110594, de 30/10/2019, pág. 26/139
19/86 características selecionadas (por exemplo, dimensões e restrições cinemáticas de braços robóticos virtuais e/ou ferramentas cirúrgicas, número de disposição dos mesmos, etc.). Outros objetos virtuais, tais como torres de controle virtuais ou outro equipamento virtual representando equipamento suportando o sistema cirúrgico robótico, um paciente virtual, uma mesa virtual ou outra superfície para o paciente, equipe medida virtual, um console do usuário virtual, etc., também podem ser integrados na sala de operação de realidade virtual.
[0050] Em algumas variações, o vídeo montado na cabeça 220 e/ou os controladores manuais 230 podem ser versões modificadas desses incluídos em qualquer sistema de hardware de realidade virtual adequado que seja comercialmente disponível para aplicações incluindo ambientes de realidade virtual e aumentada (por exemplo, para propósitos de jogo e/ou militar) e são familiares para os versados na técnica. Por exemplo, o vídeo montado na cabeça 220 e/ou os controladores manuais 230 podem ser modificados para permitir interação por um usuário com um ambiente cirúrgico robótico virtual (por exemplo, um controlador manual 230 pode ser modificado como descrito abaixo para operar como um controlador laparoscópico manual). O controlador manual pode incluir, por exemplo, um dispositivo transportado (por exemplo, bastão, dispositivo remoto, etc.) e/ou uma vestuário utilizado na mão do usuário (por exemplo, luvas, anéis, pulseiras, etc.) e incluindo sensores e/ou configurado para cooperar com sensores externos para desse modo proporcionar rastreamento da mão (mãos) do usuário, de dedo(s) individual, pulso(s), etc. Outros controladores adequados podem adicionalmente ou alternativamente serem utilizados (por exemplo, luvas configuradas para proporcionar rastreamento do braço(s) do usuário).
[0051] Geralmente, um usuário U pode vestir o vídeo montado na cabeça 220 e transportar (ou usar) pelo menos um controlador manual
Petição 870190110594, de 30/10/2019, pág. 27/139
20/86
230 enquanto ele ou ela se move ao redor de um espaço de trabalho físico, tal como uma sala de treinamento. Enquanto utilizando o vídeo montado na cabeça 220, o usuário pode ver uma vista em perspectiva em primeira pessoa imersiva do ambiente cirúrgico robótico virtual gerada pelo processador de realidade virtual 210 e exibida no vídeo imersivo 222. Como apresentado na FIGURA 2B, a vista exibida no vídeo imersivo 222 pode incluir uma ou mais representações gráficas 203’ dos controladores manuais (por exemplo, modelos virtuais dos controladores manuais, modelos virtuais das mãos humanas no lugar dos controladores manuais ou dos controladores manuais de segurar, etc.). Uma vista em perspectiva em primeira pessoa similar pode ser exibida em um vídeo externo 240 (por exemplos, para assistentes, mentores, ou outras pessoas adequadas para visualização). À medida que o usuário se move e navega dentro do espaço de trabalho, o processador de realidade virtual 210 pode alterar a vista do ambiente cirúrgico robótico virtual exibida no vídeo imersivo 222 baseado pelo menos em parte na localização e orientação do vídeo montado na cabeça (e, por consequência, na localização e orientação do usuário), desse modo permitindo ao usuário sentir como se ele ou elas estivesse explorando e se movendo dentro do ambiente cirúrgico robótico virtual.
[0052] Adicionalmente, o usuário pode ainda interagir com o ambiente cirúrgico robótico virtual por se mover e/ou manipular os controladores manuais 230. Por exemplo, os controladores manuais 230 podem incluir um ou mais botões, acionadores, componentes sensíveis ao toque, rodas de rolagem, chaves, e/ou outros componentes interativos adequados que o usuário pode manipular para interagir com o ambiente virtual. À medida que o usuário move os controladores manuais 230, o processador de realidade virtual 210 pode mover a representação gráfica 230’ dos controladores manuais (um cursor ou outro
Petição 870190110594, de 30/10/2019, pág. 28/139
21/86 ícone representativo) dentro do ambiente cirúrgico robótico virtual. Além disso, empregar um ou mais componentes interativos dos controladores manuais 230 pode permitir ao usuário manipular aspectos do ambiente virtual. Por exemplo, o usuário pode mover um controlador manual 230 até que a representação gráfica 230’ do controlador manual esteja próxima de um ponto de contato virtual (por exemplo, localização selecionável) em um braço robótico virtual no ambiente, empregar um acionador ou outro componente interativo no controlador manual 230 para selecionar o ponto de contato virtual, e então mover o controlador manual 230 enquanto empregando o acionador para arrastar ou de outro modo manipular o braço robótico virtual via o ponto de contato virtual. Outros exemplos de interações do usuário com o ambiente cirúrgico robótico virtual são descritos abaixo em detalhes adicionais.
[0053] Em algumas variações, o sistema de realidade virtual pode empregar outros sentidos do usuário. Por exemplo, o sistema de realidade virtual pode incluir um ou mais dispositivos de áudio (por exemplo, fones de ouvido para o usuário, alto-falantes, etc.) para retransmitir realimentação de áudio para o usuário. Como outro exemplo, o sistema de realidade virtual pode proporcionar realimentação táctil, tal como vibração, em um ou mais controladores manuais 230, no vídeo montado na cabeça 220, ou em outros dispositivos hápticos entrando em contato com o usuário (por exemplo, luvas, pulseiras, etc.).
Processador de realidade virtual
[0054] O processador de realidade virtual 210 pode ser configurado para gerar um ambiente cirúrgico robótico virtual dentro do qual um usuário pode navegar ao redor de uma sala de operação virtual e interagir com objetos virtuais. Um esquema geral ilustrando uma interação ilustrativa entre o processador de realidade virtual e pelo menos alguns componentes do sistema de realidade virtual é apresentado na
Petição 870190110594, de 30/10/2019, pág. 29/139
22/86
FIGURA 3.
[0055] Em algumas variações, o processador de realidade virtual 210 pode estar em comunicação com componentes de hardware tais como o vídeo montado na cabeça 220, e/ou os controladores manuais 230. Por exemplo, o processador de realidade virtual 210 pode receber entrada a partir de sensores no vídeo montado na cabeça 220 para determinar a localização e a orientação do usuário dentro do espaço de trabalho físico, as quais podem ser utilizadas para gerar uma vista em perspectiva em primeira pessoa adequada correspondente do ambiente virtual para exibição no vídeo montado na cabeça 220 para o usuário. Como outro exemplo, o controle de realidade virtual 210 pode receber entrada a partir de sensores nos controladores manuais 230 para determinar a localização e a orientação dos controladores manuais 230, as quais podem ser utilizadas para gerar representações gráficas adequadas dos controladores manuais 230 para exibição no vídeo montado na cabeça 220 para o usuário, bem como conversão da entrada do usuário (para interagir com o ambiente virtual) em modificações correspondentes do ambiente cirúrgico robótico virtual. O processador de realidade virtual 210 pode ser acoplado com um vídeo externo 240 (por exemplo, uma tela de monitor) que é visível para o usuário de uma maneira não imersiva e/ou por outras pessoas tais como assistentes ou mentores, os quais podem desejar visualizar as interações do usuário com o ambiente virtual.
[0056] Em algumas variações, o processador de realidade virtual 210 (ou várias máquinas processadoras) pode ser configurado para executar um ou mais aplicativos de software para gerar o ambiente cirúrgico robótico virtual. Por exemplo, como apresentado na FIGURA 4, o processador de realidade virtual 210 pode utilizar pelo menos dois aplicativos de software, incluindo um aplicativo de ambiente operacional virtual 410 e um aplicativo de cinemática 420. O aplicativo de am
Petição 870190110594, de 30/10/2019, pág. 30/139
23/86 biente operacional virtual e o aplicativo de cinemática pode se comunicar via um modelo cliente - servidor. Por exemplo, o aplicativo de ambiente operacional virtual pode operar como um cliente, enquanto o aplicativo de cinemática pode operar como um servidor. O aplicativo de ambiente operacional virtual 410 e o aplicativo de cinemática 420 podem ser executados na mesma máquina de processamento, ou em máquinas de processamento separadas acopladas via uma rede de computadores (por exemplo, o cliente ou o servidor pode ser um dispositivo remoto, ou as máquinas podem estar em uma rede local de computadores). Adicionalmente, deve ser entendido que em outras variações, o aplicativo de ambiente de operação virtual 410 e/ou o aplicativo de cinemática 420 podem fazer interface com outros componentes de software. Em algumas variações, o aplicativo de ambiente de operação virtual 410 e o aplicativo de cinemática 520 podem invocar uma ou mais interfaces de programa aplicativo (APIs), as quais definem a maneira na qual os aplicativos se comunicam um com o outro.
[0057] O ambiente de operação virtual 410 pode permitir uma descrição ou definição do ambiente de sala de operação virtual (por exemplo, a sala de operação, mesa de operação, torre de controle ou outros componentes, console do usuário, braços robóticos, ligações adaptadoras da mesa acoplando braços robóticos com a mesa de operação, etc.). Pelo menos algumas descrições do ambiente de sala de operação virtual podem ser salvas (por exemplo, em uma base de dados de componentes de realidade virtual do modelo 202), e proporcionadas para o processador como arquivos de configuração. Por exemplo, em algumas variações, como apresentado na FIGURA 3, o processador de realidade virtual (tal como através do aplicativo de ambiente de operação virtual 410 descrito acima) pode estar em comunicação com a base de dados de componentes de realidade virtual do mo
Petição 870190110594, de 30/10/2019, pág. 31/139
24/86 delo 202 (por exemplo, armazenada em um servidor, disco rígido local ou remoto, ou em outra memória adequada). A base de dados de componentes de realidade virtual do modelo 202 pode armazenar um ou mais arquivos de configuração descrevendo componentes virtuais do ambiente cirúrgico robótico virtual. Por exemplo, a base de dados 202 pode armazenar arquivos descrevendo diferentes tipos de salas de operação (por exemplo, variando no formato da sala ou nas dimensões da sala), mesas de operação ou outras superfícies nas quais um paciente repousa (por exemplo, variando em tamanho, altura, superfícies, construção de material, etc.), torres de controle (por exemplo, variando em tamanho e formato), console do usuário (por exemplo, variando em desenho do assento do usuário), braços robóticos (por exemplo, desenho de ligações e junções do braço, número e disposição do mesmo, número e localização dos pontos de contato virtuais nos braços, etc.), ligações adaptadoras da mesa acoplando braços robóticos com uma mesa de operação (por exemplo,desenho das ligações adaptadoras da mesma e das junções, número e disposição das mesmas, etc.), tipos de paciente (por exemplo, variando em sexo, idade, peso, altura, medida de cintura, etc.) e/ou equipe médica (por exemplo, representação gráfica genérica de pessoas, representações gráficas de equipe médica real, etc.). Como um exemplo específico, um arquivo de configuração no Formato Unificado de Descrição de Robô (URDF) pode armazenar uma configuração de um braço robótico particular, incluindo definições ou valores para campos tais como número de ligações do braço, número de junções do braço conectando as ligações do braço, comprimento de cada ligação do braço, diâmetro ou medida de circunferência de cada ligação do braço, massa de cada ligação do braço, tipo de junção do braço (por exemplo, rolagem, arfagem e guinada, etc.), etc. Adicionalmente, as restrições cinemáticas podem ser carregadas como um envoltório sobre um componente
Petição 870190110594, de 30/10/2019, pág. 32/139
25/86 robótico virtual (por exemplo, braço) para ainda definir o comportamento cinemático do componente robótico virtual. Em outras variações, o processador de realidade virtual 210 pode receber quaisquer descrições adequadas de componentes virtuais para carregar e gerar no ambiente cirúrgico robótico virtual. Por consequência, o processador de realidade virtual 210 pode receber e utilizar diferentes combinações de arquivos de configuração e/ou outras descrições de componentes virtuais para gerar ambientes cirúrgicos robóticos virtuais.
[0058] Em algumas variações, como apresentado na FIGURA 3, o processador de realidade virtual 210 pode ainda ou alternativamente estar em comunicação com uma base de dados de registros de paciente 204, a qual pode armazenar informação específica de paciente. Tal informação específica de paciente pode incluir, por exemplo, dados de imagem do paciente (por exemplo, raio x, IMR, TC, ultrassom, etc.), históricos médicos, e/ou medidas do paciente (por exemplo, idade, peso, altura, etc.), apesar de outras informações específicas de paciente adequadas poderem adicionalmente ou alternativamente ser armazenadas na base de dados de registros de paciente 204. Quando gerando o ambiente cirúrgico robótico virtual, o processador de realidade virtual 210 pode receber informação específica do paciente a partir da base de dados de registros de paciente 204 e integrar pelo menos algumas das informações recebidas no ambiente de realidade virtual. Por exemplo, uma representação realística do corpo do paciente ou de outro tecido pode ser gerada e incorporada no ambiente de realidade virtual (por exemplo, um modelo 3D gerado a partir de uma pilha combinada de imagens 2D, tais como imagens de IRM), a qual pode ser útil, por exemplo, para determinar a disposição desejável de braços robóticos ao redor do paciente, colocação ideal da porta, etc., para um paciente particular, como ainda descrito neste documento. Como outro exemplo, dados de imagem do paciente podem ser sobrepostos em
Petição 870190110594, de 30/10/2019, pág. 33/139
26/86 uma parte do campo de vista do usuário do ambiente virtual (por exemplo, sobrepondo uma imagem de ultrassom de um tecido do paciente sobre o tecido do paciente virtual).
[0059] Em algumas variações, o processador de realidade virtual 210 pode incorporar um ou mais algoritmos cinemáticos via o aplicativo de cinemática 420 para pelo menos parcialmente descrever o comportamento de um ou mais componentes do sistema robótico virtual no ambiente cirúrgico robótico virtual. Por exemplo, um ou mais algoritmos podem definir como um braço robótico virtual reponde às interações com o usuário (por exemplo. Mover o braço robótico virtual pela seleção e manipulação de um ponto de contato no braço robótico virtual), ou como um braço robótico virtual opera em um modo de controle selecionado. Outros algoritmos cinemáticos, tais como esses definindo a operação de um controlador de ferramenta virtual, uma mesa de paciente virtual, ou outros componentes virtuais, pode ainda ou alternativamente ser incorporados no ambiente virtual. Por incorporar no ambiente virtual um ou mais algoritmos cinemáticos que de forma precisa descrevem o comportamento de um sistema cirúrgico robótico real (verdadeiro), o processador de realidade virtual 210 pode permitir ao sistema cirúrgico robótico virtual funcionar precisamente ou realisticamente comparado com uma implementação física de um sistema cirúrgico robótico verdadeiro. Por exemplo, o processador de realidade virtual 210 pode incorporar pelo menos um algoritmo de controle que representa ou corresponde a um ou mais modos de controle definindo movimentos de um componente robótico (por exemplo, braço) em um sistema cirúrgico robótico real.
[0060] Por exemplo, o aplicativo de cinemática 420 pode permitir uma descrição ou definição de um ou mais modos de controle virtuais, tal como para os braços robóticos virtuais ou para outros componentes virtuais no ambiente virtual. Geralmente, por exemplo, um modo de
Petição 870190110594, de 30/10/2019, pág. 34/139
27/86 controle para um braço robótico virtual pode corresponder a um bloco de função que permite que o braço robótico virtual execute ou realize uma tarefa particular. Por exemplo, como apresentado na FIGURA 4, um sistema de controle 430 pode incluir vários modos de controle virtuais 432, 434, 436, etc., governando a atuação de pelo menos uma junção no braço robótico virtual. Os modos de controle virtuais 432, 434, 436, etc., podem incluir pelo menos um modo primitivo (o qual governa o comportamento subjacente para atuação de pelo menos uma junção) e/ou pelo menos um modo de usuário (o qual governa comportamento em nível mais alto, específico da tarefa e pode utilizar um ou mais modos primitivos). Em algumas variações, um usuário pode ativar uma superfície de ponto de contato virtual de um braço robótico virtual ou outro objeto virtual, desse modo acionando um modo de controle particular (por exemplo, via uma máquina de estado ou outro controlador). Em algumas variações, um usuário pode diretamente selecionar um modo de controle particular através, por exemplo, de um menu exibido na vista em perspectiva em primeira pessoa do ambiente virtual.
[0061] Exemplos de modos de controle virtuais primitivos incluem, mas não estão limitados a um modo de comando de junção (o qual permite a um usuário diretamente atuar uma única junção virtual individualmente, e/ou várias junções virtuais coletivamente), um modo de compensação de gravidade (no qual o braço robótico virtual mantém ele próprio em uma posição particular, com posição e orientação particular das ligações e junções, sem se deslocar para baixo devido à gravidade simulada), e modo de acompanhamento de trajetória (no qual o braço robótico virtual pode se mover para seguir uma sequência de um ou mais comandos de trajetória cartesiana ou outros comandos). Exemplos de modos de usuário que incorporam um ou mais modos de controle primitivos incluem, mas não estão limitados ao mo
Petição 870190110594, de 30/10/2019, pág. 35/139
28/86 do de inatividade (no qual o braço robótico virtual pode permanecer em uma posição atual ou preestabelecida aguardando comandos adicionais), um modo de configuração (no qual o braço robótico virtual pode mudar para uma posição configurada preestabelecida ou para uma posição de gabarito predeterminada para um tipo particular de procedimento cirúrgico), e um modo fixo (no qual o braço robótico facilita o processo no qual o usuário conecta o braço robótico com uma peça, tal como com compensação de gravidade, etc.).
[0062] Geralmente, o aplicativo de ambiente de operação virtual 410 e o aplicativo de cinemática 420 podem se comunicar um com o outro via um protocolo de comunicação predefinido, tal como uma interface de programa aplicativo (APIs) que organiza informação (por exemplo, condição ou outras características) de objetos virtuais e outros aspectos do ambiente virtual. Por exemplo, a API pode incluir estruturas de dados que especificam como comunicar informação sobre objetos virtuais tal como um baço robótico virtual (no todo e/ou baseado em segmento por segmento), uma mesa virtual, um adaptado da mesa virtual conectando um braço virtual com a mesa virtual, uma cânula virtual, uma ferramenta virtual, um ponto de contato virtual para facilitar interação do usuário com o ambiente virtual, sistema de entrada do usuário, dispositivos controladores manuais, etc. Além disso, a API pode incluir uma ou mais estruturas de dados que especificam como comunicar informação sobre eventos no ambiente virtual (por exemplo, um evento de colisão entre duas entidades virtuais) ou outros aspectos se relacionando com o ambiente virtual (por exemplo, quadro de referência para exibir o ambiente virtual, estrutura do sistema de controle, etc.). Estruturas de dados ilustrativas e campos ilustrativos para conter suas informações são listados e descritos na FIGURA 4B e na FIGURA 4C, apesar de que deve ser entendido que outras variações da API podem incluir quaisquer tipos adequados,
Petição 870190110594, de 30/10/2019, pág. 36/139
29/86 nomes e números de estruturas de dados e de estruturas de campo ilustrativas.
[0063] Em algumas variações, como geralmente ilustrado esquematicamente na FIGURA 4A, o aplicativo de ambiente de operação virtual 410 passa informação de condição para o aplicativo de cinemática 420, e o aplicativo de cinemática 420 passa comandos para o aplicativo de ambiente de operação virtual 410 via a API, em que os comandos são gerados com base na informação de condição e subsequentemente utilizados pelo processador de realidade virtual 210 para gerar alterações no ambiente cirúrgico robótico virtual. Por exemplo, o método para incorporar um ou mais algoritmos cinemáticos em um ambiente cirúrgico robótico virtual para controle de um braço robótico virtual pode incluir passar informação de condição com respeito a pelo menos uma parte do braço robótico virtual a partir do aplicativo de ambiente de operação virtual 410 para o aplicativo de cinemática 420, por meio de algoritmo determinando um comando de atuação para atuar pelo menos uma junção virtual do braço robótico virtual, e passando o comando de atuação a partir do aplicativo de cinemática 420 para o aplicativo de ambiente de operação virtual 410. O processador de realidade virtual 210 pode subsequentemente mover o braço robótico virtual de acordo com o comando de atuação.
[0064] Como um exemplo ilustrativo para controlar um braço robótico virtual, um modo de controle de compensação de gravidade para um braço robótico virtual pode ser ativado, desse modo requerendo um ou mais comandos de atuação de junção virtual de modo a neutralizar as forças de gravidade simuladas nas junções virtuais no braço robótico virtual. O aplicativo de ambiente de operação virtual 410 pode passar para o aplicativo de cinemática 420 informação de condição relevante com respeito ao braço robótico virtual (por exemplo, posição de pelo menos uma parte do braço robótico virtual, posição da mesa
Petição 870190110594, de 30/10/2019, pág. 37/139
30/86 de paciente virtual junto a qual o braço robótico virtual é montado, posição de um ponto de contato virtual que o usuário pode ter que manipular para mover o braço robótico virtual, ângulos da junção entre as ligações adjacentes do braço virtual) e informação de condição (por exemplo, direção de força gravitacional simulada no braço robótico virtual). Baseado na informação de condição recebida a partir do aplicativo de ambiente de operação virtual 410 e nas propriedades cinemáticas e/ou dinâmicas conhecidas do braço robótico virtual e/ou da unidade de ferramenta virtual conectada com o braço robótico virtual (por exemplo, conhecidas a partir de um arquivo de configuração, etc.), o sistema de controle 430 pode por meio de algoritmos determinar qual força atuada em cada junção virtual é requerida para compensar a força gravitacional simulada atuando sobre a junção virtual. Por exemplo, o sistema de controle 430 pode utilizar um algoritmo de cinemática para frente, um algoritmo inverso, ou qualquer algoritmo adequado. Uma vez que o comando de força atuada para cada junção virtual relevante do braço robótico virtual seja determinada, o aplicativo de cinemática 420 pode enviar os comandos de força para o aplicativo de ambiente de operação virtual 410. O processador de realidade virtual subsequentemente pode atuar as junções virtuais do braço robótico virtual de acordo com os comandos de força, desse modo causando que o braço robótico virtual seja visualizado como mantendo sua posição atual independente da força gravitacional simulada no ambiente virtual (por exemplo, ao invés de cair ou desabar sob a força gravitacional simulada).
[0065] Outro exemplo de controlar um braço robótico virtual é o acompanhamento de trajetória para um braço robótico. No acompanhamento de trajetória, o movimento do braço robótico pode ser programado e então emulado utilizando o sistema de realidade virtual. Por consequência, quando o sistema é utilizado para emular um modo
Petição 870190110594, de 30/10/2019, pág. 38/139
31/86 de controle de planejamento de trajetória, o comando de atuação gerado por um aplicativo de cinemática pode incluir gerar um comando atuado para cada uma das várias junções virtuais no braço robótico virtual. Este conjunto de comandos atuados pode ser implementado por um aplicativo de ambiente de operação virtual para mover o braço robótico virtual no ambiente virtual, desse modo permitindo teste de colisão, volume ou espaço de trabalho de movimento, etc.
[0066] Outros algoritmos de controle virtual para o braço robótico virtual e/ou para outros componentes virtuais (por exemplo, ligações adaptadoras da mesa virtual acoplando o braço robótico virtual com uma mesa de operação virtual) podem ser implementados via comunicação similar entre o aplicativo de ambiente de operação virtual 410 e o aplicativo de cinemática 420.
[0067] Apesar de o processador de realidade virtual 210 ser geralmente referido neste documento como um único processador, deve ser entendido que em algumas variações, vários processadores podem ser utilizados para executar os processadores descritos neste documento. O um ou mais processadores podem incluir, por exemplo, um processador de um computador de propósito geral, de um computador de propósito especial ou controlador, ou outro aparelho ou componente de processamento de dados programável, etc. Geralmente, o um ou mais processadores podem ser configurados para executar instruções armazenadas em qualquer mídia legível por computador adequada. A mídia legível por computador pode incluir, por exemplo, mídia magnética, mídia ótica, mídia magnético-ótica e dispositivos de hardware que são especialmente configurados para armazenar e executar código de programa, tais como circuitos integrados de aplicação específica (ASICs), dispositivos lógicos programáveis (PLDs), dispositivos ROM e RAM, memória flash, EEPROMs, dispositivos óticos (por exemplo, CD ou DVD), unidades de disco rígido, unidades de disco
Petição 870190110594, de 30/10/2019, pág. 39/139
32/86 flexível, ou qualquer dispositivo adequado. Exemplos de código de programa de computador incluem código de máquina, tal como produzido por um compilador, e arquivos contendo código de alto nível que são executados por um computador utilizando um interpretador. Por exemplo, uma variação pode ser implementar utilizando C++, JAVA, ou outra linguagem de programação orientada a objeto adequada e ferramentas de desenvolvimento. Como outro exemplo, outra variação pode ser implementada em sistema de circuitos fisicamente gravados em vez, ou em combinação com as instruções de software executáveis por máquina.
Vídeo montado na cabeça e controladores manuais
[0068] Como apresentado na FIGURA 2A, um usuário U pode utilizar um vídeo montado na cabeça 220 e/ou segurar um ou mais controladores manuais 230. O vídeo montado na cabeça 220 e os controladores manuais 230 geralmente podem permitir a um usuário navegar e/ou interagir com o ambiente cirúrgico robótico virtual gerado pelo processador de realidade virtual 210. O vídeo montado na cabeça 220 e/ou os controladores manuais 230 podem comunicar sinais para o processador de realidade virtual 210 via uma conexão com uso de fios ou sem uso de fios.
[0069] Em algumas variações, o vídeo montado na cabeça 220 e/ou os controladores manuais 230 podem ser versões modificadas desses incluídos em qualquer sistema de hardware de realidade virtual adequado que seja comercialmente disponível para aplicações incluindo ambientes de realidade virtual e aumentada. Por exemplo, o vídeo montado na cabeça 220 e/ou os controladores manuais 230 podem ser modificados para permitir interação de um usuário com um ambiente cirúrgico robótico virtual (por exemplo, um controlador manual 230 pode ser modificado como descrito abaixo para operar como um controlador laparoscópico manual). Em algumas variações, o sistema
Petição 870190110594, de 30/10/2019, pág. 40/139
33/86 de realidade virtual pode ainda incluir um ou mais emissores de rastreamento 212 que emitem luz infravermelha em um espaço de trabalho para o usuário U. Os emissores de rastreamento 212 podem, por exemplo, ser montados em uma parede, teto, móvel, ou outra superfície de montagem adequada. Os sensores podem ser acoplados com superfícies voltadas para fora do vídeo montado na cabeça 220 e/ou dos controladores manuais 230 para detectar a luz infravermelha emitida. Baseado na localização de quaisquer sensores que detectem a luz emitida e quando tais sensores detectam a luz emitida após a luz ser emitida, o processador de realidade virtual 220 pode ser configurado para determinar (por exemplo, através de triangulação) a localização e a orientação do vídeo montado na cabeça 220 e/ou dos controladores manuais 230 dentro do espaço de trabalho. Em outras variações, outros meios adequados (por exemplo, outras tecnologias de sensor, tais como acelerômetros e giroscópios, outras disposições de sensor, etc.) podem ser utilizados para determinar a localização e a orientação do vídeo montado na cabeça 220 e dos controladores manuais 230.
[0070] Em algumas variações, o vídeo montado na cabeça 220 pode incluir tiras (por exemplo, com fivelas, elástico, encaixes, etc.) que facilitam a montagem do vídeo 220 junto à cabeça do usuário. Por exemplo, o vídeo montado na cabeça 220 pode ser estruturado similar a óculos de segurança, uma tiara ou fones, um chapéu, etc. O vídeo montado na cabeça 220 pode incluir duas montagens de fone de ouvido proporcionando vídeo imersivo estereoscópico, apesar de alternativamente poder incluir qualquer vídeo adequado.
[0071] Os controladores manuais 230 podem incluir componentes interados que o usuário pode manipular para interagir com o ambiente cirúrgico robótico virtual. Por exemplo, os controladores manuais 230 podem incluir um ou mais botões, acionadores, componentes sensí
Petição 870190110594, de 30/10/2019, pág. 41/139
34/86 veis ao toque, rodas de rolagem, chaves, e/ou outros componente interativos adequados. Adicionalmente, os controladores manuais 230 podem possuir qualquer um dentre vários fatores de forma, tais como bastão, pinças, formatos geralmente redondos (por exemplo, em formato de bola ou de ovo), etc. Em algumas variações, as representações gráficas 230’ exibidas no vídeo montado na cabeça 220 e/ou no vídeo externo 240 podem geralmente imitar o fator de forma dos controladores manuais reais verdadeiros 230. Em algumas variações, o controlador manual pode incluir um dispositivo transportado (por exemplo, bastão, dispositivo remoto, etc.) e/ou uma vestimenta utilizada na mão do usuário (por exemplo, luvas, anéis, pulseiras, etc.) e incluindo sensores e/ou configurados para cooperar com sensores externos para desse modo proporcionar rastreamento da mão (mãos) do usuário, de dedo(s) individual, pulso(s), etc. Outros controladores adequados podem ainda ou alternativamente ser utilizados (por exemplo, luvas configuradas para proporcionar rastreamento do braço(s) do usuário.
Controlador laparoscópico manual
[0072] Em algumas variações, como apresentado no esquema da FIGURA 5A, o controlador manual 230 pode ainda incluir pelo menos um componente da ferramenta 232 que é representativo de pelo menos uma parte de uma ferramenta laparoscópica manual, desse modo formando um controlador laparoscópico manual 234 que pode ser utilizado para controlar uma ferramenta laparoscópica manual virtual. Geralmente, por exemplo, o componente da ferramenta 232 pode funcionar para adaptar o controlador manual 230 a um controlador substancialmente similar em formar (por exemplo, usuário sente e toca) a uma ferramenta laparoscópica manual. O controlador laparoscópico manual 234 pode ser comunicativamente acoplado com o processador de realidade virtual 210 para manipular uma ferramenta laparoscópica
Petição 870190110594, de 30/10/2019, pág. 42/139
35/86 manual virtual no ambiente cirúrgico robótico virtual, e pode ajudar a permitir que o usuário sinta como se ele ou ela estivesse utilizando uma ferramenta laparoscópica manual real enquanto interagindo com o ambiente cirúrgico robótico virtual. Em algumas variações, o dispositivo laparoscópico manual pode ser uma maquete (por exemplo, versão em reprodução fiel ou generalizada) de uma ferramenta laparoscópica manual, enquanto em outras variações, o dispositivo laparoscópico manual pode ser uma ferramenta laparoscópica manual funcional. Os movimentos de pelo menos uma parte do controlador laparoscópico manual podem ser mapeados pelo controlador de realidade virtual para corresponderem aos movimentos da ferramenta laparoscópica virtual manual. Assim, em algumas variações, o sistema de realidade virtual pode simular o uso de uma ferramenta laparoscópica manual para MIS manual.
[0073] Como apresentado na FIGURA 5A, o controlador laparoscópico manual 234 pode ser utilizado com um paciente simulado configurado para ainda simular o sentimento de uma ferramenta laparoscópica manual virtual. Por exemplo, o controlador laparoscópico manual 234 pode ser inserido em uma cânula 250 (por exemplo, uma cânula real utilizada em procedimentos MIS para proporcionar sensação realística de uma ferramenta manual dentro de uma cânula, ou uma representação adequada da mesma, tal como um tubo com um lúmen para receber uma parte de eixo da ferramenta do controlador laparoscópico manual 234). A cânula 250 pode ser colocada em um abdome do paciente simulado 260, tal como um corpo de espuma com um ou mais locais ou aberturas de inserção para receber a cânula 250. Alternativamente, outras configurações adequadas de paciente simulado podem ser utilizadas, tal como uma cavidade proporcionando resistência (por exemplo, com fluido, etc.) com sensação similar a um abdome de paciente real.
Petição 870190110594, de 30/10/2019, pág. 43/139
36/86
[0074] Adicionalmente, como apresentado na FIGURA 5B, o processador de realidade virtual pode gerar um ambiente cirúrgico robótico virtual incluindo uma ferramenta laparoscópica manual virtual 236’ e/ou uma cânula virtual 250’ em relação a um paciente virtual (por exemplo, a representação gráfica 250’ da cânula representada como inserida no paciente virtual). Assim, o ambiente virtual com a ferramenta laparoscópica manual virtual 236’ e a cânula virtual 250’ pode ser exibido no vídeo imersivo proporcionado pelo vídeo montado na cabeça 220, e/ou no vídeo externo 240. Um procedimento de calibragem pode ser executado para mapear o controlador laparoscópico manual 234 para a ferramenta laparoscópica manual virtual 236’ dentro do ambiente virtual. Por consequência, à medida que o usuário se move e manipula o controlador laparoscópico manual 234, a combinação do pelo menos um componente de ferramenta 234 e da configuração de paciente simulado pode permitir ao usuário sentir de forma táctil como se ele ou ela estivesse utilizando uma ferramenta laparoscópica manual no ambiente cirúrgico robótico virtual. Da mesma forma, à media que o usuário se move e manipula o controlador laparoscópico manual 234, os movimentos correspondentes da ferramenta laparoscópica manual virtual 236’ pode permitir ao usuário visualizar a simulação de que ele ou ela está utilizando uma ferramenta laparoscópica manual no ambiente cirúrgico robótico virtual.
[0075] Em algumas variações, o procedimento de calibragem para o controlador laparoscópico manual geralmente mapeia o controlador laparoscópico manual 234 para a ferramenta laparoscópica manual virtual 236’. Por exemplo, geralmente, o procedimento de calibragem pode zerar sua posição em relação a um ponto de referência dentro do ambiente virtual. Em um procedimento de calibragem ilustrativo, o usuário pode inserir o controlador laparoscópico manual através da cânula 250 dentro do abdome do paciente simulado 260, o qual pode
Petição 870190110594, de 30/10/2019, pág. 44/139
37/86 ser colocado em uma mesa em frente do usuário (por exemplo, em uma altura que é representativa da altura de uma mesa de paciente para operação real). O usuário pode continuar a inserir o controlador laparoscópico manual dentro do abdome do paciente simulado 260 até uma profundidade adequada representativa da profundidade alcançada durante um procedimento laparoscópico real. Uma vez que o controlador laparoscópico manual esteja adequadamente colocado no abdome do paciente simulado 260, o usuário pode proporcionar uma entrada (por exemplo, comprimir um acionador ou apertar um botão no controlador laparoscópico manual, por comando de voz, etc.) para confirmar e orientar o paciente virtual para a localização e altura do abdome do paciente simulado 260. Adicionalmente, outros aspectos do ambiente virtual podem ser calibrados para alinhar com aspectos tangíveis reais do sistema, tal como por representar os componentes virtuais de forma ajustada móveis até as localizações alvo e permitir ao usuário informar para confirmar novo alinhamento do componente virtual com as localizações alvo (por exemplo, por pressionar um acionador ou apertar um botão no controlador laparoscópico manual, comando de voz, etc.). A orientação de componentes virtuais (por exemplo, orientação rotacional de um eixo) pode ser ajustada com uma superfície sensível, ao toque, TrackBall, ou outra entrada adequada no controlador laparoscópico manual ou em outro dispositivo. Por exemplo, a sala de operação virtual pode estar alinhada com a sala real na qual o usuário está situado, uma extremidade distai da cânula virtual ou trocarte pode estar alinhado com a localização de entrada real no abdome do paciente simulado, etc. Além disso, em algumas variações, um atuador virtual (por exemplo, ferramenta de corte de extremidade, cortador) pode estar localizado e orientado via o controlador laparoscópico manual para uma nova localização e orientação alvo de maneiras similares.
Petição 870190110594, de 30/10/2019, pág. 45/139
38/86
[0076] Em algumas variações, como apresentado na FIGURA 5B, o sistema pode incluir tanto um controlador manual 230 como um controlador laparoscópico manual 234. Por consequência, o processador de realidade virtual pode gerar um ambiente virtual incluindo tanto uma representação gráfica 230’ de um controlador manual 230 (sem conexão laparoscópica) como uma ferramenta laparoscópica manual virtual 236’ como descrita acima. O controlador manual 230 pode estar comunicativamente acoplado com o processador de realidade virtual 210 para manipular pelo menos um braço robótico virtual, e o controlador laparoscópico manual 234 pode estar comunicativamente acoplado com o processador de realidade virtual 210 para manipular uma ferramenta laparoscópica manual virtual 236’. Assim, em algumas variações, o sistema de realidade virtual pode simular um modo sobre o leito de utilização de um sistema cirúrgico robótico, no qual um operador está no lado do paciente e manipulando tanto um braço robótico (por exemplo, com uma mão) proporcionando MIS assistida por robô, como uma ferramenta laparoscópica manual proporcionando MIS manual.
[0077] O componente da ferramenta 232 pode incluir qualquer componente adequado geralmente se aproximando ou representando uma parte de uma ferramenta laparoscópica manual. Por exemplo, o componente da ferramenta 232 pode geralmente se aproximar de um eixo de ferramenta laparoscópica (por exemplo, incluir um membro alongado se estendendo a partir de uma parte de segurar com a mão do controlador). Como outro exemplo, o componente da ferramenta 232 pode incluir um acionador, botão, ou outro componente interativo laparoscópico similar a este presente em uma ferramenta laparoscópica manual que emprega um componente interativo no controlador manual 230, mas proporciona um fator de forma realístico imitando o sentimento de uma ferramenta laparoscópica manual (por exemplo, o
Petição 870190110594, de 30/10/2019, pág. 46/139
39/86 componente da ferramenta 232 pode incluir um acionador grande possuindo um fator de forma realístico que é sobreposto e engata com um componente interativo genérico no controlador manual 230). Ainda como outro exemplo, o componente da ferramenta 232 pode incluir materiais e/ou massas selecionadas para criar um controlador laparoscópico manual 234 possuindo uma distribuição de peso que seja similar a um tipo particular de ferramenta laparoscópica manual. Em algumas variações, o componente da ferramenta 232 pode incluir plástico (por exemplo, policarbonato, acrilonitrilo butadiene estireno (ABS), náilon, etc.) que seja moldado por injeção, usinado, impresso em 3D, ou outro material adequado formatado de qualquer modo adequado. Em outras variações, o componente da ferramenta 232 pode incluir metal ou outro material adequado que seja usinado, fundido, etc.
[0078] Em algumas variações, o componente da ferramenta 236 pode ser um adaptador ou outra conexão que seja formada separadamente do controlador manual 230 e acoplada com o controlador manual 230 via prendedores (por exemplo, parafusos, ímãs, etc.), componentes de travamento (por exemplo, roscas ou componentes de encaixe por pressão, tais como abas e fendas, etc.), epóxi, soldagem (por exemplo, soldagem ultrassônica), etc. O componente da ferramenta 236 pode ser de forma reversível acoplado com o controlador manual 230. Por exemplo, o componente da ferramenta 236 pode ser seletivamente conectado com o controlador manual 230 de modo a adaptar um controlador manual 230 quando um controlador manual do estilo laparoscópico 230 é desejado, enquanto o componente da ferramenta 236 pode ser seletivamente separado do controlador manual 230 quando o controlador manual do estilo laparoscópico 230 não é desejado. Alternativamente, o componente da ferramenta 236 pode ser permanentemente acoplado com a parte de pegar com a mão 234, tal como durante a fabricação. Além disso, em algumas variações, a
Petição 870190110594, de 30/10/2019, pág. 47/139
40/86 parte de pegar com a mão 234 e o componente da ferramenta 236 podem ser formados inteiriços (por exemplo, moldados por injeção juntos como uma única peça).
[0079] Uma variação ilustrativa de um controlador laparoscópico manual é apresentada na FIGURA 6A. O controlador laparoscópico manual 600 pode incluir uma parte de segurar com a mão 610 (por exemplo, similar ao controlador manual 230 descrito acima), um eixo da ferramenta 630, e um adaptador do eixo 620 para acoplar o eixo da ferramenta com a parte de segurar com a mão 610. Como apresentado na FIGURA 6B, o controlador laparoscópico manual 600 geralmente pode ser utilizado para controlar uma ferramenta grampeadora laparoscópica manual virtual 600’, apesar de o controlador laparoscópico manual 600 poder ser utilizado para controlar outros tipos de ferramentas laparoscópicas manuais virtuais (por exemplo, tesouras, dissectores, agarradores, suportes de agulha, sondas, fórceps, ferramentas de biópsia, etc.). Por exemplo, a parte de segurar com a mão 610 pode estar associada com um punho virtual 610’ da ferramenta grampeadora laparoscópica manual virtual 600’ possuindo um atuador grampeador 640’, de modo que a manipulação do usuário da parte de segurar com a mão 610 é mapeada para manipulação do punho virtual 610’. De forma similar, o eixo da ferramenta 630 pode corresponder a um eixo da ferramenta virtual 630’ da ferramenta grampeadora laparoscópica manual virtual 600’. O eixo da ferramenta 630 e o eixo da ferramenta virtual 630’ podem ser inseridos em uma cânula e em uma cânula virtual, respectivamente, de modo que o movimento do eixo da ferramenta 630 em relação à cânula é mapeado para o movimento do eixo da ferramenta virtual 630’ dentro da cânula virtual no ambiente cirúrgico robótico virtual.
[0080] A parte de segurar com a mão 610 pode incluir um ou mais componentes interativos, tal como o acionador 612 e/ou o botão 614,
Petição 870190110594, de 30/10/2019, pág. 48/139
41/86 os quais podem receber entrada do usuário a partir dos dedos do usuário, das palmas, etc., e serem comunicativamente acoplados com um processador de realidade virtual. Nesta modalidade ilustrativa, o acionador por dedo 612 pode ser mapeado para um acionador virtual 612’ na ferramenta grampeadora laparoscópica manual virtual 600’. O acionador virtual 612’ pode ser visualizado como atuando o atuador virtual 640’ (por exemplo, causando que os membros virtuais do atuador virtual 640’ fechem e disparem grampos) para grampear tecido virtual no ambiente virtual. Por consequência, quando o usuário atua o acionador por dedo 612 no controlador laparoscópico manual, o sinal a partir do acionador por dedo 612 pode ser comunicado para o processador de realidade virtual, o qual modifica a ferramenta grampeadora laparoscópica manual virtual 600’ para interagir dentro do ambiente virtual em simulação de uma ferramenta grampeadora laparoscópica manual real. Em outra variação, uma conexão do acionador pode fisicamente parecer (por exemplo, em formato e forma) com o acionador virtual 612’ na ferramenta grampeadora laparoscópica manual virtual 600’ e pode ser acoplada com o acionador por dedo 612, o que pode permitir que o controlador laparoscópico manual 600 mais estritamente imite o sentimento do usuário da ferramenta grampeadora laparoscópica manual virtual 600’.
[0081] Como apresentado nas FIGURAS 6C a 6E, o adaptador do eixo 620 pode geralmente funcionar para acoplar o eixo da ferramenta 630 com a parte de segurar com a mão 610, o que pode, por exemplo, adaptar um controlador manual (similar ao controlador manual 210 descrito acima) em um controlador laparoscópico manual. O adaptador do eixo 620 geralmente pode incluir uma primeira extremidade para acoplamento com a parte de segurar com a mão 610 e uma segunda extremidade para acoplamento com o eixo da ferramenta 630. Como melhor apresentado na FIGURA 6E, a primeira extremidade do
Petição 870190110594, de 30/10/2019, pág. 49/139
42/86 adaptador do eixo 620 pode incluir uma parte proximal 620a e uma parte distai 620b configuradas para se fixar em um componente da parte de segurar com a mão 610. Por exemplo, a parte de segurar com a mão 610 pode incluir a parte geralmente parecendo anel definindo um espaço central 614 que recebe a parte proximal 620a e a parte distal 620b. A parte proximal 620a e a parte distai 620b podem se fixar em qualquer lado da parte parecendo anel em seu diâmetro interno, e serem fixadas junto à parte tipo anel via prendedores (não apresentados) passando através dos furos do prendedor 622, desse modo segurando o adaptador do eixo 620 junto à parte de segurar com a mão 610. Adicionalmente, ou alternativamente, o adaptador do eixo 620 pode se acoplar com a parte de segurar com a mão 610 de qualquer modo adequado, tal como ajuste com aperto, epóxi, componente de travamento (por exemplo, entre a parte proximal 620a e a parte distal 620b), etc. Como também apresentado na FIGURA 6E, a segunda extremidade do adaptador do eixo 620 pode incluir um rebaixo para receber o eixo da ferramenta 620. Por exemplo, o rebaixo pode ser geralmente cilíndrico para receber uma extremidade geralmente cilíndrica de uma parte do eixo da ferramenta 630, tal como através de encaixe por pressão, encaixe por fricção, ou por outro aperto com ajuste. Adicionalmente ou alternativamente, o eixo da ferramenta 620 pode ser acoplado com o adaptador do eixo 620 com prendedores (por exemplo, parafusos, parafusos de porca, epóxi, solda ultrassônica, etc.). O eixo da ferramenta 630 pode ter qualquer tamanho adequado (por exemplo, comprimento, diâmetro) para imitar ou representar uma ferramenta laparoscópica manual.
[0082] Em algumas variações, o adaptador do eixo 620 pode ser seletivamente removível a partir da parte de segurar com a mão 610 para permitir uso seletivo da parte de segurar com a mão 610 tanto como um controlador manual independente (por exemplo, controlador
Petição 870190110594, de 30/10/2019, pág. 50/139
43/86 manual 210), bem como um controlador laparoscópico manual 600. Adicionalmente ou alternativamente, o eixo da ferramenta 630 pode ser seletivamente removível a partir do adaptador do eixo 620 (por exemplo, o adaptador do eixo 620 pode ser intencionalmente fixado junto à parte de segurar com a mão 610, o eixo da ferramenta 620 pode ser seletivamente removível a partir do adaptador do eixo 620 para converter o controle laparoscópico manual 600 para um controlador manual independente 210).
[0083] Geralmente, o componente da ferramenta do controlador laparoscópico manual 600, tal como o adaptador do eixo 620 e o eixo da ferramenta 630, pode ser fabricado de um plástico ou metal rígido ou semirrígido, e pode ser fabricado através de qualquer processo de fabricação adequado, tal como impressão 3D, moldagem por injeção, fresagem, torneamento, etc. O componente da ferramenta pode incluir vários tipos de materiais, e/ou pesos ou outras massas para ainda simular o sentimento do usuário de uma ferramenta laparoscópica manual particular.
Variações do sistema
[0084] Um ou mais aspectos do sistema de realidade virtual descrito acima podem ser incorporados em outras variações de sistemas. Por exemplo, em algumas variações, um sistema de realidade virtual para proporcionar um ambiente cirúrgico robótico virtual pode fazer interface com um ou mais componentes de um ambiente cirúrgico robótico real. Por exemplo, como apresentado na FIGURA 3, um sistema 700 pode incluir um ou mais processadores (por exemplo, um processador de realidade virtual 210) configurados para gerar um ambiente cirúrgico robótico virtual, e um ou mais sensores 750 em um ambiente cirúrgico robótico, onde o um ou mais sensores 750 estão em comunicação com o um ou mais processadores. A informação do sensor a partir do ambiente cirúrgico robótico pode ser configurada
Petição 870190110594, de 30/10/2019, pág. 51/139
44/86 para detectar condição de um componente do ambiente cirúrgico robótico, tal como para imitar ou replicar componentes do ambiente cirúrgico robótico no ambiente cirúrgico robótico virtual. Por exemplo, um usuário pode monitorar um procedimento cirúrgico robótico real em uma sala de operação real via um sistema de realidade virtual que faz interface com a sala de operação real (por exemplo, o usuário pode interagir com um ambiente de realidade virtual que é refletivo das condições na sala de operação real).
[0085] Em algumas variações, um ou mais sensores 750 podem ser configurados para detectar condição de pelo menos um componente robótico (por exemplo, um componente de um sistema cirúrgico robótico, tal como um braço robótico, um controlador de ferramenta acoplado com um braço robótico, uma mesa de operação de paciente junto a qual um braço robótico está conectado, uma torre de controle, etc.) ou outro componente de uma sala de operação cirúrgica robótica. Tal condição pode indicar, por exemplo, posição, orientação, ritmo, velocidade, estado de operação (por exemplo, ligado ou desligado, nível de energia, modo), ou qualquer outra condição adequada do componente.
[0086] Por exemplo, um ou mais acelerômetros podem ser acoplados com uma ligação do braço robótico e serem configurados para proporcionar informação sobre a posição, orientação e/ou velocidade de movimento da ligação do braço robótico, etc. Vários acelerômetros em vários braços robóticos podem ser configurados para proporcionar informação com respeito às colisões obstrutivas e/ou presentes entre braços robóticos, entre diferentes ligações de um braço robótico, ou entre um braço robótico e um obstáculo próximo possuindo uma posição conhecida.
[0087] Como outro exemplo,um ou mais sensores de proximidade (por exemplo, sensor infravermelho, sensor capacitivo) podem ser
Petição 870190110594, de 30/10/2019, pág. 52/139
45/86 acoplados com uma parte de um braço robótico ou com outros componentes do sistema cirúrgico robótico ou ambiente cirúrgico. Tais sensores de proximidade podem, por exemplo, ser configurados para proporcionar informação com respeito às colisões obstrutivas entre objetos. Adicionalmente ou alternativamente, sensores de contato ou de toque podem ser acoplados com uma parte de um braço robótico ou de outros componentes do ambiente cirúrgico robótico, e podem ser configurados para proporcionar informações com respeito a uma colisão presente entre objetos.
[0088] Em outro exemplo, um ou mais componentes do sistema cirúrgico robótico ou ambiente cirúrgico podem incluir marcadores (por exemplo, marcadores infravermelho) para facilitar rastreamento ótico da posição, orientação, e/ou da velocidade de vários componentes, tais como sensores suspensos monitorando os marcadores no ambiente cirúrgico. De forma similar, o ambiente cirúrgico pode adicionalmente ou alternativamente incluir câmeras para digitalizar e/ou modelar o ambiente cirúrgico e seus conteúdos. Tais sensores óticos de rastreamento e/ou câmeras podem ser configurados para proporcionar informações com respeito às colisões obstrutivas e/ou presentes entre objetos.
[0089] Como outro exemplo, um ou mais sensores 750 podem ser configurados para detectar uma condição de um paciente, de um cirurgião, ou de outra equipe cirúrgica. Tal condição pode indicar, por exemplo, posição, orientação, ritmo, velocidade, e/ou métricas biológicas tais como batimento cardíaco, pressão sanguínea, temperatura, etc. Por exemplo, um monitor de batimento cardíaco, um monitor de pressão sanguínea, termômetro, e/ou sensor de oxigênio, etc., podem ser acoplados com o paciente e permitir a um usuário manter um rastro da condição do paciente.
[0090] Geralmente, nessas variações, um processador de realida
Petição 870190110594, de 30/10/2019, pág. 53/139
46/86 de virtual 210 pode gerar um ambiente cirúrgico robótico virtual similar a esse descrito em qualquer lugar nesse documento. Adicionalmente, quando da recepção da informação de condição a partir do um ou mais sensores 750, o processador de realidade virtual 210 ou outro processador no sistema pode incorporar a condição detectada de qualquer um ou mais modos adequados. Por exemplo, em uma variação, o processador de realidade virtual 210 pode ser configurado para gerar uma réplica em realidade virtual ou quase uma réplica de um ambiente cirúrgico robótico e/ou de um procedimento cirúrgico robótico executado neste local. Por exemplo, o um ou mais sensores 750 no ambiente cirúrgico robótico podem ser configurados para detectar uma condição de um componente robótico correspondendo ao componente robótico virtual no ambiente cirúrgico robótico virtual (por exemplo, o componente robótico virtual pode ser substancialmente representativo do componente robótico em forma visual e/ou em função). Nessa variação, o processador de realidade virtual 210 pode ser configurado para receber a condição detectada do componente robótico, e então, modificar o componente robótico virtual baseado pelo menos em parte na condição detectada de modo que o componente robótico virtual imite o componente robótico. Por exemplo,se um cirurgião mover um braço robótico durante um procedimento cirúrgico robótico para uma posição particular, então, um braço robótico virtual no ambiente virtual pode se mover de forma correspondente.
[0091] Como outro exemplo, o processador de realidade virtual 210 pode receber informação de condição indicando um evento de alarme, tal como uma colisão obstrutiva ou presente entre objetos, ou condição ruim de saúde do paciente. Ao receber tal informação, o processador de realidade virtual 210 pode proporcionar um aviso ou alarme para o usuário sobre a ocorrência do evento, tal como por exibir um alerta visual (por exemplo, texto, ícone indicando colisão, uma
Petição 870190110594, de 30/10/2019, pág. 54/139
47/86 vista dentro do ambiente virtual representando a colisão, etc.,), alerta de áudio, etc.
[0092] Ainda como outro exemplo, o um ou mais sensores no ambiente cirúrgico robótico podem ser utilizados para comparar um procedimento cirúrgico real (ocorrendo no ambiente cirúrgico robótico não virtual) com um procedimento cirúrgico planejado como planejado em um ambiente cirúrgico robótico virtual. Por exemplo, uma posição esperada de pelo menos um componente robótico (por exemplo, braço robótico) pode ser determinada durante o pré-planejamento cirúrgico, como visualizado como um componente robótico virtual correspondente em um ambiente cirúrgico robótico virtual. Durante um procedimento cirúrgico real, um ou mais sensores podem proporcionar informação sobre uma posição medida do componente robótico real. Quaisquer diferenças entre a posição esperada e medida do componente robótico podem indicar desvios de um plano cirúrgico que foi construído no ambiente de realidade virtual. Desde que tais desvios podem eventualmente resultar em consequências indesejadas (por exemplo, colisão não pretendida entre braços robóticos, etc.), a identificação de desvios pode permitir ao usuário ajustar o plano cirúrgico (por exemplo reconfigurar a abordagem a um local cirúrgico, alterar instrumentos cirúrgicos, etc.).
Modos de usuário
[0093] Geralmente, o sistema de realidade virtual pode incluir um ou mais modos de usuário permitindo a um usuário interagir com o ambiente cirúrgico robótico virtual por mover e/ou manipular os controladores manuais 230. Tais interações podem incluir, por exemplo, mover objetos virtuais (por exemplo, braço robótico virtual, ferramenta virtual, etc.) no ambiente virtual, adicionar pontos de visada de câmera para visualizar o ambiente virtual simultaneamente a partir de vários pontos de observação, navegar dentro do ambiente virtual sem requer
Petição 870190110594, de 30/10/2019, pág. 55/139
48/86 que o usuário mova o vídeo montado na cabeça 220 (por exemplo, por andar), etc., como ainda descrito abaixo.
[0094] Em algumas variações, o sistema de realidade virtual pode incluir vários modos de usuário, em que cada modo de usuário está associado com um respectivo subconjunto de interações do usuário. Como apresentado na FIGURA 8, pelo menos alguns dos modos de usuário podem ser apresentados em um vídeo (por exemplo, vídeo montado na cabeça 220) para seleção do usuário. Por exemplo, pelo menos alguns dos modos de usuário podem corresponder aos ícones de modo de usuário selecionáveis 812 exibidos em um menu de modo de usuário 810. O menu de modo de usuário 810 pode ser sobreposto no vídeo do ambiente cirúrgico robótico virtual de modo que uma representação gráfica 230’ do controlador manual (ou da mão do usuário, ou de outro ícone representativo adequado, etc.) possa ser manobrado pelo usuário para selecionar um ícone de modo de usuário, desse modo ativando o modo de usuário correspondendo ao ícone de modo de usuário selecionado. Como apresentado na FIGURA 8, os ícones de modo de usuário 812 podem ser geralmente dispostos em uma paleta ou círculo, mas podem ser alternativamente dispostos em uma grade ou em outra disposição adequada. Em algumas variações, um subconjunto selecionado de modos de usuário possíveis pode ser apresentado no menu 810 baseado, por exemplo, nas preferências do usuário (por exemplo, associadas com um conjunto de informação de conexão do usuário), preferências de usuários similares ao usuário atual, tipo de procedimento cirúrgico, etc.
[0095] A FIGURA 14 ilustra um método de operação 1400 de uma variação ilustrativa de um menu de modo de usuário proporcionando seleção de um ou mais ícones de modo de usuário. Para ativar o menu do usuário, o usuário pode ativar um método de entrada do usuário associado com o menu. Por exemplo, um método de entrada pode ser
Petição 870190110594, de 30/10/2019, pág. 56/139
49/86 ativado por um usuário empregando um controlador manual (por exemplo, dispositivo de interface com o usuário manual), tal como pelo pressionamento de um botão ou de outro componente adequado no controlador manual (1410). Como outro exemplo, um método de entrada pode ser ativado por um usuário empregando um pedal ou outro componente de um console do usuário (1410’). Comandos de voz e/ou outros dispositivos podem adicionalmente ou alternativamente serem utilizados para ativar um método de entrada associado com o menu. Enquanto o método de entrada é empregado (1412), o sistema de realidade virtual pode produzir e exigir um arranjo de ícones de modo de usuário (por exemplo, dispostos em uma paleta ao redor de uma origem central como apresentado na FIGURA 8A). O arranjo de ícones de modo de usuário pode geralmente ser exibido próximo ou ao redor de uma representação gráfica do controlador manual e/ou em um cursor sintetizado que é controlador pelo controlador manual
[0096] Por exemplo, em uma variação na qual um controlador manual inclui um botão de menu circular e uma representação gráfica do controlador manual também possui um botão de menu circular exibido no ambiente de realidade virtual, o arranjo de ícones de modo de usuário pode ser centralizado ao redor e alinhado com um botão de menu de modo que os vetores normais do plano do menu e do botão de menu fiquem substancialmente alinhados. O menu circular ou radial pode incluir, por exemplo várias diferentes regiões de menu (1414) ou setores, cada um dos quais pode estar associado com uma faixa de ângulos (por exemplo, um segmento arqueado do menu circular) e um ícone de modo de usuário (por exemplo, como apresentado na FIGURA 8). Cada região pode ser alternada entre um estado selecionado e um estado não selecionado.
[0097] O método 1400 pode geralmente incluir determinar seleção de um modo de usuário pelo usuário e receber confirmação de que o
Petição 870190110594, de 30/10/2019, pág. 57/139
50/86 usuário gostaria de ativar o modo de usuário selecionado para o sistema de realidade virtual. Para selecionar um modo de usuário no menu de modo de usuário, o usuário pode mover o controlador manual (1420) para livremente manipular a representação gráfica do controlador manual e navegar através dos ícones de modo de usuário no menu de modo de usuário. Geralmente, a posição / orientação do controlador manual (e a posição / orientação da representação gráfica do controlador manual que se move de acordo com o controlador manual) pode ser analisada para determinar se o usuário selecionou um ícone de modo de usuário particular. Por exemplo, em variações nas quais os ícones de modo de usuário são dispostos em uma paleta geralmente circular ao redor de uma origem central, o método pode incluir determinar a distância radial e/ou a orientação angular da representação gráfica do controlador manual em relação à origem central. Por exemplo, um teste para determinar seleção do usuário de um ícone de modo de usuário pode incluir uma ou mais caixas de decisão, as quais podem ser satisfeitos em qualquer ordem adequada. Em uma primeira caixa de decisão (1422), a distância da representação gráfica do controlador manual até o centro do menu de modo de usuário (ou de outro ponto de referência no menu de modo de usuário) é comparada com uma distância limite. A distância pode ser expressa em termos de distância absoluta (por exemplo, número de pixels) ou proporções (por exemplo, porcentagem de distância entre um ponto central e os ícones de modo de usuário dispostos ao redor da periferia do menu de modo de usuário, tal como 80% ou mais). Se a distância for menor do que o limite, então pode ser determinado que nenhum ícone de modo de usuário está selecionado. Adicionalmente ou alternativamente, a seleção de um ícone de modo de usuário pode depender de uma segunda caixa de decisão (1424). Na segunda caixa de decisão (1424), a orientação da representação gráfica do controlador manual é medida e
Petição 870190110594, de 30/10/2019, pág. 58/139
51/86 correlacionada com um ícone de modo de usuário associado com um segmento arqueado do menu. Se a orientação corresponder a um segmento arqueado selecionado do menu, então, pode ser determinado que um modo de usuário particular (associado com o segmento arqueado selecionado) está selecionado pelo usuário. Por exemplo, um ícone de modo de usuário pode ser determinado como selecionado pelo usuário se tanto a distância como a orientação angular da representação gráfica do controlador manual em relação à origem satisfazem as condições (1422) e (1424).
[0098] Após determinar que um usuário selecionou um ícone de modo de usuário particular, o método pode, em algumas variações, transportar tal seleção para o usuário (por exemplo, como confirmação) por indicações visuais e/ou auditivas. Por exemplo, em algumas variações, o método pode incluir sintetizar uma ou mais indicações visuais (1430) no ambiente de realidade virtual exibido em resposta a determinar que um usuário selecionou um ícone de modo de usuário. Como apresentado na FIGURA 14, indicações visuais ilustrativas (1432) incluem modificar a aparência do ícone de modo de usuário selecionado (e/ou o segmento arqueado associado com o ícone de modo de usuário selecionado) com realce (por exemplo, linhas externa espessadas), animação (por exemplo, linhas agitadas, ícone dançante ou pulsante), alteração no tamanho (por exemplo, aumento do ícone), alteração na profundidade aparente, alteração na cor ou opacidade (por exemplo, mais ou menos translúcido, alteração no preenchimento padrão de ícone), alteração na posição (por exemplo, mover radialmente para o exterior ou interior a partir da origem central, etc.), e/ou qualquer modificação visual adequada. Em algumas variações, indicar para o usuário dessas maneiras de outras maneiras adequadas pode informar ao usuário que o modo de usuário será ativado, antes do usuário confirmar a seleção de um modo de usuário particular. Por
Petição 870190110594, de 30/10/2019, pág. 59/139
52/86 exemplo, o método pode incluir produzir uma ou mais indicações visuais (1430) à medida que o usuário navega ou rola através dos vários ícones de modo de usuário no menu.
[0099] O usuário pode confirmar a aprovação do ícone de modo de usuário selecionado em uma ou mais várias maneiras. Por exemplo, o usuário pode liberar ou desativar o método de entrada do usuário (1440) associado com o menu (por exemplo, soltando um botão no controlador manual, tirando um é do pedal), de modo a indicar a aprovação do modo de usuário selecionado. Em outras variações, o usuário pode confirmar a seleção por pairar sobre o ícone de modo de usuário selecionado durante pelo menos um período de tempo predeterminado (por exemplo, pelo menos 5 segundos), clicar duas vezes no método de entrada do usuário associado com o menu do usuário (por exemplo, clicar duas vezes o botão, etc.), falar um comando verbal indicando a aprovação, etc.
[00100] Em algumas variações, ao receber confirmação de que o usuário aprova o modo de usuário selecionado, o método pode incluir verificar qual ícone de modo de usuário foi selecionado. Por exemplo, como apresentado na FIGURA 14, um teste para verificar qual ícone de modo de usuário foi selecionado pode incluir uma ou mais caixas de decisão, as quais podem ser satisfeitas em qualquer ordem adequada. Por exemplo, em variações nas quais os ícones de modo de usuário são dispostos em uma paleta geralmente circular ao redor de uma origem central, o método pode incluir determinar a distância radial relativa à origem central (1442) e/ou a orientação angular da representação gráfica do controlador manual em relação à origem central (1446) quando o usuário indica aprovação da seleção do ícone de modo de usuário. Em algumas variações, as caixas de decisão (1442) e (1446) podem ser similares ás caixas de decisão (1422) e (1424) descritas acima, respectivamente. Se pelo menos uma dessas caixas de
Petição 870190110594, de 30/10/2019, pág. 60/139
53/86 decisão (1442) e (1444) não for satisfeita, então a liberação do método de entrada do usuário pode ser correlacionada com uma não seleção de um ícone de modo de usuário (por exemplo, o usuário pode ter alterado seu pensamento sobre selecionar um novo modo de usuário). Por consequência, se a representação gráfica do controlador manual falhar em satisfazer o limite de distância (1442), então o modo de usuário original ou anterior pode ser retido (1444). De forma similar, se a representação gráfica do controlador manual falhar em corresponder a um segmento arqueado do menu (1446), então o modo de usuário original ou anterior pode ser retido (1448). Se a representação gráfica do controlador manual não satisfazer o limite de distância (1442) e corresponder a um segmento arqueado do menu, então, o modo de usuário selecionado pode ser ativado (1450). Em outras variações, um modo de usuário pode adicionalmente ou alternativamente ser selecionado com outras interações, tais como comando de voz, rastreamento de olhos via sensores, etc. Além disso, o sistema pode adicionalmente ou alternativamente sugerir ativação de um ou mais modos de usuário baseado em critérios tais como atividade do usuário (por exemplo, se o usuário está frequentemente virando sua cabeça para ver detalhes em relação à borda de seu campo de visada, o sistema pode sugerir um modo de usuário permitindo substituição de uma câmera para proporcionar uma vista de janela de painel transparente a partir de um ponto de observação desejado, como descrito acima), tipo de procedimento cirúrgico, etc.
Preensão de Objeto
[00101] Um modo de usuário ilustrativo com o ambiente cirúrgico robótico virtual permite a um usuário segurar, mover, ou de outro modo manipular objetos virtuais no ambiente virtual. Exemplos de objetos virtuais manipuláveis incluem, mas não estão limitados às representações virtuais de itens físicos (por exemplo, um ou mais braços robóti
Petição 870190110594, de 30/10/2019, pág. 61/139
54/86 cos virtuais, um ou mais controladores de ferramenta virtuais, ferramentas laparoscópicas manuais virtuais, mesa de operação de paciente virtual ou outra superfície de apoio, torre de controle virtual ou outro equipamento, console do usuário virtual, etc.) e outras construções virtuais ou gráficas tais como portais, exibição de janela, apresentação de imagem de paciente ou outras projeções em um painel transparente, etc., que são adicionalmente descritos abaixo.
[00102] Pelo menos alguns dos objetos virtuais podem incluir ou estarem associados com pelo menos um ponto de contato ou componente selecionável virtual. Quando o ponto de contato virtual é selecionado por um usuário, o usuário pode mover (por exemplo,ajustar a posição e/ou a orientação) o objeto virtual associado com o ponto de contato virtual selecionado. Além disso, vários pontos de contato virtuais podem ser simultaneamente selecionados (por exemplo, vários controladores manuais 230 e suas representações gráficas 230’) no mesmo objeto virtual ou em vários objetos virtuais separados.
[00103] O usuário geralmente pode selecionar um ponto de contato virtual por mover um controlador manual 230 para de forma correspondente mover uma representação gráfica 230’ para o ponto de contato virtual no ambiente virtual, então, empregar um componente interativo tal como um acionador ou botão no controlador manual 230 para indicar seleção do ponto de contato virtual. Em algumas variações, um ponto de contato virtual pode permanecer selecionado contanto que o usuário empregue o componente interativo no controlador manual 230 (por exemplo, contanto que o usuário pressione um acionador) e pode se tornar não selecionado quando o usuário libera o componente interativo. Por exemplo, o ponto de contato virtual pode permitir ao usuário clicar e arrastar o objeto virtual via o ponto de contato virtual. Em algumas variações, um ponto de contato virtual pode ser alternado entre um estado selecionado e um estado não selecionado,
Petição 870190110594, de 30/10/2019, pág. 62/139
55/86 pelo fato de que um ponto de contato pode permanecer selecionado após um emprego único do componente interativo no controlador virtual até que um segundo emprego do componente interativo alterne o ponto de contato virtual para um estado não selecionado. No ambiente cirúrgico robótico virtual, um ou ambos os tipos de pontos de contato virtuais podem estar presentes.
[00104] Um objeto virtual pode incluir pelo menos um ponto de contato virtual para manipulação direta do objeto virtual. Por exemplo, um braço robótico virtual no ambiente virtual pode incluir um ponto de contato virtual em um de suas ligações do braço virtual. O usuário pode mover um controlador manual 230 até que a representação gráfica 230’ do controlador manual esteja próxima (por exemplo, pairando) do ponto de contato virtual, empregar um acionador ou outro componente interativo no controlador manual 230 para selecionar o ponto de contato virtual, e então mover o controlador manual 230 para manipular o braço robótico virtual via o ponto de contato virtual. Por consequência, o usuário pode manipular o controlador manual 230 de modo a reposicionar o braço robótico virtual em uma nova posição, tal como para criar um espaço de trabalho mais espaçoso no ambiente virtual pelo paciente, testar a faixa de movimentos do braço robótico virtual para determinar a probabilidade de colisões entre o braço robótico virtual e outros objetos, etc.
[00105] Um objeto virtual pode incluir pelo menos um ponto de contato virtual que está associado com um segundo objeto virtual, para manipulação indireta do segundo objeto virtual. Por exemplo, um painel de controle virtual pode incluir um ponto de contato virtual em uma chave ou botão virtual que está associado com a mesa de operação do paciente. A chave ou botão virtual pode, por exemplo, controlar a altura ou o ângulo da mesa de operação de paciente virtual no ambiente virtual, similar a como uma chave ou botão em um painel de con
Petição 870190110594, de 30/10/2019, pág. 63/139
56/86 trole real pode eletronicamente ou mecanicamente modificar a altura ou o ângulo de uma mesa de operação de paciente real. O usuário pode mover um controlador manual 230 até que a representação gráfica 230’ do controlador manual esteja próxima (por exemplo, pairando) do ponto de contato virtual, empregar um acionador ou outro componente interativo no controle manual 230 para selecionar o ponto de contato virtual, e então mover o controlador manual 230 para manipular a chave ou botão virtual via o ponto de contato virtual. Por consequência, o usuário pode manipular o controlador manual 230 de modo a modificar a altura ou o ângulo do ambiente virtual, tal como para aprimorar o ângulo de aproximação ou o acesso a um espaço de trabalho no ambiente virtual.
[00106] Quando o ponto de contato virtual é selecionado, o processador de realidade virtual pode modificar o ambiente cirúrgico robótico virtual para indicar para o usuário que o ponto de contato virtual na verdade está selecionado. Por exemplo, o objeto virtual incluindo o ponto de contato virtual pode ser realçado por ser graficamente sintetizado em uma cor diferente (por exemplo, azul ou vermelha) e/ou contornado em um peso ou cor de linha diferente, de modo a visualmente contrastar o objeto virtual afetado a partir de outros objetos virtuais no ambiente virtual. Adicionalmente ou alternativamente, o processador de realidade virtual pode proporcionar realimentação de áudio (por exemplo, um sinal, alarme sonoro, ou reconhecimento verbal) através de um dispositivo de áudio indicando seleção do ponto de contato virtual, e/ou realimentação táctil (por exemplo, vibração) através de um controlador manual 230, do vídeo montado na cabeça 220, ou de outro dispositivo adequado.
Navegação
[00107] Outros modos de usuário ilustrativos com o ambiente cirúrgico robótico virtual podem permitir a um usuário navegar e explorar o
Petição 870190110594, de 30/10/2019, pág. 64/139
57/86 espaço virtual dentro do ambiente virtual.
Pontos instantâneos
[00108] Em algumas variações, o sistema pode incluir um modo de usuário permitindo pontos instantâneos, ou alvos virtuais dentro de um ambiente virtual que podem ser utilizados para auxiliar a navegação do usuário dentro do ambiente virtual. Um ponto instantâneo pode, por exemplo, se colocado em uma localização selecionada pelo usuário ou preestabelecida dentro do ambiente virtual e permitir a um usuário rapidamente navegar até esta localização quando da seleção do ponto instantâneo. Um ponto instantâneo pode, em algumas variações, estar associado com uma orientação dentro do ambiente virtual e/ou com uma escala aparente (nível de zoom) da exibição do ambiente a partir deste ponto de observação. Pontos instantâneos podem, por exemplo, ser visualmente indicados como pontos coloridos ou como outros marcadores coloridos graficamente exibidos na vista em perspectiva em primeira pessoa. Por selecionar um ponto instantâneo, o usuário pode ser transportado para o ponto de observação do ponto instantâneo selecionado dentro do ambiente cirúrgico robótico virtual.
[00109] Por exemplo, a FIGURA 16 ilustra o método de operação 1600 de uma variação ilustrativa de um modo de usuário permitindo pontos instantâneos. Como apresentado na FIGURA 16, um ponto instantâneo pode ser posicionado (1610) no ambiente virtual por um usuário ou como uma configuração predeterminada. Por exemplo, um usuário pode navegar através de um menu de modo de usuário como descrito acima, e selecionar ou capturar um ícone de ponto instantâneo a partir do menu com um controlador manual (por exemplo, indicado com um ponto colorido ou com outro marcador adequado) e arrastar e soltar o ícone de ponto instantâneo junto a uma localização e/ou orientação desejada no ambiente virtual. O ponto instantâneo pode, em algumas variações, ser reposicionado pelo usuário selecio
Petição 870190110594, de 30/10/2019, pág. 65/139
58/86 nando novamente o ponto instantâneo (por exemplo, mover a representação gráfica do controlador manual até que ele cruze com o ponto instantâneo ou com um limite de volume de colisão ao redor do ponto instantâneo, e então, empregar um componente de entrada tal como um botão ou acionador) e arrastando e soltando o ícone de ponto instantâneo até uma nova localização desejada. Em algumas variações, o usuário pode estabelecer a escala ou nível de zoom do ponto de observação (1620) associado com o ponto instantâneo, tal como por ajustar uma barra corrediça ou roda de rolagem exibida, por movimentos como descritos acima para estabelecer um nível de escala para uma manipulação de vista ambiental, etc. O ponto instantâneo pode, em alguns exemplos, possuir um nível de escala preestabelecido associado com todos ou com uma subcategoria de Pontos instantâneos, um nível de escala associado com o ponto de observação atual do usuário quando o usuário coloca o ponto instantâneo, ou ajustado como descrito acima. Além disso, uma vez que um ponto instantâneo é colocado, o ponto instantâneo pode ser armazenado (1630) na memória (por exemplo, armazenamento local ou remoto) para acesso futuro. Um ponto instantâneo pode, em algumas variações, ser apagado a partir do ambiente virtual e a partir da memória. Por exemplo, um ponto instantâneo pode ser selecionado (de uma maneira similar à para o reposicionamento do ponto instantâneo) e projetado para apagamento pelo arrastamento do mesmo para fora da tela até uma localização predeterminada (por exemplo, lata de lixo virtual) e/ou pelo movimento do mesmo com uma velocidade predeterminada (por exemplo, arremesso em uma direção para fora do ponto de observação do usuário com uma velocidade maior do que um limite predeterminado), pela seleção de uma opção de menu secundária, por comando de voz, etc.
[00110] Um ou mais pontos instantâneos para um ambiente virtual são armazenados na memória, e o usuário pode selecionar um dos
Petição 870190110594, de 30/10/2019, pág. 66/139
59/86 pontos instantâneos armazenados (1640) para uso. Por exemplo, quando da seleção de um ponto instantâneo armazenado, o ponto de observação do usuário pode ser ajustado para a posição, orientação, e/ou escala das configurações do ponto instantâneo selecionado (1650), desse modo permitindo ao usuário sentir como se ele estivesse tele transportando a localização associada com o ponto instantâneo selecionado. Em algumas variações, o ponto de observação anterior do usuário pode ser armazenado como um ponto instantâneo (1660) para facilitar o desfazer do tele-transporte percebido do usuário e mudar o usuário de volta para seu ponto de observação anterior. Tal ponto instantâneo pode ser temporário (por exemplo, desaparecer após um período de tempo predeterminado, tal como após 5 a 10 segundo). Em alguns exemplos, o ponto de observação anterior do usuário pode ser armazenado como um ponto instantâneo somente se a localização anterior do usuário não era um ponto instantâneo preexistente. Além disso, em algumas variações, uma trilha ou trajetória virtual (por exemplo, linha ou arco) pode ser exibida no ambiente virtual conectando o ponto de observação anterior do usuário com o novo ponto de observação do usuário associado com o ponto instantâneo selecionado, o que pode, por exemplo, proporcionar para o usuário contexto quanto a como ele tele transportou dentro do ambiente virtual. Tal indicação visual pode ser removida da exibição do ambiente virtual após um período de tempo predeterminado (por exemplo, após 5 a 10 segundos).
[00111] Geralmente, em algumas variações, um ponto instantâneo pode operar de uma maneira similar aos portais descritos abaixo, exceto que um ponto instantâneo pode indicar um ponto de observação sem proporcionar uma visão antecipada de janela do ambiente virtual. Por exemplo, Pontos instantâneos podem ser colocados em pontos de observação selecionados pelo usuário fora e/ou dentro do paciente
Petição 870190110594, de 30/10/2019, pág. 67/139
60/86 virtual, e podem ser ligados em uma ou mais trajetórias, similar aos portais descritos acima. Em algumas variações, as trajetórias de ponto instantâneo podem ser estabelecidas pelo usuário de uma maneira similar a esta descrita abaixo para os portais.
Portais
[00112] Em algumas variações, o sistema pode incluir um modo de usuário que facilita a colocação de um ou mais portais, ou pontos de tele transporte, em localizações selecionadas pelo usuário no ambiente virtual. Cada portal pode, por exemplo, servir como um pórtico de transporte para um ponto de observação correspondente no ambiente virtual, desse modo permitindo ao usuário rapidamente alterar pontos de observação para visualização e navegação do ambiente virtual. Geralmente, quando da seleção (por exemplo, com um ou mais controles manuais 230) de um portal, a localização aparente do usuário pode mudar para a localização do portal selecionado, de modo que o usuário vê o ambiente virtual a partir do ponto de observação do portal selecionado e tem a sensação desaltar ao redor do ambiente virtual. Por colocar um ou mais portais ao redor do ambiente virtual, o usuário pode ter a habilidade de rapidamente se mover entre vários pontos de observação. A colocação, ajuste, armazenamento e/ou navegação de portais ao redor do ambiente virtual pode ser similar a esta dos Pontos instantâneos descritos acima.
[00113] Por exemplo, como geralmente descrito acima, o sistema pode exibir uma vista em perspectiva em primeira pessoa do ambiente cirúrgico robótico virtual a partir de um primeiro ponto de observação dentro do ambiente cirúrgico robótico virtual. O usuário pode navegar através de um menu para selecionar um modo de usuário que permite a colocação de um portal. Como apresentado na FIGURA 9A, o usuário pode manipular a representação gráfica 230’ do controlador manual para posicionar um portal 910 em uma localização selecionada no am
Petição 870190110594, de 30/10/2019, pág. 68/139
61/86 biente virtual. Por exemplo, o usuário pode empregar um componente (por exemplo, acionador ou botão) no controlador manual enquanto um modo de usuário permitindo a colocação de portal está ativado, de modo que enquanto o componente é empregado e o usuário move a posição e/ou a orientação do controlador manual, um portal 910 pode aparecer e ser movido dentro do ambiente virtual. Um ou mais indicadores de colocação de portal 920 (por exemplo, uma ou mais setas, uma linha, um arco, etc. conectando a representação gráfica 230’ com uma localização de portal provável) pode auxiliar em comunicar para o usuário a localização provável de um portal 910, tal como por ajudar com a percepção de profundidade. O tamanho do portal 910 pode ser ajustado por capturar e alongar ou contrair os lados do portal 910 via os controladores manuais. Quando a localização do portal 910 é confirmada (por exemplo, pelo usuário liberando o componente empregado no controlador manual, clique duplo, etc.), a localização aparente do usuário dentro do ambiente virtual pode ser atualizada para corresponder ao ponto de observação associado com o portal 910. Em algumas variações, como descrito abaixo, pelo menos alguns pontos de observação dentro da localização virtual podem ser proibidos. Estes pontos de observação proibidos podem ser armazenados na memória (por exemplo, armazenamento local ou remoto). Nessas variações, se uma localização de portal 910 for confirmada em uma localização proibida (por exemplo, comparada e associada entre uma lista de pontos de observação proibidos armazenados na memória), então, a localização aparente do usuário dentro do ambiente virtual pode ser mantida sem alterações. Entretanto, se uma localização de portal 910 for confirmada como permitida (por exemplo, comparada e não associada em uma lista de pontos de observação proibidos), então a localização aparente do usuário dentro do ambiente virtual pode ser atualizada como descrito acima.
Petição 870190110594, de 30/10/2019, pág. 69/139
62/86
[00114] Em algumas variações, uma vez que o usuário tenha colocado o portal 910 em um ponto de observação desejado, uma vista de janela do ambiente virtual a partir do ponto de observação do portal 910 colocado por ser exibida dentro do portal 910, desse modo oferecendo uma vista antecipada da vista oferecida pelo portal 910. Por exemplo, o usuário pode ver através do portal 910 com paralaxe total, de modo que o portal 910 se comporta como um tipo de lente de amplificação. Por exemplo, enquanto olhando através do portal 910, o usuário pode ver o ambiente virtual como se o usuário tivesse sido dimensionado para o inverso do fato de escala do portal (o que afeta tanto a distância entre as pupilas como a distância focal) e como se o usuário tivesse transladado para o recíproco do fato de escala do portal (1 / fator de escala do portal) da distância a partir do portal 910 até a localização atual do usuário. Adicionalmente, o portal 910 pode incluir um horizonte de eventos que pode ser uma textura em um plano que é sintetizado, por exemplo, utilizando uma ou mais câmeras adicionais (descritas abaixo) dentro da cena do ambiente virtual posicionadas como descrito acima. Nessas variações, quando viajando através do portal 910 após selecionar o portal 910 para tele transporte, a vista do usuário do ambiente virtual pode naturalmente convergir com o ponto de observação aparente do usuário durante a aproximação do usuário junto ao portal, desde que o ponto de observação do usuário é deslocado como uma fração da distância a partir do portal (por 1 / fator de escala do portal). Por consequência, o usuário pode sentir como se ele estivesse suavemente e naturalmente entrando na visualização do ambiente virtual no fato de escala associado com o portal selecionado. [00115] Como apresentado na FIGURA 9A, em algumas variações, o portal 910 pode ser geralmente circular. Entretanto, em outras variações, um ou mais portais 910 podem ser qualquer formato adequado, tal como elíptico, quadrado, retangular, irregular, etc. Além disso, a
Petição 870190110594, de 30/10/2019, pág. 70/139
63/86 vista de janela do ambiente virtual que é exibida no portal pode exibir o ambiente virtual em um fator de escala associado com o portal, de modo que a vista do ambiente virtual exibida em diferentes portais pode ser exibida em níveis de zoom diferentes (por exemplo, 1x, 1,5x, 2x, 2,5x, 3x, etc.), desse modo também alterando a escala do usuário em relação ao ambiente. O fato de escala da vista da janela em um portal também pode indicar ou corresponder à escala da vista que seria exibida se o usuário for transportado para este ponto de observação do portal. Por exemplo, se uma vista do ambiente virtual fora de um paciente virtual for ao redor de 1x, então, uma vista de janela do ambiente dentro do paciente virtual pode ser ao redor de 2x ou mais, desse modo proporcionando para um usuário mais detalhes do tecido interno do paciente virtual. O fato de escala pode ser definido pelo usuário ou predeterminado pelo sistema (por exemplo, baseado na localização do portal no ambiente virtual). Em algumas variações, o fato de escala pode se correlacionar com o tamanho exibido do portal 910, apesar de que em outras variações, o fato de escala pode ser independente do tamanho do portal.
[00116] Em algumas variações, um portal 910 pode ser colocado substancialmente em qualquer ponto de observação no ambiente virtual que o usuário desejar. Por exemplo, um portal 910 pode ser colocado em qualquer lugar em uma superfície terrestre virtual da sala de operação virtual ou em um objeto virtual (por exemplo, mesa, cadeira, console do usuário, etc.). Como outro exemplo, como apresentado na FIGURA 9B, um portal 910 pode ser colocado acima do solo em qualquer elevação adequada acima da superfície terrestre virtual. Ainda como outro exemplo, como apresentado na FIGURA 9C, um portal pode ser colocado sobre ou dentro de um paciente virtual, tal como os portais 910a e 910b que são colocados no abdome de um paciente e permitem vistas dos intestinos e de outros órgãos internos do paciente
Petição 870190110594, de 30/10/2019, pág. 71/139
64/86 virtual (por exemplo, realidade aumentada simulada). Neste exemplo, o paciente virtual pode ser gerado a partir de captação de imagens médicas e de outras informações para um paciente real (não virtual), de modo que os portais 910a e 910b possam permitir ao usuário ter uma vista imersiva de uma representação precisa do tecido do paciente real (por exemplo, para visualizar tumores, etc.), e/ou gerado a partir de câmeras virtuais internas (descritas abaixo) colocadas dentro do paciente. Em algumas variações, o sistema pode limitar a colocação de um portal 910 de acordo com orientações predefinidas (por exemplo, somente fora do paciente ou somente dentro do paciente), os quais podem corresponder, por exemplo, a um tipo de procedimento cirúrgico simulado ou a um nível de treinamento (por exemplo, nível de usuário iniciante ou avançado) associado com o ambiente virtual. Tais localizações proibidas podem ser indicadas para o usuário, por exemplo, por uma alteração visual no portal 910 à medida que ele está sendo colocado (por exemplo, alteração de cor do contorno, exibição de uma vista de janela acinzentada ou opaca dentro do portal 910 à medida que ele está senso colocado) e/ou indicações auditivas (por exemplo, alarme sonoro, sinais sonoros, realimentação verbal). Ainda em outras variações, o sistema pode adicionalmente ou alternativamente incluir um ou mais portais 910 colocados em localizações predeterminadas, tal como em um console do usuário virtual no ambiente virtual, adjacente à mesa de paciente virtual, etc. Tais localizações predeterminadas podem, por exemplo, depender do tipo de procedimento, ou serem salvas como parte de um arquivo de configuração.
[00117] Um portal 910 pode ser visível a partir de qualquer lado (por exemplo, lado frontal e lado traseiro) do portal. Em algumas variações, a vista a partir de um lado do portal 910 pode ser diferente de um lado oposto do portal 910. Por exemplo, quando visto a partir de um primeiro lado (por exemplo, frente) do portal 910, o portal pode
Petição 870190110594, de 30/10/2019, pág. 72/139
65/86 proporcionar uma vista do ambiente virtual com um fator de escala e efeitos paraláticos como descrito acima, enquanto quando visto a partir de um segundo lado (por exemplo, traseira) do portal 910, o portal pode proporcionar uma vista do ambiente virtual com um fator de escala ao redor de um. Como outro exemplo, o portal pode proporcionar uma vista do ambiente virtual com um fato de escala e efeitos paraláticos quando visto a partir tanto do primeiro lado como do segundo lado do portal.
[00118] Em algumas variações, vários portais 910 podem ser sequencialmente ligados para incluírem uma trajetória no ambiente virtual. Por exemplo, como apresentado na FIGURA 9C, uma vista em perspectiva em primeira pessoa do ambiente cirúrgico robótico virtual a partir de um primeiro ponto de observação pode ser exibida (por exemplo, uma vista imersiva). O usuário pode colocar um primeiro portal 910a em um segundo ponto de observação que é diferente do primeiro ponto de observação (por exemplo, mais próximo do paciente virtual do que o primeiro ponto de observação) e uma primeira vista e janela do ambiente cirúrgico robótico virtual a partir do segundo ponto de observação pode ser exibida no primeiro portal 910a. De forma similar, o usuário pode colocar um segundo portal 910b em um terceiro ponto de observação (por exemplo, mais próximo do paciente do que os primeiro e segundo pontos de observação), e uma segunda vista de janela do ambiente cirúrgico robótico virtual pode ser exibida no segundo portal 910b. O usuário pode proporcionar uma entrada do usuário associando os primeiro e segundo portais 910a e 910b (por exemplo, pela seleção com os controladores manuais, desenhando uma linha entre os primeiro e segundo portais com os controladores manuais, etc.) de modo que os primeiro e segundo portais sejam sequencialmente ligados, desse modo gerando uma trajetória entre os primeiro e segundo portais.
Petição 870190110594, de 30/10/2019, pág. 73/139
66/86
[00119] Em algumas variações, após vários portais 910 serem ligados para gerar uma trajetória, o transporte ao longo da trajetória pode não requerer seleção explícita de cada portal sequencial. Por exemplo, uma vez na trajetória (por exemplo, no segundo ponto de observação), o deslocamento entre portais ligados pode ser realizado pelo emprego de um acionador, botão, superfície sensível ao toque, roda de rolagem, outro componente interativo do controlador manual, comando de voz, etc.
[00120] Portais adicionais podem ser ligados de uma maneira similar. Por exemplo, dois, três, ou mais portais podem ser ligados em série para gerar uma trajetória estendida. Como outro exemplo, vários portais podem formar trajetórias ramificadas, onde pelo menos duas trajetórias compartilham pelo menos um portal em comum, mas de outro modo cada trajetória possui pelo menos um portal que é único para essa trajetória. Ainda como outro exemplo, vários portais podem formar duas ou mais trajetórias que não compartilham portais em comum. O usuário pode selecionar qual trajetória percorrer, tal como por utilizar os controladores manuais e/ou comando de voz, etc. Uma ou mais trajetórias entre portais podem ser visualmente indicadas (por exemplo, com uma linha pontilhada, codificação de cor de portais ao longo da mesma trajetória, etc.), e tal indicação visual de trajetórias pode ser alternada ligada e desligada, tal como baseado na preferência do usuário.
[00121] Outros componentes de portal podem facilitar navegação fácil das trajetórias entre portais. Por exemplo, um portal pode alterar a cor quando o usuário tiver entrado e se movido através desse portal. Como apresentado na FIGURA 9C, em outro exemplo, um próprio portal pode ser exibido com setas de direção indicando a direção permitida da trajetória incluindo esse portal. Além disso, o deslocamento através das trajetórias pode ser realizado com um comando desfazer
Petição 870190110594, de 30/10/2019, pág. 74/139
67/86 (via controladores manuais e/ou comando de voz, etc.) que retorna o usuário para o ponto de observação anterior (por exemplo, exibe a vista do ambiente virtual a partir do ponto de observação anterior). Em algumas variações, um ponto de observação inicial ou preestabelecido pode ser estabelecido (tal como de acordo com a preferência do usuário ou com configurações do sistema) de modo a permitir a um usuário retornar para esse ponto de observação inicial rapidamente com um comando de atalho, tal como um componente interativo em um controlador manual ou um comando de voz (por exemplo, Restaura minha posição). Por exemplo, um ponto de observação inicial ou preestabelecido pode ser em um console de usuário virtual ou adjacente à mesa de paciente virtual.
[00122] O modo de usuário facilitando a colocação e uso de portais, ou outro modo de usuário separado, pode ainda facilitar o apagamento de um ou mais portais. Por exemplo, um portal pode ser selecionado para apagamento com os controladores manuais. Como outro exemplo, um ou mais portais podem ser selecionados para apagamento via comando de voz (por exemplo,apaga todos os portais ou apaga portal A).
Navegação livre
[00123] O sistema pode incluir um modo de usuário que facilita navegação livre ao redor do ambiente cirúrgico robótico virtual. Por exemplo, como descrito nesse documento, o sistema pode ser configurado para detectar movimentos de caminhada do usuário baseando em sensores no vídeo montado na cabeça e/ou nos controladores manuais, e pode correlacionar os movimentos do usuário ao reposicionar dentro de uma sala de operação virtual.
[00124] Em outra variação, o sistema pode incluir um modo de voo que permite ao usuário rapidamente navegar o ambiente virtual de uma maneira voando em diferentes elevações e/ou velocidades, em
Petição 870190110594, de 30/10/2019, pág. 75/139
68/86 diferentes ângulos. Por exemplo, o usuário pode navegar no modo de voo por direcionar um ou mais controladores manuais e/ou o equipamento da cabeça em uma direção desejada para voo. Componentes interativos no controlador manual podem ainda controlar o voo. Por exemplo, uma base ou superfície sensível ao toque direcional pode proporcionar controle para movimentos para frente, para trás, bombardeio, etc. enquanto mantendo substancialmente a mesma vista em perspectiva do ambiente virtual. Translações pode, em algumas variações, ocorrer sem aceleração, à medida que a aceleração pode tender a aumentar a probabilidade de náuseas do simulador. Em outra configuração de usuário, uma base ou superfície sensível ao toque direcional (ou orientação do aparelho da cabeça) pode proporcionar controle para elevação da localização aparente do usuário dentro do ambiente virtual. Além disso, em algumas variações, similar a isso descrito acima com respeito aos portais, um ponto de observação inicial ou preestabelecido dentro do modo de voo pode ser estabelecido de modo a permitir a um usuário retornar para esse ponto de observação inicial rapidamente com um comando de atalho. Parâmetros tais como velocidade de voo em resposta a uma entrada do usuário podem ser ajustáveis pelo usuário e/ou estabelecidos pelo sistema por padrão preestabelecido.
[00125] Além disso, no modo de voo, o fato de dimensionamento da vista exibida pode ser controlado vias os controladores manuais. O fato de dimensionamento pode, por exemplo, afetar a elevação aparente da localização do usuário dentro do ambiente virtual. Em algumas variações, o usuário pode utilizar os controladores manuais para separar dois pontos na vista exibida para ampliar a trazer para mais próximo dois pontos na vista exibida para diminuir, ou inversamente separar dois pontos na vista exibida para ampliar e trazer para próximo dois pontos na vista exibida para diminuir. Adicionalmente ou alterna
Petição 870190110594, de 30/10/2019, pág. 76/139
69/86 tivamente, o usuário pode utilizar comandos de voz (por exemplo, aumentar zoom para 2x) para alterar o fator de dimensionamento da vista exibida. Por exemplo, as FIGURAS 10A e 10B ilustram vistas ilustrativas do ambiente virtual que são relativamente aumentadas e diminuídas, respectivamente. Parâmetros tais como velocidade da alteração no fato de escala, faixa de fatores de escala mínimo e máximo, etc., podem ser ajustáveis pelo usuário e/ou estabelecidos pelo sistema por padrão preestabelecido.
[00126] À medida que o usuário livremente navega o ambiente virtual no modo de voo, a vista exibida pode incluir componentes para reduzir a fadiga dos olhos, náusea, etc. Por exemplo, em algumas variações, o sistema pode incluir um modo confortável no qual regiões externas da vista exibida são removidas à medida que o usuário navega no modo de voo, o que pode, por exemplo, ajudar a reduzir náusea de movimento para o usuário. Como apresentado na FIGURA 10C, quando no modo de conforto, o sistema pode definir uma região de transição 1030 entre um limite de transição interno 1010 e um limite de transição externo 1020 ao redor de uma área focal (por exemplo, centro) da vista do usuário. Dentro da região de transição (dentro do limite de transição interno 1010), uma vista normal do ambiente cirúrgico robótico virtual é exibida. Fora da região de transição (fora do limite de transição externo 1020), uma vista neutra ou fundo liso (por exemplo, um fundo liso cinza) é exibido. Dentro da região de transição 1030, a vista exibida pode possuir um gradiente que gradualmente muda para a vista do ambiente virtual para a vista neutra. Apesar de a região de transição 1030 apresentada na FIGURA 10C ser representada como geralmente circular, com limites de transição interno e externo geralmente circulares 1010 e 1020, em outras variações, os limites de transição interno e externo 1010 e 1020 podem definir uma região de transição 1030 que é elíptica ou de outro formato adequado. Além disso,
Petição 870190110594, de 30/10/2019, pág. 77/139
70/86 em algumas variações, vários parâmetros da região de transição, tal como tamanho, formato, gradiente, etc., podem ser ajustáveis pelo usuário e/ou estabelecidos pelo sistema por condição preestabelecida. [00127] Em algumas variações, como apresentado na FIGURA 11, o usuário pode ver o ambiente cirúrgico robótico virtual a partir de uma vista de casa de boneca que permite ao usuário ver a sala de operação virtual a partir de um ponto de observação acima da cabeça, com uma perspectiva de cima para baixo. Na vista de casa de boneca, a sala de operação virtual pode ser exibida em um fator de escala menor (por exemplo, menor do que o tamanho ao vico) no vídeo, desse modo alterando a escala do usuário em relação à sala de operação virtual. A vista de casa de boneca pode proporcionar ao usuário ciência contextual adicional do ambiente virtual, à medida que o usuário pode ver toda a sala de operação virtual de uma vez, bem como a disposição de seus conteúdos, tal como equipamento virtual, equipe virtual, paciente virtual, etc. Através da vista de casa de boneca, por exemplo, o usuário pode reorganizar os objetos virtuais na sala de operação virtual com ciência contextual mais total. A vista de casa de boneca pode, em algumas variações, ser ligada em uma trajetória com portais e/ou pontos instantâneos descritos acima.
Rotação da vista do ambiente
[00128] Em algumas variações, o sistema pode incluir um modelo do usuário que permite ao usuário navegar o ambiente cirúrgico robótico virtual por mover o ambiente virtual ao redor de seu ponto de observação atual. O modo de rotação de vista do ambiente pode oferecer uma maneira diferente na qual o usuário pode navegar o ambiente virtual, tal como por capturar e manipular o ambiente como se ele fosse um objeto. À medida que o usuário navega através do ambiente virtual de tal maneira, um modo de conforto similar a esse descrito acima pode adicionalmente ser implementado para ajudar a reduzir a
Petição 870190110594, de 30/10/2019, pág. 78/139
71/86 náusea relacionada com simulação. Por exemplo, em um modo de rotação de vista do ambiente, o usuário pode girar uma cena exibida ao redor de um ponto de observação atual por selecionar e arrastar a vista do ambiente virtual ao redor do ponto de observação atual do usuário. Em outras palavras, no modo de rotação de vista do ambiente, a localização aparente do usuário no ambiente virtual parece fixa enquanto o ambiente virtual pode ser movido. Isto está em contraste com outros modos, tal como, por exemplo, o modo de voo descrito acima, no qual geralmente o ambiente parece fixo enquanto o usuário se move. Similar aos ajustes de fator de dimensionamento descritos acima para o modo de voo, no modo de rotação de vista do ambiente, o fator de dimensionamento da vista exibida do ambiente pode ser controlador pelos controladores manuais e/ou por comandos de voz (por exemplo, por utilizar os controladores manuais para selecionar e separar dois pontos na vista exibida para ampliar, etc.).
[00129] Por exemplo, como apresentado na FIGURA 15, em uma variação ilustrativa de um método 1500 para operar em um modo de rotação de vista do ambiente, o usuário pode ativar um método de entrada do usuário (1510) tal como em um controlador manual (por exemplo, um botão ou acionador ou outro componente adequado) ou qualquer dispositivo adequado. Em algumas variações, um controlador manual (1520) pode ser detectado quando da ativação do método de entrada do usuário. A posição original do controlador manual na hora da ativação pode ser detectada e armazenada (1522). Depois disso, à medida que o usuário move o controlador manual (por exemplo, enquanto continuando a ativar o método de entrada do usuário), a posição atual do controlador manual pode ser detectada (1524). Uma diferença de vetor entre a posição original (ou anterior) e a posição atual do controlador manual pode ser calculada (1526), e a posição do ponto de observação do usuário pode ser ajustada (1528) baseado
Petição 870190110594, de 30/10/2019, pág. 79/139
72/86 pelo menos parcialmente na diferença de vetor calculada, desse modo criando um efeito que faz o usuário sentir que ele está capturando e arrastando o ambiente virtual ao redor.
[00130] Em algumas variações, dois controladores manuais (1520’) podem ser detectados quando da ativação do método de entrada do usuário. As posições originais dos controladores manuais podem ser detectadas (1522’), e um ponto central e um vetor original entre as posições originais dos controladores manuais (1523’) podem ser calculados e armazenados. Depois disso, à medida que o usuário move um ou mais dentre ambos os controladores manuais (por exemplo, enquanto continuando a ativar o método de entrada do usuário), as posições atuais dos controladores manuais podem ser detectadas (1524’) e utilizadas para formar a base para uma diferença de vetor calculada entre os vetores originais e atuais entre os controladores manuais (1528’). A posição e/ou a orientação do ponto de observação do usuário podem ser ajustadas (1528’), baseado na diferença de vetor calculada. Por exemplo, a orientação ou rotação da vista exibida pode ser girada ao redor do ponto central entre as localizações de controlador manual, desse modo criando um efeito que faz o usuário sentir que ele está capturando e arrastando o ambiente ao redor. De forma similar, a escala da exibição do ambiente virtual (1529’) pode ser ajustada baseado na diferença calculada na distância entre os dois controladores manuais, desse modo criando um feito que faz o usuário sentir como se ele estivesse capturando e ampliando e diminuindo a vista exibida do ambiente virtual.
[00131] Apesar dos modos de usuário descritos acima serem descritos separadamente, deve ser entendido que aspectos destes modos caracterizam meios ilustrativos que um usuário pode navegar o ambiente cirúrgico robótico virtual, e podem ser combinados em um único modo de usuário. Além disso, alguns desses aspectos podem ser di
Petição 870190110594, de 30/10/2019, pág. 80/139
73/86 retamente ligados. Por exemplo, um ponto de observação sobre a cabeça geralmente associado com o modo de voo pode ser sequencialmente ligado com um ou mais portais em uma trajetória. Além disso, em algumas variações, um ponto de observação ou vista exibida do ambiente virtual (por exemplo, como ajustado via um ou mais dos modos de usuário acima) pode ser ligado com pelo menos um ponto de observação preestabelecido (por exemplo, preestabelecido em posição, orientação, e/ou escala). Por exemplo, por ativar uma entrada do usuário (por exemplo, em um controlador manual, pedal, etc.), um usuário pode reinicializar o ponto de observação atual para um ponto de observação designado ou predeterminado no ambiente virtual. O ponto de observação atual do usuário pode, por exemplo, ser gradualmente ou suavemente animado de modo a mudar para valores preestabelecidos de posição, orientação, e/ou escala.
Vistas suplementares
[00132] Em algumas variações, um modo ou modos de usuário ilustrativos do sistema podem exibir uma ou mais vistas suplementares de informação adicional para um usuário, tal como sobrepostas ou inseridas na vista em perspectiva em primeira pessoa principal do ambiente cirúrgico robótico virtual. Por exemplo, como apresentado na FIGURA 12, um vídeo em painel transparente 1210 (HUD) pode proporcionar uma sobreposição transparente sobre uma vista em perspectiva em primeira pessoa principal do ambiente virtual. O HUD 1210 pode ser alternado em ativado e desativado, desse modo permitindo ao usuário controlar se exibe o HUD 1210 em qualquer momento particular. Vistas suplementares de informação adicional, tal como esta descrita abaixo, podem ser colocadas sobre o HUD de modo que o usuário pode observar as vistas suplementares sem desviar o olhar da vista principal. Por exemplo, as vistas suplementares podem aderir ao HUD 1210 e se mover com o movimento da cabeça do usuário de modo que
Petição 870190110594, de 30/10/2019, pág. 81/139
74/86 as vistas suplementares fiquem sempre no campo de visão do usuário. Como outro exemplo, vistas suplementares de informação adicional podem ser livremente fixadas junto ao HUD 1210, pelo fato que as vistas suplementares podem ser menores ou pelo menos parcialmente ocultas fora da tela ou na visão periférica quando a cabeça do usuário está geralmente voltada para frente, mas movimento mínimo ou ligeiro para um lado pode expandir e/ou trazer uma ou mais vistas suplementares para dentro do campo de visão do usuário. A uma ou mais vistas suplementares podem ser dispostas no HUD 1210 em uma fileira, grade, ou em outra disposição adequada. Em algumas variações, o HUD 1210 pode incluir pontos instantâneos predeterminados junto aos quais as vistas suplementares (por exemplo, vistas de câmera, etc.) são posicionadas. Por exemplo, o usuário pode selecionar uma vista suplementar no HUD 1210 para inspeção mais próxima, e então substituir a vista suplementar no HUD 1210 por arrastar a mesma geralmente na direção de um ponto instantâneo, depois do que a vista suplementar pode ser puxada para e fixada no ponto instantâneo sem precisar ser precisamente colocada no mesmo pelo usuário.
[00133] Como outro exemplo, em um modo de estação de comando virtual, uma ou mais vistas suplementares podem ser exibidas em um espaço virtual com uma ou mais janelas ou painéis de conteúdo dispostos na frente do usuário no espaço virtual (por exemplo, similar a um menu navegável). Por exemplo, como apresentado na FIGURA 13, várias janelas de conteúdo (por exemplo, 1210a, 1310b, 1310c, e 1310d) podem ser posicionadas em uma disposição semicircular ou em outra disposição adequada para exibição para um usuário. A disposição das janelas de conteúdo pode ser ajustada pelo usuário (por exemplo, utilizando os controladores manuais com suas representações gráficas 230’ para selecionar e arrastar ou girar janelas de conteúdo). As janelas de conteúdo podem exibir, por exemplo, uma alimen
Petição 870190110594, de 30/10/2019, pág. 82/139
75/86 tação de vídeo de endoscópio, uma vista de portal, uma vista por cima de estádio da sala de operação virtual, dados do paciente (por exemplo, captação de imagens), outras vistas de câmera ou de informação do paciente tais como estas descritas neste documento, etc. Por visualizar vários painéis simultaneamente, o usuário pode estar apto a simultaneamente monitorar vários aspectos da sala de operação virtual e/ou do paciente, desse modo permitindo ao usuário ter uma ciência abrangente e mais ampla do ambiente virtual. Por exemplo, o usuário pode se tornar ciente e então responder mais rapidamente a quaisquer eventos adversos no ambiente virtual (por exemplo, reações negativas simuladas do paciente virtual durante um procedimento cirúrgico simulado).
[00134] Além disso, o modo de estação de comando virtual pode permitir a um usuário selecionar qualquer uma das janelas de conteúdo e se tornar imersivo no conteúdo exibido (por exemplo, com uma perspectiva em primeira pessoa). Tal modo totalmente imersivo pode temporariamente desprezar as outras janelas de conteúdo, ou pode minimizar (por exemplo, ser relegado a uma sobreposição HUD sobre o conteúdo imersivo selecionado). Como um exemplo ilustrativo, no modo de estação de comando virtual, o sistema pode exibir várias janelas de conteúdo incluindo uma alimentação de vídeo de câmera endoscópica apresentando o interior do abdome de um paciente virtual. O usuário pode selecionar a alimentação de vídeo de câmera endoscópica para se tornar totalmente imerso no abdome do paciente virtual (por exemplo, enquanto ainda manipulando braços robóticos e instrumentos conectados com os braços).
Vistas de câmera
[00135] Em algumas variações, um modo de usuário pode permitir ao usuário colocar uma câmera virtual em um ponto de observação selecionado no ambiente virtual, e uma vista de janela do ambiente
Petição 870190110594, de 30/10/2019, pág. 83/139
76/86 virtual a partir do ponto de observação selecionado pode ser exibida no HUD de modo que o usuário pode simultaneamente ver tanto seu campo de visão em perspectiva em primeira pessoa como a vista da câmera (a vista proporcionada pela câmera virtual) que pode atualizar em tempo real. Uma câmera virtual pode ser colocada em qualquer localização adequada no ambiente virtual (por exemplo, dentro ou fora do paciente, por cima do paciente, por cima da sala de operação virtual, etc.). Por exemplo, como apresentado na FIGURA 12, o usuário pode colocar uma câmera virtual 1220 (por exemplo, utilizando preensão de objeto como descrito acima) próximo à região pélvica de um paciente virtual e voltada para o abdome do paciente de modo a proporcionar uma alimentação de vídeo virtual do abdome do paciente. Uma vez colocada, uma câmara virtual 1220 pode ser subsequentemente reposicionada. Uma vista da câmera (por exemplo, uma vista de inserção circular, ou janela de qualquer formato adequado) pode ser colocada no HUD como uma vista de janela apresentando a alimentação de vídeo virtual a partir do ponto de observação da câmera virtual 1220. Similarmente, várias câmeras virtuais podem ser colocadas no ambiente virtual para permitir várias vistas virtuais serem apresentadas no HUD. Em algumas variações, uma disposição predeterminada de uma ou mais câmeras virtuais pode ser carregada, tal como parte de um arquivo de configuração para o processador de realidade virtual para incorporar dentro do ambiente virtual.
[00136] Em algumas variações, o sistema pode oferecer uma faixa de diferentes tipos de câmeras virtuais, as quais podem proporcionar diferentes tipos de vistas de câmera. Uma variação ilustrativa de uma câmera virtual é uma câmera de cinema que é configurada para proporcionar uma alimentação virtual ao vivo do ambiente virtual (por exemplo, vista de câmera de cinema 1212 na FIGURA 12). Outra variação ilustrativa de uma câmera virtual é uma câmera endoscópica
Petição 870190110594, de 30/10/2019, pág. 84/139
77/86 que é conectada com um endoscópio virtual para ser colocada em um paciente virtual. Nesta variação, o usuário pode, por exemplo, virtualmente executar uma técnica para introduzir a câmera endoscópica virtual dentro do paciente virtual e subsequentemente monitorar o espaço de trabalho interno dentro do paciente por visualizar a alimentação de vídeo endoscópica (por exemplo, vista de câmera endoscópica 1214 na FIGURA 12). Em outra variação ilustrativa, a câmera virtual pode ser uma câmera de grande angular (por exemplo, 360 graus, panorâmica, etc.) que é configurada para proporcionar um campo de visão maior do ambiente virtual. Nesta variação, a vista da câmera de janela pode, por exemplo, ser exibida com um vídeo olho de peixe ou geralmente esférico.
[00137] Vários aspectos da vista de câmera podem ser ajustados pelo usuário. Por exemplo, o usuário pode ajustar a localização, tamanho, fator de escala, etc. da vista da câmera (por exemplo, similar aos ajustes dos portais como descrito acima). Como outro exemplo, o usuário pode selecionar um ou mais filtros ou outros efeitos especiais de imagem a serem aplicados para a vista da câmera. Filtros ilustrativos incluem filtros que realçam componentes anatômicos particulares (por exemplo, tumores) ou características de tecido (por exemplo, perfusão) do paciente virtual. Em algumas variações, uma ou mais câmeras virtuais podem ter a seleção retirada ou desligadas (por exemplo, terem a câmera virtual e/ou a vista de câmera associada seletivamente ocultas) ou apagada, tal como se a câmera virtual ou sua vista de câmera associada estivesse obstruindo a vista do usuário do ambiente virtual atrás da câmera virtual ou da vista da câmera.
[00138] Em algumas variações, uma vista de câmera pode funcionar similarmente a um portal (descrito acima) para permitir ao usuário navegar rapidamente ao redor do ambiente virtual. Por exemplo, com referência à FIGURA 12, um usuário pode selecionar uma vista de
Petição 870190110594, de 30/10/2019, pág. 85/139
78/86 câmera 1212 (por exemplo, realçar ou capturar e empurrar a vista de câmera 1212 em direção a ele próprio) a ser transportada para o ponto de observação da vista da câmera 1212.
Vistas de dados do paciente, etc.
[00139] Em algumas variações, um modo de usuário pode permitir a exibição de dados do paciente e de outras informações no HUD ou em outra localização adequada no vídeo. Por exemplo, informações de imagens do paciente (por exemplo, ultrassom, raio X, MRI, etc.) podem ser exibidas em uma exibição suplementar, sobreposta sobre o paciente (por exemplo, como realidade aumentada simulada). Um usuário pode, por exemplo, visualizar imagens do paciente como referência enquanto interagindo com o paciente virtual. Como outro exemplo, sinais vitais do paciente (por exemplo, batimento cardíaco, pressão sanguínea, etc.) podem ser exibidos para o usuário em uma vista suplementar.
[00140] Em outra variação, um modo de usuário pode permitir exibição de outras informações adequadas, tais como vídeos de treinamento (por exemplo, procedimento cirúrgicos ilustrativos gravados a partir de um procedimento anterior), alimentação de vídeo a partir de um cirurgião mentor ou instrutor, etc. proporcionando orientação para um usuário.
Aplicações do Sistema de Realidade Virtual
[00141] Geralmente, o sistema de realidade virtual pode ser utilizado em qualquer cenário adequado no qual ele seja útil para simular ou replicar um ambiente cirúrgico robótico. Em algumas variações, o sistema de realidade virtual pode ser utilizado para propósito de treinamento, tal como permitindo a um cirurgião praticar o controle de um sistema cirúrgico robótico e/ou praticar a execução de um tipo particular de procedimento cirúrgico minimamente invasivo utilizando um sistema cirúrgico robótico. O sistema de realidade virtual pode permitir a
Petição 870190110594, de 30/10/2019, pág. 86/139
79/86 um usuário melhor entender os movimentos do sistema cirúrgico robótico em resposta aos comandos do usuário, tanto dentro como fora do paciente. Por exemplo, um usuário pode utilizar um vídeo montado na cabeça sob supervisão de um mentor ou instrutor que pode ver o ambiente de realidade virtual ao lado do usuário (por exemplo, através de um segundo vídeo montado na cabeça, através de um vídeo externo, etc.) e orientar o usuário através das operações de um sistema cirúrgico robótico virtual dentro do ambiente de realidade virtual. Como outro exemplo, um usuário pode utilizar um vídeo montado na cabeça e pode ver, como exibido no vídeo imersivo (por exemplo, em uma janela de conteúdo, no HUD, etc.) um vídeo relacionado com treinamento tal como uma gravação de um procedimento cirúrgico anteriormente executado.
[00142] Como outro exemplo, o sistema de realidade virtual pode ser utilizado para propósito de planejamento cirúrgico. Por exemplo, um usuário pode operar o sistema de realidade virtual para planejar o fluxo de trabalho cirúrgico. Arquivos de configuração de objetos virtuais (por exemplo, sistema cirúrgico robótico incluindo controladores de braços e ferramenta, console do usuário, atuadores, outro equipamento, leito de paciente, paciente, equipe, etc.) podem ser carregados em um ambiente cirúrgico robótico virtual como representativos de objetos reais que estarão na sala de operação real (isto é, não virtual, ou verdadeira). Dentro do ambiente de realidade virtual, o usuário pode ajustar componentes da sala de operação virtual, tal como posicionar o console do usuário, o leito do paciente, e outro equipamento relativo uns aos outros em uma disposição desejada. O usuário pode adicionalmente ou alternativamente utilizar o sistema de realidade virtual para planejar aspectos do sistema cirúrgico robótico, tal como selecionar o número e a localização de aberturas para a entrada de instrumentos cirúrgicos, ou determinar o número ideal e o posicionamento / orienta
Petição 870190110594, de 30/10/2019, pág. 87/139
80/86 ção (por exemplo, localização de montagem, posição do braço, etc.) de braços robóticos para um procedimento, tal como para minimizar potenciais colisões entre componentes do sistema durante o procedimento cirúrgico. Tais disposições virtuais podem ser baseadas, por exemplo, em configurações anteriores, por tentativa e erro, para procedimentos cirúrgicos similares e/ou paciente similares, etc. Em algumas variações, o sistema pode adicionalmente ou alternativamente propor disposições virtuais selecionadas baseadas nas técnicas de aprendizagem de máquina aplicadas para conjuntos de dados de procedimentos cirúrgicos anteriormente executados para vários tipos de pacientes.
[00143] Ainda como outro exemplo, o sistema de realidade virtual pode ser utilizado para propósito de P&D (por exemplo, simulações). Por exemplo, um método para projetar um sistema cirúrgico robótico pode incluir gerar um modelo virtual de um sistema cirúrgico robótico, testar o modelo virtual do sistema cirúrgico robótico em um ambiente de sala de operação virtual, modificar o modelo virtual do sistema cirúrgico robótico baseado no teste, e construir o sistema cirúrgico robótico baseado no modelo virtual modificado. Aspectos do modelo virtual do sistema cirúrgico robótico que podem ser testados no ambiente de sala de operação virtual incluem características físicas de um ou mais componentes do sistema cirúrgico robótico (por exemplo, diâmetro ou comprimento de ligações do braço). Por exemplo, um modelo virtual de um projeto particular pode ser testado com respeito aos movimentos do braço particular, procedimentos cirúrgicos, etc. (por exemplo, teste em relação à probabilidade de colisão entre o braço robótico e outros objetos). Por consequência, um projeto de um braço robótico (ou de forma similar, de qualquer outro componente do sistema cirúrgico robótico) pode ser pelo menos inicialmente testado pelo teste de uma implementação virtual do projeto, ao invés de testar um protótipo
Petição 870190110594, de 30/10/2019, pág. 88/139
81/86 físico, desse modo acelerando o ciclo P&D e reduzindo custos.
[00144] Outros aspectos que podem ser testados incluem funcionalidade de um ou mais componentes do sistema cirúrgico robótico (por exemplo, modos de controle de um sistema de controle). Por exemplo, como descrito acima, um aplicativo de ambiente de operação virtual pode passar informação de condição para um aplicativo de cinemática, e o aplicativo de cinemática pode gerar e passar comandos baseado nos algoritmos de controle, em que o processador de realidade virtual pode utilizar os comandos para causar alterações no ambiente cirúrgico robótico virtual (por exemplo, mover um braço robótico virtual de um modo particular de acordo com algoritmos de controle relevantes). Assim, algoritmos de controle de software podem ser incorporados em um sistema robótico virtual para teste, refinamento, etc., sem requer um protótipo físico do componente robótico relevante, desse modo conservando recursos P&D e acelerando o ciclo P&D.
[00145] Em outro exemplo, o sistema de realidade virtual pode ser utilizado para permitir que vários cirurgiões colaborem no mesmo ambiente de realidade virtual. Por exemplo, vários usuários podem utilizar vídeos montados na cabeça e interagir uns com os outros (e com o mesmo sistema robótico virtual, com o mesmo paciente virtual, etc.) no ambiente de realidade virtual. Os usuários podem estar fisicamente na mesma sala ou localização geral, ou podem estar remotos uns dos outros. Por exemplo, um usuário pode estar instruindo à distância os outros à medida que eles colaboram para executar um procedimento cirúrgico no paciente virtual.
[00146] Aplicações ilustrativas específicas do sistema de realidade virtual são descritas abaixo em detalhes adicionais. Entretanto, deve ser entendido que as aplicações do sistema de realidade virtual não estão limitadas a esses exemplos e cenários de aplicação geral descritos neste documento.
Petição 870190110594, de 30/10/2019, pág. 89/139
82/86
Exemplo 1 - sobre o leito
[00147] Um usuário pode utilizar o sistema de realidade virtual para simular um cenário sobre o leito no qual ele fica adjacente ao leito ou mesa de um paciente e opera tanto um sistema cirúrgico robótico como uma ferramenta laparoscópica manual. Tal simulação pode ser útil para treinamento, planejamento cirúrgico, etc. Por exemplo, o usuário pode grampear tecido em um segmento alvo do intestino de um paciente virtual utilizando tanto uma ferramenta robótica virtual como uma ferramenta manual virtual.
[00148] Neste exemplo, o usuário utiliza um vídeo montado na cabeça proporcionando uma vista imersiva de um ambiente de realidade virtual, e pode utilizar controladores manuais para navegar dentro do ambiente de realidade virtual para ficar adjacente a uma mesa de paciente virtual na qual um paciente virtual se situa. Uma extremidade proximal de um braço robótico virtual é conectada com a mesa de paciente virtual, e uma extremidade distal do braço robótico virtual suporta um controlador de ferramenta virtual atuando o fórceps virtual que estão posicionados dentro do abdome do paciente virtual. Uma ferramenta grampeadora laparoscópica virtual é passada através de uma cânula virtual e possuindo uma extremidade distai posicionada dentro do abdome do paciente virtual. Adicionalmente, uma câmera endoscópica é posicionada dentro do abdome do paciente virtual, e proporciona uma alimentação de câmera apresentando o espaço de trabalho cirúrgico dentro do abdome do paciente virtual (incluindo tecido do paciente, fórceps roboticamente controlado, e uma ferramenta grampeadora laparoscópica manual).
[00149] O usuário continua a visualizar o ambiente virtual através do vídeo imersivo no vídeo montado na cabeça, bem como a alimentação de câmera endoscópica virtual exibida em uma vista de janela em um vídeo de painel transparente sobreposto no campo de visão do
Petição 870190110594, de 30/10/2019, pág. 90/139
83/86 usuário. O usuário segura em uma mão um controle manual que é configurado para controlar os fórceps virtuais acionados por robô. O usuário seguira na outra mão um controlador de mão laparoscópico que é configurado para controlar a ferramenta grampeadora laparoscópica manual virtual, com o controlador de mão laparoscópico passando através de uma cânula montado no corpo do paciente simulado feito de espuma. O controlador de mão laparoscópico é calibrado para corresponder à ferramenta grampeadora laparoscópica manual virtual.O usuário manipula o controlador manual para operar os fórceps roboticamente controlados para manipular o intestino do paciente virtual e descobrir um segmento alvo do intestino. Com o segmento alvo do intestino exposto e acessível, o usuário manipula o controlado de Mao laparoscópico para aplicar grampos virtuais para o segmento alvo via a ferramenta grampeadora laparoscópica manual virtual.
Exemplo 2 - resolução de colisão a partir do console do usuário [00150] Quando utilizando o sistema de realidade virtual, um usuário pode desejar resolver colisões entre componentes virtuais do sistema cirúrgico robótico virtual, mesmo que no entanto, o usuário não possa estar adjacente aos componentes virtuais colidindo (por exemplo, o usuário pode estar sentado a uma distância da mesma de paciente virtual, tal como em um console do usuário virtual). Neste exemplo, o usuário utiliza um vídeo montado na cabeça proporcionando uma vista imersiva proporcionada por um endoscópio virtual colocado dentro do abdome de um paciente virtual. As extremidades proximais de dois braços robóticos virtuais estão conectadas com localizações separadas em uma mesa de paciente virtual, na qual o paciente virtual se situa. As extremidades distais dos braços robóticos virtuais suportam os respectivos controladores de ferramenta atuando fórceps virtuais que são posicionados dentro do abdome do paciente virtual. O usuário manipula os controladores manuais para operar os dois fór
Petição 870190110594, de 30/10/2019, pág. 91/139
84/86 ceps virtuais controlados roboticamente, os quais manipulam o tecido virtual dentro do paciente virtual. Este movimento pode causar uma colisão envolvendo pelo menos um dos braços robóticos virtuais (por exemplo, um braço Rob ótico virtual pode estar posicionado de modo a criar uma colisão com ele próprio, os braços robóticos virtuais podem estar posicionados de modo a criarem uma colisão com o paciente ou com obstáculos próximos, etc.).
[00151] O sistema de realidade virtual detecta a colisão baseado na informação de condição dos braços robóticos virtuais, e alerta o usuário com respeito à colisão. O sistema exibe uma vista por cima ou outra vista adequada a partir de um ponto de observação adequado do sistema cirúrgico robótico virtual, tal como em uma vista de janela (por exemplo, vista de imagem dentro de imagem). A localização da colisão é realçada na vista de janela exibida, tal como contornar os componentes colidindo afetados com vermelho ou outra cor de contraste. Alternativamente, o usuário pode detectar a colisão ele mesmo por monitorar uma alimentação de câmera de vídeo a partir de uma câmera virtual colocada por cima da mesa do paciente virtual.
[00152] Ao se tornar ciente da colisão, o usuário pode ampliar ou ajustar a escala de sua vista imersiva do ambiente de realidade virtual.O usuário pode empregar um modo de controle de reposicionamento de braço que trava a posição e a orientação dos fórceps virtuais dentro do paciente. Utilizando os controladores manuais em um modo de usuário pegando objeto, o usuário pode capturar os pontos de contato virtuais nos braços robóticos virtuais e reposicionar os braços robóticos virtuais de modo a resolver a colisão enquanto o modo de controle mantém a posição e a orientação dos fórceps virtuais durante o reposicionamento do braço. Uma vez que os braços robóticos virtuais são reposicionados de modo que a colisão é resolvida, o usuário pode aproximar para o ponto de observação anterior, sair do modo de controle de reposiciona
Petição 870190110594, de 30/10/2019, pág. 92/139
85/86 mento de braço, e reiniciar a utilização dos controladores manuais para operar os fórceps virtuais dentro do paciente virtual.
Exemplo 3 - Remaneiamento coordenado de vários instrumentos cirúrgicos a partir do console do usuário
[00153] Quando utilizando o sistema de realidade virtual, um usuário pode achar útil permanecer substancialmente em uma vista endoscópica e deslocar vários instrumentos cirúrgicos virtuais (por exemplo, atuadores, câmeras) como um grupo ao invés do que individualmente dentro do paciente virtual, desse modo economizando tempo, bem como tornando mais fácil para o usuário manter ciência contextual dos instrumentos em relação à anatomia do paciente virtual. Neste exemplo, o usuário utiliza um vídeo montado na cabeça proporcionando uma vista imersiva proporcionada por um endoscópico virtual colocado dentro de um abdome de um paciente virtual. As extremidades proximais de dois braços robóticos virtuais estão conectadas com localizações separadas em uma mesa de paciente virtual, na qual o paciente virtual se situa. As extremidades distais do braço robótico virtual suportam os respectivos controladores de ferramenta atuando fórceps virtuais que estão posicionados na área pélvica do paciente virtual. O usuário pode manipular controladores manuais para operar os fórceps virtuais.
[00154] O usuário pode desejar mover o endoscópio virtual e os fórceps virtuais para outra região alvo do abdome do paciente virtual, tal como o baço. Ao invés de mover cada instrumento cirúrgico individualmente, o usuário pode empregar um modo de remanejamento coordenado. Uma vez que este modo seja empregado, a vista de câmera endoscópica amplia o eixo geométrico do endoscópico até uma distância suficiente para permitir ao usuário ver a nova região alvo (baço). Um indicador esférico é exibido na extremidade distal do endoscópio, o qual encapsula a extremidade distal do endoscópio virtual e as ex
Petição 870190110594, de 30/10/2019, pág. 93/139
86/86 tremidades distais dos fórceps virtuais. O usuário manipula pelo menos um controlador manual para retirar o endoscópio virtual e os fórceps virtuais do espaço de trabalho (por exemplo, até que o usuário possa ver a extremidade distai da cânula virtual na vista de endoscópica virtual), e então captura e move o indicador esférico a partir da área pélvica até o baço. Uma vez que o usuário finalize a nova região alvo por mover o indicador esférico para a nova região alvo, o endoscópio virtual e os fórceps virtuais automaticamente se deslocam para a nova região alvo e a vista da câmera endoscópica amplia para apresentar a nova região alvo. Por todo este movimento em escala relativamente grande, o usuário visualiza o ambiente virtual com uma vista substancialmente endoscópica do ambiente virtual, desse modo permitindo ao usuário manter ciência da anatomia do paciente virtual ao invés de transferir seu foco entre o instrumento e a anatomia.
[00155] A descrição precedente, para propósito de explicação, utilizou nomenclatura específica para proporcionar um entendimento abrangente da invenção. Entretanto, será aparente para os versados na técnica que detalhes específicos não são requeridos de modo a praticar a invenção. Assim, as descrições precedentes de modalidades específicas da invenção são apresentadas para propósito de ilustração e descrição. Elas não são pretendidas para serem exaustivas ou para limitar a invenção às formas precisas reveladas; obviamente, várias modificações e variações são possíveis de acordo com as instruções acima. As modalidades foram escolhidas e descritas de modo a melhor explicar os princípios da invenção e de suas aplicações práticas, e elas desse modo permitem aos versados na técnica melhor utilizar a invenção e as várias modalidades com várias modificações à medida que sejam adequadas para o uso particular contemplado. É pretendido que as reivindicações seguintes e seus equivalentes definam o escopo da invenção.

Claims (15)

  1. REIVINDICAÇÕES
    1. Sistema de realidade virtual para visualizar uma cirurgia robótica virtual, caracterizado pelo fato de que compreende:
    um processador configurado para gerar uma sala de operação virtual compreendendo um ou mais braços robóticos virtuais montados em uma mesa de operação virtual, um ou mais instrumentos cirúrgicos virtuais, cada um acoplado com uma extremidade distai de um braço robótico virtual, e um paciente virtual na parte de cima da mesa de operação virtual; e um dispositivo manual comunicativamente acoplado com o processador, em que o dispositivo manual é configurado para manipular os braços robóticos virtuais e os instrumentos cirúrgicos virtuais para executar uma cirurgia virtual junto ao paciente virtual;
    em que o processador é configurado para sintetizar a cirurgia virtual junto ao paciente virtual na sala de operação virtual em um vídeo.
  2. 2. Sistema, de acordo com a reivindicação 1, caracterizado pelo fato de que gerar a sala de operação virtual é baseado em modelos predeterminados para a sala de operação virtual, para os braços robóticos virtuais, para a mesa de operação virtual, para os instrumentos cirúrgicos virtuais, e para o paciente virtual.
  3. 3. Sistema, de acordo com a reivindicação 2, caracterizado pelo fato de que cada um dos um ou mais instrumentos cirúrgicos virtuais passa através de uma cânula virtual e possui uma extremidade distai posicionada dentro do abdome do paciente virtual.
  4. 4. Sistema, de acordo com a reivindicação 3, caracterizado pelo fato de que o dispositivo manual é configurado para selecionar um número e localizações de aberturas para entrada dos instrumentos cirúrgicos virtuais, e para determinar um número e posições e orientação dos braços robóticos virtuais para a cirurgia virtual.
    Petição 870190110594, de 30/10/2019, pág. 123/139
    2/4
  5. 5. Sistema, de acordo com a reivindicação 1, caracterizado pelo fato de que o dispositivo manual é configurado para criar um portal em uma localização na sala de operação virtual, o portal permitindo uma navegação rápida para a localização quando da seleção do portal.
  6. 6. Sistema, de acordo com a reivindicação 5, caracterizado pelo fato de que o portal é posicionado dentro ou fora do paciente virtual.
  7. 7. Sistema, de acordo com a reivindicação 1, caracterizado pelo fato de que os instrumentos cirúrgicos virtuais compreendem um endoscópio virtual possuindo uma câmera virtual posicionada dentro do abdome do paciente virtual e proporcionando uma vista de um espaço de trabalho cirúrgico dentro do abdome do paciente virtual.
  8. 8. Sistema, de acordo com a reivindicação 7, caracterizado pelo fato de que o processador é configurado para sintetizar uma vista do espaço de trabalho cirúrgico a partir do endoscópio virtual no vídeo.
  9. 9. Sistema, de acordo com a reivindicação 7, caracterizado pelo fato de que o dispositivo manual é configurado para mover o endoscópio virtual e outros instrumentos cirúrgicos virtuais de forma coordenada para outra região do abdome do paciente virtual em um modo de remanejamento coordenado.
  10. 10. Sistema, de acordo com a reivindicação 9, caracterizado pelo fato de que no modo de remanejamento coordenado, a câmera virtual amplia um eixo geométrico do endoscópio virtual para incluir as outras regiões do abdome na vista do espaço de trabalho cirúrgico.
  11. 11. Método para facilitar navegação de um ambiente cirúrgico robótico virtual, o método caracterizado pelo fato de que compreende:
    exibir uma vista em perspectiva em primeira pessoa do ambiente cirúrgico robótico virtual a partir de um primeiro ponto de obser
    Petição 870190110594, de 30/10/2019, pág. 124/139
    3/4 vação no ambiente cirúrgico robótico virtual;
    exibir uma primeira vista de janela do ambiente cirúrgico robótico virtual a partir de um segundo ponto de observação, em que a primeira vista de janela é exibida em uma primeira região da vista em perspectiva em primeira pessoa exibida;
    exibir uma segunda vista de janela do ambiente cirúrgico robótico virtual a partir de um terceiro ponto de observação, em que a segunda vista de janela é exibida em uma segunda região da vista em perspectiva em primeira pessoa exibida; e em resposta a uma entrada do usuário associando as primeira e segunda vistas de janela, sequencialmente ligar as primeira e segunda vistas de janela para gerar uma trajetória entre os segundo e terceiro pontos de observação.
  12. 12. Método, de acordo com a reivindicação 11, caracterizado pelo fato de que pelo menos uma dentre as primeira e segunda vistas de janela do ambiente cirúrgico robótico virtual é exibida em um fator de escala diferente da vista em perspectiva.
  13. 13. Método, de acordo com a reivindicação 11, caracterizado pelo fato de que pelo menos um dentre o primeiro ou o segundo pontos de observação está localizado dentro de um paciente virtual.
  14. 14. Método, de acordo com a reivindicação 11, caracterizado pelo fato de que ainda compreende:
    receber uma entrada do usuário indicando colocação de uma câmera virtual em um quarto ponto de observação diferente do primeiro ponto de observação;
    gerar uma vista em perspectiva da câmera virtual do ambiente cirúrgico robótico virtual a partir do segundo ponto de observação; e exibir a vista em perspectiva da câmera virtual em uma região da vista em perspectiva em primeira pessoa.
    Petição 870190110594, de 30/10/2019, pág. 125/139
    4/4
  15. 15. Método, de acordo com a reivindicação 14, caracterizado pelo fato de que a câmera virtual é uma dentre uma câmera endoscópica virtual colocada dentro de um paciente virtual ou uma câmera de vídeo virtual colocada fora de um paciente virtual.
BR112019022739A 2017-06-29 2018-06-28 treinamento, simulação e colaboração em realidade virtual em sistema cirúrgico robótico BR112019022739A2 (pt)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201762526919P 2017-06-29 2017-06-29
US16/019,132 US11011077B2 (en) 2017-06-29 2018-06-26 Virtual reality training, simulation, and collaboration in a robotic surgical system
PCT/US2018/040138 WO2019006202A1 (en) 2017-06-29 2018-06-28 LEARNING, SIMULATION AND COLLABORATION IN VIRTUAL REALITY IN A SURGICAL ROBOT

Publications (1)

Publication Number Publication Date
BR112019022739A2 true BR112019022739A2 (pt) 2020-05-19

Family

ID=64738786

Family Applications (1)

Application Number Title Priority Date Filing Date
BR112019022739A BR112019022739A2 (pt) 2017-06-29 2018-06-28 treinamento, simulação e colaboração em realidade virtual em sistema cirúrgico robótico

Country Status (9)

Country Link
US (2) US11011077B2 (pt)
EP (1) EP3602567A1 (pt)
JP (2) JP7071405B2 (pt)
KR (1) KR102376000B1 (pt)
CN (1) CN109791801B (pt)
AU (1) AU2018294236B2 (pt)
BR (1) BR112019022739A2 (pt)
CA (1) CA3061333C (pt)
WO (1) WO2019006202A1 (pt)

Families Citing this family (87)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11627944B2 (en) 2004-11-30 2023-04-18 The Regents Of The University Of California Ultrasound case builder system and method
US10866783B2 (en) * 2011-08-21 2020-12-15 Transenterix Europe S.A.R.L. Vocally activated surgical control system
US11631342B1 (en) 2012-05-25 2023-04-18 The Regents Of University Of California Embedded motion sensing technology for integration within commercial ultrasound probes
US10380919B2 (en) 2013-11-21 2019-08-13 SonoSim, Inc. System and method for extended spectrum ultrasound training using animate and inanimate training objects
US11600201B1 (en) 2015-06-30 2023-03-07 The Regents Of The University Of California System and method for converting handheld diagnostic ultrasound systems into ultrasound training systems
US10973587B2 (en) * 2015-08-19 2021-04-13 Brainlab Ag Reference array holder
US11269480B2 (en) * 2016-08-23 2022-03-08 Reavire, Inc. Controlling objects using virtual rays
US11314846B1 (en) * 2016-09-29 2022-04-26 OR Link, Inc. Surgical communication and computerization infrastructure
US10896628B2 (en) 2017-01-26 2021-01-19 SonoSim, Inc. System and method for multisensory psychomotor skill training
US10319109B2 (en) * 2017-03-31 2019-06-11 Honda Motor Co., Ltd. Interaction with physical objects as proxy objects representing virtual objects
US11272985B2 (en) 2017-11-14 2022-03-15 Stryker Corporation Patient-specific preoperative planning simulation techniques
WO2019245852A1 (en) * 2018-06-19 2019-12-26 Tornier, Inc. Virtual checklists for orthopedic surgery
CN109045695B (zh) * 2018-08-08 2020-09-29 腾讯科技（深圳）有限公司 虚拟环境中的配件选择方法、设备及存储介质
US11116587B2 (en) 2018-08-13 2021-09-14 Theator inc. Timeline overlay on surgical video
WO2020041228A1 (en) * 2018-08-20 2020-02-27 Safavi Abbasi Sam Neuromuscular enhancement system
EP3860426A4 (en) * 2018-10-02 2022-12-07 Convergascent LLC ENDOSCOPE WITH INERTIAL MEASUREMENTS AND/OR HAPTIC INPUT CONTROLS
CN109658413B (zh) * 2018-12-12 2022-08-09 达闼机器人股份有限公司 一种机器人目标物体抓取位置检测的方法
WO2020146249A1 (en) * 2019-01-07 2020-07-16 Butterfly Network, Inc. Methods and apparatuses for tele-medicine
CN109662779B (zh) * 2019-01-25 2021-06-18 李汉忠 一种经尿道电切镜手术机器人系统
US11810473B2 (en) 2019-01-29 2023-11-07 The Regents Of The University Of California Optical surface tracking for medical simulation
US11495142B2 (en) * 2019-01-30 2022-11-08 The Regents Of The University Of California Ultrasound trainer with internal optical tracking
US20200273563A1 (en) 2019-02-21 2020-08-27 Theator inc. Adjusting an operating room schedule
CN113748468B (zh) 2019-02-21 2023-03-10 剧院公司 填写外科手术的术后报告的系统和方法、计算机可读介质
US11540883B2 (en) * 2019-03-08 2023-01-03 Thomas Jefferson University Virtual reality training for medical events
US11151789B1 (en) * 2019-03-25 2021-10-19 Kentucky Imaging Technologies Fly-in visualization for virtual colonoscopy
US11504193B2 (en) 2019-05-21 2022-11-22 Verb Surgical Inc. Proximity sensors for surgical robotic arm manipulation
US11278361B2 (en) 2019-05-21 2022-03-22 Verb Surgical Inc. Sensors for touch-free control of surgical robotic systems
CN110335516B (zh) * 2019-06-27 2021-06-25 王寅 一种采用vr心脏手术模拟系统进行vr心脏手术模拟的方法
US10758309B1 (en) * 2019-07-15 2020-09-01 Digital Surgery Limited Methods and systems for using computer-vision to enhance surgical tool control during surgeries
CN110376922B (zh) * 2019-07-23 2022-10-21 广东工业大学 手术室场景模拟系统
EP4051155A4 (en) * 2019-10-29 2023-11-29 Verb Surgical Inc. VIRTUAL REALITY SYSTEMS FOR SIMULATING SURGICAL WORKFLOWS WITH PATIENT MODEL AND CUSTOMIZABLE OPERATING ROOM
US11382696B2 (en) 2019-10-29 2022-07-12 Verb Surgical Inc. Virtual reality system for simulating surgical workflows with patient models
US11389246B2 (en) 2019-10-29 2022-07-19 Verb Surgical Inc. Virtual reality system with customizable operation room
US10705597B1 (en) * 2019-12-17 2020-07-07 Liteboxer Technologies, Inc. Interactive exercise and training system and method
WO2021126447A1 (en) * 2019-12-19 2021-06-24 Covidien Lp Systems and methods for mitigating collision of a robotic system
EP4076128A1 (en) * 2019-12-19 2022-10-26 Sony Group Corporation Method, apparatus and system for controlling an image capture device during surgery
US20230027801A1 (en) * 2020-01-06 2023-01-26 The Johns Hopkins University Overlaying augmented reality (ar) content within an ar headset coupled to a magnifying loupe
US11529737B2 (en) 2020-01-30 2022-12-20 Raytheon Company System and method for using virtual/augmented reality for interaction with collaborative robots in manufacturing or industrial environment
GB2593473B (en) * 2020-03-23 2024-09-04 Cmr Surgical Ltd Virtual console for controlling a surgical robot
US11690674B2 (en) 2020-04-03 2023-07-04 Verb Surgical Inc. Mobile virtual reality system for surgical robotic systems
US11348682B2 (en) 2020-04-05 2022-05-31 Theator, Inc. Automated assessment of surgical competency from video analyses
JPWO2021206153A1 (pt) * 2020-04-10 2021-10-14
WO2021206124A1 (ja) * 2020-04-10 2021-10-14 川崎重工業株式会社 医療用移動体システム及びその運転方法
CN111514436A (zh) * 2020-04-28 2020-08-11 绍兴梅奥心磁医疗科技有限公司 导管移动的控制方法及系统
US11922581B2 (en) 2020-05-08 2024-03-05 Coviden Lp Systems and methods of controlling an operating room display using an augmented reality headset
CN111513854A (zh) * 2020-05-11 2020-08-11 绍兴梅奥心磁医疗科技有限公司 导管的操控装置及系统
CN111613122A (zh) * 2020-05-19 2020-09-01 威爱医疗科技(中山)有限公司 虚实融合的血管介入手术模拟系统
US11769302B2 (en) * 2020-06-05 2023-09-26 Verb Surgical Inc. Remote surgical mentoring
US20220183778A1 (en) * 2020-06-18 2022-06-16 Brainlab Ag Compensation of gravity-related displacements of medical carrier structures
US10956868B1 (en) * 2020-06-29 2021-03-23 5th Kind LLC Virtual reality collaborative workspace that is dynamically generated from a digital asset management workflow
KR102532795B1 (ko) * 2020-07-31 2023-05-15 전남대학교산학협력단 가상현실 기반 치의학 실습교육 대상자의 수행 행동 데이터 수집 시스템 및 방법
US12034785B2 (en) * 2020-08-28 2024-07-09 Tmrw Foundation Ip S.Àr.L. System and method enabling interactions in virtual environments with virtual presence
CN112083803B (zh) * 2020-08-28 2023-11-28 西交利物浦大学 一种虚拟现实环境下模拟重量和重心的设备和方法
US12107907B2 (en) * 2020-08-28 2024-10-01 Tmrw Foundation Ip S.Àr.L. System and method enabling interactions in virtual environments with virtual presence
US20220087643A1 (en) * 2020-09-23 2022-03-24 3Dintegrated Aps Patient bearing system, a robotic system
CN114452000B (zh) * 2020-10-08 2023-08-22 深圳市精锋医疗科技股份有限公司 手术机器人及其图形化控制装置、图形化显示方法
US20230363821A1 (en) * 2020-11-29 2023-11-16 Xact Robotics Ltd. Virtual simulator for planning and executing robotic steering of a medical instrument
EP4262607A4 (en) * 2020-12-15 2024-06-05 Point 2 Point Production Ltd. MEDICAL TELETREATMENT SYSTEM AND METHOD THEREFOR
WO2022150419A1 (en) * 2021-01-08 2022-07-14 Expanded Existence, Llc System and method for medical procedure room set-up optimization
US12094599B2 (en) 2021-01-08 2024-09-17 Expanded Existence, Inc. System and method for medical procedure room set up optimization
CN112932671A (zh) * 2021-01-28 2021-06-11 哈尔滨思哲睿智能医疗设备有限公司 一种腹腔镜手术机器人的语音提示控制方法及系统
US20220257332A1 (en) * 2021-02-17 2022-08-18 Derek Duong Augmented reality dental surgery
WO2022192585A1 (en) * 2021-03-10 2022-09-15 Onpoint Medical, Inc. Augmented reality guidance for imaging systems and robotic surgery
FR3120719B1 (fr) * 2021-03-15 2024-04-19 Driving Simulation Ass Navigation rotationnelle en environnement virtuel avec une référence visuelle
CN113205740A (zh) * 2021-04-27 2021-08-03 浙江大学医学院附属邵逸夫医院 一种用于手术体位的教育系统及模拟装置
CN113223342B (zh) * 2021-05-11 2023-06-16 浙江大学医学院附属邵逸夫医院 一种基于虚拟现实技术的手术仪器操作训练系统及其设备
US11948226B2 (en) * 2021-05-28 2024-04-02 Covidien Lp Systems and methods for clinical workspace simulation
US20240256723A1 (en) * 2021-06-04 2024-08-01 Covidien Lp Systems and methods for clinical workspace simulation
KR102667464B1 (ko) 2021-07-21 2024-05-20 (주)휴톰 환자의 3차원 가상 기복 모델 상에 트로카의 삽입 위치를 결정하는 장치 및 방법
US11986248B2 (en) 2021-07-29 2024-05-21 Hutom Co., Ltd. Apparatus and method for matching the real surgical image with the 3D-based virtual simulated surgical image based on POI definition and phase recognition
US11832897B2 (en) * 2021-07-30 2023-12-05 Remex Medical Corp. Method and system for surgical navigation
KR102709930B1 (ko) 2021-08-10 2024-09-26 (주)휴톰 환자의 가상 기복 모델을 생성하는 장치 및 방법
US12076094B2 (en) * 2021-09-01 2024-09-03 Orthosoft Ulc Fluoroscopic robotic prosthetic implant system and methods
US20230083605A1 (en) * 2021-09-16 2023-03-16 Globus Medical, Inc. Extended reality systems for visualizing and controlling operating room equipment
WO2023052881A1 (en) * 2021-09-28 2023-04-06 Auris Health, Inc. Real-time 3d robotic status
WO2023052566A1 (en) * 2021-09-30 2023-04-06 Leica Instruments (Singapore) Pte. Ltd. Devices and systems for use in imaging during surgery
KR102667467B1 (ko) 2021-12-13 2024-05-20 (주)휴톰 환자의 가상 폐 모델을 이용하여 가상 현실 기반의 수술 환경을 제공하는 장치 및 방법
WO2023117155A1 (en) * 2021-12-20 2023-06-29 Digital Surgery Limited Systems and methods for clinical workspace simulation
CN114339183A (zh) * 2021-12-30 2022-04-12 深圳迈瑞动物医疗科技有限公司 一种内窥镜系统及其投屏方法
WO2023136616A1 (ko) * 2022-01-12 2023-07-20 (주)휴톰 수술상황 별 가상현실 기반 수술환경 제공 장치 및 방법
KR102694614B1 (ko) 2022-01-17 2024-08-13 (주)휴톰 환자의 가상 폐 모델을 생성하는 장치 및 방법
WO2023224504A1 (en) * 2022-05-19 2023-11-23 Hamad Medical Corporation System and methods for mixed reality surgical simulation
WO2024090303A1 (ja) * 2022-10-24 2024-05-02 ソニーグループ株式会社 情報処理装置及び情報処理方法
KR20240074555A (ko) 2022-11-21 2024-05-28 주식회사 래디안 분화 모유두 유사세포의 분화능 유지 조성물
WO2024127276A1 (en) * 2022-12-14 2024-06-20 Covidien Lp Systems and methods for creating virtual boundaries in robotic surgical systems
CN118229951A (zh) * 2022-12-21 2024-06-21 威博外科公司 在外科机器人系统中的端口放置推荐
CN116679834B (zh) * 2023-08-02 2023-10-24 南昌大藏科技有限公司 一种大空间的多人vr互动体验系统及方法

Family Cites Families (46)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5731804A (en) 1995-01-18 1998-03-24 Immersion Human Interface Corp. Method and apparatus for providing high bandwidth, low noise mechanical I/O for computer systems
US5792165A (en) 1993-07-21 1998-08-11 Charles H. Klieman Endoscopic instrument with detachable end effector
GB2302655A (en) 1995-06-27 1997-01-29 Mark Steven Whiteley Hand-piece for laparoscopic instruments
US8527094B2 (en) 1998-11-20 2013-09-03 Intuitive Surgical Operations, Inc. Multi-user medical robotic system for collaboration or training in minimally invasive surgical procedures
US8600551B2 (en) * 1998-11-20 2013-12-03 Intuitive Surgical Operations, Inc. Medical robotic system with operatively couplable simulator unit for surgeon training
FR2808366B1 (fr) 2000-04-26 2003-12-19 Univ Paris Vii Denis Diderot Procede et systeme d'apprentissage en realite virtuelle, et application en odontologie
US7607440B2 (en) 2001-06-07 2009-10-27 Intuitive Surgical, Inc. Methods and apparatus for surgical planning
US8010180B2 (en) * 2002-03-06 2011-08-30 Mako Surgical Corp. Haptic guidance system and method
CN1263433C (zh) 2003-08-15 2006-07-12 北京航空航天大学 机器人导航骨科手术装置
US7317955B2 (en) 2003-12-12 2008-01-08 Conmed Corporation Virtual operating room integration
US20070275359A1 (en) 2004-06-22 2007-11-29 Rotnes Jan S Kit, operating element and haptic device for use in surgical simulation systems
US8414475B2 (en) * 2005-04-18 2013-04-09 M.S.T. Medical Surgery Technologies Ltd Camera holder device and method thereof
US9789608B2 (en) 2006-06-29 2017-10-17 Intuitive Surgical Operations, Inc. Synthetic representation of a surgical robot
US8073528B2 (en) 2007-09-30 2011-12-06 Intuitive Surgical Operations, Inc. Tool tracking systems, methods and computer products for image guided surgery
US8398541B2 (en) * 2006-06-06 2013-03-19 Intuitive Surgical Operations, Inc. Interactive user interfaces for robotic minimally invasive surgical systems
EP3395508A1 (en) 2005-06-30 2018-10-31 Intuitive Surgical Operations Inc. Indicator for tool state communication in multi-arm robotic telesurgery
CN200979766Y (zh) 2006-12-13 2007-11-21 王行环 腹腔镜外科手术训练模拟器
JP4916011B2 (ja) 2007-03-20 2012-04-11 株式会社日立製作所 マスタ・スレーブ式マニピュレータシステム
DE102008013495A1 (de) 2008-03-10 2009-09-24 Polydimensions Gmbh Vorrichtung zur Erzeugung eines haptischen Eindrucks
US8830224B2 (en) * 2008-12-31 2014-09-09 Intuitive Surgical Operations, Inc. Efficient 3-D telestration for local robotic proctoring
US8521331B2 (en) 2009-11-13 2013-08-27 Intuitive Surgical Operations, Inc. Patient-side surgeon interface for a minimally invasive, teleoperated surgical instrument
DE102010029275A1 (de) 2010-05-25 2011-12-01 Siemens Aktiengesellschaft Verfahren zum Bewegen eines Instrumentenarms eines Laparoskopierobotors in einer vorgebbare Relativlage zu einem Trokar
DE102012206350A1 (de) 2012-04-18 2013-10-24 Deutsches Zentrum für Luft- und Raumfahrt e.V. Verfahren zum Betreiben eines Roboters
US9563266B2 (en) 2012-09-27 2017-02-07 Immersivetouch, Inc. Haptic augmented and virtual reality system for simulation of surgical procedures
US10314559B2 (en) * 2013-03-14 2019-06-11 Inneroptic Technology, Inc. Medical device guidance
CA2905968A1 (en) 2013-03-15 2014-09-25 Sri International Hyperdexterous surgical system
KR102154521B1 (ko) 2013-03-15 2020-09-10 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 영공간 운동과 동시적인 영직교공간 내에서의 클러칭에 의해 매니퓰레이터 암을 포지셔닝시키기 위한 시스템 및 방법
US9271797B2 (en) 2013-07-02 2016-03-01 Gyrus Acmi, Inc. Robotic surgery
US10295338B2 (en) * 2013-07-12 2019-05-21 Magic Leap, Inc. Method and system for generating map data from an image
CN112201131B (zh) * 2013-12-20 2022-11-18 直观外科手术操作公司 用于医疗程序培训的模拟器系统
CN106255471B (zh) 2014-02-05 2018-10-26 直观外科手术操作公司 用于动态虚拟碰撞物体的系统和方法
CN104915979A (zh) 2014-03-10 2015-09-16 苏州天魂网络科技有限公司 跨移动平台实现沉浸式虚拟现实的系统
WO2016026021A1 (en) * 2014-08-20 2016-02-25 Synaptive Medical (Barbados) Inc. Intra-operative determination of dimensions for fabrication of artificial bone flap
CN114694829A (zh) 2014-11-13 2022-07-01 直观外科手术操作公司 集成用户环境
US9643314B2 (en) * 2015-03-04 2017-05-09 The Johns Hopkins University Robot control, training and collaboration in an immersive virtual reality environment
US20160314717A1 (en) 2015-04-27 2016-10-27 KindHeart, Inc. Telerobotic surgery system for remote surgeon training using robotic surgery station coupled to remote surgeon trainee and instructor stations and associated methods
EP3135235B1 (en) 2015-08-31 2020-02-19 Eubanks, Steve Laparoscopic surgical instrument
US20170076016A1 (en) 2015-09-10 2017-03-16 Maysam MIR AHMADI Automated layout generation
EP3361979A4 (en) 2015-10-14 2019-06-26 Surgical Theater LLC SURGICAL NAVIGATION WITH EXTENDED REALITY
CN108472084B (zh) * 2015-11-12 2021-08-27 直观外科手术操作公司 具有训练或辅助功能的外科手术系统
CN111329554B (zh) * 2016-03-12 2021-01-05 P·K·朗 用于手术的装置与方法
WO2017214696A1 (en) * 2016-06-13 2017-12-21 Synaptive Medical (Barbados) Inc. Virtual operating room layout planning and analysis tool
US10695150B2 (en) * 2016-12-16 2020-06-30 Align Technology, Inc. Augmented reality enhancements for intraoral scanning
EP4424267A3 (en) * 2017-04-20 2024-10-30 Intuitive Surgical Operations, Inc. Systems and methods for constraining a virtual reality surgical system
CN110944595B (zh) * 2017-06-28 2023-11-24 直观外科手术操作公司 用于将内窥镜图像数据集映射到三维体积上的系统
US10610303B2 (en) 2017-06-29 2020-04-07 Verb Surgical Inc. Virtual reality laparoscopic tools

Also Published As

Publication number Publication date
JP2022119767A (ja) 2022-08-17
CN109791801B (zh) 2023-06-06
EP3602567A1 (en) 2020-02-05
US20210304637A1 (en) 2021-09-30
KR20200011970A (ko) 2020-02-04
US11011077B2 (en) 2021-05-18
WO2019006202A1 (en) 2019-01-03
US11580882B2 (en) 2023-02-14
US20190005848A1 (en) 2019-01-03
AU2018294236B2 (en) 2021-09-30
JP2020520761A (ja) 2020-07-16
KR102376000B1 (ko) 2022-03-22
JP7071405B2 (ja) 2022-05-18
AU2018294236A1 (en) 2019-11-14
CA3061333C (en) 2024-04-02
CN109791801A (zh) 2019-05-21
CA3061333A1 (en) 2019-01-03

Similar Documents

Publication Publication Date Title
US11580882B2 (en) Virtual reality training, simulation, and collaboration in a robotic surgical system
US11944401B2 (en) Emulation of robotic arms and control thereof in a virtual reality environment
US11013559B2 (en) Virtual reality laparoscopic tools
US20220101745A1 (en) Virtual reality system for simulating a robotic surgical environment
CN112201131B (zh) 用于医疗程序培训的模拟器系统
US20230414307A1 (en) Systems and methods for remote mentoring
CN117558171A (zh) 一种基于虚拟现实技术的磁导航医疗操作仿真训练平台

Legal Events

Date Code Title Description
B11A Dismissal acc. art.33 of ipl - examination not requested within 36 months of filing
B350 Update of information on the portal [chapter 15.35 patent gazette]
B11Y Definitive dismissal - extension of time limit for request of examination expired [chapter 11.1.1 patent gazette]