BR112019004139B1

BR112019004139B1 - Tela tridimensional imersiva para cirurgia robótica

Info

Publication number: BR112019004139B1
Application number: BR112019004139-7A
Authority: BR
Inventors: Kent Anderson; Joan Savall; Brent Nobles; Allegra SHUM; Pablo E. Garcia Kilroy; Karen Shakespear Koenig
Original assignee: Verb Surgical Inc
Priority date: 2016-10-03
Filing date: 2017-10-03
Publication date: 2023-12-05
Also published as: EP3518730A4; EP3518730C0; US11813122B2; US11439478B2; CA3035258C; BR112019004139A2; US20200397529A1; EP3518730B1; AU2020200343A1; JP6756040B2; JP2019531117A; BR112019004139A8; CA3035258A1; AU2020200343B2; KR20190043143A; JP2020195798A; WO2018067611A1; US20220387131A1; US20180092706A1; US20240115346A1

Abstract

A presente invenção refere-se a uma tela imersiva para uso em um sistema cirúrgico robótico que inclui um braço de suporte, um alojamento montado no braço de suporte e configurado para se engatar a uma face do usuário, ao menos dois conjuntos oculares dispostos no alojamento e configurados para fornecer uma imagem tridimensional, e ao menos um sensor, sendo que o sensor habilita a operação do sistema cirúrgico robótico, e sendo que o braço de suporte é atuável para mover o alojamento para um posicionamento ergonômico.

Description

REFERÊNCIA REMISSIVA A PEDIDOS DE DEPÓSITO CORRELATOS

[001] Este pedido reivindica a prioridade sobre o pedido de patente US n° de série 62/403.655, depositado em 3 de outubro de 2016, que está aqui incorporado em sua totalidade por referência.

CAMPO TÉCNICO

[002] Esta descrição se refere, de modo geral, a sistemas auxiliados por robôs ou robóticos e, mais particularmente, a telas imersivas para uso em sistemas cirúrgicos auxiliados por robôs ou robóticos.

ANTECEDENTES

[003] A cirurgia minimamente invasiva (CMI), como uma cirurgia laparoscópica, envolve técnicas destinadas a reduzir os danos ao tecido durante um procedimento cirúrgico. Por exemplo, os procedimentos laparoscópicos envolvem tipicamente a criação de várias incisões pequenas no paciente (por exemplo, no abdômen) e a introdução de uma ou mais ferramentas e ao menos uma câmera endoscópica através das incisões no paciente. Os procedimentos cirúrgicos são, então, realizados através do uso de ferramentas introduzidas, com o auxílio da visualização fornecida pela câmera.

[004] Em geral, a CMI fornece múltiplos benefícios, como a cicatrização reduzida do paciente, menos dor do paciente, períodos de recuperação mais curtos e custos de tratamento médico mais baixos associados à recuperação do paciente. Entretanto, os sistemas de CMI padrão têm várias desvantagens. Por exemplo, os sistemas de CMI não robóticos impõem demandas mais altas sobre o cirurgião, em parte porque eles exigem que os cirurgiões manipulem indiretamente o tecido através de ferramentas de uma maneira que pode não ser natural. Os sistemas de CMI robóticos convencionais, que podem envolver um operador visualizando uma tela que mostra a transmissão de vídeo da câmera endoscópica, que é remotamente operada para manipular as ferramentas com base em comandos de um operador, podem proporcionar muitos benefícios de CMI, ao mesmo tempo que reduzem as demandas sobre o cirurgião. Entretanto, tais sistemas de CMI robóticos têm apenas, tipicamente, telas imóveis e rígidas que podem causar tensão, fadiga e lesão ao usuário durante o uso ao longo de longos períodos de tempo. Dessa forma, é desejável ter uma tela para uso com sistemas cirúrgicos robóticos.

SUMÁRIO

[005] De modo geral, em uma variação, uma tela imersiva para uso em um sistema cirúrgico robótico compreende um braço de suporte, um alojamento montado no braço de suporte e configurado para engatar a face de um usuário, ao menos dois conjuntos oculares dispostos no alojamento e configurados para fornecer uma tela tridimensional, e ao menos um sensor, sendo que o sensor possibilita a operação do sistema cirúrgico robótico, e sendo que o braço de suporte é atuável para mover o alojamento para um posicionamento ergonômico. Por exemplo, o braço de suporte pode ser articulado e compreender ao menos uma ou uma pluralidade de juntas atuáveis.

[006] O alojamento pode incluir ou ser acoplado a uma estrutura de face curvilínea que é configurada para engatar a face do usuário, e a estrutura de face pode incluir recursos como acolchoamento para fazer interface com o usuário, o que pode aumentar o conforto e/ou fornecer maleabilidade para o posicionamento ergonômico. Uma maleabilidade similar com respeito à estrutura de face pode ser obtida de outras maneiras, como um alojamento que tem múltiplas porções móveis maleáveis. Por exemplo, o braço de suporte pode ser acoplado a uma primeira porção do alojamento e a estrutura de face pode ser acoplada a uma segunda porção do alojamento que é móvel (por exemplo, maleavelmente móvel) em relação à primeira porção do alojamento.

[007] O alojamento pode incluir um ou mais dentre vários recursos adicionais para melhorar a experiência de tela imersiva. Por exemplo, a tela imersiva pode incluir uma ou mais proteções acopladas ao alojamento, como para bloquear luz ambiente e distrações visuais periféricas. Ao menos uma proteção pode ser móvel entre uma primeira posição na qual a proteção é configurada para obscurecer ao menos uma porção de um campo de visão do usuário, e uma segunda posição na qual a proteção é configurada para revelar a porção do campo de visão do usuário. Como outro exemplo, a tela imersiva pode incluir ao menos uma tela de exibição auxiliar acoplada ao alojamento ou qualquer um dos vários componentes de áudio, como um microfone e/ou um alto-falante. Um microfone pode, por exemplo, ser acoplado ao alojamento e configurado para receber comandos vocais para a operação do sistema cirúrgico robótico. Além disso, um alto-falante pode ser acoplado ao alojamento e configurado para fornecer informações de áudio ao usuário. Ao menos um atuador háptico pode ser acoplado ao alojamento e configurado para fornecer retroinformação tátil ao usuário. Além disso, em algumas variações, o alojamento pode incluir ao menos um dispositivo de rastreamento acoplado ao alojamento para monitorar a posição do alojamento.

[008] Os conjuntos oculares podem ser configurados para fornecer uma tela tridimensional. Por exemplo, ao menos um dos conjuntos oculares pode ser configurado para mostrar uma imagem estereoscópica do olho esquerdo e ao menos um dos conjuntos oculares pode ser configurado para mostrar uma imagem estereoscópica do olho direito, de modo que, juntas, as imagens estereoscópicas do olho esquerdo e do olho direito fornecem uma tela tridimensional. Por exemplo, a tela tridimensional pode ser configurada para mostrar ao menos uma imagem de uma câmera endoscópica usada no sistema cirúrgico robótico. As telas oculares podem, adicional ou alternativamente, ser configuradas para mostrar um conteúdo bidimensional ou outro conteúdo adequado. Em algumas variações, a tela imersiva pode incluir, também, ao menos uma tela auxiliar acoplada ao alojamento.

[009] Ao menos um sensor pode ser incluído como um recurso de segurança do sistema cirúrgico robótico. Por exemplo, um sensor (por exemplo, em uma câmera ou outro sensor óptico adequado configurado para detectar um código de íris de um usuário) pode ser configurado para identificar o usuário para solicitar autorização a fim de se operar o sistema cirúrgico robótico. Como outro exemplo, um sensor (por exemplo, um sensor óptico para executar rastreamento ocular) pode ser configurado para determinar o alinhamento adequado dos olhos do usuário com os conjuntos oculares.

[0010] A tela imersiva pode incluir outros sensores para detectar gestos de cabeça de um usuário, executar o rastreamento ocular e/ou detectar outras interações do usuário, de modo que um controlador possa interpretar as interações do usuário e ter a exibição imersiva para responder adequadamente. Por exemplo, em resposta a um gesto de cabeça do usuário detectado, o braço de suporte pode mover o alojamento para rastrear o gesto de cabeça (por exemplo, para o posicionamento ergonômico). Como outro exemplo, ao menos um sensor (por exemplo, sensor de pressão, sensor de distância, sensor de contato, etc.) pode ser configurado para monitorar gestos de cabeça do usuário para controlar a operação do sistema cirúrgico robótico. Como outro exemplo, ao menos um sensor pode ser um sensor óptico configurado para executar o rastreamento ocular. Como ainda outro exemplo, a tela tridimensional pode ser configurada para mostrar uma interface gráfica de usuário e ao menos um sensor pode ser configurado para detectar um gesto de cabeça para navegação da interface gráfica de usuário.

[0011] Como outro exemplo, a tela imersiva pode ser configurada para mostrar ao menos uma imagem de uma câmera endoscópica usada no sistema cirúrgico robótico. Em resposta a ao menos um sensor detectar um gesto de cabeça, a tela tridimensional pode ser configurada para mostrar uma imagem modificada a partir de uma câmera endoscópica. Como uma ilustração, em resposta ao sensor detectar um gesto de cabeça para frente, a tela tridimensional pode ser configurada para mostrar uma imagem ampliada a partir da câmera endoscópica. Como outra ilustração, em resposta ao sensor detectar um gesto de cabeça para trás, a tela tridimensional pode ser configurada para mostrar uma imagem diminuída a partir da câmera do endoscópio. Além disso, em resposta ao sensor detectar um gesto de cabeça lateral, a tela tridimensional pode ser configurada para mostrar uma imagem de panning a partir da câmera endoscópica e, em resposta ao sensor detectar um gesto de inclinação da cabeça, a tela tridimensional pode ser configurada para mostrar uma imagem de inclinação a partir da câmera endoscópica.

[0012] A tela imersiva pode ser configurada para fornecer informações de posicionamento do usuário. Por exemplo, a tela imersiva pode fornecer orientação para manter uma correspondência entre uma primeira relação espacial relativa dos conjuntos oculares e as posições das mãos do usuário e uma segunda relação espacial relativa da câmera endoscópica e de um instrumento cirúrgico. Por exemplo, uma tela tridimensional pode ser configurada para mostrar uma indicação visual para reposicionar ao menos uma dentre as posições do alojamento e das mãos do usuário.

[0013] Como outro exemplo, a tela tridimensional pode ser configurada para mostrar uma representação visual da posição manual de um usuário e/ou da posição dos pés de um usuário em relação a ao menos uma posição-alvo (por exemplo, localização de um dispositivo de interface de usuário manual, localização de um pedal, etc.). A representação visual pode ser sobreposta a uma imagem primária, como uma imagem de vista da câmera.

[0014] Em algumas variações, a tela imersiva pode incluir ao menos uma câmera externa acoplada ao alojamento. A câmera pode, por exemplo, ser configurada para fornecer ao menos uma imagem de um ambiente externo ao alojamento. Por exemplo, a tela tridimensional pode ser configurada para mostrar seletivamente a imagem do ambiente externo ao alojamento. Adicional ou alternativamente, a tela imersiva pode incluir ao menos um iluminador externo acoplado ao alojamento, sendo que o iluminador pode ser configurado para projetar luz sobre um ambiente externo ao alojamento.

BREVE DESCRIÇÃO DOS DESENHOS

[0015] A Figura 1A é um esquema geral esquemática de uma disposição de ambiente operacional exemplificadora com um sistema cirúrgico robótico.

[0016] A Figura 1B é uma vista lateral de um console de usuário exemplificador com uma tela imersiva exemplificadora para uso em um sistema cirúrgico robótico.

[0017] As Figuras 2A e 2B são vistas em perspectiva e parcialmente explodida, respectivamente, de uma variação de uma tela imersiva para uso em um sistema cirúrgico robótico.

[0018] As Figuras 3A e 3B são vistas em perspectiva frontal e posterior detalhadas, respectivamente, de um braço de suporte exemplificador em uma variação de uma tela imersiva.

[0019] A Figura 3C é uma vista de topo esquemática de um braço de suporte exemplificador que é configurável para uma abordagem de lado esquerdo ou de lado direito em torno do usuário, em uma variação de uma tela imersiva.

[0020] As Figuras 4A a 4C são ilustrações esquemáticas de outra estrutura de braço de suporte de estilo suspenso exemplificadora em uma outra variação de uma tela imersiva.

[0021] As Figuras 4D e 4E são ilustrações esquemáticas de outro braço de suporte de abordagem lateral exemplificador em uma outra variação de uma tela imersiva.

[0022] A Figura 5 é uma vista de topo esquemática de um alojamento exemplificador que inclui porções de alojamento maleáveis móveis em uma outra variação de uma tela imersiva.

[0023] A Figura 6 é uma vista em perspectiva de um alojamento exemplificador que inclui cabos em outra variação de uma tela imersiva.

[0024] A Figura 7 é uma vista em perspectiva de um alojamento exemplificador que inclui proteções e câmeras voltadas para fora em outra variação de uma tela imersiva.

[0025] A Figura 8 é uma vista em perspectiva de um alojamento exemplificador que inclui atuadores hápticos em outra variação de uma tela imersiva.

[0026] A Figura 9 é uma vista em perspectiva de um alojamento exemplificador que inclui um microfone em outra variação de uma tela imersiva.

[0027] A Figura 10 é uma vista em perspectiva de um alojamento exemplificador que inclui um alto-falante em outra variação de uma tela imersiva.

[0028] A Figura 11 é uma vista em perspectiva de um alojamento exemplificador que inclui exibições auxiliares em outra variação de uma tela imersiva.

[0029] A Figura 12 é uma vista em perspectiva de um alojamento exemplificador que inclui dispositivos de rastreamento em outra variação de uma tela imersiva.

[0030] A Figura 13 é uma vista esquemática de uma tela imersiva com um iluminador voltado para fora para fornecer projeções para fora.

[0031] A Figura 14 é uma vista esquemática de uma configuração de tela imersiva exemplificadora que exibe uma correspondência entre uma relação espacial relativa dos conjuntos oculares e das posições das mãos do usuário e uma relação espacial relativa da câmera e de um instrumento cirúrgico endoscópico.

[0032] As Figuras 15A e 15B são uma vista de topo e uma vista lateral esquemáticas de uma configuração de tela imersiva exemplificadora com sensores de tela imersiva trabalhando em cooperação com sensores de encosto de cabeça.

[0033] A Figura 16A é uma ilustração esquemática de uma outra variação de uma tela imersiva, sendo que a tela imersiva é montada em um teto. A Figura 16B é uma ilustração esquemática de uma outra variação de uma tela imersiva, sendo que a tela imersiva é montada em um carrinho configurado para uso com um console de usuário em pé.

[0034] A Figura 17 representa uma imagem mostrada exemplificadora e uma interface gráfica de usuário mostrada em uma tela imersiva.

[0035] A Figura 18A é uma tela exemplificadora em uma tela imersiva que mostra uma representação visual das posições das mãos do usuário em relação às posições-alvo das mãos. A Figura 18B é uma tela exemplificadora em uma tela imersiva que mostra uma representação visual das posições dos pés em relação às posições- alvo dos pés.

[0036] A Figura 19 é uma vista esquemática exemplificadora de um sistema de controle para controlar vários componentes em e associados a uma variação de uma tela imersiva.

DESCRIÇÃO DETALHADA

[0037] Exemplos não limitadores de vários aspectos e variações da presente invenção são aqui descritos e ilustrados nos desenhos em anexo.

[0038] A Figura 1A é uma ilustração de um ambiente de sala de operação exemplificador com um sistema cirúrgico robótico 100. Conforme mostrado na Figura 1A, o sistema cirúrgico robótico 100 compreende um console de usuário 120, uma torre de controle 130 e um ou mais braços robóticos 112 localizados em uma plataforma robótica 110 (por exemplo, mesa, leito, etc.), onde instrumentos cirúrgicos (por exemplo, com atuadores de extremidade) são fixados às extremidades distais dos braços robóticos 112 para executar um procedimento cirúrgico. Os braços robóticos 112 são mostrados como um sistema montado em mesas, mas em outras configurações, os braços robóticos podem ser montados em um carrinho, teto ou parede lateral, ou outra superfície de suporte adequada.

[0039] De modo geral, um usuário, como um cirurgião ou outro operador, pode usar o console de usuário 120 para manipular remotamente os braços robóticos 112 e/ou instrumentos cirúrgicos (por exemplo, em teleoperação). O console de usuário 120 pode estar situado na mesma sala de operação que o sistema robótico 100, conforme mostrado na Figura 1A. Em outros ambientes, o console de usuário 120 pode estar situado em uma sala adjacente ou próxima, ou pode ser teleoperado a partir de um local remoto em um prédio, cidade ou país diferente, etc. O console de usuário 120 pode compreender um assento 122, controles operados pelos pés 124, um ou mais dispositivos de interface de usuário de mão 126 e ao menos uma tela de usuário 128 configurada para mostrar, por exemplo, uma vista do sítio cirúrgico dentro de um paciente (por exemplo, capturada com uma câmera endoscópica). Conforme mostrado no console de usuário exemplificador 120, um usuário situado no assento 122 e que visualiza a tela de usuário 128 pode manipular os controles operados pelos pés 124 e/ou os dispositivos de interface de usuário de mão 126 para controlar remotamente os braços robóticos 112 e/ou os instrumentos cirúrgicos montados nas extremidades distais dos braços.

[0040] Em algumas variações, um usuário pode operar o sistema robótico cirúrgico 100 em um modo "sobre o leito" (OTB, de "over the bed"), no qual o usuário está localizado no lado do paciente e manipula simultaneamente um atuador de extremidade/instrumento acionado roboticamente fixado ao mesmo (por exemplo, com um dispositivo de interface de usuário manual 126 segurado em uma mão) e uma ferramenta laparoscópica manual. Por exemplo, a mão esquerda do usuário pode estar manipulando um dispositivo de interface de usuário de mão 126 para controlar um componente cirúrgico robótico, enquanto a mão direita do usuário pode ser manipulando uma ferramenta laparoscópica manual. Consequentemente, nessas variações, o usuário pode executar tanto uma CMI controlada por robótica quanto uma cirurgia laparoscópica manual em um paciente.

[0041] Durante um procedimento ou cirurgia exemplificadores, o paciente pode ser preparado e disposto em ou sobre panos cirúrgicos de uma forma estéril, e a anestesia pode ser fornecida. O acesso inicial ao sítio cirúrgico pode ser realizado manualmente com o sistema robótico 100 em uma configuração de acondicionamento ou configuração de retirada para facilitar o acesso ao sítio cirúrgico. Quando o acesso estiver completo, o posicionamento e/ou a preparação iniciais do sistema robótico podem ser realizados. Durante o procedimento, um cirurgião no console de usuário 120 pode utilizar os controles operados pelos pés 124, os dispositivos de interface de usuário 126 e/ou outros controles adequados para manipular vários atuadores de extremidade e/ou sistemas de imageamento a fim de executar a cirurgia. Assistência manual pode ser fornecida na mesa de procedimentos por outros funcionários, que podem executar tarefas incluindo, mas não se limitando a, retração de tecidos, ou fazer o reposicionamento manual ou troca de ferramenta envolvendo um ou mais braços robóticos 112. Outros funcionários podem estar presentes para auxiliar o usuário no console de usuário 120. Quando o procedimento ou cirurgia terminam, o sistema robótico 100 e/ou o console de usuário 120 podem ser configurados ou ajustados para um estado a fim de facilitar um ou mais procedimentos pós-operatórios, incluindo, mas não se limitando à, limpeza e/ou esterilização do sistema robótico 100 e/ou serviços de entrada ou impressão de registros de dados de serviços de saúde, sejam registros eletrônicos ou cópias impressas, como através do console de usuário 120.

[0042] Em algumas variações, a comunicação entre a plataforma robótica 110 e o console de usuário 120 pode ser feita através da torre de controle 130, que pode converter os comandos do usuário do console de usuário 120 em comandos de controle robóticos e transmiti-los à plataforma robótica 110. A torre de controle 130 pode transmitir o estado e as retroinformações da plataforma robótica 110 de volta para o console de usuário 120. As conexões entre a plataforma robótica 110, o console de usuário 120 e a torre de controle 130 podem ser através de conexões com fio e/ou sem fio, e podem ser exclusivas e/ou executadas com o uso de qualquer um dentre uma variedade de protocolos de comunicação de dados. Quaisquer conexões com fio podem ser embutidas no piso e/ou paredes, ou no teto da sala de operação. O sistema cirúrgico robótico 100 pode fornecer uma saída de vídeo a uma ou mais telas, incluindo telas dentro da sala de operação, bem como telas remotas acessíveis através da internet ou outras redes. A saída ou a transmissão de vídeo pode ser criptografada para assegurar a privacidade, e todas ou uma ou mais porções da saída de vídeo podem ser salvas em um servidor, em um sistema de registro de dados de serviços de saúde eletrônico ou outro meio de armazenamento adequado.

Sistema de tela imersiva

[0043] Conforme mostrado na Figura 1B, uma tela imersiva 140 pode fazer parte de um console de usuário 120 de um sistema cirúrgico robótico, juntamente com uma tela aberta 128, um conjunto de pedais 124 e um ou mais dispositivos de interface de usuário de mão 126. A tela imersiva 140 pode mostrar informações tridimensionais (3D) e/ou bidimensionais (2D) a um usuário de uma maneira que imersa, confortável e ergonomicamente, o usuário no ambiente de exibição com distrações reduzidas a partir do campo de visão periférico do usuário. A tela imersiva 140 (por exemplo, o alojamento da tela 144 acoplado ao assento 122 por meio de um braço de suporte 142) pode mostrar várias informações associadas ao procedimento cirúrgico (por exemplo, uma vista da câmera endoscópica do sítio cirúrgico, imagens estáticas, interfaces gráficas, etc.) e/ou ao sistema cirúrgico robótico (por exemplo, estado, configurações do sistema), e/ou outras informações adequadas sob a forma de vídeo 2D e 3D, imagens, texto, interfaces gráficas, alertas, controles, luzes indicadoras, etc. Ao contrário de outros dispositivos de realidade imersiva e virtual montados na cabeça que dependem inteiramente do movimento da tela montada na cabeça para alterar a vista de dentro da tela e, assim, restringir a capacidade dos movimentos da cabeça de controlar outros instrumentos, a tela imersiva 140 descrita na presente invenção pode possibilitar que o usuário interaja com o conteúdo exibido usando gestos da cabeça e outros movimentos da cabeça/do olho para controlar a tela imersiva e a operação de outros instrumentos, como os do sistema cirúrgico robótico.

[0044] De modo geral, conforme mostrado na Figura 2A, uma tela imersiva 200 pode incluir um braço de suporte 210 (parcialmente mostrado na Figura 2A), um alojamento 220 montado no braço de suporte 210 e configurado para entrar em contato com a face de um usuário, ao menos dois conjuntos oculares 230 dispostos no alojamento e configurados para fornecer uma tela tridimensional, e ao menos um sensor (por exemplo, representado pelo sensor 224 em uma estrutura de face 222 configurada para entrar em contato com a face do usuário). O sensor pode possibilitar a operação do sistema cirúrgico robótico mediante a detecção de um determinado parâmetro (por exemplo, a presença ou ausência de um usuário engatado com a tela imersiva 200, o alinhamento suficiente do usuário em relação aos conjuntos oculares 220, a identificação do usuário como um usuário autorizado do sistema cirúrgico robótico, etc.), conforme descrito em mais detalhes abaixo. Adicionalmente, o braço de suporte 210 pode ser atuável, como para posicionamento, orientação ou, de outro modo, movimento do alojamento 220, para propósitos ergonômicos.

Braço de suporte

[0045] O braço de suporte funciona, ao menos em parte, para sustentar o peso do alojamento, de modo que o usuário não precisa suportar o peso do alojamento (por exemplo, na cabeça ou face do usuário) quando o alojamento está em contato com a face do usuário. Conforme mostrado na Figura 1B, um braço de suporte 142 na tela imersiva 140 pode acoplar o alojamento da tela imersiva 144 a uma estrutura fixa, como um assento 122 ou conjunto de assento. O braço de suporte 142 pode ser configurado para levar o alojamento 144 para a posição a fim de engatar a parte frontal da face ou cabeça do usuário, embora a tela imersiva possa, adicional ou alternativamente, incluir tiras ou dispositivos de fixação similares para ajudar a prender o alojamento 144 à face ou à cabeça do usuário.

[0046] Em algumas variações, o braço de suporte 144 pode ser montado em um encosto do assento ou descanso de cabeça do assento 122, e pode ser configurado para se aproximar do usuário a partir de um lado do console de usuário 120 a fim de facilitar o acesso do usuário à tela imersiva. Por exemplo, uma extremidade proximal do braço de suporte da tela imersiva pode ser acoplada a um lado direito do encosto do assento, embora, alternativamente, a extremidade proximal do braço de suporte da tela possa ser acoplada a um lado esquerdo do encosto do assento (por exemplo, aproximadamente na altura do descanso de cabeça, embora não necessariamente). A extremidade proximal do braço de suporte da tela imersiva pode ser configurada para se ajustar verticalmente (por exemplo, com uma junta prismática) e/ou de forma giratória, etc. Além disso, o braço de suporte pode ser configurado para se dobrar ou se contrair contra a parte posterior ou lateral do assento (ou outro local de montagem do braço), de modo a possibilitar o acesso do usuário ao assento e/ou facilitar o armazenamento ou transporte do console de usuário 120 em uma configuração compacta.

[0047] Em outras variações, uma extremidade proximal do braço de suporte 144 pode ser acoplada de modo fixo a uma linha média (ou próximo à linha média) do encosto do assento e configurada para aproximar o usuário a partir do lado do console de usuário 120 a fim de facilitar o acesso do usuário à tela imersiva. Por exemplo, uma extremidade proximal do braço de suporte da tela imersiva pode ser montada de modo fixo (por exemplo, através de fechos, juntas soldadas, travas mecânicas, etc.) a uma superfície posterior do encosto do assento 122. Como outro exemplo, uma extremidade proximal do braço de suporte da tela imersiva pode ser acoplada de modo ajustável a uma superfície posterior do encosto do assento, como com uma junta prismática ou outra junta que possibilita que o braço de suporte da tela imersiva seja ajustado vertical, lateral e/ou rotacionalmente em relação ao encosto do assento.

[0048] O braço de suporte da tela imersiva pode ser articulado para ser capaz de se mover com múltiplos graus de liberdade, para posicionar e orientar o alojamento para um estado desejável para o usuário. Por exemplo, em uma variação exemplificadora mostrada nas Figuras 3A e 3B, um braço de suporte da tela imersiva articulado pode incluir ao menos seis graus de liberdade. Neste parágrafo, o termo "horizontal" significa genericamente ortogonal ao encosto do assento, enquanto o termo "vertical" significa genericamente paralelo ao encosto do assento. O braço de suporte 310 pode incluir um conector proximal acoplado por uma primeira junta rotacional J1, como um pino ou junta de garfo, a um primeiro elo L1, sendo que a primeira junta rotacional J1 é giratória em torno de um eixo geométrico de junta vertical para fornecer movimento em um plano horizontal. O primeiro elo L1 é acoplado por uma segunda junta rotacional J2 a um segundo elo L2, e segundo elo L2 é acoplado por uma terceira junta rotacional J3 a um terceiro elo J3. A primeira, a segunda e a terceira juntas rotacionais J1, J2 e J3 são orientadas ao longo dos respectivos eixos geométricos de rotação vertical e podem possibilitar o ajuste da tela imersiva sem restrição significativa em um local desejado genericamente em um plano horizontal em torno da região do encosto de cabeça.

[0049] Adicionalmente, uma flexibilidade de configuração é fornecida pelo terceiro elo L3 que é acoplado por uma quarta junta rotacional J4 a um quarto elo L4, sendo que a quarta junta rotacional J4 é giratória ao redor de um eixo geométrico horizontal para fornecer movimento em um plano vertical. O quarto elo L4 é adicionalmente acoplado por uma quinta junta rotacional J5 a um quinto elo L5, sendo que a quinta junta rotacional J5 é giratória ao redor de um eixo geométrico horizontal para fornecer movimento em um plano vertical. Além disso, o quinto elo L5 é acoplado por uma sexta junta rotacional J6 a um sexto elo ou membro de suporte L6, sendo que a sexta junta rotacional J6 é giratória ao redor de um eixo geométrico vertical para fornecer movimento em um plano horizontal. A quarta, a quinta e a sexta juntas rotacionais J4, J5 e J7 possibilitam genericamente o ajuste de altura vertical da tela imersiva, de modo que, em combinação com a primeira, a segunda e a terceira juntas rotacionais J1, J2 e J3, todas as seis juntas possibilitam ajustes em várias combinações de alterações de posição angular no espaço tridimensional (por exemplo, translação em X-Y-Z, direções de rotação em guinada, cilindro, passo). O braço da tela imersiva 310 pode, em resultado de múltiplas juntas articuladas com um número adequado de graus de liberdade, por exemplo, possibilitar a rotação do braço, a extensão/retração do braço, a inclinação para frente/para trás, etc.

[0050] Conforme mostrado na Figura 3B, o alojamento 320 pode ser montado no membro de suporte L6 por uma sétima junta rotacional J7, sendo que a sétima junta rotacional J7 é giratória ao redor de um eixo geométrico horizontal para possibilitar um sétimo grau de liberdade para um ajuste pivotante em um plano vertical (por exemplo, angulação para cima ou para baixo).

[0051] Algumas ou todas dentre as juntas, como a quarta e a quinta juntas J4 e J5, podem incluir freios de atrito, freios ativos, embreagem e/ou outros mecanismos de travamento atuáveis para ajudar a travar o braço de suporte da tela imersiva em uma configuração específica. O travamento do braço de suporte da tela imersiva no lugar pode, por exemplo, ajudar a evitar os efeitos gravitacionais que podem fazer com que o alojamento 320 e/ou o braço de suporte 310 se contraiam para baixo (por exemplo, sobre o usuário, se o conjunto de assento estiver em uma configuração reclinada). Adicional ou alternativamente, algumas ou todas dentre as juntas podem ser contrabalançadas a fim de evitar a contração para baixo quando não suportadas externamente por um usuário, etc.

[0052] As manipulações da pose (isto é, localização e/ou orientação das partes do braço) podem ser controladas manualmente e/ou controladas com um ou mais atuadores. Alguns movimentos do braço podem ser automáticos (por exemplo, contração ou extensão) em resposta a um gatilho, como a identificação de um usuário presente no assento e pronto para ser engatado com a tela imersiva. Alguns movimentos do braço podem ser acionados com base nas informações inseridas pelo usuário (por exemplo, conforme determinado pelos sensores embutidos no braço de suporte, cabos acoplados ao alojamento, etc.) e controlados por software. Ajustes manuais do braço podem envolver desengatar uma embreagem (por exemplo, com um sensor de toque, botão, cabo, etc.) que é configurada para resistir ao movimento do braço.

[0053] Em outras variações, o braço de suporte pode incluir um membro substancialmente não articulado. Por exemplo, o braço de suporte pode agir como um braço cantiléver estático para suspender a tela imersiva genericamente na frente do conjunto de assento. Em ainda outras variações, o braço de suporte pode incluir um membro que se move lateralmente em direção a e para longe de um usuário no conjunto de assento. Por exemplo, conforme mostrado na Figura 4D, quando a tela imersiva 400' não está em uso, o braço de suporte 410' pode ser orientado lateralmente para fora em uma posição "para fora" para manter o alojamento 420' na direção oposta à face e à cabeça do usuário. Quando o usuário está pronto para engatar o alojamento 420', conforme mostrado na Figura 4E, o braço de suporte de tela 410' pode, então, balançar lateralmente para dentro em uma posição "para dentro" a fim de manter o alojamento 420' adjacente à face e à cabeça do usuário.

[0054] Em variações nas quais uma extremidade proximal do braço de suporte é montada em um lado ou na linha média (por exemplo, para simetria vertical) de um encosto de assento ou outra estrutura, o braço de suporte pode ser configurado para se aproximar do usuário no assento a partir de qualquer lado. Por exemplo, na vista esquemática de uma tela imersiva 300 mostrada na Figura 3C, uma extremidade proximal do braço de suporte é montada em um encosto de assento ou descanso de cabeça localizados atrás do usuário, e o braço de suporte 310 passa ao redor de um lado direito do usuário e posiciona o alojamento 320 para engate com a face do usuário. Entretanto, uma pluralidade de juntas 312 no braço de suporte 310 pode ser configurada para girar passivamente e/ou ativamente (sentido horário conforme mostrado na Figura 3C) para possibilitar que o braço de suporte 310 passe ao redor de um lado esquerdo do usuário. Algumas ou todas as juntas (por exemplo, ao menos uma junta em forma de ombro proximal montada no encosto do assento) podem girar, de modo que ao menos parte do braço de suporte seja reposicionada genericamente dentro de um único plano, enquanto ao menos algumas juntas podem ser juntas esféricas ou outras juntas adequadas para possibilitar qualquer repouso ambidestro adequado do braço de suporte 310 no espaço. Por exemplo, uma junta de guinada distal e/ou eixo geométrico de inclinação podem possibilitar que o alojamento 320 gire para acomodar a abordagem do alojamento 320 a partir de qualquer lado do usuário.

[0055] Em ainda outras variações, conforme mostrado nas Figuras 4A a 4C, a tela imersiva 400 pode ser acoplada ao encosto do assento (ou descanso de cabeça, etc.) com um conjunto suspenso que inclui um ou mais braços de suporte 410, como em uma estrutura de suporte. Os braços de suporte 410 podem ser configurados para se aproximar do usuário a partir de sobre a cabeça do usuário, conforme mostrado na Figura 4A, para possibilitar que o usuário engate com o alojamento 420. Conforme mostrado na Figura 4B, os braços de suporte 410 podem se mover sobre a cabeça para a parte de trás do descanso de cabeça ou outra porção do encosto do assento, e os braços de suporte 410 e/ou o alojamento 420 podem dobrar para baixo contra o encosto do assento (por exemplo, Figura 4C) ou contrair ou recuar para dentro de uma cavidade no encosto do assento, como para fins de armazenamento.

[0056] Em algumas variações, o alojamento e/ou o braço de suporte podem incluir um ou mais sensores para auxiliar na prevenção de colisão. Por exemplo, ao menos um sensor de proximidade (por exemplo, ultrassom, laser, etc.) pode estar situado em ao menos uma porção do alojamento e/ou braço de suporte a fim de detectar potenciais colisões com o assento (por exemplo, encosto do assento, descanso de braço, descanso de cabeça), monitor de exibição aberto, face do usuário ou outra parte do corpo, etc. Quando for detectada uma potencial colisão, a tela imersiva pode emitir um alerta, como som, sinal visual, retroinformação tátil através de motores hápticos, e/ou o braço de suporte pode ser atuado para permanecer em uma posição "de espera" ou se mover em uma direção oposta para evitar a colisão entre o braço de suporte e outro objeto.

[0057] Em algumas variações, o braço de suporte pode incluir estruturas para ajudar um usuário a mover manualmente o braço. Por exemplo, conforme mostrado na Figura 5, o braço de suporte pode incluir um cabo 512 que pode ser segurado para reposicionamento e repouso do braço de suporte em resultado de se empurrar e/ou puxar o cabo. Adicionalmente, o cabo pode incluir sensores (por exemplo, sensores de pressão ou de contato, sensores capacitivos, etc.) para receber dados inseridos pelo usuário para o controle adicional da tela imersiva, conforme descrito adicionalmente abaixo.

[0058] Em outras variações, o braço de suporte pode acoplar o alojamento a outra estrutura fixa adequada, como um teto ou acessório de teto, uma coluna ou parede, ou um acessório móvel como uma mesa ou carrinho. Por exemplo, conforme mostrado na Figura 16A, uma tela imersiva 1600 pode incluir um braço do tipo haste de teto 1610 montado em um teto ou outro acessório superior, e um alojamento 1620 acoplado à extremidade distal do braço 1610. Em tal configuração, o braço 1610 pode ser montado no teto, acima do paciente 10 em uma mesa ou outra superfície com braços robóticos 20, de modo que o usuário pode fazer interface com a tela imersiva 1600 enquanto está em pé (em vez de sentado em um assento no qual a tela imersiva está montada) em um local onde ele ou ela pode supervisionar diretamente o procedimento cirúrgico. Em outras variações, o braço 1610 pode ser montado em qualquer local adequado no teto, na parede, em uma coluna, etc. Um carrinho 30 nas proximidades pode fornecer componentes adicionais para controlar o sistema cirúrgico robótico, como dispositivos de interface de usuário de mão. Alternativamente, conforme mostrado na Figura 16B, em uma outra variação da tela imersiva 1600', o braço de suporte 1610' pode acoplar o alojamento da tela 1620' a um item móvel, como um carrinho 30, o que pode possibilitar o transporte da tela imersiva entre diferentes salas de operação. Em algumas variações, a tela imersiva 1600' pode ser usada em conjunto com um console de usuário do tipo em pé ou de mesa, como aquele mostrado na Figura 16B, no qual um usuário pode, enquanto estiver em pé ou sentado em uma cadeira separada da tela imersiva 1600', interagir com uma tela aberta 1634, dispositivos de interface de usuário de mão 1620 e controles operados pelos pés 1638, além de engatar seletivamente a tela imersiva quando desejado. Como outro exemplo, o braço de suporte pode ser montado em uma mesa ou em uma outra haste que é posicionável para um usuário que está sentado em uma cadeira independente (por exemplo, banquinho ou cadeira de escritório), como para uso em uma sala de operação ou outra sala, e/ou para propósitos de treinamento em um ambiente de escritório. Além disso, o braço de suporte pode ser removível de qualquer uma dessas estruturas fixas, para ser mudado de lugar entre diferentes configurações (por exemplo, transição entre uma tela imersiva montada em uma cadeira, uma tela imersiva instalada no teto, uma tela imersiva montada na parede, uma tela montada na cabeça, etc.).

[0059] Em ainda outras variações, deve-se compreender que o braço de suporte pode ser omitido e que o alojamento da tela pode ser montado de qualquer maneira adequada, por exemplo colocado diretamente em uma mesa ou outro sistema de console, ou configurado para ser montado na cabeça (por exemplo, parte de um capacete ou incluindo tiras de cabeça, etc.). Por exemplo, muitos dos conceitos aqui descritos (por exemplo, reconhecimento de gestos de cabeça, acolchoamentos de suporte móveis ou sensíveis à pressão no alojamento, rastreamento ocular, etc.) podem ser utilizados em telas binoculares fixas sem uma estrutura de braço de suporte.

Alojamento

[0060] Conforme mostrado nas Figuras 2A e 2B, o alojamento 220 fornece uma interface através da estrutura de face 222 para engate com a face de um usuário, sendo que o alojamento 220 contém e protege, ao menos parcialmente, os conjuntos oculares e outros componentes de tela. Por exemplo, conforme é melhor mostrado na vista parcialmente explodida da Figura 2B, o alojamento 220 pode ser um receptáculo que inclui um volume interno que recebe ao menos um conjunto ocular esquerdo 230L e um conjunto ocular direito 230R. O alojamento 220 pode ser produzido a partir de um material relativamente leve (por exemplo, plástico) formado em um receptáculo através de qualquer combinação adequada de métodos de fabricação (por exemplo, modelagem por injeção, usinagem, impressão em 3D, etc.). O alojamento 220 pode ser uma peça integral ou pode ser uma combinação de peças montadas, como carcaças do alojamento acopladas juntas com prendedores, epóxi, etc., para formar um receptáculo.

[0061] Em algumas variações, conforme é melhor mostrado na Figura 2B, o alojamento 220 pode incluir aberturas ou saídas de ar 246 para facilitar o resfriamento do volume interno do alojamento 220. Por exemplo, pode haver uma ou mais ventoinhas 244 dispostas no interior do alojamento, que são configuradas para direcionar o fluxo de ar no alojamento em direção às saídas de ar 246 para sair do alojamento 220. Dessa maneira, os ventiladores e as saídas de ar podem gerar uma pressão negativa para puxar o ar para a direção oposta à face do usuário e em direção às saídas de ar 246, mantendo, assim, a face do usuário em uma temperatura confortável e ajudando a manter ambientes de temperatura adequados para os componentes dentro do alojamento.

[0062] Conforme mostrado nas Figuras 2A e 2B, o alojamento 220 pode incluir ou ser acoplado a uma estrutura de face 222 ou envoltório ocular. A estrutura de face 222 pode ser configurada para fornecer uma interface ergonômica confortável entre o alojamento 220 e a face do usuário. A estrutura de face 222 pode ser curvilínea para receber uma face humana (por exemplo, genericamente côncava) e incluir uma janela 226 (por exemplo, aberta ou transparente à luz visível) para deixar a linha de visão do usuário com os conjuntos oculares desobstruída. A estrutura de face 222 pode incluir um recorte ou outra abertura 228 para fornecer um espaço livre para o nariz e/ou a boca do usuário. A estrutura de face 222 pode, em algumas variações, ser configurada para cobrir genericamente a região dos olhos do usuário.

[0063] Adicionalmente, a estrutura de face 222 pode ser configurada para fornecer um guia de referência para o posicionamento consistente da face do usuário (e dos olhos do usuário) a uma distância ideal ou correta dos elementos ópticos do conjunto ocular para imagens adequadamente focalizadas, etc. Por exemplo, as dimensões da estrutura de face 222 podem ser selecionadas de modo a colocar os olhos do usuário a uma certa distância predeterminada a partir dos conjuntos oculares quando a face do usuário é engatada com a estrutura de face 222. A distância predeterminada pode ser um ajuste bruto (por exemplo, enquanto as posições do conjunto ocular podem ser ligeiramente reposicionadas para fornecer um ajuste de profundidade fino) e/ou ser personalizadas para o usuário a fim de acomodar formatos de face individuais (por exemplo, grandes ossos de testa ou maçã do rosto, face relativamente plana, etc.).

[0064] Em algumas variações, a estrutura de face 222 pode incluir um material maleável ou conformável para maior conforto e/ou ergonomia. Por exemplo, a estrutura de face 222 pode incluir um acolchoamento, como amortecimento, espuma (por exemplo, espuma com memória de formato), uma estrutura inflável, etc., em um lado voltado para o paciente da estrutura de face, e/ou outros materiais maleáveis, como guarnições de borracha ou molas que acoplam a estrutura de face 222 ao restante do alojamento 220. Consequentemente, a maleabilidade integral da estrutura de face 222 (e/ou entre a estrutura de face 22 e o alojamento 220) pode possibilitar que o usuário faça pequenos ajustes posicionais sem desengatar a face do alojamento. Por exemplo, o usuário pode ajustar ligeiramente sua postura sem interromper o fluxo de trabalho. Tais pequenos ajustes podem melhorar a experiência imersiva do usuário na tela 3D e melhorar a ergonomia.

[0065] Adicional ou alternativamente, a estrutura de face 222 pode incluir outros mecanismos para se conformar ou se adaptar ao formato da face do usuário. Por exemplo, um lado voltado para o paciente da estrutura de face 222 pode incluir múltiplos elementos (por exemplo, pinos com ponta macia) que são individual e axialmente móveis em resposta à pressão a partir da superfície da face do usuário. Como outro exemplo, um lado voltado para o paciente da estrutura de face 22 pode incluir uma estrutura em formato de acordeão ao redor do perímetro da estrutura de face que se retrai em resposta à pressão a partir da superfície da face do usuário. Uma configuração inicial de conformação à face do usuário (por exemplo, durante uma fase de configuração da tela imersiva) pode fornecer um estado de referência, de modo que quaisquer alterações nos mecanismos de conformação em relação ao estado de referência podem ser interpretadas como interações do usuário (por exemplo, gestos de cabeça, conforme adicionalmente descrito abaixo). A conformação com a face do usuário pode possibilitar a detecção e o reconhecimento de expressões faciais ou outras indicações relativamente sutis, que podem ser interpretadas como interações do usuário para o controle do sistema. Alternativamente, em algumas variações, a distância entre a estrutura de face 222 e a face do usuário pode incorporar uma quantidade predeterminada de folga para acomodar um espaço de trabalho rastreável para gestos de cabeça detectados por sensores ópticos, etc.

[0066] Em uma variação, conforme mostrado na Figura 5, uma tela imersiva 500 pode incluir uma primeira porção de alojamento 520a e um segundo alojamento 520b que são móveis um em relação ao outro, como através de um engate deslizante ou aninhado (por exemplo, com mancais). Por exemplo, a primeira porção de alojamento 520a pode incluir um envoltório externo configurado para receber uma porção da segunda porção de alojamento 520b com folga, de modo que a segunda porção de alojamento 520b pode ficar livre para se mover lateralmente para o lado e/ou para frente e para trás em relação à primeira porção de alojamento 520a. Tal movimento relativo pode ser maleável devido a uma ou mais molas 521 e/ou outros mecanismos maleáveis adequados. O braço de suporte 520 pode ser fixado à primeira porção de alojamento 520a (por exemplo, a uma porção posterior ou no lado da primeira porção de alojamento 520a), enquanto a estrutura de face 522 pode ser fixada à segunda porção de alojamento 520B. Em outras variações, porções de alojamento telescópicas ou aninhadas adicionais podem ser incluídas na tela imersiva. Consequentemente, a maleabilidade integral no movimento relativo entre a primeira e a segunda porções de alojamento pode possibilitar que o usuário faça pequenos ajustes posicionais sem desengatar sua face do alojamento. Por exemplo, o usuário pode ajustar ligeiramente sua postura sem interromper o fluxo de trabalho. Tais pequenos ajustes podem melhorar a experiência imersiva do usuário na tela 3D. Além disso, uma vez que os ajustes posturais são essenciais para poupar o usuário e reduzir o esforço durante o uso estendido e a longo prazo do sistema, as múltiplas porções de alojamento que são maleáveis de modo móvel umas em relação às outras podem ajudar a melhorar as características ergonômicas da tela imersiva 500. A cinemática da primeira e da segunda porções de alojamento (e/ou do braço de suporte) pode ser configurada de modo que um centro remoto de rotação da tela imersiva coincide genericamente com um ponto estimado ou predito do pescoço do usuário. Isso pode, por exemplo, possibilitar ajustes naturais do braço de suporte e da tela para um melhor alívio ergonômico à medida que o usuário move sua cabeça.

[0067] Em algumas variações, a estrutura de face 222 pode ser removível do alojamento 220, como para esterilização (por exemplo, limpeza com a solução de esterilização, esterilização em autoclave, etc.), e/ou para possibilitar a troca de diferentes estruturas de face 222 personalizadas para diferentes tipos de formato de face. A estrutura de face 222 pode, por exemplo, ser acoplada de maneira removível ao alojamento com prendedores (por exemplo, parafusos, adesivo, etc.). Adicional ou alternativamente, a estrutura de face 222 pode ser descartável, como após um único uso ou um número limitado de usos.

[0068] Um ou mais sensores (por exemplo, o sensor 224) podem ser incluídos na ou próximo à estrutura de face 222. Por exemplo, ao menos um sensor (por exemplo, sensor de pressão, proximidade ou distância, como um sensor óptico baseado em IV, sensor de temperatura, sensor de contato, sensor capacitivo, etc.) pode ser usado para detectar se um usuário está engatado com a estrutura de face 222. Conforme descrito adicionalmente abaixo, a determinação da ausência ou presença de um usuário engatado pode ser usada como parte de um recurso de travamento ou intertravamento de segurança para restringir a operação do sistema cirúrgico robótico. Além disso, a ausência detectada de um usuário engatado com a tela imersiva pode resultar automaticamente em outra tela aberta (por exemplo, a tela 128, conforme mostrado na Figura 1A) servindo como uma tela principal (por exemplo, com visão de câmera endoscópica ou outro conteúdo de imagem primário), enquanto a tela imersiva serve opcionalmente como uma tela secundária (com um conteúdo de imagem secundário). Em contrapartida, a presença detectada de um usuário engatado com a tela imersiva pode resultar automaticamente na tela imersiva servindo como a tela principal, enquanto outra tela aberta serve opcionalmente como uma tela secundária ou auxiliar. Adicional ou alternativamente, ao menos um sensor na ou próximo à estrutura de face 222 pode ser usado para detectar qualquer desalinhamento ou posicionamento não ideal do engate do usuário com a tela imersiva, e aciona uma sinalização para que o usuário autocorrija o desalinhamento, ou aciona um ajuste automático (por exemplo, pela atuação do braço de suporte até que o desalinhamento seja corrigido). Um ou mais sensores de proximidade podem, adicional ou alternativamente, ser usados para fornecer um engate confortável da face do usuário com a estrutura de face 222, como pela ativação do acionamento de um efeito de "aterrissagem suave" reduzido ou diminuído à medida que a estrutura de face 222 e a face do usuário se aproximam uma da outra para engate.

[0069] Como outro exemplo, um ou mais dos sensores podem ser usados para detectar interações do usuário (por exemplo, gestos da cabeça) que podem ser usados para alterar controles no sistema, modificar o conteúdo de tela imersiva, ajustar as configurações do alojamento ou do braço de suporte, etc. Por exemplo, tais sensores podem incluir sensores de pressão, sensores capacitivos, sensores ópticos, etc., nos quais uma alteração no sinal pode indicar um movimento da cabeça do usuário. Por exemplo, quando o usuário move sua cabeça para a direita, esse movimento geralmente resulta em pressão aumentada no lado direito da estrutura de face 222 e pressão diminuída no lado esquerdo da estrutura de face 222. Sensores que detectam essas alterações na pressão podem ser usados para determinar o gesto da cabeça em direção à direita. Como outro exemplo, os sensores de contato podem detectar as forças de cisalhamento sobre a superfície de um ou mais acolchoamentos ou outras superfícies que podem ser usadas para indicar um gesto de virada de cabeça. Qualquer número de sensores adequados pode ser usado e colocado em quaisquer locais adequados em, ao longo de ou na tela imersiva.

[0070] Em algumas variações, conforme mostrado nas Figuras 15A e 15B, um ou mais sensores 1532 podem, alternativa ou adicionalmente, (por exemplo, para redundância) ser incluídos em um encosto de cabeça 1530 atrás da cabeça do usuário para detectar interações do usuário através de gestos de cabeça. Por exemplo, um alojamento 1520 da tela imersiva pode incluir um ou mais sensores 1522 genericamente dispostos em um lado esquerdo, próximo ao centro e/ou em um lado direito do alojamento 1520, e/ou um encosto de cabeça 1530 pode incluir um ou mais sensores 1532 genericamente dispostos em um lado esquerdo, próximo ao centro e/ou em um lado direito do encosto de cabeça 1530, embora outras disposições adequadas de sensores distribuídos possam ser incluídas na tela imersiva e/ou no encosto de cabeça. As informações desses sensores de encosto de cabeça 1532 podem ser comparadas ou combinadas com as informações dos sensores de tela imersiva 1522 para derivar a intenção do usuário. Por exemplo, os gestos da cabeça e outros movimentos da cabeça do usuário podem resultar na parte de trás da cabeça fornecendo ações aos sensores 1532 no encosto de cabeça 1530 que são complementares às ações para os sensores 1522 no alojamento 1520 (por exemplo, quando o usuário move sua cabeça para a direita, este movimento geralmente resulta em um aumento da pressão sobre o lado direito do alojamento e sobre o lado direito da encosto de cabeça), o que pode possibilitar a redundância de sensor. Como outro exemplo, uma combinação de uma falta de pressão detectada contra o encosto de cabeça e de uma pressão detectada contra a tela imersiva pode indicar uma primeira intenção do usuário (por exemplo, ajuste na postura), enquanto uma combinação de pressão detectada contra o encosto de cabeça e de pressão detectada contra a tela imersiva pode indicar uma segunda intenção do usuário diferente da primeira intenção do usuário.

[0071] Como ainda outro exemplo, um ou mais sensores sobre a estrutura de face 222 (ou em outra parte acoplada ao alojamento ou a outros componentes da tela imersiva) podem incluir um ou mais sensores biométricos para monitorar parâmetros do usuário. Por exemplo, a tela imersiva pode incluir um ou mais sensores de eletrocardiograma para medir a atividade cardíaca, sensores de temperatura, sensores de frequência cardíaca, sensores de pressão arterial, sensores de ECG para medir as ondas cerebrais (por exemplo, a serem colocados sobre as têmporas do usuário), sensores de suor, outros sensores de estresse, etc. Tal monitoramento biométrico do usuário enquanto ele utiliza a tela imersiva pode ser útil para monitorar os níveis de estresse do usuário, a fim de se reunir dados de pesquisa ou para fins de treinamento, etc. Esses dados biométricos podem ser armazenados em qualquer dispositivo de memória ou de armazenamento adequados, como um dispositivo de armazenamento local localizado na tela imersiva (por exemplo, no alojamento), outra porção do console de usuário, outros componentes do sistema cirúrgico robótico (por exemplo, uma unidade central em um carrinho, mesa ou unidade de controle). Outros exemplos de dispositivos de armazenamento incluem memória flash portátil (por exemplo, unidades USB), computadores ou servidores remotos, armazenamento em nuvem, etc.

[0072] Conforme mostrado nas Figuras 5 e 6, outras variações do alojamento podem incluir um ou mais cabos para manipular (por exemplo, reposicionar) a tela imersiva. Por exemplo, ao menos um cabo 524 (Figura 5) ou 624 (Figura 6) pode ser incluído em um lado do alojamento 520 ou 620 (por exemplo, para facilitar um modo de posicionamento bruto no qual grandes ajustes posicionais são realizados, como com a capacitação de um grande número de graus de liberdade no alojamento e/ou braço de suporte, sem limitações ou relativamente poucas limitações de movimentos), e/ou ao menos um cabo 626, conforme mostrado na tela imersiva 600 na Figura 6 (por exemplo, para facilitar um modo de posicionamento sutil no qual ajustes posicionais pequenos ou minoritários são realizados, como com a capacitação de número menor de graus de liberdade no alojamento e/ou braço de suporte, com mais limitações nos movimentos do que no modo de posicionamento bruto) em um lado do alojamento 620. Outros locais adequados para cabos incluem também uma superfície externa de topo ou de fundo do alojamento 620. Em algumas variações, alguns cabos podem estar situados em ambos os lados do alojamento para possibilitar o uso ambidestro (por exemplo, um cabo lateral esquerdo 626 e um cabo lateral direito 626). Alguns ou todos dentre os cabos podem incluir pegas ou barras, conforme mostrado na Figura 6, e/ou um botão, conforme mostrado na Figura 5, embora em outras variações, os cabos podem incluir anéis, alavancas e outros formatos adequados para pega. Adicionalmente, ao menos alguns dos cabos podem incluir recursos texturais para melhorar a preensão, como sulcos para dedos, nervuras ou saliências. Conforme descrito em mais detalhes abaixo, ao menos alguns dos cabos podem incluir sensores (por exemplo, de pressão, capacitivos, etc.) para fornecer ações adicionais para interações do usuário com a tela imersiva e/ou para coletar dados biométricos (por exemplo, frequência cardíaca).

[0073] Conforme mostrado na Figura 7, em algumas variações de uma tela imersiva 700, o alojamento 720 pode incluir ao menos uma proteção (por exemplo, proteção lateral 732, proteção inferior 734) acoplada ao alojamento, configurada para ajudar a evitar que a luz ambiente (a partir do lado de fora do alojamento) entre no campo de visão do usuário, e/ou para ajudar a reduzir as distrações visuais para o usuário, melhorando, assim, a experiência imersiva quando o usuário vê através da tela imersiva. Entretanto, em alguns casos, o usuário pode desejar remover ou reposicionar a proteção para visualizar e/ou interagir com as porções obstruídas de seu campo de visão. Por exemplo, o usuário pode desejar visualizar suas mãos (por exemplo, para localizar ou segurar dispositivos de interface de usuário de mão) ou seus pés (por exemplo, para localizar pedais ou outros controles operados pelos pés) fora do ambiente imersivo. Para acomodar tais casos, a proteção pode ser móvel entre uma primeira posição na qual ela é configurada para obscurecer ao menos uma porção de um campo de visão do usuário e uma segunda posição na qual a proteção é configurada para revelar a porção do campo de visão do usuário. Dessa forma, o alojamento pode ser equipado com um ou mais atuadores adequados para mover a proteção entre a primeira e a segunda posições. Os atuadores de proteção podem ser acionados com base em sensores de rastreamento ocular, gestos de cabeça, ações em dispositivos de usuário, como dispositivos de interface de usuário de mão ou dispositivos de interface de usuário operados pelos pés, comandos vocais, etc.

[0074] Por exemplo, conforme mostrado na Figura 7, um alojamento 720 pode incluir ao menos uma proteção lateral 732 disposta no lado do alojamento. Quando a proteção lateral 732 é engatada na primeira posição (indicada pelo contorno sólido na Figura 7), a proteção lateral 732 pode ser configurada para bloquear uma porção periférica lateral do campo de visão do usuário. A proteção lateral 732 pode ser atuada para girar ou pivotar lateralmente para fora para uma segunda posição (indicada pela linha tracejada na Figura 7) a fim de revelar a porção periférica lateral anteriormente obstruída do campo de visão do usuário. Em outras variações, ao invés de girar lateralmente para fora em direção à segunda posição, a proteção lateral 732 pode girar para cima ao redor de um eixo geométrico horizontal superior, ou para baixo ao redor de um eixo geométrico horizontal inferior. Em ainda outra variação, a proteção lateral 732 pode se retrair ou se contrair ao longo do lado do alojamento (por exemplo, ao longo de uma parede lateral do alojamento 720, ou dentro de uma fenda na parede lateral do alojamento 720) para fazer a transição para a segunda posição.

[0075] Como outro exemplo, um alojamento 720 pode incluir ao menos uma proteção inferior 734 disposta em uma porção inferior do alojamento. Quando a proteção inferior 734 está engatada na primeira posição (indicada pelo contorno sólido na Figura 7), a proteção inferior 734 pode ser configurada para bloquear uma porção periférica inferior do campo de visão do usuário. A proteção inferior 734 pode ser atuada para girar ou pivotar para baixo para uma segunda posição (indicada pela linha tracejada na Figura 7) a fim de revelar a porção periférica inferior anteriormente obstruída do campo de visão do usuário. Em outras variações, a proteção inferior 734 pode se retrair ou se contrair ao longo da porção inferior do alojamento (por exemplo, ao longo de uma parede inferior do alojamento 720, ou dentro de uma fenda ao longo da parede inferior do alojamento 720) para fazer a transição para a segunda posição. De modo similar, o alojamento da tela imersiva pode incluir as proteções dispostas em e/ou ao redor de quaisquer porções adequadas do alojamento. Embora as proteções representadas na Figura 7 sejam genericamente similares a uma aba, outros tipos de proteções são possíveis, como em formato de acordeão e tubos longos de tecido retráteis.

[0076] A atuação da uma ou mais proteções pode ocorrer em resultado das interações do usuário. Por exemplo, sensores que realizam o rastreamento ocular podem detectar olhares (por exemplo, durante ao menos um período de tempo predeterminado, e/ou em uma direção específica em direção a uma proteção) e, consequentemente, acionar a atuação de uma ou mais das proteções em direção à segunda posição para revelar a vista anteriormente obstruída. Por exemplo, um ou mais sensores podem detectar quando os olhares do usuário descem em direção a uma região bloqueada pela proteção inferior 734 e aciona a atuação da proteção inferior 734 em direção à segunda posição. Como outro exemplo, um sensor de pressão ou força em um lado da estrutura de face pode detectar quando o usuário pressiona sua cabeça contra o lado da estrutura de face em direção à proteção lateral 732 e aciona a atuação da proteção lateral 732 em direção à segunda posição. Consequentemente, vários sensores podem possibilitar que o usuário visualize seu ambiente real fora do ambiente imersivo, sem exigir o desengate da tela imersiva. Adicional ou alternativamente, a uma ou mais proteções podem ser manualmente movidas entre as primeira e segunda posições. Além disso, a uma ou mais proteções podem ser forçadas tanto em direção à primeira posição quanto em direção à segunda posição (por exemplo, a menos que uma força de polarização seja superada por uma força manual ou atuada, a proteção pode bloquear uma porção do campo de visão do usuário), como com uma mola ou outro mecanismo de polarização adequado (não mostrado).

[0077] Conforme mostrado na Figura 7, uma variação do alojamento 720 pode incluir uma ou mais câmeras, como câmeras voltadas para fora 722 situadas em um lado do alojamento oposto aos conjuntos oculares 730. As câmeras voltadas para fora podem fazer imagens do ambiente real circundante e fornecer essas imagens ou o suprimento de vídeo para exibição ao usuário na tela imersiva, de modo que o usuário possa, se desejado, visualizar ao menos uma porção do ambiente real circundante (por exemplo, em um modo de "janela virtual" que imita a visualização através de um alojamento transparente) sem o desengate da tela imersiva. As câmeras voltadas para fora 722 podem ser configuradas para fornecer diferentes suprimentos de vídeo dependendo de sua localização. Por exemplo, conforme mostrado na Figura 7, as câmeras voltadas para fora 722 estão situadas em uma superfície frontal do alojamento 720, e são, portanto, configuradas para fornecer ao usuário uma percepção contextual do ambiente real diretamente na frente da superfície frontal do alojamento 720. Como outro exemplo, uma ou mais câmeras voltadas para fora podem estar situadas em um lado do alojamento 720 para fornecer ao usuário uma percepção contextual do ambiente real diretamente próximo ao lado do alojamento 720. Tais imagens periféricas podem ajudar a fornecer ao usuário um campo de visão expansível de seu ambiente real. Em algumas variações, o usuário pode alternar seletivamente entre uma tela de uma visualização transparente fornecida pelas câmeras voltadas para fora 722 e outras telas do ambiente imersivo (por exemplo, visão endoscópica da câmera) com interações do usuário detectadas pelos sensores. Por exemplo, se um usuário desejar localizar visualmente os controles de pedais posicionados próximos aos seus pés, o usuário pode selecionar o modo de "janela virtual" e inclinar sua face para baixo (enquanto engatado no alojamento 720) em direção aos controles de pedais para ver os controles de pedais através do suprimento de vídeo fornecido pelas câmeras voltadas para frente 722.

[0078] Conforme mostrado na Figura 8, em algumas variações, em uma tela imersiva 800, um alojamento 820 pode incluir um ou mais atuadores hápticos 840 configurados para fornecer retroinformações táteis ao usuário. Por exemplo, os atuadores hápticos podem incluir ao menos um dispositivo de vibração (por exemplo, motor de vibração, atuador piezelétrico, ressonador, etc.). Os atuadores hápticos 840 podem ser ativados individual ou coletivamente para comunicar informações ao usuário. Por exemplo, os atuadores hápticos 840 podem comunicar informações relacionadas a uma interface gráfica de usuário exibida na tela aberta ou na tela imersiva (por exemplo, avisos, alertas, confirmação da seleção de um item de menu, etc). Como outro exemplo, os atuadores hápticos 840 podem fornecer retroinformações táteis relacionadas à configuração da tela imersiva (por exemplo, vibração para dar a sensação de um detentor mecânico e/ou resistência variável para orientar ou posicionar o braço de suporte e/ou o alojamento), que podem, por exemplo, ser úteis para ajudar a guiar o usuário até uma configuração mais ergonômica com a tela imersiva e/ou para guiar o usuário até uma configuração relativa de cabeça-braço/mão ideal para a coordenação de mão e olhos durante a visualização da tela imersiva (conforme adicionalmente descrito abaixo).

[0079] Em algumas variações, múltiplos atuadores hápticos 840 podem estar dispostos de uma maneira distribuída ao redor do alojamento 820 e podem fornecer indicações direcionais relacionadas ao estado de outros componentes do sistema cirúrgico robótico. Por exemplo, um dispositivo de interface de usuário de mão, que fornece o controle de usuário em relação a um sistema cirúrgico robótico, pode ter um espaço de trabalho limitado no qual seus movimentos podem ser rastreados no espaço e convertidos em comandos para o sistema cirúrgico robótico. Quando o dispositivo de interface de usuário de mão está se aproximando de ou atingiu um limite de seu espaço de trabalho rastreável, um ou mais atuadores hápticos 840 podem ativar um alerta ou aviso direcional de que manipulações do dispositivo de interface de usuário podem não ser ou agora não são rastreáveis (por exemplo, quando um limite do lado esquerdo do espaço de trabalho rastreável for atingido, um atuador háptico de lado esquerdo correspondente 840 no alojamento pode ser ativado). Como outro exemplo, quando um braço robótico é manipulado em resultado das ações do usuário enquanto engatado à tela imersiva, o braço robótico pode se aproximar ou atingir um limite de sua faixa física de movimento. Em tais casos, um ou mais atuadores hápticos 840 podem ativar um aviso ou alerta direcional para indicar ao usuário que um comando atual para o movimento do braço robótico corre o risco de atingir seus limites físicos de movimento. Como outro exemplo, durante o uso, o braço robótico pode ficar em risco de colidir com ou fisicamente interferir com outro objeto, como outro braço robótico, a mesa do paciente, um assistente cirúrgico próximo, etc. Similar aos exemplos descritos acima, um ou mais atuadores hápticos 840 podem ativar um alerta ou aviso direcional para indicar ao usuário que o braço robótico está em risco de colisão.

[0080] Em algumas variações, o alojamento pode incluir um ou mais dispositivos de áudio. Por exemplo, conforme mostrado na Figura 9, uma tela imersiva 900 pode incluir um alojamento 920 que inclui ao menos um microfone 952. O microfone 952 pode estar situado, por exemplo, em uma porção do alojamento a ser posicionada próximo à boca do usuário (por exemplo, um lado de baixo do alojamento, conforme mostrado na Figura 9), embora outros locais no alojamento possam ser adequados. Em outras variações, um microfone separado (por exemplo, microfone acoplável) pode ser conectado a uma porta localizada no alojamento ou no braço de suporte. O microfone 952 pode ser usado para se comunicar com outras pessoas, como a equipe cirúrgica envolvida no procedimento cirúrgico e/ou para ativar gravações de voz (por exemplo, comunicações com a equipe cirúrgica, ditados para notas, como registros médicos, etc.). Adicional ou alternativamente, o microfone 952 pode receber comandos vocais (por exemplo, comandos verbais ou ruídos, como estalos, sopros, assobios, etc.) para o controle de voz do sistema cirúrgico robótico, do conteúdo interativo das telas, etc. Por exemplo, o controle de voz pode ser usado para alternar entre aplicativos ou tarefas na interface gráfica, como seleção de música, alterar as exibições ou telas da interface gráfica, etc. Além disso, o microfone 952 pode ser acoplado a dispositivos externos controlados por voz (por exemplo, telefone celular pessoal, etc.) para possibilitar a operação sem mãos do dispositivo externo controlado por voz. Alguns ou todos esses comandos vocais acima descritos podem ser acompanhados por outros dados inseridos pelo usuário (por exemplo, atuação de um pedal ou outros controles operados pelos pés) que funciona de modo similar a uma embreagem. Alternativamente, alguns ou todos esses comandos vocais podem ser realizados sem um controle simultâneo das informações inseridas pelo usuário.

[0081] Como outro exemplo, conforme mostrado na Figura 10, uma tela imersiva 1000 pode incluir um alojamento 1020 que inclui ao menos um alto-falante 1050. O um ou mais alto-falantes 1050 podem estar situados, por exemplo, em ao menos um lado da estrutura de face 1022 e são configurados para projetar sons em direção aos ouvidos do usuário quando o usuário está engatado com o alojamento 1020. Por exemplo, um alto-falante 1050 em ambos os lados esquerdo e direito do alojamento pode fornecer som estéreo. Entretanto, outros locais no alojamento podem ser adequados (por exemplo, topo, fundo). Os alto- falantes 1050 podem ser configurados para fornecer informações adicionais ao usuário, como sons que acompanham o conteúdo de vídeo exibido, ruídos e efeitos sonoros associados a uma interface gráfica de usuário (por exemplo, cliques ou tons que indicam a seleção de itens na interface gráfica de usuário, alertas ou avisos, etc.), e/ou sons que aumentam as ações do atuador háptico para uma experiência mais rica e melhorada. O alto-falante 1050 também pode ser usado para receber comunicações com outras pessoas, como a equipe cirúrgica (por exemplo, em conjunto com um microfone 952 descrito acima, o alto- falante 1050 pode facilitar a comunicação bidirecional) ou para chamadas telefônicas quando conectado a um dispositivo de telefone. Como outro exemplo, um ou mais alto-falantes 1050 podem ser configurados para emitir o cancelamento de ruído branco ou de ruído ativo para o usuário. Além disso, o alto-falante 1050 pode ser acoplado a um ou mais dispositivos de áudio externos (por exemplo, rádio, dispositivo pessoal tocador de música, etc.).

[0082] Em algumas variações, uma tela imersiva 1100 inclui um alojamento 1120 com uma ou mais telas auxiliares localizadas independentes da tela 3D fornecida pelos conjuntos oculares. Tais telas podem mostrar, por exemplo, um conteúdo suplementar (vídeos de treinamento, imagens médicas pré-operatórias, como tomografia computadorizada ou imagens de IRM, etc.) que pode ser útil para referência durante o procedimento cirúrgico. Em outros modos, as telas podem, adicional ou alternativamente, mostrar um conteúdo primário (como suprimento de vídeo de câmera endoscópica, informações de interface gráfica de usuário, etc.). Por exemplo, o alojamento pode incluir uma ou mais telas laterais 1140 situadas adjacente aos conjuntos oculares, de modo que o usuário pode ver o conteúdo nas telas laterais 1140 em sua visão periférica lateral (ou com um olhar lateral). Como outro exemplo, o alojamento pode ter uma ou mais telas de topo 1130 localizadas em uma superfície de topo externa do alojamento 1120, de modo que o usuário pode ver o conteúdo na tela de topo 1140 em sua visão periférica superior (ou com um olhar para cima). As telas auxiliares podem ser acionáveis entre uma posição visível e uma posição oculta ou de armazenamento, similar às proteções descritas acima com referência à Figura 7. Por exemplo, as telas laterais 1140 podem ser configuradas para alternar lateralmente para dentro e para fora, dependendo de se o usuário deseja mostrar o conteúdo nas telas. De modo similar, a tela de topo 1130 pode ser configurada para mudar para cima e para baixo ao redor de um eixo geométrico de articulação, ou deslizar para dentro e para fora de um bolso ou fenda conforme desejado.

[0083] Conforme mostrado na Figura 12, em ainda outras variações, uma tela imersiva 1200 pode incluir um alojamento 1220 com um ou mais dispositivos de rastreamento para monitorar a posição do alojamento 1220 no espaço. Os dispositivos de rastreamento podem incluir, por exemplo, transmissores eletromagnéticos, marcadores fiduciais ópticos (por exemplo, esferas de rastreamento óptico 1232) usados em conjunto com sensores ópticos suspensos ou próximos, unidades de medição inerciais, etc. Adicional ou alternativamente, um braço de suporte acoplado ao alojamento 1220 pode incluir codificadores de junta ou posição no braço de suporte, potenciômetros, etc., para rastrear o alojamento. Rastrear a posição do alojamento 1220 pode possibilitar alterações automáticas no conteúdo da tela imersiva com base na posição. Por exemplo, após detectar com os dispositivos de rastreamento que o alojamento 1220 foi movido de ser engatado à face de um usuário para ser desengatado e empurrado para um lado do usuário, a tela imersiva pode transitar de uma tela principal (por exemplo, uma vista de câmera endoscópica do sítio cirúrgico e ferramentas cirúrgicas) para uma tela secundária (por exemplo, imagens de referência, etc.). Como outro exemplo, após detectar com os dispositivos de rastreamento que o alojamento 1220 foi movido para um local inacessível pelo usuário sentado e/ou adjacente a um monitor de tela aberta, a tela imersiva pode fazer a transição para uma tela de console duplo em cooperação com a tela aberta ou outra unidade de exibição. Como ainda outro exemplo, após detectar com os dispositivos de rastreamento que o alojamento 1220 foi movido para um local extremo para o lado (por exemplo, posição de armazenamento) ou foi virado para ficar na direção oposta ao usuário, a tela imersiva pode desligar ou ser revertida automaticamente para um estado ocioso ou de espera.

[0084] As informações do dispositivo de rastreamento também podem ajudar a possibilitar a otimização ergonômica e o alinhamento do usuário com a tela imersiva para uso e conforto estendidos. Por exemplo, o dispositivo de rastreamento 1220 pode indicar, em algumas circunstâncias, que o alojamento está ligeiramente não nivelado ou está ligeiramente desalinhado com os olhos e/ou as mãos do usuário e, em resposta, pode acionar automaticamente um ajuste posicional minoritário através do braço de suporte para corrigir a posição do alojamento em relação ao usuário (por exemplo, para tornar o alojamento nivelado em relação aos olhos do usuário, correto para fornecer ao usuário uma boa linha de visão para a visualização da tela imersiva, etc.).

[0085] Em algumas variações, o alojamento e/ou o braço de suporte podem ser configurados para manter o alojamento e os conjuntos oculares genericamente nivelados e alinhados com o usuário, apesar de pequenos movimentos inadvertidos, como vibrações causadas por transeuntes, etc. Dessa forma, o alojamento ou outra porção adequada da tela imersiva podem incluir um acelerômetro ou outro sensor adequado para detectar movimentos do alojamento e/ou do braço de suporte que estão associados a aberrações ao invés de interações intencionais do usuário. Em resposta à detecção de tais pequenos movimentos, um ou mais atuadores no braço de suporte podem ser ativados como parte de uma suspensão ativa para compensar as pequenas vibrações e manter a tela relativamente estável e alinhada com o usuário.

[0086] Em uma outra variação, conforme mostrado na Figura 13, uma tela de imersão pode incluir um alojamento 1320 que tem ao menos um iluminador voltado para fora 1322 para projetar um ou mais indicadores de referência em um espaço de trabalho. O iluminador 1322 pode incluir, por exemplo, um laser, LED, outras luzes, etc. Por exemplo, o iluminador 1322 pode projetar uma grade, ícones ou outras referências para destacar uma posição ideal para os dispositivos de interface de usuário de mão do usuário em relação aos dispositivos oculares na tela imersiva (por exemplo, para ser idealmente compatível com a relação entre a câmera endoscópica e o instrumento cirúrgico, conforme adicionalmente descrito abaixo). Como outro exemplo, a iluminação para fora pode, adicional ou alternativamente, ser usada para melhorar a visibilidade de alvos específicos ou de outros componentes do sistema, como locais predefinidos para encaixar ou colocar dispositivos de interface de usuário de mão, locais de conjuntos de pedais ou outros controles operados pelos pés, etc. Tal visibilidade melhorada pode envolver, por exemplo, projeções iluminadas de ícones gráficos ou contornos de componentes destacados ou alvo, e podem ser úteis em situações como quando o usuário está engatado com a tela imersiva, mas é capaz de visualizar as projeções iluminadas em sua visão periférica (por exemplo, as proteções descritas em relação à Figura 7 não estão obstruindo o campo de visão do usuário), o que auxilia o usuário na localização dos componentes-alvo.

Dispositivos oculares e exibição

[0087] Conforme mostrado na Figura 2B, ao menos dois conjuntos oculares, incluindo um conjunto ocular do lado esquerdo 230L e um conjunto ocular do lado direito 230R, podem estar dispostos dentro do alojamento 220 de uma maneira binocular. Cada conjunto ocular inclui uma tela com painel de LCD e/ou LED, elementos ópticos (por exemplo, lentes, espelhos, etc.) e circuitos eletrônicos. Por exemplo, em algumas variações, os conjuntos oculares podem ser similares a quaisquer conjuntos oculares adequados que estão disponíveis comercialmente para aplicações que incluem ambientes de realidade virtual e aumentada (por exemplo, para propósitos militares e/ou jogos) e são familiares ao versado na técnica. Coletivamente, os conjuntos oculares são configurados para fornecer um monitor 3D (por exemplo, estereoscópico) ao usuário. A tela 3D pode ser adicionalmente configurada para mostrar um conteúdo 2D. Um ou mais atuadores podem ser integrados em ou acoplados a ao menos um conjunto ocular, como para ajustar as posições relativas entre os conjuntos oculares (por exemplo, para ajuste da distância interpupilar) e/ou a profundidade dentro do alojamento (por exemplo, para ajuste da distância até os olhos do usuário), etc. Outros componentes eletrônicos associados aos conjuntos oculares e outros componentes no alojamento podem estar relacionados ao controle e gerenciamento de sinais de imagem para a tela e suprimento de energia para os vários componentes. Em algumas variações, os componentes eletrônicos podem incluir uma ou mais baterias sem fio ou outras fontes de energia para fornecer energia aos componentes elétricos da tela imersiva, embora, adicional ou alternativamente, a tela imersiva possa ser acoplada a uma fonte de alimentação com fio primária ou de reserva.

[0088] Em algumas variações, uma série de múltiplas lentes pode, adicional ou alternativamente, ser incluída no alojamento e configurada para fornecer uma imagem curva ou panorâmica que abrange continuamente uma ampla estrutura visual. Alternativamente, a série de múltiplas lentes também pode ser configurada em duas ou mais telas divididas que mostram um conteúdo distinto ao longo da estrutura visual disponível. Além disso, lentes ou outros mecanismos corretivos podem ser seletivamente fornecidos em conjunto com os conjuntos oculares para fornecer correção da visão (por exemplo, para miopia, hipermetropia, astigmatismo, etc.).

[0089] Em geral, os conjuntos oculares podem ser configurados para mostrar uma gama de informações ao usuário quando o usuário está engatado à tela imersiva, incluindo, mas não se limitando a, informações 3D, vídeos, imagens estáticas, interfaces gráficas, controles interativos, etc. Os conjuntos oculares 230 podem servir como uma tela suplementar para outras telas relacionadas ao sistema cirúrgico robótico, como uma tela aberta (por exemplo, a tela 128, conforme mostrado na Figura 1B), telas auxiliares na tela imersiva (por exemplo, as telas laterais e/ou de topo 1140 e 1130, conforme mostrado na Figura 11) e quaisquer outras telas auxiliares (por exemplo, telas abertas acopladas a um assento em um console de usuário, etc.). Dessa forma, uma ou mais dessas telas podem ser designadas como uma tela principal destinada à visualização principal. Um exemplo de uma tela principal é uma interface gráfica como aquela mostrada na Figura 17. Por exemplo, uma interface gráfica pode mostrar dados de imagem endoscópica 1700 (por exemplo, de uma câmera endoscópica colocada dentro do paciente) e/ou dados sobre o paciente 1710 (por exemplo, nome, número de registro médico, data de nascimento, várias notas adequadas, etc.). A tela principal pode incluir adicionalmente um painel de controle 1712 e uma ou mais imagens médicas 1714 (por exemplo, imagens pré-operatórias do tecido do paciente). O painel de controle 1712 pode incluir informações como um número da ferramenta esquerda, um nome da ferramenta esquerda, uma função da ferramenta esquerda e similares. Informações similares podem ser fornecidas para um braço de ferramenta direita. Entretanto, outras interfaces gráficas adequadas ou outros conteúdos de exibição podem ser exibidos em uma tela principal. Além disso, uma ou mais das telas podem ser designadas como uma tela secundária para fornecer um conteúdo suplementar (por exemplo, imagens de referência ou vídeos). Várias interações de usuário podem fazer com que as telas alterem suas designações como uma tela principal, uma tela secundária (ou outra classificação adequada de tela) e, dessa forma, seu tipo de conteúdo exibido, conforme adicionalmente descrito abaixo.

[0090] O alojamento pode incluir sensores ou câmeras de rastreamento do olho (por exemplo, dispostos em ou próximo aos conjuntos oculares 230 mostrados nas Figuras 2A e 2B) que podem ser usados para detectar o olhar do usuário, o que pode ser usado para um recurso de intertravamento ou trava a fim de restringir a operação do sistema cirúrgico robótico (por exemplo, com a detecção do código de íris, conforme adicionalmente descrito abaixo), para alterar os controles no sistema, modificar o conteúdo da tela imersiva, para ser interpretada como informações inseridas pelo usuário para navegação de uma interface gráfica em uma das telas, como outra métrica adequada para avaliar o uso da tela imersiva e/ou do sistema cirúrgico robótico, etc. Adicional ou alternativamente, o rastreamento dos olhos ou a detecção da pupila podem ser usados para ajustar automaticamente a distância interpupilar (DIP) entre os dois conjuntos oculares com base em uma distância detectada entre as pupilas do usuário, conforme descrito adicionalmente abaixo. O rastreamento dos olhos também pode ser usado, em algumas variações, para monitorar o nível de fadiga do usuário, como durante o uso estendido do sistema de cirurgia robótica.

[0091] Deve-se compreender que embora alguns exemplos específicos de tipos de sensores, locais de sensores e funções de sensores na tela imersiva tenham sido discutidos acima, uma ampla variedade de outros sensores e tipos de sensores pode, adicional ou alternativamente, estar localizada em vários componentes da tela imersiva (por exemplo, braço de suporte, alojamento) para capturar informações sobre o usuário e/ou para receber dados inseridos pelo usuário como controles de usuário interativos. Por exemplo, o sistema de tela imersiva pode incluir vários sensores e outros componentes para uso conforme descrito adicionalmente abaixo.

Controlador

[0092] A tela imersiva pode incluir um sistema de controle que governa o comportamento da tela imersiva. Por exemplo, o sistema de controle pode incluir um ou mais controladores 1900 que incluem um ou mais processadores (por exemplo, microprocessador, microcontrolador, circuito integrado de aplicação específica, matriz de portas programável em campo e/ou de outros circuitos lógicos). O controlador 1900 pode estar em comunicação com um ou mais outros componentes de um console de usuário 1940 (por exemplo, dispositivos de interface de usuário de mão, dispositivos de interface de usuário operados pelos pés, tela aberta, etc.). O controlador 1900 pode estar adicionalmente em comunicação com um dispositivo de armazenamento 1930 para armazenar diversos itens na memória, como dados biométricos de um usuário, preferências do usuário, perfis de usuário, etc. O controlador 1900 pode estar adicionalmente em comunicação com módulos de subcontrole, como um controlador de braço de suporte 1910 configurado para controlar os componentes do braço de suporte, incluindo, mas não se limitando a, vários motores 1912 para acionar o braço de suporte e vários sensores 1914, e quaisquer outros componentes do braço de suporte, como aqueles aqui descritos. Além disso, o controlador 1900 pode estar em comunicação com um controlador de alojamento 1920 configurado para controlar os componentes do alojamento da tela imersiva, incluindo, mas não se limitando a, conjuntos oculares 1922, sensores 1924, motores 1926, e quaisquer outros componentes dentro do alojamento da tela, como aqueles aqui descritos. Alternativamente, o controlador 1900 pode fazer interface diretamente com os componentes do braço de suporte e/ou do alojamento, omitindo, assim, os módulos de subcontrole 1910 e 1920 para o braço de suporte e o alojamento, respectivamente.

Funcionamento de uma tela imersiva

[0093] Em geral, a tela imersiva pode ser operada em um ou mais dentre vários modos ou estados. As transições entre esses modos e/ou quaisquer outros modos podem ser direcionadas pelo usuário através de interações com os sensores da tela imersiva (por exemplo, no braço de suporte e/ou no alojamento) e, adicional ou alternativamente, com outros sensores suplementares em um console de usuário com o qual a tela imersiva está associada. Dessa forma, a comutação entre vários modos pode, por exemplo, ser manuseada por uma máquina/um controlador de estado.

[0094] Em um modo de configuração, a tela imersiva é inicializada para o usuário quando o usuário interage com o sistema de tela imersiva. Esse modo pode ser adequado, por exemplo, durante a preparação para ou no início de um procedimento cirúrgico executado com um sistema cirúrgico robótico associado. Esse modo também pode ser adequado sempre que o usuário se engatar à tela imersiva, pela primeira vez para um procedimento cirúrgico específico e/ou, em algumas variações, em momentos intermediários selecionados depois disso (por exemplo, após um período de desuso da tela imersiva).

[0095] Em algumas variações, um modo de configuração pode ser caracterizado por um recurso de trava ou intertravamento de segurança implementado na tela imersiva, de modo que um ou mais sensores possam possibilitar a operação do sistema cirúrgico robótico. Em uma variação, um ou mais sensores podem ser configurados para identificar o usuário para autorização a fim de que ele opere o sistema cirúrgico robótico. Por exemplo, tal sensor pode ser incorporado em uma câmera configurada para detectar um código de íris de um usuário, sendo que o controlador compara o código de íris detectado aos códigos de íris armazenados em uma base de dados associada a usuários autorizados e possibilita a operação do sistema cirúrgico robótico se o código de íris detectado corresponder àquele associado a um usuário autorizado. Outros sensores adequados para detectar um parâmetro biométrico exclusivo podem, adicional ou alternativamente, ser incluídos para identificar o usuário, como um sensor de IV para detectar uma assinatura de calor, componentes eletrônicos para fazer o reconhecimento de voz, etc. Se não houver indicação de que o usuário é um usuário autorizado do sistema cirúrgico robótico, a tela imersiva e/ou outros componentes de um console de usuário podem permanecer desativados, ociosos ou, de outro modo, não responsivos caso o usuário tente operar o sistema cirúrgico robótico. Além disso, ao identificar o usuário através de detecção e reconhecimento de código de íris, o controlador pode carregar predefinições e/ou preferências associadas ao usuário, como configurações de ajuste da posição do assento para um conjunto de assento no console de usuário, representações de interface gráfica favoritas, etc.

[0096] Em uma outra variação, um ou mais sensores podem ser configurados para determinar o alinhamento ou posicionamento adequados da face do usuário com o alojamento, conjuntos oculares ou outra parte adequada da tela imersiva. Por exemplo, tal sensor pode ser um sensor óptico configurado para executar o rastreamento dos olhos, sendo que o controlador analisa o olhar do usuário para determinar se os olhos do usuário estão em um local ideal em relação aos conjuntos de olhos. Se o posicionamento adequado (por exemplo, a distância a partir dos conjuntos olhos e/ou o alinhamento lateral) é determinado, então o controlador pode possibilitar a operação do sistema cirúrgico robótico. Se não houver indicação de que os olhos do usuário estão adequadamente posicionados, a tela imersiva e/ou outros componentes de um console de usuário podem permanecer desativados, ociosos ou, de outro modo, não responsivos se o usuário tentar operar o sistema cirúrgico robótico. Adicional ou alternativamente, se houver um posicionamento inadequado, então a tela imersiva pode ajustar automaticamente (por exemplo, atuar o braço de suporte para mover o alojamento em uma quantidade incremental para compensar o desalinhamento) e/ou fornecer uma indicação ao usuário para ajustar sua posição em relação à tela imersiva. Outros sensores podem, adicional ou alternativamente, ser incluídos sobre ou no alojamento, como sensores de pressão, distância ou temperatura, etc. (por exemplo, em um lado voltado para o usuário da estrutura de face), sendo que os mesmos fornecem uma indicação da presença e/ou posição do usuário em relação à tela imersiva. Esses outros tipos de sensores podem, por exemplo, ser adicionalmente utilizados para fornecer redundância com os sensores de rastreamento de olhos para propósitos de segurança.

[0097] Em algumas variações, um modo de configuração pode ser caracterizado por um ajuste da distância interpupilar (DIP) entre os dois conjuntos oculares para acomodar faixas antropométricas entre diferentes usuários. O controlador pode executar tal ajuste automaticamente, como pelo uso de rastreamento dos olhos para determinar a DIP do usuário e atuar os conjuntos oculares para mais perto ou mais longe até que as DIP entre os conjuntos oculares sejam aproximadamente coincidentes. Adicional ou alternativamente, o ajuste da DIP pode ser manual, como com uma disposição engrenada controlada por um botão ou chave eletrônica. Em uma variação, a distância DIP para um usuário específico pode ser armazenada na memória e associada a um perfil de usuário em uma base de dados como parte das definições e preferências do usuário, de modo que em um momento subsequente, quando o usuário é identificado ou faz login como um usuário da tela imersiva, o controlador pode recuperar o perfil do usuário e ajustar automaticamente a DIP entre os dispositivos oculares para corresponder à DIP do usuário. Algumas ou todas essas configurações e preferências do usuário podem, adicional ou alternativamente, ser determinadas com base no reconhecimento do código de íris aplicado ao usuário.

[0098] Em ainda outras variações, um modo de configuração pode ser caracterizado por um ajuste de outras configurações de tela imersiva de acordo com as configurações e preferências do usuário armazenadas no perfil do usuário. Por exemplo, após identificar o usuário e recuperar o perfil do usuário de uma base de dados de perfis de usuário armazenados, o controlador pode ajustar o braço de suporte para uma configuração preferencial (por exemplo, configuração do braço de suporte do lado esquerdo ou lado direito em relação ao usuário, posição do braço de suporte e do alojamento, etc.).

[0099] Após a tela imersiva ser configurada para um usuário, a tela imersiva apresenta informações ao usuário relacionadas ao sistema cirúrgico robótico. Adicionalmente, ao menos um sensor (por exemplo, os sensores de rastreamento dos olhos para acompanhar o olhar do usuário, e/ou sensores de pressão ou outros sensores incluídos no alojamento, etc.) pode ser configurado para detectar um gesto de cabeça do usuário, e o controlador pode interpretar os gestos da cabeça do usuário e responder aos gestos de cabeça interpretados de acordo com a interpretação dos gestos da cabeça do usuário. Outros sensores, como o rastreamento dos olhos, podem indicar outras intenções do usuário.

[00100] Em algumas variações, em resposta a um gesto de cabeça detectado do usuário, o braço de suporte pode ser configurado para mover o alojamento para rastrear o gesto de cabeça, de modo que, quando o usuário se reposiciona enquanto engatado ao alojamento da tela imersiva, o braço de suporte atua o alojamento para se mover de maneira correspondente a fim de manter o engate. Por exemplo, se o usuário se reclinar em seu assento ou virar sua cabeça para a esquerda ou para a direita, então o braço de suporte pode atuar o alojamento para seguir a cabeça do usuário como se o alojamento estivesse acoplado diretamente à cabeça do usuário com correias ou similares. Esse rastreamento de gestos de cabeça possibilita que o usuário ajuste sua postura sem ter que se desengatar da tela imersiva, de modo que o usuário pode ser capaz de ajustar sua postura mais frequentemente, melhorando, assim, as qualidades ergonômicas do sistema. O controlador pode distinguir entre um movimento da cabeça relacionado ao ajuste postural de um gesto de cabeça relacionado ao desengate intencional baseado em parâmetros como quantidade e/ou velocidade do movimento (por exemplo, um gesto de cabeça relativamente significativo e rápido pode ser interpretado como um desengate intencional da tela imersiva). Quando o controlador determina que o usuário deseja se desengatar da tela imersiva (por exemplo, para visualizar a tela aberta, para fazer uma pausa, etc.), o braço de suporte pode se abster de rastrear o gesto de cabeça e possibilitar que o usuário se separe da tela imersiva.

[00101] A tela imersiva também pode usar qualquer um dos sensores descritos acima (por exemplo, sensores de pressão, sensores de distância, sensores de contato, sensores de chave, sensores de rastreamento dos olhos, etc.) para monitorar os gestos da cabeça destinados a alterar os controles nos sistemas, modificar a exibição, ajustar as configurações do alojamento ou do braço de suporte, outras operações do sistema cirúrgico robótico, etc. Por exemplo, um rápido aceno de cabeça do usuário para cima pode resultar na seleção de um modo de "janela virtual" que altera a visualização exibida na tela imersiva para suprimento de vídeo a partir de câmeras voltadas para fora. Como outro exemplo, um leve giro da cabeça do usuário para a esquerda ou direita e/ou um olhar prolongado para um ícone exibido podem possibilitar a navegação (passagem através das telas de interface gráfica, seleção de ícones, etc.) através de uma interface gráfica exibida na tela imersiva ou em outra tela. Como ainda outro exemplo, outra combinação de uma ou mais interações do usuário detectadas pela tela imersiva (gestos de cabeça, rastreamento dos olhos, etc.) pode possibilitar a alternância entre o controle de diferentes braços robóticos, como entre um braço robótico usado para manipular uma câmera endoscópica e outro braço robótico usado para manipular uma ferramenta cirúrgica em um modo de "controle da câmera". Como ainda outro exemplo, outra combinação de uma ou mais interações do usuário detectadas pela tela imersiva pode ser usada para alternar entre o uso da tela imersiva como uma tela principal e o uso da tela aberta (por exemplo, a tela 128 mostrada na Figura 1B) como uma tela principal.

[00102] Em algumas variações, os gestos de cabeça direcionais intencionais do usuário (opcionalmente em combinação com uma outra inserção de dados simultânea em outro sensor ou controle que funciona como uma embreagem, como pressionar um pedal ou segurar um cabo com sensores) podem resultar na modificação da visualização da câmera endoscópica que é exibida. Por exemplo, ao ativar simultaneamente uma embreagem, o usuário pode se inclinar para comandar uma ampliação da visualização da câmera, se inclinar para comandar uma diminuição da visualização da câmera, virar sua cabeça para a esquerda ou direita para comandar uma visualização de câmera para a esquerda ou direita ou inclinar sua cabeça para frente ou para trás para comandar uma visualização de câmera inclinada para frente ou para trás. Dessa maneira, um usuário pode, enquanto segura dois dispositivos de interface de usuário de mão, operar simultaneamente ao menos três instrumentos (por exemplo, dois instrumentos controlados por dois dispositivos de interface de usuário de mão segurados por duas mãos do usuário e um instrumento de câmera controlado com os gestos da cabeça do usuário).

[00103] Entretanto, o controlador pode interpretar as informações inseridas pelo usuário a partir de várias combinações de sensores de qualquer maneira adequada para determinar a intenção do usuário. Além disso, a maneira pela qual várias combinações de gestos de cabeça e/ou outras interações de usuário detectadas são mapeadas para comandos de controle específicos pode ser personalizada para diferentes usuários e armazenada como uma preferência do usuário no perfil do usuário, a ser carregada durante a configuração da tela imersiva.

[00104] Além disso, em algumas variações, conforme mostrado na Figura 14, a tela imersiva pode ser configurada para fornecer orientação para manter uma correspondência entre uma relação espacial relativa do alojamento 1420 e a posição das mãos do usuário 1430 e uma relação espacial relativa da câmera do endoscópio 1440 e um instrumento cirúrgico 1450. Quando o usuário é engatado com a tela imersiva, o usuário pode estar visualizando (através de um suprimento de vídeo de câmera endoscópica exibido) no sítio cirúrgico e segurando dispositivos de interface de usuário de mão para instrumentos cirúrgicos controlados remotamente no sítio cirúrgico simultaneamente. Para o usuário manter uma propriocepção suficientemente precisa (por exemplo, um mapeamento espacial substancialmente preciso entre o ambiente imersivo do usuário e o ambiente de sítio cirúrgico real), a posição relativa da cabeça do usuário e das mãos do usuário é, de preferência, substancialmente similar à posição relativa da câmera endoscópica e dos instrumentos cirúrgicos controlados remotamente. Para fornecer uma orientação para manter esta correspondência, a tela imersiva pode, por exemplo, mostrar ao usuário representações gráficas ou ícones sobre onde o usuário deve posicionar suas mãos para a localização e orientação atuais do alojamento. Tais representações gráficas podem ser sobrepostas a uma imagem atual exibida ou podem ser exibidas separadamente (por exemplo, em um modo de calibração). Adicional ou alternativamente, a tela imersiva pode fornecer indicações de áudio ou indicações hápticas para notificar quando a cabeça e as mãos do usuário estão na relação adequada (por exemplo, tons de áudio para sugerir o reajuste das mãos do usuário). Em algumas variações, o controlador pode implementar ajustes corretivos (por exemplo, ajuste da posição da tela imersiva) para ajudar a manter uma correspondência adequada entre a relação espacial relativa do alojamento 1420 e a posição das mãos do usuário 1430 e a relação espacial relativa da câmera do endoscópio 1440 e um instrumento cirúrgico 1450. Além disso, outros algoritmos de acoplamento de movimento, inclinação e/ou retroinformação relacionados à posição de um ou mais componentes de tela imersiva (alojamento, braço de suporte, etc.) em relação a outros componentes do sistema cirúrgico robótico (por exemplo, dispositivos de interface de usuário de mão, controles operados pelos pés, etc.) podem ser incluídos. Tais algoritmos podem, por exemplo, aplicar fatores de coordenação de mãos-olhos ideais em transformações matemáticas para mapear as relações entre os vários componentes.

[00105] Em algumas variações, a tela imersiva pode ser configurada para fornecer uma ou mais indicações visuais ao usuário para reposicionamento de ao menos uma dentre uma posição das mãos do usuário e uma posição dos pés do usuário em relação aos locais-alvo (por exemplo, locais de dispositivos de interface de usuário de mão ou operados pelos pés). Indicações atuadoras de áudio e/ou hápticos (por exemplo, bips ou vibrações na estrutura de face para indicar a colocação posicional confirmada) a partir da tela imersiva podem, adicional ou alternativamente,fornecer tais propósitos. Por exemplo, conforme mostrado na Figura 18A, a tela imersiva pode mostrar representações visuais de uma ou mais posições das mãos (por exemplo, silhuetas 1824) em relação a uma ou mais representações gráficas 1814 (por exemplo, bolhas ou contornos) de um local-alvo, como a localização de uma doca ou local de repouso para dispositivos de interface de usuário de mão. Como outro exemplo, conforme mostrado na Figura 18B, a tela imersiva pode mostrar representações visuais de uma ou mais posições dos pés (por exemplo, silhuetas 1822) em relação a uma ou mais representações gráficas 1814 (por exemplo, bolhas ou contornos) de um local-alvo, como a localização de um pedal. As representações visuais das posições das mãos e/ou dos pés do usuário podem ser derivadas, por exemplo, dos dados de fonte obtidos a partir de câmeras ou sensores 3D, projeções de IV, LIDAR, etc., destinados ao espaço de trabalho do usuário no qual as mãos e os pés do usuário estão presentes. Essas representações visuais e gráficas podem ser sobrepostas a uma imagem exibida primária existente (por exemplo, vista da câmera). Representações visuais e gráficas similares também podem ser usadas para fornecer um lembrete visual ao usuário para encaixar dispositivos de interface de usuário de mão em um local designado específico (por exemplo, em um componente de um console de usuário ou em um local de gancho ou acoplamento designado no braço de suporte e/ou no alojamento da tela imersiva).

[00106] O um ou mais sensores podem, adicional ou alternativamente, ser configurados para detectar a competência de um usuário no conjunto de assento, como para verificar se o usuário que opera o instrumento cirúrgico está suficientemente bem descansado e/ou sóbrio. Por exemplo, pode ser usado um sensor óptico para fazer o rastreamento dos olhos e prever se um usuário está sonolento ou cansado (por exemplo, com base no movimento dos olhos, na taxa de piscadas, etc.). Além disso, um sensor químico (por exemplo, bafômetro) pode ser incluído para verificar a sobriedade à base de traços de etanol e similares. Esses tipos de eventos podem, por exemplo, disparar ao menos um alarme audível/visível, ou outro aviso, e/ou um bloqueio dos controles para proteger o paciente que está sendo submetido a um procedimento cirúrgico.

[00107] Em algumas variações, a tela imersiva pode ser operável em um modo de posicionamento bruto e/ou um modo de posicionamento fino quando for posicionado. Em um modo de posicionamento bruto, o braço de suporte e/ou o alojamento podem ser móveis em um número relativamente alto de graus de liberdade (por exemplo, sem restrições, de modo que todas as juntas do braço de suporte se movem livremente, ou com poucas restrições de movimento, como apenas prevenção de inclinação). Em contrapartida, em um modo de posicionamento fino, o braço de suporte e/ou o alojamento podem ser móveis em um número relativamente baixo de graus de liberdade menor que aquele do modo de posicionamento bruto. Por exemplo, o posicionamento fino pode possibilitar que apenas uma porção das juntas do braço de suporte se mova livremente (por exemplo, para ajustes de inclinação e/ou altura).

[00108] Deve-se compreender que embora a tela imersiva seja aqui descrita com referência específica para controlar um sistema cirúrgico robótico, recursos da tela imersiva (por exemplo, reposicionamento ergonômico) são relevantes para outras aplicações. Por exemplo, o braço de suporte pode ser usado em conjunto com um fone de ouvido de realidade virtual, como para jogos e/ou desenvolvimento de engenharia em um ambiente de realidade virtual. Adicionalmente, para ajudar a reduzir a fadiga do usuário com outras telas montadas na cabeça, como para fins militares, o braço de suporte aqui descrito pode ser usado para ajudar a aliviar a carga e sustentar o peso da tela montada na cabeça através do equilíbrio da gravidade ou da compensação de peso similar, enquanto mantém uma configuração "flutuante" e possibilita que a tela montada na cabeça se mova livremente. Ainda adicionalmente, o alojamento da tela imersiva descrito aqui pode ser removível (ou o braço de suporte pode ser omitido) para usar o alojamento como uma tela montada na cabeça.

[00109] A descrição anteriormente mencionada, para propósitos de explicação, usou uma nomenclatura específica para fornecer um entendimento completo da invenção. Entretanto, ficará evidente para o versado na técnica que detalhes específicos não são necessários a fim de se praticar a invenção. Dessa forma, as descrições anteriormente mencionadas de modalidades específicas da invenção são apresentadas para propósitos de ilustração e descrição. Elas não se destinam a ser exaustivas ou limitar a invenção às formas precisas reveladas; obviamente, muitas modificações e variações são possíveis em vista dos ensinamentos acima. As modalidades foram escolhidas e descritas para melhor explicar os princípios da invenção e suas aplicações práticas e, assim, possibilitam que outros versados na técnica melhor utilizem a invenção e as várias modalidades com várias modificações, conforme adequadas ao uso específico contemplado.

Claims

1. Tela imersiva (200) para uso em um sistema cirúrgico robótico (100), compreendendo: um braço de suporte (210); um alojamento (220) montado no braço de suporte (210) e configurado para engatar a face de um usuário, em que o alojamento (220) é ainda configurado para receber informações para serem mostradas; caracterizada pelo fato de que a tela imersiva (200) compreende ainda: dois conjuntos oculares (230) dispostos no alojamento (220) e configurados para mostrar imagens de uma câmera endoscópica como uma tela tridimensional (3D); e um sensor (224) que faz parte do braço de suporte (210) ou do alojamento (220) e está configurado para monitorizar os gestos da cabeça do usuário, sendo que o sensor habilita a operação do sistema cirúrgico robótico (100), sendo que o braço de suporte (210) é atuável para mover o alojamento (220) e, em resposta à receber uma indicação de um gesto de cabeça intencional para a frente do usuário detectado pelo sensor, 1) o braço de suporte (210) move o alojamento (220) para seguir o gesto de cabeça intencional para a frente, de modo a manter o contacto entre a face do usuário e o alojamento (220) e 2) os dois conjuntos de oculares (230) ficam configurados para apresentar imagens ampliadas da câmera endoscópica de acordo com o gesto de cabeça intencional para a frente; e, em resposta à recepção de uma indicação de um gesto de cabeça intencional para trás do usuário detectado pelo sensor, 1) o braço de suporte (210) move o alojamento (220) para seguir o gesto de cabeça intencional para trás, de modo a manter o engate entre a face do usuário e o alojamento (220) e 2) os dois conjuntos de oculares (230) ficam configurados para apresentar imagens com zoom diminuído da câmera endoscópica de acordo com o gesto de cabeça intencional para trás.

2. Tela imersiva (200), de acordo com a reivindicação 1, caracterizada pelo fato de que o braço de suporte (210) é articulado e compreende uma pluralidade de juntas.

3. Tela imersiva (200), de acordo com a reivindicação 1, caracterizada pelo fato de compreender ainda ao menos uma proteção acoplada ao alojamento (220), sendo que a proteção é móvel entre uma primeira posição na qual a proteção é configurada para obscurecer ao menos uma porção de um campo de visão do usuário e uma segunda posição na qual a proteção é configurada para revelar a porção do campo de visão do usuário.

4. Tela imersiva (200), de acordo com a reivindicação 1, caracterizada pelo fato de que o alojamento (220) é acoplado a uma estrutura de face curvilínea configurada para se engatar à face do usuário.

5. Tela imersiva (200), de acordo com a reivindicação 4, caracterizada pelo fato de que o braço de suporte (210) é acoplado a uma primeira porção do alojamento (220) e a estrutura de face é acoplada a uma segunda porção do alojamento (220) que é móvel em relação à primeira porção do alojamento (220).

6. Tela imersiva (200), de acordo com a reivindicação 1, caracterizada pelo fato de que compreende ainda ao menos uma tela auxiliar acoplada ao alojamento (220).

7. Tela imersiva (200), de acordo com a reivindicação 1, caracterizada pelo fato de que ao menos um dos conjuntos oculares (230) é configurado para mostrar uma imagem estereoscópica do olho esquerdo, e ao menos um dos conjuntos oculares (230) é configurado para mostrar uma imagem estereoscópica do olho direito.

8. Tela imersiva (200), de acordo com a reivindicação 1, caracterizada pelo fato de que o sensor é configurado para identificar o usuário para autorização a fim de que este opere o sistema cirúrgico robótico (100).

9. Tela imersiva (200), de acordo com a reivindicação 1, caracterizada por compreender ainda ao menos um dispositivo de rastreamento acoplado ao alojamento (220) para monitorar a posição do alojamento (220).

10. Tela imersiva (200), de acordo com a reivindicação 1, caracterizada pelo fato de que a tela imersiva (200) é configurada para fornecer orientação para manter uma correspondência entre uma relação espacial relativa dos conjuntos oculares (230) e posições da mão do usuário e uma relação espacial relativa da câmera endoscópica e um instrumento cirúrgico.

11. Tela imersiva (200), de acordo com a reivindicação 1, caracterizada pelo fato de que o braço de suporte (210) se move e os dois conjuntos oculares (230) ficam configurados para mostrar imagens modificadas da câmera endoscópica em resposta à recepção simultânea de 1) uma indicação de um gesto de cabeça intencional do usuário detectado pelo sensor e 2) uma indicação de uma embraiagem ativada pelo usuário.

12. Tela imersiva (200), de acordo com a reivindicação 1, caracterizada pelo fato de que, em resposta à detecção de uma indicação de um gesto intencional de inclinação da cabeça do usuário detectado pelo sensor 1) o braço de suporte (210) move o alojamento (220) para seguir o gesto de cabeça de inclinação intencional, de modo a manter o encaixe entre a face do usuário e o alojamento (220) e 2) , os dois conjuntos de oculares (230) ficam configurados para apresentar imagens inclinadas da câmara endoscópica..

13. Tela imersiva (200), de acordo com a reivindicação 1, caracterizada pelo fato de que, em resposta à recepção de uma indicação de um gesto de cabeça lateral intencional do usuário detectado pelo sensor, 1) o braço de suporte (210) move o alojamento (220) para seguir o gesto de cabeça lateral intencional, de modo a manter o contacto entre a face do usuário e o alojamento (220) e 2) os dois conjuntos de oculares (230) ficam configurada para mostrar imagens de panning a partir da câmera endoscópica.

14. Tela imersiva (200), de acordo com a reivindicação 1, caracterizada pelo fato de que os dois conjuntos de oculares (230) são configurados para mostrar uma interface gráfica de usuário e o sensor é configurado para detectar um gesto de cabeça intencional para a navegação da interface gráfica de usuário.

15. Tela imersiva (200), de acordo com a reivindicação 1, caracterizada pelo fato de que os dois conjuntos de oculares (230) são configurados para mostrar uma representação visual de ao menos uma dentre uma posição das mãos de um usuário e uma posição dos pés do usuário em relação a ao menos uma posição-alvo sobrepostas às imagens da câmera endoscópica.

16. Tela imersiva (200), de acordo com a reivindicação 1, caracterizada pelo fato de que compreende ainda ao menos uma câmera externa acoplada ao alojamento (220), sendo a câmera configurada para fornecer ao menos uma imagem de um ambiente externo ao alojamento (220).