BR102018077046A2

BR102018077046A2 - Uso de realidade aumentada para ajudar na navegação durante procedimentos médicos

Info

Publication number: BR102018077046A2
Application number: BR102018077046-2A
Authority: BR
Inventors: Andres Claudio Altmann; Assaf Goravi; Vadim Gliner; Itzhak Fang; Noam RACHELI; Yoav Pinsky; Itamar Bustan; Jetmir Palushi; Zvi Dekel
Original assignee: Biosense Webster (Israel) Ltd.; Acclarent, Inc.
Priority date: 2017-12-26
Filing date: 2018-12-24
Publication date: 2019-07-16
Also published as: IL263948B; JP2019115664A; EP3505133A1; AU2018286598A1; KR20190078540A; US11058497B2; IL263948A; US20190192232A1; JP7341660B2; MX2019000145A; EP3505133B1; CN109998678A; CA3028502A1; RU2018146115A

Abstract

os médicos que executam procedimentos invasivos precisam de exatidão e de precisão ao trabalhar com ferramentas cirúrgicas. os procedimentos cirúrgicos estão cada vez mais se tornando minimamente invasivos, com médicos que operam com o uso de câmeras para ver o local de cirurgia e direcionam suas ferramentas através de telas oculares ou de vídeo. idealmente, o médico deve ser capaz de executar o procedimento invasivo e simultaneamente observar tanto a imagem em tempo real do paciente e dados adicionais de importância crítica para suas decisões médicas sobre a manipulação da ferramenta cirúrgica e a próxima etapa cirúrgica. o sistema de navegação de realidade aumentada da presente descrição fornece visibilidade de localização de ferramenta para procedimentos invasivos através do uso de sensores de localização incluídos em uma câmera e/ou nas ferramentas usadas durante um procedimento. um sistema de rastreamento de localização determina e monitora os locais das ferramentas e câmera com base nas características dos sinais detectados pelos sensores e exibe sobreposições informacionais em imagens obtidas com uma câmera.

Description

Relatório Descritivo da Patente de Invenção para USO DE REALIDADE AUMENTADA PARA AJUDAR NA NAVEGAÇÃO DURANTE PROCEDIMENTOS MÉDICOS.

ANTECEDENTES DA INVENÇÃO [0001] Em procedimentos cirúrgicos há frequentemente problemas de visibilidade da anatomia. Existem recursos visuais auxiliares que ajudam a ver estruturas anatômicas no interior do corpo. Entretanto, a eficácia desses recursos visuais é limitada devido ao fato de que as estruturas anatômicas são opacas e portanto bloqueiam a visibilidade de outras estruturas anatômicas. A natureza de procedimentos cirúrgicos que envolvem a inserção de uma ou mais ferramentas no corpo humano frequentemente leva à incapacidade de ver exatamente o que está ocorrendo com tais ferramentas. Técnicas aprimoradas para obter visibilidade durante estes procedimentos estão constantemente sendo desenvolvidas.

SUMÁRIO DA INVENÇÃO [0002] É apresentado um método para fornecer uma imagem de realidade aumentada de um indivíduo. O método inclui a obtenção de uma imagem de uma câmera. O método inclui também a detecção da localização da câmera. O método inclui adicionalmente a identificação do campo de visão da câmera com base no local da câmera. O método inclui, também, gerar uma ou mais características de sobreposição correspondentes ao campo de visão. O método inclui adicionalmente criar uma composição (composite) da uma ou mais características de sobreposição com a imagem da câmera para formar uma imagem composta. O método inclui ainda mostrar a imagem composta em um monitor.

[0003] É apresentado um sistema para fornecer uma imagem de realidade aumentada de um indivíduo. O sistema inclui uma estação de trabalho e uma câmera. A estação de trabalho é configurada para

Petição 870190008287, de 25/01/2019, pág. 24/50

2/27 obter uma imagem da câmera, detectar o local da câmera e identificar o campo de visão da câmera com base no local da câmera. A estação de trabalho é configurada também para gerar uma ou mais características de sobreposição que correspondem ao campo de visão. A estação de trabalho é adicionalmente configurada para fazer a composição (composite) da uma ou mais características de sobreposição com a imagem da câmera para formar uma imagem composta e mostrar a imagem composta em um monitor.

[0004] É fornecido também um sistema para fornecer uma exibição de realidade aumentada de um indivíduo. O sistema inclui uma estação de trabalho, um monitor, uma ou mais ferramentas, uma câmera, um endoscópio e uma câmera de endoscópio. A estação de trabalho é configurada para obter uma imagem da câmera e detectar a localização da câmera. A estação de trabalho é configurada também para identificar o campo de visão da câmera com base na localização da câmera. A estação de trabalho é adicionalmente configurada para gerar uma ou mais características de sobreposição correspondentes ao campo de visão da câmera, sendo que a uma ou mais características de sobreposição correspondentes ao campo de visão da câmera são associadas à anatomia do indivíduo ou são associadas à uma ou mais ferramentas. A estação de trabalho é configurada também para criar uma composição (composite) da uma ou mais características de sobreposição correspondentes ao campo de visão da câmera com a imagem da câmera para formar uma imagem composta. A estação de trabalho é configurada adicionalmente para mostrar a imagem composta no monitor.

BREVE DESCRIÇÃO DOS DESENHOS [0005] Uma compreensão mais detalhada pode ser obtida a partir da descrição a seguir, fornecida a título de exemplo, em conjunto com os desenhos em anexo, nos quais:

Petição 870190008287, de 25/01/2019, pág. 25/50

3/27 [0006] a Figura 1 é uma visão geral esquemática de um sistema de rastreamento e navegação de localização de acordo com uma modalidade da presente invenção;

[0007] a Figura 2 ilustra partes de um sistema de rastreamento e navegação de localização exemplificador incluindo ferramentas relacionadas a otorrinolaringologia;

[0008] a Figura 3 ilustra um modelo 3D de uma cabeça para ilustrar o contexto no qual existem características de sobreposição e/ou para mostrar a forma na qual pelo menos algumas das características de sobreposição são geradas, de acordo com um exemplo;

[0009] as Figuras 4A a 4D ilustram imagens de endoscópio exemplificadoras;

[0010] as Figuras 5A e 5B ilustram imagens exemplificadoras que incluem um tipo de característica de sobreposição chamada, na presente invenção, de contornos de elemento anatômico; e [0011] a Figura 6 é um diagrama de fluxo de um método para mostrar uma imagem de realidade aumentada, de acordo com um exemplo.

DESCRIÇÃO DETALHADA [0012] Os médicos que executam procedimentos invasivos precisam de exatidão e precisão para trabalhar com ferramentas cirúrgicas. Os procedimentos cirúrgicos estão cada vez mais se tornando minimamente invasivos, com os médicos usando câmeras para ver o local da cirurgia e para direcionar suas ferramentas por meio de lentes oculares ou de monitores eletrônicos. Idealmente, o médico deve ser capaz de executar o procedimento invasivo e, ao mesmo tempo, observar simultaneamente, e em um único dispositivo de exibição, a imagem em tempo real do paciente e todos os dados adicionais de importância crítica para suas decisões médicas a

Petição 870190008287, de 25/01/2019, pág. 26/50

4/27 manipulação da ferramenta cirúrgica e a próxima etapa cirúrgica. [0013] O sistema de navegação de realidade aumentada da presente descrição fornece visibilidade de localização das ferramentas para procedimentos invasivos através do uso de sensores de localização incluídos em uma câmera e/ou nas ferramentas usadas durante o procedimento. Um sistema de rastreamento de localização determina e monitora os locais das ferramentas e da câmera com base nas características dos sinais detectados pelos sensores (como amplitude ou frequência de sensores eletromagnéticos). Um processo de registro correlaciona um modelo de 3D do paciente (gerado, por exemplo, através de uma varredura médica, como uma tomografia computadorizada (TC)) a pontos reais desse paciente. Dessa forma, a localização das ferramentas e da câmera é rastreada em relação ao local da anatomia do paciente. Essa localização relativa de rastreamento possibilita que as informações relacionadas ao procedimento sejam combinadas com a imagem gerada pela câmera. Por exemplo, como a posição da câmera em relação às ferramentas é conhecida, a localização das ferramentas pode ser mostrada na imagem mesmo quando as ferramentas não estão visíveis para o operador humano por estarem ocluídas pelo tecido do paciente. Essa exibição é feita por meio de técnicas padrão de renderização tridimensional (3D) que renderizam uma imagem de um objeto em relação à posição de uma câmera. Mais especificamente, a posição e a orientação da câmera e das ferramentas são conhecidas em relação à posição de um paciente através da função do sistema de rastreamento. Dessa forma, a posição das ferramentas é conhecida em relação ao campo de visão da câmera. As técnicas padrão de renderização 3D mostram imagens de objetos 3D com base na posição de objetos em relação a uma câmera. Tais técnicas podem ser usadas para renderizar imagens correspondentes às ferramentas

Petição 870190008287, de 25/01/2019, pág. 27/50

5/27 (por exemplo, uma representação gráfica das ferramentas) e técnicas de composição adicionais podem ser usadas para mostrar tais imagens renderizadas sobre a imagem do paciente recebida da câmera. Informações adicionais, como uma visualização das ferramentas, a renderização da anatomia, incluindo a exibição de estruturas tridimensionais da anatomia como uma artéria ou uma rede de vasos sanguíneos, uma rede de nervos, as bordas de um tumor a ser removido identificadas no pré-operatório, ou outras informações, poderiam adicional ou alternativamente ser mostradas em tal imagem composta.

[0014] Uma tecnologia anterior relacionada à presente descrição é o sistema CARTO™, produzido pela Biosense Webster, Inc. (Diamond Bar, Califórnia, EUA). Aspectos do sistema CARTO™ e de outras tecnologias relacionadas podem ser encontrados nas patentes US números 5.391.199, 6.690.963, 6.484.118, 6.239.724, 6.618.612 e 6.332.089, na patente PCT WO 96/05768 e nos pedidos de patentes US 2002/0065455 A1, 2003/0120150 A1 e 2004/0068178 A1, cujos conteúdos estão aqui incorporados a título de referência.

[0015] A Figura 1 é uma visão geral esquemática de um sistema de rastreamento e navegação de localização 100 de acordo com uma modalidade da presente invenção. Conforme mostrado na Figura 1, o sistema compreende uma ou mais ferramentas médicas 10 (por exemplo, cateter, fio-guia, endoscópio ou similares), uma câmera 44, um console 38 que compreende pelo menos uma estação de trabalho 12 que compreende pelo menos um processador 14 e um ou mais dispositivos de exibição 16 (como um monitor ou uma tela de realidade virtual), um canhão de cateter 18, uma almofada de localização 30, uma ferramenta de registro de posição 40 e um acionador de almofada de localização (controlador da AL) 20.

[0016] A estação de trabalho 12 é configurada para se comunicar

Petição 870190008287, de 25/01/2019, pág. 28/50

6/27 através de um link 50 com o controlador da AL 20 para fazer com que o controlador da AL 20 se comunique através do link 54 para acionar geradores de campo que estão na almofada de localização 30. Os geradores de campo emitem sinais de campo (por exemplo, eletromagnético ou outro tipo de campo, como acústico) que são detectados pelos sensores 32. Os sensores 32 geram sinais de resposta em resposta aos sinais de campo. Os sinais de resposta são detectados pelo canhão de cateter 18. O canhão de cateter 18 se comunica com os sensores 32 na(s) ferramenta(s) 10, na câmera 44 e na ferramenta de registro de posição 40 através de enlaces de comunicação 42. Os links de comunicação 42 podem ser links com fio ou sem fio. O canhão de cateter 18 transmite os sinais de resposta ou versões processadas dos sinais de resposta à estação de trabalho 12 através do link 52, que pode ser um link com fio ou sem fio.

[0017] A estação de trabalho 12 determina a posição e a orientação física dos sensores 32 e, portanto, dos objetos aos quais os sensores 32 estão incorporados ou conectados (por exemplo, a câmera 44, a(s) ferramenta(s) 10 e a ferramenta de registro de posição 40) com base nas características dos sinais de resposta. Em um exemplo, os geradores de campo na almofada de localização 30 têm localizações relativas conhecidas. Os sensores 32 recebem sinais de múltiplos geradores de campo. Os sinais recebidos podem ser diferenciados em relação ao tempo (por exemplo, geradores de campo diferentes são acionados em instantes diferentes, de modo que o instante no qual os sensores 32 recebem sinais possa ser correlacionado a diferentes geradores de campo), frequência (por exemplo, diferentes geradores de campo são acionados com sinais de diferentes frequências, de modo que a frequência do sinal recebido pelos sensores 32 identifique geradores de campo individuais) ou em relação a outras características dos sinais gerados pelos geradores de

Petição 870190008287, de 25/01/2019, pág. 29/50

7/27 campo.

[0018] Conforme descrito acima, o canhão de cateter 18 transmite os sinais (ou versões processadas dos sinais) recebidos dos sensores 32 para a estação de trabalho 12 para processamento. A estação de trabalho 12 processa os sinais para determinar a localização dos sensores 32 em relação aos geradores de campo da almofada de localização 30. O processamento que é feito para determinar a localização dos sensores 32 depende do tipo de sinal emitido pelos geradores de campo. Em alguns exemplos, o processamento determina a amplitude dos sinais recebidos em resposta a cada um dos geradores de campo. Uma amplitude maior indica uma distância menor até o gerador de campo e uma amplitude menor indica uma distância maior até o gerador de campo. Com determinações das distâncias de múltiplos geradores de campo por sensor 32 (por exemplo, 3), o local em relação aos geradores de campo pode ser determinado através de triangulação. Alternativamente, os geradores de campo da almofada de localização 30 são sensores e os sensores das ferramentas são geradores de campo. Em tal alternativa, os sensores da almofada de localização 30 detectam sinais emitidos pelas ferramentas e a estação de trabalho 12 processa esses sinais de modo similar como se a almofada de localização 30 tivesse os geradores de campo e as ferramentas tivessem os sensores. Alternativamente, qualquer processo tecnicamente exequível para determinar a localização com base em respostas a sinais pode ser usado. Além disso, embora seja descrito um sistema específico para determinar a localização das ferramentas, qualquer meio tecnicamente exequível para determinar a localização das ferramentas pode ser usado.

[0019] Conforme descrito acima, o sistema 100 inclui também uma ferramenta de registro de posição 40 que pode estar sob a forma de

Petição 870190008287, de 25/01/2019, pág. 30/50

8/27 um bastão de mão. A ferramenta de registro de posição 40 é usada para correlacionar um modelo tridimensional, que é armazenado como dados de modelo 48, com as localizações dos geradores de campo na almofada de localização em um procedimento de registro. Em um exemplo, o modelo 3D dos dados de modelo 48 é uma representação de dados computacionais do objeto da operação (por exemplo, a cabeça 22 de um paciente). Esse modelo 3D pode ser obtido através de técnicas de imageamento médico, como tomografia computadorizada (TC) ou imageamento por ressonância magnética (IRM), ou qualquer outra técnica de imageamento que produza dados que possam ser convertidos em um modelo 3D. Para executar o procedimento de registro, a ferramenta de registro de posição 40 é colocada em um local específico na vizinhança do objeto da operação (por exemplo, a cabeça 22). A estação de trabalho 12 então associa aquela posição a uma posição do modelo 3D armazenado nos dados de modelo 48 correlacionando, dessa forma, um ponto do modelo 3D com um ponto da realidade. Essa associação pode ser feita em resposta a uma indicação específica por um operador, por exemplo um cirurgião. Em tal cenário, a estação de trabalho 12 mostra o modelo 3D dos dados de modelo 48 no monitor 16. O operador move a ferramenta de registro de posição 40 para um local específico e indica à estação de trabalho 12 o local correspondente no modelo 3D por meio do dispositivo de entrada 36. Em um cenário alternativo, a estação de trabalho 12 associa automaticamente locais do espaço real com locais do modelo 3D. Em um exemplo, essa associação automática é feita da forma a seguir. A posição da ferramenta de registro de posição 40 é movida nas proximidades do objeto da operação (por exemplo, a cabeça 22). A estação de trabalho 12 processa os dados recebidos da ferramenta de registro de posição 40 para identificar a localização correspondente no modelo 3D. Em um

Petição 870190008287, de 25/01/2019, pág. 31/50

9/27 exemplo, a ferramenta de registro de posição 40 inclui uma câmera e a estação de trabalho 12 executa o processamento das imagens recebidas com a ferramenta de registro de posição 40 para identificar a localização da ferramenta de registro de posição 40 no modelo 3D. Em alguns exemplos, múltiplos pontos de correlação entre o espaço real e o modelo 3D são obtidos e armazenados para melhorar a exatidão do registro e para obter registro rotacional e posicional. Embora a ferramenta de registro de posição 40 seja descrita como a ferramenta usada para a obtenção do registro de posições entre o espaço real e o modelo 3D, qualquer outra ferramenta, inclusive ferramentas usadas para outros propósitos (como a câmera 44 ou qualquer das ferramentas 10) pode alternativamente ser usada.

[0020] A câmera 44 fornece uma imagem no monitor 16 para um operador. Essa imagem inclui tanto uma imagem real do objeto da operação (representado pela cabeça 22). Mais especificamente, a câmera 44 captura uma série de imagens do objeto da operação (cabeça 22) e mostra essas imagens no monitor 16.

[0021] Além disso, a estação de trabalho 12 pode sobrepor características específicas nas imagens fornecidas pela câmera 44. Mais especificamente, a câmera 44 inclui um sensor de localização 32 que, em conjunto com a almofada de localização 30 (ou alternativamente em conjunto com algum outro mecanismo) coopera com o canhão de cateter 18 para fornecer um sinal a partir do qual a posição e a orientação da câmera 44 podem ser fornecidas à estação de trabalho 12. Essas informações de posição podem ser derivadas de forma similar à descrita acima em relação à cooperação da almofada de localização 30 e dos sensores 32 das ferramentas 10 com a ferramenta de registro de posição 40. A rotação da câmera 44 pode ser detectada de qualquer maneira tecnicamente exequível. Em um exemplo, múltiplos micro-sensores diferentes são incluídos no sensor

Petição 870190008287, de 25/01/2019, pág. 32/50

10/27 da câmera 44, e as medições relativas feitas com os diferentes micro-sensores são usadas para determinar a rotação da câmera 44. [0022] A estação de trabalho 12 usa as informações de posição e rotação obtidas para a câmera 44 para fornecer uma ou mais características de sobreposição no monitor 16, e as características de sobreposição são combinadas com a imagem gerada pela câmera. Mais especificamente, com base na posição e na orientação da câmera 44, a estação de trabalho 12 pode localizar um ou mais objetos virtuais (por exemplo, etiquetas anatômicas) no espaço tridimensional do modelo 3D dos dados de modelo 48. Devido à conexão entre o espaço 3D do modelo 3D com o sistema de coordenadas da realidade (feita através do procedimento de registro de posição), objetos virtuais (também chamados na presente invenção de características de sobreposição) vinculados ao espaço 3D do modelo 3D podem ser mostrados na imagem obtida com a câmera. [0023] Técnicas de imageamento 3D tradicionais podem ser usadas para mostrar algumas dessas características de sobreposição na imagem obtida com a câmera. Em um exemplo simples, a estação de trabalho 12 tem a posição da câmera 44 no espaço real e fez a correlação entre a geometria de um modelo 3D e o espaço real através do procedimento de registro descrito acima. Dessa forma, a estação de trabalho 12 conhece a posição relativa do modelo 3D e da câmera 44 no sistema de coordenadas do espaço real. Técnicas de renderização 3D tradicionais, como aquelas implementadas em placas gráficas de renderização 3D padrão comercialmente disponíveis (como as placas da série GeForce disponíveis junto à Nvidia Corporation de Santa Clara, CA (EUA) ou da série Radeon disponíveis junto à Advanced Micro Devices, Inc., de Sunnyvale, CA (EUA)) podem desenhar objetos tridimensionais em um espaço da tela a partir das posições dos objetos em um sistema de coordenadas e da posição da

Petição 870190008287, de 25/01/2019, pág. 33/50

11/27 câmera nesse sistema de coordenadas. Tais técnicas poderiam ser usadas para renderizar o modelo 3D do modelo de dados 48 no espaço da tela mostrado no monitor 16. Em alguns modos de operação, a estação de trabalho 12 renderiza o modelo 3D dos dados de modelo 48 e/ou de outras características de sobreposição, discutidas abaixo, sobre a imagem fornecida pela câmera 44. Dessa forma, em tais modos de operação, a estação de trabalho 12 produz uma imagem que inclui uma sobreposição baseada no modelo 3D, composta (composite) com a imagem gerada pela câmera 44. Em alguns modos de operação, a estação de trabalho 12 mostra nenhuma parte, algumas partes ou todas as partes do modelo 3D, e nenhuma ou algumas outras características de sobreposição. As características de sobreposição incluem informações relacionadas a um procedimento executado no objeto da operação (por exemplo, a cabeça 22) e/ou relacionadas à anatomia do objeto da operação. As características de sobreposição incluem etiquetas geradas pelo usuário (por exemplo, o cirurgião) para marcar locais específicos no espaço tridimensional do objeto da operação. As características de sobreposição alternativa ou adicionalmente incluem características geradas por computador que são geradas com base na análise da imagem obtida por meio da câmera 44. As características de sobreposição poderiam incluir quaisquer outros dados que possam ser mostrados no monitor 16 e que fornecem informações relacionadas a um procedimento executado no objeto da operação ou a qualquer outro aspecto do uso do sistema 100. Em um exemplo, as características de sobreposição incluem marcadores predefinidos por um cirurgião como pontos de interesse, por exemplo uma identificação da anatomia, como texto especificamente definido ou como qualquer outro recurso.

[0024] Em outro exemplo, as características de sobreposição incluem representações gráficas de uma ou mais ferramentas 10. Mais

Petição 870190008287, de 25/01/2019, pág. 34/50

12/27 especificamente, a estação de trabalho 12 tem a localização dos sensores 32 das ferramentas em relação à câmera 44. A estação de trabalho 12 pode usar técnicas similares, conforme discutido acima, para renderizar uma representação gráfica das ferramentas na imagem gerada pela câmera 44. A maneira pela qual as representações gráficas são renderizadas pode depender da orientação (por exemplo, rotação) das ferramentas 10 e da localização das ferramentas 10, de modo que o médico compreenda a posição da geometria das ferramentas 10 em relação à anatomia do paciente. [0025] O monitor 16 pode ser um monitor tradicional ou pode ser óculos de realidade virtual. Os óculos de realidade virtual podem ter blindagem adequada, como uma blindagem contra raios X feita de chumbo, se o procedimento envolver um imageamento adequado para tal blindagem. O monitor 16 pode ser também um monitor remoto (isto é, um monitor remotamente situado em relação ao paciente) que poderia facilitar a cirurgia remota juntamente com as ferramentas remotamente controladas 10.

[0026] Detalhes adicionais do sistema 100 serão agora descritos em relação às figuras restantes. Essas figuras adicionais ilustram aspectos do sistema 100 no contexto de um procedimento de otorrinolaringologia, embora se deva compreender que os princípios gerais descritos podem ser usados em outras áreas do corpo humano. [0027] A Figura 2 ilustra partes de um sistema de rastreamento e navegação de localização exemplificador 200 incluindo ferramentas relacionadas a otorrinolaringologia. O sistema 200 é um exemplo do sistema 100 no qual uma das ferramentas 10 é um endoscópio 202. O sistema de rastreamento e navegação de localização 200 inclui um monitor 16 que é similar ao monitor 16 da Figura 1 e uma estação de trabalho 12 similar à estação de trabalho 12 da Figura 1. O sistema de rastreamento e navegação de localização 200 inclui também outros

Petição 870190008287, de 25/01/2019, pág. 35/50

13/27 elementos do sistema 100 da Figura 1, ainda que tais elementos não sejam mostrados na Figura 2. Embora o sistema 200 seja descrito como incluindo tanto o endoscópio 202 quanto a câmera 44, é possível usar apenas um endoscópio 202 sem a câmera 44.

[0028] Uma das ferramentas 10 da Figura 2 é um endoscópio 202, que inclui uma sonda 206 que obtém uma imagem em uma extremidade distal 208 e fornece essa imagem a uma câmera 204 conectada ao endoscópio 202. A câmera 204 transmite a imagem à estação de trabalho 12, que processa a imagem para exibição. A estação de trabalho 12 pode mostrar a imagem obtida com a câmera 204 integrada no endoscópio 202 no mesmo monitor em que a imagem obtida com a câmera 44 ilustrada na Figura 1 é mostrada (por exemplo, o monitor 16) ou pode mostrar a imagem em um monitor do endoscópio separado 205. Se a imagem for mostrada no monitor 16, a estação de trabalho 12 executa operações para que o monitor 16 possa ser compartilhado entre a câmera 204 e a câmera 44. Em um exemplo, o monitor 16 é comutado entre mostrar a imagem da câmera 44 e a imagem da câmera 204 em resposta a uma ação do operador. Por exemplo, quando a câmera 204 está desligada, o monitor 16 pode mostrar a imagem da câmera 44 e quando a câmera 204 é ligada, o monitor 16 pode mostrar a imagem da câmera 204. Alternativamente, a seleção entre a câmera 44 e a câmera 204 pode ocorrer em resposta a uma ação explícita de seleção da câmera que seleciona explicitamente qual a câmera cuja imagem será mostrada. Se o monitor do endoscópio 205 for usado para mostrar a imagem da câmera 204 do endoscópio 202, então não haverá disputa entre os monitores - o monitor 16 mostra a imagem da câmera 44 e o monitor do endoscópio 205 mostra a imagem da câmera 204 do endoscópio 202. A imagem gerada pela câmera 44 da Figura 1 incluindo as características de sobreposição é a imagem de visão geral 210

Petição 870190008287, de 25/01/2019, pág. 36/50

14/27 (mostrada no monitor 16).

[0029] Assim como com a câmera 44, a estação de trabalho 12 obtém a imagem da câmera 204, que é obtida pelo endoscópio 202, e mostra aquela imagem no monitor juntamente com as características de sobreposição do endoscópio. As características de sobreposição do endoscópio incluem informações relevantes para um procedimento que está sendo executado e/ou para a anatomia do objeto da operação (por exemplo, a cabeça 22). Além disso, como no sistema 100, uma ou mais ferramentas 10 (por exemplo, ferramentas cirúrgicas) podem estar presentes nas proximidades do objeto da operação (por exemplo, a cabeça 22). A Figura 2 ilustra uma ferramenta 10 que tem um sensor 32. Além disso, na extremidade da sonda 206 do endoscópio 202 há um sensor 32. A estação de trabalho 12, em conjunto com a almofada de localização 30 e o controlador 20 da almofada de localização, detecta a localização e a orientação dos sensores 32 e, portanto, a localização e a orientação das ferramentas 10 e da sonda do endoscópio 206. Deve-se compreender que a Figura 2 ilustra uma implementação exemplificadora e que qualquer quantidade de ferramentas 10, cada uma com sensores 32, pode ser usada em um procedimento. A imagem gerada pela câmera 204, incluindo as características de sobreposição do endoscópio, compreende a imagem do endoscópio 212 que, novamente, pode ser mostrada no monitor 16 ou no monitor do endoscópio 205.

[0030] As características de sobreposição do endoscópio incluem indicações de localização de ferramentas (como a ferramenta 10 mostrada, ou outras ferramentas), indicações de localizações ou posições de anatomia, ou outras indicações relacionadas ao procedimento ou à anatomia. Em alguns modos de operação, a estação de trabalho 12 processa os dados de localização gerados com base nos sensores 32 e usa estes dados de localização para gerar

Petição 870190008287, de 25/01/2019, pág. 37/50

15/27 características de sobreposição na imagem do endoscópio 212. Tais características de sobreposição incluem uma imagem visual que indica a posição e a orientação da ferramenta 10. Como no processamento descrito com referência à Figura 1, a estação de trabalho 12 usa as posições dos sensores 32, determinadas com o uso da almofada de localização 30, e a localização e a orientação da extremidade distal 208 da sonda do endoscópio 206, também determinadas usando a almofada de localização 30, para determinar os locais e os formatos das características de sobreposição na imagem do endoscópio 212. Conforme descrito com relação à Figura 1, os algoritmos de renderização tridimensional padrão são capazes de gerar uma imagem a partir da posição e da orientação de uma câmera e da posição e da orientação de um objeto. A estação de trabalho 12, usando tais algoritmos, é capaz de gerar uma imagem para as características de sobreposição corresponde a diferentes ferramentas com base na posição das ferramentas 10 em relação à extremidade distal 208 da sonda do endoscópio 206. O sensor 32 na sonda do endoscópio 206 é posicionado em um local conhecido em relação à extremidade distal 208 da sonda do endoscópio 206 de modo que a localização da extremidade distal 208 da sonda do endoscópio 206 pode ser derivada dos dados de localização tomados do sensor 32 na sonda do endoscópio 206.

[0031] Em adição às localizações e orientação da ferramenta, em alguns modos de operação, as características de sobreposição mostradas pela estação de trabalho 12 na imagem do endoscópio 212 incluem também texto e marcadores gráficos relacionados à anatomia. A Figura 3 ilustra um modelo 3D 300 de uma cabeça, para os propósitos de ilustrar o contexto no qual existem características de sobreposição e/ou para mostrar a forma através da qual pelo menos algumas das características de sobreposição são geradas, de acordo

Petição 870190008287, de 25/01/2019, pág. 38/50

16/27 com um exemplo. O modelo 3D 300 pode ser obtido através de técnicas de imageamento médico padrão, como tomografia computadorizada ou ressonância magnética, e conversão dos dados obtidos através dessas técnicas em um modelo tridimensional com o uso de técnicas conhecidas. Tal varredura poderia ocorrer antes de qualquer procedimento que usa o sistema 100 da Figura 1 ou o sistema da Figura 2. Para propósitos de simplicidade e clareza, apenas algumas estruturas anatômicas são mostradas no modelo 3D 300. Entretanto, deve-se compreender que um modelo 3D usado para um procedimento médico e gerado com base em uma varredura pode refletir substancialmente todas as estruturas anatômicas de um indivíduo.

[0032] Em alguns modos de operação, pelo menos algumas das características de sobreposição compostas com a imagem do endoscópio 212 são baseadas em marcadores 302 inseridos por um operador humano. Mais especificamente, antes do procedimento, seria gerado um modelo 3D do indivíduo com base, por exemplo, em uma varredura médica. Subsequentemente, um operador humano, como um cirurgião, veria o modelo 3D e faria a inserção de marcadores 302 no sistema de coordenadas tridimensionais do modelo 3D. Qualquer interface de usuário poderia ser usada para possibilitar que o operador humano insira os marcadores 302. Alguns exemplos desses marcadores 302 são ilustrados na Figura 3. O marcador 302(1) está associado ao óstio do seio maxilar e o marcador 302 (2) está associado ao óstio do seio esfenoide. Outros marcadores 302 poderiam também estar presentes no modelo 3D.

[0033] Nota-se que o sistema de computador no qual os marcadores 302 são inseridos no modelo 3D não precisa ser a estação de trabalho 12. Em outras palavras, um modelo 3D pode ser analisado e manipulado (com a adição de marcadores 302) por um

Petição 870190008287, de 25/01/2019, pág. 39/50

17/27 operador humano em um sistema de computador que é diferente do sistema de computador (estação de trabalho 12) que gera as imagens (imagem de visão geral 210 e imagem do endoscópio 212) para visualização pelo operador humano durante um procedimento. Por essa razão, embora às vezes seja afirmado na presente invenção que a estação de trabalho 12 executa certas tarefas relacionadas à adição de marcadores 302 ao modelo 3D ou à execução de outras tarefas relativas à adição, remoção, edição ou outras formas de manipulação de dados para características de sobreposição, deve-se compreender que tais ações poderiam alternativamente ser executadas com um sistema de computador diferente.

[0034] Em alguns modos de operação, a estação de trabalho 12 gera marcadores automaticamente. Alguns marcadores podem ser adicionados com base em uma análise do modelo 3D 300 e com base em informações bem conhecidas sobre a anatomia. Por exemplo, a estação de trabalho 12 poderia gerar um marcador 302 para uma ou mais estruturas anatômicas específicas com base em um modelo tridimensional de modelo que compreende um modelo tridimensional genérico de uma cabeça humana e com base em análise adicional, por exemplo uma comparação entre um modelo 3D da área do corpo humano que está sendo operada e o gabarito de modelo. Em alguns exemplos, os marcadores 302 são gerados tanto automaticamente quanto por ação humana. Mais especificamente, a estação de trabalho 12 gera marcadores automaticamente e um ser humano ajusta a posição desses marcadores. Alternativamente, a estação de trabalho 12 apresenta uma lista de pontos de referência anatômicos para os quais os marcadores 302 podem ser automaticamente gerados pela estação de trabalho 12. Em resposta, o operador humano seleciona um ou mais desses pontos de referência e a estação de trabalho 12 gera marcadores 302 com base nesses pontos de referência

Petição 870190008287, de 25/01/2019, pág. 40/50

18/27 selecionados. O operador humano pode subsequentemente ajustar a posição desses marcadores com base na estrutura real da cabeça do indivíduo. Quaisquer outros meios tecnicamente viáveis para gerar tais marcadores 302 também são possíveis. Os marcadores 302 podem incluir também texto adicionado pelo operador humano. Esses marcadores com texto podem ser gerados durante a inserção dos próprios marcadores 302. Por exemplo, quando o operador humano seleciona um ponto em um modelo 3D como sendo um marcador 302, o operador humano pode também inserir uma etiqueta de texto.

[0035] Algumas características de sobreposição, como ao menos alguns dos marcadores 302, são mostradas durante um procedimento em uma ou em ambas dentre a imagem de visão geral 210 e a imagem do endoscópio 212. Conforme descrito acima, uma vez que a estação de trabalho 12 sabe onde a câmera 44 está, onde a extremidade distal 208 da sonda do endoscópio 206 está e onde a anatomia do indivíduo está, com base no procedimento de registro, a estação de trabalho 12 é capaz de renderizar indicadores de um ou mais dos marcadores sensores 302.

[0036] As Figuras 4A a 4C ilustram exemplos de imagens do endoscópio 212. Na imagem 400(1), a sonda do endoscópio 206 está inserida na cavidade nasal e apontada em direção ao óstio do seio maxilar, que é portanto visível na imagem 400(1). O modelo 3D inclui um marcador 302 no óstio do seio maxilar. A partir da análise da posição do marcador 302 em comparação com a posição da extremidade distal 208 da sonda do endoscópio 206, a estação de trabalho 12 determina que o marcador 302(1) está dentro do campo de visão da câmera do endoscópio 204. Em resposta, a estação de trabalho 12 mostra uma característica de sobreposição 404(1) associada ao marcador 302 na imagem do endoscópio 212. Na imagem 400(1), a característica de sobreposição inclui uma seta

Petição 870190008287, de 25/01/2019, pág. 41/50

19/27

406(1) e um texto 408(1), entretanto a sobreposição poderia incluir outros recursos gráficos em outras implementações. As características gráficas da sobreposição são configuradas para indicar a localização do marcador 302. Na imagem 400(1), essa indicação é feita pela seta 406 que se estende a partir do local aproximado do marcador 302 até o texto 408 associado ao marcador 302. Outros modos de operação poderiam incluir diferentes tipos de gráficos configurados para ilustrar a localização do marcador 302 de maneiras diferentes.

[0037] Na configuração na qual a localização do marcador 302 é indicada com uma seta 406 e um texto 408, a estação de trabalho 12 é configurada para escolher um local adequado para o texto 408 e então traçar uma seta 406 do local correspondente ao marcador 302 até o local escolhido para o texto 408. Qualquer meio tecnicamente exequível para analisar uma imagem e determinar um local adequado para o texto poderia ser usado. O termo adequado significa, de modo geral, que o texto 408 é legível. Em um exemplo, uma porção da imagem 404 que tem uma cor aproximadamente uniforme é escolhida para o texto. Em um exemplo, a cor aproximadamente uniforme é determinada com base na variância dos valores de cor médios dos pixels de uma área. Quanto mais alta a variância, menos uniforme a área é. Em um exemplo, uma área com variância abaixo de um limiar específico indica que a área é adequada para texto. Deve-se notar que as técnicas descritas acima representam alguns exemplos de técnicas para mostrar uma sobreposição e que qualquer meio tecnicamente exequível para mostrar um recurso que identifica a localização de um marcador 302 poderia ser usado.

[0038] As Figuras 4B e 4C ilustram outros exemplos de imagens 400 em outros locais. Especificamente, a imagem 400(2) representa uma vista tomada pelo endoscópio 202 com a sonda do endoscópio 206 inserida na cavidade nasal e apontada para o óstio do seio

Petição 870190008287, de 25/01/2019, pág. 42/50

20/27 esfenoide. Com base no marcador 302(2), a estação de trabalho 12 gera o texto 408(2) e a seta 406(2) de maneira similar àquela descrita com relação à Figura 4A. A imagem 400(3) representa uma vista tomada pelo endoscópio 202 com a sonda do endoscópio 206 inserida na cavidade nasal e apontada para um pólipo nasal. Assim como com nas imagens 400(1) e 400(2), a estação de trabalho 12 gera a imagem 400(3) com base nos dados de posição dos sensores 32, com base no modelo 3D e com base nos marcadores 302.

[0039] A Figura 4D ilustra um outro exemplo de imagem 400(4). Especificamente, a imagem 400(4) representa uma vista tomada pelo endoscópio 202 com a sonda do endoscópio 206 inserida na cavidade nasal e apontada para um pólipo nasal. Com base no marcador 302(4), a estação de trabalho 12 gera o texto 408(4) e a seta 406(4). Além disso, a estação de trabalho 12 tem informações indicativas do formato e da localização de um vaso sanguíneo 460. A estação de trabalho 12 determina que o vaso sanguíneo está dentro do campo de visão correspondente à imagem tomada pelo endoscópio 202 e, portanto, mostra uma representação gráfica do vaso sanguíneo 460 na imagem 400(4). Isso possibilita que um médico evite o vaso sanguíneo 460 durante um procedimento.

[0040] As Figuras 5A e 5B ilustram exemplos de imagens 500 que incluem um tipo de característica de sobreposição chamada de contornos de elemento anatômico na presente invenção. Esses contornos de elementos anatômicos 502 são gerados automaticamente pela estação de trabalho 12 e são usados para indicar a localização de certos elementos anatômicos. A imagem 500(1) ilustra uma seta 406(4) e um texto 408(4), bem como um contorno 502(1). O contorno 502(1) é gerado automaticamente pela estação de trabalho 12 por meio de processamento de imagens, potencialmente em combinação com as informações posicionais

Petição 870190008287, de 25/01/2019, pág. 43/50

21/27 recebidas dos sensores 32 e com as informações de modelo 3D armazenadas nos dados de modelo 48.

[0041] A estação de trabalho 12 poderia usar quaisquer meios tecnicamente exequíveis para identificar o contorno geométrico de elementos anatômicos específicos de interesse. Em um exemplo, um gabarito de modelo ideal ou de referência é comparado com o modelo 3D obtido a partir de um modelo de varredura real de um objeto da operação. Elementos anatômicos conhecidos são identificados no modelo 3D com base em comparações posicionais entre a geometria do modelo 3D e o gabarito de modelo. Em outro exemplo, após uma varredura para gerar um modelo 3D, um operador humano observa o modelo 3D e identifica estruturas anatômicas de interesse de modo similar ao da geração dos marcadores 302.

[0042] Durante um procedimento, a estação de trabalho 12 processa a imagem obtida com a câmera do endoscópio 204 para identificar pixels da imagem associados a estruturas anatômicas identificadas particulares. Em alguns exemplos, diferentes estruturas anatômicas são reconhecidas com diferentes técnicas de processamento de imagem. Em uma técnica, a estação de trabalho 12 identifica uma área escura em uma imagem luminosa (levando em consideração vinhetas de luz ou da câmera) como a de um óstio. A estação de trabalho 12 determina qual óstio é identificado com base na posição e na direção da extremidade distal 208 da sonda do endoscópio 206. Por exemplo, com base na posição dentro do modelo 3D, a estação de trabalho 12 pode ser capaz de determinar que a extremidade distal 208 da sonda do endoscópio 206 está dentro de uma área particular, por exemplo a cavidade nasal, e que o óstio identificado é o óstio do seio maxilar com base na posição da extremidade distal 208 da sonda do endoscópio 206 dentro da cavidade nasal. Em resposta, a estação de trabalho 12 desenha um

Petição 870190008287, de 25/01/2019, pág. 44/50

22/27 contorno ao redor da área escurecida e fornece uma etiqueta que identifica o contorno como correspondente ao óstio do seio maxilar. [0043] Em uma outra técnica, a estação de trabalho 12 identifica uma área de uma cor específica como sendo um tipo específico de estrutura anatômica. Na Figura 5B, uma estrutura que tem uma cor amarelada é identificada como um pólipo nasal com base em sua cor e sua localização. Especificamente, a estação de trabalho 12 determina que a extremidade distal 208 da sonda do endoscópio 206 está dentro da cavidade nasal com base na posição determinada através da interação com o sensor 32 e dessa forma determina que o objeto amarelo na imagem tomada com a câmera 204 do endoscópio é um pólipo nasal.

[0044] Nota-se que, embora certas características de sobreposição sejam aqui descritas, a presente descrição não se limita àquelas características de sobreposição específicas. Outras características de sobreposição que são tecnicamente exequíveis para serem traçadas podem ser mostradas alternativa ou adicionalmente. A maneira pela qual uma característica de sobreposição é mostrada pode ser ajustada em local, forma e/ou formato com base na análise da imagem fornecida pela câmera do endoscópio 204.

[0045] A Figura 6 é um diagrama de fluxo de um método 600 para mostrar uma imagem de realidade aumentada, de acordo com um exemplo. Embora descrito em relação ao sistema descrito em conjunto com as Figuras 1 a 5B, os versados na técnica entenderão que qualquer sistema configurado para executar o método em qualquer ordem tecnicamente exequível das etapas estará no escopo da presente descrição. O método 600 ilustrado pode ser executado para uma ou para ambas a câmera 44 e a câmera do endoscópio 204, ou para qualquer outra câmera incluída no sistema 100. Na discussão da Figura 6, o termo câmera sem um número de referência se refere a

Petição 870190008287, de 25/01/2019, pág. 45/50

23/27 qualquer uma dessas câmeras.

[0046] Conforme mostrado, o método 600 começa na etapa 602, na qual a estação de trabalho 12 detecta o movimento de uma câmera. Este movimento é detectado através da almofada de localização 30, que emite um sinal que é recebido por um ou mais sensores 32 fixados à câmera, conforme descrito acima. Uma detecção de movimento corresponde a uma detecção de que a localização da câmera é diferente da localização imediatamente anterior.

[0047] Na etapa 604, a estação de trabalho 12 determina a localização da câmera. Novamente, essa detecção de local é baseada em sinais recebidos com os sensores 32 em resposta a sinais transmitidos pela almofada de localização 30. Aspectos dos sinais são relacionados a, e portanto podem ser usados para, determinar a localização e a orientação da câmera. Por exemplo, múltiplos emissores dentro na almofada de localização 30 podem emitir diferentes sinais, cada um com diferentes características distintivas (como frequência). Os sensores 32 detectam a amplitude dos sinais de frequências diferentes. A amplitude é associada à distância de cada um dos emissores da almofada de localização 30. Cada emissor tem uma localização conhecida na almofada de localização. Múltiplas distâncias são usadas para fazer a triangulação da posição de um sensor 32. Um sensor 32 pode ter microssensores individuais, cada um recebendo um sinal ligeiramente diferente. As diferenças entre os sinais recebidos pelos microssensores podem ser usadas para determinar a orientação dos sensores 32. Por meio desta análise, são determinados o local e a orientação do sensor 32 em relação à almofada de localização 30. A localização e a orientação da almofada de localização 30 em relação ao indivíduo (por exemplo, a cabeça do paciente) são previamente estabelecidas com base em um

Petição 870190008287, de 25/01/2019, pág. 46/50

24/27 procedimento de registro, no qual um operador, por exemplo um operador humano, move uma ferramenta 10 que tem um sensor 32 ao redor do indivíduo e correlaciona um ou mais pontos no indivíduo a pontos em um modelo 3D do indivíduo, substancialmente conforme descrito acima.

[0048] Na etapa 606, a estação de trabalho 12 determina o campo de visão da câmera. A imagem gerada pela câmera é associada a um campo de visão específico, tanto na imagem real (isto é, na imagem realmente gerada pela câmera) quanto no sistema de coordenadas 3D correspondente ao modelo 3D e às medições do sensor 32. Qualquer sistema de câmera específico tem um campo de visão conhecido, geralmente medido em graus, que é determinado com base em características da lente e do sensor. Um parâmetro adicional associado ao campo de visão é o formato, alguns exemplos do qual são retangular e circular. Como o campo de visão é conhecido com base nas características físicas da câmera e do sensor, a determinação do campo de visão da câmera envolve obter o campo de visão da câmera a partir de dados armazenados, calcular o campo de visão a partir de outros parâmetros conhecidos da câmera, ou identificar o campo de visão através de outras técnicas conhecidas. Qualquer técnica adequada pode ser usada.

[0049] Na etapa 608, a estação de trabalho 12 identifica as características de sobreposição que correspondem ao campo de visão determinado. Conforme descrito acima, as características de sobreposição incluem elementos gráficos associados a locais particulares no espaço 3D do modelo armazenado nos dados de modelo 48. Um dos tipos de característica de sobreposição são os marcadores 302 que são associados a um ponto específico no espaço 3D do modelo. Um outro tipo de característica de sobreposição inclui indicadores gerados automaticamente com base na anatomia, por

Petição 870190008287, de 25/01/2019, pág. 47/50

25/27 exemplo os contornos dos elementos anatômicos 502 das Figuras 5A e 5B. Esta lista de características de sobreposição não deve ser considerada como limitadora. Qualquer tipo de característica ou aspecto relacionado a um procedimento e/ou a uma anatomia poderiam ser identificados para composição e criação da imagem a ser vista (por exemplo, a imagem de visão geral 210 ou a imagem do endoscópio 212).

[0050] Na etapa 610, a estação de trabalho 12 faz a composição (composite) das características de sobreposição com a imagem da câmera e mostra a imagem composta. O monitor no qual a estação de trabalho 12 mostra a imagem positiva pode depender de qual câmera a imagem veio e se alguma outra câmera do sistema 100 está ativa e fornecendo dados de imagem para a estação de trabalho 12 para exibição. Em um exemplo, se tanto a câmera 44 quanto a câmera 204 do endoscópio estiverem ativas e fornecendo imagens para composição, então a estação de trabalho 12 mostra a imagem da câmera 44 no monitor 16 como imagem de visão geral 210 e mostra a imagem da câmera 204 do endoscópio no monitor do endoscópio 205 como imagem do endoscópio 212. Em outro exemplo, se tanto a câmera 44 quanto a câmera do endoscópio 204 estiverem ativas e fornecendo imagens para composição, então ambas as imagens são mostradas no monitor 16, com uma comutação temporizada entre as imagens, ou são mostradas com a seleção da imagem sendo controlada por um operador humano. Em ainda outro exemplo, ambas as imagens são mostradas em um monitor em particular, como o monitor 16 ou o monitor do endoscópio 205. Em tal situação, a imagem particular que é mostrada pode ser controlada por um operador humano. Alternativamente, uma câmera pode ter precedência sobre a outra câmera de modo que, se uma câmera estiver ligada, então o monitor mostra sempre a imagem daquela

Petição 870190008287, de 25/01/2019, pág. 48/50

26/27 câmera e não da outra câmera.

[0051] A composição de características de sobreposição compreende localizar as características de sobreposição identificadas na etapa 608 na imagem associada à câmera e fazer a composição dessas características de sobreposição na imagem recebida da câmera. A composição das características de sobreposição inclui gerar uma representação gráfica das características de sobreposição e mostrar essa representação gráfica junto com a imagem da câmera (por exemplo, sobre a imagem da câmera ou com pixels mesclados com pixels da imagem da câmera). Em relação aos marcadores 302, uma representação gráfica pode incluir uma seta 406 e um texto 408 gerado conforme descrito em relação às Figuras 4A a 4C. Outras características de sobreposição podem incluir os contornos de um elemento anatômico gerados conforme descrito com relação às Figuras 5A e 5B. Algumas características de sobreposição incluem indicações visuais das ferramentas 10. Especificamente, a estação de trabalho 12 conhece a posição da câmera no espaço 3D do modelo e conhece a posição das ferramentas 10 no espaço 3D do modelo. Se uma ferramenta estiver dentro do campo de visão da câmera, a estação de trabalho 12 pode gerar um indicador gráfico dessa ferramenta para criar um compósito com a imagem gerada pela câmera.

[0052] O resultado após a etapa 610 é uma imagem da câmera, sobreposta por uma ou mais características gráficas derivadas de dados relacionados a um modelo de 3D e/ou outros dados armazenados relacionados à anatomia ou a um procedimento que está sendo executado. A imagem composta pode ser mostrada no monitor 16 ou no monitor do endoscópio 205.

[0053] Os métodos fornecidos incluem a implementação implementados em um computador, um processador ou um núcleo de

Petição 870190008287, de 25/01/2019, pág. 49/50

27/27 processador de propósito geral. Processadores adequados incluem, por exemplo, um processador de propósito geral, um processador de propósito específico, um processador convencional, um processador de sinal digital (PSD), uma pluralidade de microprocessadores, um ou mais microprocessadores em associação com um núcleo de PSD, um controlador, um microcontrolador, circuitos integrados para aplicação específica (ASICs, do inglês Application Specific Integrated Circuits), circuitos de matrizes de portas programáveis em campo (FPGA, do inglês Field Programmable Gate Arrays), qualquer outro tipo de circuito integrado (CI) e/ou uma máquina de estado. Tais processadores podem ser fabricados pela configuração de um processo de fabricação com o uso dos resultados de instruções de linguagem de descrição de hardware processadas (HDL, do inglês hardware description language) e outros dados intermediários que incluem listas de rede (tais instruções capazes de serem armazenadas em uma mídia legível por computador). Os resultados desse processamento podem ser máscaras que são, então, usadas em um processo de fabricação de semicondutores para fabricar um processador que implementa o método aqui descrito.

[0054] Os métodos ou fluxogramas aqui fornecidos podem ser implementados em um programa de computador, software ou firmware incorporados em uma mídia de armazenamento não transitório legível por computador para execução por um computador ou um processador de propósito geral. Exemplos de mídias de armazenamento não transitório legíveis por computador incluem uma memória de somente leitura (ROM), uma memória de acesso aleatório (RAM), um registrador, uma memória cache, dispositivos de memória semicondutores, mídia magnética, como discos rígidos internos e discos removíveis, mídia óptico-magnética e mídia óptica como discos CD-ROM e discos versáteis digitais (DVDs).

Claims

reivindicações

1. Método para fornecer uma exibição de realidade aumentada de um indivíduo, caracterizado pelo fato de que compreende:

obter uma imagem de uma câmera;

detectar um local da câmera;

identificar um campo de visão da câmera com base na localização da câmera;

gerar uma ou mais características de sobreposição que correspondem ao campo de visão;

compor uma ou mais características de sobreposição com a imagem da câmera para formar uma imagem composta; e exibir a imagem composta em uma tela.
2. Método, de acordo com a reivindicação 1, caracterizado pelo fato de que a uma ou mais características de sobreposição estão associadas à anatomia do indivíduo ou estão associadas a uma ou mais ferramentas.
3. Método, de acordo com a reivindicação 1, caracterizado pelo fato de que a detecção do local de uma câmera compreende:

realizar um registro de pré-procedimento para correlacionar uma posição e orientação relativas de um bloco de localização em comparação com uma posição e orientação do indivíduo;

receber um ou mais sinais com um sensor do bloco de localização, sendo que o um ou mais sinais gerados por um ou mais geradores de campo acoplados à câmera; e identificar a localização da câmera com base nos um ou mais sinais.
4. Método, de acordo com a reivindicação 1, caracterizado pelo fato de que a geração de uma ou mais características de sobreposição compreende:

Petição 870190020847, de 28/02/2019, pág. 5/13

2/6 gerar uma representação gráfica de uma ferramenta.
5. Método, de acordo com a reivindicação 4, caracterizado pelo fato de que a geração da representação gráfica da ferramenta compreende:

determinar uma posição da ferramenta dentro do campo de visão da câmera; e renderizar a representação gráfica da ferramenta com base na posição da ferramenta dentro do campo de visão da câmera.
6. Método, de acordo com a reivindicação 2, caracterizado pelo fato de que a geração de uma ou mais características de sobreposição compreende:

gerar uma característica de sobreposição indicativa de uma característica anatômica.
7. Método, de acordo com a reivindicação 6, caracterizado pelo fato de que a geração da característica de sobreposição indicativa da característica anatômica compreende:

determinar uma posição de um marcador dentro do campo de visão da câmera com base na posição relativa e na orientação do bloco de localização e na posição e orientação do indivíduo, e com base em uma localização relativa do marcador e um modelo do indivíduo; e renderizar uma representação gráfica que corresponde ao marcador com base na posição do marcador no campo de visão da câmera.
8. Método, de acordo com a reivindicação 7, caracterizado pelo fato de que a representação gráfica correspondente ao marcador inclui texto e uma seta conforme indicado pelo marcador.
9. Método, de acordo com a reivindicação 7, caracterizado pelo fato de que compreende adicionalmente:

identificar um óstio com base na detecção de uma porção

Petição 870190020847, de 28/02/2019, pág. 6/13

3/6 escurecida da imagem, sendo que a representação gráfica correspondente ao marcador inclui um contorno de características anatômicas para o óstio.
10. Método, de acordo com a reivindicação 7, caracterizado pelo fato de que a representação gráfica correspondente ao marcador ser ajustada no local, forma e/ou formato, com base na análise de imagens da imagem.
11. Sistema para fornecer uma exibição de realidade aumentada de um indivíduo, caracterizado pelo fato de que compreende:

uma estação de trabalho; e uma câmera, sendo que a estação de trabalho é configurada para:

obter uma imagem da câmera;

detectar uma localização da câmera;

identificar um campo de visão da câmera com base no local da câmera;

gerar uma ou mais características de sobreposição que correspondem ao campo de visão;

compor uma ou mais características de sobreposição com a imagem da câmera para formar uma imagem composta; e mostrar a imagem composta em uma tela.
12. Sistema, de acordo com a reivindicação 11, caracterizado pelo fato de que o uma ou mais características de sobreposição estão associadas à anatomia do indivíduo ou estão associadas a uma ou mais ferramentas.
13. Sistema, de acordo com a reivindicação 11, caracterizado pelo fato de que compreende ainda um bloco de localização,

Petição 870190020847, de 28/02/2019, pág. 7/13

4/6 sendo que a estação de trabalho é configurada para detectar a localização da câmera por:

realizar um registro de pré-procedimento para correlacionar uma posição e orientação relativas do bloco de localização em comparação com uma posição e orientação do indivíduo;

receber um ou mais sinais com um sensor do bloco de localização, sendo que o um ou mais sinais gerados por um ou mais geradores de campo acoplados à câmera; e identificar a localização da câmera com base nos um ou mais sinais.
14. Sistema, de acordo com a reivindicação 11, caracterizado pelo fato de que a estação de trabalho é configurada para gerar o uma ou mais características de sobreposição por:

gerar uma representação gráfica de uma ferramenta.
15. Sistema, de acordo com a reivindicação 14, caracterizado pelo fato de que a estação de trabalho é configurada para gerar a representação gráfica da ferramenta por:

determinar uma posição da ferramenta dentro do campo de visão da câmera; e renderizar a representação gráfica da ferramenta com base na posição da ferramenta dentro do campo de visão da câmera.
16. Sistema, de acordo com a reivindicação 12, caracterizado pelo fato de que a estação de trabalho é configurada para gerar o uma ou mais características de sobreposição por:

gerar uma característica de sobreposição indicativa de uma característica anatômica.
17. Sistema, de acordo com a reivindicação 16, caracterizado pelo fato de que a estação de trabalho é configurada para gerar a característica de sobreposição indicativa da característica anatômica por:

Petição 870190020847, de 28/02/2019, pág. 8/13

5/6 determinar uma posição de um marcador dentro do campo de visão da câmera com base na posição e na orientação relativas do bloco de localização e na posição e orientação do indivíduo, e com base em uma localização relativa do marcador e um modelo do indivíduo; e renderizar uma representação gráfica que corresponde ao marcador com base na posição do marcador no campo de visão da câmera.
18. Sistema, de acordo com a reivindicação 17, caracterizado pelo fato de que a representação gráfica correspondente ao marcador inclui texto e uma seta conforme indicado pelo marcador.
19. Sistema, de acordo com a reivindicação 17, caracterizado pelo fato de que a estação de trabalho é adicionalmente configurada para:

identificar um óstio com base na detecção de uma porção escurecida da imagem, sendo que a representação gráfica correspondente ao marcador inclui um contorno de característica anatômica.
20. Sistema para fornecer uma exibição de realidade aumentada de um indivíduo, caracterizado pelo fato de que compreende:

uma estação de trabalho;

uma tela;

uma ou mais ferramentas;

uma câmera;

um endoscópio; e uma câmera do endoscópio, sendo que a estação de trabalho é configurada para:

obter uma imagem da câmera;

detectar uma localização da câmera;

Petição 870190020847, de 28/02/2019, pág. 9/13

6/6 identificar um campo de visão da câmera com base no local da câmera;

gerar uma ou mais características de sobreposição que correspondem ao campo de visão da câmera, sendo que a uma ou mais características de sobreposição correspondem ao campo de visão da câmera sendo associada à anatomia do indivíduo ou que está associada a uma ou mais ferramentas;

compor uma ou mais características de sobreposição que correspondem ao campo de visão da câmera com a imagem da câmera para formar uma imagem composta; e mostrar a imagem composta na tela.
21. Sistema, de acordo com a reivindicação 20, caracterizado pelo fato de que a estação de trabalho é adicionalmente configurada para:

obter uma imagem da câmera do endoscópio;

detectar uma localização da câmera do endoscópio;

identificar um campo de visão da câmera do endoscópio com base na localização da câmera do endoscópio;

gerar uma ou mais características de sobreposição correspondentes ao campo de visão da câmera do endoscópio, sendo que a uma ou mais características de sobreposição correspondendo ao campo de visão da câmera do endoscópio estão associadas à anatomia do indivíduo ou estão associadas a uma ou mais ferramentas;

compor uma ou mais características de sobreposição correspondendo ao campo de visão da câmera do endoscópio com a imagem da câmera do endoscópio para formar uma imagem de endoscópio composicional; e a exibir a imagem composta na tela ou sobre uma tela de endoscópio.