BR102018072428A2 - Sistema guia com realidade aumentada - Google Patents

Sistema guia com realidade aumentada Download PDF

Info

Publication number
BR102018072428A2
BR102018072428A2 BR102018072428-2A BR102018072428A BR102018072428A2 BR 102018072428 A2 BR102018072428 A2 BR 102018072428A2 BR 102018072428 A BR102018072428 A BR 102018072428A BR 102018072428 A2 BR102018072428 A2 BR 102018072428A2
Authority
BR
Brazil
Prior art keywords
region
marker
patient
viewing
guide
Prior art date
Application number
BR102018072428-2A
Other languages
English (en)
Inventor
João Alfredo Borges
Elias Cantarelli Hoffmann
Original Assignee
Protótipos Indústria E Comércio De Produtos Protótipos Ltda - Me
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Protótipos Indústria E Comércio De Produtos Protótipos Ltda - Me filed Critical Protótipos Indústria E Comércio De Produtos Protótipos Ltda - Me
Priority to BR102018072428-2A priority Critical patent/BR102018072428A2/pt
Priority to PCT/BR2019/000038 priority patent/WO2020087141A1/pt
Publication of BR102018072428A2 publication Critical patent/BR102018072428A2/pt

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/275—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
    • H04N13/279—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals the virtual viewpoint locations being selected by the viewers or determined by tracking

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Surgery (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Veterinary Medicine (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biomedical Technology (AREA)
  • Signal Processing (AREA)
  • Robotics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Pathology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)

Abstract

sistema guia com realidade aumentada. a presente invenção propõe um sistema guia para ser utilizado como ferramenta de apoio durante o planejamento ou a realização de um procedimento médico em um paciente, por exemplo, uma intervenção cirúrgica. de acordo com a invenção, o sistema guia compreende uma unidade de computação (6) configurada para gerar um modelo virtual (10) a partir de dados de imagem (4) de um paciente obtidos por meio de ao menos um exame de imagem previamente realizado no paciente, e processar o modelo virtual (10) a fim de definir uma região virtual de interesse como uma região para visualização (30). o sistema compreende ainda uma câmera (50) configurada para adquirir uma imagem ao vivo do paciente, uma unidade de processamento (60) configurada para receber a imagem ao vivo do paciente e gerar um sinal de vídeo, e uma tela (70) configurada para receber o sinal de vídeo. o sistema também compreende meios para correlacionar a região para visualização (30) do modelo virtual (10) com uma região real de interesse do paciente e representar a região para visualização (30) em correlação à imagem ao vivo do paciente, com a região para visualização (30) sobreposta à região real de interesse do paciente.

Description

SISTEMA GUIA COM REALIDADE AUMENTADA
CAMPO TÉCNICO
[001] A presente invenção refere-se a um sistema guia para ser utilizado como ferramenta de apoio durante o planejamento ou a realização de um procedimento médico em um paciente, por exemplo, uma intervenção cirúrgica.
ESTADO DA TÉCNICA
[002] As técnicas de exame de imagem, incluindo tomografia computadorizada, imagem por ressonância magnética e ultrassonografia, têm sido amplamente utilizadas para fins de diagnóstico médico.
[003] Os procedimentos cirúrgicos têm evoluído no que diz respeito ao emprego de técnicas minimamente invasivas, cirurgia assistida roboticamente, endoscopia, entre outros. No entanto, estas técnicas convencionais e ferramentas endoscópicas tendem a limitar a visão do cirurgião, principalmente em relação às estruturas anatômicas não alcançadas pelo campo de visão do endoscópio.
[004] Os exames de imagem realizados previamente no paciente também têm sido utilizados para prover auxílio ao cirurgião durante a realização de uma intervenção cirúrgica. Porém, existe uma dificuldade em relacionar o que está sendo visto nos exames de imagem com as estruturas anatômicas do paciente durante a cirurgia.
SUMÁRIO DA INVENÇÃO
[005] A presente invenção tem por objetivo prover um sistema guia para ser utilizado como ferramenta de apoio durante o planejamento ou a realização de um procedimento médico, por exemplo, uma intervenção cirúrgica, que venha superar as limitações do estado técnica.
[006] A presente invenção propõe um sistema guia com realidade aumentada compreendendo uma unidade de computação configurada para gerar um modelo
Petição 870180146602, de 31/10/2018, pág. 7/45
2/18 virtual a partir de dados de imagem de um paciente obtidos por meio de ao menos um exame de imagem previamente realizado no paciente, e processar o modelo virtual a fim de definir uma região virtual de interesse como uma região para visualização. O sistema compreende ainda uma câmera configurada para adquirir uma imagem ao vivo do paciente, uma unidade de processamento configurada para receber a imagem ao vivo do paciente e gerar um sinal de vídeo, e uma tela configurada para receber o sinal de vídeo. O sistema também compreende meios para correlacionar a região para visualização do modelo virtual com uma região real de interesse do paciente e representar a região para visualização em correlação à imagem ao vivo do paciente, com a região para visualização sobreposta à região real de interesse do paciente.
[007] Em funcionamento, um usuário, como, por exemplo, um cirurgião, visualiza na tela a região para visualização correlacionada à imagem ao vivo do paciente, com a região para visualização sobreposta à região real de interesse do paciente. Se o paciente movimentar-se, por exemplo, a região para visualização movimenta-se de forma correspondente, tendo em vista a posição e orientação da região para visualização estarem atreladas à imagem ao vivo do paciente. A região para visualização pode ser configurada com um nível de transparência apropriado de modo que seja possível visualizar seu contorno externo ao mesmo tempo em que é possível visualizar partes do paciente que ficariam ocultas pela sobreposição da região para visualização.
[008] Vantajosamente, este sistema pode ser utilizado como ferramenta de apoio durante a realização de uma intervenção cirúrgica, possibilitando ao usuário, por exemplo, um cirurgião, visualizar partes do paciente representadas pela região para visualização que estariam ocultados ao seu campo normal de visão, por exemplo,
Petição 870180146602, de 31/10/2018, pág. 8/45
3/18 órgãos do paciente que estão cobertos pela pele do paciente. Com base nesta informação, o usuário tem condições de melhor avaliar seus procedimentos durante a cirurgia. Por exemplo, com base na visualização de um órgão interno representado pela região para visualização, o usuário pode avaliar o local mais apropriado para realizar uma incisão sobre o paciente, a fim de obter acesso ao referido órgão.
BREVE DESCRIÇÃO DAS FIGURAS
[009] A invenção será melhor compreendida com a descrição detalhada a seguir, que melhor será interpretada com auxílio das figuras, a saber:
[010] A Figura 1 apresenta um fluxograma do sistema guia com realidade aumentada de acordo com uma primeira incorporação da invenção.
[011] A Figura 2 apresenta uma vista em perspectiva de um modelo virtual.
[012] A Figura 3 apresenta uma vista de uma guia para impressão.
[013] A Figura 4 apresenta uma vista de uma região para visualização.
[014] A Figura 5 apresenta uma vista de um paciente portando uma guia impressa.
[015] A Figura 6 apresenta uma vista correspondente à imagem visível na tela durante a utilização do sistema de acordo com a primeira incorporação da invenção. [016] A Figura 7 apresenta uma vista de uma variação da guia impressa.
[017] A Figura 8 apresenta um fluxograma do sistema guia com realidade aumentada de acordo com uma segunda incorporação da invenção.
[018] A Figura 9 apresenta uma vista de uma guia impressa com marcador correspondente a uma região mapeada, de acordo com a segunda incorporação da invenção.
[019] A Figura 10 apresenta um fluxograma do sistema guia com realidade aumentada de acordo com uma terceira incorporação da invenção.
[020] A Figura 11 apresenta um fluxograma do sistema guia com realidade
Petição 870180146602, de 31/10/2018, pág. 9/45
4/18 aumentada de acordo com uma quarta incorporação da invenção.
[021] A Figura 12 apresenta uma vista de uma paciente portando uma região contrastante.
[022] A Figura 13 apresenta uma vista em perspectiva de um modelo virtual.
[023] A Figura 14 apresenta uma vista de uma região para visualização.
[024] A Figura 15 apresenta uma vista correspondente à imagem visível na tela durante a utilização do sistema de acordo com a quarta incorporação da invenção.
[025] A Figura 16 apresenta um fluxograma do sistema guia com realidade aumentada de acordo com uma quinta incorporação da invenção.
DESCRIÇÃO DETALHADA DA INVENÇÃO
[026] De acordo com a invenção, o sistema guia com realidade aumentada compreende uma unidade de computação (6) configurada para gerar um modelo virtual (10) a partir de dados de imagem (4) de um paciente obtidos por meio de ao menos um exame de imagem previamente realizado no paciente. Por exemplo, o exame de imagem pode ser tomografia computadorizada, tomografia por emissão de pósitrons, tomografia computadorizada por emissão de fóton único, imagem por ressonância magnética, digitalização óptica com escâner tridimensional e/ou ultrassonografia. Estes dados de imagem (4), normalmente em formato DICOM, são importados para a unidade de computação (6) e são processados, com auxílio de um programa de computador CAD, para gerar o modelo virtual tridimensional (10). Por exemplo, o programa de computador CAD pode ser um programa desenvolvido especificamente para este fim, por exemplo, com auxílio de bibliotecas ITK - Insight Segmentation and Registration Toolkit e VTK - The Visualization Toolkit. Alternativamente, um programa de computador capaz de realizar este processamento e reconstrução do modelo virtual tridimensional (10) consiste no
Petição 870180146602, de 31/10/2018, pág. 10/45
5/18
OsiriX©.
[027] A unidade de computação (6) ainda está configurada para processar o modelo virtual (10) a fim de definir uma região virtual de interesse como uma região para visualização (30). Este processamento é realizado com auxílio de um programa de computador CAD desenvolvido para este fim. Por exemplo, o programa de computador CAD pode ser desenvolvido com auxílio de bibliotecas ITK - Insight Segmentation and Registration Toolkit e VTK - The Visualization Toolkit.
[028] O sistema guia com realidade aumentada ainda compreende uma câmera (50) configurada para adquirir uma imagem ao vivo do paciente, uma unidade de processamento (60) configurada para receber a imagem ao vivo do paciente e gerar um sinal de vídeo e uma tela (70) configurada para receber o sinal de vídeo.
[029] O sistema também compreende meios para correlacionar a região para visualização (30) do modelo virtual (10) com uma região real de interesse do paciente e representar a região para visualização (30) em correlação à imagem ao vivo do paciente, com a região para visualização (30) sobreposta à região real de interesse do paciente.
[030] A Figura 1 ilustra um fluxograma do sistema guia com realidade aumentada de acordo com uma primeira incorporação da invenção. De acordo com a primeira incorporação da invenção, os meios de correlação compreendem uma guia para impressão (20) projetada de modo a ser fixável, preferencialmente por encaixe, em uma estrutura anatômica do modelo virtual (10), a guia para impressão (20) sendo projetada com um marcador (22), segundo um sistema de coordenadas espaciais que associam a região para visualização (30) ao marcador (22). A guia para impressão (20) é projetada no ambiente CAD e a posição do marcador (22) define uma origem para o sistema de coordenadas espaciais. Os dados de imagem da
Petição 870180146602, de 31/10/2018, pág. 11/45
6/18 região para visualização (30) são associados ao marcador (22) com auxílio do programa de computador CAD. Por exemplo, o programa de computador CAD pode ser desenvolvido com auxílio das bibliotecas ITK - Insight Segmentation and Registration Toolkit e VTK - The Visualization Toolkit. Cada ponto da região para visualização (30) possui coordenadas espaciais relacionadas às coordenadas espaciais do marcador (22).
[031] Ainda de acordo com a primeira incorporação da invenção, os meios de correlação também compreendem uma impressora 3D (35) configurada para imprimir a guia para impressão (20), gerando uma guia impressa (40) com um marcador (42), a guia impressa (40) sendo fixada, preferencialmente por encaixe, em uma estrutura anatômica do paciente correspondente à estrutura anatômica do modelo virtual (10) que serviu de base para o projeto da guia para impressão (20).
[032] Ainda de acordo com a primeira incorporação da invenção, os meios de correlação compreendem a unidade de processamento (60) configurada para detectar o marcador (42) presente na guia impressa (40) e identificar a região para visualização (30) associada ao marcador (42) e representar a região para visualização (30) em correlação à imagem ao vivo do paciente, de acordo com a posição do marcador (42). Estes processamentos podem ser realizados em um programa de realidade aumentada, desenvolvido a partir de um kit de desenvolvimento de software - SDK - de realidade aumentada, como, por exemplo, ARToolKit® ou Vuforia™.
[033] De acordo com a primeira incorporação, o marcador (22, 42) corresponde a um marcador de realidade aumentada, detectável via reconhecimento de imagem pela unidade de processamento (60) ao processar a imagem ao vivo recebida da câmera (50). Particularmente, durante o uso do sistema, o marcador (42) presente
Petição 870180146602, de 31/10/2018, pág. 12/45
7/18 na guia impressa (40) deve estar posicionado ao menos uma vez dentro do campo de visão (CV) da câmera (50) para propiciar a detecção do marcador (22, 42) e o estabelecimento de uma correlação entre a imagem ao vivo e a região para visualização (30). Por exemplo, um marcador de realidade aumentada pode ser do tipo marcador quadrado, o qual tem um fundo, normalmente branco, uma borda quadrada, normalmente preta, e uma imagem formando um padrão, posicionada dentro do quadrado, como é o caso do marcador (42) ilustrado na Figura 5. Por exemplo, o ARToolKit faz uso de um marcador quadrado para determinar qual a transformação matemática que deverá ser aplicada à região para visualização (30) de forma a representar a região para visualização (30) em correlação à imagem ao vivo do paciente. Isso ocorre devido ao fato de tal transformação poder ser definida com base em apenas quatro pontos coplanares e não colineares, pontos esses que correspondem aos vértices do marcador quadrado detectados ao processar a imagem ao vivo recebida da câmera (50).
[034] As Figuras 2 a 6 ilustram o sistema guia com realidade aumentada, de acordo com a primeira incorporação da invenção, aplicado para auxiliar uma cirurgia de implante dentário. A Figura 2 representa o modelo virtual (10) gerado a partir de dados de imagem (4) de um paciente. O modelo virtual (10) consiste em uma mandíbula (a) com dentes (b) e nervos alveolares (c). Ainda, o modelo virtual (10) foi processado no programa de computador CAD de modo a incluir implantes dentários (d) em espaços edêntulos da mandíbula (a), segundo uma configuração espacial a ser reproduzida posteriormente durante a cirurgia de implante dentário. A Figura 3 ilustra uma guia para impressão (20) projetada no ambiente CAD para ser encaixada sobre a mandíbula (a) do modelo virtual (10) e projetada com um marcador (22). A Figura 4 ilustra uma região virtual de interesse do modelo virtual (10) correspondente
Petição 870180146602, de 31/10/2018, pág. 13/45
8/18 aos dentes (b), nervos alveolares (c) e implantes dentários (d) que foi definida como sendo a região para visualização (30). Como mencionado anteriormente, a posição do marcador (22) define uma origem para o sistema de coordenadas espaciais e os dados de imagem da região para visualização (30) estão associados ao marcador (22), de modo que cada ponto da região para visualização (30) possui coordenadas espaciais relacionadas às coordenadas espaciais do marcador (22).
[035] A Figura 5 ilustra a guia impressa (40) e o marcador (42), a guia impressa (40) posicionada sobre a mandíbula (a) e dentes (b) do paciente, por exemplo, em um estágio inicial da cirurgia de implante dentário. A Figura 6 ilustra uma imagem correspondente ao que está visível na tela (70) para um usuário durante a utilização do sistema. A região para visualização (30) correspondente aos dentes (b), nervos alveolares (c) e implantes dentários (d) está correlacionada à imagem ao vivo que inclui a guia impressa (40), a mandíbula (a) e parte dos dentes (b) não coberta pela guia impressa (40). Se o paciente mexer a cabeça, por exemplo, a região para visualização (30) movimenta-se de forma correspondente, tendo em vista a posição e orientação da região para visualização (30) estarem atreladas ao marcador (42). Por exemplo, o usuário pode utilizar este sistema durante a cirurgia para avaliar a posição mais correta nos espaços edêntulos para realizar a perfuração das lojas que receberão os implantes dentários, de acordo com a posição dos implantes dentários (d) da região para visualização (30) visíveis na tela (70).
[036] O marcador de realidade aumentada pode ser impresso juntamente com a guia para impressão (20), gerando a guia impressa (40) com o marcador (42), como se pode visualizar na Figura 5. Neste caso, pode-se usar uma impressora 3D (35) colorida, com capacidade de imprimir o marcador de realidade aumentada. Alternativamente, o marcador de realidade aumentada é fixado na guia impressa
Petição 870180146602, de 31/10/2018, pág. 14/45
9/18 (40) em uma posição definida durante o projeto da guia para impressão (20). Por exemplo, a guia para impressão (20) pode ser configurada com um espaço sede, tal como uma superfície plana, que receberá posteriormente o marcador de realidade aumentada. A Figura 7 ilustra uma guia impressa (40) produzida com um espaço sede (44). Neste caso, o marcador de realidade aumentada pode ser confeccionado na forma de um adesivo, o qual é colado sobre o espaço sede (44) presente na guia impressa (40).
[037] A Figura 8 ilustra um fluxograma do sistema guia com realidade aumentada de acordo com uma segunda incorporação da invenção. A segunda incorporação da invenção é idêntica à primeira incorporação da invenção à exceção de que, de acordo com a segunda incorporação da invenção, o marcador (22) corresponde a uma região mapeada definida durante o projeto da guia para impressão (20), a região mapeada sendo detectável pela unidade de processamento (60) ao processar dados recebidos de um scanner 3D (80) configurado para realizar um escaneamento ao vivo da guia impressa (40) com marcador (42) correspondente à região mapeada. O marcador (22) correspondente à região mapeada da guia para impressão (20) é definido durante o processamento da guia para impressão no ambiente CAD. A Figura 9 ilustra uma guia impressa (40) com o marcador (42) correspondente à região mapeada, a qual está representada em escala de cinza na figura apenas para fins de compreensão da invenção.
[038] Durante o uso do sistema de acordo com a segunda incorporação da invenção, com a guia impressa (40) fixada no paciente, o marcador (42) correspondente à região mapeada da guia impressa (40) deve estar posicionado ao menos uma vez dentro do campo de escaneamento (CS) do scanner 3D (80) que realiza um escaneamento ao vivo da guia impressa (40). Por exemplo, o scanner 3D
Petição 870180146602, de 31/10/2018, pág. 15/45
10/18 (80) pode ser do tipo laser. A unidade de processamento (60) detecta o marcador (42) correspondente à região mapeada ao processar os dados recebidos do scanner 3D (80), identifica a região para visualização (30) associado ao marcador (42) e representa a região para visualização (30) em correlação a imagem ao vivo, de acordo com a posição do marcador (42). Estes processamentos podem ser realizados em um programa desenvolvido a partir de um kit de desenvolvimento de software - SDK -, como, por exemplo, o Bridge Engine Framework by Occipital©. Tal SDK faz a correlação ao encontrar a matriz de transformação que sobrepõe os pontos da região para visualização (30) aos pontos da região mapeada.
[039] A guia impressa (40) pode ser configurada para guiar fisicamente uma ferramenta cirúrgica. No caso da cirurgia de implante dentário, por exemplo, a guia impressa (40) pode possuir furos guias compatíveis com as posições das lojas que receberão os implantes dentários, cada furo guia, então, sendo utilizado para guiar uma broca de uma peça de mão durante a perfuração de cada loja.
[040] A Figura 10 ilustra um fluxograma do sistema guia com realidade aumentada de acordo com uma terceira incorporação da invenção. De acordo com a terceira incorporação da invenção, os meios de correlação compreendem um marcador (46) em material contrastante fixado no paciente, por meios de fixação (48), sendo que o ao menos um exame de imagem é realizada com o paciente portando o marcador (46). O material contrastante do marcador (46) é um material que possibilita que os dados de imagem (4) sejam obtidos de modo que o marcador (46) seja perceptível e distinguível em relação às estruturas anatômicas capturadas no exame de imagem. Assim, podem-se utilizar diferentes materiais contrastantes, de acordo com o tipo de exame de imagem empregado. Por exemplo, para exames de imagem que utilizam raios-X, como a tomografia computadorizada, o marcador (46) deve ser
Petição 870180146602, de 31/10/2018, pág. 16/45
11/18 confeccionado em material radiocontrastante, como os materiais à base de iodo, sulfato de bário, hidroxiapatita, guta-percha, entre outros. Alternativamente, se o exame for de imagem por ressonância magnética, o marcador (46) deve ser confeccionado em material contrastante a este tipo de exame, como os materiais à base de gadolínio.
[041] Ainda de acordo com a terceira incorporação da invenção, os meios de correlação compreendem o modelo virtual (10) gerado com o marcador (46), segundo um sistema de coordenadas espaciais que associam a região para visualização (30) ao marcador (46). Os dados de imagem da região para visualização (30) são associados ao marcador (46) com auxílio de um programa de computador CAD. Por exemplo, o programa de computador CAD pode ser desenvolvido com auxílio das bibliotecas ITK - Insight Segmentation and Registration Toolkit e VTK - The Visualization Toolkit. Cada ponto da região para visualização (30) possui coordenadas espaciais relacionadas às coordenadas espaciais do marcador (46). Como o modelo virtual (10) é gerado com o marcador (46), devido ao fato da condição contrastante do marcador (46), o próprio programa CAD pode estar configurado para automaticamente identificar o marcador (46) e automaticamente definir o marcador (46) como sendo a origem do sistema de coordenadas espaciais.
[042] Ainda de acordo com a terceira incorporação da invenção, os meios de correlação compreendem o marcador (46) fixado no paciente em posição idêntica à utilizada durante a realização do ao menos um exame de imagem. Ainda, os meios de correlação compreendem a unidade de processamento (60) configurada para detectar o marcador (46) fixado no paciente e identificar a região para visualização (30) associado ao marcador (46) e representar a região para visualização (30) em
Petição 870180146602, de 31/10/2018, pág. 17/45
12/18 correlação à imagem ao vivo do paciente, de acordo com a posição do marcador (46). Estes processamentos podem ser realizados em um programa de realidade aumentada, desenvolvido a partir de um kit de desenvolvimento de software - SDK de realidade aumentada, como, por exemplo, ARToolKit® ou Vuforia™.
[043] Os meios de fixação (48) do marcador (46) no paciente podem ser do tipo permanente, ou seja, com elementos de fixação que realizam uma fixação que não pode ser desfeita sem danificar os elementos de fixação. Neste caso, por exemplo, os meios de fixação (48) podem ser configurados na forma de um adesivo, cola, tatuagem, placa termomoldável de seção fechada, por exemplo, instalada ao entorno do antebraço do paciente, entre outros.
[044] Alternativamente, os meios de fixação (48) do marcador (46) no paciente podem ser do tipo móvel, ou seja, com elementos de fixação que permitem desativar a fixação sem danificar os elementos de fixação e que permitem posteriormente reativar a fixação sobre o paciente. Neste caso, por exemplo, os meios de fixação (48) podem ser configurados na forma de um bracelete, cinta elástica, placa termomoldável de seção aberta, por exemplo, instalada por encaixe sobre parte do antebraço e sobre o dorso da mão, entre outros.
[045] De acordo com a terceira incorporação, o marcador (46) corresponde a um marcador de realidade aumentada, detectável via reconhecimento de imagem pela unidade de processamento (60) ao processar a imagem ao vivo recebida da câmera (50). Particularmente, durante o uso do sistema, o marcador (46) fixado no paciente deve estar posicionado ao menos uma vez dentro do campo de visão (CV) da câmera (50) para propiciar a detecção do marcador (46) e o estabelecimento de uma correlação entre a imagem ao vivo e a região para visualização (30). Por exemplo, o ARToolKit faz uso de um marcador quadrado para determinar qual a transformação
Petição 870180146602, de 31/10/2018, pág. 18/45
13/18 matemática que deverá ser aplicada à região para visualização (30) de forma a representar a região para visualização (30) em correlação à imagem ao vivo do paciente. Isso ocorre devido ao fato de tal transformação poder ser definida com base em apenas quatro pontos coplanares e não colineares, pontos esses que correspondem aos vértices do marcador quadrado detectados ao processar a imagem ao vivo recebida da câmera (50).
[046] A Figura 11 ilustra um fluxograma do sistema guia com realidade aumentada de acordo com uma quarta incorporação da invenção. A quarta incorporação da invenção é idêntica à terceira incorporação da invenção à exceção de que, de acordo com a quarta incorporação da invenção, o marcador (46) corresponde a uma região mapeada (46b) de uma região contrastante (46a) adquirida no exame de imagem, a região mapeada (46b) sendo definida durante o processamento do modelo virtual (10), a região mapeada (46b) sendo detectável pela unidade de processamento (60) ao processar dados recebidos de um scanner 3D (80) configurado para realizar um escaneamento ao vivo do paciente.
[047] Durante o uso do sistema de acordo com a quarta incorporação da invenção, a região mapeada (46b) do marcador (46) deve estar posicionada ao menos uma vez dentro do campo de escaneamento (CS) do scanner 3D (80) que realiza um escaneamento ao vivo. Por exemplo, o scanner 3D (80) pode ser do tipo laser. A unidade de processamento (60) detecta o marcador (46) correspondente à região mapeada (46b) da região contrastante (46a) ao processar os dados recebidos do scanner 3D (80), identifica a região para visualização (30) associado ao marcador (46) e representa a região para visualização (30) em correlação a imagem ao vivo, de acordo com a posição do marcador (46). Estes processamentos podem ser realizados em um programa desenvolvido a partir de um kit de desenvolvimento de
Petição 870180146602, de 31/10/2018, pág. 19/45
14/18 software - SDK -, como, o Bridge Engine Framework by Occipital©.
[048] As Figuras 12 a 15 ilustram o sistema guia com realidade aumentada, de acordo com a quarta incorporação da invenção, aplicado para auxiliar uma cirurgia cardíaca, por exemplo, assistida roboticamente. A Figura 12 ilustra uma região contrastante (46a) confeccionada em material contrastante, a qual está fixada por meios de fixação (48) na região peitoral do paciente para a realização de ao menos um exame de imagem. Na incorporação representada, os meios de fixação (48) são formados por uma base adesivada ao peito do paciente, a qual contém a região contrastante (46a).
[049] A Figura 13 representa o modelo virtual (10) gerado a partir dos dados de imagem (4) obtidos no exame de imagem. O modelo virtual (10) consiste na região torácica do paciente incluindo a coluna vertebral (e), costelas (f), coração e vasos (h). O modelo virtual (10) é gerado com a região contrastante (46a) tendo em vista que a mesma foi adquirida no exame de imagem. Durante o processamento do modelo virtual (10), define-se o marcador (46) como uma região mapeada (46b) da região contrastante (46a). Na incorporação representada, a região mapeada (46b) corresponde a uma porção da região contrastante (46a). No entanto, a região mapeada pode ser definida como a totalidade da região contrastante.
[050] A Figura 14 ilustra uma região virtual de interesse do modelo virtual (10) correspondente ao coração e vasos (h) que foi definida como sendo a região para visualização (30). Como mencionado anteriormente, a posição do marcador (46) correspondente à região mapeada (46b) define uma origem para o sistema de coordenadas espaciais e os dados de imagem da região para visualização (30) estão associados à região mapeada (46b), de modo que cada ponto da região para visualização (30) possui coordenadas espaciais relacionadas às coordenadas
Petição 870180146602, de 31/10/2018, pág. 20/45
15/18 espaciais da região mapeada (46b).
[051] A Figura 15 ilustra uma imagem correspondente ao que está visível na tela (70) para um usuário durante a utilização do sistema, por exemplo, em um estágio inicial da cirurgia cardíaca. A região contrastante (46a) encontra-se fixada pelos meios de fixação (48) à região peitoral do paciente. O scanner 3D (80) realiza um escaneamento ao vivo do paciente. A câmera (50) adquire uma imagem ao vivo do paciente. A unidade de processamento (60) detecta o marcador (46) correspondente à região mapeada (46b) da região contrastante (46a) ao processar os dados recebidos do scanner 3D (80), identifica a região para visualização (30) associada ao marcador (46) e representa a região para visualização (30) em correlação à imagem ao vivo, de acordo com a posição do marcador (46). Assim, a região para visualização (30) correspondente ao coração e vasos (h) está visível na tela (70) correlacionada à imagem ao vivo do paciente. Por exemplo, o usuário pode utilizar este sistema para identificar a posição do coração e vasos (h) no paciente e dessa forma melhor decidir sobre os locais mais apropriados para realizar incisões no peito do paciente para a realização da cirurgia cardíaca.
[052] A Figura 16 ilustra um fluxograma do sistema guia com realidade aumentada de acordo com uma quinta incorporação da invenção. De acordo com a quinta incorporação da invenção, os meios de correlação compreendem um marcador (49) correspondente a uma região mapeada de uma estrutura anatômica do paciente, a qual é definida durante o processamento do modelo virtual (10), segundo um sistema de coordenadas espaciais que associam a região para visualização (30) à região mapeada. O marcador (49) correspondente à região mapeada de uma estrutura anatômica do paciente é definido durante o processamento do modelo virtual (10) no ambiente CAD, definindo-se assim a origem do sistema de
Petição 870180146602, de 31/10/2018, pág. 21/45
16/18 coordenadas espaciais. Os dados de imagem da região para visualização (30) são associados ao marcador (49) com auxílio do programa de computador CAD. Por exemplo, o programa de computador CAD pode ser desenvolvido com auxílio das bibliotecas ITK - Insight Segmentation and Registration Toolkit e VTK - The Visualization Toolkit. Cada ponto da região para visualização (30) possui coordenadas espaciais relacionadas às coordenadas espaciais do marcador (49) correspondente à região mapeada.
[053] Ainda de acordo com a quinta incorporação da invenção, os meios de correlação compreendem a unidade de processamento (60) configurada para detectar a região mapeada do paciente e identificar a região para visualização (30) associada à região mapeada, a região mapeada sendo detectável pela unidade de processamento (60) ao processar dados recebidos de um scanner 3D (80) configurado para realizar um escaneamento ao vivo do paciente, e representar a região para visualização (30) em correlação à imagem ao vivo do paciente, de acordo com a posição do marcador (49) correspondente à região mapeada. Estes processamentos podem ser realizados em um programa desenvolvido a partir de um kit de desenvolvimento de software - SDK, como, por exemplo, o Bridge Engine Framework by Occipital©. Tal SDK faz a correlação ao encontrar a matriz de transformação que sobrepõe os pontos da região para visualização (30) aos pontos da região mapeada.
[054] Durante o uso do sistema de acordo com a quinta incorporação da invenção, o marcador (49) correspondente à região mapeada de uma estrutura anatômica do paciente deve estar posicionado ao menos uma vez dentro do campo de escaneamento (CS) do scanner 3D (80) que realiza um escaneamento ao vivo do paciente. Por exemplo, o scanner 3D (80) pode ser do tipo laser. A unidade de
Petição 870180146602, de 31/10/2018, pág. 22/45
17/18 processamento (60) detecta o marcador (49) correspondente à região mapeada ao processar os dados recebidos do scanner 3D (80), identifica a região para visualização (30) associada ao marcador (49) e representa a região para visualização (30) em correlação à imagem ao vivo do paciente na tela (70), de acordo com a posição do marcador (49) correspondente à região mapeada.
[055] De acordo com a invenção, a região para visualização (30) pode ser configurada com um nível de transparência apropriado de modo que seja possível visualizar seu contorno externo ao mesmo tempo em que, por exemplo, é possível visualizar o contorno de estruturas anatômicas reais do paciente presentes dentro do campo de visão (CV) da câmera (50). Preferencialmente, a região para visualização (30) pode ser configurada em diferentes camadas, cada camada estando associada a uma respectiva cor e a um respectivo nível de transparência. Cada camada pode corresponder a uma estrutura anatômica em particular, podendo, desta forma, serem distinguidos ossos, músculos, órgãos, vasos. Preferencialmente, o sistema está configurado de modo que o usuário possa selecionar, em tempo real, as camadas da região para visualização (30) que devem ser mostradas na tela (70) e também possa alterar a cor e o nível de transparência de cada camada. Desta forma, vantajosamente, a região para visualização (30) tem sua visualização adaptável a diferentes níveis de estruturas anatômicas, cabendo ao usuário selecionar a visualização mais conveniente aos seus objetivos.
[056] De acordo com a invenção, a câmera (50), a unidade de processamento (60), a tela (70), e particularmente o scanner 3D (80) de acordo com a segunda, quarta e quinta incorporações da invenção, podem estar integrados em um dispositivo do tipo smartphone ou tablet. Alternativamente, estes dispositivos podem estar integrados em um dispositivo do tipo head mounted display - HMD, como, por exemplo, o
Petição 870180146602, de 31/10/2018, pág. 23/45
18/18 modelo Epson® Moverio ou ©Microsoft HoloLens. Neste caso, o usuário visualiza a imagem ao vivo do paciente através da tela (70) transparente do dispositivo HMD juntamente com a região para visualização (30) representada na tela (70) de maneira correlacionada à imagem ao vivo do paciente.
[057] Por exemplo, a unidade de computação (6) pode estar configurada na modalidade de um computador desktop. Alternativamente, a unidade de computação (6) pode estar configurada na modalidade de um dispositivo eletrônico móvel, tal como dispositivo do tipo tablet, smartphone ou head mounted display - HMD. Neste caso, a unidade de computação (6) e a unidade de processamento (60) podem coincidir em um mesmo aparelho.
[058] As incorporações preferenciais ou alternativas aqui descritas não têm o condão de limitar a invenção às formas estruturais, podendo haver variações construtivas que sejam equivalentes, sem fugir do escopo de proteção da invenção.

Claims (13)

  1. REIVINDICAÇÕES
    1. SISTEMA GUIA COM REALIDADE AUMENTADA, caracterizado por compreender uma unidade de computação (6) configurada para gerar um modelo virtual (10) a partir de dados de imagem (4) de um paciente obtidos por meio de ao menos um exame de imagem previamente realizado no paciente, processar o modelo virtual (10) a fim de definir uma região virtual de interesse como uma região para visualização (30), uma câmera (50) configurada para adquirir uma imagem ao vivo do paciente, uma unidade de processamento (60) configurada para receber a imagem ao vivo do paciente e gerar um sinal de vídeo, uma tela (70) configurada para receber o sinal de vídeo, meios para correlacionar a região para visualização (30) do modelo virtual (10) com uma região real de interesse do paciente e representar a região para visualização (30) em correlação à imagem ao vivo do paciente, com a região para visualização (30) sobreposta à região real de interesse do paciente.
  2. 2. SISTEMA, de acordo com a reivindicação 1, caracterizado pelos meios de correlação compreenderem uma guia para impressão (20) projetada de modo a ser fixável, preferencialmente por encaixe, em uma estrutura anatômica do modelo virtual (10), a guia para impressão (20) sendo projetada com um marcador (22), segundo um sistema de coordenadas espaciais que associam a região para visualização (30) ao marcador (22), uma impressora 3D (35) configurada para imprimir a guia para impressão (20),
    Petição 870180146602, de 31/10/2018, pág. 25/45
    2/4 gerando uma guia impressa (40) com um marcador (42), a guia impressa (40) sendo fixada, preferencialmente por encaixe, em uma estrutura anatômica do paciente correspondente à estrutura anatômica do modelo virtual (10) que serviu de base para o projeto da guia para impressão (20), a unidade de processamento (60) configurada para detectar o marcador (42) presente na guia impressa (40) e identificar a região para visualização (30) associada ao marcador (42), representar a região para visualização (30) em correlação à imagem ao vivo do paciente, de acordo com a posição do marcador (42).
  3. 3. SISTEMA, de acordo com a reivindicação 2, caracterizado pelo marcador (22, 42) corresponder a um marcador de realidade aumentada, detectável via reconhecimento de imagem pela unidade de processamento (60) ao processar a imagem ao vivo recebida da câmera (50).
  4. 4. SISTEMA, de acordo com a reivindicação 3, caracterizado pelo marcador de realidade aumentada ser impresso juntamente com a guia impressa (40) ou pelo marcador de realidade aumentada ser fixado na guia impressa (40) em uma posição definida durante o projeto da guia para impressão (20).
  5. 5. SISTEMA, de acordo com a reivindicação 2, caracterizado pelo marcador (22) corresponder a uma região mapeada definida durante o projeto da guia para impressão (20), a região mapeada sendo detectável pela unidade de processamento (60) ao processar dados recebidos de um scanner 3D (80) configurado para realizar um escaneamento ao vivo da guia impressa (40) com marcador (42) correspondente à região mapeada.
  6. 6. SISTEMA, de acordo com a reivindicação 1, caracterizado pelos meios de correlação compreenderem
    Petição 870180146602, de 31/10/2018, pág. 26/45
    3/4 um marcador (46) em material contrastante fixado no paciente, por meios de fixação (48), sendo que o ao menos um exame de imagem é realizada com o paciente portando o marcador (46), o modelo virtual (10) gerado com o marcador (46), segundo um sistema de coordenadas espaciais que associam a região para visualização (30) ao marcador (46), o marcador (46) fixado no paciente em posição idêntica à utilizada durante a realização do ao menos um exame de imagem, a unidade de processamento (60) configurada para detectar o marcador (46) fixado no paciente e identificar a região para visualização (30) associado ao marcador (46), representar a região para visualização (30) em correlação à imagem ao vivo do paciente, de acordo com a posição do marcador (46).
  7. 7. SISTEMA, de acordo com a reivindicação 6, caracterizado pelos meios de fixação (48) serem do tipo permanente.
  8. 8. SISTEMA, de acordo com a reivindicação 6, caracterizado pelos meios de fixação (48) serem do tipo móvel.
  9. 9. SISTEMA, de acordo com qualquer uma das reivindicações 6 a 8, caracterizado pelo marcador (46) corresponder a um marcador de realidade aumentada, detectável via reconhecimento de imagem pela unidade de processamento (60) ao processar a imagem ao vivo recebida da câmera (50).
  10. 10. SISTEMA, de acordo com qualquer uma das reivindicações 6 a 8, caracterizado pelo marcador (46) corresponder a uma região mapeada (46b) de uma região contrastante (46a) adquirida no ao menos um exame de imagem, a região mapeada (46b) sendo definida durante o processamento do modelo virtual (10), a região
    Petição 870180146602, de 31/10/2018, pág. 27/45
    4/4 mapeada (46b) sendo detectável pela unidade de processamento (60) ao processar dados recebidos de um scanner 3D (80) configurado para realizar um escaneamento ao vivo do paciente.
  11. 11. SISTEMA, de acordo com a reivindicação 1, caracterizado pelos meios de correlação compreenderem um marcador (49) correspondente a uma região mapeada de uma estrutura anatômica do paciente, a qual é definida durante o processamento do modelo virtual (10), segundo um sistema de coordenadas espaciais que associam a região para visualização (30) à região mapeada, a unidade de processamento (60) configurada para detectar a região mapeada do paciente e identificar a região para visualização (30) associada à região mapeada, a região mapeada sendo detectável pela unidade de processamento (60) ao processar dados recebidos de um scanner 3D (80) configurado para realizar um escaneamento ao vivo do paciente, representar a região para visualização (30) em correlação à imagem ao vivo do paciente, de acordo com a posição do marcador (49) correspondente à região mapeada.
  12. 12. SISTEMA, de acordo com qualquer uma das reivindicações anteriores, caracterizado pela câmera (50), pela unidade de processamento (60) e pela tela (70) estarem integradas em um dispositivo do tipo smartphone ou tablet, ou em um dispositivo do tipo head mounted display.
  13. 13. SISTEMA, de acordo com a reivindicação 5, 10, 11 ou 12, caracterizado pelo scanner 3D (80) estar integrado em um dispositivo do tipo smartphone ou tablet, ou em um dispositivo do tipo head mounted display.
BR102018072428-2A 2018-10-31 2018-10-31 Sistema guia com realidade aumentada BR102018072428A2 (pt)

Priority Applications (2)

Application Number Priority Date Filing Date Title
BR102018072428-2A BR102018072428A2 (pt) 2018-10-31 2018-10-31 Sistema guia com realidade aumentada
PCT/BR2019/000038 WO2020087141A1 (pt) 2018-10-31 2019-10-30 Sistema guia com realidade aumentada

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
BR102018072428-2A BR102018072428A2 (pt) 2018-10-31 2018-10-31 Sistema guia com realidade aumentada

Publications (1)

Publication Number Publication Date
BR102018072428A2 true BR102018072428A2 (pt) 2020-05-26

Family

ID=70461749

Family Applications (1)

Application Number Title Priority Date Filing Date
BR102018072428-2A BR102018072428A2 (pt) 2018-10-31 2018-10-31 Sistema guia com realidade aumentada

Country Status (2)

Country Link
BR (1) BR102018072428A2 (pt)
WO (1) WO2020087141A1 (pt)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019245861A2 (en) 2018-06-19 2019-12-26 Tornier, Inc. Mixed reality-aided depth tracking in orthopedic surgical procedures

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10013808B2 (en) * 2015-02-03 2018-07-03 Globus Medical, Inc. Surgeon head-mounted display apparatuses
WO2017066373A1 (en) * 2015-10-14 2017-04-20 Surgical Theater LLC Augmented reality surgical navigation
US20170312032A1 (en) * 2016-04-27 2017-11-02 Arthrology Consulting, Llc Method for augmenting a surgical field with virtual guidance content

Also Published As

Publication number Publication date
WO2020087141A1 (pt) 2020-05-07

Similar Documents

Publication Publication Date Title
CN110494921B (zh) 利用三维数据增强患者的实时视图
US11883118B2 (en) Using augmented reality in surgical navigation
JP3367663B2 (ja) 解剖学的物体の内部領域を視覚化するシステム
US9498132B2 (en) Visualization of anatomical data by augmented reality
US11426241B2 (en) Device for intraoperative image-controlled navigation during surgical procedures in the region of the spinal column and in the adjacent regions of the thorax, pelvis or head
Chu et al. Registration and fusion quantification of augmented reality based nasal endoscopic surgery
JP2021523784A (ja) 患者に貼付される光学コードを用いた患者の画像データと患者の実景との位置合わせ
ES2228043T3 (es) Sistema quirurgico interactivo asistido por ordenador.
TWI396523B (zh) 用以加速牙科診斷及手術規劃之系統及其方法
Schramm et al. Navigational surgery of the facial skeleton
US20160100773A1 (en) Patient-specific guides to improve point registration accuracy in surgical navigation
US20200113636A1 (en) Robotically-assisted surgical device, robotically-assisted surgery method, and system
JP5961504B2 (ja) 仮想内視鏡画像生成装置およびその作動方法並びにプログラム
WO2014050019A1 (ja) 仮想内視鏡画像生成装置および方法並びにプログラム
Liu et al. Toward intraoperative image-guided transoral robotic surgery
CN110288653A (zh) 一种多角度超声图像融合方法、系统及电子设备
CN110072467A (zh) 提供引导手术的图像的系统
KR20140052524A (ko) 환자의 자세 변화에 따른 의료 영상을 보정하는 방법, 장치 및 시스템
WO2020087141A1 (pt) Sistema guia com realidade aumentada
Condino et al. Registration Sanity Check for AR-guided Surgical Interventions: Experience From Head and Face Surgery
CN109700532B (zh) 个体化颅颌面部导航配准导板及其配准方法
Bichlmeier et al. Laparoscopic virtual mirror for understanding vessel structure evaluation study by twelve surgeons
Nowatschin et al. A system for analyzing intraoperative B-Mode ultrasound scans of the liver
WO2018204999A1 (pt) Sistema de biomodelo com realidade aumentada
Bichlmeier et al. The visible korean human phantom: Realistic test & development environments for medical augmented reality

Legal Events

Date Code Title Description
B03A Publication of an application: publication of a patent application or of a certificate of addition of invention