BR102022020528A2

BR102022020528A2 - Sistema e método para registro de imagem

Info

Publication number: BR102022020528A2
Application number: BR102022020528-0A
Authority: BR
Inventors: Shirish Joshi; Subhamoy Mandal; Faisal KALIM
Original assignee: Erbe Vision Gmbh
Priority date: 2021-10-25
Filing date: 2022-10-10
Publication date: 2023-05-09
Also published as: EP4169474A1; KR20230059730A; CN116051611A; JP2023064078A; US20230131750A1

Abstract

A presente invenção refere-se a sistema e a método para prover realidade aumentada a cirurgião que compreende as etapas de adquirir pelo menos uma imagem de varredura médica pré-operatória de uma região de interesse na qual a cirurgia deve ser realizada e introduzir um dispositivo fiducial (25) de forma não invasiva ou minimamente invasiva em um lúmen corporal presente na região de interesse de um paciente. O dispositivo fiduciário será introduzido, em particular, em um lúmen, que pode ser claramente identificado na imagem de varredura médica. O dispositivo fiducial (25) é adaptado para emitir luz infravermelha com o uso da fonte de luz infravermelha ou com o uso do material fluorescente colocado em ou no dispositivo fiducial e ser excitado por luz de iluminação (39) ou luz de excitação (48). Após a aquisição de pelo menos uma imagem ao vivo de luz de imagem e uma imagem ao vivo de infravermelho, a estrutura tecidual do lúmen corporal com o dispositivo fiducial (25) nele colocado é claramente detectável na imagem ao vivo (38) e pode ser registrada de forma confiável e combinada à imagem de varredura (21) para apresentar as imagens sobrepostas (21) e (38) ao cirurgião.

Description

SISTEMA E MÉTODO PARA REGISTRO DE IMAGEM

[0001] A invenção refere-se a sistema e a método para registro de imagens capturadas durante varredura pré-operatória e durante a cirurgia.

[0002] O registro de imagens de varredura médica tiradas antes da cirurgia com o paciente durante a cirurgia é um problema conhecido. Os documentos EP 3 398 169 A1 e WO 2017/114828 A1 descrevem o registro de uma imagem cirúrgica e um dispositivo de aquisição como um endoscópio que usa assinaturas pré-operatórias e de contorno ao vivo de um objeto anatômico. Um processador adequado compara a assinatura de contorno em tempo real com a base de dados de assinaturas de contorno pré-operatórias do objeto anatômico para gerar um grupo de correspondências de assinatura de contorno em potencial para a seleção de uma correspondência de contorno final. O registro de um dispositivo de aquisição de imagem no local cirúrgico é feito com base em uma orientação correspondente à correspondência de assinatura de contorno final selecionada.

[0003] O documento US 2019/001709 A1 descreve um sistema de realidade aumentada que inclui óculos para o cirurgião, óculos esses que compreendem câmeras para gravar uma imagem em tempo real. Uma pluralidade de sensores é adaptada para determinar a localização e a orientação dos óculos no espaço. Os óculos são ainda adaptados para exibir dados de imagem ao cirurgião, imagem essa que se sobrepõe à imagem real que o cirurgião vê através dos óculos. O processo de registro registra os dados da imagem com o eixo de visão do cirurgião e usa correspondência de pontos, correspondência de superfície/objeto, palpação de pontos de referência anatômicos, e processamento de uma imagem intraoperatória de plano único ou de múltiplos planos. Os dados da imagem registrada serão projetados de forma visível pelo usuário do sistema de realidade aumentada.

[0004] Os documentos EP 3 743 126 A0 e WO 2009/145532 A1 descrevem ferramentas médicas de revestimento, tais como fiduciais, com uma película de revestimento polimérico fluorescente, que é visível na luz infravermelha próxima.

[0005] Outras técnicas anteriores podem ser encontradas nos documentos US 9.901.409 B2 e US 2018/021102 A1.

[0006] Embora vários documentos da técnica anterior discutidos acima considerem o registro de imagens reais ao vivo e imagens de varredura pré-operatórias e a apresentação de uma imagem sobreposta ao cirurgião, ainda há necessidade de fazê-lo de forma mais confiável, em particular, ao considerar o tratamento de porções do corpo, que são altamente deformáveis ou variáveis devido ao tempo ou ao posicionamento do paciente ou devido a outras influências internas ou externas.

[0007] Os sistemas de realidade aumentada da invenção são adaptados para prover pelo menos uma imagem de varredura médica pré-operatória, pelo menos uma imagem ao vivo obtida com luz de iluminação e uma imagem ao vivo obtida com luz infravermelha. A luz de iluminação pode ser uma luz visível que permite a visão direta por uma câmera comum ou diretamente pelo cirurgião. A luz de iluminação, no entanto, pode estar pelo menos parcialmente fora do alcance das luzes visíveis. De preferência, a luz de imagem está na faixa de detecção de uma câmera para adquirir a imagem ao vivo. A imagem ao vivo de luz de iluminação e a imagem ao vivo de luz infravermelha podem ser capturadas juntas em uma imagem ao vivo comum. Assim, ambas podem ser adquiridas por duas câmeras separadas ou por uma única câmera, alternativamente. Pelo menos uma imagem ao vivo e/ou pelo menos uma imagem ao vivo de luz de iluminação são preferivelmente imagens que são adquiridas, processadas e/ou exibidas pelo menos substancialmente em tempo real (isto é, dentro de um intervalo de tempo definido, tal como menos de 200 ms, menos de 150 ms, menos de 100 ms, menos de 50 ms ou menos de 10 ms). Alternativamente, as imagens podem ser exibidas com um atraso (por exemplo, de mais de 500 ms, de mais de 750 ms, de mais de 1 s, de mais de 5 s ou de mais de 10 s) por buffering ou armazenamento intermediário das imagens. As imagens adquiridas podem ser, por exemplo, processadas por pré-processamento (por exemplo, aumento do contraste da imagem, correção de iluminação), filtragem de borda, segmentação e/ou visualização de informações em uma representação de cores falsas.

[0008] O sistema envolve pelo menos uma fonte de luz para iluminar o local da cirurgia com luz de imagem. Além disso, a fonte de luz pode ser adaptada para emitir luz de excitação. A luz de excitação pode estar na faixa de luz visível ou pode até mesmo ser luz invisível como luz ultravioleta ou infravermelha. A luz de excitação pode, por exemplo, compreender comprimentos de onda maiores que 500 nm ou maiores que 600 nm, por exemplo, que variam de 600 a 800 nm, de 600 a 900 nm ou de 650 a 1350 nm (isto é, a faixa do infravermelho próximo (NIR)). A luz de excitação pode, por exemplo, também compreender comprimentos de onda que são de pelo menos 1400 nm, de pelo menos 3000 nm, de pelo menos 8000 ou de pelo menos 15000 nm

[0009] O sistema de registro de imagens é adaptado para registrar a imagem de varredura médica pré-operatória e a imagem ao vivo de luz de iluminação registrando a imagem de varredura médica pré-operatória principalmente com a imagem ao vivo de luz infravermelha. Os fiduciais fluorescentes serão vistos claramente na imagem ao vivo de luz infravermelha, mesmo se escondidos atrás de camadas de tecido biológico. Se os fiduciais fluorescentes estiverem na faixa visível, os fiduciais fluorescentes serão vistos na imagem ao vivo de luz de iluminação. O registro da imagem de varredura pré-operatória sem fiduciais com a imagem ao vivo de luz infravermelha depende de estruturas teciduais da região de interesse, em particular, da estrutura dos lúmens corporais, tal como o ureter, e do dispositivo fiducial nele colocado. O sistema de registro detecta essas estruturas teciduais, tal como o ureter, ou outras estruturas tubulares, vasos ou órgãos ocos na imagem de varredura médica. Posteriormente, o cirurgião coloca o dispositivo fiducial dentro da estrutura tubular (ureter) preferivelmente de forma não invasiva. A luz de excitação e a luz visível e/ou infravermelha do material fluorescente colocado dentro ou sobre o dispositivo fiducial têm ambas comprimentos de onda para os quais o tecido biológico, e em particular o sangue, é transparente. A luz visível do material fluorescente pode, por exemplo, compreender comprimentos de onda superiores a 500 nm. A luz infravermelha do material fluorescente pode, por exemplo, compreender comprimentos de onda maiores que 600 nm, por exemplo, que variam de 600 a 800 nm, de 600 a 900 nm ou de 650 a 1350 nm (isto é, a faixa do infravermelho próximo (NIR)). A luz infravermelha pode, por exemplo, também compreender comprimentos de onda que são pelo menos 1400 nm, pelo menos 3000 nm, pelo menos 8000 ou pelo menos 15000 nm. O termo "transparente" significa, em particular, que a luz de excitação e a luz infravermelha do material fluorescente têm uma profundidade de penetração suficientemente alta e/ou uma absorção suficientemente baixa no tecido biológico e/ou no sangue. Esta luz pode, por exemplo, se deslocar através do tecido biológico e/ou do sangue em pelo menos 1 mm, particularmente em pelo menos 2 mm, mais particularmente em pelo menos 5 mm, preferivelmente em pelo menos 8 mm, mais preferivelmente em pelo menos 10 mm. Assim, esta luz se desloca facilmente através do tecido biológico e/ou do sangue. Os fiduciais fluorescentes serão vistos claramente na imagem ao vivo de luz infravermelha, mesmo se escondidos atrás de camadas e tecido biológico ou obscurecidos por sangue ou outros fluidos corporais. Embora o cirurgião não tenha uma visão direta dos fiduciais, o sistema de registro de imagens usará as marcas do dispositivo fiducial para registrar todas as três imagens (imagem de varredura, imagem ao vivo infravermelha e imagem ao vivo de luz de iluminação).

[0010] Além disso, o sistema de registro de imagens pode ser adaptado para novamente registrar a imagem de varredura médica pré-operatória e a imagem ao vivo de luz de iluminação já registrada de outra forma. O termo "novamente registrar" designa um processo durante o qual um registro existente da imagem de varredura médica pré-operatória e da imagem ao vivo de luz de iluminação é corrigido ou o registro se torna mais preciso. Isso permite cuidar de deformações do paciente ou do tecido no campo de operação. Essas deformações podem resultar da colocação do paciente em uma posição diferente da posição em que a imagem de varredura média foi tirada. As deformações podem resultar ainda do inflar da área de operação, por exemplo, durante a laparoscopia. Registrar novamente a imagem de varredura médica e a imagem ao vivo produz um registro preciso e, portanto, melhores resultados da operação. Embora o registro possa ser feito antes da cirurgia, por exemplo, com base em um plano de operação, o novo registro pode ser feito durante a cirurgia.

[0011] A imagem de varredura médica pode ser obtida no pré-operatório por meio de qualquer método de imagem médica, pois existem imagens ultrassônicas, tomografia computadorizada, imagens de raios-X, imagens de ressonância magnética, tomografia por emissão de pósitrons e muitas outras.

[0012] A luz de excitação pode ser luz dentro da faixa de comprimento de onda da luz visível ou fora dessa faixa. A fonte de luz pode ser adaptada para emitir ambos os tipos de luzes. Também é possível utilizar duas fontes de luz distintas, uma para emissão de luz de iluminação e outra para emissão de luz de excitação.

[0013] O dispositivo de imagem ao vivo pode ser uma câmera adaptada para detectar tanto a luz de imagem refletida do tecido quanto a luz visível e/ou infravermelha enviada pelo dispositivo fiducial e que brilha através do tecido. Alternativamente, podem ser usados dispositivos de imagem distintos: um para adquirir a imagem ao vivo de luz de iluminação e outro para adquirir a imagem ao vivo de luz infravermelha. Ambos os dispositivos de imagem podem ser câmeras ou uma única câmera com ângulo de abertura constante ou variável. A(s) câmera(s) pode(m) ter uma objetiva com distância focal constante ou variável. Em qualquer caso, a imagem de luz infravermelha e a imagem de luz de iluminação serão preferivelmente adquiridas com a mesma escala.

[0014] O dispositivo fiducial pode ter duas ou mais áreas com elementos emissores de luz, que preferivelmente consistem ou compreendem material fluorescente, preferivelmente material fluorescente infravermelho próximo. O material fluorescente emissor de infravermelho pode ser disposto em um padrão conhecido e em pontos com distâncias conhecidas um do outro. Assim, o dispositivo fiducial pode ser usado como um padrão de referência.

[0015] O sistema pode incluir um sistema de rastreamento para determinar a localização e a orientação do dispositivo fiducial. Da mesma forma, o sistema pode envolver um sistema de rastreamento para determinar a localização e a orientação da câmera, por exemplo, uma câmera laparoscópica com a qual o cirurgião inspeciona o campo de operação. O dispositivo fiducial com dois ou mais elementos emissores de luz infravermelha detectável pela câmera de aquisição de imagem infravermelha indica uma escala da imagem ao vivo (observe que a imagem de luz de iluminação e a imagem de luz infravermelha são preferivelmente tiradas com a mesma escala). Assim, o cirurgião pode até fazer medições na imagem de luz de iluminação.

[0016] O sistema de registro pode contar com estruturas detectadas na imagem de varredura médica e na imagem de luz infravermelha apenas. Estruturas detectáveis são estruturas sólidas, pois existem ossos bem como estruturas teciduais moles, em particular, órgãos ocos, estruturas tubulares (por exemplo, o ureter), vasos ou similares nos quais o dispositivo fiducial pode ser introduzido de forma não invasiva. O dispositivo fiducial introduzido no órgão oco tornará visível a estrutura tecidual específica na imagem de luz infravermelha e permitirá o registro com a imagem de varredura médica com o dimensionamento, a rotação e o deslocamento das imagens até que fiquem correspondentemente sobrepostas.

[0017] Além disso, o sistema de registro pode ser adaptado para detectar e corrigir a distorção do tecido e sua deformação. Em particular, deformações locais podem estar presentes quando da comparação da imagem de varredura médica e da imagem ao vivo de luz de iluminação. Isso pode se dar devido a diversos fatores, visto que há insuflação do corpo do paciente durante a laparoscopia, reposicionamento do paciente, processos fisiológicos e semelhantes. Para compensar essas deformações, o sistema de registro pode primeiro determinar as deformações determinando as distorções locais com base nas posições das estruturas teciduais na imagem de varredura médica e das mesmas estruturas reencontradas na imagem de luz infravermelha. O dispositivo fiducial pode ser usado para localizar estruturas teciduais na imagem ao vivo de luz infravermelha, cujas estruturas não ficarão prontamente visíveis nem na imagem de luz infravermelha nem na imagem de luz de iluminação. Assim, o dispositivo fiducial será usado como um indicador de estruturas teciduais, que podem ser facilmente encontradas na imagem de varredura médica, mas não estão muito visíveis na imagem de luz infravermelha ou na imagem de luz visível.

[0018] Outros detalhes e vantagens poderão ser obtidos a partir do desenho e da respectiva descrição e também das reivindicações. As concretizações da invenção são ilustradas nos desenhos nos quais

[0019] a Figura 1 ilustra o sistema da invenção durante a varredura médica de um paciente e durante a cirurgia de uma maneira altamente abstrata,

[0020] a Figura 2 representa uma ilustração de uma câmera laparoscópica e do tecido do paciente durante a cirurgia,

[0021] a Figura 3 representa imagens de varredura médica tiradas durante imagens médicas,

[0022] a Figura 4 representa uma imagem ao vivo de luz de iluminação,

[0023] a Figura 5 representa uma imagem ao vivo de luz infravermelha,

[0024] a Figura 6 representa uma imagem de varredura médica da mesma região de interesse, conforme ilustrado nas Figuras 4 e 5,

[0025] a Figura 7 representa uma imagem sobreposta que consiste na imagem de luz de iluminação da Figura 4 e na imagem de varredura médica da Figura 6 registrada ao longo da imagem de luz infravermelha da Figura 5,

[0026] a Figura 8 representa uma imagem ao vivo de luz de iluminação semelhante à Figura 4,

[0027] a Figura 9 representa uma imagem de luz infravermelha do local de operação com um dispositivo fiducial introduzido em um órgão oco presente na região de interesse,

[0028] a Figura 10 representa uma imagem de varredura médica da região de interesse,

[0029] a Figura 11 ilustra um mapa de distorção obtido com a comparação da imagem de luz infravermelha da Figura 9 e da imagem de varredura da Figura 10, e

[0030] a Figura 12 representa uma imagem sobreposta apresentada ao cirurgião, obtida com a sobreposição da imagem de luz visível da Figura 8 com a imagem de varredura da Figura 10 corrigida ao longo da distorção indicada na Figura 11.

[0031] Um sistema de realidade aumentada 14 pode ser retirado da Figura 1, que ilustra um paciente 15 deitado em uma mesa 16 durante a imagiologia médica. Como um aparelho de varredura 17 para adquirir tomografias computadorizadas, um braço em C é ilustrado apenas para fins de ilustração. Deve ser entendido que qualquer sistema de imagem médica e qualquer método e modalidade de imagem médica podem ser usados para adquirir imagens de varredura médica pré-operatória e provê-las a um sistema de processamento 18.

[0032] O sistema de processamento 18 pode controlar qualquer movimento e ativação ou desativação do braço em C ou qualquer outro aparelho de varredura 17. O sistema de processamento pode ser qualquer tipo de computador ou rede de computadores ou hardware e/ou software adaptado para produzir imagens de varredura a partir de uma varredura médica.

[0033] A Figura 3 ilustra a operação do aparelho de varredura 17 em conjunto com o sistema de processamento 18. O aparelho de varredura 17 provê uma série de varreduras, por exemplo, tomografias computadorizadas 19. A unidade de processamento 18 pode determinar um modelo de volume 20 da porção do corpo de interesse. Além disso, o sistema de processamento 18 pode prover uma ou várias imagens de varredura médica 21 obtidas pela interseção do modelo de volume 20 em qualquer plano desejado. A imagem de varredura médica 21 pode ser exibida em um dispositivo de reprodução de imagem 21 (Figura 1), que pode ser qualquer tipo de tela, tela plana, tela estereoscópica, óculos de realidade virtual ou semelhantes.

[0034] O sistema de realidade aumentada 14 compreende ainda um local de operação 23 onde o paciente 15 pode ser colocado em um suporte adequado 24 como uma mesa, uma cadeira ou qualquer outro tipo de suporte para que o paciente 15 fique em uma posição adequada. O sistema de realidade aumentada 14 provê ainda um dispositivo fiducial preferivelmente não invasivo 25 adaptado para ser introduzido no corpo do paciente 15, preferivelmente em um lúmen corporal, uma vez que existe o ureter. Um sistema de rastreamento 26 pode permitir a localização do dispositivo fiducial 25 em relação ao paciente 15, por exemplo, por triangulação. Pelo menos dois marcadores de posição 27, 28 podem ser providos preferivelmente na extremidade proximal do dispositivo fiducial 25, os quais são visíveis pelo sistema de localização 26. As câmeras 29, 30 podem localizar os marcadores 27, 28 e, portanto, a localização e a orientação do dispositivo fiducial 25 por triangulação. Nota-se que pode ser usado qualquer outro tipo de sistema de rastreamento que seja adequado para determinar a localização e a orientação do dispositivo 25 em relação ao paciente 15 e/ou ao suporte 24.

[0035] Além disso, o sistema de realidade aumentada 14 pode compreender um dispositivo de imagem ao vivo 31, que pode ser uma câmera laparoscópica, uma câmera endoscópica ou qualquer outro sistema de câmera para prover imagens ao vivo de qualquer região de interesse 32 do paciente. A região de interesse 32 é simbolizada por um círculo de linhas pontilhadas na Figura 1 que é a região onde a cirurgia deve ser realizada. Exatamente essa região foi fotografada durante a varredura pré-operatória realizada pelo aparelho de varredura 17. O modelo de volume 20 tipicamente inclui a região de interesse 32. Normalmente, a varredura pré-operatória é feita em um estado não inflado do corpo do paciente que será posteriormente um pouco inflado com CO2 para cirurgia laparoscópica.

[0036] A câmera laparoscópica ou qualquer outro tipo de dispositivo de imagem ao vivo 31 pode ser conectado ao sistema de localização 26 para que a localização e a orientação do dispositivo de imagem ao vivo possam ser obtidas, por exemplo, por triangulação. O dispositivo de imagem ao vivo 31 pode ser conectado a pelo menos duas marcas de localização 33, 34, 35, que podem ser localizadas pelas câmeras 29 e 30. No entanto, nota-se que qualquer outro tipo de sistema de localização pode igualmente funcionar.

[0037] As localizações e as orientações do dispositivo fiducial 25 e do dispositivo de imagem ao vivo 31 determinadas pelo sistema de localização 26 serão providas ao sistema de processamento 18, assim como as imagens ao vivo tiradas pelo dispositivo de imagem ao vivo 31.

[0038] A Figura 2 ilustra a extremidade distal 31 em uma representação funcional. O dispositivo de imagem ao vivo 31 compreende uma câmera 37 para capturar uma imagem ao vivo 38 (Figura 4) gerada com luz de iluminação 39. Uma fonte de luz 40 pode ser provida para produzir luz de iluminação 39 e iluminar pelo menos aquela porção da região de interesse 32 que é vista pela câmara 37. A luz de iluminação 39 pode ser luz visível, por exemplo, luz branca. A luz é, em particular, direcionada para um local 41 no qual a cirurgia deve ser realizada e que é visto pela câmera 37.

[0039] O local da cirurgia 41 pode incluir um lúmen corporal, por exemplo, um ureter 42, no qual é colocado o dispositivo fiducial 25. O dispositivo fiducial 25 pode ser uma haste rígida ou flexível ou um membro semelhante a um tubo com pelo menos uma, preferivelmente duas ou mais marcas 43 a 45, que são adaptadas para emitir luz capaz de permear o tecido biológico 46, em particular, o tecido mole, tal como a parede de uma estrutura tubular (por exemplo, o ureter) ou um vaso, gordura, músculos, fáscia ou semelhantes. Pelo menos uma marca 43 (44, 45) pode ser puntiforme, axialmente linear, em forma de anel ou semelhante.

[0040] As marcas 43 a 45 são, em particular, adaptadas para emitir luz infravermelha IV, em particular, infravermelho próximo. As marcas 43 a 45 podem ser iluminadas pelas fibras ópticas ou pelos membros de LED. Preferivelmente, no entanto, as marcas 43 a 45 são fontes de luz passiva formadas por material fluorescente que produz luz infravermelha. A luz infravermelha é preferivelmente luz infravermelha próxima 47 emitida quando excitada pela luz de excitação 48 enviada por uma fonte de luz 49. A fonte de luz 48 pode ser idêntica à fonte de luz 40 de modo que a luz de excitação 48 e a luz de iluminação 39 sejam idênticas. No entanto, também é possível usar uma fonte de luz de excitação 49 diferente da fonte de luz de iluminação 40. Embora a luz de iluminação 39 possa ter um amplo espectro, a fonte de luz de excitação 49 pode ou não ser uma fonte de banda estreita que produz luz infravermelha, luz visível ou luz ultravioleta dependendo do tipo de material fluorescente presente nas marcas 43, 44, 45.

[0041] A câmera 37 pode adquirir a imagem ao vivo 38 mostrada na Figura 4 e uma imagem ao vivo de luz infravermelha 50 ilustrada na Figura 5. As imagens ao vivo 38 e 50 podem ser capturadas juntas em uma única imagem ou separadamente.

[0042] O sistema de realidade aumentada 14 compreende um sistema de registro de imagens 51, que pode fazer parte do sistema de processamento 18. O sistema de registro 51 pode ser ou incluir um detector de contorno para detectar pelo menos o contorno do tecido mole. Tal contorno pode ser um vaso ou qualquer outro órgão oco ou estrutura tubular (por exemplo, o ureter) ou a superfície de um órgão.

[0043] O sistema de registro de imagens é adaptado para registrar pelo menos uma imagem de varredura médica pré-operatória 21 e a imagem ao vivo de luz de iluminação 38. Para isso, o sistema de registro de imagens 51 usa a imagem ao vivo de luz infravermelha 50 e, em particular, pelo menos duas marcas 43, 44, que são colocadas dentro do ureter 42 ilustrado na Figura 5 em linhas pontilhadas. Embora o ureter 42 seja uma estrutura tecidual claramente identificável e claramente identificada na imagem de varredura médica 21, o ureter pode não ser tão visível na imagem de luz de iluminação 38. No entanto, ao colocar o fiducial 25 no ureter 42, as marcas 43 e 44 indicarão onde o ureter está na imagem ao vivo 38 para que o sistema de registro de imagens 51 possa agora registrar de forma confiável e precisa a imagem de varredura médica 21 na imagem de luz de iluminação 38 (e na imagem de luz infravermelha 50 também). Depois do registro, a imagem ao vivo de luz de iluminação 38 juntamente com a imagem de varredura 21 (e, caso desejado, a imagem de luz infravermelha 59) pode ser exibida no dispositivo de reprodução de imagem 22 como uma sobreposição, conforme ilustrado na Figura 7.

[0044] Ao fazê-lo, o sistema de localização 26 irá sempre determinar a localização e a orientação tanto do dispositivo fiducial 25 quanto do dispositivo de imagem ao vivo 31 que provê a imagem de luz de iluminação 38 e a imagem de luz infravermelha 50 juntas ou separadamente. O sistema de processamento 18 usará o modelo de volume 20 e encontrará a imagem de varredura 21 em um plano, que é definido pela orientação do dispositivo de imagem ao vivo 31. A imagem de varredura 21 pode incluir cores ou gráficos que aprimoram as estruturas teciduais para tornar visíveis diferentes tecidos, tal como o tecido de parênquima, ou estruturas tubulares (por exemplo, o ureter) ou vasos ou semelhantes. O sistema será, em particular, útil, se a cirurgia for realizada a uma distância das partes sólidas do corpo, tais como os ossos. Órgãos do paciente podem se mover devido à realocação do paciente, devido ao relaxamento ou devido à insuflação do local da cirurgia durante a laparoscopia. O uso de órgãos ocos para preferivelmente colocar o dispositivo fiducial 25 de forma não invasiva ajudará a evitar ο desalinhamento da imagem de varredura 21 e da imagem ao vivo 38, que, de outro modo, poderia ocorrer quando se conta apenas com os ossos ou outras estruturas do corpo em relação às quais o tecido mole pode se mover.

[0045] A invenção abre caminho para outros aperfeiçoamentos:

[0046] Conforme mencionado acima, o tecido mole do paciente pode sofrer deformações pesadas entre a imagiologia médica e a cirurgia. Mesmo a introdução do dispositivo fiducial 25 no ureter 42 ou em qualquer outro lúmen corporal bem como a insuflação das cavidades internas do corpo para cirurgia laparoscópica podem deformar as estruturas teciduais. A invenção permite adaptar a imagem de varredura médica 21 semelhante ou mesmo de maneira igual em que o corpo real foi deformado para que a imagem de varredura deformada possa ser melhor registrada com a imagem real ao vivo. Este processo deve ser executado pelo sistema de processamento 18 e ilustrado nas Figuras 8 a 12. A imagem ao vivo de luz de iluminação 38 é ilustrada na Figura 8, e a imagem de luz infravermelha 50 é ilustrada na Figura 9. Conforme pode ser visto, o ureter 42 é reto de modo que as três marcas 43 a 45 que emitem luz infravermelha fiquem dispostas em linha reta. Obviamente, o corpo do paciente é deformado, uma vez que a imagem de varredura médica 21 inclui o ureter 42 curvo. Além disso, a imagem de varredura 21 inclui uma estrutura de corpo sólido, tal como um osso 52, que obviamente não pode ser deformada. Portanto, é evidente que haverá sempre algum grau de desalinhamento, independentemente da forma como se tente registrar a imagem ao vivo de luz de iluminação 38 e a imagem de varredura 21. O sistema de processamento, em particular, o sistema de registro de imagens 51 (que inclui um detector de contorno) pode agora distorcer a imagem de varredura médica 21 da mesma forma que a imagem ao vivo 38 é distorcida em relação à imagem de varredura médica (não distorcida) 21. Para fazer isso, o sistema de registro de imagens 51 identifica agora a estrutura tecidual em que é colocado o dispositivo fiducial 25, por exemplo, o ureter 42. Além disso, ele pode identificar as estruturas naturais de corpo sólido, tal como o osso 52. Embora o osso 52 possa ser visto como não distorcido, pode-se ver que a distorção da imagem de varredura é necessária para trazer a imagem de varredura do ureter 42 em registro com as três marcas 43, 44, 45 da imagem infravermelha 50, conforme ilustrado na Figura 11. Pequenas setas simbolizam o grau de distorção da imagem de varredura, que é necessário para trazer a imagem de varredura médica 21 em registro com as imagens ao vivo 38 e 50. O resultado pode ser visto na Figura 12, que ilustra a imagem de varredura médica distorcida 21' em registro com as imagens ao vivo 38, 50.

[0047] A presente invenção supera as dificuldades e os problemas de confiabilidade anteriormente presentes do registro de patentes em cirurgias laparoscópicas e permite uma assistência de realidade aumentada. A invenção provê um novo método de registro do paciente 15 que usa uma câmera infravermelha e um dispositivo fiducial 25 a ser introduzido em um lúmen corporal, tal como o ureter, ou outro orifício corporal. O dispositivo fiducial 25 compreende marcadores fiduciais 43 a 45. A invenção reduz o número e a complexidade das etapas do fluxo de trabalho de planejamento e também reduz ou até elimina a necessidade de procedimentos invasivos adicionais. Além disso, o método permite alterar as posições do paciente durante a cirurgia com o mínimo ou nenhum impedimento aos procedimentos cirúrgicos. O método não requer procedimentos adicionais de imagem radiológica incluídos no fluxo de trabalho.

[0048] O método da invenção, em particular, permite o registro de varreduras pré-operatórias feitas com um corpo de paciente "não deformado" com um corpo de paciente "fortemente deformado", como, por exemplo, após o isolamento com gás CO2 para permitir a cirurgia laparoscópica. Devido à deformação, uma imagem de varredura pré-operatória não é mais idêntica a uma imagem de varredura médica intraoperatória. A invenção permite compensar essas deformações e elimina a necessidade de imagens de varredura intraoperatórias. Isso contribui para a segurança do paciente, reduz drasticamente o tempo de operação e, em certa medida, torna possível essas cirurgias.

[0049] A invenção provê um sistema e um método para prover realidade aumentada a um cirurgião com as etapas de adquirir menos uma imagem de varredura médica pré-operatória de uma região de interesse na qual a cirurgia deve ser realizada e de introduzir um dispositivo fiducial 25 de forma não invasiva ou minimamente invasiva em um lúmen corporal presente na região de interesse de um paciente. O dispositivo fiducial será, em particular, introduzido em um lúmen, que pode ser claramente identificado na imagem de varredura médica. O dispositivo fiducial 25 é adaptado para emitir luz infravermelha com o uso de fonte de luz infravermelha ou com o uso do material fluorescente colocado no ou sobre o dispositivo fiducial e para ser excitado por luz de iluminação 39 ou luz de excitação 48. Após a aquisição de pelo menos uma imagem ao vivo de luz de imagem e uma imagem ao vivo de infravermelho, a estrutura tecidual do lúmen corporal com o dispositivo fiducial 25 nele colocado é claramente detectável na imagem ao vivo 38 e pode ser registrada de forma confiável e combinada com a imagem de varredura 21 para apresentar as imagens sobrepostas 21 e 38 ao cirurgião.
Numerais de referência
14 Sistema de realidade aumentada
15 Paciente
16 Mesa
17 Aparelho de varredura, por exemplo, braço em C
18 Sistema de processamento
19 Varreduras
20 Modelo de volume
21 Imagem de varredura
22 Dispositivo de reprodução de imagem
23 Local de operação
24 Suporte
25 Dispositivo fiduciário
26 Sistema de localização
27, 28 Marcas
29, 30 Câmeras
31 Dispositivo de imagem ao vivo
32 Região de interesse
33 - 35 Marcas
36 Extremidade distal do dispositivo de imagem 31
37 Câmera
38 Imagem ao vivo de luz de iluminação
39 Luz de iluminação
40 Fonte de luz para luz de iluminação
41 Local da cirurgia
42 Ureter
43 - 45 Marcas
46 Tecido biológico
47 Luz IV
48 Fonte de luz
49 Fonte de luz de excitação
50 Imagem ao vivo de luz infravermelha
51 Sistema de registro de imagens
52 Osso

Claims

Sistema de realidade aumentada (14), caracterizado pelo fato de que compreende:
um aparelho de varredura (17) adaptado para adquirir pelo menos uma varredura médica (19), pelo menos uma imagem de varredura médica pré-operatória (21) de uma região de interesse (32) pode ser derivada, em cuja região deve ser executada uma cirurgia,
um dispositivo fiducial (25) adaptado para ser introduzido em um lúmen corporal (42) presente na região de interesse (32) de um paciente (15), o dispositivo fiducial (25) sendo adaptado para emitir luz infravermelha (IV) e/ou luz visível,
uma fonte de luz (40) adaptada para iluminar o local da cirurgia (41) com luz de iluminação (39), onde a cirurgia deve ser realizada,
um dispositivo de imagem ao vivo (31) adaptado para adquirir pelo menos uma imagem ao vivo de luz de iluminação (38) e uma imagem ao vivo de luz infravermelha (50),
um sistema de registro de imagens (51) adaptado para registrar ou registrar novamente pelo menos uma imagem de varredura médica pré-operatória (21) e pelo menos uma imagem ao vivo de luz infravermelha (50) juntamente com a imagem ao vivo de luz de iluminação (38), e
um dispositivo de reprodução de imagem (22) adaptado para reproduzir a imagem de luz visível (38) registrada com a imagem de varredura médica (21).
Sistema de realidade aumentada, de acordo com a reivindicação 1, caracterizado pelo fato de que o dispositivo fiducial (25) compreende um corpo que compreende pelo menos uma área (43, 44, 35) com material fluorescente infravermelho, em particular, infravermelho próximo.
Sistema de realidade aumentada, de acordo com a reivindicação 2, caracterizado pelo fato de que o dispositivo fiducial (25) possui pelo menos duas áreas com material fluorescente infravermelho, em particular, infravermelho próximo, colocadas a uma distância uma da outra.
Sistema de realidade aumentada, de acordo com qualquer uma das reivindicações 1 a 3, caracterizado pelo fato de que o corpo do dispositivo fiducial (25) é um tubo rígido ou flexível ou elemento semelhante a uma haste.
Sistema de realidade aumentada, de acordo com qualquer uma das reivindicações 1 a 4, caracterizado pelo fato de que o sistema de registro de imagens (18) compreende um detector de contorno (51) adaptado para identificar estruturas anatômicas na imagem de varredura.
Sistema de realidade aumentada, de acordo com a reivindicação 5, caracterizado pelo fato de que o detector de contorno é adaptado para detectar o contorno do lúmen corporal (42) adaptado para receber o dispositivo fiducial (25).
Sistema de realidade aumentada, de acordo com qualquer uma das reivindicações 1 a 6, caracterizado pelo fato de que a luz de imagem (39) é luz visível.
Sistema de realidade aumentada, de acordo com qualquer uma das reivindicações 1 a 7, caracterizado pelo fato de que a fonte de luz (42, 49) é adaptada para emitir luz de excitação (48) adaptada para fazer com que o material fluorescente emita luz infravermelha ou infravermelha próxima.
Sistema de realidade aumentada, de acordo com qualquer uma das reivindicações 1 a 8, caracterizado pelo fato de que o sistema de registro de imagens (51) é adaptado para determinar a escala de imagem da imagem ao vivo de luz de imagem (38) e aprimorar ou reduzir a imagem de varredura médica (21) na mesma escala.
Sistema de realidade aumentada, de acordo com qualquer uma das reivindicações 3 e 9, caracterizado pelo fato de que a escala é definida pela distância em que pelo menos duas áreas (43, 44, 45) com material fluorescente infravermelho, em particular, infravermelho próximo são colocadas uma a partir da outra.
Sistema de realidade aumentada, de acordo com qualquer uma das reivindicações 1 a 10, caracterizado pelo fato de que 0 sistema de registro de imagens (51) é adaptado para determinar a deformação da imagem ao vivo de luz de imagem (38) versus a imagem de varredura médica (20) com a comparação da forma e da posição do lúmen (42) na imagem de varredura (21) com a forma e a posição do dispositivo fiducial (25) na imagem infravermelha (50).
Sistema de realidade aumentada, de acordo com a reivindicação 11, caracterizado pelo fato de que o sistema de registro de imagens (51) é adaptado para deformar a imagem de varredura médica (21) de acordo com a deformação da imagem infravermelha (50).
Sistema de realidade aumentada, de acordo com qualquer uma das reivindicações 1 a 12, caracterizado pelo fato de que o dispositivo de imagem ao vivo (31) é conectado a um sistema de rastreamento de posição (26).
Sistema de realidade aumentada, de acordo com qualquer uma das reivindicações 1 a 13, caracterizado pelo fato de que o dispositivo fiducial (25) é conectado a um sistema de rastreamento de posição (26).
Método para prover realidade aumentada a um cirurgião, caracterizado pelo fato de que compreende as etapas de;
adquirir pelo menos uma imagem de varredura médica pré-operatória (21) de uma região de interesse (32) na qual uma cirurgia deve ser realizada,
introduzir um dispositivo fiducial (25) em um lúmen corporal (42) presente na região de interesse (32) de um paciente (15), o dispositivo fiducial (25) sendo adaptado para emitir luz infravermelha (IV),
iluminar o local da cirurgia (41), onde a cirurgia será realizada, com luz de iluminação (39) e luz de saída (48),
adquirir pelo menos uma imagem ao vivo de luz de imagem (38) e uma imagem ao vivo de luz infravermelha (50),
registrar pelo menos uma imagem de varredura médica pré-operatória (21) e pelo menos uma imagem ao vivo de luz infravermelha (50) juntamente com a imagem ao vivo de luz visível (38), e
reproduzir a imagem de luz visível (38) registrada com a imagem de varredura médica (21).