ITUB20155830A1 - "sistema di navigazione, tracciamento, e guida per il posizionamento di strumenti operatori" - Google Patents

"sistema di navigazione, tracciamento, e guida per il posizionamento di strumenti operatori" Download PDF

Info

Publication number
ITUB20155830A1
ITUB20155830A1 ITUB2015A005830A ITUB20155830A ITUB20155830A1 IT UB20155830 A1 ITUB20155830 A1 IT UB20155830A1 IT UB2015A005830 A ITUB2015A005830 A IT UB2015A005830A IT UB20155830 A ITUB20155830 A IT UB20155830A IT UB20155830 A1 ITUB20155830 A1 IT UB20155830A1
Authority
IT
Italy
Prior art keywords
tracking
navigation
positioning
viewer
operating instruments
Prior art date
Application number
ITUB2015A005830A
Other languages
English (en)
Inventor
Alessandro Rotilio
Marco Solbiati
Maurizio Mirabile
Luigi Zeni
Original Assignee
R A W Srl
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by R A W Srl filed Critical R A W Srl
Priority to ITUB2015A005830A priority Critical patent/ITUB20155830A1/it
Priority to JP2018545714A priority patent/JP6905535B2/ja
Priority to EP16825885.3A priority patent/EP3380034B1/en
Priority to RU2018117932A priority patent/RU2746458C2/ru
Priority to BR112018010382-9A priority patent/BR112018010382B1/pt
Priority to DK16825885.3T priority patent/DK3380034T3/da
Priority to CN201680068251.0A priority patent/CN108601628B/zh
Priority to AU2016358472A priority patent/AU2016358472A1/en
Priority to US15/775,772 priority patent/US20180344408A1/en
Priority to PCT/IB2016/057001 priority patent/WO2017089941A1/en
Priority to CA3005705A priority patent/CA3005705A1/en
Priority to ES16825885T priority patent/ES2815800T3/es
Publication of ITUB20155830A1 publication Critical patent/ITUB20155830A1/it
Priority to US16/220,809 priority patent/US11596480B2/en

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2048—Tracking techniques using an accelerometer or inertia sensor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2055—Optical tracking systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2055—Optical tracking systems
    • A61B2034/2057—Details of tracking cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2061—Tracking techniques using shape-sensors, e.g. fiber shape sensors with Bragg gratings
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2063—Acoustic tracking systems, e.g. using ultrasound
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/06—Measuring instruments not otherwise provided for
    • A61B2090/062—Measuring instruments not otherwise provided for penetration depth
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/06—Measuring instruments not otherwise provided for
    • A61B2090/064—Measuring instruments not otherwise provided for for measuring force, pressure or mechanical tension
    • A61B2090/065—Measuring instruments not otherwise provided for for measuring force, pressure or mechanical tension for measuring contact or contact pressure
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/06—Measuring instruments not otherwise provided for
    • A61B2090/064—Measuring instruments not otherwise provided for for measuring force, pressure or mechanical tension
    • A61B2090/066—Measuring instruments not otherwise provided for for measuring force, pressure or mechanical tension for measuring torque
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/08—Accessories or related features not otherwise provided for
    • A61B2090/0807—Indication means
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/365—Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/367—Correlation of different images or relation of image positions in respect to the body creating a 3D dataset from 2D images using position information
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
    • A61B2090/3983—Reference marker arrangements for use with image guided surgery
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/50—Supports for surgical instruments, e.g. articulated arms
    • A61B2090/502—Headgear, e.g. helmet, spectacles
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0141—Head-up displays characterised by optical features characterised by the informative content of the display
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Optics & Photonics (AREA)
  • General Physics & Mathematics (AREA)
  • Robotics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Pathology (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Nuclear Medicine (AREA)
  • Radar Systems Or Details Thereof (AREA)

Description

"SISTEMA DI NAVIGAZIONE, TRACCIAMENTO, E GUIDA PER IL POSIZIONAMENTO DI STRUMENTI OPERATORI"
La presente invenzione si riferisce ad un sistema di navigazione , tracciamento, e guida per il posizionamento di strumenti operatori e, più precisamente , ad un sistema di navigazione , tracciamento, e guida per il posizionamento di strumenti operatori in cui viene impiegata la realtà aumentata come interfaccia di un operatore.
Stato della tecnica
Ad oggi, nel campo della chirurgia e della navigazione interventistica è noto l'uso di sistemi che usano immagini radiologiche ed interfacciano le stesse al movimento delle sonde ecografiche .
Ad esempio, durante tali tipi di navigazione interventistica, vengono impiegati sistemi che comprendono macchinari di Tomografia Computerizzata (TAC) , i guali rendono in tempo reale e durante 1'intervento le immagini radiologiche (TAC intraoperatorie ).
Esistono altresì altri sistemi noti i quali rendono il tracciamento virtuale di sonde per 1'ablazione ma senza rendere informazioni riguardanti la deformazione.
D'altro canto, è noto 1'uso di occhiali da sala operatoria dotati di display per la visualizzazione di immagini. Per guesto scopo, il documento EP2737868A1 descrive un sistema che comprende una lente di ingrandimento chirurgica wireless, la guaie consente ad un utente che utilizza la lente wireless durante 1'esecuzione di una procedura, la trasmissione di informazioni acquisite dalla lente wireless di visualizzare le informazioni del paziente su un display. In guesto modo, le informazioni trasmesse possono essere usate per aiutare la procedura in sala operatoria, migliorare 1'istruzione, ed essere registrate per un uso successivo.
Inoltre, nel documento US 6,847,336 B1 viene descritto un sistema ed un metodo per la visualizzazione di dati su uno schermo semitrasparente montato nel normale campo di vista di un utente. Lo schermo può essere montato sulla testa dell'utente, oppure montato su una struttura mobile e posizionato di fronte dell'utente. Un'interfaccia utente viene visualizzata sullo schermo compreso un cursore mobile e un menu di icone di controllo del computer. Un sistema di "eye-tracking" è montato in prossimità dell'utente ed è impiegato per controllare il movimento del cursore.
Ulteriormente, nel documento US7501995B2 viene descritto un sistema ed un metodo per la presentazione di informazioni cliniche di supporto il guaie impiega la navigazione assistita a vista.
Inoltre, Nel documento W02009083191A1 viene descritto un sistema di visualizzazione selettiva il guaie permette di visualizzare selettivamente dati ed informazioni su un dispositivo di visualizzazione montato su occhiali.
D'altro canto, è altrettanto nota la ricostruzione delle immagini mediche tramite visualizzazione tridimensionale 3D ed in cui è previsto il seguimento tridimensionale del volume sul paziente ed, eventualmente, anche il seguimento dell'ago nei vari campi di applicazione medica e chirurgica.
Ad esempio, il documento US5526812A descrive un sistema di visualizzazione il guaie permette di aumentare e migliorare la visualizzazione delle strutture corporee durante le procedure mediche.
Altri esempi di sistemi e metodi di navigazione in realtà aumentata nelle procedure relative agli interventi medici sono descritti nei documenti US 7,774,044 B2 , US 2002/0082498 Al, e US 2013/0267838 Al.
Anche se tutti guesti sistemi sopra elencati descrivono diverse metodologie di assistenza all'operatore durante gli interventi chirurgici, esistono ancora alcune limitazioni nel caso di interventi mininvasivi.
Infatti, nel caso di interventi mininvasivi è previsto 1'inserimento all'interno del paziente di strumenti chirurgici, sonde, in grado di compiere operazioni senza 1'apertura del paziente. Tali interventi sono complicati dalla difficoltà di stimare con precisione la posizione dei tessuti su cui intervenire e degli strumenti che si inseriscono. Per guesta complessità spesso si verificano errori nel portare a termine 1'intervento.
Tali sistemi uniscono all'utilizzo dell'ecografia (e cioè, una bassa risoluzione spaziale), la visualizzazione delle immagini radiologiche (alta risoluzione), attraverso il tracciamento della sonda ecografica o delle sonde per interventi mininvasivi con sensori elettromagnetici o sistemi ottici, senza o con debole risoluzione spaziale.
Scopo della presente invenzione è quello di risolvere le suddette limitazioni fornendo un sistema di navigazione, tracciamento, e guida per il posizionamento di strumenti operatori in cui viene impiegata la realtà aumentata come interfaccia di un operatore.
Il sistema della presente invenzione è particolarmente diretto alle seguenti applicazioni:
• radiologia diagnostica
• radiologia interventistica oncologica • radiologia interventistica vascolare • procedure eseguite tramite 1'inserimento di sonde e/o aghi quali, ad esempio, le biopsie, le aspirazioni di liquidi, ecc.
• neurochirurgia
Breve descrizione della presente invenzione L'invenzione riguarda un sistema composto da diverse tecnologie in grado, tutte insieme o in combinazioni di esse, di rendere possibile la visualizzazione su dispositivi di qualsiasi tipo, di immagini riferite a strutture interne, non visibili esternamente, di tipo biomedico, fisiologiche e patologiche. Tali immagini, in 2, 3 o 4 dimensioni , sono rese nella visuale dell'operatore in posizioni corrispondenti alla reale posizione nello spazio delle strutture che rappresentano .
La visualizzazione riguarda anche 1'utilizzo, il tracciamento ed il posizionamento di strumenti chirurgici per un particolare focus sul "targeting" di patologie all'interno del corpo umano.
Quindi, la presente invenzione fornisce un sistema di navigazione, tracciamento, e guida per il posizionamento di strumenti operatori in cui viene impiegata la realtà aumentata come interfaccia di un operatore e sostanzialmente secondo le rivendicazioni annesse.
Descrizione dettagliata dell'invenzione Verrà ora fornita una descrizione dettagliata di una forma preferita di realizzazione del sistema di navigazione , tracciamento, e guida per il posizionamento di strumenti operatori della presente invenzione, data a titolo esemplificativo e non limitativo, facendo riferimento alle figure annesse, in cui:
la figura 1 è un diagramma di flusso che illustra il flusso di lavoro secondo un'applicazione web ed un software del sistema della presente invenzione; e
la figura 2 è una vista schematica che illustra un visualizzatore incorporato su una struttura di occhiali ed il quale fornisce parametri necessari per una determinata procedura clinica attuata su un paziente e secondo il sistema della presente invenzione.
Con riferimento ora alle figure e secondo la presente invenzione, il sistema comprende le seguenti parti (sia hardware sia software):
a)Assieme di conversione video
E composto da una primo assieme di diversi convertitori video (anche quelli già presenti sul mercato CE), e contenuti in un unico "case". Sostanzialmente, questo assieme è include:
- due convertitori VGA-HDMI,
- un convertitore BNC-HDMI, e
- due porte HDMI.
Questi cinque segnali video sono 1'ingresso di uno "switcher" e "scaler" a cinque ingressi con una singola uscita HDMI. I segnali video sono presi dallo switcher e inviati in standard HDMI ad un display montato sulla testa (d'ora in poi, Head Mounted Display, HMD) o un dispositivo mobile o qualsiasi altro display .
I segnali video vengono mandati sull'HMD da un dispositivo di mirroring o da un encoder (del tipo reperibile sul mercato) . Alternativamente , è possibile utilizzare un server locale.
Secondo il presente sistema, è previsto che i segnali video vengano sfogliati da un pedale tramite operatore/ utilizzatore . Questo dispositivo a pedale è utile per 1'ergonomia durante gli interventi in cui il medico/operatore deve guardare monitor differenti, sia durante 1'operazione sia durante la diagnosi , sia durante il targeting nel campo della biopsia.
Inoltre, secondo il presente sistema 1' HMD è dotato di una fotocamera in grado di registrare (come una funzione di background) 1'intera operazione mentre il clinico la esegue e mentre vi è il passaggio tra i diversi segnali video tramite pedale , senza interferire con questi processi.
L'uso di telecamera è essenziale per quanto riguarda sia 1'istruzione , perché è possibile avere direttamente il punto di vista del clinico, sia per aspetti legali perché registra 1' intera operazione e il medico non può interagire in nessun modo con la fotocamera .
b) Software "Pre-Post Viewer"
Il software Pre-Post Viewer (d'ora in poi denominato PPW) è un software in grado di produrre segmentazioni di organi e patologie (quali, ad esempio, i tumori, eco.) ed un rendering 3D di scansioni radiologiche. Inoltre, il software è in grado di confrontare anche rendering 3D provenienti da diverse scansioni. Si compone di codici software che includono algoritmi di segmentazione.
PPW è un'applicazione web in grado di prendere le immagini provenienti da diverse scansioni radiologiche (RM, TAC, TAC-PET) e trasformarle in una rappresentazione 3D con la patologia segmentata e separata dal resto del volume (tramite, ad esempio, colore diverso) . La segmentazione è completamente automatica, significa senza 1'intervento dell'utente, e non necessita di alcuna correzione.
Inoltre, PPW misura anche se il trattamento ha avuto successo o no. Infatti, tramite questo software vengono segmentati gli organi e la necrosi post trattamento nelle immagini (TAC-PET, RM e TAC), si effettua la registrazione del volume prima del trattamento e successivamente al trattamento, e viene effettuata una visualizzazione congiunta della patologia e della necrosi.
La figura 1 illustra il diagramma di flusso del lavoro dell'applicazione web secondo questo software.
Più dettagliatamente, il diagramma di flusso prevede che la parte utente richieda al server 1'esecuzione degli script per generazione dei file DICOM, dei layer degli organi/tumore e del file 3D.
L'esecuzione avverrà tramite lo schema seguente:
1) Il client web richiede 1'esecuzione di uno script.
2) Lo script viene inserito in uno scheduler che gestirà la coda/1'ordine degli script da eseguire sul server.
3) Una volta che lo scheduler dà il via libera, il server processa i file con lo script richiesto e scrive i file nello Storage condiviso.
4) Il web client troverà i file generati o i layer richiesti e li visualizzerà sull'HMD.
c) Visualizzatore Facciale "Head mounted display"
È previsto un visualizzatore facciale (d'ora in poi denominato HMD) che permette di visualizzare le immagini ricevute via Wi-Fi dall'assieme di conversione video. L'HMD comprende dentro di sé un giroscopio, una bussola, una unità di misurazione inerziale (Inertial Measurement Unit IMU) a 9 assi ed una telecamera stereoscopica.
Inoltre, 1'HMD può includere un sensore di profondità che, insieme agli altri sensori elencati precedentemente, permette di registrare il volume ricostruito del paziente, visibile sull'HMD, con il volume del paziente reale in sala operatoria in modo da permettere al medico di visualizzare organi e patologie all'interno del corpo del paziente mentre guarda il paziente stesso.
Con riferimento ora alla metodologia di funzionamento del sistema, è previsto che il sistema possa prevedere le seguenti metodologie alternative di registrazione:
1) Soluzione basata su markers (hardware)
Secondo guesta soluzione, sono previsti un numero minimo o maggiore di tre markers elettromagnetici o ottici, i guali sono posizionati sul corpo del paziente sia in fase di acquisizione sia in fase intraoperatoria, ed in modo che i marcatori nel volume ricostruito siano allineati con i marcatori intraoperatori.
2) Soluzione basata su computer vision (software)
In questa seconda soluzione è previsto 1'impiego di sensori di profondità e la telecamera stereoscopica, congiuntamente o separatamente, in modo tale che i due volumi risultino allineati. La suddetta telecamera è utilizzata sia nel riconoscimento AR, sia per la generazione di una "disparity map" che permette di avere maggiori informazioni riguardo la profondità della scena, per questo secondo motivo la telecamera deve anche avere la possibilità di regolare la distanza interoculare della stessa, in questo caso per poter operare con differenti range di profondità (per esempio una regolazione a due/tre preset fissi, per un campo lungo e un campo corto più preciso).
È bene qui precisare che il suddetto sensore di profondità da solo sarebbe sufficiente a definire la mappa di profondità della scena, rendendo superfluo il calcolo di una mappa di disparità utilizzando una fotocamera stereoscopica, ma dato che questo tipo di sensori è spesso suscettibile alla forte luce ed alle fonti di raggi infrarossi che possono interferire nella lettura, è possibile e, in alcuni casi, necessario integrare entrambe le tecnologie per ottenere un allineamento più preciso tra realtà aumentata e la realtà.
3) Soluzione ibrida
Questa terza soluzione è una soluzione che comprende sia la soluzione hardware sia la soluzione software, che permette di unire i risultati di entrambe le tecnologie.
Quindi, successivamente alla registrazione tutti i dati relativi alla posizione ed alla correzione della posizione di questo tracking 3D vengono inviati tramite wireless a una CPU aggiunta nell'assieme di conversione video, perché 1'HMD di per sé non ha sufficiente capacità di elaborazione.
D'altro canto, secondo il metodo di funzionamento del sistema della presente invenzione è prevista 1'ulteriore identificazione della esatta posizione della sonda/ago nell'interno del paziente.
Con lo scopo di ottenere la posizione corretta e la deflessione dell 'ago quando inserito all'interno del corpo del paziente, il sistema prevede 1'utilizzo di una tecnologia a fibra ottica ed un relativo braccio antropomorfo, il braccio antropomorfo essendo dotato di una scheda elettronica ed un sensore di pressione.
Per la misura della curvatura dell'ago, è previsto un sensore a fibra ottica, il quale basa la sua lettura sulla modulazione delle perdite di potenza ottica riflessa. Il principio fondamentale su cui si basa questa tipologia di sensori di curvatura è semplicemente quello di avere perdita di potenza attraverso il cosiddetto "cladding" ed il "core" quando la fibra ottica è piegata.
La perdita di potenza cresce o decresce seguendo la curvatura positiva o negativa della fibra. Quindi la perdita di potenza risulta essere direttamente proporzionale alla curvatura della zona sensibile della fibra.
Quindi, secondo il principio di funzionamento del presente sistema, è prevista 1'integrazione della misura della flessione dell'ago, con i dati di posizione provenienti da un sistema di referenzrazione spaziale. Il sistema di riferimento spaziale è realizzato con un braccio antropomorfo a cinque gradi di libertà, il quale permette di fornire le coordinate cartesiane X,Y,Z della punta dell'ago, rispetto al sistema di riferimento "campo operatorio".
Inoltre, il presente sistema prevede 1'integrazione della misura della compattezza dei tessuti (cosiddetta "stiffness"), realizzata mediante un sensore a fibra ottica a modulazione di perdite ovvero interferometrico, il quale permette di fornire i parametri di caratterizzazione dei tessuti attraversati dalla sonda.
Per visualizzare 1'ago nella realtà aumentata, sull'impugnatura della sonda è posizionato un marcatore visto dalla telecamera dell'HMD . La deflessione e la posizione della punta della sonda vengono quindi calcolate utilizzando il segnale elettronico proveniente dalla fibra ottica.
È utile qui precisare che il riferimento spaziale è, di fatto, fornito dal braccio antropomorfo. Quindi, in questa configurazione, il marcatore ottico può rappresentare un'ulteriore informazione (sostanzialmente ridondante) ma utile ad aumentare la affidabilità del sistema sulla posizione dell'impugnatura dell'ago.
Secondo il presente sistema, è possibile il suo impiego durante, prima, o dopo 1'intervento. Infatti, il presente sistema rende possibile per il clinico visualizzare una sovrapposizione di organi interni e patologie in 3D, allineate con le vere e proprie strutture anatomiche.
Inoltre, il presente sistema rende possibile visualizzare strumenti operatori all'interno del corpo del paziente e rappresentare la loro deformazione attraversando diverse strutture anatomiche.
Può essere utilizzato sia per le procedure mini-invasive sia per interventi chirurgici standard. L'unica differenza è che nelle procedure mininvasive, tutto il volume ricostruito è allineato con il corpo del paziente; mentre nel secondo caso, 1'allineamento viene fatto tra una determinata parte di un organo e la stessa parte dell'organo nel volume ricostruito. Ad esempio e come illustrato nella figura 2, viene in essa schematicamente illustrata la registrazione tra un segmento del fegato nel mondo reale e lo stesso del volume ricostruito.
Il sistema della presente invenzione presenta innumerevoli vantaggi.
La soluzione inventata consente di visualizzare soggettivamente rispetto all'operatore le immagini in 2, 3 o 4 dimensioni (la guarta è il tempo) nell'esatta posizione in cui si trovano le strutture a cui sono riferite, con elevata risoluzione spaziale, ed aumentando la risoluzione, la precisione e il riconoscimento del corretto posizionamento degli strumenti operatori.
Inoltre, la soluzione inventata consente di rilevare la posizione e la flessione delle sonde e degli strumenti deformabili .
Il sistema, diversamente dalle soluzioni utilizzate per risolvere gli stessi problemi, consente maggiore precisione, anche senza sistemi elettromagnetici , attraverso sistemi meccanici e/o di computer vision, insieme o separatamente .
Il sistema della presente invenzione può essere utilizzato per la preparazione o lo svolgimento di interventi chirurgici in laparotomia, endoscopia o mininvasivi, siano guesti ultimi percutanei , transossei o durante interventi in laparotomia o in endoscopia . Il sistema è altresì valido per lo svolgimento di procedure diagnostiche per cutanee o radiologicamente guidate , guali , a titolo di esempio, biopsia o ago-aspirato.

Claims (14)

  1. RIVENDICAZIONI 1. Sistema di navigazione, tracciamento, e guida per il posizionamento di strumenti operatori, caratterizzato dal fatto di comprendere: - un assieme di conversione video; - un visualizzatore facciale; e - un programma software di elaborazione e visualizzazione dati provenienti da detto visualizzatore facciale e da detto assieme di conversione video.
  2. 2. Sistema di navigazione, tracciamento, e guida per il posizionamento di strumenti operatori secondo la rivendicazione precedente, in cui detto assieme di conversione video comprende: - almeno due convertitori VGA-HDMI, - almeno un convertitore BNC-HDMI, e - almeno due porte HDMI.
  3. 3. Sistema di navigazione, tracciamento, e guida per il posizionamento di strumenti operatori secondo la rivendicazione 1 o 2, comprendente inoltre un dispositivo a pedale atto a sfogliare i segnali video su detto visualizzatore facciale tramite operatore/utilizzatore .
  4. 4. Sistema di navigazione, tracciamento, e guida per il posizionamento di strumenti operatori secondo la rivendicazione 1 o 2 o 3, in cui detto visualizzatore facciale comprende una fotocamera o una telecamera stereoscopica.
  5. 5. Sistema di navigazione, tracciamento, e guida per il posizionamento di strumenti operatori secondo una gualsiasi delle rivendicazioni precedenti, in cui detto visualizzatore facciale comprende una unità di trasmissione e ricezione dati via wi-fi.
  6. 6. Sistema di navigazione, tracciamento, e guida per il posizionamento di strumenti operatori secondo una gualsiasi delle rivendicazioni precedenti, in cui detto visualizzatore facciale comprende inoltre un giroscopio, una bussola, ed una unità di misurazione inerziale.
  7. 7 . Sistema di navigazione, tracciamento, e guida per il posizionamento di strumenti operatori secondo una gualsiasi delle rivendicazioni precedenti, in cui detto visualizzatore facciale comprende inoltre un sensore di profondità atto a registrare il volume ricostruito del paziente.
  8. 8. Sistema di navigazione, tracciamento, e guida per il posizionamento di strumenti operatori secondo una qualsiasi delle rivendicazioni precedenti, comprendente inoltre un sensore a fibra ottica il quale è collegato con una sonda/ago da introdurre in un paziente e per leggere una misura che identifica la curvatura di detta sonda/ago quando inserita nell'interno di un paziente, detta misura essendo basata sulla modulazione delle perdite di potenza ottica riflessa attraverso il "cladding" ed il "core" quando detta fibra ottica è piegata, detta perdita di potenza risultando essere direttamente proporzionale alla curvatura della zona sensibile della fibra.
  9. 9. Sistema di navigazione, tracciamento, e guida per il posizionamento di strumenti operatori secondo la rivendicazione precedente, comprendente inoltre un marcatore posizionato sull'impugnatura della sonda/ago il quale è visibile dalla telecamera del visualizzatore facciale, detto marcatore indicando la posizione della punta di detta sonda/ago nella realtà aumentata.
  10. 10. Sistema di navigazione, tracciamento, e guida per il posizionamento di strumenti operatori secondo una qualsiasi delle rivendicazioni precedenti, comprendente inoltre un braccio robotizzato antropomorfo a cinque gradi di libertà, il quale permette di fornire le coordinate cartesiane X,Y,Z della punta di detta sonda/ago rispetto ad un sistema di riferimento prefissato dal sistema.
  11. 11. Sistema di navigazione, tracciamento, e guida per il posizionamento di strumenti operatori secondo una qualsiasi delle rivendicazioni precedenti, comprendente inoltre un sensore della compattezza dei tessuti ("stiffness"), costituito da un sensore a fibra ottica a modulazione di perdite ovvero interferometrico.
  12. 12. Programma per un elaboratore di dati provenienti dal sistema per la navigazione, tracciamento, e guida per il posizionamento di strumenti operatori secondo una qualsiasi delle rivendicazioni precedenti, in cui è prevista 1'elaborazione di immagini di segmentazioni di organi e patologie, e di rendering 3D di scansioni radiologiche.
  13. 13. Programma per un elaboratore di dati secondo la rivendicazione precedente, comprendente la seguente successione di fasi: elaborazione di immagini provenienti da diverse scansioni radiologiche (RM, TAC, TAC-PET); - trasformazione in una rappresentazione 3D con la patologia segmentata e separata dal resto del volume del paziente; segmentazione di organi e/o necrosi post trattamento nelle immagini (TAC-PET, RM e TAC); registrazione del volume prima del trattamento e successivamente al trattamento; e visualizzazione congiunta della patologia e della necrosi.
  14. 14. Programma per un elaboratore di dati secondo la rivendicazione precedente, comprendente inoltre la seguente successione di fasi: - Il client web richiede 1'esecuzione di uno script per generazione dei file DICOM, dei layer degli organi o tumore, e del file 3D; - Lo script viene inserito in uno scheduler che gestisce la coda/l'ordine degli script da eseguire sul server; - Una volta che lo scheduler dà il via libera, il server processa i file con lo script richiesto e scrive i file nello Storage condiviso; e - Il web client trova i file generati o i layer richiesti e li visualizza sul visualizzatore facciale dell'utente.
ITUB2015A005830A 2015-11-23 2015-11-23 "sistema di navigazione, tracciamento, e guida per il posizionamento di strumenti operatori" ITUB20155830A1 (it)

Priority Applications (13)

Application Number Priority Date Filing Date Title
ITUB2015A005830A ITUB20155830A1 (it) 2015-11-23 2015-11-23 "sistema di navigazione, tracciamento, e guida per il posizionamento di strumenti operatori"
DK16825885.3T DK3380034T3 (da) 2015-11-23 2016-11-21 Navigations-, sporings- og styringssystem til positionering af operationsinstrumenter inde i kroppen på en patient
EP16825885.3A EP3380034B1 (en) 2015-11-23 2016-11-21 Navigation, tracking and guiding system for the positioning of operatory instruments within the body of a patient
RU2018117932A RU2746458C2 (ru) 2015-11-23 2016-11-21 Система навигации, слежения и направления для позиционирования операционных инструментов в теле пациента
BR112018010382-9A BR112018010382B1 (pt) 2015-11-23 2016-11-21 Sistema de navegação, rastreamento e guia para o posicionamento de instrumentos operacionais dentro do corpo de um paciente
JP2018545714A JP6905535B2 (ja) 2015-11-23 2016-11-21 患者の体内に手術器具を位置調整するための誘導、追跡および案内システム
CN201680068251.0A CN108601628B (zh) 2015-11-23 2016-11-21 将操作器械定位在患者身体内的导航、跟踪和引导系统
AU2016358472A AU2016358472A1 (en) 2015-11-23 2016-11-21 Navigation, tracking and guiding system for the positioning of operatory instruments within the body of a patient
US15/775,772 US20180344408A1 (en) 2015-11-23 2016-11-21 Navigation, tracking and guiding system for the positioning of operatory instruments within the body of a patient
PCT/IB2016/057001 WO2017089941A1 (en) 2015-11-23 2016-11-21 Navigation, tracking and guiding system for the positioning of operatory instruments within the body of a patient
CA3005705A CA3005705A1 (en) 2015-11-23 2016-11-21 Navigation, tracking and guiding system for the positioning of operatory instruments within the body of a patient
ES16825885T ES2815800T3 (es) 2015-11-23 2016-11-21 Sistema de navegación, seguimiento y guía para el posicionamiento de instrumentos quirúrgicos dentro del cuerpo de un paciente
US16/220,809 US11596480B2 (en) 2015-11-23 2018-12-14 Navigation, tracking and guiding system for the positioning of operatory instruments within the body of a patient

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
ITUB2015A005830A ITUB20155830A1 (it) 2015-11-23 2015-11-23 "sistema di navigazione, tracciamento, e guida per il posizionamento di strumenti operatori"

Publications (1)

Publication Number Publication Date
ITUB20155830A1 true ITUB20155830A1 (it) 2017-05-23

Family

ID=55538379

Family Applications (1)

Application Number Title Priority Date Filing Date
ITUB2015A005830A ITUB20155830A1 (it) 2015-11-23 2015-11-23 "sistema di navigazione, tracciamento, e guida per il posizionamento di strumenti operatori"

Country Status (12)

Country Link
US (2) US20180344408A1 (it)
EP (1) EP3380034B1 (it)
JP (1) JP6905535B2 (it)
CN (1) CN108601628B (it)
AU (1) AU2016358472A1 (it)
BR (1) BR112018010382B1 (it)
CA (1) CA3005705A1 (it)
DK (1) DK3380034T3 (it)
ES (1) ES2815800T3 (it)
IT (1) ITUB20155830A1 (it)
RU (1) RU2746458C2 (it)
WO (1) WO2017089941A1 (it)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10013808B2 (en) 2015-02-03 2018-07-03 Globus Medical, Inc. Surgeon head-mounted display apparatuses
ITUB20155830A1 (it) 2015-11-23 2017-05-23 R A W Srl "sistema di navigazione, tracciamento, e guida per il posizionamento di strumenti operatori"
DE102017108235A1 (de) * 2017-04-18 2018-10-18 Bredent Medical Gmbh & Co. Kg Brille mit wenigstens einem teiltransparenten Bildschirm und Verfahren zum Betrieb einer Brille
US20190254753A1 (en) 2018-02-19 2019-08-22 Globus Medical, Inc. Augmented reality navigation systems for use with robotic surgical systems and methods of their use
WO2020181498A1 (zh) * 2019-03-12 2020-09-17 上海复拓知达医疗科技有限公司 体内导航系统和方法
US11992373B2 (en) 2019-12-10 2024-05-28 Globus Medical, Inc Augmented reality headset with varied opacity for navigated robotic surgery
US12133772B2 (en) 2019-12-10 2024-11-05 Globus Medical, Inc. Augmented reality headset for navigated robotic surgery
US12220176B2 (en) 2019-12-10 2025-02-11 Globus Medical, Inc. Extended reality instrument interaction zone for navigated robotic
US11464581B2 (en) 2020-01-28 2022-10-11 Globus Medical, Inc. Pose measurement chaining for extended reality surgical navigation in visible and near infrared spectrums
US11382699B2 (en) 2020-02-10 2022-07-12 Globus Medical Inc. Extended reality visualization of optical tool tracking volume for computer assisted navigation in surgery
US11207150B2 (en) 2020-02-19 2021-12-28 Globus Medical, Inc. Displaying a virtual model of a planned instrument attachment to ensure correct selection of physical instrument attachment
US11607277B2 (en) 2020-04-29 2023-03-21 Globus Medical, Inc. Registration of surgical tool with reference array tracked by cameras of an extended reality headset for assisted navigation during surgery
US11382700B2 (en) 2020-05-08 2022-07-12 Globus Medical Inc. Extended reality headset tool tracking and control
US11153555B1 (en) 2020-05-08 2021-10-19 Globus Medical Inc. Extended reality headset camera system for computer assisted navigation in surgery
US11510750B2 (en) 2020-05-08 2022-11-29 Globus Medical, Inc. Leveraging two-dimensional digital imaging and communication in medicine imagery in three-dimensional extended reality applications
CN111544115A (zh) * 2020-05-16 2020-08-18 中国人民解放军陆军军医大学第二附属医院 一种增强现实导航追踪显示器以及校准方法
US11737831B2 (en) 2020-09-02 2023-08-29 Globus Medical Inc. Surgical object tracking template generation for computer assisted navigation during surgical procedure
DE102020212086A1 (de) * 2020-09-25 2022-03-31 Siemens Healthcare Gmbh Ermitteln der Qualität einer Positionierung eines in einen Patientenkörper eingeführten Objekts
WO2025188772A1 (en) * 2024-03-04 2025-09-12 Xironetic Llc Systems and methods for executing extended reality registration and pose estimation

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5526812A (en) * 1993-06-21 1996-06-18 General Electric Company Display system for enhancing visualization of body structures during medical procedures
US6847336B1 (en) * 1996-10-02 2005-01-25 Jerome H. Lemelson Selectively controllable heads-up display system
US20050203380A1 (en) * 2004-02-17 2005-09-15 Frank Sauer System and method for augmented reality navigation in a medical intervention procedure
WO2007115826A2 (en) * 2006-04-12 2007-10-18 Nassir Navab Virtual penetrating mirror device for visualizing of virtual objects within an augmented reality environment
US20070273610A1 (en) * 2006-05-26 2007-11-29 Itt Manufacturing Enterprises, Inc. System and method to display maintenance and operational instructions of an apparatus using augmented reality
WO2008119187A1 (en) * 2007-04-02 2008-10-09 Esight Corp. An apparatus and method for augmenting sight
WO2010067267A1 (en) * 2008-12-09 2010-06-17 Philips Intellectual Property & Standards Gmbh Head-mounted wireless camera and display unit
WO2013039136A1 (ja) * 2011-09-14 2013-03-21 ブラザー工業株式会社 画像表示装置および画像表示方法
US20150116316A1 (en) * 2013-10-28 2015-04-30 Brown University Virtual reality methods and systems
WO2015133608A1 (ja) * 2014-03-07 2015-09-11 国立大学法人京都大学 手術支援システムおよびこれに用いるカメラユニット

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5337758A (en) * 1991-01-11 1994-08-16 Orthopedic Systems, Inc. Spine motion analyzer and method
US5577502A (en) * 1995-04-03 1996-11-26 General Electric Company Imaging of interventional devices during medical procedures
US6033415A (en) 1998-09-14 2000-03-07 Integrated Surgical Systems System and method for performing image directed robotic orthopaedic procedures without a fiducial reference system
US7343195B2 (en) * 1999-05-18 2008-03-11 Mediguide Ltd. Method and apparatus for real time quantitative three-dimensional image reconstruction of a moving organ and intra-body navigation
EP1356413A2 (en) 2000-10-05 2003-10-29 Siemens Corporate Research, Inc. Intra-operative image-guided neurosurgery with augmented reality visualization
EP1395194B1 (en) 2001-06-13 2007-08-29 Volume Interactions Pte. Ltd. A guide system
AU2003246906A1 (en) * 2002-06-25 2004-01-06 Michael Nicholas Dalton Apparatus and method for superimposing images over an object
US7001383B2 (en) 2002-10-21 2006-02-21 Biosense, Inc. Real-time monitoring and mapping of ablation lesion formation in the heart
AU2004237202A1 (en) * 2003-04-30 2004-11-18 D4D Technologies, Llc Intra-oral imaging system
US7283572B2 (en) * 2004-01-15 2007-10-16 Ben Gurion University Of The Negey Measurement of wavelength transients in tunable lasers
US20060089626A1 (en) 2004-10-22 2006-04-27 Vlegele James W Surgical device guide for use with an imaging system
US7501995B2 (en) 2004-11-24 2009-03-10 General Electric Company System and method for presentation of enterprise, clinical, and decision support information utilizing eye tracking navigation
US8954134B2 (en) * 2005-09-13 2015-02-10 Children's Medical Center Corporation Light-guided transluminal catheter
CN101309725A (zh) * 2005-11-16 2008-11-19 眼科医疗公司 使用激光间接检眼镜的多光点光学医疗处理
US8131379B2 (en) 2007-08-27 2012-03-06 St. Jude Medical Atrial Fibrillation Division, Inc. Cardiac tissue elasticity sensing
WO2009083191A1 (de) 2007-12-21 2009-07-09 Holger Essiger System zur selektiven anzeige von informationen, enthaltend eine brillenartige vorrichtung, insbesondere brille
WO2009094646A2 (en) * 2008-01-24 2009-07-30 The University Of North Carolina At Chapel Hill Methods, systems, and computer readable media for image guided ablation
DE102009025077A1 (de) 2009-06-10 2010-12-16 Karl Storz Gmbh & Co. Kg System zur Orientierungsunterstützung und Darstellung eines Instruments im Inneren eines Untersuchungsobjektes insbesondere im menschlichen Körper
IT1401669B1 (it) * 2010-04-07 2013-08-02 Sofar Spa Sistema di chirurgia robotizzata con controllo perfezionato.
US20130267838A1 (en) 2012-04-09 2013-10-10 Board Of Regents, The University Of Texas System Augmented Reality System for Use in Medical Procedures
US20140022283A1 (en) * 2012-07-20 2014-01-23 University Health Network Augmented reality apparatus
US9729831B2 (en) 2012-11-29 2017-08-08 Sony Corporation Wireless surgical loupe
US9895055B2 (en) * 2013-02-28 2018-02-20 Cook Medical Technologies Llc Medical devices, systems, and methods for the visualization and treatment of bodily passages
WO2015127464A1 (en) 2014-02-24 2015-08-27 H. Lee Moffitt Cancer Center And Research Institute, Inc. Methods and systems for performing segmentation and registration of images using neutrosophic similarity scores
US9538962B1 (en) * 2014-12-31 2017-01-10 Verily Life Sciences Llc Heads-up displays for augmented reality network in a medical environment
US20160324580A1 (en) * 2015-03-23 2016-11-10 Justin Esterberg Systems and methods for assisted surgical navigation
GB2536650A (en) 2015-03-24 2016-09-28 Augmedics Ltd Method and system for combining video-based and optic-based augmented reality in a near eye display
CN107613897B (zh) * 2015-10-14 2021-12-17 外科手术室公司 扩增实境的外科导航
ITUB20155830A1 (it) * 2015-11-23 2017-05-23 R A W Srl "sistema di navigazione, tracciamento, e guida per il posizionamento di strumenti operatori"

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5526812A (en) * 1993-06-21 1996-06-18 General Electric Company Display system for enhancing visualization of body structures during medical procedures
US6847336B1 (en) * 1996-10-02 2005-01-25 Jerome H. Lemelson Selectively controllable heads-up display system
US20050203380A1 (en) * 2004-02-17 2005-09-15 Frank Sauer System and method for augmented reality navigation in a medical intervention procedure
WO2007115826A2 (en) * 2006-04-12 2007-10-18 Nassir Navab Virtual penetrating mirror device for visualizing of virtual objects within an augmented reality environment
US20070273610A1 (en) * 2006-05-26 2007-11-29 Itt Manufacturing Enterprises, Inc. System and method to display maintenance and operational instructions of an apparatus using augmented reality
WO2008119187A1 (en) * 2007-04-02 2008-10-09 Esight Corp. An apparatus and method for augmenting sight
WO2010067267A1 (en) * 2008-12-09 2010-06-17 Philips Intellectual Property & Standards Gmbh Head-mounted wireless camera and display unit
WO2013039136A1 (ja) * 2011-09-14 2013-03-21 ブラザー工業株式会社 画像表示装置および画像表示方法
US20150116316A1 (en) * 2013-10-28 2015-04-30 Brown University Virtual reality methods and systems
WO2015133608A1 (ja) * 2014-03-07 2015-09-11 国立大学法人京都大学 手術支援システムおよびこれに用いるカメラユニット

Also Published As

Publication number Publication date
RU2018117932A3 (it) 2020-04-20
US20190183586A1 (en) 2019-06-20
EP3380034A1 (en) 2018-10-03
US20180344408A1 (en) 2018-12-06
CA3005705A1 (en) 2017-06-01
JP6905535B2 (ja) 2021-07-21
DK3380034T3 (da) 2020-08-24
RU2746458C2 (ru) 2021-04-14
WO2017089941A1 (en) 2017-06-01
BR112018010382A2 (pt) 2018-12-04
US11596480B2 (en) 2023-03-07
ES2815800T3 (es) 2021-03-30
CN108601628B (zh) 2022-09-09
EP3380034B1 (en) 2020-06-03
BR112018010382B1 (pt) 2022-07-26
CN108601628A (zh) 2018-09-28
RU2018117932A (ru) 2019-12-25
JP2019503820A (ja) 2019-02-14
AU2016358472A1 (en) 2018-06-14

Similar Documents

Publication Publication Date Title
US11596480B2 (en) Navigation, tracking and guiding system for the positioning of operatory instruments within the body of a patient
JP6987893B2 (ja) 診断試験をリアルタイムの治療に統合する汎用デバイスおよび方法
US20220192611A1 (en) Medical device approaches
Sielhorst et al. Advanced medical displays: A literature review of augmented reality
JP5551957B2 (ja) 投影画像生成装置およびその作動方法、並びに投影画像生成プログラム
CN103735312B (zh) 多模影像超声引导手术导航系统
US20160163105A1 (en) Method of operating a surgical navigation system and a system using the same
Lin et al. HoloNeedle: augmented reality guidance system for needle placement investigating the advantages of three-dimensional needle shape reconstruction
WO2013111535A1 (ja) 内視鏡画像診断支援装置および方法並びにプログラム
JP2018514352A (ja) 後期マーカー配置による融合イメージベース誘導のためのシステムおよび方法
US10951837B2 (en) Generating a stereoscopic representation
JP5961504B2 (ja) 仮想内視鏡画像生成装置およびその作動方法並びにプログラム
JP5934070B2 (ja) 仮想内視鏡画像生成装置およびその作動方法並びにプログラム
JP2016524478A (ja) 画像データを立体視表示するための方法及び装置
KR20230004475A (ko) 초음파 이미징을 위한 증강 현실 데이터 상호작용을 위한 시스템 및 방법
JP2023004884A (ja) 拡張現実のグラフィック表現を表示するための表現装置
WO2016054775A1 (zh) 超声虚拟内窥成像系统和方法及其装置
Eck et al. Display technologies
Lin et al. HoloNeedle: Augmented-reality Guidance System for Needle Placement Investigating the Advantages of 3D Needle Shape Reconstruction