IT202000007252A1

IT202000007252A1 - Metodo di tracciamento di un dispositivo medico in tempo reale a partire da immagini ecocardiografiche per la supervisione olografica remota

Info

Publication number: IT202000007252A1
Application number: IT102020000007252A
Authority: IT
Inventors: Omar Pappalardo; Filippo Piatti; Giovanni Rossini
Original assignee: Artiness S R L
Priority date: 2020-04-06
Filing date: 2020-04-06
Publication date: 2021-10-06
Also published as: EP4132411A1; JP2023520741A; WO2021205292A1; US20230154606A1

Description

Metodo di tracciamento di un dispositivo medico in tempo reale a partire da immagini ecocardiografiche per la supervisione olografica remota

La presente invenzione riguarda un metodo di tracciamento in tempo reale di un dispositivo medico a partire da immagini ecocardiografiche per la supervisione olografica remota.

Stato dell?arte

Secondo la American Academy of Family Physicians (AAFP), la supervisione (o il ?proctoring?) ? una valutazione oggettiva delle competenze cliniche di un medico da parte di un supervisore (?proctor?) che rappresenta ed ? responsabile dello staff medico. Membri appena entrati a far parte di uno staff medico che vogliono acquisire competenze o membri gi? parte di uno staff medico che richiedono competenze nuove o complementari sono supervisionati durante lo svolgimento del loro servizio o durante la procedura per cui le nuove competenze sono richieste. Nella maggior parte delle situazioni, il supervisore ha una funzione di semplice controllo nel valutare le abilit? tecniche e conoscitive di un altro medico. Il supervisore non fornisce direttamente cure al paziente, non ha una relazione medico-paziente con il paziente in cura e non riceve alcun compenso dal paziente.

I termini supervisione (?proctorship?) e tutoraggio (?preceptorships?) sono in alcuni casi usate equivalentemente. Il tutoraggio ? ad ogni modo differente poich? rappresenta un programma educativo in cui un tutore trasmette a un altro medico nuove competenze e il tutore ha responsabilit? fondamentali nella cura del paziente.

Si possono distinguere tre tipi di supervisione: prospettico, simultaneo e retrospettivo. Nella supervisione prospettica, ovvero anteriore al trattamento del paziente, il supervisore esamina il paziente personalmente o controlla la sua cartella clinica. Questo tipo di supervisione pu? essere usata se le indicazioni per una procedura clinica sono complesse da determinare o se la procedura di per s? risulta particolarmente rischiosa. Nella supervisione simultanea il supervisore osserva di persona il lavoro del medico richiedente. Questo tipo di supervisione ? solitamente utilizzato per l?assistenza a procedure invasive, in modo che il supervisore possa fornire allo staff medico un controllo diretto per garantire sulle competenze del medico richiedente. La supervisione retrospettiva riguarda una revisione retrospettiva della cartella clinica del paziente da parte del supervisore. Le revisioni retrospettive sono solitamente indicate per la supervisione di procedure non invasive.

La supervisione simultanea ? dispendiosa in termini di tempo e complessa come organizzazione, ma si pu? rivelare la pi? efficace.

Esiste una forte esigenza di utilizzare tecnologie di telecomunicazione per consentire una supervisione virtuale da remoto, che permetterebbe di usare i miglior medici del mondo per fornire supervisione ai medici di un qualsiasi ospedale.

Object and subject-matter of the invention

L?obiettivo della presente invenzione ? di fornire un metodo per il tracciamento in tempo reale di un dispositivo medico durante un intervento chirurgico per una supervisione remota olografica.

L?oggetto della presente invenzione ? un metodo di tracciamento in tempo reale di un dispositivo medico secondo le rivendicazioni allegate.

Infine, ? oggetto specifico della presente invenzione un server configurato in modo tale da essere usato nel metodo dell?invenzione, secondo le allegate rivendicazioni di server.

Descrizione dettagliata di forme realizzative dell?invenzione

Lista delle figure

L?invenzione verr? qui di seguito descritta a scopo illustrativo ma non limitativo, in riferimento specifico ai disegni delle figure allegate, nelle quali:

- La Figura 1 rappresenta lo schema generale dell?assistenza di supervisione dell?invenzione; - La Figura 2 rappresenta uno schema a blocchi dettagliato di una realizzazione secondo l?invenzione;

- La Figura 3 rappresenta un diagramma semplificato del medico e del supervisore che utilizzano l?invenzione;

- Le Figure da 4 a 6 rappresentano diversi set di training usati per l?addestramento della rete di intelligenza artificiale nel metodo dell?invenzione applicato ad un intervento al cuore;

- La Figura 7 raffigura il loss trend di una rete neurale UNET in un dataset di training (grigio scuro) e in un dataset di validazione (grigio chiaro), riferito a un esempio addestramento di rete neurale nel metodo in accordo con l?invenzione;

- La Figura 8 rappresenta un esempio di risultati per la rete neurale dell?invenzione applicata a un?immagine di validazione in accordo con l?invenzione. La prima riga ? relativa alla segmentazione del dispositivo medico, mentre la seconda riga ai lembi di una valvola cardiaca. Le immagini di sinistra mostra la segmentazione effettuata dalla rete neurale sovrapposta a un ritaglio dell?immagine diagnostica, quelle centrali la segmentazione fornita da un soggetto di test e quelle di destra la sola segmentazione della rete neurale;

- La Figura 9 mostra un esempio di risultati della rete neurale relativi all?invenzione, nella quale la segmentazione dei lembi (seconda riga) ? errata e incompleta, mentre la segmentazione del dispositivo medico (prima riga) ? accurata.

Viene qui specificato che elementi relativi a realizzazioni differenti possono essere combinati insieme al fine di fornire ulteriori realizzazioni senza limitazioni rispetto al concetto tecnico dell?invenzione dato che l?esperto del ramo comprende direttamente e in modo non ambiguo ci? che viene descritto in seguito.

La presente descrizione fa inoltre riferimento allo stato dell?arte per la sua implementazione in riferimento alle caratteristiche dettagliate non descritte, come ad esempio elementi di importanza minore solitamente usati nella letteratura in soluzioni della stessa tipologia.

Quando un elemento viene introdotto significa sempre che pu? essere ?almeno uno? o ?uno o pi??.

Quando una lista di elementi o caratteristiche ? fornita in questa descrizione ? inteso che i trovati relativi all?invenzione ?comprendono? o in alternativa ?sono composti? da questi elementi.

Forme di realizzazione

Nonostante le seguenti forme di realizzazione siano riferite alla supervisione durante interventi al cuore, va tenuto in conto che i metodi dell?invenzione permettono una supervisione remota per qualunque intervento medico o chirurgico su ogni organo o gruppo di organi.

Infatti, con riferimento alla Fig. 1, una azienda di dispositivi medici 10 che sta fornendo il servizio di supervisione utilizza il network di telecomunicazione 20 per connettersi a uno o pi? ospedali 30, dove i dati dall?operazione in ospedale sono trasmessi preferibilmente usando un Multi-access edge computing (MEC) 40.

Anche se la seguente realizzazione si riferisce all?utilizzo di una rete di comunicazione 5G, deve essere inteso che il metodo dell?invenzione pu? essere ottimamente realizzato tramite altre attuali o future tipologie di rete di comunicazione, incluse connessioni cablate e Wi-Fi, naturalmente con diversi tempi di latenza.

Come descritto in un aspetto dell?invenzione, delle immagini ecocardiografiche delle valvole cardiache e delle strutture cardiache del paziente sono acquisite durante una procedura chirurgica transacatetere durante l?impianto di un dispositivo medico cardiovascolare. Qualunque tipo di dispositivo medico, inclusi quelli utilizzati durante l?operazione e non impiantati pu? essere tracciato in accordo con l?invenzione.

Al momento dell?acquisizione le immagini contengono le strutture anatomiche del paziente di interesse (ad esempio i lembi di valvole cardiache, l?annulus, l?atrio sinistro e il ventricolo sinistro) e il dispositivo medico che ? manovrato dall?operatore medico.

Con riferimento allo schema a blocchi di Fig. 2, l?immagine del cuore di un paziente ? acquisita in tempo reale da una macchina ecocardiografica 101 all?interno della sala operatoria. La suddetta immagine pu? essere catturata attraverso un sistema di acquisizione video (ad esempio un convertitore HDMI) e pu? essere trasmessa come dato grezzo a un software di streaming 102 (ad esempio un software per lo streaming video peer-to-peer) su un computer locale (all?interno della sala operatoria), preferibilmente mantenendo la stessa risoluzione e lo stesso frame rate dell?output di 101.

Il software di streaming su 102 prende il video in input e genera una connessione streaming (ad esempio tramite lo User Datagram Protocol (UDP)) che punta all?indirizzo IP di una macchina virtuale (ad esempio con sistema operativo Windows, ad oggi la scelta migliore per connessioni tra dispositivi di Mixed Reality) all?interno del server 105 (dove ad esempio il sistema M.E.C ? implementato), sul quale ? situato il software streaming per la ricezione del segnale video 106.

Il ricevitore video peer-to-peer 106 riceve il segnale streaming attraverso un router 5G 103 e un?antenna 5G 104, preferibilmente mantenendo la stessa risoluzione e lo stesso frame rate dell?output di 101. A questo punto, in accordo con una forma di realizzazione preferita dell?invenzione, un trasferimento di dati di circa 20Mbit/s ? generato da 102 a 106.

In generale, secondo l?invenzione, un router 5G pu? essere connesso via LAN o via Wi-Fi a uno streamer video e via segnale radio 5G a una antenna 5G. Inoltre, secondo un aspetto dell?invenzione, in alternativa al router potrebbe essere utilizzato un computer con una SIM 5G per avere un accesso diretto alla rete.

Secondo un'altra forma di realizzazione, il router pu? essere integrato nel dispositivo di visualizzazione olografica dell?utilizzatore finale (in Fig. 2, il blocco 103 ? integrato nel blocco 113). Pi? in generale il dispositivo di visualizzazione olografica dell?utilizzatore finale pu? essere configurato per connettersi direttamente alla rete 5G.

Successivamente il flusso video ? trasferito, preferibilmente come un flusso di immagini, alla rete di intelligenza artificiale 107, che ? addestrata per riconoscere nelle immagini ecocardiografiche la posizione del dispositivo medico e di almeno due punti di repere anatomici (nell?esempio l?inserzione dei lembi della valvola mitrale sull?annulus) almeno per un sottoinsieme del flusso di immagini e preferibilmente per l?intero flusso (cio? per tutti i frame del video).

Anche se ? stato qui menzionato un dispositivo medico, il metodo dell?invenzione pu? abilitare il riconoscimento contemporaneo di pi? di un singolo dispositivo medico usato durante l?operazione.

Secondo un aspetto dell?invenzione, la rete di intelligenza artificiale 107 (o pi? in generale un algoritmo esperto) genera una sovrapposizione di elementi grafici su ogni immagine processata (ad esempio una linea o un segmento di qualsiasi forma) per l?identificazione della posizione del dispositivo medico e preferibilmente anche del suo orientamento nello spazio. La rete di intelligenza artificiale produce un output, che ? un flusso (ad esempio continuo) di immagini che sono riformattate in modo efficiente in un video con lo stesso formato dei quello di input, che ? poi trasferito direttamente a un creatore di video virtuali 108. Il generatore di video virtuali ? preferibilmente costituito da un generatore di webcam virtuale, che processa il flusso video come se fosse generato da una telecamera dal vivo.

La rete di intelligenza artificiale 107 ? situata preferibilmente in una seconda macchina virtuale (ad esempio con sistema operativo Linux che ad oggi ha performance migliori) che pu? essere installata nello stesso strato del M.E.C. come nel caso della prima macchina virtuale. Il generatore di webcam virtuale 108 ? installato sulla prima macchina virtuale cos? come il ricevitore video peer-to-peer 106.

Il generatore di webcam virtuale 108 pu? codificare l?input che arriva da 107 come un segnale virtuale di webcam dal vivo, preferibilmente mantenendo la stessa risoluzione e la frequenza dei fotogrammi. Questo processo di codifica video ottimizza l?alto volume di trasmissione proveniente originariamente dalla macchina ecocardiografica 101, in modo che possa essere successivamente utilizzato con un server virtuale di trasmissione 109. Il server virtuale 109 ? rappresentato preferibilmente da un server virtuale WebRTC che stabilisce una connessione multi-peer con gli utenti connessi, sfruttando il protocollo di trasmissione WebRTC e riducendo di conseguenza di circa 1/10 la quantit? totale di dati trasmessi sulla rete (ad esempio a 2Mbit/s) rispetto ad altre tecnologie.

Il protocollo di streaming 109 si trova nella prima macchina virtuale e legge il segnale della webcam virtuale di 108 come un sistema di video chat (questo solamente se ha a che fare con un segnale webcam, altrimenti il protocollo di streaming non legge il segnale di 108 come una chat) e lo processa per mandare dati binari a un dispositivo di visualizzazione olografica dell?utilizzatore finale 112 e/o 113 attraverso una antenna 5G 110 e un router 5G 111 e/o un?antenna 5G 104 e un router 5G 103 rispettivamente.

Anche se nella presente descrizione il dispositivo 112 ? un dispositivo fisico da utilizzare da parte di un chirurgo umano, l?invenzione si applica egualmente quando il dispositivo 112 ? un dispositivo virtuale integrato in un robot che ? configurato per controllare il dispositivo medico. Di conseguenza nella presente applicazione un dispositivo di visualizzazione fisico e virtuale sono intesi allo stesso modo nel descrivere e rivendicare l?invenzione.

Questi dati binari contengono le informazioni di ogni pixel del video che ? stato processato. In accordo con una forma di realizzazione della presente invenzione, questa informazione ? ricevuta da 112 e 113 nello stesso istante e, nel caso della attuale tecnologia, ? applicata per cambiare la propriet? di texture del materiale di un cubo 3D olografico che rappresenta uno schermo virtuale; questo mostra esattamente l?output del video della rete di intelligenza artificiale 107 e di conseguenza le immagini ecocardiografiche con il dispositivo medico e possibilmente con il riconoscimento dei punti di repere anatomici (vedi sotto).

Vantaggiosamente, 112 ? situato in una localit? remota (indossato da un medico) e distante rispetto a 101, mentre 113 ? situato nello stesso luogo di 101. Nondimeno, l?intero sistema permette ai due operatori (112 ? supervisore, 113 ? chirurgo) di condividere la stessa visualizzazione olografica con il tracciamento da parte intelligenza artificiale del dispositivo medico nello stesso istante di tempo. Utilizzando una rete 5G, il ritardo pu? essere minore di 0,5 secondi rispetto all?output di 101.

L?intero sistema pu? basarsi su un sistema M.E.C. sul server 105, che ? una tecnologia che permette di ospitare sia la rete di trasmissione con router e antenna 5G sia le macchine virtuali, funzionando come un servizio dedicato di cloud computing.

L?infrastruttura M.E.C. ? implementata per essere un sistema di edge-computing de-centralizzato vicino alla fonte di dati, cio? vicino a 101 e alla struttura ospedaliera. Questa de-centralizzazione del processo computazionale ? al momento caratteristica unica delle infrastrutture M.E.C. e permette di avere delle risorse computazionali pi? vicine alla fonte dei dati rispetto a qualunque altra rete di comunicazione (ad esempio 4G). L?utilizzo di tecnologia 5G sar? quindi vantaggiosa per ottenere una latenza molto bassa nella trasmissione dei dati da e verso il M.E.C. anche in presenza di trasmissioni di dati con un alto volume di trasmissione e connessioni in tempo reale. Una bassa latenza ? garantita in particolare anche nel caso di connessioni multiple, cio? con un alto numero di utenti connessi simultaneamente. Questo pu? verificarsi in due situazioni:

1) Durante il supporto di 112 a 113, N>50 partecipanti si connettono per osservare il lavoro di 112 e 113 con un fine didattico;

2) 105 ospita in parallelo N>20 paia di macchine virtuali che contemporaneamente gestiscono N connessioni tra ospedale e supervisore. Tutte queste connessioni possono passare attraverso un gruppo di antenne 104, 110 pi? vicine ai server computazionali.

Visualizzazione contemporanea

In riferimento alla Fig. 3, l?invenzione permette l?utilizzo di un kit di supervisione presso l?ospedale mentre la supervisione avviene in una localit? diversa. Per esempio, la localit? #1 e la localit? #2 possono essere remote, permettendo cos? una doppia supervisione. In questo caso, le due localit? di visualizzazione possono comunicare tra loro attraverso una rete di comunicazione che pu? essere la stessa rete di comunicazione usata per la visualizzazione remota.

La macchina ecografica 3D acquisisce le immagini ecocardiografiche e le manda a un computer locale, che permette di visualizzare il video su un dispositivo Hololens locale. Per far ci?, il video ? prima di tutto inviato a un server M.E.C. che utilizza un modello di organo preparato in precedenza (ad esempio salvato su un server Azure) della stessa anatomia acquisita in quel momento dalla macchina ecografica; questo al fine di unire le informazioni ecocardiografiche al modello di organo preparato in precedenza per creare un video in mixed reality. Il video in mixed reality ? infine rimandato a una antenna locale e successivamente alle Hololens, cos? come a un ricevitore remoto e quindi alle Hololens remote.

Mixed reality

La visualizzazione olografica dell?ecocardiografia sopra descritta pu? essere in realt? mista, secondo una forma di realizzazione specifica dell'invenzione. In questo caso, viene preparato in anticipo un modello di anatomia 3D del cuore (o altro organo) (per ciascun paziente basato su una scansione) e sovrapposto allo streaming dal vivo. Inoltre, l'IA riconosce non solo la posizione e l'orientamento del dispositivo medico, ma anche punti di riferimento anatomici.

In questo modo, il dispositivo medico pu? essere visualizzato all'interno del modello anatomico, in modo che il medico possa decidere se spostare l'oggetto in modo diverso. I punti di riferimento anatomici possono servire anche per altri scopi clinici.

Il dispositivo di visualizzazione olografica pu? essere ad esempio Hololens, Magic Leap, Lenovo Explorer o qualsiasi altro, che sia olografico o meno. Inoltre, la realt? mista pu? includere qualsiasi altro elemento utile come un pannello di pulsanti.

La sovrapposizione dell'immagine ecografica sul modello 3D pu? essere effettuata da una trasformazione rigida. Tuttavia, se la parte anatomica si sta muovendo (ad esempio, se il cuore batte), la sovrapposizione rigida non ? possibile. In questo caso, ? possibile utilizzare una trasformazione rigida affine.

Ad esempio, nell'acquisizione ecocardiografica della valvola mitrale possiamo identificare il punto di sella (p1= ) [Netter, Frank H. Atlas Of Human Anatomy. Philadelphia, PA : Saunders/Elsevier, 2011netter], il punto medio dell?annulus posteriore (p2 = ) [Netter, Frank H. Atlas Of Human Anatomy. Philadelphia, PA : Saunders/Elsevier, 2011] e l?apice del ventricolo (p3 = ) [Netter, Frank H. Atlas Of Human Anatomy. Philadelphia, PA : Saunders/Elsevier, 2011].

Ovviamente, in questo esempio e nella maggior parte dei casi ? sufficiente prendere come riferimento i singoli punti di un?area.

Dopo l?identificazione dei 3 marcatori corrispondenti (P1= ) nel modello preoperativo 3D, per sovrapporre l?immagine 2D sul modello 3D, il sistema da risolvere ? il seguente:

Inoltre, il modello anatomico 3D pu? essere dinamico, vale a dire una sequenza di modelli in cui l'organo del corpo del modello ha una forma diversa in ciascun fotogramma (o almeno per un sottoinsieme di fotogrammi della sequenza). Quando lo stesso avviene per il flusso di immagini acquisito, la sovrapposizione del flusso di immagini al modello pu? essere un problema. In questo caso, il riconoscimento corretto del fotogramma da sovrapporre all?organo del corpo acquisito a un determinato istante pu? essere eseguito identificando il fotogramma acquisito per il quale l'errore della trasformazione affine del modello in quell?istante ? minimo. Ci? pu? essere realizzato mediante trasformazione matematica o mediante un algoritmo addestrato. Naturalmente, questo pu? essere fatto solo per alcuni degli istanti del modello e l'interpolazione o altri metodi possono essere utilizzati in mezzo.

Addestramento delle reti neurali

Il punto di riferimento che deve essere riconosciuto dall'IA viene deciso in anticipo. Pertanto, l'IA deve essere addestrata a riconoscere immagine per immagine fino a quando non trova i punti di repere.

I punti di repere possono essere aree, quindi in questo caso il posizionamento sul modello dovrebbe essere deciso. Poich? ci? cambierebbe la precisione del posizionamento del dispositivo medico, secondo un aspetto dell'invenzione, l'IA pu? essere addestrata per ottimizzare la sovrapposizione utilizzando pi? di tre punti di repere.

Le Figure 4-6 mostrano un esempio di set di addestramento con due reperi (segmento con motivo a griglia quadrata per il lembo della valvola cardiaca e segmento con motivo a croce per il lembo della valvola cardiaca) e un dispositivo medico (segmento con motivo a linea obliqua).

Esempi specifici di IA dell?invenzione

Situazione esemplificativa

Un sistema basato sull?intelligenza artificiale ? stato sviluppato per identificare il dispositivo per la riparazione valvolare Mitraclip<TM >(prodotta da Abbott per suturare i lembi delle valvole cardiache) nei video acquisiti come sequenze temporali di viste ecocardiografiche 2D.

In particolare:

- Ciascun fotogramma del video ? analizzato per segmentare il dispositivo;

- Il risultato del modello ? la segmentazione binaria della Mitraclip<TM >in ciascun fotogramma.

Descrizione del set di dati e pre-processamento

Facendo riferimento alle Figure. da 4 a 6, le immagini salvate durante le esecuzioni di ecocardiografia e le corrispondenti annotazioni costituiscono il punto base di partenza. In particolare, per ciascuna immagine, le annotazioni mostrano la Mitraclip<TM >come un segmento con motivo a linea obliqua, mentre i lembi della valvola mitrale sono identificati come segmenti a griglia quadrata e a motivi incrociati.

Le immagini sono state acquisite mentre veniva eseguita l?ecocardiografia in modalit? 2D o 3D e con le sonde di due diversi produttori. In particolare:

- 186 immagini da ecocardiografia 2D acquisite con una sonda GE;

- 823 immagini da ecocardiografia 2D acquisite con una sonda Philips;

- 166 immagini da ecocardiografia 3D acquisite con una sonda GE;

- 216 immagini da ecocardiografia 3D acquisite con una sonda Philips.

Durante un primo test, sono state utilizzate solo immagini da ecocardiografia 2D con sonda Philips, ma lo sviluppo del modello ha sfruttato tutti i tipi di immagini al fine di aumentare le dimensioni del set di dati.

L'addestramento, la validazione e il set di test sono stati creati in modo casuale (scelta casuale tra le immagini), con un seme fisso, ma con il vincolo di includere tutte le immagini dalla stessa acquisizione ecocardiografica nello stesso set. Circa il 10% dell'intero set di dati disponibile ? stato incluso nel set di test, il 10% nel set di dati di convalida e il restante 80% nel set di addestramento.

Per identificare il dispositivo nella costruzione della maschera (la maschera ? un'immagine gemella sovrapposta all'immagine originale, nell'immagine gemella sono presenti le aree segmentate) vengono selezionati i pixel con il motivo a linea obliqua, mentre quelli a griglia quadrata e quelli con il motivo a croce sono considerati per definire i lembi. La costruzione della maschera a partire dall'annotazione consente di includere o meno i lembi mitralici. Nel primo caso la maschera ? 3D, includendo due canali in riferimento ai lembi mitralici (in generale, ciascun canale pu? corrispondere a un oggetto segmentato), mentre nel secondo ? bidimensionale.

Struttura della rete neurale

Considerando la finalit? di segmentare una immagine 2-dimensionale (pi? in generale, una immagine N-dimensionale, ad esempio 3-dimensionale, ovvero di ecocardiografia o fluoroscopia o di altro sistema di acquisizione di immagini), ? stato scelto di utilizzare una rete neurale UNET, a partire da un modello standard disponibile presso https://github.com/milesial/Pytorch-UNet/blob/master/unet/unet_model.py. ? stato scelto di addestrare il modello minimizzando il valore complementare allo score Dice.

La rete neurale pu? avere una o due classi in uscita, a seconda della necessit? di identificare solo il dispositivo medico o anche i foglietti della valvola mitrale. Se entrambi devono essere segmentati, viene calcolato il valor medio degli errori delle due uscite. ? stata inclusa anche la possibilit? di addestrare il modello alla casistica di Dropout, ovvero, alla assenza sia del dispositivo medicale che dei foglietti della valvola.

Ciascun gruppo contiene 16 immagini; la velocit? e il peso della curva di apprendimento sono stati inizializzati rispettivamente a 1e-3 e 1e-4. La velocit? di apprendimento ? stata aggiornata ogni 800 epoche, con un valore di gamma pari a 0,618.

Sono state applicate diverse trasformazioni alle immagini prima di utilizzarle come ingressi per la rete neurale. Nello specifico, le immagini hanno subito:

- Rotazione casuale da 0 a 90?;

- Ritaglio casuale in forma quadrata, con la dimensione del lato pari alla dimensione minima della immagine trovata all?interno del gruppo di immagini stesso;

- Specchiatura casuale;

- Modifica causale della luminosit?, se desiderato; - Modifica della dimensione per essere pari a 128x128 pixels.

Le immagini del gruppo di immagini usato per la validazione, invece, sono state solo centrate e ritagliate con la dimensione del lato pari alla dimensione minima della immagine trovata all?interno del gruppo di immagini stesso, e infine modificata per avere una dimensione pari a 128x128 pixels.

Prestazione della rete neurale

La rete neurale ? stata addestrata con le seguenti configurazioni:

1. Rete classica UNET 2D (come da link soprariportato);

2. UNET 2D con modalit? Dropout;

3. UNET 2D con modalit? Dropout e segmentazione foglietti valvolari;

4. UNET 2D con modalit? Dropout, segmentazione foglietti valvolari e trasformazione della luminosit?.

Le prestazioni della rete sono state valutate dall?analisi della segmentazione del dispositivo Mitraclip<TM >nel gruppo di immagini di validazione, e da alcuni test eseguiti su nuovi gruppi di immagine forniti. Le migliori prestazioni sono state raggiunte nel caso 3: in particolare, la segmentazione dei foglietti valvolari ? risultata essere utile nel migliorare il riconoscimento del dispositivo medico stesso. Infatti, riconoscendo le aree di appartenenza ai foglietti valvolari, viene ridotta l?area di ricerca del dispositivo medico. Oltre a ci?, permette di generare dei vincoli relazionali di posizione reciproca tra dispositivo e foglietti. Il grafico di Figura 7 mostra l?andamento dell?errore (perdita) della rete durante il training (curva grigio scuro) e durante la validazione (grigio chiaro).

In Figura 8, vengono mostrati i risultati ottenuti sul gruppo di immagini di validazione. La riga in alto riporta i risultati per la segmentazione del dispositivo Mitraclip<TM>, mentre la riga in basso quelli di segmentazione dei foglietti valvolari. In entrambe le righe, l?immagine a sinistra mostra la predizione della rete neurale sovrapposta alla immagine clinica ritagliata, l?immagine centrale mostra la segmentazione originale fornita come riferimento, mentre a destra viene mostrata solo la predizione della rete neurale.

In generale, la segmentazione del dispositivo medico risulta migliore della segmentazione dei foglietti valvolari, che in alcuni casi appare errata o incompleta, come nei casi mostrati in Figura 9. La rete di segmentazione del dispositivo Mitraclip<TM >appare accurata e si adatta alla forma del dispositivo meglio dell? approssimazione lineare fornita come riferimento per la segmentazione stessa.

Applicazione del modello a video ecocardiografici

Il modello di rete (algoritmo esperto) ? stato utilizzato per identificare il dispositivo Mitraclip<TM >in video acquisiti da un sistema ecocardiografico: i video sono sequenze temporali di immagini ecocardiografiche 2D.

Il video, una volta acquisito, viene suddiviso nei suoi fotogrammi. Ciascuno di essi viene fornito come ingresso alla rete neurale che fornisce la propria predizione. I risultati relativi ad un gruppo di fotogrammi sono nuovamente raggruppati come sequenza temporale e convertiti in un video con formato .mp4.

Al fine di migliorare la resa grafica del video, si ? scelto di aggiungere la possibilit? di estendere la predizione della rete per ciascun fotogramma anche a n immagini precedenti e successive con un valore incrementale di opacit?: ci? permette di ottenere delle segmentazioni pi? uniformi e quindi un video pi? stabile nel tempo.

Vantaggi della invenzione

La tecnologia dell?invenzione permette di effettuare una supervisione remota virtuale, la quale permette ad un ospedale di consultare i migliori medici esperti nel mondo.

Essa permette inoltre a un supervisore di eseguire in rapida sequenza una serie di sessioni di supervisione in localit? tra loro distanti e differenti che non potrebbero essere altrimenti raggiunte velocemente: questo aumenta la copertura di ospedali da parte dello stesso supervisore esperto.

Inoltre, permette di effettuare un supporto in ?emergenza?, ovvero un supporto di supervisione che non era previsto dovesse essere effettuato. Ci? ? particolarmente vantaggioso nei casi in cui delle complicazioni inaspettate si presentino durante casi di intervento pi? o meno complessi, per i quali non ? stato possibile preventivare l?intervento del supervisore.

Nella descrizione qui sopra, le preferite forme di realizzazione dell?invenzione sono state descritte e alcune sue varianti suggerite, ma rimane inteso che gli esperti del settore saranno in grado di fare modifiche e ottenere alternative senza discostarsi altres? dal corrispondente ambito di protezione, come definito dalle seguenti rivendicazioni.

Claims

RIVENDICAZIONI 1. Metodo per visualizzare, su di un dispositivo olografico remoto (112), un flusso di immagini medicali acquisite in un sito di intervento, comprendente l?esecuzione dei seguenti punti: A. Acquisizione di un flusso di immagini medicali tramite un apparato di acquisizione medicale (101) di un organo del corpo di un paziente, nel quale organo del corpo di un paziente viene inserito un dispositivo medicale durante un intervento; B. Trasmissione del flusso di immagini medicali (102) verso una macchina virtuale su Server (105); C. Riconoscimento, tramite algoritmo esperto (107), attivo su detta macchina virtuale, della posizione e dell?orientamento del dispositivo medicale e di almeno due punti di repere anatomici su almeno un sottogruppo di immagini nel flusso di immagini medicali; D. Generazione di una sovrapposizione grafica su detto sottogruppo di immagini per l?identificazione della posizione e dell?orientamento del dispositivo medicale, ottenendo un flusso di immagini con sovrapposizione grafica; E. Riformattazione (108) del flusso di immagini con sovrapposizione grafica in un segnale video; e F. Invio del segnale video al dispositivo olografico remoto (112) per la visualizzazione.
2. Metodo secondo la rivendicazione 1, nel quale nella fase A sono acquisite immagini ecocardiografiche, ad esempio durante una procedura chirurgica transcatetere, e gli almeno due punti di repere anatomici sono i foglietti della valvola mitrale sull?inserzione annulare.
3. Metodo secondo le rivendicazioni 1 o 2, nel quale nella fase B la trasmissione ? effettuata tramite protocollo di Streaming video User Datagram Protocol (UDP) con destinazione l?indirizzo pubblico della macchina virtuale su Server.
4. Metodo secondo una qualsiasi delle rivendicazioni da 1 a 3, nel quale l?elemento grafico sovrapposto ? un segmento.
5. Metodo secondo una qualsiasi delle rivendicazioni da 1 a 4, nel quale tra la fase E e la fase F il segnale video ? codificato cos? da ottimizzare la dimensione di trasmissione compatibilmente con protocollo di Streaming video WebRTC.
6. Metodo secondo una qualsiasi delle rivendicazioni da 1 a 5, nel quale nella fase B la macchina virtuale si trova all?interno di un ambiente di Multi-access Edge Computing.
7. Metodo secondo una qualsiasi delle rivendicazioni da 1 a 6, nel quale le fasi D ed E sono effettuate su una macchina virtuale che ? differente da quella utilizzata per effettuare la fase C.
8. Metodo secondo una qualsiasi delle rivendicazioni da 1 a 7, nel quale la seguente fase ? effettuata contemporaneamente alla fase F: G. Invio del segnale video a un dispositivo olografico locale (103) per la visualizzazione olografica sul luogo di intervento.
9. Metodo secondo una qualsiasi delle rivendicazioni da 1 a 8, nel quale il Server (105) ? un Server con tecnologia 5G.
10. Metodo secondo una qualsiasi delle rivendicazioni da 1 a 9, nel quale durante la fase E il segnale video ? ulteriormente processato da un generatore di videocamera virtuale (109).
11. Metodo secondo una qualsiasi delle rivendicazioni da 1 a 10, nel quale nella fase C gli almeno due punti di repere anatomici riconosciuti sono usati per sovraimporre graficamente il flusso di immagini su un modello pre-calcolato dell?organo del paziente.
12. Metodo secondo la rivendicazione 11, nel quale nella fase A vengono acquisite una serie di immagini di un organo del corpo di un paziente, in cui la forma dell?organo differisce in almeno un sottogruppo di fotogrammi dell?organo stesso, e in cui il modello precalcolato dell?organo ? anch?esso costituito da una serie di fotogrammi, le seguenti fasi sono eseguite per sovrapporre graficamente i fotogrammi dell?organo acquisito ai fotogrammi del modello:S1. Per ogni fotogramma, viene calcolata una trasformazione rigida affine, per almeno un sottogruppo dei fotogrammi acquisiti dell?organo verso i fotogrammi del modello; S2. Per ciascun fotogramma del modello, viene sovrapposto al modello pre-calcolato uno specifico fotogramma acquisito, in cui il fotogramma specifico minimizza l?errore di stima della trasformazione rigida affine della fase S1.
13. Metodo secondo una qualsiasi delle rivendicazioni da 1 a 12, nel quale il dispositivo olografico remoto (112) ? un dispositivo virtuale integrato in un robot che ? configurato per controllare il dispositivo medicale.
14. Server, in cui il Server ? configurato per poter eseguire le fasi C, D, E secondo una qualsiasi delle rivendicazioni da 1 a 13.