ITTO20111216A1 - Metodo di training per radiodiagnostica medica, chirurgia, bioingegneria, robotica, meccatronica e simili - Google Patents

Description

“METODO DI TRAINING PER RADIODIAGNOSTICA MEDICA, CHIRURGIA, BIOINGEGNERIA, ROBOTICA MECCATRONICA E SIMILIâ€

TESTO DELLA DESCRIZIONE

La presente invenzione si riferisce ad un metodo di training per radiodiagnostica medica, chirurgia, bioingegneria, meccatronica e simili, implementato mediante l’utilizzo di tecnologie aptiche e stereoscopiche per consentire di operare in un ambiente tridimensionale, immersivo, interagendo con la realtà simulata anche mediante il tatto.

L’impiego di dispositivi ad interfaccia aptica, noti allo stato dell’arte, rende infatti possibile la percezione di una sensazione di forza e di resistenza corrispondente a quella percettibile nell’ambito della corrispondente operazione reale, e rappresenta un punto di grande rilievo nelle simulazioni di realtà virtuale.

Sono attualmente noti, allo stato della tecnica, dispositivi e metodi di simulazione che si basano sull’impiego di dette tecnologie stereoscopica ed aptica al fine di rendere possibile un’interazione visiva e tattile fra operatore e macchina; in particolare:

il documento n. US2002119432A1 rende noto un metodo per la simulazione di interventi dentistici, in cui à ̈ presente un dispositivo a interfaccia aptica a mezzo del quale un operatore à ̈ in grado di simulare un determinato intervento dentistico, operando su un modello virtuale stereoscopico, di piccole dimensioni reso precedentemente disponibile in uno specifico formato stereolitografico su uno schermo (anche da utilizzarsi in combinazione con appositi occhiali per la visualizzazione tridimensionale dell’immagine), ottenendo così un feedback tattile simulativo di quello che si riceve in analogo intervento reale. Per l’ottenimento di detta interazione tattile, l’anatomia del modello virtuale (un dente) à ̈ generata, operando in ambiente informatico, mediante rappresentazioni volumetriche, dove le parti interna ed esterna di detto modello vengono rappresentate come un insieme di voxel (volumetric pixel), a loro volta ordinati in apposita griglia a struttura tridimensionale: i valori dati a ciascun elemento di detta griglia determinano se ciascuno di detti elementi si trovi all’interno, all’esterno ovvero sulla superficie del dente. La superficie del modello virtuale à ̈ determinata e specificata attraverso una isosuperficie (o superficie a valori eguali), nell’ambito di detta griglia 3D. Ciascun voxel contenuto nella griglia tridimensionale corrisponde ad un’unica tipologia di materiale: questo à ̈ reso possibile utilizzando una o più ulteriori griglie 3D (griglie degli attributi), aventi la medesima estensione di detta griglia 3D dell’oggetto, in cui però i valori in esse contenuti fungono da indici nell’ambito di una tabella di ricerca delle tipologie di materiali, che influisce sulla percezione visiva e tattile dei voxel, nonché sulla sensazione di feedback da parte dell’operatore nel corso della simulazione con appositi strumenti virtuali. Il descritto metodo di simulazione prevede almeno le seguenti fasi:

- memorizzazione di detti dati volumetrici che definiscono la collocazione di almeno una isosuperficie in un modello di dente,

- memorizzazione dei dati relativi a detti punti, per la definizione di una pluralità di punti sensibili che definiscono la superficie di uno strumento dentistico, avente un impugnatura,

- impiego di un elaboratore digitale, consistente in un processore ed un monitor per la visualizzazione tridimensionale di detto modello virtuale di un dente,

- impiego di detto elaboratore e detto monitor per la visualizzazione tridimensionale di detto modello di uno strumento dentistico dotato di una impugnatura, - impiego di un dispositivo ad interfaccia aptica, comprendente uno stilo collegato con detto elaboratore digitale, atto a fornire un feedback di tipo tattile, ed il quale viene mosso manualmente dall’operatore alla stregua di uno strumento dentistico reale, interagendo con detto modello virtuale di un dente, e

- impiego di detto elaboratore per confrontare la collocazione di detta almeno una isosuperficie in detto modello di un dente con dette posizioni di detti punti sensibili che definiscono la superficie di uno strumento dentistico, avente un’impugnatura, al fine di calcolare ed applicare a detto stilo forze di interazione controllate dall’elaboratore, per simulare in modo aptico la sensazione di uno strumento dentistico reale.

Dal documento n. WO2006/081198 à ̈ noto un sistema di simulazione di realtà virtuale, comprendente un dispositivo ad interfaccia aptica, in grado di generare un ambiente di realtà virtuale aumentata, implementato con appositi dispositivi software e hardware che forniscono all’utilizzatore una visione stereoscopica del campo di intervento, nonché un feedback tattile in tempo reale. Detto ambiente di realtà virtuale aumentata à ̈ generato a mezzo di un dispositivo monitor, unitamente ad uno specchio parzialmente trasparente, ed ulteriormente implementato con strumenti finalizzati a tracciare i movimenti della mano, per permettere l’interazione con la scena virtuale utilizzando entrambe le mani, e della testa, in modo da orientare il campo visivo della realtà simulata conformemente alla prospettiva di osservazione dell’utilizzatore; à ̈ altresì previsto l’impiego di appositi occhiali per la visualizzazione tridimensionale stereoscopica del campo di intervento simulato. A seconda della configurazione del sistema, l’operatore può interagire con il modello di realtà virtuale aumentata in posizione seduta ovvero in piedi; inoltre, detto modello di realtà virtuale stereoscopica, con il quale l’operatore interagisce, à ̈ riprodotto su uno schermo ad alta risoluzione, collegato ad un elaboratore con apposito sistema software. Al fine di rendere ancor più realistico l’ambiente di realtà virtuale di interazione, alcune configurazioni prevedono altresì un output audio, dotato di apposite cuffie: peraltro, dal momento che la posizione e l’orientamento della testa sono soggetti a tracciatura, à ̈ ipotizzabile un sistema audio 3D orientato in base alla prospettiva del soggetto. In particolare, detto sistema comprende almeno:

- una postazione di lavoro a cabina, aperta su un lato e strutturata in modo tale da consentire il miglior posizionamento della testa e delle mani dell’utilizzatore,

- un’interfaccia aptica,

- dispositivi per tracciare la posizione ed i movimenti delle mani e della testa dell’utilizzatore, - uno schermo, posizionato rispetto ad uno specchio semitrasparente all’interno della cabina, al fine di generare congiuntamente a questo l’ambiente di realtà virtuale aumentata,

- una libreria software che rende disponibili, in tempo reale, uno strato di livello più alto che racchiude l’immagine dell’oggetto su un display, l’interfaccia di visione stereoscopica, la gestione degli strumenti per tracciare la posizione ed i movimenti delle mani e della testa, nonché l’interfaccia aptica.

Sulla base di quanto sopra esposto, si evince dunque come l’impiego di tecnologie stereoscopiche ed aptiche nell’ambito di metodi e dispositivi per la simulazione di realtà virtuale costituisca un aspetto attualmente disponibile secondo scienza nota.

Tuttavia, dette soluzioni disponibili allo stato dell’arte presentano alcuni limiti:

- anzitutto, nessuna di esse à ̈ in grado di riprodurre l’oggetto virtuale derivante da casi reali, in stereoscopia su grande schermo consentendo in modalità immersiva la esplorazione interna-esterna della ricostruzione volumetrica degli oggetti sui quali intervenire direttamente nell’ambiente di simulazione, limitandosi al contrario a fornirne unicamente la riproduzione 3D solamente su un dispositivo monitor, quand’anche ad elevatissima risoluzione;

- ciascuna di dette soluzioni à ̈ idonea unicamente all’utilizzo da parte di un unico operatore, su di un unico modello predefinito mentre ovviamente non à ̈ contemplata la possibilità di intervento contestuale di due o più soggetti, anche da postazione remota; - inoltre, dette soluzioni non prevedono apposito sistema per l’importazione di file di formati ed estensioni differenti di oggetti e supporti direttamente importati da differenti origini 3D e successiva trasduzione automatica dei medesimi in un unico formato idoneo alla immediata visualizzazione stereoscopica delle immagini provenienti anche direttamente da apparecchiature di scansione.

La presente invenzione, partendo dalla nozione di tali criticità, vi pone rimedio automatico.

Uno scopo inoltre della presente invenzione à ̈ di fornire un metodo di training per radiodiagnostica, chirurgia, bioingegneria, meccatronica o simili, in cui almeno un oggetto virtuale ed almeno uno strumento virtuale scelto tramite facili interfacce grafiche vengano riprodotti direttamente in un ambiente di lavoro ove simulare almeno un’operazione sull’oggetto stesso o una completa pianificazione di un intervento.

Ulteriore scopo dell’invenzione à ̈ di fornire un metodo di training come specificato, che consenta l’interazione contestuale su almeno un medesimo modello virtuale da parte di almeno due operatori, provvisti di idonee strumentazioni HW/SW e operanti sul medesimo ambiente di lavoro, di cui almeno uno in postazione remota, anch’essa debitamente attrezzata con idonea strumentazione.

Altro scopo della presente invenzione à ̈ di agevolare la fase di input dei dati attraverso un apposito sistema hardware -software in grado di acquisire file in input in differenti formati e disponibili su una pluralità di supporti contenenti informazioni registrate relative a casi reali, e successivamente di convertirli in modo automatico in estensione omogenea e adeguata per generare detto almeno un modello virtuale stereoscopico e di consentire tramite interfacce grafiche, specifiche per gli utenti,operazioni su di esso. Le caratteristiche essenziali della presente invenzione formano oggetto della rivendicazione principale; ulteriori caratteristiche vantaggiose dell’invenzione sono descritte nelle rivendicazioni dipendenti.

Le rivendicazioni suddette si intendono qui integralmente riportate.

La presente invenzione risulterà maggiormente descritta in quanto segue, con riferimento al disegno allegato, fornito a titolo meramente esemplificativo e non limitativo, in cui:

- la Fig. 1 à ̈ una rappresentazione di uno schema funzionale generale di un’applicazione esemplificativa del metodo di training per radiodiagnostica medica, chirurgia, bioingegneria, meccatronica e simili; - la Fig. 2 à ̈ una rappresentazione di uno schema logico delle fasi di un’applicazione esemplificativa del metodo di figura 1;

- la Fig. 3 à ̈ una rappresentazione di uno schema logico dell’interfaccia visiva e tattile, in un’applicazione esemplificativa del suddetto metodo; - la Fig. 4 à ̈ una rappresentazione di uno schema logico relativo al funzionamento dell’interfaccia di trasduzione automatica dei file in input in un’applicazione esemplificativa del detto metodo; - la Fig. 5 à ̈ una rappresentazione di uno schema funzionale di un’applicazione esemplificativa del metodo secondo l’invenzione, lato operatore;

- la Fig. 6 à ̈ una rappresentazione di uno schema funzionale di un’applicazione esemplificativa del metodo secondo l’invenzione, lato operatore remoto;

- la Fig. 7 à ̈ una rappresentazione schematica di una stazione di lavoro comprendente i dispositivi hardware in un’applicazione esemplificativa del metodo secondo l’invenzione.

Con riferimento al disegno e come detto in quanto precede, uno scopo del metodo oggetto della presente invenzione à ̈ di fornire ad almeno un operatore 1.1, 1.2 la possibilità di ottenere una visualizzazione stereoscopica, passiva 2.1 e/o attiva 2.2 (di per sé note e dunque non illustrate), nonché un’interazione tattile simultanea a mezzo di interfaccia grafica uomo-macchina 3, di almeno un modello virtuale 4.

Detto almeno un modello virtuale 4 à ̈ rappresentato in modo stereoscopico come un insieme di voxel, mediante detta interfaccia grafica 3 che à ̈ altamente personalizzabile e precisamente navigabile tridimensionalmente. Nella stessa sono possibili le funzioni supplementari di ingrandimento di detto almeno un modello virtuale 4 e slittamento lungo una determinata direzione, nonché la rotazione dello stesso rispetto ad un qualunque punto dello spazio tridimensionale euclideo in cui detto almeno un modello virtuale 4 à ̈ rappresentato.

Il metodo prevede l’utilizzo di un apposito sistema hardware comprendente un lettore 21.1 di file in input 20, uno strumento di analisi di file 21.2, una pluralità di filtri firmware 21.3 ed un sistema software dedicato che accetta in input 20 file di differente tipologie, estensioni e provenienza, relativi anche a casi reali, i quali vengono automaticamente processati e trasdotti in uno stesso formato ed estensione di file in output 22 per la generazione di detto almeno un modello 4 virtuale in un ambiente di sviluppo 5, come visibile nello schema logico rappresentato in figura 4. Le figure 1, 2, 3 e 7 rappresentano uno schema esemplificativo rispettivamente funzionale e logico delle fasi che costituiscono detto metodo le quali comprendono, almeno:

- riconoscimento di detti file in input 20 e successiva trasduzione automatica 20.1 in detti file omogenei idonei per la generazione di detto almeno un modello matematico 4.1 di realtà virtuale, a mezzo di detto sistema hardware e software;

- ricostruzione volumetrica 200 di detto almeno un modello virtuale 4 in forma stereoscopica, come raffigurato nello schema logico di cui alla figura 3, secondo metodi noti allo stato della scienza;

- generazione di detto almeno un modello virtuale 4 a mezzo di apposite procedure di gestione delle immagini 201 (note, quindi non ulteriormente descritte); - generazione della proiezione su particolare tipologia di schermo di detto almeno un modello virtuale 4stereoscopico in apposita area D di detta stazione di lavoro 100 a mezzo di almeno due proiettori aventi gli assi ottici fra loro angolarmente sfalsati; - generazione di appositi filtri di polarizzazione di detto modello virtuale 4, al fine di consentire a detto almeno un operatore 1.1, 1.2, provvisto di opportuni occhiali, di percepirne una visualizzazione stereoscopica non defatigante ed immersiva 2.1, 2.2 nel corso di una operazione di simulazione 31;

- utilizzo di almeno un sensore aptico (o interfaccia aptica) 6, provvisto di almeno una impugnatura fisica, per fornire a detto almeno un operatore 1.1, 1.2 un feedback tattile in tempo reale e proporzionale alle caratteristiche fisiche delle superfici e dei volumi rappresentati in stereoscopia.

 

L’anatomia di detto almeno un modello virtuale 4 à ̈ generata a mezzo di rappresentazioni volumetriche, ove le parti interna ed esterna di detto almeno un modello virtuale 4 sono rappresentate come un insieme di voxel, ordinati in una griglia tridimensionale, secondo procedimento noto e come tale non ulteriormente descritto.

Mediante la definizione di una pluralità di punti sensibili à ̈ poi ottenuto, secondo metodo noto alla scienza, uno strumento virtuale, provvisto di una impugnatura, con cui operare in modo aptico su detto almeno un modello virtuale 4 in stereoscopia.

Attraverso l’utilizzo di ulteriori strutture dedicate ed un apposito sistema software embedded che permettono la fattuale sinergia fra le rappresentazioni visive stereoscopiche e le procedure aptiche di feedback tattile, à ̈ dunque garantita la precisa visualizzazione, in particolare stereoscopica, di detto almeno un modello virtuale 4 e di detto almeno uno strumento virtuale 4, l’esplorazione 30.2 delle superfici interne ed esterne, la parametrizzazione 30.1 fisica, traslazione, rotazione, ingrandimento, illuminazione, colorazione nonché la sensorizzazione, secondo metodo noto alla scienza, del movimento di detto almeno uno strumento utilizzato nel corso di una simulazione 31 dell’operazione.

La Fig. 5 à ̈ uno schema relativo ad un’implementazione del metodo, dal lato di almeno un operatore in loco 1.1: detto almeno un operatore 1.1, dopo l’accesso alla stazione di la voro 100, può iniziare la navigazione stereoscopica 50.1 effettiva del detto modello virtuale 4 riprodotto, sul quale, mediante detto almeno uno strumento virtuale provvisto di impugnatura fisica, compie una serie di azioni 50.1 comprese modellazioni e inserimenti di oggetti con feedback tattile 50.3, reso possibile da detto almeno un sensore aptico 6. Come visibile nella rappresentazione esemplificativa e non limitativa contenuta in figura 7, detta stazione di lavoro 100 comprende almeno le seguenti componenti hardware:

-un’area di controllo e comando A, comprendente a sua volta:

- dispositivi di attuazione e controllo A1;

- un’unità centrale avente funzioni di server A2;

- un pannello di comando (System Board) A3;

-un’area di elaborazione documentale B, comprendente a sua volta:

- un’unità di storage/backup B1;

- un’unità per la registrazione su supporti magnetici B.2 delle azioni compiute;

-un’area di postazione per gli operatori C, comprendente a sua volta:

- almeno un dispositivo aptico C1, C2;

-un’area di proiezione D, comprendente a sua volta:

- un box di allineamento e direzionamento D1;

- almeno uno schermo di grandi dimensioni non depolarizzante D2.

Detta componente hardware à ̈ contenuta all’interno di un ambiente chiuso formante detta stazione di lavoro (100), ed eventualmente suscettibile di montaggio su un dispositivo a ruote, anche motorizzato, per facilitarne gli spostamenti. Detto metodo secondo l’invenzione à ̈ idoneo per operare anche con due o più di dette stazioni di lavoro 100 fra loro comunicanti in tempo reale a mezzo di protocolli di rete 7 protetta e sincronizzata, ad esempio Internet. E’ dunque possibile lo svolgimento di un’operazione sincronizzata su uno stesso modello virtuale 4, in rispettivi ambienti di realtà virtuale aumentata, da parte di almeno due operatori 1.1, 1.2, in collaborazione coordinata ancorché remota, fino all’ottenimento del migliore risultato condiviso. Come visibile dalla figura 6, l’almeno un operatore in postazione remota 1.2 opera, a mezzo di un collegamento web 7 e di una postazione avente la medesima struttura di detta stazione di lavoro 100 principale, nelle medesime condizioni dell’altro operatore 1.1, con il quale interagisce contestualmente. Come risulta da quanto precede, la presente invenzione permette di conseguire in modo semplice e vantaggioso gli scopi esposti nell’introduzione.

Claims (1)

1. RIVENDICAZIONI 1)Metodo per la simulazione (31) di operazioni in ambito di radiodiagnostica medica, chirurgia, bioingegneria, meccatronica e simili, mediante almeno un elaboratore elettronico, includente un processore ed un sistema a monitor per la visualizzazione stereoscopica di immagini, nonché un sistema software che permette anche l’intersezione fra rappresentazioni visive stereoscopiche e procedure aptiche di feedback tattile, il quale metodo comprende le fasi di: - memorizzazione di dati volumetrici di almeno un modello virtuale (4) di una realtà fisica su cui operare, detto modello essendo esplorabile e sensorizzato e essendo detto nel seguito semplicemente modello virtuale (4), - memorizzazione di dati di identificazione di una pluralità di punti sensibili che definiscono almeno un modello virtuale di uno strumento reale con cui operare, in modo virtuale, su detto almeno un modello virtuale (4), detto modello virtuale di uno strumento reale nel seguito essendo detto semplicemente strumento virtuale, - impiego di detto almeno un elaboratore elettronico per la visualizzazione di detto almeno un modello virtuale (4), - impiego di detto almeno un elaboratore elettronico per la visualizzazione di detto almeno uno strumento virtuale quando usato per intervenire su detto almeno un modello virtuale(4), - impiego di almeno una interfaccia aptica (6), comprendente almeno uno strumento fisico munito di impugnatura, detta impugnatura essendo utilizzata da parte di almeno un operatore (2.1, 2.2) per una simulazione, in realtà virtuale (31), di un’operazione reale su detto almeno un modello virtuale (4) mediante detto almeno uno strumento virtuale, e - impiego di detto almeno un elaboratore elettronico per l’interazione virtuale fra detto almeno un modello virtuale(4) e detto almeno uno strumento virtuale, attraverso detta almeno una interfaccia aptica (6), ottenendo una simulazione (31) visiva e tattile di un’operazione, caratterizzato dal fatto che detto metodo prevede l’impiego di almeno due sistemi di proiezione stereoscopica, tramite almeno due proiettori ciascuno, per formare, in rispettivi e distinti ambienti di proiezione (100, D), la stessa almeno un’immagine stereoscopica 3D di detto almeno un modello virtuale (4) e la stessa almeno un’immagine stereoscopica 3D di detto almeno uno strumento virtuale. 2)Metodo secondo la rivendicazione 1, caratterizzato dall’interazione, con detto almeno un modello virtuale(4) stereoscopico, tramite detto almeno uno strumento virtuale, da parte di due o più operatori (2.1, 2.2), collocati in rispettive stazioni di lavoro (100) differenti e collegate mediante un collegamento di rete (7).   3)Metodo secondo la rivendicazione 1 e/o 2, caratterizzato dal fatto che impiega un sistema software ed hardware (21.1, 21.2, 21.3) per l’importazione e il riconoscimento, in detto almeno un elaboratore elettronico, di almeno un file in input (20) di qualsiasi formato, estensione e provenienza, relativo anche a casi reali, e successiva trasduzione di detto almeno un file in input (20) in un corrispondente almeno un file di formato ed estensione omogenei e processabili da parte di un sistema software residente in detto almeno un elaboratore, per la generazione di almeno un modello virtuale (4) e/o di almeno uno strumento virtuale in almeno una stazione di lavoro (100). 4)Metodo secondo la rivendicazione 3, caratterizzato dal fatto che impiega detto almeno un file in input (20) di qualsiasi formato, estensione e provenienza, relativo anche a casi reali, reso disponibile su un qualsiasi supporto fisico oppure direttamente letto da detto sistema software ed hardware (21.1, 21.2, 21.3) per l’importazione e il riconoscimento di file. 5)Metodo secondo una o più delle rivendicazioni precedenti, in cui sono impiegate congiuntamente tecnologie stereoscopiche, aptiche e telematiche per lo svolgimento di sessioni di lavoro, in condizioni ergonomiche e collaborative, anche di lunga durata, fra due o più operatori (1.1, 1.2). 6)Metodo secondo una o più delle rivendicazioni precedenti, impiegato per la formazione interattiva di gruppo tra docenti e discenti, in modo da ottimizzare i risultati. 7)Mezzi per l’implementazione del metodo secondo la rivendicazione 1, caratterizzati dal fatto che comprendono almeno le seguenti componenti hardware: - un’area provvista di mezzi di controllo e comando A, comprendenti: - dispositivi di attuazione e controllo A1; - un’unità centrale avente funzioni di server A2; - un pannello di comando (System Board) A3; - un’area provvista di mezzi di elaborazione documentale B, comprendenti: - un’unità di storage/backup B1; - un’unità per la registrazione su supporti magnetici B.2 delle azioni compiute; - un’area provvista di mezzi di postazione per gli operatori C, comprendenti: - almeno un dispositivo aptico C1, C2; - un’area provvista di mezzi di proiezione D, comprendente: - almeno due proiettori per formare, in almeno un ambiente di proiezione (100), un’immagine stereoscopica 3D di detto almeno un modello virtuale (4) e almeno un’immagine stereoscopica 3D di detto almeno uno strumento virtuale, - un box di allineamento e direzionamento D1; - almeno uno schermo di grandi dimensioni non depolarizzante D2. 8)Mezzi secondo una o più delle rivendicazioni precedenti, caratterizzati dal fatto che dette componenti hardware sono contenute all’interno di un ambiente chiuso formante la detta almeno una stazione di lavoro (100). 9)Mezzi secondo la rivendicazione precedente, caratterizzati dal fatto che detta almeno una stazione di lavoro (100) à ̈ mobile.