IT202200001094A1

IT202200001094A1 - Sistema e metodo per l’acquisizione e la visualizzazione di immagini ecografiche in condizione di realtà aumentata

Info

Publication number: IT202200001094A1
Application number: IT102022000001094A
Authority: IT
Inventors: Guido Giordano
Original assignee: Guido Giordano
Priority date: 2022-01-24
Filing date: 2022-01-24
Publication date: 2023-07-24

Description

DESCRIZIONE dell'Invenzione Industriale dal titolo: ?Sistema e metodo per l?acquisizione e la visualizzazione di immagini ecografiche in condizione di realt? aumentata?

TESTO DELLA DESCRIZIONE

La presente invenzione ha per oggetto un sistema e un metodo per l?acquisizione e la visualizzazione di immagini ecografiche in condizione di realt? aumentata.

In particolare, il sistema ed il metodo secondo la presente invenzione si basano su un?acquisizione e visualizzazione combinata di immagini cosiddette multimodali, cio? in cui immagini acquisite mediante diversi sistemi di acquisizione e/o ripresa vengono fra loro messe a registro per quanto riguarda la posizione relativa, corretta in un sistema spaziale di riferimento comune. Nella specifica forma esecutiva della presente invenzione una modalit? di acquisizione di immagine ? una ripresa ottica di un campo di vista (cosiddetto FOV) o di una scena mediante una o pi? telecamere ottiche ed una acquisizione di immagine mediante ultrasuoni.

La tecnologia di acquisizione di immagini mediante ultrasuoni ha trovato una ampissima diffusione grazie al fatto di essere assolutamente non invasiva, richiedere sistemi di acquisizione con bassissimi rischi per il paziente e per il personale medico che controlla il sistema nonch? essere rapidi nel fornire le immagini acquisite, consentendo di generare immagini in tempo reale e con un frame rate elevato per cui ? possibile acquisire informazioni affidabili anche in relazione ad organi, tessuti e/o target che eseguono movimenti spontanei e non controllabili. In combinazione con questi vantaggi funzionali i sistemi di acquisizione ecografici sono anche relativamente semplici e poco costosi se confrontati con altri sistemi.

Le immagini vengono acquisite utilizzando una sonda provvista di un insieme ordinato di trasduttori elettroacustici che sono eccitati mediante segnali elettrici alla generazione di fasci di trasmissione, che vengono emessi dagli stessi, e diretti verso la zona anatomica di interesse. I detti trasduttori o eventualmente trasduttori dedicati ricevono successivamente le onde acustiche derivanti dalla riflessione dei fasci trasmessi dalla zona verso la quale sono stati indirizzati i fasci trasmessi, ovvero la cosiddetta zona insonorizzata.

Gli insiemi di trasduttori prevedono una disposizione dei singoli elementi trasduttori sono un ordine prestabilito che pu? essere un insieme lineare di trasduttori elettroacustici fra loro affiancati lungo una direzione, essendo la detta direzione rettilinea oppure anche curva, generalmente convessa, con riferimento al lato di uscita dei fasci di trasmissione. Applicando le leggi acustiche di propagazione degli impulsi generati da ogni singolo trasduttore ? possibile focalizzare gli impulsi acustici dell?insieme di trasduttori o di parte degli stessi su punti di una prestabilita linea di vista che ? orientata secondo una prestabilita direzione incidente con un distretto in esame. Pi? successivi punti sono focalizzabili lungo ogni linea e pi? linee affiancate fra loro lungo un certo piano di scansione sono focalizzabili in successione.

In questo modo da una sonda lineare si genera un campo di linee di scansione fra loro affiancate lungo un piano di scansione che ? incidente con la zona anatomica in esame. L?insieme di trasduttori presenta una cosiddetta apertura sia in direzione parallela al piano di scansione contenente le varie linee di vista ovvero le varie linee di scansione sia in direzione perpendicolare al detto piano, per cui l?insieme dei fasci di trasmissione si propaga lungo una fetta avente un prestabilito spessore e quindi i contributi dei fasci riflessi dalla materia insonorizzata dal detto fascio sono relativi alla detta fetta e l?immagine acquisita ? denominata nel gergo ?slice?.

L?apertura della sonda e la profondit? di penetrazione dei fasci di trasmissione nel corpo in esame che consentono di ottenere ancora fasci di riflessione sufficientemente affidabili qualitativamente relativamente alle informazioni sui riflettori definiscono il campo di vista della sonda, ovvero in gergo il cosiddetto FOV.

Un fotogramma, ovvero un frame d?immagine ? ottenuto dalla elaborazione dei segnali di riflessione ottenuti dall?insieme di fasci di riflessione generati dall?insieme di fasci di trasmissione nell?ambito della detta fetta o del detto piano di scansione.

La successione di fotogrammi, ovvero il cosiddetto frame rate ? elevato e consente quindi l?acquisizione molto rapida di ogni singolo fotogramma, ovvero un elevato frame rate, da cui la possibilit? di acquisire e visualizzare immagini in tempo reale.

Oltre alle sonde di tipo lineare esistono anche sonde provviste di diverse distribuzioni di elementi trasduttori, ad esempio distribuzioni bidimensionali di trasduttori od altre varianti.

Il principio di base resta, comunque, che i contributi degli impulsi emessi o ricevuti dai singoli trasduttori vengono ritardati fra loro corrispondentemente alle leggi di propagazione delle onde acustiche al fine di essere sommati in modo coerente i contributi emessi e/o ricevuti derivanti da diversi punti lungo ciascuna di una pluralit? di linee di scansione. Anche in questo caso l?insieme di trasduttori della sonda presenta una apertura sia in ricezione che in trasmissione da cui deriva la delimitazione dell?immagine acquisita ad un cero campo di vista (FOV).

Durante una acquisizione di immagini ecografiche, la sonda viene generalmente appoggiata sulla superficie esterna del corpo in esame ed orientata secondo una prestabilita inclinazione e/o rotazione spaziale rispetto a tale superficie. Tale manipolazione della sonda deve essere eseguita manualmente dal medico in modo da orientare il piano (od un volume di scansione quando si ? in presenza di una sonda con insieme bidimensionale di trasduttori) corrispondentemente ai target anatomici che si desidera riprodurre nell?immagine ad ultrasuoni, cio? in modo tale per cui il piano di scansione presenti un tale orientamento da inquadrare nel campo di vista della sonda detti target anatomici desiderati. Il posizionamento della sonda e lo spostamento della sonda da parte del medico od altro utente avvengono quindi sulla base di riferimenti relativi all?anatomia esterna del corpo del paziente ed in base all?esperienza del medico stesso. L?immagine generata su un monitor del sistema ecografico generalmente posizionata a fianco del paziente mostra il campo di vista inquadrato dalla sonda e consente di avere un feedback sul fatto che l?immagine ecografica acquisita e visualizzata sia corretta relativamente alla riproduzione dei target in esame.

Al fine di acquisire quindi immagini ecografiche corrette ed utili al rilevamento ed alla riproduzione dei target anatomici in esame il medico deve avere acquistato una certa esperienza e capacit? di maneggiamento della sonda durante l?esame, per cui non solo ? necessario che l?acquisizione d?immagini mediante scansione ecografica venga fatta da personale qualificato e specificatamente addestrato, ma anche in questo caso, il risultato della scansione sar? dipendente da persona a persona nonch? anche nel caso della stessa persona ci saranno differenze fra scansione e scansione.

Quale contropartita ai vantaggi funzionali dell?imaging ecografico esiste quindi una necessit? di un training del personale addetto all?utilizzo dei sistemi ecografici in modo tale che si possa fruire appieno dei suddetti vantaggi funzionali e questo training oltre ad essere dipendente dalle specifiche capacit? personali richiede tempo e costi.

Allo stato dell?arte sono descritti sistemi di realt? aumentata che prevedono soluzioni per identificare la corretta posizione ed il corretto orientamento di un piano di scansione e/o di un campo di scansione e quindi dell?immagine ecografica nel corrispondente campo di vista rispetto ad una immagine visiva del corpo target, ovvero del corpo di un paziente, il quale corpo target ? presente nel campo di vista di un sistema di acquisizione di immagini visive/ottiche dello stesso, nel quale campo di vista ? visibile anche la sonda di un sistema ecografico. In questi sistemi, grazie a marker previsti sulla sonda e rilevabili nel campo di vista del sistema di acquisizione di immagini visive/ottiche e a algoritmi di elaborazione di immagini come algoritmi di image recognition ? possibile eseguire una registrazione dell?immagine ecografica acquisita mediante la sonda ecografica con l?immagine del corpo target presente nel detto campo di vista, consentendo quindi la visualizzazione di una immagine combinata che mostra nella corretta posizione e nel corretto orientamento rispetto al corpo in esame l?immagine ecografica sovrapposta all?immagine visiva del corpo in esame.

Si ottengono quindi cos? informazioni dirette per l?utente relativamente alla corretta posizione ed al corretto orientamento della sonda rispetto al corpo in esame, al fine di ottenere le immagini dei target desiderati nell?immagine ecografica, facilitando sia l?apprendimento e l?addestramento del maneggiamento della sonda nell?esecuzione delle scansioni, nonch? consentendo una migliore ripetitivit? del posizionamento della sonda rispetto al corpo target. Ci? consente di spersonalizzare il risultato qualitativo delle immagini ecografiche rendendo la qualit? pi? omogenea fra i diversi utenti, nonch? di addestrare e quindi utilizzare per l?esecuzione delle scansioni operatori sanitari qualificati anche se poco esperti della metodica e quindi con basse cognizioni anatomiche.

La visualizzazione dell?immagine combinata pu? avere luogo sia su uno schermo, come ad esempio lo schermo del sistema ecografico, sia per mezzo di occhiali per la visualizzazione di immagini in realt? aumentata.

Un esempio di un sistema e di un metodo di questo tipo sono noti ad esempio dal documento WO2021211570. Il documento descrive un sistema di visualizzazione di realt? mista comprendente:

un dispositivo comprendente un display olografico configurato per mostrare un'immagine ottica, in particolare olografica a un operatore;

un dispositivo di imaging ecografico portatile configurato per ottenere un'immagine ecografica in tempo reale dell'anatomia di un soggetto;

e un dispositivo informatico comprendente una memoria non volatile e un processore, in cui il dispositivo informatico ? configurato per:

ricevere l'immagine ecografica in tempo reale; determinare una posizione 3D in tempo reale e l'orientamento nello spazio secondo un sistema di riferimento comune al corpo del paziente del dispositivo di imaging a ultrasuoni portatile;

generare un'immagine ecografica in tempo reale che ? modificata in tempo reale in modo che corrisponda alla posizione 3D in tempo reale e all'orientamento del dispositivo di imaging a ultrasuoni portatile nel comune sistema di riferimento;

trasmettere l'immagine ad ultrasuoni in tempo reale modificata al dispositivo di visualizzazione per la visualizzazione combinata ed a registro nonch? dimensionalmente compensata dell?immagine olografica e dell?immagine ecografica.

In una forma esecutiva descritta nel suddetto documento, il sistema comprende almeno una fotocamera od una videocamera per la ripresa di una immagine o di una sequenza di immagini con un campo di vista comprendente il corpo target e posizionata sullo stesso la sonda ecografica. La sonda ecografica porta posizionata sulla stessa un marker, in particolare un marker bidimensionale, cio? provvisto di codici grafici bidimensionali, cio? che si sviluppano secondo due direzioni fra loro non parallele. Tali codici sono ripresi dalla videocamera che grazie a algoritmi di image processing determina la posizione della sonda ed il suo orientamento rispetto al corpo target presenta anch?esso nel campo di vista della videocamera. Poich? l?immagine ecografica acquisita ha una prestabilita posizione ed un prestabilito orientamento rispetto alla sonda ecografica ? quindi possibile combinare l?immagine visiva con quella ecografica registrando per posizione, orientamento e scala l?immagine ecografica con l?immagine visiva.

I sistemi di tracking per il rilevamento della posizione e dell?orientamento di un oggetto come una sonda ecografica con riferimento ad un sistema di riferimento spaziale sono noti. Questi sistemi, tuttavia, sono complessi e costosi e richiedono un notevole onere di elaborazione dei dati acquisiti. Questi sistemi basati su effetti magnetici e/o ad infrarossi sono estremamente precisi e vengono utilizzati per il tracciamento delle sonde ecografiche ad esempio per l?acquisizione di immagini ecografiche tridimensionali nonch? per il rilevamento della posizione e della sonda in un sistema di rilevamento spaziale per la registrazione dell?immagine ecografica con immagini ottenute mediante altre modalit? di imaging, come immagini MRI, CT, immagini fluoroscopiche, immagini ottenute mediante tecnologia PET o simili.

In questo caso, la precisione di registrazione richiesta ? elevata perch? spesso viene eseguita una fusione di immagini pixel per pixel o voxel per voxel al fine di combinare immagini a bassa risoluzione acquisite mediante ultrasuoni in real time con immagini sempre dell?anatomia interna ad alta definizione, per cui per evitare artefatti ? necessario avere sufficiente precisione di registrazione.

Nel caso di un tracking della sonda che possa venire utilizzato per combinare l?immagine visiva di un corpo in esame a cui ? sovrapposta in modo corretto l?immagine della sonda e l?immagine ecografica ottenuta dalla stessa, la precisione della combinazione di immagini non deve necessariamente essere cos? elevata, ma comunque ? richiesta una buona precisione per identificare la posizione e l?orientamento della sonda rispetto al corpo target e soprattutto ? richiesto di poter inseguire con sufficiente rapidit? gli spostamenti della sonda eseguiti dal personale lungo il corpo target nella zona d?interesse.

Il sistema ed il metodo secondo il documento su citato risolvono in parte il problema ma resta affetto da inconvenienti che lo rendono poco appetibile.

Quale immagine visiva il sistema prevede la riproduzione di una immagine olografica che non appare avere un significato per la presente invenzione. Inoltre, la posizione della sonda ? determinata mediante elaborazione di immagine partendo da un marker piano bidimensionale che ? una combinazione di righe e colonne suddivise in zone che possono essere realizzate bianche o nere. La rotazione della sonda rispetto ad un suo asse parallelo all?asse ottico di propagazione dei fasci di trasmissione, od almeno all?asse ottico di propagazione del fascio in trasmissione focalizzato di una linea di vista coincidente con il trasduttore centrale dell?insieme di trasduttori, ? rilevabile solamente dalla variazione dimensionale delle lunghezze dei due lati fra loro ortogonali dei quadratini neri e bianchi e pertanto, quando la rotazione ? vicina allo zero o vicina a 90? rispetto al detto asse i valori determinati sono relativamente imprecisi.

Per quanto attiene l?estrazione dei valori di registrazione dell?immagine ecografica la registrazione ha luogo agendo su ciascun pixel dell?immagine come nel caso tradizionale e ci? causa un onere computazionale notevole.

Uno scopo dell?invenzione ? quello di realizzare un sistema ed un metodo del tipo descritto all?inizio che possa contribuire a superare i limiti delle attuali tecnologie ed in particolare dei sistemi noti, come ad esempio, ma non limitativamente quello del documento sopra indicato.

Un ulteriore scopo della presente invenzione ? quello di realizzare tale sistema e tale metodo in modo tale per cui il sistema ed il metodo possano essere applicati sottoforma di kit di refitting di sistemi gi? esistenti, senza richiedere eccessive integrazioni o modificazioni dei detti sistemi esistenti.

L?invenzione consegue gli scopo di cui sopra con un sistema per l?acquisizione e la visualizzazione di immagini ecografiche in condizione di realt? aumentata, comprendente:

un sistema di acquisizione di immagini visive come fotocamere o videocamere, il quale sistema comprende a sua volta:

almeno una camera di acquisizione di immagini visive cio? nel campo spettarle visivo umano e che presenta un campo di vista prestabilito

una unit? di elaborazione di immagini a cui vengono forniti i segnali generati dalla detta camera di acquisizione;

almeno un dispositivo di visualizzazione dell?immagine acquisita al quale vengono forniti i segnali per la generazione dell?immagine elaborati dalla detta unit? di elaborazione di immagini; un sistema di acquisizione di immagini ecografiche, comprendente a sua volta:

una sonda ecografica provvista di un insieme di trasduttori elettroacustici per la generazione di impulsi ultrasonici di trasmissione e per la ricezione di impulsi ultrasonici di riflessione generati dai detti impulsi ultrasonici di trasmissione;

i detti impulsi ultrasonici di trasmissione venendo trasmessi in un corpo target in un campo di vista di dimensioni e forma prestabilita;

un processore di elaborazione degli impulsi ultrasonici di riflessione generati dai detti impulsi ultrasonici di trasmissione nel detto campo di vista del corpo target e per la ricostruzione di una immagine ecografica dai detti impulsi ultrasonici di riflessione;

la sonda essendo provvista di un corpo di sonda a cui ? applicato od applicabile su almeno un lato un marker grafico avente una struttura di codifica grafica bidimensionale rilevabile dalla detta camera di acquisizione di immagini visive;

mentre

il campo di vista della detta camera di acquisizione di immagini visive si estende in modo da acquisire l?immagine visiva anche della sonda e del corrispondente marker grafico insieme ad almeno una parte d?interesse del corpo target;

l?unit? di elaborazione delle immagini visive essendo configurata per l?esecuzione di algoritmi di riconoscimento d?immagine e detti algoritmi di riconoscimento di immagine venendo applicati all?immagine visiva della sonda ecografica e del marker grafico, i detti algoritmi fornendo la posizione e/o l?orientamento della sonda con riferimento alla posizione del corpo target nella detta immagine visiva;

la detta unit? di elaborazione di immagine essendo provvista di una porta di ricezione dell?immagine ecografica generata dal processore di impulsi ultrasonici di riflessione ed essendo configurata per applicare i dati di posizione ed orientamento della sonda ecografica alla detta immagine ecografica generata dal processore di impulsi ultrasonici e per combinare la detta immagine ecografica all?immagine visiva del corpo target e della sonda ed in cui sono previsti almeno due, marker grafici bidirezionali, disposti rispettivamente su uno di due superfici piane aventi orientamenti non paralleli fra loro.

Una forma esecutiva, prevede che i detti marker bidimensionali siano previsti ciascuno su una faccia di una superficie anulare poliedrica, preferibilmente regolare come ad esempio una superficie di mantello di un cubo, un parallelogramma, od un poliedro avente una base poligonale ed in cui la detta base poligonale ? orientata trasversalmente, preferibilmente perpendicolarmente ad un asse longitudinale della sonda, ovvero un asse orientato in direzione di propagazione di impulsi di trasmissioni focalizzate lungo una linea di vista che si diparte da un elemento trasduttore centrale dell?insieme di trasduttori.

Secondo una ulteriore forma esecutiva vantaggiosa, l?invenzione prevede in combinazione con una o pi? delle forme esecutive sopra descritte che la sonda presenta un corpo con una impugnatura avente una simmetria sostanzialmente rotazionale con riferimento ad un asse centrale parallelo ad un asse parallelo e/o coincidente con un asse orientato in direzione di propagazione di impulsi di trasmissioni focalizzate lungo una linea di vista che si diparte da un elemento trasduttore centrale dell?insieme di trasduttori, mentre sul lato dell?estremit? della sonda di emissione degli impulsi di trasmissione, il detto asse definisce con il corrispondente lato di testa di estremit? la punta della sonda, e all?estremit? opposta ? previsto un terminale di uscita di un cavo di collegamento della detta sonda al processore di elaborazione di immagini ecografiche il quale ? almeno parallelo, preferibilmente coassiale al detto asse longitudinale, essendo i detti almeno due marker grafici e/o il detto mantello poligonale di superfici su ciascuna delle quali ? previsto un marker grafico posizionati in modo simmetrico a rotazione con il detto asse longitudinale, essendo le dette superfici parte di un corpo provvisto di mezzi di accoppiamento meccanico con detto terminale.

In una forma esecutiva alternativa, la detta sonda ecografica pu? essere del tipo provvisto di una unit? di comunicazione wireless con il processore di elaborazione delle immagini, essendo la detta estremit? del corpo della sonda opposta alla testa della sonda sull?estremit? di emissione degli impulsi di trasmissione provvista in luogo del terminale del cavo di collegamento provvista di una corrispondente appendice di fissaggio amovibile del detto corpo provvisto delle dette superfici provviste dei marker bidirezionali.

Secondo una forma esecutiva vantaggiosa, l?immagine ecografica presenta una posizione definita rispetto al lato di testa della sonda ecografica sull?estremit? di emissione degli impulsi di trasmissione, essendo l?unit? di elaborazione dell?immagine visiva configurata per definire la posizione dell?immagine ecografica rispetto all?immagine visiva del corpo target con riferimento alla posizione della immagine ecografica rispetto al detto lato di testa della sonda.

In questo caso, pertanto, l?immagine ecografica non viene sottoposta ad una tradizionale registrazione pixel per pixel sulla base dei dati di posizione ed orientamento della sonda, ma l?intera immagine ecografica viene posizionata e modificata corrispondentemente alla posizione della sonda mantenendo i parametri di posizione relativa della detta immagine ecografica rispetto alla sonda stessa.

Secondo una forma esecutiva dell?invenzione, relativamente a quanto sopra esposto, con intera immagine ecografica si intende il cosiddetto settore di scansione, cio? la parte della immagine tradizionalmente visualizzata sui monitor degli ecografi che mostra il frame ricostruito dai segnali di ricezione generati dalla sonda. Poich? la sonda ha in genere una prestabilita apertura, cio? il campo di vista inquadrato dalla stessa presenta margini laterali orientati in direzione di propagazione degli impulsi ultrasonici che divergono fra loro in direzione di propagazione dei detti impulsi ultrasonici di trasmissione, il settore di scansione ha una forma sostanzialmente a spicchio di cerchio con un apice pi? stretto che costituisce la base minore ed ? rivolto verso la testa di emissione della sonda stessa. I frame di immagine ricostruiti dall?ecografo vengono trasformati da dati immagine in una immagine video. Negli ecografi attualmente in commercio ? prevista una uscita per segnali video che fornisce i frame gi? in questa forma e da questi frame ? possibile estrapolare il detto settore di scansione per l?elaborazione secondo i passi previsti dalla presente invenzione.

In relazione a ciascuna delle su indicate forme esecutive ? vantaggioso prevedere in combinazione con le stesse che il processore di elaborazione delle immagini ecografiche e/o l?unit? di elaborazione delle immagini visive siano configurati per eseguire una riscalatura delle dimensioni dell?immagine ecografica corrispondentemente alle dimensioni della sonda nell?immagine visiva, essendo il rapporto dimensionale fra sonda e immagine ecografica noto e predefinito dal sistema ecografico.

Secondo ancora una forma esecutiva, la combinazione dell?immagine ecografica con l?immagine visiva del corpo target prevede preferibilmente che l?immagine ecografica venga sovrapposta all?immagine visiva del corpo in esame, posizionata corrispondentemente alla posizione ed all?orientamento della sonda rispetto al detto corpo target.

Grazie alle suddette caratteristiche, azionando la sonda, il sistema di acquisizione di immagini visive e la corrispondente unit? di elaborazione consentono di seguire visivamente gli spostamenti della sonda lungo il corpo target, identificandone posizione ed orientamento e sulla base di questi dati visualizzando nella corretta posizione e nel corretto orientamento corrispondente a quello della sonda l?immagine ecografica rispetto al corpo in esame. La visualizzazione dell?immagine ecografica sovrapposta all?immagine visiva del corpo in esame consente di verificare immediatamente se la posizione e gli spostamenti della sonda sono tali da acquisire le immagini ecografiche dei target desiderati oppure se tali posizionamenti e tali spostamenti non sono corretti al fine di inquadrare e quindi acquisire le immagini dei target necessarie per le verifiche diagnostiche desiderate. Pertanto, la modalit? di visualizzazione secondo la presente invenzione semplifica di molto e rende molto pi? intuitive le tecniche di manipolazione del trasduttore, cio? le modalit? di manipolazione del trasduttore al fine di ottenere le corrette sezioni anatomiche desiderate.

Nell?addestramento del personale addetto al maneggiamento della sonda ecografica i vantaggi risiedono in una immediatezza della verifica fra posizione, spostamento e/o orientamento della sonda e immagine ecografica ottenuta, in modo da acquisire pi? rapidamente una sensibilit? di corrispondenza fra anatomia esteriore del corpo target, anatomia interna e posizione ed orientamento nonch? percorso di spostamento della sonda ecografica rispetto all?anatomia esterna.

Una forma esecutiva ulteriore prevede che l?immagine combinata visiva ed ecografica sia visualizzata su uno schermo come un display od un monitor tradizionale. In parallelo od alternativamente su un ulteriore monitor o su una parte del detto monitor pu? essere visualizzata la tradizionale immagine ecografica da sola.

All?interno della scena di realt? aumentata visualizzata su un monitor tradizionale o su un occhiale del tipo utilizzato per la visione di realt? aumentata come verr? descritto a seguito, si pu? riprodurre, in aggiunta all?immagine relativa al settore di scansione sovrapposta al corpo target (corpo del paziente) nella corretta e corrispondente posizione anatomica rispetto al detto corpo, anche una riproduzione della visualizzazione tipicamente prevista sul monitor tradizionale dell?ecografo, che cio? riporta la tradizionale rappresentazione delle immagini ecografiche ovvero del settore di scansione con ulteriori dati ed informazioni relative all?immagine visualizzata del settore di scansione.

Una ulteriore forma esecutiva pu? prevedere in alternativa od in combinazione un dispositivo di visualizzazione del tipo occhiale il quale pu? comprendere uno schermo completamente opaco, cio? che non consente di vedere attraverso lo stesso, per cui le immagini che possono essere viste sono solo quelle derivanti dai due sistemi di acquisizione di immagini visive e/o ecografiche, oppure lo schermo pu? essere trasparente e consentire di visualizzare l?immagine ecografica nella corretta posizione di sovrapposizione e con la corretta scalatura al corpo target inquadrato dalla camera di acquisizione dell?immagine visiva e visibile per? direttamente attraverso le lenti dell?occhiale.

L?invenzione ha per oggetto anche un kit per l?integrazione di sistemi ecografici, il quale kit comprende

almeno una camera di acquisizione di immagini visive cio? nel campo spettarle visivo umano e che presenta un campo di vista prestabilito una unit? di elaborazione di immagini a cui vengono forniti i segnali generati dalla detta camera di acquisizione;

almeno un dispositivo di visualizzazione dell?immagine acquisita al quale vengono forniti i segnali per la generazione dell?immagine elaborati dalla detta unit? di elaborazione di immagini;

almeno un marker grafico applicabile in modo fisso od amovibile al corpo di una sonda e realizzato secondo una o pi? delle varianti sopra descritte, e cio? almeno due, marker grafici bidirezionali, disposti rispettivamente su uno di due superfici piane aventi orientamenti non paralleli fra loro od alternativamente una pluralit? di detti marker bidimensionali previsti ciascuno su una faccia di una superficie anulare poliedrica, preferibilmente regolare come ad esempio una superficie di mantello di un cubo, un parallelogramma, od un poliedro avente una base poligonale ed in cui la detta base poligonale ? orientata trasversalmente, preferibilmente perpendicolarmente ad un asse longitudinale della sonda, ovvero un asse orientato in direzione di propagazione di impulsi di trasmissioni focalizzate lungo una linea di vista che si diparte da un elemento trasduttore centrale dell?insieme di trasduttori,

mentre

nell?unit? di elaborazione delle immagini visive ? caricato e dalla stessa ? eseguibile un programma in cui sono codificate le istruzioni per l?esecuzione di algoritmi di riconoscimento d?immagine e detti algoritmi di riconoscimento di immagine venendo applicati all?immagine visiva della sonda ecografica e dei marker grafici detti algoritmi fornendo la posizione e/o l?orientamento della sonda con riferimento alla posizione del corpo target nella detta immagine visiva;

la detta unit? di elaborazione di immagine essendo provvista di una porta di ricezione dell?immagine ecografica generata da un sistema ecografico ed essendo configurata per applicare i dati di posizione ed orientamento della sonda ecografica alla detta immagine ecografica generata dal processore di impulsi ultrasonici e per combinare la detta immagine ecografica all?immagine visiva del corpo target e della sonda.

Con riferimento ai marker bidirezionali o bidimensionali secondo una forma esecutiva vantaggiosa della presente invenzione che pu? essere prevista in qualsivoglia combinazione con una o pi? delle caratteristiche o delle forme esecutive precedenti ? possibile utilizzare dei cosiddetti QR code, essendo un detto QR code previsto su ciascuna delle superfici del corpo che costituisce una unit? marker.

Vantaggiosamente tra gli elementi che caratterizzano i cosiddetti QR-code ci sono i ?position detection patterns? che consentono di rilevarne l?orientamento spaziale.

Secondo ancora una ulteriore caratteristica, ciascun QR-code pu? contenere i dati di identificazione della specifica faccia dell?unit? marker su cui ? applicato. Pertanto, dalla estrapolazione dei dati intrinseci al QR code e dall?analisi prospettica e trigonometrica delle figure geometriche di ciascun QR-code presente sull?unit? marker si ricavano le coordinate spaziali della sonda relativamente al corpo target con riferimento a posizione ed orientamento.

Appare qui evidente il notevole vantaggio relativo al fatto che associato al QR-code informazioni non solo visive relativamente alla faccia su cui ? posizionato un certo QR-code, l?elaborazione di immagine basata sulla pura geometria delle forme riprese dalla camera ? integrata da informazioni non affette da imprecisioni di rilevamento e/o interpretazione visiva, per cui i dati di posizione ed orientamento della sonda nonch? i dati delle dimensioni della stessa sono pi? precisi rispetto a quanto noto allo stato dell?arte senza peraltro richiedere maggiore onere computazionale.

L?invenzione si riferisce anche ad un metodo per l?acquisizione e la visualizzazione di immagini ecografiche in condizione di realt? aumentata, comprendente i seguenti passi:

applicare esternamente al corpo di una sonda ecografica marker bidirezionali e/o bidimensionali; acquisire una immagine visiva mediante una camera di un corpo target, come il corpo di un paziente durante la acquisizione di immagini ecografiche di strutture interne del detto corpo target mediante imaging ecografico, acquisendo nel campo di vista della detta immagine visiva anche la sonda ecografica con i detti marker bidirezionali e/o bidimensionali;

acquisire e generare le immagini ecografiche e per ciascuna immagine ecografica acquisita

elaborare le immagini visive del o dei marker bidirezionali o bidimensionali per l?estrazione mediante riconoscimento di immagini ed elaborazioni geometriche di dati relativi alla posizione ed all?orientamento del o dei detti marker e quindi della detta sonda nel sistema di riferimento spaziale comune con il corpo target che la detta sonda aveva durante l?acquisizione della corrispondente immagine ecografica;

associare ciascuna immagine ecografica alla testa di emissione degli impulsi di trasmissione ultrasonici nella posizione prestabilita modificando posizione ed orientamento della detta immagine ecografica corrispondentemente alla posizione ed all?orientamento della sonda ecografica determinata durante l?acquisizione della detta immagine ecografica;

visualizzare la detta immagine del corpo target con l?immagine della sonda e con associato alla sonda e sovrapposta alla detta immagine del corpo target la detta immagine ecografica modificata corrispondentemente alla posizione ed all?orientamento della sonda ecografica determinata durante l?acquisizione della detta immagine ecografica.

Secondo un ulteriore perfezionamento, l?immagine ecografica viene anche modificata relativamente ad una riscalatura corrispondentemente alle dimensioni della sonda ecografica riprodotta nell?immagine visiva in combinazione con il corpo target.

Un ulteriore passo del metodo prevede che il marker bidimensionale sia costituito da un corpo comprendente almeno due superfici diverse opzionalmente non parallele, su ciascuna delle quali ? riprodotto un marker bidimensionale.

Una ulteriore variante del metodo prevede che il detto corpo comprende una superficie di mantello a base poligonale e ciascuna delle facce di questa superficie di mantello porta un marker bidimensionale.

Vantaggiosamente una ulteriore caratteristica prevede che il marker bidimensionale di ciascuna faccia del corpo sia diversa da quella del marker bidimensionale di almeno una o di ciascuna ulteriore faccia del detto corpo.

Secondo ancora una forma esecutiva, il metodo prevede che ciascun marker bidimensionale presenta codificato nell?immagine grafica dati integrativi di riferimento alla sonda.

Vantaggiosamente ciascun marker bidimensionale ? costituito da un QR-code.

Una variante esecutiva del metodo prevede che la visualizzazione dell?immagine combinata visiva ed ecografica ? eseguita parallelamente od alternativamente alla visualizzazione della sola immagine ecografica.

Secondo ancora una ulteriore caratteristica, la visualizzazione dell?immagine combinata pu? avere luogo su un display del tipo occhiale per realt? aumentata avente lenti completamente opache o trasparenti.

Nel caso di lenti trasparenti, l?immagine visiva del corpo target e della sonda corrisponde a quella direttamente visibile attraverso le dette lenti trasparenti, mentre le dette lenti trasparenti sono attive per la visualizzazione nella corretta posizione e nel corretto orientamento e nelle corrette dimensioni dell?immagine ecografica sovrapposta a quella visiva e visibile attraverso le dette lenti.

L?invenzione prevede ulteriori perfezionamenti e/o caratteristiche che sono oggetto delle sottorivendicazioni.

Queste ed altre caratteristiche e vantaggi della presente invenzione risulteranno pi? chiaramente dalla seguente descrizione di alcuni esempi esecutivi illustrati nei disegni allegati in cui:

la fig.1 illustra uno schema a blocchi di alto livello di un sistema combinato ecografico e di acquisizione di immagini visive secondo una forma esecutiva della presente invenzione.

La fig. 2 mostra un esempio di una sonda a cui ? applicato un corpo amovibile di marcatura costituito da un cubo sulle cui facce parallele all?asse longitudinale della sonda sono applicati rispettivamente un marker grafico bidimensionale sotto forma di QR-code.

La fig. 3 mostra un esempio di QR-code e degli elementi che lo compongono.

LA fig. 4 mostra un esempio di ci? che appare alla vista di un utente che utilizza quale dispositivi di visualizzazione occhiali per la realt? aumentata.

La fig. 5 mostra un diagramma di flusso che descrive i passi del metodo secondo un esempio della presente invenzione.

La fig. 6 mostra un ulteriore diagramma di flusso di un dettaglio dei passi ciclici di acquisizione e visualizzazione di immagini secondo la presente invenzione.

Con riferimento alla figura 1, un esempio esecutivo di alto livello di un sistema secondo la presente invenzione comprende una sonda 151 per l?acquisizione di immagini ecografiche.

La sonda comprende un insieme di trasduttori elettroacustici che sono posizionati l?uno rispetto all?altro secondo prestabilito ordine che pu? essere monodimensionale o bidimensionale. Gli elementi trasduttori sono destinati a emettere impulsi ultrasonici con una prestabilita frequenza a seguito di segnali di eccitazione elettrici generati dal sistema ecografico e che vengono alimentati ai trasduttori con prestabiliti ritardi temporali al fine di generare un fascio di impulsi ultrasonici focalizzati lungo una prestabilita linea di vista ed a diversi punti lungo la detta linea di vista. I ritardi di focalizzazione sono definiti ed applicati da un cosiddetto beamformer 155. L?immagine viene generata raccogliendo i segnali ultrasonici trasmessi dopo che sono stati riflessi dalla materia lungo le varie linee di focalizzazione o linee di vista, che sono previste affiancate fra loro lungo una sola direzione o lungo due direzioni fra loro non parallele, generando una immagine bidimensionale lungo un piano di scansione cosiddetta slice od una immagine volumetrica.

La sonda presenta una apertura naturale del fascio di acquisizione e quindi ? in grado di acquisire immagini di un corpo target che hanno una prestabilita forma e dimensione, nonch? una posizione prestabilita relativamente all?insieme di trasduttori e quindi alla testa di emissione 210 (vedi fig. 2) della sonda stessa.

Pertanto, una immagine ecografica presenta sostanzialmente sempre una prestabilita posizione rispetto alla sonda da cui sono stati trasmessi e ricevuti gli impulsi ultrasonici.

I segnali riflessi ricevuti dai singoli trasduttori elettroacustici che formano l?insieme della sonda 151 vengono trasformati dai trasduttori in segnali di ricezione elettrici 153. Grazie al Beamformer 155 i segnali di ricezione vengono elaborati, nel senso di sommare in modo coerente i contributi dei detti segnali derivanti dallo stesso riflettore.

L?operazione pu? avvenire secondo diverse modalit? ed alla fine i segnali focalizzati sui riflettori dal beamformer in ricezione vengono sottoposti ad elaborazione per l?estrazione della informazione da visualizzare nell?immagine secondo diverse modalit?. La struttura anatomica dei tessuti insonorizzati si ottiene con una metodologia denominata B-mode grazie a cui si utilizzano i parametri di intensit? dei segnali di ricezione sommati coerentemente associando le dette intensit? ad una scala di grigi dell?apparenza di un pixel in un insieme di pixel. Un cosiddetto scan converter 157 ricostruisce dai segnali di ricezione l?apparenza del pixel secondo la scala di grigi e la posizione del pixel in un insieme ordinato di pixel. Una unit? grafica 154 genera poi l?immagine digitale da visualizzare su un monitore 158.

Il funzionamento e l?impostazione dei parametri di acquisizione e ricostruzione delle immagini sono eseguite sotto il controllo di una unit? logica di controllo 160 che esegue un programma di controllo ed a cui l?utente pu? fornire dati e parametri funzionali nonch? impostare modalit? di processamento grazie ad una interfaccia utente 160 che pu? essere sia una interfaccia mediante tastiera alfanumerica, una interfaccia grafica del tipo punta e clicca e/o una interfaccia del tipo touch od anche altri tipi di interfacce come interfacce gestuali e/o vocali. Una o pi? di queste interfacce possono essere presenti in combinazione e possono essere utilizzate insieme od alternativamente. Il box 160 si intende rappresentare tutte o solo alcune od alcune combinazioni di una o pi? delle diverse interfacce utenti possibili.

Alla sonda 151 come mostrato schematicamente nella figura 1 ? associata una unit? marker 161 che comprende almeno un marker bidimensionale applicato su una superficie di supporto applicata in modo stabile od amovibile al corpo della sonda 151.

Come apparir? pi? chiaramente a seguito, l?unit? marker pu? comprende due o pi? superfici di applicazione aventi posizioni e/o orientamenti diversi fra loro e/o rispetto al corpo della sonda su ciascuna delle quali superfici ? applicato un marker bidimensionale 161. Questi marker bidimensionali possono essere diversi fra loro od uguali fra loro oppure solo in parte diversi fra loro come verr? descritto con maggiore dettaglio in seguito.

L?acquisizione di immagini ecografiche mediante la sonda 151 prevede che questa venga portata a contatto con la cute del corpo di un paziente in corrispondenza di una cosiddetta finestra di imaging attraverso al quale la struttura dei tessuti sottostante permette la penetrazione alle profondit? desiderate degli impulsi ecografici di trasmissione.

Ogni distretto anatomico ha le sue specifiche finestre di acquisizione immagine che nella maggior parte dei casi sono delimitate da zone ad alta riflessibilit? degli impulsi ultrasonici, per cui questi impulsi sono impossibilitati ad attraversare questo tipo di tessuti. Aperture in questi tessuti, permettono agli impulsi di passare oltre e propagarsi a maggiori profondit? consentendo di estrarre cos? informazioni per distretti anatomici pi? interni.

L?acquisizione di immagini ecografiche di specifici distretti anatomici richiede quindi un corretto posizionamento della sonda in corrispondenza delle finestre di acquisizione delle immagini nonch? lo spostamento della sonda sia di traslazione che di rotazione e/o di inclinazione secondo determinati percorsi. In questo modo vengono acquisite una pluralit? di immagini bidimensionali e/o volumetriche che presentano un campo di vista diverso e quindi inquadrano diversi tessuti e/o diverse strutture all?interno del corpo secondo diverse angolazioni.

Spesso in alcune tipologie di acquisizione di immagini diagnostiche, come ad esempio in cardiologia e/o anche nelle immagini ecografiche fetali, per la esecuzione di rilevamenti diagnostici ? necessario riuscire a far rientrare nella stessa immagine ecografica contemporaneamente diverse strutture e ci? ? possibile solamente per alcune limitate posizioni e/o orientamenti della sonda ecografica.

Appare quindi chiara l?importanza di padroneggiare il maneggiamento della sonda ecografica al fine di acquisire immagini ecografiche di elevata qualit? e contenuto informativo per la successiva analisi da parte del medico.

Appare anche evidente come non avendo una diretta visione fra anatomia esterna ed anatomia interna del corpo del paziente nella zona di esame, il posizionamento e lo spostamento della sonda non sono attivit? intuitive e si basano su una analisi intellettuale a fronte delle conoscenze anatomiche dell?utente che non ha una visione combinata di ci? che inquadra con la sonda ecografica rispetto all?anatomia esterna del paziente al fine di rendere pi? facile e veloce sia l?addestramento e sia l?esecuzione dell?esame.

Secondo la forma esecutiva pi? generale la presente invenzione comprende in combinazione con il sistema ecografico tradizionale un sistema di acquisizione di immagini visive ovvero di immagine acquisite nel campo delle frequenze visibili dagli esseri umani che comprende una o pi? telecamere 163 ottiche il cui campo di vista inquadra almeno parte del corpo del paziente indicato con 162 nella figura 1. Il campo di vista della telecamera 163 nella figura 1 ? indicato con linee tratteggiate nel piano della figura 1. Nonostante sia mostrata una sola telecamera 163, la rappresentazione di questa ? da intendersi solo esemplificativa essendo possibile prevedere due o pi? telecamere o ad esempio anche telecamere previste su un occhiale per la visione in realt? aumentata come quello di figura 4.

In via generica, un sistema di acquisizione di immagini visive comprende una unit? di generazione delle immagini sulla base dei segnali acquisiti dalla telecamera e che ? indicata genericamente con 164.

Diverse tipologie di questo tipo di unit? sono possibili a seconda delle tecnologie di imaging note al tecnico del ramo ad esempio delle tecnologie per l?acquisizione di immagini video o simili.

Nel campo di vista delle telecamere 163 ? presente anche la sonda 151 con la sua unit? di marker che viene ripresa anch?essa dalla telecamera nella sua posizione rispetto al corpo de paziente 162.

Grazie ad una unit? di elaborazione di immagini 165, ad esempio una unit? di elaborazione che esegue algoritmi di riconoscimento di immagine, le immagini rilevate dalla telecamera 163 vengono analizzate ed in esse vengono riconosciti la sonda e l?unit? marker 161. L?unit? marker 161, come si vedr? in seguito presenta almeno un prestabilito disegno ed una prestabilita distribuzione di elementi grafici che possono venire riconosciuti e dalle cui caratteristiche geometriche rilevate nell?immagine rispetto quelle originali ? possibile stabilire la posizione e l?orientamento della sonda rispetto ad un sistema di riferimento spaziale che ? comune al corpo 162 e quindi anche rispetto al detto corpo 162.

Un modulo di elaborazione di immagine 166 provvede a ricevere l?immagine ecografica da una uscita video dell?unit? grafica 154 del sistema ecografico e modifica la detta immagine corrispondentemente alle informazioni di posizione ed orientamento della sonda 151. Ci? ? possibile grazie al fatto che l?immagine ecografica, come detto in precedenza ha una posizione ben definita rispetto alla sonda ecografica e pertanto le variazioni di posizione e di orientamento della sonda si ripercuotono direttamente su quelle dell?immagine acquisita dalla detta sonda. Tali concetti appariranno pi? chiari in seguito.

L?immagine modificata generata dal modulo 166 di modifica della immagine ecografica e l?immagine visiva del corpo 162 con la sonda 151 in posizione sullo stesso generata dal modulo 164 vengono quindi visualizzate insieme in una condizione combinata fra loro.

Le modalit? di combinazione possono essere diverse ed una modalit? preferita ? quella che prevede la sovrapposizione all?immagine visiva del corpo 162 della immagine ecografica modificata, posizionando la detta immagine modifica in corrispondenza dell?estremit? della rappresentazione della testa di emissione della sonda nella immagine visiva.

La figura 4 mostra una rappresentazione schematica di un esempio di visualizzazione. In questo caso il dispositivo di visualizzazione scelto ? costituito da un occhiale 400 per la realt? aumentata. Le lenti di questo occhiale possono esser costituite da uno schermo di visualizzazione completamente opaco, per cui l?utente vede solo ci? che ? mostrato sullo schermo, ma non direttamente il mondo reale, oppure le lo schermo pu? essere trasparente e consentire di vedere attraverso lo stesso il modo reale. Il campo di vista ? rilevato da telecamere, ad esempio associate all?occhiale, per cui quanto visto direttamente dall?utente costituisce l?immagine visiva equivalente a quella che verrebbe mostrata nella versione alternativa in cui lo schermo di visualizzazione ? completamente opaco.

Nella parte destra della figura 4 viene mostrato ci? che appare nell?immagine combinata all?utente che indossa gli occhiali in ciascuna delle due varianti sopra descritte di questi occhiali.

Come ? visibile dalla figura 4, all?utente viene mostrata l?immagine visiva del corpo 162 del paziente e l?immagine della sonda 151. Inoltre, in corrispondenza della testa di emissione degli impulsi ultrasonici di trasmissione in posizione sovrapposta al corpo del paziente 162 ? mostrata l?immagine ecografica che ? stata modificata relativamente all?orientamento del piano immagine ed alla posizione corrispondentemente all?orientamento ed alla posizione della sonda ecografica.

Vale la pena qui mettere in evidenza il fatto che grazie a questa tecnica, non ? necessario applicare complessi algoritmi di registrazione di immagini, ma solamente orientare il piano di scansione della sonda corrispondentemente ai dati di orientamento della stessa rispetto al corpo 162 e posizionare l?immagine ottenuta in corrispondenza della detta testa di emissione degli impulsi ultrasonici.

Dal punto di vista computazionale sia il riconoscimento della sonda e dell?unit? marker 161 sulla stessa, sia il calcolo della posizione, dell?inclinazione e dell?orientamento della sonda 151 rispetto al corpo in esame 162, nonch? la modifica dell?immagine ecografica sono processi di elaborazione relativamente poco impegnativi e velocissimi, e possono venire eseguiti in tempo reale in concomitanza di ciascun frame acquisito senza richiedere una riduzione del frame rate.

Ci? ? importante quando le acquisizioni di immagini ecografiche sono relative ad organi in movimento, come nell?imaging ecografico in cardiologia od in campi con problematiche simili. Inoltre, l?attuale modalit? consente anche di evitare di limitare la qualit? di immagine, come ad esempio la risoluzione od il campo di vista a favore del frame rate per evitare una eccessiva riduzione dello stesso.

Mentre l?utente sposta ed orienta la sonda liberamente quindi, il sistema secondo la presente invenzione mostra nella corretta posizione e nel corretto orientamento rispetto alla sonda ed al corpo 162 l?immagine acquisita consentendo di avere un diretto feedback per l?utente della posizione relativa sonda paziente e della corrispondente immagine ecografica acquisita con detta posizione relativa.

Tale diretta retroazione non solo facilita il maneggiamento e la conduzione della sonda durante l?esame ecografico, ma costituisce un efficace e veloce strumento di addestramento del personale addetto all?acquisizione di immagini ecografiche.

Dal punto di vista della attuazione dell?invenzione sia per quanto attiene il sistema che per quanto attiene al metodo, ? possibile realizzare il sistema ed attuare il metodo sfruttando le potenzialit? dei sistemi di realt? aumentata, tramite un apposito visore. Nel caso dell?esempio applicato alla ecocardiografia, le immagini ecografiche verranno rappresentate in sovrapposizione alle immagini reali del torace del paziente simulandone il loro reale posizionamento all?interno del corpo umano, nella reale posizione anatomica e con l?effettivo loro orientamento spaziale.

Si tratta di un?innovativa modalit? di visualizzare le immagini ecografiche che rivoluziona sia il modo di acquisire che quello di impiegare le immagini ecografiche, la cui realizzazione si basa su due aspetti:

1) La localizzazione esatta del trasduttore all?interno della scena catturata dal visore di realt? aumentata e contestuale rilevazione dell?esatto orientamento spaziale tradotto in coordinate spaziali, secondo la convenzionale codifica in sei gradi di libert?.

A tale scopo si sfrutta la capacit? del visore di realt? aumentata ed il relativo l?ambiente di programmazione e sviluppo per riconoscere gli oggetti che compaiono nella scena, in questo caso la sonda e l?unit? marker.

Per realizzare questo punto si impiegano le risorse intrinseche del sistema di realt? aumentata ed il suo ambiente di programmazione e di controllo.

Dalla estrapolazione dei dati intrinseci al QR code e dall?analisi prospettica e trigonometrica delle figure geometriche si ricavano le coordinate spaziali di posizione e/o di orientamento della sonda.

2) Le coordinate spaziali vengono quindi utilizzate per posizionare nella scena dell?immagine visiva una parte del flusso video ecografico, ricavato dal segnale video in uscita dall?ecocardiografo. Dell?intero quadro video viene isolata la porzione corrispondente al settore di scansione ecografico che verr? riprodotta nella scena di realt? aumentata posizionandola sulla punta della sonda come pi? sopra indicato e con l?esatto orientamento spaziale che occuperebbe virtualmente all?interno del corpo umano, sovrapponendo il flusso video alle immagini reali del torace del soggetto esaminato.

La maggior parte degli ecografi non hand-held sono dotati di uscita video digitale. Il segnale video viene prelevato dall?uscita video contiene l?intera schermata generata dell?ecografo. E? possibile quindi prevedere una duplice modalit? di visualizzazione.

Da un lato viene visualizzata l?intera schermata, che contiene sia l?area del settore di scansione, orientata secondo le tradizionali modalit? di rappresentazione, insieme alle rimanenti porzioni che contengono gli altri ordinari dati numerici, testuali e simboli. Questa immagine pu? venire posizionata all?interno della immagine visiva combinata, come clone virtuale del tradizionale schermo dell?ecografo.

D?altro lato, inoltre dall?intera schermata viene isolata la porzione che corrisponde al settore di scansione, ovvero al campo di vista della sonda, mediante una preliminare operazione di settaggio del sistema e questa porzione viene modificata per essere posizionata opportunamente all?interno della immagine visiva, secondo le coordinate spaziali, posizionandola sulla punta della sonda e con l?orientamento corrispondente a quello rilevato per la sonda all?atto della acquisizione della detta immagine ecografica.

Secondo una ulteriore caratteristica, poich? nel corso dell?esame ecografico l?operatore modifica spesso la profondit? di scansione, per adattarla a specifiche esigenze di indagine, con la contestuale modifica della taratura in scala centimetrica riprodotta al lato del settore di scansione, l?applicazione del metodo secondo la presente invenzione prevede il passo di separare in modo netto ed inequivocabile e/o di segnalare graficamente ed la riproduzione in scala centimetrica reale delle immagini ecografiche dalle altre modalit? di riproduzione in scala non reale.

Il sistema ed il metodo possono prevedere una preliminare operazione di settaggio dell?apparecchiatura mediante regolazione di una scala riprodotta sullo schermo che deve collimare con la scala di un reale righello posto nella scena (vedi figura 7).

Come appare dalla presente descrizione, il sistema di realt? aumentata viene programmato in modo collocare il flusso video, relativo alla sola porzione del settore di scansione, all?interno della scena, sovrapposto alle immagini reali del torace del soggetto esaminato, come se si trovasse all?interno del corpo umano, nella posizione ed orientamento che presenta realmente.

All?interno del campo di realt? aumentata si colloca anche l?intero flusso video, posizionatile dall?utente, in forma di ulteriore tradizionale schermo ecocardiografico, che riporta l?intero schermo dell?apparecchio, completo di tutti i dati accessori.

Grazie a questo accorgimento, si facilita il passaggio alla nuova ed inedita modalit? di scansione ecografia secondo la presente invenzione che ? potenzialmente pi? intuitiva di quella tradizionale ma che richiede una nuova fase di apprendimento e di decondizionamento dalle tecniche tradizionali per gli operatori gi? esperti, avvezzi ad orientarsi con immagini convenzionalmente posizionate su uno schermo tradizionale, piuttosto che nella loro reale posizione anatomica.

Inoltre, alcune proiezioni imporrebbero all?operatore di flettersi o di assumere posizioni poco agevoli per visualizzare le proiezioni pi? recondite.

Per ovviare a queste ragioni ? opportuno posizionare nella scena di realt? aumentata anche l?intero schermo ecografico, cos? come tradizionalmente rappresentato come mostrato in figura 4.

La figura 2 mostra un esempio esecutivo di una forma vantaggiosa dell?unit? marker secondo la presente invenzione. In questa forma esecutiva esemplificativa, la sonda 151 presenta un corpo sostanzialmente simmetrico a rotazione rispetto ad un asse A centrale di simmetria, il quale asse ? coincidente con lasse di propagazione del fascio di ultrasuoni focalizzato su una linea di vista che si diparte dal trasduttore centrale dell?insieme di trasduttori che formano la testa di emissione della sonda indicata con 201. La sonda 200 presenta alla estremit? opposta una appendice conica che costituisce un terminale di uscita di un cavo di collegamento della stessa all?ecografo. Come mostrato nella figura 2, in questo esempio l?unit? marker indicata con 210 ? applicata su detto terminale (non visibile) in modo stabile od amovibile. Ci? lascia libero completamente il corpo della sonda 200 che costituisce anche la zona di afferramento della sonda con la mano dell?utente.

Inoltre, l?unit? marker ? sotto forma di poliedro regolare con una base poligonale e con un asse centrale che ? coincidente con l?asse A sopra descritto. Le superfici di mantello del poliedro indicate con 211, 212 nella figura sono parallele al detto asse A e ciascuna presenta sulla stessa un marker bidimensionale 215 comprendente un disegno grafico, ad esempio, e preferibilmente sotto forma di QR-code. Un esempio di QR-code ? illustrato nella figura 3 e verr? descritto a seguito per cui risulteranno chiari i vantaggi dello stesso.

Inoltre, su ciascuna faccia ? previsto un motivo geometrico, nel caso specifico un cerchio 216 avente un raggio prestabilito ed eventualmente un colore prestabilito.

Secondo una forma esecutiva ? possibile che i QR-code 215 su ciascuna faccia od almeno su alcune facce siano diversi fra loro anche solo per alcune caratteristiche e/o che le figure geometriche, ad esempio il cerchio 216 dell?esempio della figura 2 siamo diversi per diametro e/o altre caratteristiche come colore e/o posizione. Grazie a ci? ? possibile codificare nelle forme grafiche ulteriori informazioni che possono essere combinate con i parametri di posizione ed orientamento ottenuti dalla elaborazione geometrica nell?immagine visuale e che possono contribuire ad evitare errori od imprecisioni od ambiguit? nell?elaborazione dei dati geometrici.

Tali informazioni possono anche essere codificate nei QR-code. Un esempio pu? essere il fatto di codificare nelle immagini informazioni relativamente alla faccia del poligono 210 su cui ? previsto il QR-code od il cerchio e la sua posizione relativa rispetto alla geometria della sonda e/o al piano di scansione generato dalla stessa.

A fianco dell?immagine della sonda 200 sono mostrati i gradi di libert? di rotazione ed inclinazione e traslazione della sonda nello spazio che possono essere rilevati grazie all?unit? marker 210 descritta.

Con riferimento all?esempio della figura 2 l?unit? marker 210 ? sotto forma di cubo o parallelepipedo a base quadrata, ma potrebbe essere previsto anche un poliedro a base regolare od irregolare triangolare o costituita da un poligono con pi? lati di soli quattro lati.

Con riferimento alla figura 2, appare anche evidente che questa soluzione consente di applicare in modo efficace una unit? marker a qualsiasi tipo di sonda ecografica esistente, prevedendo solamente una taratura inziale per definire in modo univoco la posizione dell?unit? marker rispetto alla sonda stessa.

La maggioranza delle sonde ecografiche presentano una cassa con forma simmetrica a rotazione rispetto al detto asse A ed il cavo di collegamento all?ecografo entra nella sonda attraverso un terminale che ? anch?esso cilindrico oppure conico e che ? posizionato coassialmente all?asse A o ha un asse parallelo al detto asse A. Ci? consente di applicare una unit? marker 210 in modo fisso od amovibile ad una sonda preesistente infilandolo sul detto terminale ed evitando complessi, costosi e fastidiosi sistemi di accoppiamento che per forza di cose dovrebbero estendersi lungo il corpo della sonda rendendone l?afferramento meno comodo e poco stabile.

Tale soluzione pu? facilmente anche essere applicata a sonde che comunicano con l?ecografo mediante unit? di comunicazione wireless, essendo in questo caso possibile applicare l?unit? marker alla estremit? della sonda opposta alla testa di emissione 201.

L?applicazione pu? avere luogo esclusivamente mediante accoppiamento meccanico, per accoppiamento di forma e/o incastro oppure solamente mediante adesione chimico/fisica oppure anche grazie aduna combinazione di accoppiamento meccanico e/o adesione chimico/fisica.

La figura 3 mostra la struttura di un tipico codice QR. Il vantaggio dell?utilizzo di questo codice ? che comprende gi? per definizione indicazioni geometriche che sono rilevanti per la determinazione dalle immagini visive della posizione e dell?orientamento della sonda. Inoltre, la combinazione di pixel neri o bianchi consente la codifica grafica di dati ed informazioni che vanno oltre ai punti parametri geometrici.

La figura 5 mostra un diagramma di flusso generale di una forma esecutiva del metodo secondo la presente invenzione.

Il primo passo 500 prevede l?applicazione dell?unit? marker, ad esempio una unit? come quella 210 della figura 2 ad una sonda se questa ne fosse sprovvista. L?applicazione pu? essere stabile e definitiva oppure il fissaggio del marker alla sonda pu? essere di tipo amovibile.

Il corpo target ovvero il paziente viene posizionato nel campo di vista di una camera di acquisizione di una immagine visiva come indicato al passo 501. Al passo successivo 502 si verifica se nel campo di vista del sistema visivo appare chiaramente anche l?immagine della sonda con l?unit? marker.

Al passo 503 si d? inizio alla acquisizione di immagini visive del paziente, della sonda e della unit? marker e contemporaneamente all?acquisizione con la sonda di immagini ecografiche.

La sonda viene maneggiata dall?utente che la sposta lungo il corpo del paziente e la orienta differentemente rispetto allo stesso corrispondentemente a percorsi o protocolli di spostamento della sonda prestabiliti come indicato al passo 504, mentre durante lo spostamento vengono acquisite in successione immagini ecografiche ed immagini visive del paziente, della sonda e dell?unit? marker.

Come indicato al passo 505, per ciascuna posizione e/o orientamento della sonda vengono calcolati in temporale la posizione e l?orientamento della sonda rispetto al corpo del paziente grazie alle immagini visive dell?unit? marker.

Al passo 506, per ciascuna immagine ecografica relativa ad una posizione/orientamento della sonda tale immagine ecografica viene modificata in tempo reale in base ai dati rilevati sull?orientamento e la posizione della sonda calcolati dall?immagine visuale dell?unit? marker.

Al passo 507, questa immagine modificata viene visualizzata sovrapposta all?immagine visiva del paziente posizionata con il vertice del campo di vista in corrispondenza della estremit? di emissione degli impulsi ultrasonici della sonda come mostrato nelle figure 4.

Il diagramma della figura 6 entra con maggiore dettaglio nel merito dei passi del ciclo del suddetto metodo.

Al passo 600 la sonda ecografica viene portata in una prima posizione sul paziente e le viene imposto un primo orientamento rispetto al corpo del paziente. Viene quindi acquisita l?immagine visiva del corpo del paziente, della sonda e della unit? marker e contemporaneamente viene acquisita l?immagine ecografica con la detta posizione ed il detto orientamento della sonda come indicato al passo 601.

Al passo 602, per mezzo degli algoritmi di processamento di immagine vengono calcolati la posizione e l?orientamento della sonda rispetto al corpo del paziente. Questi dati vengono utilizzati per modificare posizione ed orientamento dell?immagine ecografica acquisita come indicato al passo 603.

Vantaggiosamente viene eseguito un passo 604 di riscalatura delle dimensioni dell?immagine ecografica modificata per avere dimensioni corrispondenti a quelle della sonda nell?immagine visiva.

Al passo 605 l?immagine ecografica modificata viene sovrapposta al corpo target posizionando l?apice superiore della detta immagine ecografica in corrispondenza della estremit? della sonda di emissione dei segnali di trasmissione.

Al passo 606 viene visualizzata la detta immagine combinata generata al passo 605 ed alternativamente od in parallelo a questa viene visualizzata od ? possibile visualizzare anche l?immagine ecografica non modificata generata dall?ecografo.

Al passo 607 si verifica se l?esame ecografico deve essere continuato. Nel caso negativo il processo viene terminato. In caso affermativo si prosegue con l?acquisizione di un ulteriore frame ecografico con la sonda in una ulteriore posizione e/o con un ulteriore orientamento come indicato al passo 608.

Appare evidente come il processo avviene in tempo reale per ciascun frame acquisito mediante la sonda ecografica, per cui lo spostamento e la variazione di orientamento della sonda che vengono eseguiti durante un normale esame ecografico producono una sequenza di immagini ecografiche che vengono mostrate sia nella loro forma non modificata separatamente dal corpo in esame sia nella forma modificata sovrapposte nella corretta posizione e col corretto orientamento del piano di scansione al corpo in esame senza per questo provocare limitazioni di frame rate o riduzioni della fluidit? di visualizzazione della successione di frame.

Claims

RIVENDICAZIONI

1. Sistema per l?acquisizione e la visualizzazione di immagini ecografiche in condizione di realt? aumentata, comprendente:

almeno una camera di acquisizione di immagini visive cio? nel campo spettarle visivo umano e che presenta un campo di vista prestabilito;

mentre

2. Sistema secondo la rivendicazione 1, in cui i detti marker bidimensionali sono previsti ciascuno su una faccia di una superficie anulare poliedrica, preferibilmente regolare come ad esempio una superficie di mantello di un cubo, un parallelogramma, od un poliedro avente una base poligonale ed in cui la detta base poligonale ? orientata trasversalmente, preferibilmente perpendicolarmente ad un asse longitudinale della sonda, ovvero un asse orientato in direzione di propagazione di impulsi di trasmissioni focalizzate lungo una linea di vista che si diparte da un elemento trasduttore centrale dell?insieme di trasduttori.

3. Sistema secondo le rivendicazioni 1 o 2, in cui la sonda presenta un corpo con una impugnatura avente una simmetria sostanzialmente rotazionale con riferimento ad un asse centrale parallelo ad un asse parallelo e/o coincidente con un asse orientato in direzione di propagazione di impulsi di trasmissioni focalizzate lungo una linea di vista che si diparte da un elemento trasduttore centrale dell?insieme di trasduttori, mentre sul lato dell?estremit? della sonda di emissione degli impulsi di trasmissione, il detto asse definisce con il corrispondente lato di testa di estremit? la punta della sonda, e all?estremit? opposta ? previsto un terminale di uscita di un cavo di collegamento della detta sonda al processore di elaborazione di immagini ecografiche il quale ? almeno parallelo, preferibilmente coassiale al detto asse longitudinale, essendo i detti almeno due marker grafici e/o il detto mantello poligonale di superfici su ciascuna delle quali ? previsto un marker grafico posizionati in modo simmetrico a rotazione con il detto asse longitudinale, essendo le dette superfici parte di un corpo provvisto di mezzi di accoppiamento meccanico con detto terminale.

4. Sistema secondo una o pi? delle precedenti rivendicazioni in cui la detta sonda ecografica pu? essere del tipo provvisto di una unit? di comunicazione wireless con il processore di elaborazione delle immagini, essendo la detta estremit? del corpo della sonda opposta alla testa della sonda sull?estremit? di emissione degli impulsi di trasmissione provvista in luogo del terminale del cavo di collegamento provvista di una corrispondente appendice di fissaggio amovibile del detto corpo provvisto delle dette superfici provviste dei marker bidirezionali.

5. Sistema secondo una o pi? delle precedenti rivendicazioni in cui l?immagine ecografica presenta una posizione definita rispetto al lato di testa della sonda ecografica sull?estremit? di emissione degli impulsi di trasmissione, essendo l?unit? di elaborazione dell?immagine visiva configurata per definire la posizione dell?immagine ecografica rispetto all?immagine visiva del corpo target con riferimento alla posizione della immagine ecografica rispetto al detto lato di testa della sonda.

6. Sistema secondo una o pi? delle precedenti rivendicazioni in cui il processore di elaborazione delle immagini ecografiche e/o l?unit? di elaborazione delle immagini visive siano configurati per eseguire una riscalatura delle dimensioni dell?immagine ecografica corrispondentemente alle dimensioni della sonda nell?immagine visiva, essendo il rapporto dimensionale fra sonda e immagine ecografica noto e predefinito dal sistema ecografico.

7. Sistema secondo una o pi? delle precedenti rivendicazioni in cui la combinazione dell?immagine ecografica con l?immagine visiva del corpo target prevede preferibilmente che l?immagine ecografica venga sovrapposta all?immagine visiva del corpo in esame, posizionata corrispondentemente alla posizione ed all?orientamento della sonda rispetto al detto corpo target ed opzionalmente viene mostrata contemporaneamente e/o alternativamente la immagine ecografica nella modalit? visualizzata dall?ecografo.

8. Kit per l?integrazione di sistemi ecografici, il quale kit comprende

mentre

nell?unit? di elaborazione delle immagini visive ? caricato e dalla stessa ? eseguibile un programma in cui sono codificate le istruzioni per l?esecuzione di algoritmi di riconoscimento d?immagine e detti algoritmi di riconoscimento di immagine venendo applicati all?immagine visiva della sonda ecografica e dei marker grafico i detti algoritmi fornendo la posizione e/o l?orientamento della sonda con riferimento alla posizione del corpo target nella detta immagine visiva;

9. Sistema secondo una o pi? delle precedenti rivendicazioni in cui ciascun QR-code pu? contenere i dati di identificazione della specifica faccia dell?unit? marker su cui ? applicato e/o in combinazione a ciascun QR-code ? prevista una immagine geometrica con dimensioni e/o colore predefiniti.

10. Metodo per l?acquisizione e la visualizzazione di immagini ecografiche in condizione di realt? aumentata, comprendente i seguenti passi:

11. Metodo secondo la rivendicazione 10 in cui ? previsto un marker bidimensionale realizzato secondo una o pi? delle precedenti rivendicazioni.

12. Metodo secondo le rivendicazioni 10 o 11, in cui la visualizzazione dell?immagine combinata visiva ed ecografica ? eseguita parallelamente od alternativamente alla visualizzazione della sola immagine ecografica come visualizzata dall?ecografo.