ITUA20163946A1

ITUA20163946A1 - Wearable viewer for augmented reality

Info

Publication number: ITUA20163946A1
Application number: ITUA2016A003946A
Authority: IT
Inventors: Vincenzo Ferrari; Emanuele Maria Calabrò
Original assignee: Univ Pisa
Priority date: 2016-05-30
Filing date: 2016-05-30
Publication date: 2017-11-30
Also published as: WO2017208148A1

Description

Descrizione dell'invenzione industriale dal titolo "Visore indossabile per la realtà aumentata" a nome dell'Università di Pisa. Description of the industrial invention entitled "Wearable viewer for augmented reality" on behalf of the University of Pisa.

DESCRIZIONE DESCRIPTION

Ambito dell'invenzione Scope of the invention

La presente invenzione riguarda il campo della realtà aumentata. The present invention relates to the field of augmented reality.

In particolare, l'invenzione riguarda un visore indossabile per realizzare realtà aumentata mediante la tecnica "see-through", sintetizzando l'informazione virtuale mediante un "light field" display. In particular, the invention relates to a wearable viewer for realizing augmented reality by means of the "see-through" technique, synthesizing the virtual information by means of a "light field" display.

Descrizione della tecnica nota Description of the prior art

Come noto, la tecnica "see-through" prevede che l'utente veda lo scenario che ha di fronte, direttamente con i suoi occhi, al più attraverso dei mezzi trasparenti o semitrasparenti. La tecnica "see-through" attualmente disponibile permette di far vedere l'informazione virtuale aggiunta alla scena reale visualizzandola sotto forma di immagine bidimensionale sui mezzi trasparenti o semi-trasparenti posti di fronte all'occhio (come nel caso dei Google Glass) o eventualmente proiettata direttamente nella retina. As is known, the "see-through" technique requires the user to see the scenario in front of him, directly with his eyes, at most through transparent or semitransparent means. The "see-through" technique currently available allows to show the virtual information added to the real scene by displaying it in the form of a two-dimensional image on the transparent or semi-transparent media placed in front of the eye (as in the case of Google Glass) or possibly projected directly into the retina.

Risulta tuttavia molto complesso sovrapporre alla realtà un'immagine virtuale tridimensionale che sia coerente con la posizione dell'occhio dell'utente rispetto all'ambiente circostante e con la messa a fuoco degli occhi dell'utente stesso. However, it is very complex to superimpose a three-dimensional virtual image onto reality that is consistent with the position of the user's eye with respect to the surrounding environment and with the focus of the user's eyes.

Una possibilità sperimentata è quella di utilizzare un campo di luce per generare l'informazione virtuale da sovrapporre a quella reale. Come noto, i "light field display" sono display in grado di generare un campo di luce verosimile a quello di una scena reale offrendo quindi parallasse di movimento e permettendo una messa a fuoco che varia come nella realtà in funzione della distanza degli oggetti. Questa tecnologia è utilizzata ad esempio per gli schermi e i televisori 3D che non fanno uso di speciali occhiali. One experimented possibility is to use a light field to generate virtual information to be superimposed on the real one. As known, "light field displays" are displays capable of generating a field of light that is likely to that of a real scene, thus offering parallax of movement and allowing focus that varies as in reality according to the distance of the objects. This technology is used for example for 3D screens and TVs that do not use special glasses.

Tuttavia, ad oggi l'integrazione della tecnica "seethrough" con quella dei "light field display" risulta ancora poco efficace in quanto l'immagine virtuale 3D ha spesso poca qualità o non è posizionata in maniera coerente rispetto alla posizione relativa tra utente ed ambiente circostante. Per tale motivo, i pochissimi esempi di combinazione di tali tecnologie fanno uso di visori non mobili, per i quali è possibile un facile tracciamento della posizione e dunque una coerentizzazione migliore del contenuto virtuale rispetto all'ambiente circostante. However, to date the integration of the "seethrough" technique with that of the "light field display" is still not very effective as the virtual 3D image often has poor quality or is not positioned in a coherent manner with respect to the relative position between user and environment. surrounding. For this reason, the very few examples of combinations of these technologies make use of non-mobile viewers, for which it is possible to easily track the position and therefore a better coherence of the virtual content with the surrounding environment.

Si sente tuttavia la forte esigenza di riuscire ad utilizzare tale tecnologia su visori indossabili che permettano un libero movimento dell'utente. However, there is a strong need to be able to use this technology on wearable viewers that allow the user to move freely.

Sintesi dell'invenzione Summary of the invention

È quindi scopo della presente invenzione fornire un sistema di realtà aumentata che permetta la sovrapposizione di un campo di luce virtuale di un contenuto 3D al campo di luce reale di un ambiente circostante. It is therefore an object of the present invention to provide an augmented reality system that allows the superposition of a virtual light field of a 3D content to the real light field of a surrounding environment.

È anche scopo della presente invenzione fornire un siffatto sistema che comprenda un display mobile e indossabile da un utente. It is also an object of the present invention to provide such a system which comprises a mobile display that can be worn by a user.

È inoltre scopo della presente invenzione fornire un siffatto sistema che permetta di creare il contenuto virtuale sia a partire da un contenuto reale, sia mediante l'utilizzo della computer grafica. It is also an object of the present invention to provide such a system which allows the creation of the virtual content both starting from a real content and through the use of computer graphics.

È ancora scopo della presente invenzione fornire un siffatto sistema che permetta una qualità dell'immagine virtuale 3D maggiore rispetto alla tecnica nota. Another object of the present invention is to provide such a system which allows a higher 3D virtual image quality than the known art.

Questi ed altri scopi sono raggiunti da un sistema di realtà aumentata atto a sovrapporre, davanti ad un utente, un campo di luce virtuale di un contenuto 3D al campo di luce reale di un ambiente circostante, detto sistema di realtà aumentata prevedendo un display di realtà aumentata comprendente: These and other purposes are achieved by an augmented reality system designed to superimpose, in front of a user, a virtual light field of a 3D content on the real light field of a surrounding environment, called augmented reality system by providing a reality display. augmented comprising:

— un display di campo di luce atto a creare un campo di luce virtuale del contenuto 3D; - a light field display designed to create a virtual light field of the 3D content;

— un combinatore di fascio atto a deviare i raggi luminosi provenienti dal campo di luce virtuale del contenuto 3D e proiettarli di fronte ad un utente in modo tale da sovrapporre il campo di luce virtuale del contenuto 3D al campo di luce reale dell'ambiente circostante; - a beam combiner adapted to deflect the light rays coming from the virtual light field of the 3D content and project them in front of a user in such a way as to superimpose the virtual light field of the 3D content on the real light field of the surrounding environment;

la cui caratteristica principale è che il display di realtà aumentata è atto ad essere indossato dall'utente sulla propria testa, whose main feature is that the augmented reality display is designed to be worn by the user on his head,

e che sono inoltre previsti: and which are also provided for:

— un sistema di tracciamento atto a monitorare in tempo reale posizione e orientamento di un sistema di riferimento mobile S-Lsolidale al display di realtà aumentata rispetto ad un sistema di riferimento fisso S2solidale all'ambiente circostante; - a tracking system designed to monitor in real time the position and orientation of a mobile reference system S-L in solidarity with the augmented reality display compared to a fixed reference system S2 in solidarity with the surrounding environment;

— un'unità di controllo atta a ricevere dal sistema di tracciamento un'informazione su posizione e orientamento del sistema di riferimento mobile S-Le a determinare il campo di luce virtuale del contenuto 3D coerente con la posizione e l'orientamento del sistema di riferimento mobile 5]^rispetto al sistema di riferimento fisso S2. L'utilizzo del campo di luce per creare il contenuto virtuale permette di non dover determinare con estrema accuratezza la posizione relativa tra occhio e visore, in quanto garantisce un corretto allineamento dell'informazione virtuale con l'ambiente reale circostante qualunque sia il movimento dell'occhio. Dunque il sistema di tracciamento deve fornire solo la posizione relativa tra display e ambiente circostante, in modo tale da permettere all'unità di controllo di generare in tempo reale il campo di luce coerente con la posizione dell'utente rispetto all'ambiente circostante. - a control unit capable of receiving from the tracking system information on the position and orientation of the mobile reference system S-Le to determine the virtual light field of the 3D content consistent with the position and orientation of the reference system mobile 5] with respect to the fixed reference system S2. The use of the light field to create the virtual content allows you not to have to determine with extreme accuracy the relative position between the eye and the viewer, as it guarantees a correct alignment of the virtual information with the real surrounding environment whatever the movement of the eye. Therefore, the tracking system must provide only the relative position between the display and the surrounding environment, in such a way as to allow the control unit to generate in real time the field of light consistent with the user's position with respect to the surrounding environment.

Il sistema di realtà virtuale secondo la presente invenzione, dunque, fornisce all'utente un'esperienza molto più realistica e versatile rispetto alla tecnica nota, oltre a permettere una grande libertà di movimento. The virtual reality system according to the present invention, therefore, provides the user with a much more realistic and versatile experience than the prior art, as well as allowing great freedom of movement.

In particolare, il display di campo di luce comprende: — un pannello di visualizzazione 2D atto a mostrare un'immagine 2D composta da una serie di immagini eiementali costituite da una pluralità di pixel; — un pannello di parallasse posto in corrispondenza di una predeterminata distanza d dal pannello di visualizzazione 2D e ad una predeterminata distanza D da un punto ideale di osservazione dell'utente A, detto pannello di parallasse comprendendo una pluralità di centri di proiezione, detto pannello di parallasse essendo atto ad imporre ai raggi luminosi emessi dai pixel delle immagini eiementali di passare attraverso i centri di proiezione; In particular, the light field display comprises: - a 2D display panel adapted to show a 2D image composed of a series of elemental images constituted by a plurality of pixels; - a parallax panel placed at a predetermined distance d from the 2D display panel and at a predetermined distance D from an ideal observation point of the user A, said parallax panel comprising a plurality of projection centers, said panel of parallax being adapted to force the light rays emitted by the pixels of the elemental images to pass through the projection centers;

almeno un pixel della pluralità contenendo informazioni cromatiche di un raggio luminoso virtuale proveniente dal contenuto 3D e passante attraverso un centro di proiezione e il pixel, in modo tale che un utente, guardando i centri di proiezione, percepisca un campo di luce virtuale del contenuto 3D. at least one pixel of the plurality containing chromatic information of a virtual light beam coming from the 3D content and passing through a projection center and the pixel, so that a user, looking at the projection centers, perceives a virtual light field of the 3D content .

Vantaggiosamente, ciascuna immagine eiementale è un quadrato avente lato LEI= p ^l ^j, dove p è il passo tra due contigui centri di proiezione, detto quadrato avendo un centro geometrico C giacente su una linea retta passante attraverso un corrispondente centro di proiezione e il punto ideale di osservazione dell'utente A . Advantageously, each elemental image is a square having side LEI = p ^ l ^ j, where p is the pitch between two contiguous projection centers, said square having a geometric center C lying on a straight line passing through a corresponding projection center and the ideal point of observation for user A.

In questo modo, dal punto di osservazione ideale l'utente vede, attraverso i centri di proiezione, tutti i centri delle immagini eiementali, ottenendo una migliore qualità dell'immagine. È così anche possibile ridurre la distanza D senza dover ridurre la distanza d, come invece avverrebbe in tecnica nota dove generalmente si ha LEI= p . Questo aspetto porta al considerevole vantaggio di aumentare 1'indossabilità del dispositivo. In this way, from the ideal observation point, the user sees, through the projection centers, all the centers of the elemental images, obtaining a better image quality. It is thus also possible to reduce the distance D without having to reduce the distance d, as it would happen in the prior art where generally we have LEI = p. This aspect leads to the considerable advantage of increasing the wearability of the device.

In particolare, il pannello di visualizzazione 2D e/o il pannello di parallasse hanno forma curva e i centri di proiezione sono posti in modo tale che una linea retta passante attraverso il punto ideale di osservazione dell'utente A e un centro di proiezione attraversi il centro dell'angolo solido definito dalla superficie della corrispondente immagine eiementale e dal punto ideale di osservazione dell'utente A . In particular, the 2D display panel and / or the parallax panel have a curved shape and the projection centers are placed in such a way that a straight line passing through the ideal observation point of user A and a projection center passes through the center. of the solid angle defined by the surface of the corresponding elemental image and by the ideal observation point of user A.

Vantaggiosamente, ogni centro di proiezione del pannello di parallasse comprende almeno un foro che attraversa il pannello di parallasse. Advantageously, each projection center of the parallax panel comprises at least one hole which crosses the parallax panel.

Alternativamente, ogni centro di proiezione del pannello di parallasse comprende almeno una lente. Alternatively, each projection center of the parallax panel comprises at least one lens.

In particolare, il sistema di tracciamento può comprendere: In particular, the tracking system may include:

— un localizzatore GPS; - a GPS locator;

— un sensore di inerzia; - an inertia sensor;

— un sensore ottico; - an optical sensor;

— un sensore elettromagnetico; - an electromagnetic sensor;

— una combinazione delle precedenti. - a combination of the above.

Vantaggiosamente, l'unità di controllo comprende un database contenente una pluralità di immagini 2D acquisite del contenuto 3D, ciascuna immagine 2D acquisita comprendendo una pluralità di pixel acquisiti, ciascuno dei pixel acquisiti essendo associato ad un set di parametri definenti la direzione di un raggio luminoso proveniente dal contenuto 3D, detta unità di controllo essendo atta ad accedere al database e a determinare il campo di luce virtuale del contenuto 3D coerente con l'informazione ricevuta dal sistema di tracciamento riguardo posizione ed orientamento del sistema di riferimento mobile S-Lrispetto al sistema di riferimento fisso S2. Advantageously, the control unit comprises a database containing a plurality of acquired 2D images of the 3D content, each acquired 2D image comprising a plurality of acquired pixels, each of the acquired pixels being associated with a set of parameters defining the direction of a light beam. coming from the 3D content, said control unit being able to access the database and to determine the virtual light field of the 3D content consistent with the information received from the tracking system regarding the position and orientation of the mobile reference system S-L with respect to the fixed reference S2.

In particolare, la pluralità di immagini 2D acquisite è acquisita mediante una fotocamera provvista di un sensore di immagine su cui i raggi luminosi provenienti dal contenuto 3D formano un'immagine 2D acquisita del database, e il set di parametri comprende: In particular, the plurality of acquired 2D images is acquired by means of a camera equipped with an image sensor on which the light rays coming from the 3D content form a 2D image acquired from the database, and the set of parameters includes:

— parametri di posizione e orientamento della fotocamera rispetto al contenuto 3D; - camera position and orientation parameters with respect to 3D content;

— parametri definenti l'orientamento di ciascun raggio luminoso associato ad uno dei pixel rispetto alla fotocamera, detti parametri essendo associati alle impostazioni della fotocamera. - parameters defining the orientation of each light ray associated with one of the pixels with respect to the camera, said parameters being associated with the camera settings.

Alternativamente, il contenuto 3D è un contenuto 3D virtuale creato in computer grafica e l'unità di controllo è atta a determinare il campo di luce del contenuto 3D virtuale coerente con l'informazione ricevuta dal sistema di tracciamento riguardo posizione ed orientamento del sistema di riferimento mobile S-Lrispetto al sistema di riferimento fisso S2. Alternatively, the 3D content is virtual 3D content created in computer graphics and the control unit is able to determine the light field of the virtual 3D content consistent with the information received from the tracking system regarding the position and orientation of the reference system. mobile S-L with respect to the fixed reference system S2.

In particolare, usando le informazioni fornite dal sistema di tracciamento, l'unità di controllo genera le immagini 2D del contenuto 3D virtuale mediante un determinato algoritmo (es. Ray tracing) o simulando un array di camere virtuali disposte verso tale contenuto 3D virtuale, in maniera coerente rispetto alla posizione dell'utente nello spazio e rispetto alla posizione in cui il campo di luce virtuale deve sovrapporsi al campo di luce reale. Per entrambe le soluzioni è fondamentale conoscere la geometria interna del display atto a visualizzare il campo di luce virtuale, ovvero D, d e p . In particular, using the information provided by the tracking system, the control unit generates 2D images of the virtual 3D content by means of a specific algorithm (eg Ray tracing) or by simulating an array of virtual cameras arranged towards this virtual 3D content, in a consistent manner with respect to the user's position in space and with respect to the position in which the virtual light field must overlap the real light field. For both solutions it is essential to know the internal geometry of the display designed to visualize the virtual light field, i.e. D, d and p.

Secondo un altro aspetto dell'invenzione, un metodo per la realtà aumentata atto a sovrapporre, di fronte all'utente, davanti ad un utente, un campo di luce virtuale di un contenuto 3D al campo di luce reale di un ambiente circostante, comprende le fasi di: According to another aspect of the invention, an augmented reality method adapted to superimpose, in front of the user, in front of a user, a virtual light field of a 3D content on the real light field of a surrounding environment, comprises the stages of:

— tracciare posizione e orientamento di un sistema di riferimento mobile Si solidale ad un display di realtà aumentata rispetto ad un sistema di riferimento fisso S2solidale all'ambiente circostante; - trace the position and orientation of a mobile reference system Si integral with an augmented reality display with respect to a fixed reference system S2 which is integral to the surrounding environment;

— mostrare su un pannello di visualizzazione 2D un'immagine 2D composta da una serie di immagini eiementali costituite da una pluralità di pixel, almeno un pixel della pluralità contenendo informazioni cromatiche di un raggio luminoso virtuale proveniente dal contenuto 3D e passante attraverso un centro di proiezione e il pixel, ad una distanza d dal centro della corrispondente immagine eiementale; - show on a 2D display panel a 2D image composed of a series of elemental images consisting of a plurality of pixels, at least one pixel of the plurality containing chromatic information of a virtual light beam coming from the 3D content and passing through a projection center and the pixel, at a distance d from the center of the corresponding elemental image;

— disporre un pannello di parallasse posto in corrispondenza di una predeterminata distanza d dal pannello di visualizzazione 2D e ad una predeterminata distanza D da un punto ideale di osservazione dell'utente A, detto pannello di parallasse comprendendo una pluralità di centri di proiezione, detto pannello di parallasse essendo atto ad imporre ai raggi luminosi emessi dai pixel delle immagini eiementali di passare attraverso i centri di proiezione, in modo tale che un utente, guardando i centri di proiezione, percepisca un campo di luce virtuale del contenuto 3D - arrange a parallax panel placed at a predetermined distance d from the 2D display panel and at a predetermined distance D from an ideal observation point of the user A, said parallax panel comprising a plurality of projection centers, said panel of parallax being able to force the light rays emitted by the pixels of the elemental images to pass through the projection centers, so that a user, looking at the projection centers, perceives a virtual light field of the 3D content

— disporre un combinatore di fascio atto a deviare i raggi luminosi provenienti dal campo di luce virtuale del contenuto 3D e proiettarli di fronte ad un utente. - arrange a beam combiner able to deflect the light rays coming from the virtual light field of the 3D content and project them in front of a user.

Vantaggiosamente, l'immagine 2D è determinata sulla base di un database contenente una pluralità di immagini 2D acquisite del contenuto 3D, ciascuna immagine 2D acquisita comprendendo una pluralità di pixel acquisiti, ciascuno dei pixel acquisiti essendo associato ad un set di parametri definenti la direzione di un raggio luminoso proveniente dal contenuto 3D. Advantageously, the 2D image is determined on the basis of a database containing a plurality of acquired 2D images of the 3D content, each acquired 2D image comprising a plurality of acquired pixels, each of the acquired pixels being associated with a set of parameters defining the direction of a ray of light coming from the 3D content.

Alternativamente, il contenuto 3D è un contenuto 3D virtuale creato in computer grafica e l'informazione cromatica associata ai pixel delle immagini eiementali è creata sulla base di posizione ed orientamento del sistema di riferimento mobile Si rispetto al sistema di riferimento fisso Alternatively, the 3D content is a virtual 3D content created in computer graphics and the chromatic information associated with the pixels of the elemental images is created on the basis of the position and orientation of the mobile reference system Si with respect to the fixed reference system.

1⁄4 1⁄4

Breve descrizione dei disegni Brief description of the drawings

Ulteriori caratteristiche e/o vantaggi della presente invenzione risulteranno più chiari con la descrizione che segue di una sua forma realizzativa, fatta a titolo esemplificativo e non limitativo, con riferimento ai disegni annessi in cui: Further characteristics and / or advantages of the present invention will become clearer with the following description of an embodiment thereof, given by way of non-limiting example, with reference to the attached drawings in which:

— la figura 1 mostra il sistema di realtà aumentata secondo la presente invenzione; - figure 1 shows the augmented reality system according to the present invention;

— la figura 2 mostra schematicamente i componenti del display di realtà aumentata; - figure 2 schematically shows the components of the augmented reality display;

— la figura 3 mostra schematicamente una possibile forma realizzativa del display di campo di luce, con indicate le grandezze caratteristiche. Figure 3 schematically shows a possible embodiment of the light field display, with the characteristic quantities indicated.

Descrizione di alcune forme realizzative preferite Con riferimento a figura 1, il sistema di realtà aumentata 10, secondo la presente invenzione, comprende un display di realtà aumentata 100 atto ad essere indossato da un utente sulla propria testa. Description of some preferred embodiments With reference to Figure 1, the augmented reality system 10, according to the present invention, comprises an augmented reality display 100 adapted to be worn by a user on his head.

In particolare, con riferimento anche a figura 2, il display di realtà aumentata 100 comprende un display di campo di luce 110, atto a creare un campo di luce virtuale di contenuto 3D, ed un combinatore di fascio 130, atto a deviare i raggi luminosi provenienti dal campo di luce del contenuto virtuale 3D e proiettarli di fronte ad un utente in modo tale da sovrapporre il campo di luce virtuale del contenuto 3D (tratteggiato in figura 1) al campo di luce reale dell'ambiente circostante. In particular, with reference also to Figure 2, the augmented reality display 100 comprises a light field display 110, adapted to create a virtual light field of 3D content, and a beam combiner 130, adapted to deflect the light rays. coming from the light field of the 3D virtual content and projecting them in front of a user in such a way as to superimpose the virtual light field of the 3D content (hatched in Figure 1) on the real light field of the surrounding environment.

Vantaggiosamente, è inoltre previsto un sistema di tracciamento 140 atto a monitorare in tempo reale la posizione e l'orientamento di un sistema di riferimento mobile S-Lsolidale al display di realtà aumentata 100 rispetto ad un sistema di riferimento fisso S2solidale all'ambiente circostante. Tale informazione viene inviata in tempo reale ad un'unità di controllo 150 che, sulla base di tale informazione, determina il campo di luce virtuale del contenuto 3D più coerente, ossia il campo di luce che si integra meglio con l'ambiente circostante rispetto al punto di vista dell'utente. Advantageously, a tracking system 140 is also provided which is adapted to monitor in real time the position and orientation of a mobile reference system S-L in connection with the augmented reality display 100 with respect to a fixed reference system S2 in connection with the surrounding environment. This information is sent in real time to a control unit 150 which, on the basis of this information, determines the most coherent virtual light field of the 3D content, i.e. the light field that integrates better with the surrounding environment than the point of view of the user.

In una forma realizzativa preferita il sistema di tracciamento 140 è interno al display di realtà aumentata 100 e comprende almeno una fotocamera atta a permettere la localizzazione degli oggetti dell'ambiente circostante e dell'utente in relazione ad esso. In a preferred embodiment, the tracking system 140 is internal to the augmented reality display 100 and comprises at least one camera able to allow the localization of the objects of the surrounding environment and of the user in relation to it.

In figura 3 è mostrata schematicamente una forma realizzativa del display di campo di luce 110 comprendente un pannello di visualizzazione 2D 111, atto a mostrare un'immagine 2D composta da una serie di immagini eiementali 112 costituite da una pluralità di pixel, e un pannello di parallasse 116 posto in corrispondenza di una predeterminata distanza d dal pannello di visualizzazione 2D 111 e ad una predeterminata distanza D da un punto ideale di osservazione dell'utente A . Figure 3 schematically shows an embodiment of the light field display 110 comprising a 2D display panel 111, suitable for showing a 2D image composed of a series of elemental images 112 consisting of a plurality of pixels, and a panel of parallax 116 placed at a predetermined distance d from the 2D display panel 111 and at a predetermined distance D from an ideal observation point for user A.

In particolare, il pannello di parallasse 116 comprende una pluralità di centri di proiezione 117, attraverso i quali sono forzati a passare i raggi luminosi emessi dai pixel delle immagini eiementali 112 per raggiungere il punto di osservazione dell'utente. In particular, the parallax panel 116 comprises a plurality of projection centers 117, through which the light rays emitted by the pixels of the elemental images 112 are forced to pass in order to reach the user's observation point.

Vantaggiosamente, ciascuna immagine eiementale 112 è un quadrato avente lato LEI — P dove p è il passo tra due contigui centri di proiezione 117. Ciascun quadrato ha inoltre un centro geometrico C giacente su una linea retta passante attraverso un corrispondente centro di proiezione 117 e il punto ideale di osservazione dell'utente A . Advantageously, each elemental image 112 is a square having side LEI - P where p is the step between two contiguous projection centers 117. Each square also has a geometric center C lying on a straight line passing through a corresponding projection center 117 and the ideal observation point for user A.

La descrizione di cui sopra di alcune forme realizzative specifiche è in grado di mostrare l'invenzione dal punto di vista concettuale in modo che altri, utilizzando la tecnica nota, potranno modificare e/o adattare in varie applicazioni tale forma realizzativa specifica senza ulteriori ricerche e senza allontanarsi dal concetto inventivo, e, quindi, si intende che tali adattamenti e modifiche saranno considerabili come equivalenti della forma realizzativa specifica. I mezzi e i materiali per realizzare le varie funzioni descritte potranno essere di varia natura senza per questo uscire dall'ambito dell'invenzione. Si intende che le espressioni o la terminologia utilizzate hanno scopo puramente descrittivo e per questo non limitativo. The above description of some specific embodiments is able to show the invention from the conceptual point of view so that others, using the known technique, will be able to modify and / or adapt this specific embodiment in various applications without further research and without departing from the inventive concept, and, therefore, it is understood that such adaptations and modifications will be considered as equivalent to the specific embodiment. The means and materials for carrying out the various functions described may be of various nature without thereby departing from the scope of the invention. It is understood that the expressions or terminology used have a purely descriptive purpose and therefore not limitative.

Claims

CLAIMS 1. An augmented reality system (10) designed to superimpose, in front of a user, a virtual light field of a 3D content on the real light field of a surrounding environment, called augmented reality system (10) by providing a display of augmented reality (100) comprising: - a light field display (110) adapted to create a virtual light field of said 3D content; - a beam combiner (130) adapted to deflect the light rays coming from said virtual light field of said 3D content and project them in front of a user in such a way as to superimpose said virtual light field of said 3D content to said field of real light of said surrounding environment; said augmented reality system (10) being characterized by the fact that said augmented reality display (100) is adapted to be worn by said user on his head, and by the fact that it also includes: - a tracking system (140) adapted to monitor in real time the position and orientation of a mobile reference system Si integral with said augmented reality display (100) with respect to a fixed reference system S2 integral with said surrounding environment; - a control unit (150) adapted to receive from said tracking system (140) information on the position and orientation of said mobile reference system S-Le to determine the virtual light field of said 3D content coherent with said position and orientation of said movable reference system S-L with respect to said fixed reference system S2.

The augmented reality system (10), according to claim 1, wherein said light field display (HO) comprises: - a 2D display panel (111) adapted to show a 2D image composed of a series of elemental images (112) constituted by a plurality of pixels; - a parallax panel (116) placed at a predetermined distance d from said 2D display panel (111) and at a predetermined distance D from an ideal observation point of the user A, said parallax panel (116) comprising a plurality of projection centers (117), said parallax panel (116) being adapted to force the light rays emitted by said pixels of said elemental images (112) to pass through said projection centers (117); at least one pixel of said plurality containing chromatic information of a virtual light ray coming from said 3D content and passing through a projection center (117) and said pixel, so that a user, looking at said projection centers (117), perceives a virtual light field of said 3D content.

3. The augmented reality system (10), according to claim 2, in which each elemental image (112) is a square having side LEI = p ^ l where p is the step between two contiguous projection centers (117), called square having a geometric center C lying on a straight line passing through a corresponding projection center (117) and called the ideal observation point of user A.

The augmented reality system (10), according to claim 3, wherein said 2D display panel (111) and / or said parallax panel (116) has a curved shape and said projection centers (117) are placed in such that a straight line passing through said ideal observation point of user A and a projection center (117) crosses the center of the solid angle defined by the surface of the corresponding elemental image (112) and from said ideal observation point of the 'user A.

The augmented reality system (10), according to claim 2, wherein each projection center (117) of said parallax panel (116) comprises at least one hole that crosses said parallax panel (116).

The augmented reality system (10), according to claim 2, wherein each projection center (117) of said parallax panel (116) comprises at least one lens.

The augmented reality system (10), according to claim 1, wherein said control unit (150) comprises a database containing a plurality of acquired 2D images of said 3D content, each acquired 2D image comprising a plurality of acquired pixels , each of said acquired pixels being associated with a set of parameters defining the direction of a light beam coming from said 3D content, said control unit (150) being able to access said database and to determine the virtual light field of said content 3D consistent with said information received by said tracking system (140) regarding position and orientation of said mobile reference system Si with respect to said fixed reference system S2.

The augmented reality system (10), according to the claim 7, wherein said plurality of acquired 2D images is acquired by means of a camera provided with an image sensor on which the light rays coming from said 3D content form an acquired 2D image of said database, and where said set of parameters comprises: - parameters of position and orientation of said camera with respect to said 3D content; - parameters defining the orientation of each light ray associated with one of said pixels with respect to said camera, said parameters being associated with the settings of said camera.

The augmented reality system (10), according to claim 1, wherein said 3D content is a virtual 3D content created in computer graphics and said control unit (150) is adapted to determine the light field of said 3D content virtual coherent with said information received by said tracking system (140) regarding position and orientation of said mobile reference system S-L with respect to said fixed reference system S2.

10. A method for augmented reality designed to superimpose, in front of the user, in front of a user, a virtual light field of a 3D content on the real light field of a surrounding environment, said method being characterized by the fact of understanding the phases of: - tracing the position and orientation of a mobile reference system S-L in solidarity with an augmented reality display (100) with respect to a fixed reference system S2 in solidarity with said surrounding environment; - showing on a 2D display panel (111) a 2D image composed of a series of elemental images (112) consisting of a plurality of pixels, at least one pixel of said plurality containing chromatic information of a virtual light beam coming from said content 3D and passing through a projection center (117) and said pixel, at a distance d from the center of the corresponding elemental image (112); - arrange a parallax panel (116) placed at a predetermined distance d from said 2D display panel (111) and at a predetermined distance D from an ideal observation point of user A, said parallax panel (116) comprising a plurality of projection centers (117), said parallax panel (116) being adapted to force the light rays emitted by said pixels of said elemental images (112) to pass through said projection centers (117), in such a way that a user, looking at said projection centers (117), perceives a virtual light field of said 3D content - arranging a beam combiner (130) adapted to deflect the light rays coming from said virtual light field of said 3D content and project them in front of a user.

The method for augmented reality, according to claim 10, wherein said 2D image is determined on the basis of a database containing a plurality of acquired 2D images of said 3D content, each acquired 2D image comprising a plurality of acquired pixels, each of said acquired pixels being associated with a set of parameters defining the direction of a light ray coming from said 3D content.

The method for augmented reality according to claim 10, wherein said 3D content is a virtual 3D content created in computer graphics and the chromatic information associated with said pixels of said elemental images (112) is created on the basis of position and orientation of said movable reference system with respect to said fixed reference system S2.