ITTO20080862A1 - DEVICE AND PROCEDURE FOR MEASURING THE VISUAL SIGHT OF A SUBJECT - Google Patents

DEVICE AND PROCEDURE FOR MEASURING THE VISUAL SIGHT OF A SUBJECT

Info

Publication number
ITTO20080862A1
ITTO20080862A1 IT000862A ITTO20080862A ITTO20080862A1 IT TO20080862 A1 ITTO20080862 A1 IT TO20080862A1 IT 000862 A IT000862 A IT 000862A IT TO20080862 A ITTO20080862 A IT TO20080862A IT TO20080862 A1 ITTO20080862 A1 IT TO20080862A1
Authority
IT
Italy
Prior art keywords
images
eyes
subject
scene
image
Prior art date
Application number
IT000862A
Other languages
Italian (it)
Inventor
Antonino Armato
Eliseo Maini
Giovanni Pioggia
Original Assignee
Fond Stella Maris
Univ Pisa
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fond Stella Maris, Univ Pisa filed Critical Fond Stella Maris
Priority to ITTO2008A000862A priority Critical patent/IT1394616B1/en
Publication of ITTO20080862A1 publication Critical patent/ITTO20080862A1/en
Application granted granted Critical
Publication of IT1394616B1 publication Critical patent/IT1394616B1/en

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb

Description

"Dispositivo e procedimento per la misurazione del punto di mira visiva di un soggetto" "Device and procedure for measuring the visual point of aim of a subject"

DESCRIZIONE DESCRIPTION

La presente invenzione si riferisce ad un dispositivo e ad un procedimento per la misurazione del punto di mira visiva di un soggetto. The present invention relates to a device and a method for measuring the visual aiming point of a subject.

Sono noti dispositivi in grado di misurare la capacità di una persona di seguire visivamente oggetti che si muovono durante l’esecuzione di un’attività specifica legata al moto di tali oggetti, come descritto nel documento WO A 01/74236. Devices are known capable of measuring the ability of a person to visually follow objects that move during the execution of a specific activity linked to the motion of such objects, as described in WO A 01/74236.

In particolare, tale documento utilizza un dispositivo simile ai dispositivi cosiddetti di eye-tracking capaci di rilevare la posizione oculare di una persona che li indossa rispetto ad una scena osservata dalla stessa persona. In particular, this document uses a device similar to the so-called eye-tracking devices capable of detecting the ocular position of a person wearing them with respect to a scene observed by the same person.

Dispositivi di questo tipo comprendono una telecamera fissata sulla fronte del soggetto per registrare la scena osservata dal soggetto stesso. Tali dispositivi comprendono inoltre uno specchio dicroico, posizionato di fronte ad un occhio del soggetto ad una distanza predeterminata, ad esempio dieci centimetri. Tale specchio dicroico à ̈ in grado di far passare la luce visibile, consentendo al soggetto di guardare la scena, e di riflettere un fascio di luce infrarossa. Devices of this type include a camera fixed on the subject's forehead to record the scene observed by the subject. Such devices further comprise a dichroic mirror, positioned in front of the subject's eye at a predetermined distance, for example ten centimeters. This dichroic mirror is able to pass visible light, allowing the subject to look at the scene, and to reflect a beam of infrared light.

Un LED ad infrarossi viene posizionato sulla testa del soggetto ed à ̈ in grado di inviare un fascio di luce infrarossa verso tale specchio dicroico, il quale lo riflette verso l’occhio per illuminarlo. An infrared LED is positioned on the subject's head and is able to send a beam of infrared light towards this dichroic mirror, which reflects it towards the eye to illuminate it.

Un dispositivo di rilevazione, posizionato sulla testa del soggetto, Ã ̈ in grado di acquisire il fascio LED incidente e il fascio LED riflesso per misurare il centro della pupilla e il punto di riflessione della cornea mentre il soggetto guarda la scena. A detection device, positioned on the subject's head, is able to acquire the incident LED beam and the reflected LED beam to measure the center of the pupil and the reflection point of the cornea while the subject watches the scene.

Tali dispositivi permettono di ottenere un buon tracciamento del movimento oculare ma riducono o restringono il movimento della testa compromettendo in tal modo una interazione sociale naturale. Infatti, questi dispositivi sono pesanti e lo specchio dicroico posto davanti ad un occhio à ̈ fastidioso per il soggetto. These devices allow for good tracking of eye movement but reduce or restrict the movement of the head thereby compromising a natural social interaction. In fact, these devices are heavy and the dichroic mirror placed in front of one eye is annoying for the subject.

Sono noti altri sistemi di tracciamento oculare i quali forniscono informazioni accurate del movimento degli occhi e della testa ma non sono indossabili. In tali dispositivi il soggetto deve guardare uno schermo al di sotto del quale à ̈ posizionato il dispositivo di tracciamento oculare che misura il punto di mira. Tali dispositivi, non essendo indossabili, non permettono di eseguire misurazioni in situazioni di interazione sociale naturale, particolarmente utili nel caso in cui si debba analizzare la capacità visiva di bambini. Other eye tracking systems are known which provide accurate information of eye and head movement but are not wearable. In such devices the subject must look at a screen under which the eye tracking device that measures the point of aim is positioned. As these devices are not wearable, they do not allow measurements to be made in situations of natural social interaction, which are particularly useful when it is necessary to analyze the visual capacity of children.

Infatti, i sistemi di tracciamento oculare dei tipi sopra descritti sono utilizzati per acquisire e verificare l'attenzione visuale durante l'esecuzione di compiti diversi, in particolare nello studio di vari aspetti dell'attenzione dei processi visuali nei disturbi del sistema nervoso centrale. In particolare, tali sistemi vengono utilizzati nello studio di disordini pervasivi dello sviluppo quali l'autismo. Di conseguenza, tali sistemi sono spesso impiegati nell'analisi del comportamento di bambini affetti da autismo. Indeed, eye tracking systems of the types described above are used to acquire and verify visual attention when performing different tasks, especially in the study of various aspects of attention of visual processes in central nervous system disorders. In particular, such systems are used in the study of pervasive developmental disorders such as autism. Consequently, such systems are often employed in the analysis of the behavior of children with autism.

E’ stata osservata una riduzione del tempo di permanenza nel punto di mira nei bambini autistici rispetto a bambini normo-dotati. Alcuni studi hanno mostrato come i bambini autistici esibiscano una ridotta attenzione per i volti e tali problemi possano portare a fallimenti nella coordinazione dell'attenzione visuale e a normali identificazioni delle espressioni emozionali e degli stati mentali. A reduction in the dwell time at the target point was observed in autistic children compared to normal-gifted children. Studies have shown that autistic children exhibit reduced attention to faces and such problems can lead to failures in coordination of visual attention and normal identification of emotional expressions and mental states.

In vista di quanto sopra detto, uno scopo dell'invenzione à ̈ quello di fornire un dispositivo per la misurazione del punto di mira di un soggetto che possa essere facilmente indossabile, che consenta al soggetto una interazione sociale naturale senza limitarne i movimenti. In view of the above, an object of the invention is to provide a device for measuring the point of aim of a subject that can be easily worn, which allows the subject a natural social interaction without limiting his movements.

Questo ed altri scopi vengono raggiunti con un dispositivo per la misurazione del punto di mira visiva le cui caratteristiche sono definite nella rivendicazione 1 e con un procedimento per la misura del punto di mira visiva come definito nella rivendicazione 3. This and other objects are achieved with a device for measuring the visual aiming point the characteristics of which are defined in claim 1 and with a method for measuring the visual aiming point as defined in claim 3.

Modi particolari di realizzazione formano oggetto delle rivendicazioni dipendenti, il cui contenuto à ̈ da intendersi come parte integrale e integrante della presente descrizione. Particular manufacturing methods are the subject of the dependent claims, the content of which is to be understood as an integral and integral part of this description.

Ulteriori caratteristiche e vantaggi dell'invenzione appariranno dalla descrizione dettagliata che segue, effettuata a puro titolo di esempio non limitativo, con riferimento ai disegni allegati, nei quali: Further characteristics and advantages of the invention will appear from the following detailed description, carried out purely by way of non-limiting example, with reference to the attached drawings, in which:

- la figura 1 Ã ̈ una vista in prospettiva di un dispositivo secondo l'invenzione; - figure 1 is a perspective view of a device according to the invention;

- la figura 2 Ã ̈ una vista laterale del dispositivo secondo l'invenzione; - figure 2 is a side view of the device according to the invention;

- la figura 3 Ã ̈ una vista dall'alto del dispositivo secondo l'invenzione, e - figure 3 is a top view of the device according to the invention, and

- la figura 4 à ̈ un digramma di flusso delle operazioni eseguite dal procedimento per la misura del punto di mira visiva secondo l’invenzione. - figure 4 is a flow diagram of the operations performed by the procedure for measuring the visual aiming point according to the invention.

Nella figura 1 con 1 Ã ̈ genericamente indicato un dispositivo per la misurazione del punto di mira visiva di un soggetto secondo l'invenzione, in particolare avente la forma di un cappello da baseball. In Figure 1, 1 generally indicates a device for measuring the visual aiming point of a subject according to the invention, in particular having the shape of a baseball cap.

Il dispositivo 1 comprende un corpo 2 atto ad essere posizionato sulla testa di un soggetto e una visiera 4, fissata a detto corpo e atta a coprire parzialmente la fronte del soggetto. Ad un’estremità della visiera 4 à ̈ fissato, perpendicolarmente al piano della visiera 4, uno specchio 6. Nella visiera 4 à ̈ presente inoltre un'apertura 8 posizionata in maniera tale da far passare immagini riflesse dallo specchio 6. Tali immagini vengono acquisite da un dispositivo di acquisizione 10, ad esempio una videocamera, fissata al corpo 2 del dispositivo 1 in corrispondenza della zona in cui la visiera 4 à ̈ fissata a detto corpo 2. The device 1 comprises a body 2 able to be positioned on the head of a subject and a visor 4, fixed to said body and able to partially cover the forehead of the subject. A mirror 6 is fixed to one end of the visor 4, perpendicular to the plane of the visor 4. acquired by an acquisition device 10, for example a video camera, fixed to the body 2 of the device 1 in correspondence with the area in which the visor 4 is fixed to said body 2.

Il dispositivo di acquisizione 10 Ã ̈ in grado di acquisire in un medesimo intervallo di tempo un fotogramma comprendente un'immagine di una scena posta di fronte a detto dispositivo di acquisizione 10 e un'immagine degli occhi del soggetto che indossa il dispositivo 1 e che guarda la medesima scena, detta immagine degli occhi essendo riflessa dallo specchio 6 verso il dispositivo di acquisizione 10 attraverso l'apertura 8. The acquisition device 10 is able to acquire in the same time interval a frame comprising an image of a scene placed in front of said acquisition device 10 and an image of the eyes of the subject wearing the device 1 and which looks at the same scene, said image of the eyes being reflected by the mirror 6 towards the acquisition device 10 through the aperture 8.

Sul corpo 2 del dispositivo à ̈ inoltre fissata una piattaforma inerziale 12 di tipo per sé noto. Tale piattaforma inerziale 12 à ̈ predisposta per calcolare parametri indicativi del moto della testa del soggetto rispetto al campo magnetico terrestre, in un predeterminato primo sistema di riferimento, preferibilmente tridimensionale cartesiano, associato a detta piattaforma inerziale 12. La piattaforma inerziale 12, il corpo 2 del dispositivo 1 e la testa del soggetto si muovono in maniera solidale. On the body 2 of the device there is also fixed an inertial platform 12 of a type known per se. This inertial platform 12 is designed to calculate parameters indicative of the motion of the subject's head with respect to the earth's magnetic field, in a predetermined first reference system, preferably three-dimensional Cartesian, associated with said inertial platform 12. The inertial platform 12, the body 2 of the device 1 and the subject's head move in an integral manner.

La piattaforma inerziale 12 e il dispositivo di acquisizione 10 inviano rispettivamente le coordinate della posizione della testa e le immagini della scena e degli occhi ad una scheda di acquisizione 14 posta in una tasca laterale 16 fissata al corpo 2 del dispositivo 1. Detta scheda di acquisizione 14 comprende un microprocessore di tipo per sé noto. The inertial platform 12 and the acquisition device 10 respectively send the coordinates of the position of the head and the images of the scene and of the eyes to an acquisition card 14 placed in a side pocket 16 fixed to the body 2 of the device 1. Said acquisition card 14 comprises a microprocessor of a type known per se.

Lo scambio di dati tra la piattaforma inerziale 12, il dispositivo di acquisizione 10 e la scheda di acquisizione 14 avviene tramite un collegamento seriale oppure in modo wireless. La scheda di acquisizione 14 riceve ad intervalli temporali predeterminati, ad esempio ogni millisecondo, informazioni relative alla posizione della testa, alla posizione degli occhi e la scena inquadrata dal dispositivo di acquisizione 10 ed elabora detti dati in modo da calcolare il punto di mira visiva. The data exchange between the inertial platform 12, the acquisition device 10 and the acquisition card 14 takes place via a serial link or wirelessly. The acquisition card 14 receives at predetermined time intervals, for example every millisecond, information relating to the position of the head, the position of the eyes and the scene framed by the acquisition device 10 and processes said data so as to calculate the visual aiming point.

In figura 4 Ã ̈ illustrato un diagramma di flusso delle operazioni eseguite dalla scheda di acquisizione 14 per la misura del punto di mira del soggetto. Figure 4 shows a flow chart of the operations performed by the acquisition card 14 for measuring the target point of the subject.

In un primo passo 100 si acquisiscono i dati provenienti dalla piattaforma inerziale 12, in particolare l’angolo di rotazione, la velocità angolare e l’accelerazione angolare della piattaforma inerziale 12 con riferimento a detto primo sistema di riferimento. In a first step 100 the data coming from the inertial platform 12 are acquired, in particular the rotation angle, the angular velocity and the angular acceleration of the inertial platform 12 with reference to said first reference system.

In un secondo passo 102 sono acquisite immagini bidimensionali della scena e degli occhi, preferibilmente a colori, elaborate successivamente in modo per sé noto dal microprocessore della scheda di acquisizione 14 allo scopo di trasformarle in un’unica immagine bidimensionale completa contenente sia la scena sia gli occhi. In a second step 102 two-dimensional images of the scene and of the eyes are acquired, preferably in color, subsequently processed in a manner known per se by the microprocessor of the acquisition card 14 in order to transform them into a single complete two-dimensional image containing both the scene both eyes.

Si definisce un secondo sistema di riferimento, preferibilmente di tipo tridimensionale cartesiano con assi ortogonali X, Y e Z, solidale con il dispositivo di acquisizione 10. Le immagini della scena, degli occhi e l’immagine completa comprendono ciascuna una pluralità di punti aventi ciascuno rispettive coordinate x e y; ciascun punto à ̈ associato ad un punto dello spazio tridimensionale tramite una rispettiva coordinata z calcolata come descritto in seguito. A second reference system is defined, preferably of the Cartesian three-dimensional type with orthogonal axes X, Y and Z, integral with the acquisition device 10. The images of the scene, of the eyes and the complete image each comprise a plurality of points having each respective x and y coordinates; each point is associated to a point of three-dimensional space through a respective z coordinate calculated as described below.

Al passo 104 viene eseguito un condizionamento dell’immagine completa ottenuta al passo 102 in modo da distinguere e identificare esattamente la scena e gli occhi per determinare una porzione di interesse dell’immagine. Vantaggiosamente, questa identificazione viene fatta eseguendo un’analisi statistica dell’istogramma dei colori dell’immagine poiché la scena ha tipicamente una maggior varietà di colori rispetto alla porzione di viso contenente gli occhi, che à ̈ prevalentemente rosa. In questo modo, à ̈ possibile distinguere la scena dagli occhi e la porzione di interesse comprende preferibilmente gli occhi e una porzione della scena adiacente agli occhi nell’immagine completa ottenuta al passo 102. In step 104 a conditioning of the complete image obtained in step 102 is performed in order to distinguish and identify exactly the scene and the eyes to determine a portion of interest of the image. Advantageously, this identification is made by performing a statistical analysis of the histogram of the colors of the image since the scene typically has a greater variety of colors than the portion of the face containing the eyes, which is predominantly pink. In this way, it is possible to distinguish the scene from the eyes and the portion of interest preferably includes the eyes and a portion of the scene adjacent to the eyes in the complete image obtained in step 102.

Al passo 106 viene applicato un filtro a tale porzione di interesse dell’immagine completa, ad esempio un filtro Laplaciano di Gaussiano o un filto LoG, per convertire la zona degli occhi e del viso dalla modalità a colori in una pluralità di livelli di grigio, in modo da semplificare le successive elaborazioni. At step 106 a filter is applied to this portion of interest of the complete image, for example a Laplacian Gaussian filter or a LoG filter, to convert the eye and face area from the color mode into a plurality of gray levels , in order to simplify subsequent processing.

I passi 102-106 vengono ripetuti analizzando una pluralità di immagini acquisite in istanti di tempo predeterminati e successivi, preferibilmente fino ad un minimo di 100ms poiché al di sotto di tale valore eventuali variazioni che possono essere identificate sono dovute ad artefatti delle immagini stesse. Steps 102-106 are repeated by analyzing a plurality of images acquired in predetermined and subsequent instants of time, preferably up to a minimum of 100ms since below this value any variations that can be identified are due to artifacts of the images themselves.

Al passo 108 viene eseguita una calibrazione del secondo sistema di riferimento, ovvero, partendo dalla porzione di interesse di un’immagine completa acquisita ad un predeterminato istante di tempo, si correlano i punti di tale immagine completa con i punti reali dello spazio tridimensionale ricavando l’associata coordinata z. At step 108 a calibration of the second reference system is performed, that is, starting from the portion of interest of a complete image acquired at a predetermined instant of time, the points of this complete image are correlated with the real points of the three-dimensional space, obtaining the associated coordinate z.

Si determina dunque la profondità di ciascun punto dell’immagine completa eseguendo una triangolazione a partire da due immagini complete successive. In particolare tale triangolazione viene eseguita sfruttando la correlazione temporale tra immagini successive, poiché l’intervallo di tempo che intercorre tra due acquisizioni di tali immagini à ̈ breve. Vantaggiosamente vengono utilizzati algoritmi noti per la visione stereoscopica – conosciuti anche con il nome di algoritmi “di stereopsis†– i quali vengono applicati a coppie di punti omologhi, ovvero aventi le medesime coordinate x e y, estratti da immagini immediatamente consecutive dal punto di vista temporale. Considerando il fatto che tali immagini sono acquisite a breve distanza l’una dall’altra, si può assumere che ogni punto dell’immagine si sia spostato di una quantità infinitesimale, e si possa perciò considerare che le sue coordinate x e y non siano cambiate. Detti algoritmi per la visione stereoscopica, analizzando dette immagini, forniscono in uscita la coordinata z, ovvero la profondità, di ciascun punto. The depth of each point of the complete image is therefore determined by making a triangulation starting from two successive complete images. In particular, this triangulation is performed by exploiting the temporal correlation between successive images, since the time interval between two acquisitions of these images is short. Advantageously, known algorithms for stereoscopic vision - also known by the name of `` stereopsis '' algorithms - are used which are applied to pairs of homologous points, i.e. having the same x and y coordinates, extracted from immediately consecutive images from the temporal point of view. Considering the fact that these images are acquired at a short distance from each other, it can be assumed that each point of the image has moved by an infinitesimal amount, and therefore it can be considered that its x and y coordinates are not change. Said algorithms for stereoscopic vision, by analyzing said images, output the z coordinate, or the depth, of each point.

Successivamente al passo 110 vengono estratte dalla porzione di interesse di ciascuna immagine completa le pupille. Vantaggiosamente si esegue un procedimento di per sé noto che identifica ellissi presenti nella porzione di interesse e ne determina l’angolo di inclinazione rispetto a detto secondo sistema di riferimento, l’eccentricità e gli assi. Subsequently to step 110 the pupils are extracted from the portion of interest of each complete image. Advantageously, a procedure known per se is carried out which identifies ellipses present in the portion of interest and determines its angle of inclination with respect to said second reference system, eccentricity and axes.

Confrontando la posizione e l’inclinazione di ciascuna pupilla con i punti della scena presente nella porzione dell’immagine completa si ricava il punto verso cui à ̈ diretta la pupilla. By comparing the position and inclination of each pupil with the points of the scene present in the portion of the complete image, the point towards which the pupil is directed is obtained.

In alternativa alle pupille, si analizzano le iridi poiché queste hanno dimensioni maggiori. As an alternative to the pupils, the irises are analyzed as they are larger in size.

Il passo 110 viene ripetuto analizzando la pluralità di immagini successive nel tempo e si ricavano in modo per sé noto parametri relativi al moto delle pupille, in particolare l’angolo di rotazione, la velocità angolare e l’accelerazione angolare delle pupille, calcolate rispetto al secondo sistema di riferimento. Step 110 is repeated by analyzing the plurality of successive images over time and parameters relating to the motion of the pupils are obtained in a known way, in particular the angle of rotation, the angular velocity and the angular acceleration of the pupils, calculated with respect to the second reference system.

Al passo 112 si determina il punto di mira visiva combinando i dati della piattaforma inerziale 12 con l’angolo di rotazione, la velocità angolare e l’accelerazione angolare di ciascuna pupilla, in modo da tener conto dei movimenti della testa. Vengono utilizzate predeterminate relazioni associative tra i dati della piattaforma inerziale 12 e l’angolo di rotazione, la velocità angolare e l’accelerazione angolare di ciascuna pupilla che consentono di determinare il punto osservato dal soggetto. In step 112 the visual aiming point is determined by combining the data of the inertial platform 12 with the rotation angle, the angular velocity and the angular acceleration of each pupil, in order to take into account the movements of the head. Predetermined associative relationships are used between the data of the inertial platform 12 and the angle of rotation, the angular velocity and the angular acceleration of each pupil that allow to determine the point observed by the subject.

In particolare, si applica un filtro di Kalman il quale riceve in ingresso i dati della piattaforma inerziale 12 e i dati di ciascuna pupilla ottenuti al passo 110, che sono dunque la variabili di stato del filtro, li integra in modo per sé noto e fornisce in uscita le coordinate del punto di mira visivo. In particular, a Kalman filter is applied which receives in input the data of the inertial platform 12 and the data of each pupil obtained in step 110, which are therefore the state variables of the filter, integrates them in a way known per se and provides in output the coordinates of the visual aiming point.

Alternativamente si utilizzano delle reti neurali. Alternatively, neural networks are used.

Vantaggiosamente vengono introdotti nel filtro di Kalman dati antropometrici, quali ad esempio vettori che individuano le posizioni degli occhi rispetto alla posizione della piattaforma inerziale 12. Tali dati antropometrici sono misurati direttamente sul soggetto o sono stimati in modo per sé noto. Advantageously, anthropometric data are introduced into the Kalman filter, such as vectors which identify the positions of the eyes with respect to the position of the inertial platform 12. Such anthropometric data are measured directly on the subject or are estimated in a per se known manner.

Naturalmente, fermo restando il principio dell'invenzione, le forme di attuazione ed i particolari di realizzazione potranno essere ampiamente variati rispetto a quanto à ̈ stato descritto ed illustrato a puro titolo di esempio non limitativo, senza per questo uscire dall'ambito di protezione della presente invenzione definito dalle rivendicazioni allegate. Naturally, without prejudice to the principle of the invention, the embodiments and construction details may be widely varied with respect to what has been described and illustrated purely by way of non-limiting example, without thereby departing from the scope of protection of the present invention defined by the appended claims.

Claims (9)

RIVENDICAZIONI 1. Dispositivo indossabile (1) per la misurazione del punto di mira visiva di un soggetto comprendente: - mezzi di acquisizione (10) predisposti per acquisire un’immagine di una scena posta di fronte al soggetto; - mezzi riflettenti (6) predisposti per riflettere un’immagine degli occhi del soggetto sui mezzi di acquisizione (10); - mezzi di misurazione (12) predisposti per misurare parametri indicativi di un moto relativo della testa rispetto ad un predeterminato sistema di riferimento; il dispositivo essendo caratterizzato dal fatto che i mezzi di acquisizione (10) sono in grado di acquisire in un medesimo intervallo di tempo un fotogramma comprendente l’immagine della scena e l’immagine degli occhi, e dal fatto di comprendere inoltre: - mezzi di elaborazione (14) predisposti per ricevere dai mezzi di acquisizione (10) detto fotogramma e dai mezzi di misurazione (12) i parametri indicativi del moto relativo della testa, e per determinare il punto di mira visiva sulla base dell’immagine della scena, dell’immagine degli occhi e dei parametri indicativi del moto relativo della testa. CLAIMS 1. Wearable device (1) for measuring a subject's visual aiming point comprising: - acquisition means (10) arranged to acquire an image of a scene placed in front of the subject; - reflecting means (6) designed to reflect an image of the subject's eyes on the acquisition means (10); - measuring means (12) arranged to measure parameters indicative of a relative motion of the head with respect to a predetermined reference system; the device being characterized by the fact that the acquisition means (10) are able to acquire in the same time interval a frame comprising the image of the scene and the image of the eyes, and by the fact that it also comprises: - processing means (14) arranged to receive from the acquisition means (10) said frame and from the measuring means (12) the parameters indicative of the relative motion of the head, and to determine the visual aiming point on the basis of the image the scene, the image of the eyes and the parameters indicative of the relative motion of the head. 2. Dispositivo (1) secondo la rivendicazione 1, comprendente un cappello a cui sono fissati i mezzi di acquisizione (10), i mezzi riflettenti (6), i mezzi di misurazione (12) e i mezzi di elaborazione (14). Device (1) according to claim 1, comprising a hat to which the acquisition means (10), the reflecting means (6), the measuring means (12) and the processing means (14) are fixed. 3. Procedimento per la misurazione del punto di mira visiva di un soggetto comprendente le operazioni di: - acquisire (100) primi dati indicativi di grandezze di un moto relativo della testa rispetto ad un predeterminato primo sistema di riferimento; - acquisire (102) una pluralità di immagini bidimensionali di una scena posta davanti agli occhi del soggetto e immagini degli occhi di detto soggetto, dette immagini essendo acquisite in istanti di tempo successivi e comprendendo ciascuna una pluralità di punti aventi rispettive coppie di coordinate (x, y) riferite ad un predeterminato secondo sistema di riferimento; - combinare (104) dette immagini di una scena con le rispettive immagini degli occhi ottenendo una pluralità di immagini complete contenenti sia la scena sia gli occhi; - correlare (108) i punti di ciascuna immagine completa con punti reali di uno spazio tridimensionale corrispondenti, in modo da associare a ciascun punto dell’immagine completa una terza coordinata (z) di detto secondo sistema di riferimento determinando in tal modo la profondità di ciascuno di detti punti dell’immagine completa; - elaborare (110) detta pluralità di immagini complete in modo da ricavare secondi dati indicativi di grandezze di un moto delle pupille degli occhi; - ricavare (112) sulla base di detti primi dati e detti secondi dati il punto di mira visiva del soggetto. 3. Procedure for measuring the visual aiming point of a subject comprising the operations of: - acquiring (100) first data indicative of quantities of a relative motion of the head with respect to a predetermined first reference system; - acquiring (102) a plurality of two-dimensional images of a scene placed in front of the eyes of the subject and images of the eyes of said subject, said images being acquired in successive instants of time and each comprising a plurality of points having respective pairs of coordinates (x , y) referring to a predetermined second reference system; - combining (104) said images of a scene with the respective images of the eyes obtaining a plurality of complete images containing both the scene and the eyes; - correlating (108) the points of each complete image with real points of a corresponding three-dimensional space, so as to associate a third coordinate (z) of said second reference system with each point of the complete image, thus determining the depth of each of said points of the complete image; - processing (110) said plurality of complete images so as to obtain second data indicative of magnitudes of a motion of the pupils of the eyes; - obtaining (112) on the basis of said first data and said second data the visual aiming point of the subject. 4. Procedimento secondo la rivendicazione 3, comprendente inoltre le operazioni di: - condizionare le immagini complete modo da distinguere la scena dagli occhi; - identificate una predeterminata porzione di interesse di tali immagini, detta porzione di interesse comprendendo gli occhi e una parte della scena adiacente agli occhi. 4. Process according to claim 3, further comprising the operations of: - condition the complete images in order to distinguish the scene from the eyes; - identify a predetermined portion of interest of such images, said portion of interest comprising the eyes and a part of the scene adjacent to the eyes. 5. Procedimento secondo la rivendicazione 4, comprendente inoltre l’operazione di applicare (106) a tale porzione di interesse delle immagini complete un filtro predeterminato per convertire detta porzione di interesse da una modalità a colori in una pluralità di livelli di grigio. 5. Process according to claim 4, further comprising the operation of applying (106) to said portion of interest of the complete images a predetermined filter to convert said portion of interest from a color mode into a plurality of gray levels. 6. Procedimento secondo una qualsiasi delle rivendicazioni da 3 a 5, in cui l’operazione di correlare (108) i punti di ciascuna immagine completa con punti dello spazio tridimensionale corrispondenti comprende la fase di eseguire una triangolazione a partire da due immagini consecutive acquisite in istanti di tempo successivi. 6. Process according to any one of claims 3 to 5, wherein the operation of correlating (108) the points of each complete image with corresponding points of the three-dimensional space comprises the step of performing a triangulation starting from two consecutive acquired images in successive instants of time. 7. Procedimento secondo la rivendicazione 6, in cui detta triangolazione à ̈ basata su una correlazione temporale esistente tra dette due immagini consecutive. 7. Process according to claim 6, wherein said triangulation is based on a temporal correlation existing between said two consecutive images. 8. Procedimento secondo una qualsiasi delle rivendicazioni da 4 a 7, in cui la fase di elaborare (110) dette immagini complete in modo da ricavare secondi dati indicativi di grandezze di un moto delle pupille degli occhi comprende le operazioni di: a) identificare nella porzione di interesse di almeno un’immagine completa le pupille; b) determinare la posizione e l’inclinazione di ciascuna pupilla; c) confrontare detta posizione e inclinazione della pupilla con i punti della scena presente nella porzione dell’immagine completa; d) ricavare il punto verso cui à ̈ diretta ciascuna pupilla sulla base di detto confronto; e) ripetere le fasi da a) a d) per immagini consecutive acquisite in istanti di tempo successivi ricavando detti secondi dati. Process according to any one of claims 4 to 7, wherein the step of processing (110) said complete images so as to obtain second data indicative of magnitudes of a motion of the pupils of the eyes comprises the operations of: a) identify the pupils in the portion of interest of at least one complete image; b) determine the position and inclination of each pupil; c) compare said position and inclination of the pupil with the points of the scene present in the portion of the complete image; d) derive the point towards which each pupil is directed on the basis of said comparison; e) repeating steps a) to d) for consecutive images acquired in successive instants of time, obtaining said second data. 9. Procedimento secondo una qualsiasi delle rivendicazioni precedenti, in cui l’operazione di ricavare (112) sulla base di detti primi dati e detti secondi dati il punto di mira visiva del soggetto comprende la fase di applicare un filtro di Kalman.9. Process according to any one of the preceding claims, wherein the operation of obtaining (112) on the basis of said first data and said second data the visual aiming point of the subject comprises the step of applying a Kalman filter.
ITTO2008A000862A 2008-11-21 2008-11-21 DEVICE AND PROCEDURE FOR MEASURING THE VISUAL SIGHT OF A SUBJECT IT1394616B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
ITTO2008A000862A IT1394616B1 (en) 2008-11-21 2008-11-21 DEVICE AND PROCEDURE FOR MEASURING THE VISUAL SIGHT OF A SUBJECT

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
ITTO2008A000862A IT1394616B1 (en) 2008-11-21 2008-11-21 DEVICE AND PROCEDURE FOR MEASURING THE VISUAL SIGHT OF A SUBJECT

Publications (2)

Publication Number Publication Date
ITTO20080862A1 true ITTO20080862A1 (en) 2010-05-22
IT1394616B1 IT1394616B1 (en) 2012-07-05

Family

ID=41114893

Family Applications (1)

Application Number Title Priority Date Filing Date
ITTO2008A000862A IT1394616B1 (en) 2008-11-21 2008-11-21 DEVICE AND PROCEDURE FOR MEASURING THE VISUAL SIGHT OF A SUBJECT

Country Status (1)

Country Link
IT (1) IT1394616B1 (en)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4852988A (en) * 1988-09-12 1989-08-01 Applied Science Laboratories Visor and camera providing a parallax-free field-of-view image for a head-mounted eye movement measurement system
WO1999027412A1 (en) * 1997-11-21 1999-06-03 Dynamic Digital Depth Research Pty. Ltd. Eye tracking apparatus
WO2001074236A1 (en) * 2000-03-31 2001-10-11 University Technologies International Inc. A diagnostic test for attention deficit hyperactivity disorder
US6580448B1 (en) * 1995-05-15 2003-06-17 Leica Microsystems Ag Process and device for the parallel capture of visual information
US20050073136A1 (en) * 2002-10-15 2005-04-07 Volvo Technology Corporation Method and arrangement for interpreting a subjects head and eye activity

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4852988A (en) * 1988-09-12 1989-08-01 Applied Science Laboratories Visor and camera providing a parallax-free field-of-view image for a head-mounted eye movement measurement system
US6580448B1 (en) * 1995-05-15 2003-06-17 Leica Microsystems Ag Process and device for the parallel capture of visual information
WO1999027412A1 (en) * 1997-11-21 1999-06-03 Dynamic Digital Depth Research Pty. Ltd. Eye tracking apparatus
WO2001074236A1 (en) * 2000-03-31 2001-10-11 University Technologies International Inc. A diagnostic test for attention deficit hyperactivity disorder
US20050073136A1 (en) * 2002-10-15 2005-04-07 Volvo Technology Corporation Method and arrangement for interpreting a subjects head and eye activity

Also Published As

Publication number Publication date
IT1394616B1 (en) 2012-07-05

Similar Documents

Publication Publication Date Title
US10595732B2 (en) Pulse wave detection device and pulse wave detection program
US10445560B2 (en) Pulse wave detection device and pulse wave detection program
US20180140187A1 (en) Eyeball observation device, eyewear terminal, line-of-sight detection method, and program
US20200034608A1 (en) Optical expression detection
EP3371781B1 (en) Systems and methods for generating and using three-dimensional images
JP2020034919A (en) Eye tracking using structured light
US8457352B2 (en) Methods and apparatus for estimating point-of-gaze in three dimensions
CN105574525B (en) A kind of complex scene multi-modal biological characteristic image acquiring method and its device
KR102555925B1 (en) Method and system for eye tracking using speckle patterns
US20180039846A1 (en) Glare reduction
US11789295B2 (en) Computer-implemented method for determining centration parameters
US20090304232A1 (en) Visual axis direction detection device and visual line direction detection method
JP2002505134A (en) Exercise pattern evaluation method and apparatus
US20120213418A1 (en) Multimodal ocular biometric system and methods
WO2017174525A1 (en) Method and device for determining parameters for spectacle fitting
DE112017005143T5 (en) MOVEMENT DISTRACTION APPRAISER, MOTIVATION DISABILITY DEVICE AND MOTOR INSULATION METHOD
WO2019028152A1 (en) Eye tracking using time multiplexing
CN105828700A (en) Method For Operating An Eye Tracking Device And Eye Tracking Device For Providing An Active Illumination Control For Improved Eye Tracking Robustness
JP6583734B2 (en) Corneal reflection position estimation system, corneal reflection position estimation method, corneal reflection position estimation program, pupil detection system, pupil detection method, pupil detection program, gaze detection system, gaze detection method, gaze detection program, face posture detection system, face posture detection Method and face posture detection program
JPWO2010035472A1 (en) Gaze direction determination device and gaze direction determination method
CN108875469A (en) In vivo detection and identity authentication method, device and computer storage medium
WO2016142489A1 (en) Eye tracking using a depth sensor
US10402996B2 (en) Distance measuring device for human body features and method thereof
Barsingerhorn et al. Development and validation of a high-speed stereoscopic eyetracker
ITTO20080862A1 (en) DEVICE AND PROCEDURE FOR MEASURING THE VISUAL SIGHT OF A SUBJECT