IT202100010415A1 - METHOD AND SYSTEM FOR CHECKING OBJECTS OF A HOUSING UNIT THROUGH EYE TRACKING - Google Patents
METHOD AND SYSTEM FOR CHECKING OBJECTS OF A HOUSING UNIT THROUGH EYE TRACKING Download PDFInfo
- Publication number
- IT202100010415A1 IT202100010415A1 IT102021000010415A IT202100010415A IT202100010415A1 IT 202100010415 A1 IT202100010415 A1 IT 202100010415A1 IT 102021000010415 A IT102021000010415 A IT 102021000010415A IT 202100010415 A IT202100010415 A IT 202100010415A IT 202100010415 A1 IT202100010415 A1 IT 202100010415A1
- Authority
- IT
- Italy
- Prior art keywords
- iot
- terminal
- housing
- unit
- sequence
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 44
- 238000004891 communication Methods 0.000 claims description 22
- 230000004424 eye movement Effects 0.000 claims description 8
- 238000012545 processing Methods 0.000 claims description 5
- 230000005540 biological transmission Effects 0.000 claims description 3
- 238000010438 heat treatment Methods 0.000 claims description 3
- 238000005259 measurement Methods 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims description 3
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims description 3
- 230000003750 conditioning effect Effects 0.000 claims description 2
- 238000009434 installation Methods 0.000 claims 1
- 230000010354 integration Effects 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 238000005406 washing Methods 0.000 description 5
- 230000008901 benefit Effects 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 210000002161 motor neuron Anatomy 0.000 description 3
- 206010061296 Motor dysfunction Diseases 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000005764 inhibitory process Effects 0.000 description 2
- 208000028698 Cognitive impairment Diseases 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 208000010877 cognitive disease Diseases 0.000 description 1
- 238000001816 cooling Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 210000003205 muscle Anatomy 0.000 description 1
- 208000015122 neurodegenerative disease Diseases 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000001575 pathological effect Effects 0.000 description 1
- 230000007170 pathology Effects 0.000 description 1
- 238000009428 plumbing Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000001711 saccadic effect Effects 0.000 description 1
- 210000002027 skeletal muscle Anatomy 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 230000001755 vocal effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
Description
Descrizione dell'Invenzione Industriale dal titolo: Description of the Industrial Invention entitled:
?METODO E SISTEMA PER CONTROLLARE OGGETTI DI UN?UNIT? ABITATIVA MEDIANTE TRACCIAMENTO OCULARE? ?METHOD AND SYSTEM FOR CHECKING OBJECTS OF A?UNIT? LIVING THROUGH EYE TRACKING?
DESCRIZIONE DESCRIPTION
La presente invenzione riguarda un metodo per controllare oggetti di un?unit? abitativa mediante tracciamento oculare, in accordo con il preambolo della rivendicazione 1. In particolare, viene illustrato un metodo per controllare oggetti di un?unit? abitativa mediante tracciamento oculare e relativo sistema e terminale. The present invention relates to a method for controlling objects of a unit? housing by eye tracking, in accordance with the preamble of claim 1. In particular, a method is disclosed for controlling objects of a unit? housing by eye tracking and related system and terminal.
La presente invenzione ? utilizzabile per migliorare l?autonomia degli utenti che hanno perso le funzionalit? motorie, permettendo loro di gestire autonomamente oggetti di una unit? abitativa come ad esempio serramenti, elettrodomestici, impianti elettrici, sistemi di riscaldamento e/o raffrescamento, sistemi idraulici e cos? via, ad esempio nel contesto di ambienti domestici e/o ospedalieri. The present invention ? can be used to improve the autonomy of users who have lost the functionality? motor skills, allowing them to independently manage objects of a unit? housing such as windows, appliances, electrical systems, heating and / or cooling systems, plumbing systems and so on? away, for example in the context of domestic and/or hospital environments.
La presente invenzione ? particolarmente utile per utenti affetti da malattie degenerative che coinvolgono i motoneuroni, le quali comportano un meccanismo patologico che porta alla perdita progressiva delle funzionalit? motorie dell?utente: ne deriva una condizione fortemente limitante che, a causa dell?inibizione delle funzionalit? dei motoneuroni, rende gli utenti non autosufficienti. The present invention ? particularly useful for users suffering from degenerative diseases involving motor neurons, which involve a pathological mechanism that leads to the progressive loss of functional motor skills of the user: the result is a strongly limiting condition which, due to the inhibition of the functionalities? of motor neurons, makes users non self-sufficient.
Uno dei principali problemi che accompagna gli individui che soffrono di degrado neuro-cognitivo ? la perdita della capacit? di comunicazione. Infatti, i motoneuroni permettono di comandare i muscoli volontari del corpo: la perdita dell?attivazione delle cellule neuronali comporta l?inibizione della capacit? vocale dell?individuo. One of the main problems that accompanies individuals suffering from neuro-cognitive impairment? the loss of capacity? of communication. In fact, motor neurons make it possible to control the voluntary muscles of the body: the loss of activation of the neuronal cells leads to the inhibition of the ability to vowel of the individual.
Gli individui affetti da tale patologia perdono gradualmente anche le funzionalit? dei muscoli degli arti e quindi non riescono ad utilizzare le interfacce comunemente utilizzate, come ad esempio mouse, tastiera ed interfacce vocali, nell?interazione ad esempio coi Personal Computer. Per sopperire alla perdita delle capacit? vocali e di movimentazione, vengono utilizzati dei sistemi che implementano interfacce dedicate a questa categoria di utenti, come ad esempio sistemi di controllo oculare o sistemi di controllo con onde cerebrali, che consentono di sostituire almeno in parte le facolt? motorie perse. Individuals affected by this pathology also gradually lose functionality? of the muscles of the limbs and therefore are unable to use commonly used interfaces, such as mouse, keyboard and vocal interfaces, in interaction for example with Personal Computers. To make up for the loss of capacity? voice and movement, systems are used that implement interfaces dedicated to this category of users, such as eye control systems or brain wave control systems, which allow you to replace at least in part the faculties? motor skills lost.
I sistemi di tracciamento oculare (eye-gaze systems) permettono il tracciamento dello sguardo dell?utente, la cui movimentazione resta intatta anche in stadi avanzati della malattia. Eye-gaze systems allow tracking of the user's gaze, whose movement remains intact even in advanced stages of the disease.
I terminali attualmente noti, che utilizzano come interfaccia un sistema di tracciamento oculare, permettono la digitazione delle lettere attraverso la direzione dello sguardo di un utente. Molti sistemi di tracciamento oculare odierni non consentono solo la digitazione di testo ma permettono anche di utilizzare, mediante un apposito men? che mostra i comandi attivabili, un controllo ad infrarossi per la gestione di un numero limitato di dispositivi dell?unit? abitativa, come ad esempio interruttori elettrici e serramenti, equipaggiati con un ricevitore ad infrarossi, a patto che tali dispositivi da controllare siano correttamente configurati. Ci? consente all?utente, attraverso un?interfaccia comandabile tramite il suo sguardo, di generare suoni, navigare in Internet, scrivere mail e comandare, in un numero limitato di casi, tali dispositivi dotati di ricevitore a infrarossi. Currently known terminals, which use an eye tracking system as an interface, allow letters to be typed through the direction of a user's gaze. Many eye tracking systems today not only allow text typing but also allow you to use, through a special menu, which shows the commands that can be activated, an infrared control for managing a limited number of devices on the unit? housing, such as electric switches and windows, equipped with an infrared receiver, provided that these devices to be controlled are correctly configured. There? it allows the user, through an interface that can be controlled by his gaze, to generate sounds, surf the Internet, write emails and control, in a limited number of cases, these devices equipped with an infrared receiver.
I sistemi attualmente noti presentano una serie di inconvenienti qui di seguito illustrati. Currently known systems have a series of drawbacks illustrated hereinafter.
Un primo inconveniente ? dovuto alla ridotta autonomia dell?utente poich? i sistemi attuali non consentono una gestione globale dei dispositivi ad infrarossi dell?unit? abitativa e permettono solo una interazione senza fili locale, a corto raggio, con tali dispositivi. A first drawback? due to the reduced autonomy of the user since? current systems do not allow global management of the infrared devices of the unit? housing and only allow local, short-range wireless interaction with such devices.
Un secondo inconveniente deriva dal fatto che i dispositivi ad infrarossi sovente necessitano l?intervento di addetti specializzati per la loro configurazione, non essendo tali dispositivi sufficientemente intelligenti per effettuare una loro configurazione automatica. A second drawback derives from the fact that the infrared devices often require the intervention of specialized operators for their configuration, since these devices are not intelligent enough to carry out their automatic configuration.
Un ulteriore inconveniente dei sistemi noti ? dovuto al fatto che tali sistemi non sono agevolmente scalabili, ovvero non consentono una semplice integrazione di diversi dispositivi, come ad esempio dispositivi per il controllo intelligente dell?ambiente circostante, dispositivi medicali e cos? via, che supportano ad esempio i protocolli di comunicazione Wi-Fi, Bluetooth, UMTS, LTE e 5G. A further drawback of the known systems? due to the fact that these systems are not easily scalable, i.e. they do not allow simple integration of different devices, such as devices for intelligent control of the surrounding environment, medical devices and so on. via, which support for example the communication protocols Wi-Fi, Bluetooth, UMTS, LTE and 5G.
Scopo della presente invenzione ? pertanto quello di risolvere questi ed altri problemi dell?arte nota, e in particolare di indicare metodo per controllare oggetti di un?unit? abitativa mediante tracciamento oculare, ed il relativo sistema e terminale, per incrementare l?autonomia dell?utente affetto da disfunzioni motorie, ad esempio nel contesto di ambienti domestici e/o ospedalieri. Purpose of the present invention? therefore that of solving these and other problems of the prior art, and in particular of indicating a method for controlling objects of a unit? housing using eye tracking, and the related system and terminal, to increase the autonomy of the user suffering from motor dysfunctions, for example in the context of domestic and/or hospital environments.
Un ulteriore scopo della presente invenzione ? quello di indicare un metodo per controllare oggetti di un?unit? abitativa mediante tracciamento oculare, ed il relativo sistema e terminale, che consentano di gestire in maniera globale gli oggetti, tra loro eterogenei, di un?unit? abitativa. A further object of the present invention ? to indicate a method to control objects of a? unit? housing by eye tracking, and the related system and terminal, which allow you to globally manage the objects, among them heterogeneous, of a unit? housing.
Un altro scopo della presente invenzione ? quello di indicare un metodo per controllare oggetti di un?unit? abitativa mediante tracciamento oculare, ed il relativo sistema e terminale, che consentano una configurazione e gestione degli oggetti di un?unit? abitativa in maniera semplice per l?utente, ovvero senza l?intervento di addetti specializzati per la loro configurazione. Another object of the present invention ? to indicate a method to control objects of a? unit? housing by eye tracking, and the related system and terminal, which allow a configuration and management of the objects of a unit? housing in a simple way for the user, i.e. without the intervention of specialized operators for their configuration.
Un ulteriore scopo della presente invenzione ? quello di indicare un metodo per controllare oggetti di un?unit? abitativa mediante tracciamento oculare, ed il relativo sistema e terminale, che consentano una semplice integrazione degli oggetti, tra loro eterogenei, di una unit? abitativa. A further object of the present invention ? to indicate a method to control objects of a? unit? housing by eye tracking, and the related system and terminal, which allow a simple integration of objects, between them heterogeneous, of a unit? housing.
In estrema sintesi, l?invenzione descritta consiste in un metodo per controllare oggetti di un?unit? abitativa mediante tracciamento oculare, ed il relativo sistema e terminale, attraverso l?interazione di tali oggetti con dispositivi intelligenti, secondo il paradigma IoT (Internet of Things). In a nutshell, the invention described consists of a method for controlling objects of a unit? housing through eye tracking, and the related system and terminal, through the interaction of these objects with intelligent devices, according to the IoT (Internet of Things) paradigm.
Ulteriori caratteristiche vantaggiose della presente invenzione sono oggetto delle unite rivendicazioni che formano parte integrante della presente descrizione. Further advantageous characteristics of the present invention are the object of the attached claims which form an integral part of the present description.
L?invenzione verr? di seguito descritta dettagliatamente attraverso esempi di realizzazione non limitanti con particolare riferimento alle figure allegate, in cui: The invention will come described in detail below through non-limiting embodiments with particular reference to the attached figures, in which:
- la Figura 1 rappresenta schematicamente un sistema comprendente almeno un terminale per controllare oggetti di un?unit? abitativa mediante tracciamento oculare, secondo una forma di realizzazione della presente invenzione; - Figure 1 schematically represents a system comprising at least one terminal for controlling objects of a unit? housing by eye tracking, according to an embodiment of the present invention;
- la Figura 2 esemplifica schematicamente un diagramma a blocchi del terminale di Figura 1; - Figure 2 schematically exemplifies a block diagram of the terminal of Figure 1;
- la Figura 3 rappresenta un diagramma di flusso esemplificativo di un metodo per controllare, mediante tracciamento oculare, gli oggetti dell?unit? abitativa mostrata in Figura 1; - Figure 3 represents an exemplary flowchart of a method for controlling, by eye tracking, the objects of the unit? housing shown in Figure 1;
- la Figura 4 rappresenta un diagramma di flusso esemplificativo di un metodo per il tracciamento oculare, in accordo alla presente forma di realizzazione dell?invenzione. Figure 4 represents an exemplary flowchart of a method for eye tracking, according to the present embodiment of the invention.
La Figura 1 rappresenta schematicamente un sistema 100 per gestire almeno un oggetto 191 di una unit? abitativa 190 mediante tracciamento oculare, detto sistema 100 comprendendo un server 150, almeno un terminale 110 ed almeno un dispositivo IoT 181 operativamente connesso a detto oggetto 191. Il terminale 110, il server 150 e ciascun dispositivo IoT 181 comunicano tra loro mediante una rete 155 secondo il paradigma IoT, ad esempio mediante una o pi? delle seguenti interfacce: Wi-Fi, Bluetooth, UMTS, LTE, 5G. Figure 1 schematically represents a system 100 for managing at least one object 191 of a unit? housing 190 by eye tracking, said system 100 comprising a server 150, at least one terminal 110 and at least one IoT device 181 operatively connected to said object 191. The terminal 110, the server 150 and each IoT device 181 communicate with each other via a network 155 according to the IoT paradigm, for example through one or more? of the following interfaces: Wi-Fi, Bluetooth, UMTS, LTE, 5G.
L?unit? abitativa 190 comprende almeno un oggetto 191, ed in genere pu? comprendere una pluralit? di oggetti 191 che possono essere tra loro eterogenei. In una forma di realizzazione della presente invenzione, l?oggetto 191 pu? comprendere un serramento dell?unit? abitativa 190, come ad esempio una porta, una finestra, una tapparella, una persiana e cos? via. In una ulteriore forma di realizzazione dell?invenzione, l?oggetto 191 pu? comprendere un ambiente di detta unit? abitativa 190, come ad esempio una stanza, un ingresso, un ripostiglio e cos? via. The unit housing 190 includes at least one object 191, and generally can? understand a plurality of 191 objects that can be heterogeneous to each other. In one embodiment of the present invention, object 191 can include a window of? unit? housing 190, such as a door, a window, a shutter, a blind and so on? Street. In a further embodiment of the invention, the object 191 can understand an environment of said unit? housing 190, such as a room, an entrance, a closet and so on? Street.
In un?altra forma di realizzazione della presente invenzione, l?oggetto 191 pu? comprendere un elettrodomestico di detta unit? abitativa 190. In una ulteriore forma di realizzazione dell?invenzione, l?oggetto 191 pu? comprendere un componente di un impianto di detta unit? abitativa 190, ad esempio l?impianto dell?unit? abitativa 190 pu? comprendere almeno uno dei seguenti impianti: impianto idrico; impianto di condizionamento; impianto termico; impianto elettrico; impianto di sorveglianza; impianto di allarme. A seconda del tipo di impianto, il componente pu? essere un interruttore elettrico, una valvola, un rubinetto e cos? via. In another embodiment of the present invention, object 191 can include an appliance of this unit? housing 190. In a further embodiment of the invention, the object 191 can? include a component of a plant of this unit? housing 190, for example the? plant of? unit? housing 190 pu? include at least one of the following systems: water system; conditioning system; heating system; electrical system; surveillance system; alarm system. Depending on the type of system, the component can? be an electric switch, a valve, a faucet and so on? Street.
L?oggetto 191 ? operativamente connesso ad almeno un dispositivo IoT 181 in modo tale da poter interagire con l?oggetto stesso. Tale dispositivo IoT 181 pu? comprendere mezzi sensori e/o mezzi attuatori: i mezzi sensori sono atti a misurare almeno un valore di una o pi? grandezze fisiche che caratterizzano un primo stato di operativit? dell?oggetto 191, e possono comprendere ad esempio sensori termici, acustici, ottici, meccanici, accelerometri, giroscopi, barometri e cos? via. I mezzi attuatori sono atti a determinare un secondo stato di operativit? di detto oggetto 191 e possono comprendere ad esempio servomeccanismi azionati da motori elettrici oppure da dispositivi elettromeccanici. The object 191 ? operatively connected to at least one IoT device 181 in such a way as to be able to interact with the object itself. Such an IoT 181 device can comprise sensor means and/or actuator means: are the sensor means able to measure at least a value of one or more? physical quantities that characterize a first state of operation? of the object 191, and can include for example thermal, acoustic, optical, mechanical sensors, accelerometers, gyroscopes, barometers and so on? Street. Are the actuator means able to determine a second operating state? of said object 191 and can comprise for example servomechanisms actuated by electric motors or by electromechanical devices.
Ad esempio, l?oggetto 191 pu? essere progettato per operare originariamente secondo il paradigma IoT, come ad esempio un elettrodomestico intelligente (frigorifero smart, lavatrice smart), un apparato elettromedicale smart, una centralina elettrica smart per la gestione dell?impianto elettrico dell?unit? abitativa 190 in grado di connettersi alla rete 155 e cos? via. In tal caso il primo stato di operativit? dell?oggetto 191 viene caratterizzato dai mezzi sensori dell?oggetto 191 stesso: ad esempio, nel caso in cui l?oggetto 191 sia una lavatrice smart, i mezzi sensori possono determinare la presenza della corretta pressione dell?acqua in ingresso alla lavatrice smart, ovvero dell?oggetto 191; i mezzi attuatori possono invece comprendere ad esempio un?elettrovalvola e/o una pompa della lavatrice smart opportunamente attivati in modo da effettuare un lavaggio, determinando cos? il secondo stato di operativit? della lavatrice smart, ovvero dell?oggetto 191. For example, the object 191 can? be designed to originally operate according to the IoT paradigm, such as for example a smart household appliance (smart refrigerator, smart washing machine), a smart electromedical device, a smart electrical control unit for managing the electrical system of the unit? housing 190 able to connect to the network 155 and so? Street. In this case, the first state of operation? of the object 191 is characterized by the sensor means of the object 191 itself: for example, if the object 191 is a smart washing machine, the sensor means can determine the presence of the correct pressure of the water entering the smart washing machine, or of object 191; the actuator means can instead comprise, for example , a solenoid valve and/or a pump of the smart washing machine suitably activated so as to carry out a wash, thus determining? the second state of operation? of the smart washing machine, i.e. of object 191.
Alternativamente, l?oggetto 191 pu? essere progettato per non operare originariamente secondo il paradigma IoT, come ad esempio un comune serramento; in tal caso almeno un dispositivo IoT pu? essere installato su tale oggetto 191, ad esempio un sensore di prossimit? per caratterizzare il primo stato di operativit? del serramento, ovvero dell?oggetto 191. Tale primo stato di operativit? pu? corrispondere ad esempio allo stato di chiusura o di apertura del serramento. Un altro dispositivo IoT, comprendente mezzi attuatori come servomeccanismi, pu? essere installato sul serramento in modo da determinarne l?apertura o la chiusura, determinando cos? il secondo stato di operativit? del serramento, ovvero dell?oggetto 191. Alternatively, the object 191 can? be designed not to originally operate according to the IoT paradigm, such as for example a common window; in this case, at least one IoT device can? be installed on this object 191, for example a proximity sensor? to characterize the first state of operation? of the window or of the object 191. This first state of operation? can? correspond, for example, to the closing or opening status of the window. Another IoT device, including actuating means such as servos, can be installed on the window in order to determine its? opening or closing, thus determining? the second state of operation? of the window or of the object 191.
In un'altra forma di realizzazione dell?invenzione, l?oggetto 191 pu? essere un ambiente (una stanza) dell?unit? abitativa 190; in tal caso almeno un dispositivo IoT pu? essere installato ad esempio su di una parete dell?ambiente, come ad esempio una centralina IoT comprendente mezzi sensori per misurare le caratteristiche ambientali dell?oggetto 191, in modo da caratterizzare il primo stato di operativit? dell?oggetto 191 stesso. Un altro dispositivo IoT, ad esempio un condizionatore smart, pu? essere installato nell?ambiente in modo da determinarne un valore di temperatura e/o di umidit? dell?ambiente stesso, determinando cos? il secondo stato di operativit? dell?ambiente, ovvero dell?oggetto 191. In another embodiment of the invention, object 191 can be an environment (a room) of? unity? housing 190; in this case, at least one IoT device can? be installed for example on a wall of the environment, such as for example an IoT control unit comprising sensor means for measuring the environmental characteristics of the object 191, so as to characterize the first operating state? of the object 191 itself. Another IoT device, such as a smart air conditioner, can be installed in? the environment in order to determine a value of temperature and / or humidity? of? the environment itself, thus determining? the second state of operation? of the environment, or of the object 191.
Il server 150 ? atto a gestire il sistema 100 consentendo lo scambio di informazioni tra almeno un terminale 110 ed almeno un dispositivo IoT 181. In una forma di realizzazione, il server 150 pu? comprendere una memoria, una interfaccia ingressi/uscite, un modulo di comunicazione ed un processore operativamente connessi tra loro. The 150 server? adapted to manage the system 100 allowing the exchange of information between at least one terminal 110 and at least one IoT device 181. In one embodiment, the server 150 can? comprising a memory, an input/output interface, a communication module and a processor operationally connected to each other.
La memoria del server 150 ? atta a memorizzare al suo interno le istruzioni e le informazioni, o parti di esse, per attuare il metodo in accordo alla presente invenzione, che sar? descritto in dettaglio in riferimento alle Figure 3 e 4. Tali informazioni possono comprendere ad esempio un modello virtuale 290 di detta unit? abitativa 190 o di almeno una parte di essa ed un insieme di servizi IoT 281 di almeno un dispositivo IoT 181 operativamente connesso ad almeno un oggetto 191. Server memory 150 ? able to memorize inside the instructions and the information, or parts of them, to implement the method according to the present invention, which will be? described in detail with reference to Figures 3 and 4. Such information can comprise for example a virtual model 290 of said unit? housing 190 or at least a part thereof and a set of IoT services 281 of at least one IoT device 181 operatively connected to at least one object 191.
Il modello virtuale 290 ? realizzato in base alla tecnica Building Information Modeling (BIM). Il BIM ? una metodologia che a partire dal modello tridimensionale dell?unit? abitativa 190 consente una ricostruzione virtuale dell?unit? abitativa 190 stessa attraverso l?impiego di oggetti virtuali che sono equivalenti agli oggetti 191. Tali oggetti virtuali non sono delle semplici geometrie, ma sono in grado di relazionarsi fra loro: considerando ad esempio un muro dell?unit? abitativa 190, secondo il paradigma BIM, questo possiede una geometria, ovvero informazioni di struttura come spessore, altezza, conduttanza e varie relazioni con gli altri oggetti 191. Se il muro viene modificato, l?intero modello dell?unit? abitativa si modifica tenendo conto dei cambiamenti effettuati sul muro considerato. Il BIM contiene dunque numerose tipologie di informazioni, che rendono il modello BIM molto pi? informativo di un comune modello tridimensionale. Proprio grazie a tutte le informazioni contenute in esso, la sua funzione non si esaurisce con le fasi di progettazione e costruzione dell?unit? abitativa 190, ma continua durante l?intero ciclo di vita della stessa. Tale modello virtuale 290, inteso come database di oggetti e delle loro propriet?, pu? essere manipolato in modo da contenere informazioni relative allo stato di operativit? degli oggetti 191 mediante i dispositivi IoT 181 operativamente connessi agli oggetti 191 stessi. The virtual model 290 ? made according to the Building Information Modeling (BIM) technique. The BIM? a methodology that starting from the three-dimensional model of? unit? housing 190 allows a virtual reconstruction of the unit? housing 190 itself through the use of virtual objects which are equivalent to the objects 191. These virtual objects are not mere geometries, but are able to relate to each other: considering, for example, a wall of the unit? housing 190, according to the BIM paradigm, this has a geometry, i.e. structural information such as thickness, height, conductance and various relationships with other objects 191. If the wall is modified, the entire model of the unit? housing changes taking into account the changes made on the considered wall. The BIM therefore contains numerous types of information, which make the BIM model much more information of a common three-dimensional model. Thanks to all the information contained in it, its function does not end with the design and construction phases of the unit? housing 190, but continues during the entire life cycle of the same. This virtual model 290, understood as a database of objects and their properties, can be manipulated in order to contain information relating to the state of operation? of the objects 191 through the IoT devices 181 operatively connected to the objects 191 themselves.
Come sopra descritto, la memoria del server 150 pu? memorizzare l?insieme di servizi IoT 281 di almeno un dispositivo IoT 181 operativamente connesso ad almeno un oggetto 191. Nella presente descrizione, un servizio IoT comprende una o pi? funzioni eseguibili da ciascun dispositivo IoT 181, come ad esempio funzioni inerenti alla misura dei mezzi sensori del dispositivo IoT 181, funzioni di comando dei mezzi attuatori del dispositivo IoT 181 oppure funzioni di comunicazione del dispositivo IoT 181. Un dispositivo IoT 181 pu? avere uno o pi? servizi IoT, ovvero l?insieme dei servizi IoT 281, associabili all?oggetto 191 operativamente connesso al dispositivo IoT 181 stesso. L?insieme di servizi IoT 281 pu? comprendere un servizio di misurazione del primo stato di operativit? dell?oggetto 191 e/o un servizio di determinazione del secondo stato di operativit? dell?oggetto 191. As described above, server memory 150 can store the set of IoT services 281 of at least one IoT device 181 operatively connected to at least one object 191. In the present description, an IoT service comprises one or more? functions that can be performed by each IoT device 181, such as for example functions relating to the measurement of the sensor means of the IoT device 181, control functions of the actuator means of the IoT device 181 or communication functions of the IoT device 181. An IoT device 181 can? have one or more IoT services, i.e. the set of IoT services 281, which can be associated with the object 191 operatively connected to the IoT device 181 itself. The set of IoT services 281 can? include a measurement service of the first state of operation? of the object 191 and/or a service for determining the second state of operation? of object 191.
L?interfaccia ingressi/uscite del server 150 consente di interfacciare, o connettere, un utente amministratore per la gestione e la configurazione del server 150 stesso. L?interfaccia ingressi/uscite del server 150 pu? comprendere ad esempio una tastiera, uno schermo, una scheda di rete e cos? via. The input/output interface of the server 150 makes it possible to interface, or connect, an administrator user for the management and configuration of the server 150 itself. The input/output interface of the server 150 can? include, for example, a keyboard, a screen, a network card and so on? Street.
Il modulo di comunicazione del server 150 consente la comunicazione tra almeno un terminale 110 ed almeno un dispositivo IoT 181 mediante la rete 155 (Figura 1). Il modulo di comunicazione del server 150 pu? comprendere ad esempio una interfaccia Ethernet, una interfaccia WiFi, una interfaccia di rete mobile (GSM, UMTS, LTE, 5G) e cos? via. The server communication module 150 enables communication between at least one terminal 110 and at least one IoT device 181 via the network 155 ( Figure 1 ). The server communication module 150 can? include for example an Ethernet interface, a WiFi interface, a mobile network interface (GSM, UMTS, LTE, 5G) and so on? Street.
In un'altra forma di realizzazione dell?invenzione, tutte le operazioni svolte dal server 150 possono essere ottenute da una pluralit? di elaboratori operativamente connessi su una rete informatica distribuita geograficamente. In another embodiment of the invention, all operations performed by the server 150 can be obtained from a plurality of servers. of computers operationally connected on a geographically distributed computer network.
La Figura 2 esemplifica schematicamente un diagramma a blocchi del terminale 110 per controllare almeno un oggetto 191 dell?unit? abitativa 190 mediante tracciamento oculare, in accordo alla presente forma di realizzazione dell?invenzione. Detto terminale 110 comprende mezzi di comunicazione 130, mezzi di input 120, mezzi di output 115, mezzi di memorizzazione 125 e mezzi di elaborazione 135; questi possono essere operativamente connessi tra loro mediante un bus di comunicazione 201. Figure 2 schematically exemplifies a block diagram of the terminal 110 for controlling at least one object 191 of the unit? housing 190 by eye tracking, in accordance with the present embodiment of the invention. Said terminal 110 comprises communication means 130, input means 120, output means 115, storage means 125 and processing means 135; these can be operatively connected to each other by means of a communication bus 201.
I mezzi di comunicazione 130 consentono la comunicazione tra il terminale 110 ed il server 150 mediante la rete 155 (Figura 1). I mezzi di comunicazione 130 possono comprendere ad esempio una interfaccia Ethernet, una interfaccia WiFi, una interfaccia di rete mobile (GSM, UMTS, LTE, 5G) e cos? via. Il terminale 110 ? atto ad acquisire dal server 150, mediante i mezzi di comunicazione 130, il modello virtuale 290 dell?unit? abitativa 190, o di almeno una parte di essa, tale modello essendo realizzato in base alla tecnica Building Information Modeling (BIM). Il terminale 110 ? atto ad acquisire dal server 150 l?insieme dei servizi IoT 281 di almeno un dispositivo IoT 181, tale insieme di servizi IoT 281 essendo associato ad almeno un oggetto 191, in cui il modello virtuale 290 ? acquisito in modo da includere detto almeno un oggetto 191. The communication means 130 allows communication between the terminal 110 and the server 150 via the network 155 (Figure 1). The communication means 130 can comprise for example an Ethernet interface, a WiFi interface, a mobile network interface (GSM, UMTS, LTE, 5G) and so on. Street. Terminal 110 ? adapted to acquire from the server 150, by means of communication means 130, the virtual model 290 of the unit? housing 190, or at least a part of it, this model being created on the basis of the Building Information Modeling (BIM) technique. Terminal 110 ? adapted to acquire from the server 150 the set of IoT services 281 of at least one IoT device 181, this set of IoT services 281 being associated with at least one object 191, in which the virtual model 290 ? acquired to include said at least one object 191.
I mezzi di input 120 consentono all?utente di fornire comandi al terminale 110 mediante un sistema per il tracciamento oculare comprendente, ad esempio, una videocamera ad infrarossi (IR). In questo modo l?utente pu? controllare con lo sguardo un puntatore visibile sui mezzi di output 115, in modo da selezionare i servizi IoT 281 associati all?oggetto 191 operativamente connesso al dispositivo IoT 181 stesso. Il terminale 110 ? atto a selezionare, mediante i mezzi di input 120, almeno un servizio IoT dell?insieme di servizi IoT 281 ricevendo almeno un comando dall?utente, mediante tracciamento oculare dell?utente stesso. Il terminale 110 ? atto a trasmettere al server 150, mediante i mezzi di comunicazione 130, almeno un segnale di comando di detto almeno un dispositivo IoT 181, dove il segnale di comando corrisponde ad almeno un servizio IoT selezionato. Il segnale di comando pu? essere realizzato in accordo alle tecnologie di rete ed IoT utilizzabili, note all?esperto del ramo; ad esempio il segnale di comando pu? essere formattato secondo uno schema xml predefinito e veicolato nella rete 155 in accordo al protocollo TCP/IP. The input means 120 allows the user to provide commands to the terminal 110 by an eye tracking system including, for example, an infrared (IR) video camera. In this way the user can? eye control a pointer visible on the output means 115, so as to select the IoT services 281 associated with the object 191 operatively connected to the IoT device 181 itself. Terminal 110 ? adapted to select, by means of the input means 120, at least one IoT service of the set of IoT services 281 by receiving at least one command from the user, by eye tracking of the user himself. Terminal 110 ? suitable for transmitting to the server 150, by means of the communication means 130, at least one command signal of said at least one IoT device 181, where the command signal corresponds to at least one selected IoT service. The command signal can? be implemented in accordance with the usable network and IoT technologies, known to the person skilled in the art; for example, the command signal can? be formatted according to a predefined xml scheme and conveyed in the network 155 in accordance with the TCP/IP protocol.
I mezzi di input 120 possono inoltre comprendere dispositivi di input convenzionali come ad esempio una tastiera, un mouse, un pannello touch, una videocamera, un microfono e cos? via. Inoltre, i mezzi di input possono comprendere mezzi di localizzazione indoor del terminale 110, in modo da individuare gli oggetti 191 dell?unit? abitativa 190 entro una distanza predefinita dal terminale 110 e di ordinarli in base alla loro distanza dal terminale 191. The input means 120 may further comprise conventional input devices such as for example a keyboard, a mouse, a touch panel, a video camera, a microphone and so on. Street. Furthermore, the input means can comprise indoor localization means of the terminal 110, so as to identify the objects 191 of the unit? housing 190 within a predefined distance from the terminal 110 and sort them according to their distance from the terminal 191.
I mezzi di output 115 consentono all?utente di visualizzare le informazioni in uscita dal terminale 110 e possono comprendere uno schermo, un visore, un altoparlante e cos? via. Il terminale 110 ? atto a realizzare, mediante i mezzi di output 115, una prima rappresentazione tridimensionale di almeno un oggetto 191 in base al modello virtuale 290, dove la prima rappresentazione tridimensionale comprende l?insieme di servizi IoT 281. Ad esempio, i mezzi di output 115 consentono di rappresentare il modello virtuale 290 in modo da poter navigare all?interno dell?unit? abitativa 190 ricreata virtualmente. The output means 115 allows the user to view the information output from the terminal 110 and may include a screen, a display, a loudspeaker and so on. Street. Terminal 110 ? adapted to create, by means of the output means 115, a first three-dimensional representation of at least one object 191 based on the virtual model 290, where the first three-dimensional representation includes the set of IoT services 281. For example, the output means 115 allow to represent the virtual model 290 in order to be able to navigate within the unit? housing 190 virtually recreated.
In seguito ad un comando dell?utente, ad esempio mediante il sistema di tracciamento oculare sopra descritto, il terminale 110 ? atto a realizzare, mediante i mezzi di output 115, una seconda rappresentazione tridimensionale di almeno un oggetto 191 in base al modello virtuale 290 ed in base ad almeno un servizio IoT selezionato. In una forma di realizzazione dell?invenzione, i mezzi di output 115 possono rappresentare animazioni sui corrispondenti oggetti virtuali dell?oggetto 191; ad esempio, nel caso in cui l?oggetto 191 sia una lampadina che da spenta si accende in seguito al comando dell?utente, il mezzo di output 115 pu? generare un?animazione (luce da spenta ad accesa) per il corrispondente oggetto virtuale dell?oggetto 191 stesso. Following a user command, for example by means of the eye tracking system described above, the terminal 110 ? adapted to create, by means of the output means 115, a second three-dimensional representation of at least one object 191 based on the virtual model 290 and on the basis of at least one selected IoT service. In one embodiment of the invention, the output means 115 can represent animations on the corresponding virtual objects of the object 191; for example, in the case in which the object 191 is a light bulb which, when switched off, turns on following the user's command, the output means 115 can? generate an animation (light from off to on) for the corresponding virtual object of the object 191 itself.
I mezzi di memorizzazione 125 sono atti a memorizzare le informazioni e le istruzioni del terminale 110, secondo la presente forma di realizzazione dell?invenzione, e possono comprendere ad esempio una memoria a stato solido di tipo flash. Tali informazioni possono comprendere i dati provenienti dal server 150, come ad esempio il modello virtuale 290 o di almeno una parte di esso, l?insieme di servizi IoT 281 di almeno un dispositivo IoT 181 associato ad almeno un oggetto 191 incluso nel modello tridimensionale 290. Le istruzioni memorizzate nei mezzi di memorizzazione 125 saranno descritte in dettaglio successivamente, in riferimento ai diagrammi di flusso di Figura 3 e di Figura 4. The storage means 125 are suitable for storing the information and instructions of the terminal 110, according to the present embodiment of the invention, and can comprise, for example , a solid-state memory of the flash type. This information can include data coming from the server 150, such as for example the virtual model 290 or at least a part thereof, the set of IoT services 281 of at least one IoT device 181 associated with at least one object 191 included in the three-dimensional model 290 The instructions stored in the storage means 125 will be described in detail later, with reference to the flow charts of Figure 3 and Figure 4.
I mezzi di elaborazione 135 sono atti a processare le informazioni e le istruzioni immagazzinate nei mezzi di memorizzazione 125 e possono comprendere ad esempio un processore di tipo ARM multicore, un microcontrollore di tipo Arduino e cos? via. I mezzi di elaborazione 135 possono operare in cooperazione con i mezzi di comunicazione 130, i mezzi di input 120, i mezzi di output 115 ed i mezzi di memorizzazione 125 mediante il bus di comunicazione 201. The processing means 135 are able to process the information and instructions stored in the storage means 125 and can comprise for example a multicore processor of the ARM type, a microcontroller of the Arduino type and so on. Street. The processing means 135 can operate in cooperation with the communication means 130, the input means 120, the output means 115 and the storage means 125 via the communication bus 201.
In una forma di realizzazione dell?invenzione, i mezzi di output 115 comprendono uno schermo ed i mezzi di input 120 comprendono almeno una camera IR, in modo tale che il terminale 110 ? atto ad effettuare il tracciamento oculare in cui: In one embodiment of the invention, the output means 115 comprises a screen and the input means 120 comprises at least one IR camera, such that the terminal 110 is capable of carrying out eye tracking where:
? la camera IR ? atta ad acquisire movimenti oculari dell?utente ed ? atta a generare una prima sequenza di coordinate bidimensionali corrispondenti ai movimenti oculari sullo schermo; ? the IR camera? able to acquire eye movements of the user and ? adapted to generate a first sequence of two-dimensional coordinates corresponding to eye movements on the screen;
? il terminale 110 ? atto a campionare la prima sequenza di coordinate bidimensionali secondo un predeterminato criterio, ottenendo una seconda sequenza di coordinate bidimensionali pi? corta della prima sequenza di coordinate bidimensionali; ? terminal 110 ? able to sample the first sequence of two-dimensional coordinates according to a predetermined criterion, obtaining a second sequence of two-dimensional coordinates more? short of the first sequence of two-dimensional coordinates;
? il terminale 110 ? atto a determinare una terza sequenza di coordinate bidimensionali interpolando coppie di coordinate bidimensionali tra loro adiacenti della seconda sequenza di coordinate bidimensionali; ? terminal 110 ? adapted to determine a third sequence of two-dimensional coordinates by interpolating pairs of adjacent two-dimensional coordinates of the second sequence of two-dimensional coordinates;
? il terminale 110 ? atto a determinare una quarta sequenza di coordinate bidimensionali eliminando dalla terza sequenza di coordinate bidimensionali ogni coordinata bidimensionale la cui distanza con una coordinata bidimensionale ad essa adiacente ? maggiore di un valore di lunghezza predefinito; ? lo schermo ? atto a rappresentare un puntatore localizzato sullo schermo in base alle coordinate bidimensionali della quarta sequenza di coordinate bidimensionali; ? terminal 110 ? suitable for determining a fourth sequence of two-dimensional coordinates by eliminating from the third sequence of two-dimensional coordinates each two-dimensional coordinate whose distance with a two-dimensional coordinate adjacent to it ? greater than a predefined length value; ? the screen ? adapted to represent a pointer located on the screen based on the two-dimensional coordinates of the fourth two-dimensional coordinate sequence;
? il terminale 110 ? atto a selezionare almeno un servizio IoT dell?insieme di servizi IoT 281 se il puntatore persiste su almeno un servizio IoT per un tempo maggiore di un valore di tempo predefinito. ? terminal 110 ? adapted to select at least one IoT service of the set of IoT services 281 if the pointer persists on at least one IoT service for a time greater than a predefined time value.
Con riferimento alla Figura 3, viene descritto un metodo per controllare, mediante tracciamento oculare, gli oggetti 191 dell?unit? abitativa 190, in accordo alla presente forma di realizzazione dell?invenzione. With reference to Figure 3 , a method is described for controlling, by eye tracking, the objects 191 of the unit? housing 190, according to the present embodiment of the invention.
Al passo 300, viene realizzata una fase di inizializzazione, in cui si inizializza il terminale 110. Durante questa fase, ad esempio, i mezzi di elaborazione 135 effettuano tutte le operazioni necessarie per attivare i mezzi di comunicazione 130, i mezzi di input 120, i mezzi di output 115 ed i mezzi di memorizzazione 125. At step 300, an initialization phase is carried out, in which the terminal 110 is initialized. During this phase, for example, the processing means 135 carry out all the operations necessary to activate the communication means 130, the input means 120, the output means 115 and the storage means 125.
Al passo 310 viene realizzata una fase di acquisizione in cui il terminale 110 acquisisce dal server 150, mediante i mezzi di comunicazione 130, il modello virtuale 290 di detta unit? abitativa 190 o di almeno una parte di essa, il modello virtuale 290 essendo realizzato in base alla tecnica Building Information Modeling (BIM). Inoltre, il terminale 110 acquisisce dal server 150 l?insieme dei servizi IoT 281 di almeno un dispositivo IoT 181: l?insieme dei servizi IoT 281 ? associato ad almeno un oggetto 191 e il modello virtuale 290 ? acquisito in modo da includere almeno un oggetto 191. Ad esempio, il modello virtuale 290 potrebbe includere le informazioni secondo il paradigma BIM di un serramento, ovvero dell?oggetto 191. Al serramento possono essere operativamente connessi un primo dispositivo IoT comprendente mezzi sensori ed un secondo dispositivo IoT comprendente mezzi attuatori. Il primo dispositivo IoT pu? comunicare al server 150 lo stato di apertura o di chiusura del serramento, ovvero il primo stato di operativit? dell?oggetto 191. Il server 150 pu? aggiornare il modello virtuale 290 includendo il primo stato di operativit? del serramento; il modello virtuale 290 viene quindi acquisito dal terminale 110 durante questa fase. Il terminale 110 acquisisce anche l?insieme dei servizi IoT 281 associati al serramento, ad esempio il servizio IoT di chiusura del serramento ed il servizio di apertura del serramento. L?associazione tra i servizi IoT dell?insieme dei servizi IoT 281 e l?oggetto 191, pu? essere effettuata mediante uno o pi? identificativi alfanumerici univoci; ad esempio, il servizio di chiusura del serramento pu? avere un primo identificativo ID1 e il servizio di apertura del serramento pu? avere un secondo identificativo ID2 che possono essere associati al serramento, anch?esso identificato con un identificativo di oggetto alfanumerico predefinito, mediante una tabella di associazione. At step 310 an acquisition phase is carried out in which the terminal 110 acquires from the server 150, by means of the communication means 130, the virtual model 290 of said unit? housing 190 or at least a part thereof, the virtual model 290 being created on the basis of the Building Information Modeling (BIM) technique. Furthermore, the terminal 110 acquires from the server 150 the set of IoT services 281 of at least one IoT device 181: the set of IoT services 281 ? associated with at least one object 191 and the virtual model 290 ? acquired so as to include at least one object 191. For example, the virtual model 290 could include the information according to the BIM paradigm of a window or door, or of the object 191. A first IoT device can be operatively connected to the window comprising sensor means and a second IoT device comprising actuator means. The first IoT device can communicate to the server 150 the opening or closing status of the gate, i.e. the first operating status? of the object 191. The server 150 can? update the virtual model 290 including the first state of operation? of the window; the virtual model 290 is then acquired by the terminal 110 during this phase. The terminal 110 also acquires the set of IoT services 281 associated with the lock, for example the lock closing IoT service and the lock opening service. The association between the IoT services of the set of IoT services 281 and the object 191, can be carried out by one or more? unique alphanumeric identifiers; for example, the door lock service can? have a first identifier ID1 and the opening service of the window pu? have a second identifier ID2 that can be associated with the window, also identified with a predefined alphanumeric object identifier, using an association table.
Al passo 320, viene realizzata una prima fase di output, in cui mezzi di output 115 realizzano una prima rappresentazione tridimensionale di almeno un oggetto 191 in base al modello virtuale 290, in cui la prima rappresentazione tridimensionale comprende l?insieme di servizi IoT 281. Durante questa fase, ad esempio, sullo schermo del terminale 110, ovvero sui mezzi di output 115, viene rappresentato tridimensionalmente il serramento, ovvero viene rappresentato il corrispondente oggetto virtuale del serramento, che viene rappresentato in accordo al primo stato di operativit?. Contestualmente alla rappresentazione del serramento virtuale, viene rappresentato l?insieme di servizi IoT 281 associati al serramento, ovvero il servizio di apertura e di chiusura del serramento stesso; ad esempio, l?utente potr? visualizzare l?insieme dei servizi IoT 281 mediante un menu a tendina. At step 320, a first output phase is performed, in which output means 115 create a first three-dimensional representation of at least one object 191 based on the virtual model 290, in which the first three-dimensional representation comprises the set of IoT services 281. During this phase, for example, on the screen of the terminal 110, or on the output means 115, the window or door is represented three-dimensionally, or the corresponding virtual object of the door or window is represented, which is represented according to the first operating state. Simultaneously with the representation of the virtual window, the set of IoT services 281 associated with the window is represented, i.e. the opening and closing service of the window itself; for example, the user can? view the set of IoT 281 services using a drop-down menu.
Al passo 330, viene realizzata una fase di selezione, in cui i mezzi di input 120 ricevono almeno un comando dall?utente, mediante tracciamento oculare dell?utente stesso, in modo da selezionare almeno un servizio IoT di detto insieme di servizi IoT 281. Ad esempio, l?utente pu? selezionare mediante tracciamento oculare il servizio IoT di chiusura del serramento stesso dal menu a tendina. In una forma di realizzazione dell?invenzione, il tracciamento oculare pu? essere realizzato in accordo ai passi di Figura 4, descritti con maggiore dettaglio in seguito. At step 330, a selection step is performed, in which the input means 120 receive at least one command from the user, by eye tracking of the user himself, so as to select at least one IoT service from said set of IoT services 281. For example, the user can? select the IoT closing service of the window itself using eye tracking from the drop-down menu. In one embodiment of the invention, eye tracking can be carried out according to the steps of Figure 4, described in greater detail below.
Al passo 340, viene realizzata una fase di trasmissione, in cui il terminale 110 trasmette al server 150 mediante i mezzi di comunicazione 130 almeno un segnale di comando 140 di almeno un dispositivo IoT 181, il segnale di comando 140 essendo corrispondente ad almeno un servizio IoT selezionato. Durante questa fase, ad esempio, il terminale 110 pu? inviare al server 150 il comando di chiusura del serramento il quale pu? ritrasmettere il comando al secondo dispositivo IoT che controlla i mezzi attuatori per la chiusura del serramento stesso, ovvero determinando il secondo stato di operativit? dell?oggetto 191. Il segnale di comando pu? essere realizzato in accordo alle tecnologie di rete ed IoT utilizzabili, note all?esperto del ramo; ad esempio, il segnale di comando pu? essere formattato secondo uno schema xml predefinito e veicolato nella rete 155 in accordo al protocollo TCP/IP. Durante questa fase, il server 150 e/o il terminale 110 possono aggiornare il modello virtuale 290 in riferimento allo stato attuale del serramento, ovvero dell?oggetto 191 sul quale si ? selezionato il servizio IoT. At step 340, a transmission phase is performed, in which the terminal 110 transmits to the server 150 through the communication means 130 at least one command signal 140 of at least one IoT device 181, the command signal 140 being corresponding to at least one service Selected IoT. During this phase, for example, the terminal 110 can? send to the server 150 the closing command of the gate which can? retransmit the command to the second IoT device which controls the actuator means for closing the gate itself, i.e. determining the second operating state? of? object 191. The command signal can? be implemented in accordance with the usable network and IoT technologies, known to the person skilled in the art; for example, the command signal can? be formatted according to a predefined xml scheme and conveyed in the network 155 in accordance with the TCP/IP protocol. During this phase, the server 150 and/or the terminal 110 can update the virtual model 290 with reference to the current state of the door or window, i.e. of the object 191 on which it is used. selected the IoT service.
Al passo 350, viene realizzata una seconda fase di output, in cui i mezzi di output 115 realizzano una seconda rappresentazione tridimensionale di almeno un oggetto 191 in base al modello virtuale 290 ed in base ad almeno un servizio IoT selezionato. In questa fase, ad esempio, lo schermo, ovvero i mezzi di output 115, pu? rappresentare tridimensionalmente il serramento che si sta chiudendo, ad esempio mediante una opportuna animazione memorizzata dai mezzi di memorizzazione 125 ed associata all?identificativo ID1 del servizio IoT di chiusura del serramento. At step 350, a second output step is performed, in which the output means 115 realizes a second three-dimensional representation of at least one object 191 based on the virtual model 290 and based on at least one selected IoT service. In this phase, for example, the screen, or the output means 115, can three-dimensionally represent the window that is being closed, for example by means of a suitable animation stored by the storage means 125 and associated with the identification ID1 of the IoT service for closing the window.
Al passo 360, il terminale 110 verifica se continuare la gestione degli oggetti 191 dell?unit? abitativa 190, ad esempio in base ad un opportuno comando dell?utente. In caso affermativo viene eseguito il passo 310, altrimenti viene eseguito il passo 370. At step 360, the terminal 110 verifies whether to continue managing the objects 191 of the unit? housing 190, for example on the basis of a suitable command from the user. If so, step 310 is performed, otherwise step 370 is performed.
Al passo 370, il terminale 110 esegue una fase di terminazione in cui sono svolte tutte le operazioni necessarie a terminare la fase di acquisizione, la prima fase di output, la fase di selezione, la fase di trasmissione e la seconda fase di output. Durante questo passo il terminale 110 pu? segnalare il suo stato di inoperativit? ad esempio attraverso indicatori luminosi, come spie LED incluse nel terminale 110 stesso. At step 370, the terminal 110 performs a termination phase in which all the operations necessary to terminate the acquisition phase, the first output phase, the selection phase, the transmission phase and the second output phase are performed. During this step the terminal 110 can? report its inoperability status? for example through luminous indicators, such as LED indicators included in the terminal 110 itself.
Con riferimento alla Figura 4, viene descritto un metodo esemplificativo per il tracciamento oculare, in accordo ad una ulteriore forma di realizzazione dell?invenzione, in cui i mezzi di output 115 comprendono uno schermo ed i mezzi di input 120 comprendono almeno una camera IR. I valori in ingresso del sistema di tracciamento oculare sono degli array di due valori corrispondenti alle due coordinate del punto indicato dallo sguardo dell?utente rispetto allo schermo. Diversi controlli vengono effettuati sui punti al fine di assicurare la robustezza del sistema. Il metodo per il tracciamento oculare pu? comprendere: With reference to Figure 4, an exemplary method for eye tracking is described, according to a further embodiment of the invention, in which the output means 115 comprises a screen and the input means 120 comprises at least one IR camera. The input values of the eye tracking system are arrays of two values corresponding to the two coordinates of the point indicated by the user's gaze with respect to the screen. Several checks are carried out on the points in order to ensure the robustness of the system. The eye tracking method can comprehend:
- un passo di controllo 400, in cui viene realizzata una fase di controllo preliminare. Durante questo passo il terminale 110 verifica la presenza dell?utente di fronte al terminale 110 stesso, la corretta pulizia dell?obbiettivo della camera IR e cos? via; - a control step 400, in which a preliminary control step is performed. During this step, the terminal 110 verifies the presence of the user in front of the terminal 110 itself, the correct cleaning of the lens of the IR camera and so on. Street;
- un primo passo 410, in cui la camera IR acquisisce movimenti oculari dell?utente e genera una prima sequenza di coordinate bidimensionali corrispondenti ai movimenti oculari su detto schermo; - a first step 410, in which the IR camera acquires eye movements of the user and generates a first sequence of two-dimensional coordinates corresponding to the eye movements on said screen;
- un secondo passo 420, in cui la prima sequenza di coordinate bidimensionali viene campionata secondo un predeterminato criterio di campionamento, ottenendo una seconda sequenza di coordinate bidimensionali pi? corta della prima sequenza di coordinate bidimensionali. Il criterio di campionamento, ad esempio, pu? consistere nell?eliminazione alternata dei valori contenuti nella prima sequenza di coordinate bidimensionali, ottenendo la seconda sequenza di coordinate bidimensionali con un numero di elementi dimezzato rispetto alla prima sequenza. Ci? consente vantaggiosamente di rendere la posizione del cursore il meno sensibile possibile al rumore generato ad esempio dai movimenti saccadici degli occhi dell?utente; - a second step 420, in which the first sequence of two-dimensional coordinates is sampled according to a predetermined sampling criterion, obtaining a second sequence of two-dimensional coordinates pi? shorter than the first sequence of two-dimensional coordinates. The sampling criterion, for example, pu? consist in the alternating elimination of the values contained in the first sequence of two-dimensional coordinates, obtaining the second sequence of two-dimensional coordinates with a number of elements halved compared to the first sequence. There? advantageously allows the position of the cursor to be made as less sensitive as possible to the noise generated for example by saccadic movements of the user's eyes;
- un terzo passo 430, in cui una terza sequenza di coordinate bidimensionali viene determinata interpolando coppie di coordinate bidimensionali tra loro adiacenti della seconda sequenza di coordinate bidimensionali. Ci? consente vantaggiosamente di rendere la curva rappresentante la posizione del cursore sullo schermo pi? liscia possibile; - un quarto passo 440, in cui una quarta sequenza di coordinate bidimensionali viene determinata eliminando dalla terza sequenza di coordinate bidimensionali ogni coordinata bidimensionale la cui distanza con una coordinata bidimensionale ad essa adiacente ? maggiore di un valore di lunghezza predefinito, ad esempio stabilito empiricamente in base ai movimenti oculari dell?utente. Ci? consente vantaggiosamente di rendere la curva rappresentante la posizione del cursore sullo schermo pi? regolare possibile; - un quinto passo 450, in cui un puntatore ? rappresentato sullo schermo ed ? localizzato in base alle coordinate bidimensionali della quarta sequenza di coordinate bidimensionali; - a third step 430, in which a third sequence of two-dimensional coordinates is determined by interpolating adjacent pairs of two-dimensional coordinates of the second sequence of two-dimensional coordinates. There? advantageously allows you to make the curve representing the position of the cursor on the screen more? smooth as possible; - a fourth step 440, in which a fourth sequence of two-dimensional coordinates is determined by eliminating from the third sequence of two-dimensional coordinates each two-dimensional coordinate whose distance with an adjacent two-dimensional coordinate is ? greater than a predefined length value, for example established empirically on the basis of the user's eye movements. There? advantageously allows you to make the curve representing the position of the cursor on the screen more? regular as possible; - a fifth step 450, in which a pointer ? represented on the screen and ? located according to the two-dimensional coordinates of the fourth two-dimensional coordinate sequence;
- un sesto passo 460, in cui detto almeno un servizio IoT di detto insieme di servizi IoT 281 ? selezionato se il puntatore persiste su detto almeno un servizio IoT per un tempo maggiore di un valore di tempo predefinito, ad esempio stabilito empiricamente in base ai movimenti oculari dell?utente; - a sixth step 460, in which said at least one IoT service of said set of IoT services 281 ? selected if the pointer persists on said at least one IoT service for a time greater than a predefined time value, for example established empirically on the basis of the user's eye movements;
- un passo di verifica 470, in cui il terminale 110 verifica se continuare il tracciamento oculare dell?utente, ad esempio in base ad una predeterminata posizione dello sguardo dell?utente mantenuta per un tempo predefinito. In caso affermativo viene eseguito il passo 410 altrimenti viene eseguito il passo 480; - a verification step 470, in which the terminal 110 verifies whether to continue eye tracking of the user, for example on the basis of a predetermined gaze position of the user maintained for a predefined time. If so, step 410 is performed, otherwise step 480 is performed;
- un passo di terminazione 480, in cui il terminale 110 svolge tutte le operazioni necessarie a terminare il passo di controllo e detto primo, secondo terzo, quarto, quinto e sesto passo. - a termination step 480, in which the terminal 110 performs all the operations necessary to terminate the control step and said first, second, third, fourth, fifth and sixth steps.
In un?altra forma di realizzazione dell?invenzione, il metodo sopra descritto pu? essere implementato ad esempio attraverso un prodotto informatico atto ad essere letto da almeno un terminale 110, come ad esempio uno smartphone, un tablet o un laptop, per attuare il metodo della presente invenzione. Il prodotto informatico, come ad esempio un CD, una memoria flash, un nastro magnetico e cos? via, pu? comprendere un set di istruzioni che, quando caricate nella memoria del terminale 110, sono atte ad attuare il metodo secondo la presente invenzione, tali istruzioni essendo codificate in accordo ad un linguaggio di programmazione interpretabile dal terminale 110. In another embodiment of the invention, the method described above can be implemented for example through a computer product adapted to be read by at least one terminal 110, such as for example a smartphone, a tablet or a laptop, to implement the method of the present invention. The computer product, such as a CD, a flash memory, a magnetic tape and so on? away, can you? comprising a set of instructions which, when loaded into the memory of the terminal 110, are suitable for implementing the method according to the present invention, these instructions being encoded in accordance with a programming language which can be interpreted by the terminal 110.
Dalla descrizione effettuata risultano dunque evidenti i vantaggi della presente invenzione. From the description given, the advantages of the present invention are therefore evident.
Il metodo secondo la presente invenzione consente vantaggiosamente di realizzare un metodo per controllare gli oggetti di un?unit? abitativa mediante tracciamento oculare, ed il relativo sistema e terminale, per incrementare l?autonomia dell?utente affetto da disfunzioni motorie nel contesto di ambienti domestici e/o ospedalieri, attraverso una rappresentazione virtuale degli oggetti dell?unit? abitativa stessa. The method according to the present invention advantageously allows to realize a method for controlling the objects of a unit? through eye tracking, and the related system and terminal, to increase the autonomy of the user suffering from motor dysfunctions in the context of domestic and/or hospital environments, through a virtual representation of the objects of the unit housing itself.
Un ulteriore vantaggio della presente invenzione ? quello di indicare un metodo per gestire gli oggetti di un?unit? abitativa mediante tracciamento oculare, ed il relativo sistema e terminale, che consentono l?integrazione del paradigma BIM e del paradigma IoT, permettendo vantaggiosamente di gestire gli oggetti tra loro eterogenei di un?unit? abitativa in maniera globale. A further advantage of the present invention ? to indicate a method to manage the objects of a? unit? housing through eye tracking, and the related system and terminal, which allow the integration of the BIM paradigm and the IoT paradigm, advantageously allowing to manage the heterogeneous objects of a unit? housing globally.
Il metodo per controllare gli oggetti di una unit? abitativa mediante tracciamento oculare, ed il relativo sistema e terminale, della presente invenzione consentono vantaggiosamente, mediante l?integrazione del paradigma BIM e del paradigma IoT, una configurazione e gestione degli oggetti dell?unit? abitativa in maniera semplice per l?utente, ovvero senza l?intervento di addetti specializzati per la loro configurazione. The method to control the objects of a unit? through eye tracking, and the related system and terminal, of the present invention advantageously allow, through the integration of the BIM paradigm and the IoT paradigm, a configuration and management of the objects of the unit housing in a simple way for the user, i.e. without the intervention of specialized operators for their configuration.
Un ulteriore vantaggio della presente invenzione ? quello di indicare un metodo per controllare gli oggetti di una unit? abitativa mediante tracciamento oculare, ed il relativo sistema e terminale, che mediante l?integrazione del paradigma BIM e del paradigma IoT consente una semplice integrazione (plug and play) degli oggetti, tra loro eterogenei, dell?unit? abitativa. A further advantage of the present invention ? to indicate a method to control the objects of a unit? through eye tracking, and the related system and terminal, which through the integration of the BIM paradigm and the IoT paradigm allows a simple integration (plug and play) of the heterogeneous objects of the unit? housing.
Naturalmente, fermo restando il principio dell?invenzione, le forme di attuazione ed i particolari di realizzazione potranno essere ampiamente variati rispetto a quanto ? stato descritto ed illustrato a puro titolo di esempio non limitativo, senza per questo uscire dall?ambito di protezione della presente invenzione definito dalle rivendicazioni allegate. Naturally, the principle of the invention remaining the same, the embodiments and construction details can be widely varied with respect to what? been described and illustrated purely by way of non-limiting example, without thereby departing from the scope of protection of the present invention defined by the attached claims.
Claims (15)
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| IT102021000010415A IT202100010415A1 (en) | 2021-04-23 | 2021-04-23 | METHOD AND SYSTEM FOR CHECKING OBJECTS OF A HOUSING UNIT THROUGH EYE TRACKING |
| PCT/IB2022/053736 WO2022224189A1 (en) | 2021-04-23 | 2022-04-21 | Method and system for controlling objects of a housing unit by eye-gaze tracking |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| IT102021000010415A IT202100010415A1 (en) | 2021-04-23 | 2021-04-23 | METHOD AND SYSTEM FOR CHECKING OBJECTS OF A HOUSING UNIT THROUGH EYE TRACKING |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| IT202100010415A1 true IT202100010415A1 (en) | 2022-10-23 |
Family
ID=77021924
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| IT102021000010415A IT202100010415A1 (en) | 2021-04-23 | 2021-04-23 | METHOD AND SYSTEM FOR CHECKING OBJECTS OF A HOUSING UNIT THROUGH EYE TRACKING |
Country Status (2)
| Country | Link |
|---|---|
| IT (1) | IT202100010415A1 (en) |
| WO (1) | WO2022224189A1 (en) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3572914A2 (en) * | 2018-05-24 | 2019-11-27 | TMRW Foundation IP & Holding S.A.R.L. | Two-way real-time 3d interactive operations of real-time 3d virtual objects within a real-time 3d virtual world representing the real world |
| US20200304375A1 (en) * | 2019-03-19 | 2020-09-24 | Microsoft Technology Licensing, Llc | Generation of digital twins of physical environments |
-
2021
- 2021-04-23 IT IT102021000010415A patent/IT202100010415A1/en unknown
-
2022
- 2022-04-21 WO PCT/IB2022/053736 patent/WO2022224189A1/en active Application Filing
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3572914A2 (en) * | 2018-05-24 | 2019-11-27 | TMRW Foundation IP & Holding S.A.R.L. | Two-way real-time 3d interactive operations of real-time 3d virtual objects within a real-time 3d virtual world representing the real world |
| US20200304375A1 (en) * | 2019-03-19 | 2020-09-24 | Microsoft Technology Licensing, Llc | Generation of digital twins of physical environments |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2022224189A1 (en) | 2022-10-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11133953B2 (en) | Systems and methods for home automation control | |
| CN111937051B (en) | Smart home device placement and installation using augmented reality visualization | |
| TWI731023B (en) | Door orientation detection circuit and door hardware assembly | |
| CN105659179B (en) | Device and method for interacting with HVAC controller | |
| CN108023934B (en) | Electronic device and control method thereof | |
| CN105144023B (en) | Other devices are waken up for additional data | |
| US20170301218A1 (en) | Portable security device | |
| CN108205282A (en) | Intelligent control panel and its control method and control device | |
| CN108885495A (en) | Electronic equipment and the in the electronic device method of offer information | |
| WO2016137552A1 (en) | Automatically learning and controlling connected devices | |
| US20210373919A1 (en) | Dynamic user interface | |
| US20170295469A1 (en) | Electronic apparatus and operating method thereof | |
| WO2022087517A1 (en) | System and method for controlling devices | |
| CN205880712U (en) | System for change indoor scene | |
| IT202100010415A1 (en) | METHOD AND SYSTEM FOR CHECKING OBJECTS OF A HOUSING UNIT THROUGH EYE TRACKING | |
| Peters | Mibo–a framework for the integration of multimodal intuitive controls in smart buildings | |
| US20220103888A1 (en) | Thermostat with interactive features and system and method for use of same | |
| US20220103889A1 (en) | Thermostat with interactive features and system and method for use of same | |
| Tait | Smart Drink Bottle | |
| Baria et al. | Personal and intelligent home assistant to control devices using raspberry pi | |
| CN112922889B (en) | Fan control method, fan, device, fan control system and storage medium | |
| EP3814852B1 (en) | Wall clock ai voice assistant | |
| CN205880633U (en) | Indoor scene's control end | |
| CN114072745A (en) | Method for operating a household appliance and household appliance | |
| CN106094941B (en) | A kind of method and system changing indoor scene |