FR3085216A1

FR3085216A1 - Assistant virtuel

Info

Publication number: FR3085216A1
Application number: FR1857643A
Authority: FR
Inventors: Thomas Guillaumin; Mickael Da-Silva
Original assignee: Individual
Current assignee: Individual
Priority date: 2018-08-24
Filing date: 2018-08-24
Publication date: 2020-02-28
Anticipated expiration: 2038-08-24
Also published as: FR3085216B1

Abstract

L'assistant virtuel (20) comporte : - un transducteur acousto-électrique (21) pour recevoir des commandes vocales et émettre un signal représentatif de la voie d'un utilisateur, - un moyen (22) de reconnaissance vocale pour identifier et émettre une requête par traitement du signal issu du transducteur acousto-électrique, - une mémoire (23) de scénarios constitués d'actions à effectuer lorsqu'une requête est identifiée, - un moyen (24) de déclenchement de déroulement d'un scénario à réception d'une requête, - un émulateur (25) de télécommande infra-rouge pour commander une action d'un dispositif externe (26), action d'un scénario correspondant à une requête, - un générateur de voix (27) pour générer un signal représentatif d'un message d'un scénario correspondant à une requête et - un transducteur électro-acoustique (28) pour émettre le message généré par le générateur de voix.

Description

DOMAINE DE L’INVENTION

La présente invention concerne un assistant virtuel. Elle s’applique à la domotique et à l’accès à des ressources de la toile (« Web »), notamment par commande vocale.

ETAT DE LA TECHNIQUE

Selon une étude de marché Xerfi (marque déposée) de 2015, 50 % des consommateurs (et 66% des moins de 35 ans) souhaiteraient une solution agréable pour piloter leur maison depuis un smartphone ou une tablette. Cependant le coût et la complexité concernant les solutions les plus complètes (en anglais « full options ») sont les freins principaux au développement de ce secteur.

C’est pourquoi un certain nombre de sociétés se tournent vers des formules à bas coût (« low-cost ») tout en diminuant la qualité et le nombre d’options de leurs solutions.

Cependant, ces solutions ne répondent pas aux besoins des utilisateurs, notamment dans le cas des utilisateurs en dépendance ou malades.

OBJET DE L’INVENTION

La présente invention vise à remédier à tout ou partie de ces inconvénients.

A cet effet, la présente invention vise un assistant virtuel qui comporte :

- un transducteur acousto-électrique pour recevoir des commandes vocales et émettre un signal représentatif de la voie d’un utilisateur,

- un moyen de reconnaissance vocale pour identifier et émettre une requête par traitement du signal issu du transducteur acousto-électrique,

- une mémoire de scénarios constitués d’actions à effectuer lorsqu’une requête est identifiée,

- un moyen de déclenchement de déroulement d’un scénario à réception d’une requête,

- un émulateur de télécommande infra-rouge pour commander une action d’un dispositif externe, action d’un scénario correspondant à une requête,

- un générateur de voix pour générer un signal représentatif d’un message d’un scénario correspondant à une requête et

- un transducteur électro-acoustique pour émettre le message généré par le générateur de voix.

Grâce à ces dispositions, tous les appareils d’un domicile qui peuvent être commandés par une télécommande infrarouge peuvent être commandés par l’assistant virtuel objet de l’invention, dans le cadre de successions d’actions (les scénarios) répondant à une requête orale de l’utilisateur.

Dans des modes de réalisation, l’assistant virtuel comporte, de plus, un moyen de réception de requêtes émises par un détecteur ou un interrupteur domotique, le moyen de déclenchement déclenchant le déroulement d’un scénario à réception d’une requête reçue par le moyen de réception de requêtes.

Grâce à ces dispositions, l’utilisateur dispose de multiples moyens pour déclencher une séquence d’actions.

Dans des modes de réalisation, l’émulateur de télécommande infra-rouge comporte un moyen d’apprentissage de codes de télécommande infra-rouge par balayage (« scan >>) des commandes émises par les télécommandes infra-rouge à émuler.

Grâce à ces dispositions, l’émulateur apprend les codes infra-rouges mis en œuvre pour commander les différents équipements du lieu d’implantation de l’assistant virtuel.

Dans des modes de réalisation, l’assistant virtuel comporte une connexion à des équipements électriques au niveau d’une armoire électrique à proximité d’un compteur électrique.

Grâce à ces dispositions, l’assistant virtuel peut agir sur les équipements de la maison directement au niveau de l’armoire électrique générale.

Dans des modes de réalisation, l’assistant virtuel comporte un module configuré pour conserver une liste d’objets informatiques reliés à des actions physiques à réaliser pendant le déroulement d’un scénario, par des contrôleurs domotiques ou des objets connectés, informatique ou électronique, chaque action physique étant commandée, en fonction d’au moins un objet informatique par le biais d’une connexion réseau ou de l’émulateur de télécommande.

Grâce à ces dispositions, la constitution de scénarios est facilitée et chaque action ou interaction avec un objet connecté peut donner lieu à un ou plusieurs objet(s) informatique(s) spécifiques.

Dans des modes de réalisation, l’assistant virtuel comporte un moyen d’édition de scénarios configuré pour modifier un scénario en y ajoutant ou en en retirant une action ou en modifiant des valeurs de paramètres de réalisation d’une action.

Grâce à ces dispositions, l’utilisateur, mais aussi un installateur ou un ergothérapeute, par exemple, peuvent éditer les scénarios pour répondre aux besoins de l’utilisateur.

Dans des modes de réalisation, au moins un scénario est associé à une plage horaire, ledit scénario n’étant déclenché par une requête que pendant ladite plage horaire.

Grâce à ces dispositions, on peut structurer une journée du lieu de vie de l’utilisateur ou, sur la base de la même requête, réaliser des séquences d’actions différentes selon l’heure de réception de la requête.

Dans des modes de réalisation, l’assistant virtuel comporte, de plus, au moins un des moyens suivants configurés pour émettre une requête en fonction de gestes de l’utilisateur :

- un moyen de reconnaissance de gestes,

- un moyen de détection de présence ou de déplacement d’un utilisateur,

- un moyen de reconnaissance d’un chemin suivi par un utilisateur,

- une temporisation,

- un récepteur de requête reçue selon un protocole de transmission permettant à l'utilisateur d'accéder à des pages de la toile par l'intermédiaire d'un navigateur et

- une connexion avec un écran, munie d’un moyen de pointage, tactile ou souris.

Grâce à ces dispositions, l’utilisateur peut interagir avec l’assistant virtuel non seulement par la voix et/ou des détecteurs ou interrupteurs domotiques, mais aussi par d’autres moyens d’expressions.

Dans des modes de réalisation, les actions d’au moins un scénario commandent des fonctionnalités d’au moins un des groupes suivants :

- domotique : gestion de l’éclairage, du chauffage, de volets, ...

- téléphonie : gestion des appels Skype, appel de concierge, appel de secours...

- domestique : rappels de mémos (visuels ou audio), agenda, courriels, liste des courses, gestion des téléviseurs, radio, actualités,

- multimédia : gestion de médias audiovisuels, vidéos, musiques, photos, livres audio, et

- technologique : lancement d’applications, navigation sur internet, gestion des courriels, obtention et affichage de données météorologiques, accès à un réseau social.

Grâce à ces dispositions, l’assistant virtuel peut assister le principal des interactions de l’utilisateur avec son environnement.

BREVE DESCRIPTION DES FIGURES

D’autres avantages, buts et caractéristiques particulières de l’invention ressortiront de la description non limitative qui suit d’au moins un mode de réalisation particulier du meuble d’extérieur et de l’assemblage objet de la présente invention, en regard des dessins annexés, dans lesquels :

la figure 1 représente, sous forme d’un schéma-bloc, des modules d’un mode de réalisation particulier de l’assistant virtuel objet de l’invention, les figures 2 à 4 représentent des diagrammes de contexte de modes de réalisation particuliers de l’assistant virtuel objet de l’invention, la figure 5 représente des tables de codes informatiques de fonctionnement de l’assistant virtuel, la figure 6 représente, sous forme d’un logigramme, des étapes de fonctionnement d’un mode de réalisation particulier d’un assistant virtuel objet de l’invention.

DESCRIPTION DETAILLEE DE MODES DE REALISATION DE L’INVENTION

L’assistant virtuel (appelé « Ino » par la suite, dans un but de concision) est un assistant virtuel sensible à l’environnement qui permet de demander aux équipements présents dans un lieu d’implantation (généralement une habitation) de s’activer, de s’éteindre ou d’adopter un comportement particulier.

A titre d’exemple, Ino permet de contrôler une télévision par des ordres simples, par exemple : « mets-la deux », « passe à la chaîne suivante », « baisse le son » ou « affiche la météo et mon agenda » ou encore « lance ma page favorite ! ».

Intégré dans un système de gestion globale de l’habitation, il permet l’interaction entre les différents équipements présents.

Les ordres peuvent être détectés (entre autres) par un microphone et le retour audio s’effectue visuellement ou par biais d’un haut-parleur. Ce qui le rend utilisable dans les différentes pièces d’un logement.

Cet assistant virtuel peut aussi concerner les personnes à mobilité réduite ou souffrant d’une déficience cognitive grâce aux modes gestuel et tactile lorsque la reconnaissance vocale n’est pas adaptée.

Ino contrôle l’affichage en temps réel des téléviseurs ou écrans en restant à l’écoute de l’utilisateur pour agir ou lui remonter l’information demandée.

Une fois greffé sur une installation comprenant des modules domotiques, INO dispose de nouvelles fonctionnalités personnalisables.

Exemples de scénarios :

- le matin « bonjour ! » : les volets maison s’ouvrent, l’éclairage est commandé en fonction des souhaits émis par l’utilisateur lors de la programmation du système avec l’installateur, et du paramétrage des actions souhaitées, par exemple en fonction de la luminosité, de l’heure et/ou de la date, la cafetière électrique s’active, une retranscription sur télévision principale informe l’utilisateur selon ses besoins (météo, boite mails, agenda, actualité, site favoris...). Si l’utilisateur a enregistré des mémos la veille, ils lui sont rappelés.

- dans la journée : « je sors » : les volets se ferment, l’éclairage et le/les téléviseur(s) s’éteignent, un rappel vocal des mémos est diffusé et l’alarme s’active 15 secondes après le départ de l’utilisateur.

- au retour de l’utilisateur : « je suis rentré » : les volets s’ouvrent, l’alarme se désactive, l’éclairage est commandé en fonction des souhaits émis par l’utilisateur lors de la programmation du système avec l’installateur, et du paramétrage des actions souhaitées, par exemple en fonction de la luminosité, de l’heure et/ou de la date, un rappel vocal des mémos pour le lendemain est diffusé et le téléviseur principal affiche les fonctions prévues (Agenda, actualités, chaîne TV... etc.)

- au moment du coucher : « bonne nuit ! >> : La totalité de la maison passe en mode économie d’énergie (extinction de l’éclairage, des appareils en veilles), fermeture des volets, régulation des chauffages et activation de l’alarme. Si besoin, activation du téléviseur de la chambre à la chaîne souhaitée.

On décrit, ci-dessous, un mode de réalisation particulier de l’assistant virtuel objet de l’invention.

On observe, en figure 1, un assistant virtuel 20. Cet assistant virtuel 20 comporte, dans un boîtier 29 :

un transducteur acousto-électrique 21, pour recevoir des commandes vocales et émettre un signal représentatif de la voie d’un utilisateur, un moyen de reconnaissance vocale 22 pour identifier et émettre une requête par traitement du signal issu du transducteur acousto-électrique 21, une mémoire 23 de scénarios constitués d’actions à effectuer lorsqu’une requête est identifiée, un moyen de déclenchement 24 de déroulement d’un scénario à réception d’une requête, un émulateur 25 de télécommande infra-rouge pour commander une action d’un dispositif externe 26, action d’un scénario correspondant à une requête, un générateur de voix 27 pour générer un signal représentatif d’un message d’un scénario correspondant à une requête et un transducteur électro-acoustique 28 pour émettre le message généré par le générateur de voix.

Le transducteur acousto-électrique 21 est, par exemple, un microphone intégré au boîtier 29 qui peut être posé sur un plan, par exemple meuble tel qu’une table ou une commode.

Le moyen de reconnaissance vocale 22 est un logiciel de type connu mis en oeuvre par un processeur 30. Optionnellement, le moyen de reconnaissance vocale 22 identifie un locuteur à partir du signal représentatif de la voie, et ne transmet la requête au moyen de déclenchement 24 que si le locuteur est identifié. Par exemple, les locuteurs sont classifiés en catégories « parents », adolescents >> et « enfants », voire « grands parents >> ou « amis », dont les voix, visages ou corps ou sont mémorisées. Ainsi, les mêmes paroles ou gestes peuvent déclenchent des scénarios différents, selon la personne qui les prononce.

Concernant l’interface digitale, l’installateur « construit » l’interface utilisateur avec son client et peut créer plusieurs interfaces plus ou moins limitées pour les différents membres de la famille. Un mot de passe vocal ou un bouton tactile disponible sur une seule interface peut aussi permettre d’activer ou désactiver Ino.

La mémoire 23 est accessible par le processeur 30. La mémoire 23 conserve des tables d’objets informatiques et des scénarios décrivant des successions d’actions formées à partir des objets informatiques.

Les actions d’au moins un scénario commandent des fonctionnalités d’au moins un des groupes suivants :

- domotique : gestion de l’éclairage, du chauffage, de volets, de prises de courant électrique (« prises commandées >>) ...,

- téléphonie : gestion des appels Skype, transmission d’appels de concierge, d’appels de secours ...,

- multimédia : gestion de médias audiovisuels, télévision, chaîne musicale (« Hifi »), vidéos, musiques, photos, livres audio, et

L’assistant virtuel 20 peut ainsi assister le principal des interactions de l’utilisateur avec son environnement.

Le moyen de déclenchement 24 reçoit chaque requête et, éventuellement en fonction du locuteur, de la plage horaire et/ou de détecteurs ou interrupteurs, déclenche l’exécution des actions listées dans un scénario correspondant à la requête reçue.

Parmi ces actions, certaines utilisent l’émulateur 25 de télécommande infra-rouge pour télécommander au moins un dispositif externe 26, parmi les appareils présents sur le lieu d’implantation de l’assistant vocale (climatisation, chauffage, télévision, chaîne musicale, volets, ...). Tous les appareils d’un domicile qui peuvent être commandés par une télécommande infrarouge peuvent ainsi être commandés par l’assistant virtuel 20, dans le cadre de successions d’actions (les scénarios) répondant à une requête orale de l’utilisateur.

Les éléments réalisant les fonctions de télécommande et microphone sont respectivement : Un récepteur démodulateur infrarouge TSOP (marque déposée), une diode électroluminescente (« Del >> ou « Led >> pour light-emitting diode) infrarouge émettant à la longueur d’onde de 940 nm, une résistance 50 Ohm ainsi qu’un microphone type « électret >> avec alimentation fantôme. L’appareillage microphone dispose préférentiellement aussi de la fonction haut-parleur : une sortie audio filaire ou un émetteur Bluetooth (marque déposée).

Parmi les actions d’un scénario, préférentiellement, une action concerne l’émission d’un message vocal (« call back ») à destination de l’utilisateur pour confirmer la bonne réception de la requête et identifier au moins une action du scénario en cours d’exécution.

Le générateur de voix 27 est un logiciel de synthèse vocale. Le transducteur électroacoustique 28 est, par exemple, un haut-parleur muni d’un amplificateur.

Une interface utilisateur 31, sur le boîtier 29, en ligne (c’est-à-dire sur un site de la toile) ou sur un écran commandé par le microprocesseur 30, permet le paramétrage de l’assistant virtuel et/ou l’édition de scénarios.

Préférentiellement, l’assistant virtuel 10 comporte, de plus, un moyen de réception 32 de requêtes émises par un détecteur 33 ou un interrupteur domotique 34. Le moyen de déclenchement 24 déclenche le déroulement d’un scénario à réception d’une requête reçue par le moyen de réception 32. L’utilisateur dispose ainsi de multiples moyens pour déclencher un scénario, c’est-à-dire une séquence d’actions.

Préférentiellement, l’émulateur 25 de télécommande infra-rouge comporte un moyen d’apprentissage 35 de codes de télécommande infra-rouge par balayage (« scan ») des commandes émises par les télécommande infra-rouge à émuler. Ainsi, l’émulateur 25 apprend les codes infra-rouges mis en œuvre pour commander les différents équipements du lieu d’implantation de l’assistant virtuel 10. Cet apprentissage est réalisé, par exemple via la brique « LIRC » (Linux infra-red remote control), qui permet d’enregistrer un fichier contenant les codes Infrarouge de chaque boutons de télécommandes pressés en direction du récepteur TSOP. Ino peut ensuite envoyer une requête http au boîtier, qui, à l’aide de commandes « Shell » demande à la brique LIRC d’émuler la touche de la télécommande souhaitée.

Dans des modes de réalisation, l’assistant virtuel comporte une connexion 36 à des équipements électriques 37 au niveau d’une armoire électrique 38 à proximité d’un compteur électrique 39. L’assistant virtuel 20 peut ainsi agir sur les équipements de la maison directement au niveau de l’armoire électrique. Ino pilote ainsi les modules ou contrôleurs domotique existants ou récemment ajoutés. On note qu’il y a deux catégories d’appareils domotiques : les équipements radio fréquence éparpillés dans l’habitat, et les modules filaires directement ajoutés aux tableaux électriques avec des interrupteurs câblés éparpillés aussi dans l’habitat. Ino peut piloter ces modules par l’intermédiaire de requêtes http sous réseau wifi ou filaire. L’installateur enregistre dans la partie module de communication (‘Openhab’) la liste des « items » avec leur adresse physique (dont le format change suivant le type de technologie). On note que la partie module de communication (‘Openhab’) est mise en œuvre sur un matériel (hardware), qui est éventuellement fourni à l’installation. Puis, il suffit de connecter cette box au réseau wifi ou bien la brancher via un câble au module domotique servant de passerelle IP/domotique au tableau électrique. Par exemple pour la technologie domotique KNX (aussi appelé « Konnex », un bus de terrain et un protocole d'automatismes pour le bâtiment, standard mondial pour la gestion technique des bâtiments résidentiels et tertiaires) : en plus des modules domotique, l’installateur rajoute toujours un boîtier (passerelle IP/KNX) sur rail DIN au tableau lui permettant de se connecter avec un câble à son ordinateur contenant le logiciel de paramétrage pour le KNX (ETS, acronyme de Engineering Tool Software : un logiciel indépendant des fabricants pour concevoir et configurer des installations domotiques).

Préférentiellement, l’assistant virtuel 20 comporte, de plus, au moins un des moyens suivants configurés pour émettre une requête en fonction de gestes de l’utilisateur :

- un moyen 40 de reconnaissance de gestes,

- un moyen 41 de détection de présence ou de déplacement d’un utilisateur,

- un moyen 42 de reconnaissance d’un chemin suivi par un utilisateur,

- une temporisation 43,

- un récepteur 44 de requête reçue selon un protocole de transmission permettant à l'utilisateur d'accéder à des pages de la toile par l'intermédiaire d'un navigateur et

- une connexion avec un écran 45, munie d’un moyen de pointage, tactile ou souris.

L’utilisateur peut ainsi interagir avec l’assistant virtuel 20 non seulement par la voix et/ou des détecteurs ou interrupteurs domotiques, mais aussi par d’autres moyens d’expressions physiques ou électroniques.

Le moyen 40 de reconnaissance de gestes est, par exemple, basé sur le software development kit (« SDK » ou kit de développement logiciel) Kinect (marque déposée). Le moyen 40 de reconnaissance de gestes (« gesture » en anglais) reçoit des images d’une caméra (non représentée) et émet des requêtes représentatives des gestes reconnus.

Le moyen 41 de détection de présence ou de déplacement d’un utilisateur comporte, par exemple un détecteur connu dans le domaine des centrale d’alarme contre les cambriolages, par exemple un détecteur de présence infra-rouge. Le moyen 41 émet des requêtes représentatives de la détection de présence et/ou de déplacements.

Le moyen 42 de reconnaissance d’un chemin suivi par un utilisateur utilise soit un traitement d’images numériques fournies par une caméra interne au lieu d’implantation de l’assistant virtuel, soit une succession de détection de présence et/ou de déplacement de détecteurs tels que ceux exposé en regard du moyen 41. Le moyen 42 de reconnaissance émet des requêtes représentatives du chemin suivi par l’utilisateur.

La temporisation 43 émet des requêtes représentatives de l’heure ou d’une durée écoulée depuis un événement prédéterminé, par exemple la détection du lever de l’utilisateur. Les temporisations sont, par exemple, utilisées pour les ouvrants. En effet, il y a le plus souvent un détecteur de fin de course qui stoppe le moteur de volet ou portail, mail il peut arriver que le client souhaite enregistrer une ouverture à 80 % ou une fermeture a 95 % pour la luminosité traversant les volets. Il faut, dans ces cas, utiliser des temporisations. Il y a aussi les programmes liés aux électrovannes : robinets, l’arrosage automatique ou mise en route et extinction des moteurs de piscines.

La temporisation peut aussi servir pour les chemins de vie. Par exemple si deux capteurs de mouvements disposés en des emplacements différents ont reçu un signal en mois de n secondes, alors la personne se dirige vers une pièce particulière de la maison, ce qui permet de déclencher un scénario d’arriver dans cette pièce.

Le récepteur 44 de requête reçue selon un protocole de transmission permettant à l'utilisateur d'accéder à des pages de la toile par l'intermédiaire d'un navigateur, par exemple une requête http (acronyme d’hypertexte transfer protocol pour protocole de transfert hypertexte), émet des requêtes reçues selon ce protocole, par exemple reçues par le biais d’un box d’accès à internet.

L’écran 45, peut être un écran de télévision ou un écran intégré au boîtier 29. Parallèlement à la connexion à cet écran 45, est prévue une connexion avec un moyen de pointage, par exemple souris ou partie tactile de l’écran 45.

On observe, en figure 2, un contexte 50 de fonctionnement de l’assistant virtuel 51. Ce contexte 50 comporte :

- un utilisateur pouvant interagir avec l’assistant virtuel 51 par l’intermédiaire d’une interface utilisateur 52 pour communiquer, afficher ou naviguer,

- un installateur pouvant interagir avec l’assistant virtuel 51 par l’intermédiaire d’une interface installateur 53 pour communiquer, paramétrer, éditer et tester,

- des diffuseurs de médias 54, par exemple chaîne musicale, télévision ou radio, pour communiquer, afficher, jouer ou diffuser, des objets connectés ou domotiques 55, pour communiquer, connecter/déconnecter, obtenir des compte-rendu de fonctionnement, de pannes, de maintenance, de l’activité contre les pirates informatiques et des détections de gestes, de présence ou de mouvement,

- un réseau électrique 56 pour alimenter l’assistant virtuel 51 et ses périphériques et surveiller cette alimentation électrique,

- le réseau internet 58, pour communiquer, connecter/déconnecter et sécuriser,

- les moyens de téléphonie 59, pour communiquer, connecter/déconnecter et

- l’environnement sonore 60, pour gérer le bruit ambiant.

On observe, en figure 3, un contexte 70 de fonctionnement de l’émulateur de télécommande infra-rouge 25. Ce contexte 70 comporte :

- les interfaces utilisateur 52 et installateur 53,

- les diffuseurs de médias 54,

- le réseau électrique 56,

- le logiciel Ino 57,

- un réseau local 72, pour communiquer, connecter/déconnecter et sécuriser,

- l’environnement matériel 73, pour prendre en compte les emplacements des récepteurs de télécommandes infra-rouge.

On observe, en figure 4, un contexte 80 de fonctionnement de l’interface installateur 53. Ce contexte 80 comporte :

- l’interface utilisateur 52,

- les objets connectés ou domotiques 55,

- le logiciel Ino 57,

- le réseau internet 58 et

- l’environnement 81, pour reproduire graphiquement le lieu d’implantation de l’assistant virtuel, par exemple en deux dimensions.

On observe, en figure 5 un ensemble 100 de tables utilisées pour le fonctionnement de l’assistant virtuel :

table 101 de déclencheur (en anglais « triggers >>), table 102 de scénarios déclenchés par les déclencheurs, table 103 de scénarios, table 104 de déroulements temporel (en anglais « timeline >>) de scénarios, table 105 de déroulement temporel, table 106 d’actions à réaliser au cours du déroulement du temps, table 107 d’actions à réaliser dans les scénarios, table 108 d’actions, table 109 d’appel d’actions de type domotique ou objets connectés, table 110 d’actions de type domotique ou objets connectés, table 111 d’appel d’éléments domotiques ou objets connectés, table 112 d’éléments domotiques ou objets connectés, table 113 de pièces du lieu d’implantation où se trouvent les éléments domotiques ou objets connectés, table 114 des pièces du lieu d’implantation, table 115 des connexion d’éléments domotiques ou objets connectés avec des types élémentaires d’éléments domotiques ou objets connectés et table 116 des types élémentaires d’éléments domotiques ou objets connectés.

On observe, en figure 6, sous forme d’un logigramme 120, des étapes de fonctionnement d’un mode de réalisation particulier d’un assistant virtuel objet de l’invention. Au cours d’une étape 121, on reçoit une requête. Au cours d’une étape 122, optionnelle, on identifie l’utilisateur à l’origine de la requête reçue, par exemple par reconnaissance de voix. Au cours d’une étape 123, on identifie la plage horaire en cours. Au cours d’une étape 124, en fonction de la requête et de la plage horaire, et éventuellement en fonction de l’utilisateur, on déclenche le déroulement d’un scénario, c’est-à-dire d’une succession d’actions. Au cours d’une étape 125, pour chaque action du scénario comportant la commande d’un appareil télécommandé par infra-rouges, on génère le code de télécommande représentant l’action à faire réaliser par cet appareil. Au cours d’une étape 126, on émet le code de télécommande généré. Au cours d’une étape 127, on recherche un message à vocaliser, correspondant à la requête et/ou au scénario en cours de déroulement. Au cours d’une étape 128, on effectue la synthèse vocale du message à vocaliser. Au cours d’une étape 129, on provoque l’émission sonore, par un transducteur électro-acoustique, du message vocal.

On donne, ci-dessous, d’autres explications du fonctionnement de l’assistant virtuel objet de l’invention.

Ino dispose, par exemple, de deux « parties » distinctes :

- un serveur Node.js (plateforme logicielle libre et événementielle en JavaScript orientée vers les applications réseau qui doivent pouvoir monter en charge) avec une bibliothèque de scripts fonctionnels pré paramétrés et

- un module de communication, par exemple un système Java (marque déposée) « Openhab » (logiciel de domotique ouvert) pré-équipé d’« addons » (paquets qui complètent un logiciel hôte pour lui apporter des fonctionnalités additionnelles) implémentant des protocoles de communication. Ce module permet de communiquer avec les contrôleurs domotique ou autres équipements connectables environnants en respectant leurs langages et protocoles de communication. Dans des modes de réalisation, la partie module de communication est un équivalent d’Openhab qui effectue cette fonction de communication vers les protocoles domotique.

Les deux parties disposant chacune d’un serveur web embarqué, permettant de communiquer avec elles ou de les faire communiquer entre elles par le biais de requêtes http distantes ou en localhost.

La partie module de communication permet de lister des « items » relié à des actions physiques sur les contrôleurs domotiques ou autres objets connectés, informatiques ou électroniques. Ceci par le biais d’une connexion réseau (type filaire ou radiofréquence) vers les équipements existants, qu’ils soient au tableau (armoire électrique) ou répartis dans le lieu d’implantation de l’assistant virtuel.

Dans des modes de réalisation, la partie module de communication est externe. Elle joue le rôle de communication et établit une liaison à l’objet connecté (dans le langage et selon le protocole appropriés). Elle intervient donc avant ou après la phase de « traitement » du serveur principal (la partie NodeJS).

La partie NodeJs (Serveur principal) permet de lister des « cases » relié à des actions multiples (Communication avec des objets connectés par l’intermédiaire du module de communication, informatique, affichage, scénarios, webscraping, action d’extraire des informations dans une page de la toile afin de réutiliser les données dans un autre cadre et/ou sous une autre forme par rapport au contenu original...).

Un case peut être un scenario contenant plusieurs requêtes d’actions ou, plus spécifiquement, une action (disposant de sa propre URL pour l’activer). Certaines cases contiennent le lancement d’un logiciel ou d’un élément domotique à l’unité, d’autres cases contiennent plusieurs requêtes vers des cases unitaires ou d’autres éléments http. Par exemple, les commandes vocales seront reliées à des cases.

Plusieurs types de déclencheur permettent de lancer un case javascript via une requête http.

Le System WSRMACRO prend le contrôle d’un Narrateur Windows (marque déposée) pour réceptionner et diffuser l’audio (micro et haut-parleur choisis comme périphériques de communication par défaut sur l’OS).

En cas de correspondance entre une variable listée dans la bibliothèque XML de WSRMACRO et le signal audio reçu du microphone, on envoie la requête http correspondante à NodeJs pour effectuer l’action souhaitée.

Le case JS contient le « Callback >> (message vocal) à renvoyer à l’utilisateur en réponse au Narrateur Windows.

- Le mode gestuel (« Gesture >>), via le SDK Kinect, permet de lister un ensemble de gestes détectables et de leur attribuer une variable. Si la combinaison de variables souhaitée est détectée par la caméra Kinect, la requête http correspondante est envoyée au serveur Nodejs.

- Les interfaces utilisateurs ou de paramétrage (installateur) permettent de tester ou déclencher les cases souhaitées (actions, scénarios...).

Le contenu de ces « coeurs >> est rendu dynamique via une API.JSON (acronyme de « application programming interface.Javascript object notation >> pour interface de programmation d’application en notation d’objet JavaScript), intermédiaire.

Pour les besoins de l’interface de Paramétrage Installateurs, les paramètres et variables de chaque cases JS et items Openhab sont listés dans des tableaux Json.

A l’aide d’un moteur additionnel, ceci permet de dynamiser chaque variable du système et de l’écraser de manière automatique via l’interface de paramétrage (simple champ texte ou actions).

De ce fait la totalité du contenu des options souhaitées est paramétrable et ou modifiable.

Diverses variables devront obligatoirement être paramétrées par l’installateur : adresse réseaux des équipements physiques et ou des contrôleurs domotique, des flux vidéo de caméras, fréquence de télécommande infra-rouge, heures programmables (scénarios, actions).

D’autre champs sont aussi nécessaires au fonctionnement logiciel :

Adresse de courriel (applis mail win10), ville (lieux météo), préférence thématiques (actualité), heures programmables (rappels, mémos), URL web favorites...

Pour un confort d’utilisation de l’OS Windows, des widgets ergonomiques sont placés sur le bureau et pointent vers les raccourcis les plus utilisés.

Paramétrage des systèmes d’exploitation :

Les systèmes Windows embarqués sont divisés en deux comptes utilisateurs : un premier compte verrouillé par mot de passe en mode de lancement « sous-marin >>. Cette partie héberge les serveurs opérationnels pour les systèmes.

Un deuxième compte utilisateur « client », est limité aux services « ouverts >> par défaut. Les paramètres pouvant mettre en périls la stabilité ou le fonctionnement du système ne sont pas modifiables.

Un système de gestion et création de widgets personnalisables et ergonomique est mis en place sur le bureau pour actionner les fonctions et services de l’assistant virtuel (« Raccourcis >>).

Concernant les modes de marche et d’arrêt, un Script de type « CMD >> (commande) est exécuté au premier démarrage de l’OS. Il exécute les serveurs nécessaire (Openhab et Node).

Seule l’action d’un Script, d’une mise à jour ou l’interface de paramétrage peut arrêter ou redémarrer l’assistant virtuel.

La commande vocale « Ino tu es là ? >> permet de vérifier le bon retour du système vocal.

La commande vocale « Ino bonne nuit >> ou « Ino éteint le système >> déconnecte seulement la session utilisateur Windows et passe l’OS en mode veille.

Un mode veille pour la reconnaissance vocale est prévu : « Ino mode silence >>

Concernant les installateurs et intégrateurs domotiques, l’assistant virtuel est doté d’une plateforme interopérable de paramétrage et de création de scénarios.

Concernant le fonctionnement de l’accessoire télécommande, avec un récepteur et un émetteur Infrarouge, le logiciel contient le code qui permet de recevoir les ordres provenant du système (le Smarthub). Cette télécommande permet de collecter des fréquences infrarouges. Une fois enregistrées/scannées par l’installateur, ces fréquences peuvent être déclenchées par le logiciel principal. Openhab joue un rôle de passerelle pour transférer l’information. L’utilisateur final peut (par le biais d’INO et son interface) bénéficier d’un télécommande « unique >> pour piloter ses équipements IR souhaités. Des équipements IR existant non « intelligents », deviennent des objets connectés.

Concernant le fonctionnement de l’accessoire Microphone, l’installateur paramètre avec l’utilisateur les scenarios et les différents modes d’interactions dont le mode vocal. Une fois que chaque microphone est attribué à la bonne pièce du lieu d’implantation et relié au minimum à un haut-parleur, l’utilisateur peut prononcer un mot clé, par exemple le Mot « INO >> (déclencheur modifiable), suivi d’un identifiant de la requête, aussi appelée commande vocale. Une fois cette requête reconnue, on envoie une requête à INO et celui-ci retourne le callback (c’est-à.-dire la phrase à vocaliser) au haut-parleur.

Le Smarthub est un système permettant d’automatiser le tableau électrique, les objets connectés et l’informatique. Il intègre une interface utilisateurs (smartphones, tablettes...), elle permet d’effectuer les actions ou scénarios préalablement enregistrés dans le Smarthub.

L’utilisateur actionne un scenario sur l’interface de son smartphone. Puis une requête est envoyée au Smarthub, qui redirige vers tous les éléments concernés par le scénario (IOT) et déclenche l’affichage ou retour audio correspondant. Les fonctions concernant l’infrarouge sont envoyées à la télécommande IR qui émet la fréquence programmée pour cette action. Les fonctions concernant ΙΊΟΤ sont envoyées directement à l’objet connecté ou passent par le biais du contrôleur domotique.

Les modules domotique (au tableaux) sont concrètement reliés aux actionneurs et effectuent l’opération.

A l’aide d’une appli smartphone, l’utilisateur peut se connecter de l’extérieur en VPN (« Virtual private network >> pour réseau privé virtuel) à l’interface utilisateur par le biais de sa box internet.

Le client dispose d’un système personnalisé à plusieurs modes d’interactions. Sécurisé, fonctionnel hors-ligne sans récolte de données personnelles (le système ne cherche qu’à entendre les commandes enregistrées).

Les installateurs disposent d’une réelle surcouche domotique interopérable leur offrant un nouveau panel de services hautement personnalisable et non standardisés.

En incluant une télécommande infra-rouge connectée couplé à la clé HDMI, le système gère tous les équipements IR transformant un téléviseur basique en téléviseur/superviseur connecté, bien entendu sa consommation électrique est régulée (suppression des veilles, allumages et extinctions).

Le système est capable de gérer la totalité du tableau électrique du bâtiments et effectuer les ordres à la place de l’utilisateur. Des scénarios évolutifs sont paramétrés par des professionnels. Par conséquent le SmartHub sait en temps réel le niveau de consommation énergétique. Mais surtout il est capable de prévoir dans un intervalle, précis et réglable sur mesure, un pic de consommation imminent (imprévu) : « démarre la machine à laver ! >>.

Des sources auxiliaires d’alimentation (réserve d’énergies : panneaux solaires, éoliennes, batteries, générateur électrique ...) sont automatiquement activées.

Pour les utilisateurs, le logiciel, embarqué dans un ordinateur mis à leur disposition, garantit la compatibilité des systèmes via tous les modes d’interaction et leur interopérabilité avec les objets connectés et les protocoles domotiques existants.

Avec la technologie CPL (acronyme de « Courant porteur en ligne », c’est-à-dire communication dans les fils électriques du réseau existant) on diminue de 30% les câblages en RJ45 (marque déposée) et les utilisateurs peuvent bénéficier de la qualité d’une installation filaire, tout en diminuant les contraintes d’installation (tranchés, goulottes... pour passer les câbles).

Grâce à des multiprises commandées à distance et à des accessoires, Ino peut prendre le contrôle des fonctionnalités d’un téléviseur ancienne génération ou encore rendre automatiques les anciens objets électriques basiques qui ne l’étaient pas.

L’ordinateur fourni intègre un système d’exploitation standard (par exemple Windows 10, marque déposée) laissant accessible aux utilisateurs l’essentiel des fonctionnalités de ce système d’exploitation. Des raccourcis « ergonomiques » ont été ajoutés pour en simplifier l’usage.

Chaque utilisateur bénéficie d’une remontée d’informations de consommation électrique, de température et de diverses autres sondes.

L’utilisateur peut aussi utiliser les scénarios de vie préprogrammés (modifiables par l’installateur pour une solution sur mesure) afin de gagner du temps dans la gestion de l’habitat et leur vie quotidienne (Coupure générale à heures programmées, gestion automatique des chauffages via sondes de températures, temporisation de l’éclairage ...).

Par mesure d’éthique envers les données personnelles, l’essentiel des fonctionnalités d’Ino ne nécessitent pas de connexion internet et demeurent en local. (Domotique, TV, services domestique, multimédia, prise de notes (dictée), création / incrémentation de liste de courses etc.).

Bien entendu, les fonctionnalités qui, de par leur nature, nécessitent un accès à internet (surf sur Internet, gestion d’emails, envoi de liste des courses, Skype, agenda vocal) doivent être connectées.

Une interface permet de gérer l’ensemble des fonctionnalités du système depuis son Smartphone ou une Tablette.

Dans des variantes, on dote l’assistant virtuel d’options clavier souris. Par exemple, un « ancien » téléviseur peut se voir équiper d’une clé sans fil HDMI (acronyme de High Definition Multimedia Interface pour interface multimédia haute définition) qui fournit l’image du système. L’utilisateur peut ainsi utiliser le clavier/souris relié à Ino sur son téléviseur d’ancienne génération. Dans des variantes, on dote aussi l’assistant virtuel de bannières informatives des états, d’identification des membres de la famille, de verrouillage/déverrouillage par empreinte digitale, de paramétrage vocal ainsi que d’une page de « préférences » pour le design du menu.

Un moteur additionnel permet de dynamiser chaque variable du système et de l’écraser de manière automatique via l’interface de paramétrage (simple champ texte ou actions).

De ce fait la totalité du contenu des options souhaitées deviennent paramétrables et ou modifiables.

Diverses variables doivent être paramétrées par l’installateur : adresse réseaux des équipements physiques et ou des contrôleurs domotique, des flux vidéo de caméras, fréquences de télécommande infra-rouge, heures programmables (scénarios, actions) ...

Concernant les Installateurs et intégrateurs domotique, une plateforme interopérable de paramétrage et de création de scénarios est disponible.

Une interface développée gère les paramétrages des fonctionnalités du système depuis son PC, Smartphone ou une Tablette.

L’architecture générale de l’interface de paramétrage s’organise à partir de tables SQL.

Ainsi, l’assistant virtuel comporte un moyen d’édition de scénarios configuré pour modifier un scénario en y ajoutant ou en en retirant une action ou en modifiant des valeurs de paramètres de réalisation d’une action. L’utilisateur, mais aussi un installateur ou un ergothérapeute, par exemple, peuvent éditer les scénarios pour répondre aux besoins de l’utilisateur.

Claims

REVENDICATIONS

1. Assistant virtuel (20), caractérisé en ce qu’il comporte :

- un transducteur acousto-électrique (21) pour recevoir des commandes vocales et émettre un signal représentatif de la voie d’un utilisateur,

- un moyen (22) de reconnaissance vocale pour identifier et émettre une requête par traitement du signal issu du transducteur acousto-électrique,

- une mémoire (23) de scénarios constitués d’actions à effectuer lorsqu’une requête est identifiée,

- un moyen (24) de déclenchement de déroulement d’un scénario à réception d’une requête,

- un émulateur (25) de télécommande infra-rouge pour commander une action d’un dispositif externe (26), action d’un scénario correspondant à une requête,

- un générateur de voix (27) pour générer un signal représentatif d’un message d’un scénario correspondant à une requête et

- un transducteur électro-acoustique (28) pour émettre le message généré par le générateur de voix.
2. Assistant virtuel (20) selon la revendication 1, qui comporte, de plus, un moyen (32) de réception de requêtes émises par un détecteur (33) ou un interrupteur domotique (34), le moyen (24) de déclenchement déclenchant le déroulement d’un scénario à réception d’une requête reçue par le moyen de réception de requêtes.
3. Assistant virtuel (20) selon l’une des revendications 1 ou 2, dans lequel l’émulateur (25) de télécommande infra-rouge comporte un moyen (35) d’apprentissage de codes de télécommande infra-rouge par balayage (« scan >>) des commandes émises par les télécommandes infra-rouge à émuler.
4. Assistant virtuel (20) selon l’une des revendications 1 à 3, qui comporte une connexion (36) à des équipements électriques (37) au niveau d’une armoire électrique (38) à proximité d’un compteur électrique (39).
5. Assistant virtuel (20) selon l’une des revendications 1 à 4, qui comporte un module configuré pour conserver une liste d’objets informatiques reliés à des actions physiques à réaliser pendant le déroulement d’un scénario, par des contrôleurs domotiques ou des objets connectés, informatique ou électronique, chaque action physique étant commandée, en fonction d’au moins un objet informatique par le biais d’une connexion réseau ou de l’émulateur de télécommande.
6. Assistant virtuel (20) selon l’une des revendications 1 à 5, qui comporte un moyen d’édition de scénarios configuré pour modifier un scénario en y ajoutant ou en en retirant une action ou en modifiant des valeurs de paramètres de réalisation d’une action.
7. Assistant virtuel (20) selon l’une des revendications 1 à 6, dans lequel au moins un scénario est associé à une plage horaire, ledit scénario n’étant déclenché par une requête que pendant ladite plage horaire.
8. Assistant virtuel (20) selon l’une des revendications 1 à 7, qui comporte, de plus, au moins un des moyens suivants configurés pour émettre une requête en fonction de gestes de l’utilisateur :

- un moyen (40) de reconnaissance de gestes,

- un moyen (41) de détection de présence ou de déplacement d’un utilisateur,

- un moyen (42) de reconnaissance d’un chemin suivi par un utilisateur,

- une temporisation (43),

- un récepteur (44) de requête reçue selon un protocole de transmission permettant à l'utilisateur d'accéder à des pages de la toile par l'intermédiaire d'un navigateur et

- une connexion avec un écran (45), munie d’un moyen de pointage, tactile ou souris.
9. Assistant virtuel (20) selon l’une des revendications 1 à 8, dans lequel les actions d’au moins un scénario commandent des fonctionnalités d’au moins un des groupes suivants :

- domotique : gestion de l’éclairage, du chauffage, de volets, ...

- téléphonie : gestion des appels Skype, appel de concierge, appel de secours...

- domestique : rappels de mémos (visuels ou audio), agenda, courriels, liste des courses, gestion des téléviseurs, radio, actualités,

- multimédia : gestion de médias audiovisuels, vidéos, musiques, photos, livres audio, et

- technologique : lancement d’applications, navigation sur internet, gestion des courriels, obtention et affichage de données météorologiques, accès à un réseau social.