FR3102591A1 - Prédiction d’état et commande d’un dispositif en fonction d’un état estimé - Google Patents
Prédiction d’état et commande d’un dispositif en fonction d’un état estimé Download PDFInfo
- Publication number
- FR3102591A1 FR3102591A1 FR1911927A FR1911927A FR3102591A1 FR 3102591 A1 FR3102591 A1 FR 3102591A1 FR 1911927 A FR1911927 A FR 1911927A FR 1911927 A FR1911927 A FR 1911927A FR 3102591 A1 FR3102591 A1 FR 3102591A1
- Authority
- FR
- France
- Prior art keywords
- type
- sensor
- data
- user
- current state
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 claims abstract description 59
- 238000013528 artificial neural network Methods 0.000 claims abstract description 34
- 238000012545 processing Methods 0.000 claims abstract description 11
- 230000006870 function Effects 0.000 claims description 12
- 238000013527 convolutional neural network Methods 0.000 claims description 8
- 230000001537 neural effect Effects 0.000 claims description 8
- 238000011156 evaluation Methods 0.000 claims description 7
- 230000008569 process Effects 0.000 claims description 6
- 230000004048 modification Effects 0.000 claims description 3
- 238000012986 modification Methods 0.000 claims description 3
- 238000007781 pre-processing Methods 0.000 claims description 3
- 238000000537 electroencephalography Methods 0.000 description 18
- 238000003745 diagnosis Methods 0.000 description 16
- 238000001514 detection method Methods 0.000 description 10
- 230000015654 memory Effects 0.000 description 9
- 230000001815 facial effect Effects 0.000 description 8
- 230000002490 cerebral effect Effects 0.000 description 7
- 230000003287 optical effect Effects 0.000 description 7
- 230000002123 temporal effect Effects 0.000 description 7
- 238000013473 artificial intelligence Methods 0.000 description 5
- 210000004556 brain Anatomy 0.000 description 5
- 238000004590 computer program Methods 0.000 description 5
- 230000006996 mental state Effects 0.000 description 5
- 208000019901 Anxiety disease Diseases 0.000 description 4
- 230000036506 anxiety Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000001914 filtration Methods 0.000 description 3
- 238000010606 normalization Methods 0.000 description 3
- 230000002441 reversible effect Effects 0.000 description 3
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 description 2
- 239000008280 blood Substances 0.000 description 2
- 210000004369 blood Anatomy 0.000 description 2
- 230000000747 cardiac effect Effects 0.000 description 2
- 238000012790 confirmation Methods 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 229910052760 oxygen Inorganic materials 0.000 description 2
- 239000001301 oxygen Substances 0.000 description 2
- 230000037081 physical activity Effects 0.000 description 2
- 238000002106 pulse oximetry Methods 0.000 description 2
- 210000001747 pupil Anatomy 0.000 description 2
- 210000003625 skull Anatomy 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000009226 cognitive therapy Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000013434 data augmentation Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000000586 desensitisation Methods 0.000 description 1
- 230000002996 emotional effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000004424 eye movement Effects 0.000 description 1
- 210000000744 eyelid Anatomy 0.000 description 1
- 238000009472 formulation Methods 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000003340 mental effect Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 210000000653 nervous system Anatomy 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 238000012958 reprocessing Methods 0.000 description 1
- 230000029058 respiratory gaseous exchange Effects 0.000 description 1
- 230000033764 rhythmic process Effects 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 230000000638 stimulation Effects 0.000 description 1
- 210000000106 sweat gland Anatomy 0.000 description 1
- 230000035900 sweating Effects 0.000 description 1
- 230000008685 targeting Effects 0.000 description 1
- 230000036962 time dependent Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 210000000707 wrist Anatomy 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
- A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/369—Electroencephalography [EEG]
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physiology (AREA)
- Psychiatry (AREA)
- Signal Processing (AREA)
- Fuzzy Systems (AREA)
- Evolutionary Computation (AREA)
- Pathology (AREA)
- Mathematical Physics (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Testing And Monitoring For Control Systems (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
L’invention concerne un procédé d’estimation d’un état courant d’un utilisateur d’au moins un équipement électronique équipé d’au moins un capteur d’un premier type, parmi une pluralité d’états comprenant notamment :- l’obtention (110) de données caractérisant l’utilisateur, en provenance du capteur du premier type;- le traitement (120) des données obtenues par un système de prédiction d’états comportant un réseau de neurones dont les paramètres ont été prédéterminés au cours d’une phase préalable d’apprentissage (100), afin d’estimer (130) un état courant de l’utilisateur; les paramètres du réseau de neurones ayant été obtenus à partir de données issues du capteur du premier type et de données de référence issues d’au moins un capteur d’un second type différent du premier type, l’au moins un équipement électronique ne comportant pas de capteur du second type. L’invention concerne également la commande d’un dispositif électronique en fonction de l’état ainsi estimé. Figure à publier avec l’abrégé : Fig 1.
Description
L’invention est dans le domaine de la prédiction d’état d’un utilisateur par une intelligence artificielle. Elle concerne, en particulier, un procédé d’estimation d’un état courant d’un utilisateur d’au moins un équipement électronique équipé d’au moins un capteur, parmi une pluralité d’états. Elle concerne également un procédé pour commander un dispositif électronique en fonction d’un état ainsi estimé, et un tel dispositif électronique.
Etat de la technique
Des équipements électroniques intelligents du typesmartphoneou montre connectée permettent de fournir de nombreux services à leurs utilisateurs.
Une tendance actuelle est d’intégrer des capteurs physiques à des objets connectés afin de proposer de nouveaux services aux utilisateurs, typiquement liés à leur santé ou à leur activité physique. Par exemple, des bracelets connectés (ou capteurs d’activité) permettent d’enregistrer l’activité physique de leur utilisateur et de la suivre, par exemple au moyen d’une application sur son smartphone auquel le bracelet peut se connecter. On connait également des EEGs (pour ElectroEncéphaloGraphes) grand public qui mesurent les ondes cérébrales. Un tel EEG grand public est par exemple intégré à un casque, par exemple un casque audio, ou avoir d’un casque ou une autre forme. On connait également des EEGs (pour ElectroEncéphaloGraphes) grand public qui mesurent les ondes cérébrales. A titre d’exemple, un tel EEG grand public est par exemple intégré à un casque, par exemple un casque audio.
Les capteurs physiques embarqués dans ces équipements électroniques grand public fournissent cependant des données de qualité moindre par rapport à des capteurs professionnels tels qu’utilisés dans le milieu hospitalier. Il est par ailleurs difficile d’équiper le grand public avec des capteurs professionnels, notamment en raison de leur coût élevé, de leur fragilité, de leur encombrement, de la difficulté de manipulation, etc. De plus, le stockage et le traitement des données obtenues par des capteurs professionnels requièrent des systèmes informatiques lourds et très performants. Pour faciliter le déploiement d’une solution, il est donc préférable de n’utiliser que des capteurs grand public tels que ceux mentionnés précédemment.
Par ailleurs, de plus en plus d’applications grand public recourent à l’intelligence artificielle pour traiter les données obtenues par ces capteurs physiques et fournir un service adapté à chaque utilisateur. Cependant, la fiabilité et l’efficacité de tels algorithmes sont notamment liées à la qualité des données utilisées pour l’apprentissage de l’intelligence artificielle.
Il existe donc un besoin général pour améliorer les algorithmes d’intelligence artificielle mis en œuvre dans des applications grand public afin de pallier à la qualité moyenne des données obtenues par des capteurs physiques grand public.
La présente invention a ainsi pour objet de pallier au moins un de ces inconvénients.
Dans ce contexte, un premier aspect de l’invention concerne un procédé d’estimation d’un état courant d’un utilisateur d’au moins un équipement électronique parmi une pluralité d’états prédéterminés, chaque équipement électronique comportant (au moins) un capteur d’un premier type, le procédé comprenant les étapes suivantes :
- obtention de données caractérisant l’utilisateur, en provenance du capteur du premier type de l’au moins un équipement électronique ;
- traitement des données obtenues par un système de prédiction d’états comportant un réseau de neurones dont les paramètres ont été prédéterminés au cours d’une phase préalable d’apprentissage, afin d’estimer un état courant de l’utilisateur;
lesdits paramètres du réseau de neurones ayant été obtenus à partir de données issues du capteur du premier type de l’au moins un équipement électronique et de données de référence issues d’au moins un capteur d’un second type différent du premier type, l’au moins un équipement électronique ne comportant pas de capteur du second type.
- obtention de données caractérisant l’utilisateur, en provenance du capteur du premier type de l’au moins un équipement électronique ;
- traitement des données obtenues par un système de prédiction d’états comportant un réseau de neurones dont les paramètres ont été prédéterminés au cours d’une phase préalable d’apprentissage, afin d’estimer un état courant de l’utilisateur;
lesdits paramètres du réseau de neurones ayant été obtenus à partir de données issues du capteur du premier type de l’au moins un équipement électronique et de données de référence issues d’au moins un capteur d’un second type différent du premier type, l’au moins un équipement électronique ne comportant pas de capteur du second type.
Dans des modes de réalisation, les données de référence issues d’un capteur de second type permettent de déterminer l’état courant de l’utilisateur avec une fiabilité plus élevée que les données issues d’un capteur de premier type.
Ainsi, l’apprentissage du réseau de neurones se fait sur des données provenant à la fois de capteurs usuels grand public, dits de premier type, et de capteurs professionnels de haute qualité, dits de second type, tandis que l’utilisation du système de prédiction opère uniquement sur des données provenant de capteurs de premier type (usuels, grand public).
Grâce à la phase d’apprentissage préalable, le système de prédiction est capable, lors de son utilisation ultérieure, de fournir un diagnostic de qualité tel que l’on obtiendrait avec des capteurs professionnels. Ceci à partir de données issues de capteurs usuels grand public et en l’absence de ces capteurs de haute qualité utilisés pendant la phase d’apprentissage.
D’autres caractéristiques du procédé selon des modes de réalisation de l’invention sont décrites par la suite.
Dans des modes de réalisation, au cours de la phase préalable d’apprentissage, les paramètres du réseau de neurones sont obtenus par minimisation d’une erreur (fonction LOSS) entre lesdites données issues du capteur du premier type de l’au moins un équipement électronique et les données de référence issues de l’au moins un capteur du second type.
Dans des modes de réalisation, le réseau de neurones comprend une pluralité de sous-réseaux de neurones, SUBCNN, chacun configuré pour traiter une signature générée à partir de données en provenance d’un capteur donné du premier type afin de générer un tenseur correspondant, les tenseurs obtenus par l’ensemble des sous-réseaux de neurones étant fusionnés pour générer un tenseur fusionné, ledit tenseur fusionné étant traité par un autre sous-réseau de neurones, FUSED CNN, afin d’estimer un état correspondant.
Dans des modes de réalisation, les données obtenues en provenance du capteur du premier type ont été mesurées par ledit capteur sur une durée donnée.
Dans des modes de réalisation, les signatures générées comprennent donc une composante temporelle, c’est-à-dire qu’elles dépendent du temps (notamment car les données qu’elles représentent sont mesurées sur une durée donnée). Cela permet d’améliorer la précision et la finesse des signatures.
Dans des modes de réalisation, le procédé comprend un prétraitement desdites données qui seront traitées par les sous-réseaux de neurones, SUBCNN. Il s’agit par exemple de diminuer le bruit d’un signal par filtrage, ou de recadrer une image.
Dans des modes de réalisation, le procédé comporte en outre les étapes suivantes :
- obtention d’une évaluation de l’état courant estimé ;
- mise à jour des paramètres du réseau de neurones du système de prédiction en fonction de l’évaluation obtenue.
- obtention d’une évaluation de l’état courant estimé ;
- mise à jour des paramètres du réseau de neurones du système de prédiction en fonction de l’évaluation obtenue.
Par exemple, cette évaluation peut être une confirmation de l’utilisateur qu’il est effectivement dans l’état estimé. En variante, cette évaluation peut être automatique, par exemple basée sur la fonction LOSS. Selon un autre exemple, l’évaluation peut se faire de manière automatique en déterminant de nouveau l’état de l’utilisateur après un temps donné.
Les paramètres du réseau de neurones du système de prédiction peuvent ensuite être mis à jour en fonction de l’évaluation obtenue. Le système de prédiction continue ainsi de s’améliorer pendant son utilisation.
Un second aspect de l’invention concerne un procédé de commande d’un dispositif électronique, le procédé comprenant les étapes suivantes :
- estimation d’un état courant d’un utilisateur d’au moins un équipement électronique par la mise en œuvre des étapes du procédé d’estimation d’état susmentionné, ledit au moins un équipement électronique étant connecté au dispositif électronique ;
- sélection d’une commande parmi une pluralité de commandes prédéterminées en fonction de l’état courant estimé et d’au moins une règle de sélection prédéterminée;
- exécution automatique, par le dispositif électronique, de la commande sélectionnée.
- estimation d’un état courant d’un utilisateur d’au moins un équipement électronique par la mise en œuvre des étapes du procédé d’estimation d’état susmentionné, ledit au moins un équipement électronique étant connecté au dispositif électronique ;
- sélection d’une commande parmi une pluralité de commandes prédéterminées en fonction de l’état courant estimé et d’au moins une règle de sélection prédéterminée;
- exécution automatique, par le dispositif électronique, de la commande sélectionnée.
Avantageusement, il est ainsi possible de commander un dispositif électronique en fonction d’un état détecté par le système de détection à partir de données de capteurs usuels, afin par exemple d’influencer cet état.
Dans des modes de réalisation, la commande est une commande de lecture d’un contenu média sélectionné automatiquement en fonction de l’état courant estimé, sur une interface homme-machine du dispositif électronique.
Dans des modes de réalisation, la commande sélectionnée vise à modifier l’état courant de l’utilisateur, le procédé comprenant en outre, au cours de ou suite à l’exécution automatique de la commande sélectionnée :
- estimation d’un nouvel état courant de l’utilisateur par la mise en œuvre des étapes du procédé d’état susmentionné;
- comparaison du nouvel état courant et de l’état courant précédent afin d’évaluer un critère d’influence de la commande sélectionnée sur l’état courant de l’utilisateur ;
- modification d’au moins une règle de sélection prédéterminée en fonction du critère d’influence évalué.
- estimation d’un nouvel état courant de l’utilisateur par la mise en œuvre des étapes du procédé d’état susmentionné;
- comparaison du nouvel état courant et de l’état courant précédent afin d’évaluer un critère d’influence de la commande sélectionnée sur l’état courant de l’utilisateur ;
- modification d’au moins une règle de sélection prédéterminée en fonction du critère d’influence évalué.
Ainsi, il est possible, via la mesure automatique de l’influence, par exemple physiologique, d’une commande sur l’état de l’utilisateur permise par le système de détection d’état selon l’invention, d’améliorer des plateformes de recommandation existantes de manière complémentaire aux avis sciemment laissés par les utilisateurs sur ces plateformes.
Un troisième aspect de l’invention concerne un dispositif électronique comportant un processeur configuré pour exécuter des instructions adaptées à la mise en œuvre des étapes des procédés susmentionnés.
Les avantages, buts et caractéristiques particulières de dispositif sont similaires à ceux des procédés précités.
Dans un mode particulier de réalisation, les différentes étapes des procédés précités sont déterminées par des instructions de programmes d'ordinateur.
En conséquence, l'invention vise aussi un programme d'ordinateur sur un support d’information, ce programme étant susceptible d'être mis en œuvre par un microprocesseur, ce programme comprenant des instructions adaptées à la mise en œuvre des étapes des procédés tels que mentionnés ci-dessus.
Ce programme peut utiliser n'importe quel langage de programmation, et être sous la forme de code source, code objet, ou de code intermédiaire entre code source et code objet, tel que dans une forme partiellement compilée, ou dans n'importe quelle autre forme souhaitable.
L'invention vise aussi un support d’information lisible par un microprocesseur, et comprenant des instructions d'un programme d'ordinateur tel que mentionné ci-dessus.
Le support d’information peut être n'importe quelle entité ou dispositif capable de stocker le programme. Par exemple, le support peut comprendre un moyen de stockage, tel qu'une ROM, par exemple une ROM de microcircuit, ou encore un moyen d'enregistrement magnétique, par exemple un disque dur, ou encore une mémoire flash.
D'autre part, le support d’information peut être un support transmissible tel qu'un signal électrique ou optique, qui peut être acheminé via un câble électrique ou optique, par radio ou par d'autres moyens. Le programme selon l'invention peut être en particulier téléchargé sur une plateforme de stockage d’un réseau de type Internet.
Alternativement, le support d’information peut être un circuit intégré dans lequel le programme est incorporé, le circuit étant adapté pour exécuter ou pour être utilisé dans l'exécution du procédé en question.
Le support d’information et le programme d'ordinateur précités présentent des caractéristiques et avantages analogues au procédé qu'ils mettent en œuvre.
D'autres particularités et avantages de l'invention apparaîtront encore dans la description ci-après, illustrée par les figures ci-jointes qui en illustrent des exemples de réalisation dépourvus de tout caractère limitatif.
Description détaillée
Dans la description qui suit, on fait la distinction entre la phase d’apprentissage préalable d’une intelligence artificielle et la phase d’utilisation du moteur d’intelligence également appelée phase d’exploitation, phase d’inférence ou encore phase de détection.
Lafigure 1illustre les étapes générales d’un procédé d’estimation d’état conforme à des modes de réalisation de l’invention.
De manière générale, l’invention vise à estimer un état d’un utilisateur à partir de données issues de capteurs grand public avec une fiabilité quasi professionnelle, c’est-à-dire comparable à ce qui pourrait être obtenu au moyen de capteurs professionnels.
En pratique, ces données issues de capteurs grand public sont fournies à un système de prédiction d’état comportant un réseau de neurones préalablement entrainé durant une phase d’apprentissage multi capteurs.
En particulier, l’apprentissage du réseau de neurones se fait sur des données provenant à la fois de capteurs usuels grand public, dits de premier type, et de capteurs professionnels de haute qualité, dits de second type, tandis que l’utilisation du système de prédiction opère uniquement sur des données provenant de capteurs de premier type (usuels, grand public).
Grâce à la phase d’apprentissage préalable, le système de prédiction est capable, lors de son utilisation ultérieure, de fournir un diagnostic de qualité tel qu’on obtiendrait avec des capteurs professionnels à partir de données issues de capteurs usuels grand public, en l’absence de ces capteurs de haute qualité utilisés pendant la phase d’apprentissage.
Tel qu’illustré sur la figure 1, le procédé selon l’invention comprend une étape d’obtention de données en provenance de capteurs de premier type (étape 110). Ces données caractérisent un utilisateur d’un équipement électronique comportant un capteur de premier type.
À titre d’illustration, l’équipement électronique est par exemple un EEG (pour ElectroEncéphaloGraphe) ayant quelques électrodes (par exemple deux), éventuellement intégré à un casque (par exemple un casque audio connecté) , une montre connectée comportant un capteur de rythme cardiaque, ou encore un smartphone comportant une caméra.
Selon des modes de réalisation, l’utilisateur peut être équipé d’un ou de plusieurs équipements électroniques (par exemple à la fois le smartphone et la montre connectée) chacun équipé d’au moins un capteur de premier type (capteur grand public). Ainsi, les données obtenues à l’étape 110 peuvent provenir d’un ou de plusieurs équipements. À noter que les équipements électroniques en question ne comportent pas, en revanche, de capteurs du second type (capteurs de qualité professionnelle).
Ces données en provenance de capteur(s) du premier type sont ensuite traitées par un système de prédiction d’états (étape 120) comprenant un réseau de neurones.
Ce système de prédiction d’états a été préalablement entrainé au cours d’une phase d’apprentissage (étape 100) de telle sorte qu’il est capable, lors de son utilisation normale, de déterminer un état courant de l’utilisateur parmi plusieurs états prédéterminés (préalablement appris), en fonction de données provenant uniquement de capteurs du premier type, c’est-à-dire de qualité moyenne. À titre d’illustration, un état courant est par exemple un état ou une combinaison d’états mentaux et/ou physiques (par exemple : stress, anxiété, concentration, fatigue).
Pour ce faire, la phase d’apprentissage 100 comprend l’obtention de données en provenance à la fois des capteurs de premier type (étape 102) qui pourront être utilisés lors de l’exploitation (c’est-à-dire l’utilisation normale) du système de prédiction, mais aussi de capteurs professionnels de second type (étape 104) qui ne seront pas utilisés lors de l’utilisation du système de prédiction.
Ces données en provenance de capteurs du second type sont uniquement utilisées lors de la phase d’apprentissage comme données de référence, afin de permettre un apprentissage rapide et d’excellente qualité.
À titre d’illustration, les capteurs de second type sont par exemple une caméra haute définition, un dispositif hospitalier capable de capturer les ondes cérébrales d’un patient au moyen de nombreuses électrodes par exemple placées sur son crâne (EEG), un dispositif capable de mesurer le rythme cardiaque en différents points (ECG multipoint ou « multi-lead »), un microphone professionnel, un capteur de conductance électrodermale, un capteur mesurant la saturation en oxygène dans le sang (« Pulse Oximetry »), une IRM.
Typiquement, l’obtention des données durant la phase d’apprentissage du système de détection se fait dans un contexte hospitalier avec des patients dont certains états sont volontairement stimulés dans le temps selon des protocoles opératoires particuliers (« tagging ») avantageusement définis par un médecin ou un neurologue et/ou basés sur des protocoles connus. Les données obtenues permettent ainsi de corréler dans le temps les états stimulés par les protocoles susmentionnés et les données mesurées avec les capteurs du premier type et du second type utilisés durant la phase d’apprentissage.
A titre d’illustration non limitative, un protocole particulier peut consister à enchainer plusieurs phases de durées définies alternant des stimulations de concentration et de relaxation. Par exemple, il est possible de stimuler la concentration d’un patient en l’invitant à visualiser un ou plusieurs objets affichés sur un écran et à essayer de faire grossir leur taille ou modifier leur position par la pensée. Selon un autre exemple, pour induire un état de relaxation, des images reposantes (telle qu’un paysage aux couleurs douces, une image de mer calme, etc.) sont présentées au patient durant une durée déterminée. De tels protocoles permettent notamment d’enrichir les données de référence (« tagging ») mesurées par les capteurs durant la phase d’apprentissage en y associant une information d’état attendu.
En revanche, le système de détection ainsi entrainé peut être appliqué à des données obtenues par un utilisateur d’équipement dans des contextes divers.
Des principes qui sous-tendent l’apprentissage multi capteur et son intérêt dans la phase d’utilisation seront exposés en référence aux figures 2 à 4.
La phase d’apprentissage permet ainsi d’optimiser les paramètres d’un réseau de neurones (étape 106) qui seront utilisés par la suite par le système de prédiction dans le but de déduire un état courant de l’utilisateur à partir de données de capteur de premier type, en l’absence des capteurs de second type utilisés pour l’apprentissage.
Un exemple d’implémentation détaillé de ce procédé sera décrit en référence à la figure 6.
Dans des modes de réalisation, le procédé peut comporter en outre l’obtention d’une évaluation de l’état courant estimé. Cette évaluation peut être une confirmation de l’utilisateur qu’il est effectivement dans l’état estimé. En variante, cette évaluation peut être automatique, par exemple basée sur la fonction LOSS. Les paramètres du réseau de neurones du système de prédiction peuvent ensuite être mis à jour en fonction de l’évaluation obtenue. Le système de prédiction continue ainsi de s’améliorer pendant son utilisation.
Comme il sera décrit en référence à la figure 5, dans des modes de réalisation, l’état ainsi estimé peut être avantageusement utilisé pour contrôler un dispositif électronique tel qu’un smartphone ou un autre équipement électronique.
Lesfigures 2 et 3illustrent deux exemples de phase d’apprentissage conforme à des modes de réalisation de l’invention.
Dans ces exemples, les données de référence issues de capteurs de qualité professionnelle (capteurs de second type) sont référencées 200/300 et les données issues de capteurs grand public (premier type) sont référencées 250/330.
Dans le premier exemple, les capteurs de premier type comprennent un capteur d’ondes cérébrales (noté EEG grand public) ayant un faible nombre d’électrodes (par rapport à un EEG professionnel) et une caméra de smartphone. L’EEG peut être intégré à un casque, par exemple un casque audio. En variante, l’EEG grand public peut avoir une autre forme qu’un casque. Dans le second exemple, il y a également un capteur de rythme cardiaque (ECG 1-point) d’une montre connectée.
Dans le premier exemple, les capteurs de second type comprennent un capteur de rythme cardiaque multipoint (ECG multipoint), une caméra HD, et un capteur d’ondes cérébrales ayant un grand nombre d’électrodes(noté EEG professionnel). Dans le second exemple, il n’y a qu’un capteur d’ondes cérébrales EEG.
Ainsi, ces deux exemples diffèrent par les capteurs mis en œuvre. Dans le premier exemple, il y a plus de capteurs de second type que de capteurs du premier type tandis que c’est l’inverse dans le second exemple. De façon logique, plus il y a de capteurs de second type, plus le diagnostic de référence sera rapidement établi et plus grande sera sa précision.
Comme il est schématiquement représenté au moyen de courbes sur les figures 2 et 3, les capteurs de premier type fournissent des données 260, 270, 340, 350 et 360 axées sur le temps, lesquelles sont faiblement discriminantes par rapport aux données de référence 210, 220, 230 et 310 fournies par les capteurs de second type.
Les données de référence 200/300 permettent ainsi d’établir un diagnostic précis et fiable 240/320 sur l’état courant du patient.
À titre purement illustratif, mais non limitatif, dans ces exemples, l’état détecté est une combinaison de stress (« stress = 1 »), de faible concentration (« concentration = 0 »), dépourvu d’anxiété (« anxiété = 0 »).
Dans des modes de réalisation, les états détectés sont représentés à l’aide de valeurs probabilistes.
Selon des modes de réalisation, les données 250/330 issues de capteurs de premier type sont traitées par un réseau de neurones, par exemple un réseau de neurones convolutifs (CNN pour « Convolutional Neural Networks ») dont les paramètres seront ajustés en fonction du diagnostic de référence 240/320 basé sur les données de référence 210, 220, 230 et 310 fournies par les capteurs de second type. Dans ces exemples, les données 250/330 issues de capteurs de premier type permettent d’établir un diagnostic 280/370.
Tel que schématisé par la boite LOSS 290/380, le procédé vise ensuite à minimiser la différence (appelée aussi « distance » ou « erreur ») entre le diagnostic de référence 240/320 basé sur les données de référence 200/300 et le diagnostic ‘réel’ 280/370, par propagation inverse. En pratique, cela consiste à modifier les paramètres du réseau de neurones afin de permettre l’établissement d’un diagnostic le plus proche possible du diagnostic de référence.
Dans ce qui précède, la représentation des données et des diagnostics est très simplifiée afin de faciliter la compréhension. Toutefois, l’invention n’y est pas limitée.
Lafigure 4illustre un exemple de phase d’utilisation conforme à des modes de réalisation de l’invention.
Selon l’invention, l’utilisateur du système de détection d’état selon l’invention ne dispose que de capteur(s) du premier type, c’est-à-dire de capteurs grand public, qui fournissent des données 400 de qualité moindre par rapport à des capteurs professionnels de second type (comme 200 et 300).
Ces capteurs de premier type ont tous été utilisés pour entrainer le système de détection durant la phase d’apprentissage telle que représentée sur la figure 2 par exemple.
Dans cet exemple, l’utilisateur est muni d’un EEG grand public comprenant quelques électrodes seulement, et d’un smartphone comportant une caméra, par exemple une caméra frontale.
Les données issues de ces capteurs de premier type sont respectivement schématisées par des courbes 410 et 420.
Le système de prédiction entrainé précédemment tel que décrit, est capable d’établir rapidement un diagnostic précis 430 sur l’état de l’utilisateur, comparable à un diagnostic de référence tel que 240 sur l’état courant du patient, seulement à partir des données provenant des capteurs de premier type.
Lafigure 5représente des étapes générales d’un procédé de commande conforme à des modes de réalisation de l’invention.
Selon des modes de réalisation, l’état estimé par exemple selon le procédé décrit en référence à la figure 1 ou 4 peut-être avantageusement utilisé pour contrôler un dispositif électronique tel qu’un smartphone ou un casque audio.
En particulier, cet état peut être utilisé pour sélectionner une commande et l’exécuter automatiquement. Par exemple, si l’état estimé est un état mental de l’utilisateur (par exemple un niveau de concentration moyenne), alors il est possible de commander la lecture d’un contenu média visant à modifier cet état mental. En estimant de nouveau l’état mental de l’utilisateur, il est possible de quantifier l’effet de la commande sur l’évolution de son état mental (ici du contenu média sur la concentration) et d’adapter les règles de sélection en conséquence.
Avantageusement, il est ainsi possible de commander un dispositif électronique en fonction d’un état détecté par le système de détection à partir de données de capteurs usuels, afin par exemple d’influencer cet état.
Dans l’exemple illustré, un capteur de premier type fournit des données sur l’utilisateur (étape 500), lesquelles sont utilisées par le système de détection d’états pour estimer un état courant de l’utilisateur (étape 510) tel que précédemment décrit.
Ensuite, une commande peut être automatiquement sélectionnée (étape 520) parmi une pluralité de commandes prédéterminées en fonction de l’état courant estimé et d’au moins une règle de sélection prédéterminée.
Une règle de sélection peut consister à simplement lire dans une table comprenant une liste de commande(s) associée(s) à chaque état prédéfini d’une liste prédéterminée.
La commande sélectionnée est ensuite mise en œuvre, c’est-à-dire exécutée automatiquement (étape 530), par le dispositif.
À titre d’exemple, la commande peut être une commande de lecture d’un contenu média (par exemple : vidéo, son ou jeux) sur une interface homme-machine du dispositif électronique.
Dans ce contexte, il peut être intéressant de recourir à une plateforme de recommandation de média permettant à des utilisateurs de noter les médias en fonction de leur influence sur leur propre état.
À titre d’illustration dépourvue de tout caractère limitatif, la commande peut consister à proposer des exercices de EMDR (Eye Movement Desensitization and Reprocessing) pour gérer du stress émotionnel, ou encore MBCT (Mindful-Based Cognitive Therapy) ou MBI (Mindful-Based Interventions) pour aider à la relaxation.
Optionnellement, l’influence de la commande exécutée sur l’état de l’utilisateur peut être évaluée automatiquement (étape 540). À cette fin, un nouvel état courant de l’utilisateur peut être estimé par la mise en œuvre des étapes du procédé précédemment décrit en référence à la figure 1 notamment. Puis, ce nouvel état courant peut être comparé à l’état courant précédent afin d’évaluer un critère d’influence de la commande sélectionnée sur l’état courant de l’utilisateur. Cette comparaison pouvant se faire simplement par une différence entre deux déterminations d’états ou de manière plus approfondie en utilisant une architecture récursive de type « Recurrent Neural Network » utilisant par exemple des blocs de type LSTM (pour « Long short-term memory ») sur une séquence d’états de l’utilisateur déterminés sur une période donnée.
Comme illustré par la flèche de retour à l’étape de sélection 520, les règles de sélection prédéterminées peuvent être modifiées en fonction du critère d’influence évalué.
Ainsi, l’invention peut permettre, via la mesure automatique de l’influence, par exemple physiologique, d’une commande sur l’état de l’utilisateur permise par le système de détection d’état selon l’invention, l’amélioration des plateformes de recommandation existantes de manière complémentaire aux avis sciemment laissés par les utilisateurs sur ces plateformes.
Dans des modes de réalisation, l’utilisateur peut également confirmer qu’il se sent bien dans l’état estimé automatiquement.
Lafigure 6illustre un exemple d’implémentation détaillé d’un procédé d’estimation d’état conforme à des modes de réalisation de l’invention.
Sur cette figure, certaines boites sont en traits pleins et d’autres sont en traits discontinus. En principe, les étapes entourées de traits discontinus sont mises en œuvre uniquement durant la phase préalable d’apprentissage et non durant la phase d’exploitation du système de prédiction.
Dans cet exemple, des données en provenance de cinq capteurs 600, 602, 604, 606 et 608 sont enregistrées simultanément, de préférence pendant une durée donnée, l’aspect temporel étant illustré par des flèches de rétroaction.
En l’occurrence, les capteurs 600 et 602 sont d’un premier type, à savoir des capteurs grand public, par opposition aux capteurs 604, 606 et 608 qui sont d’un second type, à savoir des capteurs professionnels.
Les capteurs de second type fournissent des données de référence. Comme il sera décrit par la suite, l’objectif de l’architecture décrite pendant la phase d’apprentissage est de minimiser une différence (une distance) modélisée par la fonction LOSS 680, entre les données issues des capteurs du premier type et les données de référence issues des capteurs de second type.
Dans cet exemple :
- le capteur 600 est un capteur d’image type caméra de smartphone ;
- le capteur 602 est un capteur d’ondes cérébrales (électroencéphalographe EEG) de type casque muni d’électrodes et qui permet d’obtenir un électroencéphalogramme. L’électroencéphalogramme obtenu au moyen de ce casque grand public est naturellement moins précis qu’un électroencéphalogramme qui serait obtenu par un EEG 606 professionnel tel qu’utilisé dans le milieu hospitalier. En effet, un EEG professionnel dispose d’un nombre très important d’électrodes (points de mesure) par rapport à un EEG grand public qui n’en possède que quelques-unes ;
- le capteur 604 est un capteur d’image de haute qualité type caméra haute définition (par exemple ultra-HD) ;
- le capteur 606 est un dispositif hospitalier capable de capturer les ondes cérébrales (électroencéphalographe EEG) d’un patient au moyen d’électrodes par exemple placées sur son crâne. Les ondes obtenues sont généralement classées en fonction de leur fréquence et permettent d’établir un électroencéphalogramme de haute qualité. Un tel capteur permet de mesurer l'activité cérébrale avec une grande précision temporelle ;
- le capteur 608 est un dispositif capable de mesurer le rythme cardiaque en différents points afin d’obtenir un électrocardiogramme de haute qualité (ECG multipoint ou « multi-lead »).
- le capteur 600 est un capteur d’image type caméra de smartphone ;
- le capteur 602 est un capteur d’ondes cérébrales (électroencéphalographe EEG) de type casque muni d’électrodes et qui permet d’obtenir un électroencéphalogramme. L’électroencéphalogramme obtenu au moyen de ce casque grand public est naturellement moins précis qu’un électroencéphalogramme qui serait obtenu par un EEG 606 professionnel tel qu’utilisé dans le milieu hospitalier. En effet, un EEG professionnel dispose d’un nombre très important d’électrodes (points de mesure) par rapport à un EEG grand public qui n’en possède que quelques-unes ;
- le capteur 604 est un capteur d’image de haute qualité type caméra haute définition (par exemple ultra-HD) ;
- le capteur 606 est un dispositif hospitalier capable de capturer les ondes cérébrales (électroencéphalographe EEG) d’un patient au moyen d’électrodes par exemple placées sur son crâne. Les ondes obtenues sont généralement classées en fonction de leur fréquence et permettent d’établir un électroencéphalogramme de haute qualité. Un tel capteur permet de mesurer l'activité cérébrale avec une grande précision temporelle ;
- le capteur 608 est un dispositif capable de mesurer le rythme cardiaque en différents points afin d’obtenir un électrocardiogramme de haute qualité (ECG multipoint ou « multi-lead »).
Les modes de réalisation de l’invention ne sont pas limités à ces capteurs qui ne sont présentés qu’à titre d’illustration. D’autres capteurs peuvent être utilisés, par exemple :
- un microphone qui permet de capturer les sons et les paroles d’un utilisateur, voire de caractériser sa respiration ;
- un capteur de pulsations ;
- un capteur de conductance électrodermale qui permet de mesurer une activité électrique sur la peau reflétant la sudation des glandes de sudation et du système nerveux ;
- un capteur mesurant la saturation en oxygène dans le sang (« Pulse Oximetry ») ;
- une IRM.
- un microphone qui permet de capturer les sons et les paroles d’un utilisateur, voire de caractériser sa respiration ;
- un capteur de pulsations ;
- un capteur de conductance électrodermale qui permet de mesurer une activité électrique sur la peau reflétant la sudation des glandes de sudation et du système nerveux ;
- un capteur mesurant la saturation en oxygène dans le sang (« Pulse Oximetry ») ;
- une IRM.
Selon des modes de réalisation, seuls les capteurs de premier type (grand public), dans cet exemple les capteurs 600 et 602, sont susceptibles d’être utilisés pendant la phase d’exploitation du système de prédiction, tandis que tous les capteurs mentionnés (du premier et du second type) sont utilisés pendant la phase d’apprentissage du système de prédiction.
Les différents capteurs présentés peuvent fournir des données de nature différente. Ainsi, les capteurs d’image 600 et 604 fournissent des données d’image 610 et 614. Les images 610 et 614 pouvant être en couleur (pixels) avec ou sans couche de profondeur. Par exemple, les images peuvent contenir une couche additionnelle qui correspond à une profondeur pour chacun des pixels provenant d’un capteur d’image infrarouge. Les capteurs 602 et 606 fournissent des données sur les ondes cérébrales 612, 616, et le capteur 608 fournit des données sur le rythme cardiaque 618.
Selon des modes de réalisation, les données issues des différents capteurs 600 à 608 sont prétraitées (étapes 620, 621, 622, 624, 625, 626 et 628) afin de faciliter l’extraction de signatures. Le prétraitement consiste par exemple à recadrer des images ou à filtrer les données dans le but de diminuer le bruit ou d’augmenter certains signaux d’intérêt.
En fonction de la nature des données fournies par les capteurs, différents types de signatures peuvent être obtenues. Dans cet exemple, on obtient des signatures faciales 630 et 634, oculaires 631 et 635, cardiaque 638, et cérébrales 632 et 636.
Selon des modes de réalisation, plusieurs signatures peuvent être extraites à partir des données (prétraitées) issues d’un même capteur. Par exemple, une caméra (telle que 600 ou 604) peut permettre d’extraire une image recadrée sur le visage d’un utilisateur, une image recadrée sur les yeux de l’utilisateur ou encore d’obtenir des positions (coordonnées) de points d’intérêt du visage (par exemple autour du nez, des yeux, ou des pupilles). Dans cet exemple, à partir des mêmes données d’image 610 (respectivement 614), le procédé génère une signature du visage (signature faciale) 630 (respectivement 634) et une signature des yeux (signature oculaire) 631 (respectivement 635) de l’utilisateur.
Selon des modes de réalisation, les signatures sont calculées sur une durée donnée et sont donc dépendantes du temps. En d’autres termes, ces signatures comprennent une composante temporelle, c’est-à-dire des valeurs augmentées par la dimension temps. La composante temporelle permet d’obtenir une évaluation plus précise de l’état grâce à la prise en compte du mouvement temporel des signatures (représenté par des séquences d’images et des séquences de données).
En pratique, chaque signature faciale 630 et 634 peut être composée d’une séquence d’images découpées et normalisées du visage ainsi que, optionnellement, d’une représentation de ses points d’intérêt par un ensemble d’images de probabilités décrivant la position spatiale de chaque point d’intérêt. Une phase de normalisation comprendra typiquement une étape de normalisation colorimétrique et/ou une étape de normalisation géométrique au cours de laquelle le visage est redressé.
Chaque signature oculaire 631 et 635 peut être générée grâce à une étape de détection des yeux, des paupières, des pupilles et de leurs contours (éléments caractéristiques des yeux). Cette signature vise à guider le procédé sur la région des yeux qui sont un marqueur intéressant pour la détection de l’état de l’utilisateur. Elle contient typiquement une séquence d’images de la zone des yeux ainsi qu’une séquence d’images de probabilité décrivant la position spatiale de chaque point d’intérêt. Selon les modes de réalisation, les images découpées formant la signature des yeux peuvent être séparées en deux images, une par œil ou groupées. La capture des éléments caractéristiques des yeux, ainsi que la direction du regard peuvent se faire à partir de l’image découpée de chacun des yeux avec une approche d’apprentissage profond classique.
Ainsi, selon des modes de réalisation, les signatures faciales et oculaires sont composées d’une séquence d’images recadrées (comprenant les images capturées et optionnellement les images de position des points d’intérêt).
Dans certains modes de réalisation, ces signatures faciales et oculaires sont modifiées pour tenir compte d’une information de flux optique qui mesure le trajet des pixels entre deux images consécutives, et éventuellement d’une information sur les pixels qui ont subi un changement notable entre ces images consécutives obtenue par différence d’images.
L’information de flux optique permet l’obtention d’images qui correspondent à la direction et à l’intensité du flux optique. Ainsi, dans cet exemple, les signatures 630 et 631 contiennent deux sous signatures correspondant à la séquence d’images recadrées et normalisées, ainsi qu’à la séquence d’images de flux optique. Ces deux sous signatures sont ensuite traitées par deux sous-branches, par exemple en utilisant notamment la technique 3D Conv Net décrite dans la publication « Quo Vadis, Action Recognition? A New Model and the Kinetics Dataset » par Joao Carreira et Andrew Zisserman.
La signature cardiaque 638 générée à partir de données sur le rythme cardiaque comprend des informations sur la variation du rythme cardiaque dans le temps.
Les signatures cérébrales 632 et 636 basées sur l’enregistrement des ondes cérébrales peuvent être obtenues après filtration et convertissage des signaux mesurés dans un espace fréquence grâce notamment à des transformées de Fourier. Les signatures ainsi obtenues sont composées notamment de valeurs d’ondes beta, alpha et delta mesurées au niveau du cerveau de l’utilisateur. Elle peut notamment être formée d’une matrice ou d’un tenseur contenant une fréquence par ligne, et le temps en colonne. Les différents signaux provenant de différentes électrodes pouvant être combinés ou séparés.
Les modes de réalisation de l’invention ne sont pas limités aux signatures décrites. D’autres signatures peuvent être obtenues, notamment à partir de données provenant d’autres capteurs. Par exemple, un capteur inertiel peut permettre d’obtenir une signature inertielle basée sur les accélérations et les modifications en orientation du capteur inertiel idéalement fixé dans un téléphone ou placé au poignet de l’utilisateur, sous la forme d’une séquence de plusieurs courbes (correspondant chacune à un degré de liberté fourni).
Selon des modes de réalisation, les signatures 630 à 632 basées sur les données issues de capteurs grand public (de premier type) permettent respectivement l’apprentissage de sous réseaux de neurones 640, 641, 642 notés SUBCNN 1, SUBCNN 2, SUBCNN 3. Les sous-réseaux 640, 641 et 642 sont par exemple des réseaux de neurones totalement convolutionnels (« Fully Convolutional Networks») dont les couches de classification connectée (« Fully Connected layers»), habituellement présentes en fin d’architecture, ont été supprimées. Les couches utilisées dans ces sous réseaux peut reposer sur l’utilisation d’un opérateur de convolution 3D, prenant en compte la dimension temporelle et la dimension spatiale, comme décrit dans l’article «Learning Spatiotemporal Features with 3D Convolutional Networks» de D. Tran et. All. Les réseaux de neurones 640, 641 notés SUBCNN 1, SUBCNN 2, peuvent également contenir des sous-réseaux permettant de traiter séparément, puis de fusionner les signatures de type images et les signatures de type flux optique. La sortie de chaque réseau de neurones SUBCNN 1, SUBCNN 2, SUBCNN 3 est un tenseur noté FEATURE MAP d’une certaine dimension N x M x D avec N > 1, M > 1.
Ces tenseurs sont ensuite éventuellement redimensionnés et / ou recadrés, notamment si les dimensions N et/ou M diffèrent d’un réseau de neurones à un autre, afin d’être regroupés (fusionnés, typiquement dans la dimension D) lors d’une étape 650 notée FEATURE MAP FUSION.
Le redimensionnement éventuellement opéré dépend de la nature et de la structure des données présentes dans la signature. Les couches utilisées dans les sous-réseaux peuvent reposer sur l’utilisation d’un opérateur de convolution 3D, prenant en compte la dimension temporelle et la dimension spatiale.
À titre d’illustration, pour le cas de la signature faciale 630, une image RGB(D) recadrée autour du visage et une image contenant des cloches gaussiennes (centrées sur les positions spatiales des points d’intérêt du visage) peuvent être utilisées. Il est aussi possible d’utiliser d’autres formes de représentation pour la position des points d’intérêt comme des images en couleur ou des images avec des contours. La signature ainsi obtenue est un tenseur H x W x C avec comme taille la résolution spatiale de l’image du visage découpé et C le nombre de couches en profondeur. Dans un exemple, on aura une signature de dimension 128 x 96 x 4, comprenant 3 couches pour le codage RGB et une couche pour l’image représentant la localisation des points d’intérêt sur le visage. Lors du passage dans les sous-réseaux SUBCNN 1 et 2, les images et le tenseur sont généralement sous-dimensionnés via des opérations depoolingou de convolution dites « strides ». Les tenseurs obtenus par ces procédés sont alors de résolution largement inférieure, mais ont une profondeur plus grande.
La fusion ou le regroupement se fait en juxtaposant les tenseurs dans leur dimension de profondeur (D). Par exemple, un tenseur N x M x D1 peut être fusionné avec un tenseur N x M x D2 pour obtenir un tenseur H x W x (D1+D2). Cette fusion est directe et évidente pour des tenseurs de même résolution spatiale, elle peut être plus complexe lorsque l’on souhaite fusionner des tenseurs de résolution spatiale différente. Pour cette dernière, les tenseurs seront agrandis par exemple au moyen d’étapes deupsamplinget complétés si nécessaire avec une opération depadding(ajouts de valeurs constantes sur les lignes et de colonnes sur les contours d’un tenseur afin d’obtenir une résolution convenable).
Le tenseur multidimensionnel obtenu à l’étape 650 est ensuite traité par un autre sous-réseau de neurones FUSED CNN 660 composé par exemple de plusieurs blocs de type bloc résiduel (« residual block ») similaires à ceux utilisés dans une architecture de typeResnetou de type bloc résiduel inversé (« Inverted Residual Block ») similaires à ceux utilisés dans une architecture de type Mobilenet v2.
Dans un mode de réalisation, le réseau de neurones 660 comprend une couche de classification complètement connectée (« Fully Connected layer »), ainsi que des couches ou opérateur de typeSoftmax(ou équivalent) afin de générer en sortie un ensemble de valeurs de probabilité (diagnostic) correspondant chacune à des états étudiés groupés par classe.
Ainsi, la sortie du réseau 660 prend typiquement la forme d’un vecteur 670 (MENTAL STATE SCORES) de dimension 1 x 1 x C avec C représentant le nombre de classes.
Dans un mode de réalisation, les états examinés comprennent notamment l’attention, le stress ou l’anxiété.
Dans certains modes de réalisation, des signatures issues des données en provenance de capteurs professionnels (second type) peuvent également être traitées par des réseaux de neurones CNN 646, 648.
Ces signatures 634 à 638 issues de données de capteurs de second type, éventuellement traitées par des réseaux de neurones, sont utilisées pour établir un diagnostic de référence 665 qui prendra également la forme d’un vecteur 675 de dimension 1 x 1 x C.
Une fonction LOSS 680 est ensuite mise en œuvre pour évaluer l’erreur entre le diagnostic obtenu à partir des données issues des capteurs du premier type (dans cet exemple, les capteurs 600 et 602) et le diagnostic de référence obtenu à partir des données de référence issues des capteurs de second type (dans cet exemple, les capteurs 604, 606 et 608).
La formulation de la fonction de LOSS est basée sur des principes standards (LOGLOSS, L1NORM, …) qui varient en fonction de la nature de la sortie (régression ou classification).
Au cours de l’enregistrement simultané des données par les différents capteurs 600 à 608, les paramètres des sous-réseaux de neurones 640-642 et 660 sont ajustés de sorte à minimiser la fonction LOSS 680. Cette rétroaction ou propagation inverse (« back propagation ») est modélisée sur la figure 6 par les flèches en pointillés partant de la boite 680 et visant les sous-réseaux de neurones 640-642 et 660.
Selon des modes de réalisation, l’apprentissage (c’est-à-dire l’optimisation des paramètres du système de prédiction ainsi décrit) est donc basé sur l’ensemble des données issues de l’ensemble des capteurs grand public, mais aussi professionnels.
De façon connue, l’optimisation d’un réseau de neurones est notoirement meilleure lorsqu’un nombre important de données est disponible. Ainsi, des techniques d’augmentation de données (miroir d’images,remappingd’image par transformation géométrique, distorsion colorimétrique, bruitage des signaux …) peuvent être utilisées afin d’augmenter artificiellement la quantité de données traitées pendant la phase d’apprentissage.
Selon des modes de réalisation, pendant la phase d’utilisation du système ainsi entrainé, il est possible de ne pas effectuer certains traitements en fonction des données disponibles. Par exemple, si un seul capteur est disponible (par exemple le capteur 600) alors seuls les traitements le concernant seront effectués. Dans un autre mode de réalisation, il est possible de ne générer qu’une sorte de signature par capteur pendant la phase d’exploitation du système alors que plusieurs signatures ont été générées pour ce capteur durant la phase d’apprentissage. Par exemple, à partir des données du capteur 600, seule la signature faciale 630 peut être calculée et non la signature oculaire 631, lors de l’exploitation du système. Les calculs sont ainsi optimisés et la non-génération de la signature oculaire peut être compensée par la qualité de l’apprentissage réalisé à partir de l’ensemble des capteurs grand public et professionnels disponibles.
Lafigure 7représente un exemple d’architecture pour un dispositif électronique conforme à des modes de réalisation de l’invention, c’est-à-dire configuré pour exécuter des instructions adaptées à la mise en œuvre des procédés décrits précédemment.
Dans cet exemple, l’architecture 70 comprend un bus de communication 71 auquel sont reliés :
- une unité de traitement -ou processeur- 72 notée CPU (sigle de Central Processing Unit en terminologie anglo-saxonne). Conformément à des modes de réalisation, le CPU est configuré pour : configurer un réseau de neurones d’un système de prédiction d’états à l’aide de paramètres prédéfinis et commander le traitement, par le système de prédiction d’états, de données obtenues d’un capteur de premier type, afin d’estimer un état courant de l’utilisateur parmi une pluralité d’états prédéterminés ;
- une ou plusieurs mémoires non volatiles 74 par exemple ROM (acronyme de Read Only Memory en terminologie anglo-saxonne) pouvant constituer un support au sens de l’invention, c’est-à-dire pouvant comprendre un programme informatique comprenant des instructions pour la mise en œuvre d’un procédé selon l’invention ; cette mémoire non volatile peut en variante être une mémoire Flash ;
- une mémoire vive ou mémoire cache ou mémoire volatile 76 par exemple RAM (acronyme de Random Access Memory en terminologie anglo-saxonne) comprenant des registres adaptés à l’enregistrement des variables et paramètres créés et modifiés au cours de l'exécution du programme précité ; lors de la mise en œuvre de l’invention, les codes d’instructions du programme stocké en mémoire non volatile (e.g. EEPROM ou flash) sont chargés en mémoire RAM en vue d’être exécutés par l’unité de traitement CPU ;
- une interface de communication 78 adaptée à transmettre et à recevoir des données, par exemple en provenance d’un équipement électronique comportant un capteur de premier type (par exemple des données caractérisant un utilisateur, en provenance du capteur de premier type), ou en provenance d’un système tiers (par exemple pour obtenir des paramètres d’un réseau de neurones déterminés au cours d’une phase préalable d’apprentissage à partir de données issues du capteur du premier type et de données de référence issues d’au moins un capteur d’un second type différent du premier type, l’équipement électronique ne comportant pas de capteur du second type) ; et
- une interface homme-machine IHM 79, permettant à un utilisateur d’interagir avec le dispositif électronique au cours de la mise en œuvre du procédé. Il s’agit par exemple d’un écran (par exemple un écran tactile) ou un casque audio (écouteurs). Dans des modes de réalisation, cette interface 79 est configurée pour lire un contenu média sélectionné automatiquement en fonction de l’état courant estimé de l’utilisateur.
- une unité de traitement -ou processeur- 72 notée CPU (sigle de Central Processing Unit en terminologie anglo-saxonne). Conformément à des modes de réalisation, le CPU est configuré pour : configurer un réseau de neurones d’un système de prédiction d’états à l’aide de paramètres prédéfinis et commander le traitement, par le système de prédiction d’états, de données obtenues d’un capteur de premier type, afin d’estimer un état courant de l’utilisateur parmi une pluralité d’états prédéterminés ;
- une ou plusieurs mémoires non volatiles 74 par exemple ROM (acronyme de Read Only Memory en terminologie anglo-saxonne) pouvant constituer un support au sens de l’invention, c’est-à-dire pouvant comprendre un programme informatique comprenant des instructions pour la mise en œuvre d’un procédé selon l’invention ; cette mémoire non volatile peut en variante être une mémoire Flash ;
- une mémoire vive ou mémoire cache ou mémoire volatile 76 par exemple RAM (acronyme de Random Access Memory en terminologie anglo-saxonne) comprenant des registres adaptés à l’enregistrement des variables et paramètres créés et modifiés au cours de l'exécution du programme précité ; lors de la mise en œuvre de l’invention, les codes d’instructions du programme stocké en mémoire non volatile (e.g. EEPROM ou flash) sont chargés en mémoire RAM en vue d’être exécutés par l’unité de traitement CPU ;
- une interface de communication 78 adaptée à transmettre et à recevoir des données, par exemple en provenance d’un équipement électronique comportant un capteur de premier type (par exemple des données caractérisant un utilisateur, en provenance du capteur de premier type), ou en provenance d’un système tiers (par exemple pour obtenir des paramètres d’un réseau de neurones déterminés au cours d’une phase préalable d’apprentissage à partir de données issues du capteur du premier type et de données de référence issues d’au moins un capteur d’un second type différent du premier type, l’équipement électronique ne comportant pas de capteur du second type) ; et
- une interface homme-machine IHM 79, permettant à un utilisateur d’interagir avec le dispositif électronique au cours de la mise en œuvre du procédé. Il s’agit par exemple d’un écran (par exemple un écran tactile) ou un casque audio (écouteurs). Dans des modes de réalisation, cette interface 79 est configurée pour lire un contenu média sélectionné automatiquement en fonction de l’état courant estimé de l’utilisateur.
Le bus de communication permet la communication et l'interopérabilité entre les différents éléments inclus dans le dispositif ou reliés à lui. La représentation du bus n'est pas limitative et, notamment, l'unité de traitement est susceptible de communiquer des instructions à tout élément du dispositif directement ou par l'intermédiaire d'un autre élément de ce dispositif.
La présente invention a été décrite et illustrée dans la présente description détaillée en référence aux figures jointes. Toutefois, la présente invention ne se limite pas aux formes de réalisation présentées. D’autres variantes, modes de réalisation et combinaisons de caractéristiques peuvent être déduits et mis en œuvre par la personne du métier à la lecture de la présente description et des figures annexées.
Dans les revendications, le terme « comporter » ou « comprendre » n’exclut pas d’autres éléments ou d’autres étapes. L’article indéfini « un » n’exclut pas le pluriel. Un seul processeur ou plusieurs autres unités peuvent être utilisés pour mettre en œuvre l’invention.
Les différentes caractéristiques présentées et/ou revendiquées peuvent être avantageusement combinées. Leur présence dans la description ou dans des revendications dépendantes différentes, n’exclut pas en effet la possibilité de les combiner. Les signes de référence ne sauraient être compris comme limitant la portée de l’invention.
Claims (11)
- Procédé d’estimation d’un état courant d’un utilisateur d’au moins un équipement électronique parmi une pluralité d’états prédéterminés, chaque équipement électronique comportant un capteur d’un premier type, le procédé comprenant les étapes suivantes :
- obtention (110) de données caractérisant l’utilisateur, en provenance du capteur du premier type de l’au moins un équipement électronique ;
- traitement (120) des données obtenues par un système de prédiction d’états comportant un réseau de neurones dont les paramètres ont été prédéterminés au cours d’une phase préalable d’apprentissage (100), afin d’estimer (130) un état courant de l’utilisateur;
lesdits paramètres du réseau de neurones ayant été obtenus à partir de données issues du capteur du premier type de l’au moins un équipement électronique et de données de référence issues d’au moins un capteur d’un second type différent du premier type, l’au moins un équipement électronique ne comportant pas de capteur du second type. - Procédé selon la revendication 1, dans lequel les données de référence issues d’un capteur de second type permettent de déterminer l’état courant de l’utilisateur avec une fiabilité plus élevée que les données issues d’un capteur de premier type.
- Procédé selon l’une quelconque des revendications 1 ou 2, dans lequel, au cours de la phase préalable d’apprentissage, les paramètres du réseau de neurones sont obtenus par minimisation d’une erreur entre lesdites données issues du capteur du premier type de l’au moins un équipement électronique et les données de référence issues de l’au moins un capteur du second type.
- Procédé selon l’une quelconque des revendications 1 à 3, dans lequel le réseau de neurones comprend une pluralité de sous-réseaux de neurones, SUBCNN, chacun configuré pour traiter une signature générée à partir de données en provenance d’un capteur donné du premier type afin de générer un tenseur correspondant, les tenseurs obtenus par l’ensemble des sous-réseaux de neurones étant fusionnés pour générer un tenseur fusionné, ledit tenseur fusionné étant traité par un autre sous-réseau de neurones, FUSED CNN, afin d’estimer un état correspondant.
- Procédé selon la revendication 4, comprenant un prétraitement desdites données qui seront traitées par les sous-réseaux de neurones, SUBCNN.
- Procédé selon l’une quelconque des revendications 1 à 5, dans lequel lesdites données obtenues en provenance du capteur du premier type ont été mesurées par ledit capteur sur une durée donnée.
- Procédé selon l’une quelconque des revendications 1 à 6, comportant en outre les étapes suivantes :
- obtention d’une évaluation de l’état courant estimé ;
- mise à jour des paramètres du réseau de neurones du système de prédiction en fonction de l’évaluation obtenue. - Procédé de commande d’un dispositif électronique, le procédé comprenant les étapes suivantes :
- estimation (510) d’un état courant d’un utilisateur d’au moins un équipement électronique par la mise en œuvre des étapes du procédé selon l’une quelconque des revendications 1 à 7, ledit au moins un équipement électronique étant connecté au dispositif électronique ;
- sélection (520) d’une commande parmi une pluralité de commandes prédéterminées en fonction de l’état courant estimé et d’au moins une règle de sélection prédéterminée;
- exécution automatique (530), par le dispositif électronique, de la commande sélectionnée. - Procédé selon la revendication 8, dans lequel la commande sélectionnée vise à modifier l’état courant de l’utilisateur, le procédé comprenant en outre, au cours de ou suite à l’exécution automatique de la commande sélectionnée :
- estimation d’un nouvel état courant de l’utilisateur par la mise en œuvre des étapes du procédé selon l’une quelconque des revendications 1 à 7 ;
- comparaison du nouvel état courant et de l’état courant précédent afin d’évaluer un critère d’influence de la commande sélectionnée sur l’état courant de l’utilisateur ;
- modification d’au moins une règle de sélection prédéterminée en fonction du critère d’influence évalué. - Procédé selon l’une quelconque des revendications 8 ou 9, dans lequel la commande est une commande de lecture d’un contenu média sélectionné automatiquement en fonction de l’état courant estimé, sur une interface homme-machine du dispositif électronique.
- Dispositif électronique comportant un processeur configuré pour exécuter des instructions adaptées à la mise en œuvre des étapes d’un procédé selon l’une quelconque des revendications 1 à 10.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| FR1911927A FR3102591B1 (fr) | 2019-10-24 | 2019-10-24 | Prédiction d’état et commande d’un dispositif en fonction d’un état estimé |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| FR1911927 | 2019-10-24 | ||
| FR1911927A FR3102591B1 (fr) | 2019-10-24 | 2019-10-24 | Prédiction d’état et commande d’un dispositif en fonction d’un état estimé |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| FR3102591A1 true FR3102591A1 (fr) | 2021-04-30 |
| FR3102591B1 FR3102591B1 (fr) | 2022-10-07 |
Family
ID=69468784
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| FR1911927A Active FR3102591B1 (fr) | 2019-10-24 | 2019-10-24 | Prédiction d’état et commande d’un dispositif en fonction d’un état estimé |
Country Status (1)
| Country | Link |
|---|---|
| FR (1) | FR3102591B1 (fr) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018106146A2 (fr) * | 2016-11-24 | 2018-06-14 | Александр Викторович Ежков | Méthode et système d'évaluation de criblage non invasif de paramètre physiologiques et de pathologies |
| US20190038148A1 (en) * | 2013-12-12 | 2019-02-07 | Alivecor, Inc. | Health with a mobile device |
| CN109325530A (zh) * | 2018-09-07 | 2019-02-12 | 中国科学院自动化研究所 | 基于少量无标签数据的深度卷积神经网络的压缩方法 |
| KR20190103097A (ko) * | 2019-08-16 | 2019-09-04 | 엘지전자 주식회사 | 뷰티 카운슬링 정보 제공 방법 및 장치 |
-
2019
- 2019-10-24 FR FR1911927A patent/FR3102591B1/fr active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20190038148A1 (en) * | 2013-12-12 | 2019-02-07 | Alivecor, Inc. | Health with a mobile device |
| WO2018106146A2 (fr) * | 2016-11-24 | 2018-06-14 | Александр Викторович Ежков | Méthode et système d'évaluation de criblage non invasif de paramètre physiologiques et de pathologies |
| CN109325530A (zh) * | 2018-09-07 | 2019-02-12 | 中国科学院自动化研究所 | 基于少量无标签数据的深度卷积神经网络的压缩方法 |
| KR20190103097A (ko) * | 2019-08-16 | 2019-09-04 | 엘지전자 주식회사 | 뷰티 카운슬링 정보 제공 방법 및 장치 |
Also Published As
| Publication number | Publication date |
|---|---|
| FR3102591B1 (fr) | 2022-10-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109475294B (zh) | 用于治疗精神障碍的移动和可穿戴视频捕捉和反馈平台 | |
| US20200187841A1 (en) | System and Method for Measuring Perceptual Experiences | |
| Wass et al. | Robustness and precision: How data quality may influence key dependent variables in infant eye‐tracker analyses | |
| FR2962822A1 (fr) | Procede et systeme de classification de signaux neuronaux, et procede de selection d'electrodes pour commande neuronale directe | |
| JP2020513253A (ja) | 認識能力の分析のために、画像取得デバイスを人間のユーザーに関連付けるための方法およびシステム | |
| CN114222960A (zh) | 用于计算机生成现实的多模态输入 | |
| JP2014504460A (ja) | ウェブ対応アプリケーションに対する感情データの測定 | |
| US20230052100A1 (en) | Systems And Methods For Optical Evaluation Of Pupillary Psychosensory Responses | |
| US11782508B2 (en) | Creation of optimal working, learning, and resting environments on electronic devices | |
| Lee et al. | Real-time realizable mobile imaging photoplethysmography | |
| FR3102591A1 (fr) | Prédiction d’état et commande d’un dispositif en fonction d’un état estimé | |
| JP5718495B1 (ja) | 印象推定装置、その方法、及びプログラム | |
| CA3049134C (fr) | Dispositif et procede de determination des mouvements oculaires par interface tactile | |
| Ayesha et al. | A web application for experimenting and validating remote measurement of vital signs | |
| EP3182892A2 (fr) | Procédé et système de traitement de signaux d'électroencéphalographie | |
| EP4027874B1 (fr) | Procédé de détermination du taux respiratoire | |
| Shvimmer et al. | Classification of emotional states via transdermal cardiovascular spatiotemporal facial patterns using multispectral face videos | |
| CN109697413B (zh) | 基于头部姿态的人格分析方法、系统和存储介质 | |
| Lee et al. | Real‐Time Mobile Emotional Content Player Using Smartphone Camera‐Based PPG Measurement | |
| US11762457B1 (en) | User comfort monitoring and notification | |
| US20230225651A1 (en) | Cognitive function test server and method | |
| US20230309824A1 (en) | Accommodation tracking based on retinal-imaging | |
| Tahira et al. | CrowdFix: An Eyetracking Dataset of Real Life Crowd Videos | |
| Nguyen et al. | Evaluation of Video-Based rPPG in Challenging Environments: Artifact Mitigation and Network Resilience | |
| Tiwari | Physiological features for mental state monitoring in real life conditions |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PLFP | Fee payment |
Year of fee payment: 2 |
|
| PLSC | Publication of the preliminary search report |
Effective date: 20210430 |
|
| PLFP | Fee payment |
Year of fee payment: 3 |
|
| PLFP | Fee payment |
Year of fee payment: 4 |
|
| PLFP | Fee payment |
Year of fee payment: 5 |