FR3137204A1 - Système électronique et procédé d’assistance d’un utilisateur d’un véhicule, programme d’ordinateur associé - Google Patents
Système électronique et procédé d’assistance d’un utilisateur d’un véhicule, programme d’ordinateur associé Download PDFInfo
- Publication number
- FR3137204A1 FR3137204A1 FR2206434A FR2206434A FR3137204A1 FR 3137204 A1 FR3137204 A1 FR 3137204A1 FR 2206434 A FR2206434 A FR 2206434A FR 2206434 A FR2206434 A FR 2206434A FR 3137204 A1 FR3137204 A1 FR 3137204A1
- Authority
- FR
- France
- Prior art keywords
- user
- facial
- exercise
- tension
- vehicle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 24
- 238000004590 computer program Methods 0.000 title claims abstract description 8
- 230000001815 facial effect Effects 0.000 claims abstract description 153
- 210000001097 facial muscle Anatomy 0.000 claims abstract description 66
- 230000004913 activation Effects 0.000 claims abstract description 38
- 238000012549 training Methods 0.000 claims abstract description 37
- 238000011156 evaluation Methods 0.000 claims description 31
- 230000008921 facial expression Effects 0.000 claims description 29
- 238000013473 artificial intelligence Methods 0.000 claims description 16
- 238000004422 calculation algorithm Methods 0.000 claims description 16
- 238000001429 visible spectrum Methods 0.000 claims description 8
- 238000002329 infrared spectrum Methods 0.000 claims description 6
- 238000013528 artificial neural network Methods 0.000 claims description 4
- 210000003205 muscle Anatomy 0.000 description 45
- 230000006870 function Effects 0.000 description 6
- 239000011159 matrix material Substances 0.000 description 6
- 210000001331 nose Anatomy 0.000 description 6
- 229940037201 oris Drugs 0.000 description 4
- 210000004709 eyebrow Anatomy 0.000 description 3
- 230000003387 muscular Effects 0.000 description 3
- 230000007935 neutral effect Effects 0.000 description 3
- 230000035807 sensation Effects 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- NOQGZXFMHARMLW-UHFFFAOYSA-N Daminozide Chemical compound CN(C)NC(=O)CCC(O)=O NOQGZXFMHARMLW-UHFFFAOYSA-N 0.000 description 2
- 241000158526 Nasalis Species 0.000 description 2
- 241000223503 Platysma Species 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 2
- 210000000256 facial nerve Anatomy 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 206010049816 Muscle tightness Diseases 0.000 description 1
- 206010052904 Musculoskeletal stiffness Diseases 0.000 description 1
- 206010028836 Neck pain Diseases 0.000 description 1
- 241000225674 Procerus Species 0.000 description 1
- 206010041349 Somnolence Diseases 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000036626 alertness Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 210000000845 cartilage Anatomy 0.000 description 1
- 230000001055 chewing effect Effects 0.000 description 1
- 230000000916 dilatatory effect Effects 0.000 description 1
- 230000008451 emotion Effects 0.000 description 1
- 210000000744 eyelid Anatomy 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 210000001061 forehead Anatomy 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- YOBAEOGBNPPUQV-UHFFFAOYSA-N iron;trihydrate Chemical compound O.O.O.[Fe].[Fe] YOBAEOGBNPPUQV-UHFFFAOYSA-N 0.000 description 1
- 210000001847 jaw Anatomy 0.000 description 1
- 210000004373 mandible Anatomy 0.000 description 1
- 210000001352 masseter muscle Anatomy 0.000 description 1
- 230000003340 mental effect Effects 0.000 description 1
- 210000004877 mucosa Anatomy 0.000 description 1
- 210000000492 nasalseptum Anatomy 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 208000026843 stiff neck Diseases 0.000 description 1
- 210000003699 striated muscle Anatomy 0.000 description 1
- 210000000216 zygoma Anatomy 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
- G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
- G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
- G06V40/175—Static expression
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
Système électronique et procédé d’assistance d’un utilisateur d’un véhicule, programme d’ordinateur associé Ce système électronique (20) d’assistance d’un utilisateur (16) d’un véhicule (10) est configuré pour être embarqué à bord du véhicule. Il comprend un capteur (24) d’au moins une image de l’utilisateur ; un dispositif de restitution (21) ; et un dispositif électronique (30) d’assistance de l’utilisateur. Le dispositif d’assistance (30) comporte un module d’entrainement (40) pour indiquer, sous forme d’au moins une instruction et via le dispositif de restitution (21), au moins un exercice facial (34) à réaliser par l’utilisateur ; un module (42) de détermination, à partir de l’au moins une image de l’utilisateur, d’une tension de muscles faciaux de l’utilisateur, et un module d’activation (44) pour proposer, en fonction de la tension des muscles faciaux, une activation du module d’entrainement (40) pour indiquer l’au moins un exercice facial à réaliser par l’utilisateur, le module d’entrainement étant activé par le module d’activation après acceptation de la proposition par l’utilisateur. Figure pour l'abrégé : Figure 1
Description
La présente invention concerne un système électronique d’assistance d’un utilisateur d’un véhicule, tel qu’un conducteur du véhicule, le système étant configuré pour être embarqué à bord du véhicule. Le système électronique d’assistance comprend un capteur d’image(s) configuré pour prendre au moins une image de l’utilisateur ; un dispositif de restitution ; et un dispositif électronique d’assistance de l’utilisateur, le dispositif électronique d’assistance étant connecté au capteur d’image(s) et au dispositif de restitution.
L’invention concerne aussi un véhicule, notamment automobile, comprenant un tel système électronique d’assistance.
L’invention concerne également un procédé d’assistance d’un utilisateur d’un véhicule, tel qu’un conducteur du véhicule, le procédé étant mis en œuvre par un tel dispositif électronique d’assistance embarqué à bord du véhicule ; ainsi qu’un programme d’ordinateur comportant des instructions logicielles qui, lorsqu’elles sont exécutées par un ordinateur, mettent en œuvre un tel procédé d’assistance.
L’invention concerne aussi le domaine des véhicules, notamment automobiles, le système électronique d’assistance objet de l’invention étant configuré pour être embarqué à bord d’un véhicule, tel qu’un véhicule automobile, et l’utilisateur étant alors typiquement le conducteur du véhicule.
On connaît du document JP 5 228 970 B2 un système électronique d’assistance de l’utilisateur du véhicule, du type précité. Ce système électronique d’assistance comprend une caméra positionnée à l’intérieur de l’habitacle du véhicule et prenant régulièrement des images du conducteur du véhicule, ainsi qu’un contrôleur connecté à la caméra et adapter pour détecter une somnolence du conducteur à partir des images prises par la caméra. Le contrôleur est en outre configuré pour déterminer si l’état du conducteur nécessite ou non une action afin de maintenir sa vigilance.
Le document US 2014/0350411 A1 décrit également un système électronique d’assistance du type précité. Ce système électronique d’assistance comprend aussi une caméra positionnée à l’intérieur de l’habitacle du véhicule et prenant des images régulières du conducteur du véhicule, ainsi qu’une unité informatique connectée à la caméra et adapter pour anticiper une situation d’inconfort du cou du conducteur, et éviter alors au conducteur d’avoir des courbatures du cou, voire un torticolis.
Ces systèmes électroniques d’assistance apportent certes une aide à l’utilisateur du véhicule, en particulier au conducteur, mais celle-ci est susceptible d’être améliorée.
Le but de l’invention est donc de proposer un système électronique d’assistance offrant une fonctionnalité supplémentaire, afin d’aider l’utilisateur, en particulier le conducteur, à améliorer encore davantage son état de sensation physique dans l’habitacle du véhicule, ce qui permet alors notamment une meilleure sécurité à bord du véhicule.
A cet effet, l’invention a pour objet un système électronique d’assistance d’un utilisateur d’un véhicule, tel qu’un conducteur du véhicule, le système étant configuré pour être embarqué à bord du véhicule et comprenant :
- un capteur d’image(s) configuré pour prendre au moins une image de l’utilisateur ;
- un dispositif de restitution ; et
- un dispositif électronique d’assistance de l’utilisateur, le dispositif électronique d’assistance étant connecté au capteur d’image(s) et au dispositif de restitution, et comportant :
+ un module d’entrainement configuré pour indiquer, sous forme d’au moins une instruction et via le dispositif de restitution, au moins un exercice facial à réaliser par l’utilisateur, chaque exercice facial comportant au moins une expression de visage à reproduire par l’utilisateur,
+ un module de détermination configuré pour déterminer, à partir de l’au moins une image de l’utilisateur, une tension de muscles faciaux de l’utilisateur, et
+ un module d’activation configuré pour proposer, en fonction de la tension des muscles faciaux déterminée, une activation du module d’entrainement pour indiquer l’au moins un exercice facial à réaliser par l’utilisateur, le module d’entrainement étant activé par le module d’activation après acceptation de la proposition par l’utilisateur.
Le système électronique d’assistance selon l’invention permet alors à l’utilisateur, en particulier au conducteur du véhicule, de réaliser au moins un exercice facial pendant qu’il est à bord du véhicule ; puis optionnellement d’évaluer, en fonction de la tension des muscles faciaux déterminée, si l’exercice facial effectué par l’utilisateur a été réalisé correctement.
La réalisation de cet au moins un exercice facial permet à l’utilisateur, en particulier au conducteur, d’être dans un meilleur état de sensation physique dans l’habitacle du véhicule, notamment de diminuer un éventuel stress, ce qui engendre alors une plus grande sécurité à bord du véhicule.
La réalisation de cet au moins un exercice facial vise également à maintenir une plus grande attention de l’utilisateur, en particulier du conducteur, toujours dans une optique de davantage de sécurité à bord du véhicule.
La réalisation de cet au moins un exercice facial offre également la possibilité à l’utilisateur de faire un usage encore plus efficace du temps passé à bord du véhicule, ce ou ces exercices faciaux permettant à l’utilisateur d’être moins passif, de faire travailler ses muscles du visage, et alors de conserver une meilleure tonicité de son visage.
Suivant d’autres aspects avantageux de l’invention, le système électronique d’assistance comprend une ou plusieurs des caractéristiques suivantes, prises isolément ou suivant toutes les combinaisons techniquement possibles :
- le module de détermination est configuré pour déterminer la tension des muscles faciaux de l’utilisateur via la mise en œuvre d’un algorithme d’intelligence artificielle, l’algorithme d’intelligence artificielle étant apte à estimer la tension des muscles faciaux à partir de l’au moins une image de l’utilisateur ;
l'algorithme d’intelligence artificielle comportant de préférence un réseau de neurones artificiels ;
- le module de détermination est configuré pour déterminer régulièrement la tension des muscles faciaux de l’utilisateur, et le module d’activation est configuré pour proposer à l’utilisateur l’activation du module d’entrainement si ladite tension est supérieure à un seuil de déclenchement ;
- le module d’entrainement est configuré pour indiquer l’au moins un exercice facial sur réception d’une requête de l’utilisateur ;
- le dispositif électronique d’assistance comporte en outre un module d’évaluation configuré pour évaluer chaque réalisation d’un exercice facial respectif via une comparaison, à un seuil d’atteinte respectif, de la tension des muscles faciaux déterminée lors de ladite réalisation de l’exercice facial ;
le module d’évaluation étant de préférence configuré pour évaluer chaque réalisation d’un exercice facial respectif comme correcte si la tension des muscles faciaux déterminée lors de ladite réalisation est supérieure au seuil d’atteinte respectif ;
- le module d’évaluation est configuré en outre pour proposer à l’utilisateur l’activation du module d’entrainement pour indiquer un exercice facial suivant à réaliser par l’utilisateur si la réalisation d’un exercice facial courant est évaluée comme incorrecte ;
l’exercice facial suivant étant de préférence identique à l’exercice facial courant si la réalisation de l’exercice facial courant est évaluée comme incorrecte pour au plus N itération(s) successive(s), et distinct de l’exercice facial courant au-delà de N itération(s) incorrecte(s) successive(s), N étant un nombre entier supérieur ou égal à 1 ; et
- le capteur d’image(s) est choisi parmi le groupe consistant en : un capteur infrarouge, un capteur d’images dans le spectre visible, un capteur d’images dans le proche infrarouge, un capteur d’images dans les spectres visible et proche infrarouge, un capteur de temps de vol, et un capteur de lumière structurée.
L’invention a aussi pour objet un véhicule, notamment automobile, comprenant un système électronique d’assistance d’un utilisateur du véhicule, tel qu’un conducteur du véhicule, le système électronique d’assistance étant tel que défini ci-dessus.
L’invention a également pour objet un procédé d’assistance d’un utilisateur d’un véhicule, tel qu’un conducteur du véhicule, pour réaliser un exercice facial, le procédé étant mis en œuvre par un dispositif électronique d’assistance embarqué à bord du véhicule, le procédé comprenant :
- déterminer une tension de muscles faciaux de l’utilisateur, à partir d’au moins une image de l’utilisateur prise par un capteur d’image(s) connecté au dispositif électronique d’assistance ;
- proposer, en fonction de la tension des muscles faciaux déterminée, une activation de l’indication d’au moins un exercice facial à réaliser par l’utilisateur, chaque exercice facial comportant au moins une expression de visage à reproduire par l’utilisateur ;et
- si acceptation de la proposition par l’utilisateur, indiquer, sous forme d’au moins une instruction et via un dispositif de restitution, l’au moins un exercice facial à réaliser par l’utilisateur.
Suivant un autre aspect avantageux de l’invention, le procédé d’assistance comprend la caractéristique suivante :
- évaluer chaque réalisation d’un exercice facial respectif via une comparaison, à un seuil d’atteinte respectif, de la tension des muscles faciaux déterminée lors de ladite réalisation de l’exercice facial ;
le procédé comprenant de préférence en outre : si la réalisation d’un exercice facial courant est évaluée comme incorrecte, proposer une activation de l’indication d’un exercice facial suivant à réaliser par l’utilisateur, l’exercice facial suivant étant indiqué après acceptation de la proposition par l’utilisateur.
L’invention a également pour objet un programme d’ordinateur comportant des instructions logicielles qui, lorsqu’elles sont exécutées par un ordinateur, mettent en œuvre un procédé d’assistance tel que défini ci-dessus.
Ces caractéristiques et avantages de l’invention apparaîtront plus clairement à la lecture de la description qui va suivre, donnée uniquement à titre d’exemple non limitatif, et faite en référence aux dessins annexés, sur lesquels :
Dans la suite de la description, l’expression « sensiblement égal(e) à » définit une relation d’égalité à plus ou moins 10%, de préférence encore à plus ou moins 5%.
Sur les figures 1 et 2, un véhicule 10 comprend un habitacle 12, et à l’intérieur de l’habitacle 12, un siège 14 pour un utilisateur 16, tel qu’un conducteur, ainsi qu’un volant 18 pour la conduite du véhicule, comme connu en soi.
Selon l’invention, le véhicule 10 comprend en outre un système électronique 20 d’assistance de l’utilisateur 16, le système d’assistance 20 étant adapté pour être embarqué à bord du véhicule 10.
L’homme du métier comprendra que le véhicule 10 s’entend au sens large comme un véhicule permettant à un conducteur, également appelé pilote, ainsi qu’en complément à un ou plusieurs passagers, de se déplacer. Le véhicule 10 est alors typiquement choisi parmi le groupe consistant en : un véhicule automobile, tel qu’une voiture, un bus ou un camion ; un véhicule ferroviaire, tel qu’un train ou un tramway ; un véhicule naval, tel qu’un bateau ; et un véhicule aéronautique, tel qu’un aéronef.
Le système électronique d’assistance 20 comprend un dispositif de restitution 21 comportant un écran d’affichage 22 et/ou un haut-parleur 23 ; un capteur d’image(s) 24 adapté pour prendre au moins une image de l’utilisateur 16 ; et un dispositif électronique 30 d’assistance de l’utilisateur 16, le dispositif d’assistance 30 étant connecté au dispositif de restitution 21 et au capteur d’image(s) 24.
Dans l’exemple des figures 1 et 2, le dispositif de restitution 21 comporte l’écran d’affichage 22 et une paire de haut-parleurs 23. En complément, non représenté, le dispositif de restitution 21 comporte plusieurs écrans d’affichage 22 et/ou plusieurs paires de haut-parleurs 23. En variante, non représentée, le dispositif de restitution 21 comporte seulement l’écran d’affichage 22, ou bien seulement l’au moins un haut-parleur 23.
L’écran d’affichage 22 est adapté pour afficher des données à destination de l’utilisateur 16, notamment une ou plusieurs instructions visuelles, telles que des images d’expression de visage 32, visible sur la , une ou plusieurs images d’expression de visage 32 représentant un exercice facial 34 respectif à réaliser par l’utilisateur 16, comme cela sera décrit plus en détail par la suite. L’écran d’affichage 22 est typiquement un écran tactile, et est alors configuré pour détecter un appui tactile contre l’écran de la part de l’utilisateur 16, et typiquement un appui d’un doigt de l’utilisateur contre une portion de la surface de l’écran 22. L’écran tactile est par exemple un écran tactile capacitif ou un écran tactile résistif, comme connu en soi.
Chaque haut-parleur 23 est adapté pour diffuser des sons à destination de l’utilisateur 16, notamment une ou plusieurs instructions sonores, telles que des messages vocaux décrivant chacun un exercice facial 34 respectif à réaliser par l’utilisateur 16, chaque exercice facial 34 comportant au moins une expression de visage à reproduire par l’utilisateur 16.
Le capteur d’image(s) 24 est connu en soi, et est configuré pour acquérir au moins une image de l’utilisateur 16, notamment de son visage. Le capteur d’image(s) 24 est typiquement choisi parmi le groupe consistant en : un capteur infrarouge, un capteur d’images dans le spectre visible, un capteur d’images dans le proche infrarouge, un capteur d’images dans les spectres visible et proche infrarouge, un capteur de temps de vol, et un capteur de lumière structurée. Le capteur infrarouge est également appelé capteur IR (de l’anglaisInfraRed), et est configuré pour prendre au moins une image infrarouge de l’utilisateur 16, en particulier une image infrarouge de son visage. Le capteur d’images dans le spectre visible est configuré pour prendre au moins une image de l’utilisateur 16 dans le spectre visible, en particulier une image de son visage dans le spectre visible. Le capteur d’images dans le spectre visible est également appelé capteur RVB (pour Rouge Vert Bleu), ou encore capteur RGB (de l’anglaisRed Green Blue). Le capteur d’images dans le proche infrarouge est également appelé capteur NIR (de l’anglaisNear InfraRed), et est configuré pour prendre au moins une image de l’utilisateur 16 dans le spectre proche infrarouge, en particulier une image de son visage dans le spectre proche infrarouge. Le capteur d’images dans les spectres visible et proche infrarouge est également appelé capteur NIR/RGB, et est configuré pour prendre au moins une image de l’utilisateur 16 dans les spectres visible et proche infrarouge, en particulier une image de son visage dans les spectres visible et proche infrarouge. Le capteur de temps de vol est également appelé capteur TOF (de l’anglaisTime Of Flight), et est par exemple un capteur en 3 dimensions, et est alors appelé capteur 3D TOF. Le capteur de lumière structurée est par exemple un capteur en 3 dimensions, ou 3D.
Le capteur d’image(s) 24 est de préférence positionné face à l’utilisateur 16, c’est-à-dire en regard de l’utilisateur 16.
En complément, le capteur d’images 24 est typiquement positionné sensiblement parallèlement à l’écran 22, un axe de visée du capteur d’images 24 étant alors sensiblement perpendiculaire à la surface de l’écran 22, l’axe de visée étant lui-même sensiblement perpendiculaire par rapport à une surface active, non représentée, du capteur d’images 24, afin de pouvoir prendre au moins une image du visage de l’utilisateur 16 lorsqu’il est face à l’écran 22.
Le dispositif électronique d’assistance 30, visible sur la , est configuré pour assister l’utilisateur 16, en particulier le conducteur du véhicule 10, en lui permettant de réaliser un ou plusieurs exercices faciaux 34 lorsqu’il est à bord du véhicule 10.
Selon l’invention, le dispositif électronique d’assistance 30 comprend alors un module d’entrainement 40 apte à indiquer, sous forme d’au moins une instruction, au moins un exercice facial 34 à réaliser par l’utilisateur 16 ; un module 42 de détermination, à partir de l’au moins une image de l’utilisateur 16, d’une tension de muscles faciaux de l’utilisateur 16 ; et un module d’activation 44 apte à proposer, en fonction de la tension des muscles faciaux déterminée, une activation du module d’entrainement 40 pour indiquer l’au moins un exercice facial 34 à réaliser par l’utilisateur 16, le module d’entrainement 40 étant activé par le module d’activation 44 après acceptation de la proposition par l’utilisateur 16.
En complément facultatif, le dispositif électronique d’assistance 30 comprend en outre un module 46 d’évaluation, en fonction de la tension déterminée des muscles faciaux, d’une réalisation de l’au moins un exercice facial 34 effectuée par l’utilisateur 16.
Dans l’exemple de la , le dispositif électronique d’assistance 30 comprend une unité de traitement d’informations 50 formée par exemple d’une mémoire 52 et d’un processeur 54 associé à la mémoire 52.
Dans l’exemple de la , le module d’entrainement 40, le module de détermination 42, et le module d’activation 44, ainsi qu’en complément facultatif le module d’évaluation 46, sont réalisés chacun sous forme d’un logiciel, ou d’une brique logicielle, exécutable par le processeur 54. La mémoire 52 du dispositif d’assistance 30 est alors apte à stocker un logiciel d’entrainement apte à indiquer, sous forme d’au moins une instruction, au moins un exercice facial 34 ; un logiciel de détermination de la tension des muscles faciaux de l’utilisateur 16 à partir de l’au moins une image dudit utilisateur ; et un logiciel d’activation, en fonction de la tension des muscles faciaux déterminée, du module d’entrainement 40 pour indiquer l’au moins un exercice facial 34 à réaliser ; ainsi qu’en complément facultatif un logiciel d’évaluation d’une réalisation de l’au moins un exercice facial 34 effectuée par l’utilisateur 16, en fonction de la tension des muscles faciaux déterminée par le logiciel de détermination. Le processeur 54 est alors apte à exécuter chacun des logiciels parmi le logiciel d’entrainement, le logiciel de détermination et le logiciel d’activation, ainsi qu’en complément facultatif le logiciel d’évaluation.
En variante non représentée, le module d’entrainement 40, le module de détermination 42, et le module d’activation 44, ainsi qu’en complément facultatif le module d’évaluation 46, sont réalisés chacun sous forme d’un composant logique programmable, tel qu’un FPGA (de l’anglaisField Programmable Gate Array), ou encore d’un circuit intégré, tel qu’un ASIC (de l’anglaisApplication Specific Integrated Circuit).
Lorsque le dispositif d’assistance 30 est réalisé sous forme d’un ou plusieurs logiciels, c’est-à-dire sous forme d’un programme d’ordinateur, également appelé produit programme d’ordinateur, il est en outre apte à être enregistré sur un support, non représenté, lisible par ordinateur. Le support lisible par ordinateur est par exemple un medium apte à mémoriser des instructions électroniques et à être couplé à un bus d’un système informatique. A titre d’exemple, le support lisible est un disque optique, un disque magnéto-optique, une mémoire ROM, une mémoire RAM, tout type de mémoire non-volatile (par exemple EPROM, EEPROM, FLASH, NVRAM), une carte magnétique ou une carte optique. Sur le support lisible est alors mémorisé un programme d’ordinateur comprenant des instructions logicielles.
Le module d’entrainement 40 est configuré pour indiquer, sous forme d’au moins une instruction, au moins un exercice facial 34 à réaliser par l’utilisateur 16, chaque exercice facial 34 comportant au moins une expression de visage à reproduire par l’utilisateur 16. L’instruction est par exemple une instruction visuelle, telle qu’une image 32 ou une succession d’images 32 représentant une expression de visage à reproduire par l’utilisateur 16 ; ou une instruction sonore, telle qu’un message vocal décrivant l’expression de visage à reproduire par l’utilisateur 16 ; ou encore une instruction visuelle et sonore, telle qu’une ou plusieurs images d’expression de visage 32 à reproduire par l’utilisateur 16 combinée(s) avec un message vocal associé.
Le module d’entrainement 40 est par exemple configuré pour afficher sur l’écran d’affichage 22 une ou plusieurs images d’expression de visage 32 représentant au moins un exercice facial 34 à réaliser par l’utilisateur 16, chaque exercice facial 34 comportant au moins une expression de visage à reproduire par l’utilisateur 16.
Le module d’entrainement 40 est par exemple configuré pour indiquer l’au moins un exercice facial 34 sur réception d’une requête de l’utilisateur 16, c’est-à-dire sur demande de l’utilisateur 16. La requête de l’utilisateur 16 est par exemple effectuée sous forme d’un appui tactile sur un icone représentatif de la fonctionnalité de mise en œuvre d’exercice(s) facial(aux).
En variante ou en complément, le module de détermination 42 est configuré pour déterminer régulièrement la tension des muscles faciaux de l’utilisateur 16, et le module d’activation 44 est configuré pour proposer automatiquement l’activation du module d’entrainement 40 pour indiquer l’au moins un exercice facial 34 si ladite tension est supérieure à un seuil de déclenchement.
L’homme du métier comprendra que le seuil de déclenchement est généralement une valeur prédéfinie de la tension des muscles faciaux. Cette valeur prédéfinie de la tension des muscles faciaux est typiquement une valeur caractéristique d’un niveau de stress de l’utilisateur 16 au-delà de laquelle il est utile de proposer à l’utilisateur 16 de réaliser au moins un exercice facial 34, afin de se détendre, notamment de diminuer la tension de ses muscles faciaux.
En variante ou en complément encore, le module d’activation 44 est configuré pour proposer l’activation du module d’entrainement 40 en un instant temporel prédéfini, tel qu’un instant correspondant à un agenda d’exercice spécifique.
En complément facultatif, le module d’entrainement 40 est configuré pour indiquer successivement plusieurs exercices faciaux 34 à réaliser par l’utilisateur 16. Selon ce complément facultatif, le module d’évaluation 46 est de préférence configuré pour évaluer successivement chaque réalisation d’exercice facial 34 effectuée par l’utilisateur 16.
L’exercice facial 34 comporte une seule expression de visage, indiquée sous forme d’une seule instruction, telle qu’une seule image d’expression de visage 32 affichée par le module d’entrainement 40 sur l’écran d’affichage 22, l’expression de visage étant destinée à être reproduite ensuite par l’utilisateur 16 ; ou bien une pluralité d’expressions de visage 32 distinctes les unes des autres, indiquées sous forme d’une pluralité d’instructions, telle qu’une pluralité d’images d’expression de visage 32 distinctes les unes des autres, affichées par le module d’entrainement 40 sur l’écran d’affichage 22, les expressions de visage étant destinées à être reproduites ensuite successivement par l’utilisateur 16.
Lorsque l’exercice facial 34 comporte une pluralité d’expressions de visage, le module d’entrainement 40 est par exemple configuré pour indiquer lesdites expressions de visage de manière successive, avec de préférence une temporisation prédéfinie entre les instants temporels successifs de début d’indication de deux instructions successives correspondant à deux expressions de visage successives. L’homme du métier comprendra alors que la temporisation correspond par exemple à la durée pendant laquelle chaque image 32 est affichée. La temporisation prédéfinie est typiquement de l’ordre de quelques secondes, par exemple de 2 à 15 secondes, afin de permettre à l’utilisateur 16 d’avoir suffisamment de temps pour prendre connaissance de chaque nouvelle expression de visage à reproduire ensuite par lui-même.
Dans l’exemple de la , trois exercices faciaux 34 sont représentés, chaque exercice facial 34 correspondant à une rangée de cinq images d’expression de visage 32. L’homme du métier observera que le premier exercice facial 34 correspondant à la première rangée de cinq images d’expression de visage 32, à savoir la rangée supérieure à la , vise à exercer des muscles faciaux supérieurs, disposés autour des yeux de l’utilisateur 16. Les deuxième et troisième exercices faciaux 34 correspondant aux deuxième et troisième rangées d’images d’expression de visage 32, à savoir la rangée intermédiaire et la rangée inférieure à la , visent quant à eux à exercer des muscles faciaux inférieurs, disposés autour de la bouche de l’utilisateur 16.
Les muscles faciaux, ou muscles du visage, sont un groupe de muscles striés innervés par le nerf facial (nerf crânien VII) qui, entre autres choses, contrôlent les expressions faciales. Ces muscles sont également appelés muscles mimétiques.
Les muscles faciaux comprennent généralement :
- un muscle frontal, ou occipito-frontal, ou encorefrontalis, recouvrant le front avec de longues fibres ;
- un muscletemporalis, ou temporal, attirant la mandibule vers le haut et l'arrière en refermant la mâchoire ;
- un muscleprocerus ,ou pyramidal du nez situé à la racine du nez ;
- un muscledepressor supercillis’insérant dans les couches profondes de la peau au niveau du sourcil ;
- des muscles orbiculaires de l’œil ou orbiculaire des paupières ou encoreorbicularis oculi ,recouvrant les paupières ;
- un musclenasalis ,ou muscle transversal du nez, i.e. un muscle triangulaire se trouvant sous le cartilage de l’aile du nez ;
- un muscle élévateur de l’aile du nez et de la lèvre supérieure, oulevator labii superioris alaeque nasi;
- un muscle petit zygomatique, ouzygomaticus minor, longeant la joue et attaché à la lèvre supérieure ;
- un muscle grand zygomatique, ouzygomaticus major, longeant les pommettes et attaché à la commissure des lèvres ;
- un muscle releveur de la lèvre supérieure, oulevator labii superioris, se trouvant sur la face qui longe les ailes du nez ;
- un muscledepressor septi nasi, ou muscle abaisseur du septum nasal, situé en dessous de l’orifice narinaire entre la muqueuse et la structure musculaire de la lèvre ;
- un musclelevator anguli oris, ou muscle élévateur de l'angle de la bouche, i.e. muscle élévateur de la lèvre supérieure ;
- un muscle orbiculaire de la bouche, ouorbicularis oris, entourant la bouche ;
- un muscle masséter, oumasseter, i.e. un muscle de mastication ;
- un muscledepressor labii inferioris, ou muscle abaisseur de la lèvre inférieure, situé dans la partie latérale du menton ;
- un muscledepressor anguli oris, ou muscle abaisseur de l’angle de la bouche ;
- un musclementalis, ou muscle mentonnier, petit muscle au centre du menton ;
- un musclecompressor narium minor, petit muscle de l'expression faciale ;
- un muscledilator naris anterior, ou muscle dilatateur narinaire antérieur, entourant la narine et participant à son élargissement ;
- un musclealar nasalis, ou muscle alaire nasal, qui est l'une des parties du muscle nasal, dilatant la narine ;
- un muscle buccinateur, oubuccinator, muscle profond de la joue vidant le contenu de la bouche en se contractant ;
- un muscle sourcilier, ou corrugateur du sourcil, ou encorecorrugator supercilli, se trouvant le long de l’arcade sourcilière ;
- un musclerisorius, petit muscle de la joue situé à la commissure des lèvres ; et
- un muscleplatysma, ou muscle peaucier du cou, situé dans la région antérieure du cou.
Les noms en italique des muscles ci-dessus correspondant aux noms en latin de ces muscles.
Le module de détermination 42 est alors configuré pour déterminer, à partir de l’au moins une image de l’utilisateur 16, une tension de muscles faciaux de l’utilisateur 16.
Le module de détermination 42 est par exemple configuré pour déterminer la tension des muscles faciaux de l’utilisateur 16 via la mise en œuvre d’un algorithme d’intelligence artificielle, l’algorithme d’intelligence artificielle étant apte à estimer la tension des muscles faciaux à partir de l’au moins une image de l’utilisateur 16.
L'algorithme d’intelligence artificielle comporte de préférence un réseau de neurones artificiels. L’algorithme d’intelligence artificielle inclut par exemple un modèle biomécanique permettant de modéliser les muscles faciaux, puis leur tension, à partir de l’au moins une image de l’utilisateur 16.
Le module de détermination 42 est typiquement configuré pour détecter une pluralité de points caractéristiques 60 du visage de l’utilisateur 16 dans chaque image de l’utilisateur 16 reçue de la part du capteur d’image(s) 24, comme représenté à la . Le module de détermination 42 est ensuite configuré pour déterminer la tension des muscles faciaux de l’utilisateur 16 à partir des positions des points caractéristiques 60 détectés.
Le module de détermination 42 est par exemple configuré pour calculer une estimation de la tension des muscles faciaux, c’est-à-dire de la tension musculaire du visage, via un calcul des distances entre points caractéristiques 60.
En complément, le module de détermination 42 est configuré pour déterminer un état, ou encore une émotion de l’utilisateur 16, parmi une pluralité d’états prédéfinis. La pluralité d’états prédéfinis comporte par exemple : un état neutre ; un état heureux ; un état triste ; un état dégoûté ou écœuré ; un état angoissé ou apeuré ; un état énervé ou en colère.
En complément encore, le module de détermination 42 est configuré pour demander à l’utilisateur 16 d’adopter un état neutre, puis de positionner la tension des muscles faciaux dans cet état neutre comme une tension de référence, telle qu’une tension nulle.
Le module d’évaluation 46 est configuré pour, en fonction de la tension des muscles faciaux déterminée par le module de détermination 42, évaluer une réalisation de l’au moins un exercice facial 34 effectuée par l’utilisateur 16.
Le module d’évaluation 46 est par exemple configuré pour évaluer chaque réalisation d’un exercice facial 34 respectif via une comparaison, à un seuil d’atteinte respectif, de la tension des muscles faciaux déterminée lors de ladite réalisation de l’exercice facial 34. Le module d’évaluation 46 est alors de préférence configuré pour évaluer chaque réalisation d’un exercice facial 34 respectif comme correcte si la tension des muscles faciaux déterminée lors de ladite réalisation est supérieure au seuil d’atteinte respectif.
Chaque seuil d’atteinte est par exemple une valeur prédéfinie de la tension des muscles faciaux, associée à un exercice facial 34 respectif, et susceptible de varier d’un exercice facial 34 à l’autre. L’homme du métier comprendra en effet que, selon l’exercice facial 34 destiné à être réalisé par l’utilisateur 16, les muscles faciaux sont susceptibles de présenter une tension variable, et le fait d’avoir un seuil d’atteinte respectif pour chaque exercice facial 34 permet alors d’affiner l’évaluation de la réalisation de chaque exercice facial 34.
En variante, le seuil d’atteinte présente la même valeur prédéfinie de la tension des muscles faciaux quel que soit l’exercice facial 34 considéré. Même si l’évaluation est alors moins précise, ceci permet de simplifier l’évaluation de la réalisation de chaque exercice facial 34. Selon cette variante, l’évaluation de la réalisation de chaque exercice facial 34 vise surtout à vérifier si l’utilisateur 16 a agi sur ses muscles faciaux pour effectuer un mouvement facial, plutôt qu’à évaluer la fidélité de la réalisation du mouvement facial effectué par rapport à l’exercice facial 34 indiqué sur le dispositif de restitution 21.
En variante encore, le seuil d’atteinte présente une valeur calculée en fonction de la valeur initiale de la tension déterminée lors d’une initiation d’exercice facial, la valeur étant par exemple calculée en fonction de la tension de référence, définie ci-dessus.
En complément, l’algorithme d’intelligence artificielle est apte à adapter le seuil d’atteinte en fonction de la capacité de l’utilisateur 16 à reproduire l’exercice facial 34. Autrement dit, le seuil d’attente est alors adapté par rapport à la capacité de l’utilisateur 16 à reproduire ce qui lui a été demandé.
L’homme du métier comprendra alors que le seuil d’atteinte n’est pas nécessairement figé, et est typiquement variable selon plusieurs paramètres, tels que la capacité de l’utilisateur 16 à reproduire l’exercice facial 34 et le niveau de difficulté de l’exercice facial 34.
En variante ou en complément, le module d’évaluation 46 est configuré pour évaluer chaque réalisation d’un exercice facial 34 respectif via l'algorithme d’intelligence artificielle. Chaque exercice facial est caractérisé par une matrice de distances caractéristiques, c’est-à-dire une matrice de valeurs cibles de distances entre points caractéristiques 60.
Selon cette variante, l’algorithme d’intelligence artificielle est alors apte à évaluer chaque réalisation d’un exercice facial 34 respectif, en comparant une matrice de valeurs calculées des distances entre points caractéristiques 60 avec la matrice de valeurs cibles desdites distances associée à l’exercice facial 34 respectif, les valeurs calculées desdites distances étant celles obtenues lors de la réalisation de l’exercice facial 34 respectif. L’homme du métier comprendra bien entendu que plus les valeurs calculées desdites distances sont proches des valeurs cibles, plus la réalisation de l’exercice facial 34 est évaluée positivement.
Selon cette variante, le module d’évaluation 46 est configuré pour évaluer l’exercice facial 34 comme correct si une métrique de l’écart entre valeurs calculées et valeurs cibles est inférieure à un seuil de distance, par exemple prédéfini. La métrique de l’écart est par exemple une moyenne d’écarts unitaires, le maximum parmi les écarts unitaires, ou encore la médiane des écarts unitaires, où chaque écart unitaire est la différence entre une valeur calculée et une valeur cible respectives.
En complément, le module d’évaluation 46 est configuré en outre pour, si la réalisation d’un exercice facial 34 courant est évaluée comme incorrecte, proposer à l’utilisateur 16 l’activation du module d’entrainement 40 pour indiquer un exercice facial 34 suivant à réaliser par l’utilisateur 16. Ceci permet alors d’offrir l’opportunité à l’utilisateur 16 de réaliser à nouveau l’exercice facial si l’utilisateur 16 ne l’a pas correctement effectué, ou bien n’a pas eu l’occasion de l’effectuer.
Selon ce complément, l’exercice facial 34 suivant est de préférence identique à l’exercice facial 34 courant si la réalisation de l’exercice facial 34 courant est évaluée comme incorrecte pour au plus N itération(s) successive(s), et distinct de l’exercice facial 34 courant au-delà de N itération(s) incorrecte(s) successive(s), N étant un nombre entier supérieur ou égal à 1.
La valeur de ce nombre N d’itération(s) successive(s) est de préférence paramétrable par l’utilisateur 16, afin qu’il puisse choisir le nombre maximal d’itération(s) qu’il souhaite effectuer en cas de réalisation incorrecte d’un exercice facial 34.
En complément, lorsque le module d’entrainement 40 est configuré pour indiquer successivement plusieurs exercices faciaux 34 à réaliser par l’utilisateur 16, le module d’entrainement 40 est par exemple configuré pour passer à l’exercice suivant, c’est-à-dire pour indiquer l’exercice facial 34 suivant, seulement si l’exercice facial 34 précédent a été correctement réalisé par l’utilisateur 16, c’est-à-dire si la réalisation de l’exercice facial 34 précédent a été évaluée comme correcte par le module d’évaluation 46.
Selon ce complément, le module d’entrainement 40 est en variante configuré pour indiquer successivement les différents exercices faciaux 34, en indiquant une seule fois chaque exercice à réaliser et en évaluant chaque réalisation d’exercice facial 34 au fur et à mesure.
Selon ce complément, le module d’évaluation 46 est alors configuré pour évaluer successivement chaque réalisation d’exercice facial 34. Optionnellement, le module d’évaluation 46 est en outre configuré pour effectuer une évaluation globale de toutes les réalisations d’exercice facial 34, effectuées par l’utilisateur 16, l’évaluation globale étant alors calculée à partir des différentes évaluations respectives.
Le fonctionnement du système électronique d’assistance 20, et en particulier du dispositif électronique d’assistance 30, selon l’invention va être à présent décrit en regard de la représentant un organigramme du procédé, selon l’invention, d’assistance de l’utilisateur 16.
Lors d’une étape initiale 100, le dispositif d’assistance 30 détermine, via son module de détermination 42, la tension des muscles faciaux de l’utilisateur 16 à partir d’au moins une image de l’utilisateur 16 prise par le capteur d’image(s) 24.
Cette détermination de la tension des muscles faciaux de l’utilisateur 16 est par exemple effectuée via la mise en œuvre de l’algorithme d’intelligence artificielle, cet algorithme d’intelligence artificielle comportant de préférence un modèle biomécanique desdits muscles faciaux. L’algorithme d’intelligence artificielle est par exemple en forme d’un réseau de neurones artificiels.
Le dispositif d’assistance 30 propose ensuite, lors d’une étape suivante 110 et via son module d’activation 44, une activation de l’indication d’au moins un exercice facial 34 à réaliser par l’utilisateur 16, cette activation étant proposée en fonction de la tension des muscles faciaux déterminée lors de l’étape de détermination 100.
L’activation de l’indication d’au moins un exercice facial 34 est par exemple proposée si la tension des muscles faciaux, déterminée lors de l’étape de détermination 100, est supérieure au seuil de déclenchement. Autrement dit, si le module d’activation 44 détecte, via le module de détermination 42, que la tension des muscles faciaux est trop importante, ce qui correspond à une situation de stress potentiel de l’utilisateur 16, alors il propose à l’utilisateur 16 d’effectuer au moins un exercice facial 34, afin de l’aider à se détendre et à diminuer son stress. Lorsque l’utilisateur 16 est le conducteur du véhicule 10, la réalisation de cet exercice facial lui permet d’être ensuite dans un meilleur état de sensation physique pour la conduite du véhicule 10, ce qui améliore alors la sécurité à bord du véhicule 10.
L’homme du métier comprendra bien entendu que le module de détermination 42 détermine, de manière récurrente, ou encore régulièrement, la tension des muscles faciaux de l’utilisateur 16, et ce même en l’absence de la réalisation d’exercice facial par l’utilisateur 16, afin de pouvoir détecter un éventuel dépassement dudit seuil de déclenchement.
Lors d’une étape suivante 120, le dispositif d’assistance 30 teste, via son module d’activation 44, si l’utilisateur 16 a accepté ou non la proposition faite lors de l’étape 110 précédente.
Si l’utilisateur 16 a accepté la proposition d’activation de l’indication d’au moins un exercice facial 34, alors le module activation 44 active le module d’entraînement 40, et le dispositif d’assistance 30 passe à l’étape suivante 130 pour indiquer à l’utilisateur 16 l’au moins un exercice facial 34 à réaliser.
Sinon, si l’utilisateur 16 n’a pas accepté cette proposition d’exercice facial 34 à réaliser, alors le dispositif d’assistance 30 retourne à l’étape initiale 100.
Lors de l’étape d’indication 130, le dispositif d’assistance 30 indique, via son module d’entrainement 40 et sur le dispositif de restitution 21, au moins un exercice facial 34 à réaliser par l’utilisateur 16.
En variante, l’au moins un exercice facial 34 est par exemple indiqué sur requête de l’utilisateur 16, ou encore en un instant temporel correspondant à un agenda d’exercice spécifique.
Lors de l’étape d’indication 130 et de la réalisation de l’exercice facial 34 par l’utilisateur 16, le dispositif d’assistance 30 détermine également, via son module de détermination 42, la tension des muscles faciaux de l’utilisateur 16 à partir d’au moins une image de l’utilisateur 16 prise par le capteur d’image(s) 24 pendant que l’utilisateur 16 réalise l’exercice facial 34 respectif.
Lors de l’étape suivante 140, le dispositif d’assistance 30 évalue, via son module d’évaluation 46, la réalisation de l’au moins un exercice facial 34 effectué par l’utilisateur 16, ceci en fonction de la tension des muscles faciaux déterminée pendant la réalisation de l’au moins un exercice facial 34.
Cette évaluation de chaque réalisation d’un exercice facial 34 respectif est par exemple effectuée via la comparaison, au seuil d’atteinte respectif associé audit exercice facial 34, de la tension des muscles faciaux déterminée lors de ladite réalisation de l’exercice facial 34. Chaque réalisation d’un exercice facial respectif est typiquement évaluée comme correcte si ladite tension des muscles faciaux est supérieure ou égale au seuil d’atteinte respectif.
En variante ou en complément, cette évaluation de chaque réalisation d’un exercice facial 34 respectif est effectuée en comparant une matrice de valeurs calculées des distances entre points caractéristiques 60 avec la matrice de valeurs cibles desdites distances associée à l’exercice facial 34 respectif, les valeurs calculées desdites distances étant celles obtenues lors de la réalisation de l’exercice facial 34 respectif. Plus les valeurs calculées desdites distances sont proches des valeurs cibles, plus la réalisation de l’exercice facial 34 est évaluée positivement.
À l’issue de l’étape d’évaluation 140, le dispositif d’assistance 30 teste, lors de l’étape suivante 150, si un exercice facial 34 est à proposer, et retourne, le cas échéant, à l’étape de proposition 110 afin de proposer ledit exercice facial 34, par exemple s’il reste un exercice facial 34 suivant à réaliser par l’utilisateur 16, ou encore si l’exercice facial 34 courant est à réaliser à nouveau par l’utilisateur 16 dans le cas d’une évaluation incorrecte de la réalisation précédemment effectuée par l’utilisateur 16.
En l’absence de nouvel exercice facial 34 à proposer, c’est-à-dire si le test de l’étape 150 est négatif, le procédé d’assistance retourne à l'étape initiale 100 pour détecter l’apparition d’un nouvel événement déclencheur d’une nouvelle occurrence du procédé d’assistance. Comme décrit précédemment, un tel événement déclencheur est le dépassement du seuil de déclenchement par la tension des muscles faciaux de l’utilisateur 16, ou une requête de l’utilisateur 16, ou encore l’atteinte d’un instant temporel particulier.
Ainsi, le système électronique d’assistance 20 selon l’invention, et en particulier le dispositif électronique d’assistance 30, permet d’offrir une fonctionnalité supplémentaire à l’utilisateur 16 du véhicule 10, en lui permettant de réaliser un ou plusieurs exercices faciaux 34 pendant qu’il est à bord du véhicule 10.
En outre, lorsque l’utilisateur 16 est le conducteur du véhicule 10, cette fonctionnalité permet de mettre le conducteur dans de meilleures dispositions pour conduire le véhicule 10, et d’améliorer alors la sécurité de conduite du véhicule 10.
Le dispositif électronique d’assistance 30 selon l’invention permet aussi à l’utilisateur 16 d’utiliser plus efficacement le temps passé à bord du véhicule 10, en l’incitant à faire travailler ses muscles du visage, ce qui permet de conserver une meilleure tonicité de son visage. Autrement dit, le dispositif électronique d’assistance 30 joue alors également un rôle d’assistant sportif (de l’anglaiscoach), en guidant l’utilisateur 16 pour effectuer des exercices musculaires avec son visage, et améliorer alors sa santé.
En complément, l’exercice indiqué par le module d’entrainement 40, puis évalué par le module d’évaluation 46, est un exercice de yoga.
On conçoit alors que le dispositif électronique d’assistance 30 selon l’invention, et le procédé d’assistance associé, permettent d’offrir une fonctionnalité supplémentaire pour l’utilisateur 16 à bord du véhicule 10, tout en améliorant la sécurité à bord dudit véhicule.
Claims (10)
- Système électronique (20) d’assistance d’un utilisateur (16) d’un véhicule (10), tel qu’un conducteur du véhicule (10), le système (20) étant configuré pour être embarqué à bord du véhicule (10) et comprenant :
- un capteur d’image(s) (24) configuré pour prendre au moins une image de l’utilisateur (16) ;
- un dispositif de restitution (21) ; et
- un dispositif électronique (30) d’assistance de l’utilisateur (16), le dispositif électronique d’assistance (30) étant connecté au capteur d’image(s) (24) et au dispositif de restitution (21) ;
caractérisé en ce que le dispositif électronique d’assistance (30) comporte :
+ un module d’entrainement (40) configuré pour indiquer, sous forme d’au moins une instruction et via le dispositif de restitution (21), au moins un exercice facial (34) à réaliser par l’utilisateur (16), chaque exercice facial (34) comportant au moins une expression de visage à reproduire par l’utilisateur (16),
+ un module de détermination (42) configuré pour déterminer, à partir de l’au moins une image de l’utilisateur (16), une tension de muscles faciaux de l’utilisateur (16), et
+ un module d’activation (44) configuré pour proposer, en fonction de la tension des muscles faciaux déterminée, une activation du module d’entrainement (40) pour indiquer l’au moins un exercice facial (34) à réaliser par l’utilisateur (16), le module d’entrainement (40) étant activé par le module d’activation (44) après acceptation de la proposition par l’utilisateur (16). - Système (20) selon la revendication 1, dans lequel le module de détermination (42) est configuré pour déterminer la tension des muscles faciaux de l’utilisateur (16) via la mise en œuvre d’un algorithme d’intelligence artificielle, l’algorithme d’intelligence artificielle étant apte à estimer la tension des muscles faciaux à partir de l’au moins une image de l’utilisateur (16) ;
l'algorithme d’intelligence artificielle comportant de préférence un réseau de neurones artificiels. - Système (20) selon la revendication 1 ou 2, dans lequel le module de détermination (42) est configuré pour déterminer régulièrement la tension des muscles faciaux de l’utilisateur (16), et le module d’activation (44) est configuré pour proposer à l’utilisateur (16) l’activation du module d’entrainement (40) si ladite tension est supérieure à un seuil de déclenchement.
- Système (20) selon l’une quelconque des revendications précédentes, dans lequel le module d’entrainement (40) est configuré pour indiquer l’au moins un exercice facial (34) sur réception d’une requête de l’utilisateur (16).
- Système (20) selon l’une quelconque des revendications précédentes, dans lequel le dispositif électronique d’assistance (30) comporte en outre un module d’évaluation (46) configuré pour évaluer chaque réalisation d’un exercice facial (34) respectif via une comparaison, à un seuil d’atteinte respectif, de la tension des muscles faciaux déterminée lors de ladite réalisation de l’exercice facial (34) ;
le module d’évaluation (46) étant de préférence configuré pour évaluer chaque réalisation d’un exercice facial (34) respectif comme correcte si la tension des muscles faciaux déterminée lors de ladite réalisation est supérieure au seuil d’atteinte respectif. - Système (20) selon l’une quelconque des revendications précédentes, dans lequel le module d’évaluation (46) est configuré en outre pour proposer à l’utilisateur (16) l’activation du module d’entrainement (40) pour indiquer un exercice facial (34) suivant à réaliser par l’utilisateur (16) si la réalisation d’un exercice facial (34) courant est évaluée comme incorrecte ;
l’exercice facial (34) suivant étant de préférence identique à l’exercice facial (34) courant si la réalisation de l’exercice facial (34) courant est évaluée comme incorrecte pour au plus N itération(s) successive(s), et distinct de l’exercice facial (34) courant au-delà de N itération(s) incorrecte(s) successive(s), N étant un nombre entier supérieur ou égal à 1. - Système (20) selon l’une quelconque des revendications précédentes, dans lequel le capteur d’image(s) (24) est choisi parmi le groupe consistant en : un capteur infrarouge, un capteur d’images dans le spectre visible, un capteur d’images dans le proche infrarouge, un capteur d’images dans les spectres visible et proche infrarouge, un capteur de temps de vol, et un capteur de lumière structurée.
- Procédé d’assistance d’un utilisateur (16) d’un véhicule (10), tel qu’un conducteur du véhicule (10), pour réaliser un exercice facial, le procédé étant mis en œuvre par un dispositif électronique d’assistance (30) embarqué à bord du véhicule (10), le procédé étant caractérisé en ce qu’il comprend :
- déterminer (100) une tension de muscles faciaux de l’utilisateur (16), à partir d’au moins une image de l’utilisateur (16) prise par un capteur d’image(s) (24) connecté au dispositif électronique d’assistance (30) ;
- proposer (110), en fonction de la tension des muscles faciaux déterminée, une activation de l’indication d’au moins un exercice facial (34) à réaliser par l’utilisateur (16), chaque exercice facial (34) comportant au moins une expression de visage à reproduire par l’utilisateur (16) ;et
- si acceptation de la proposition par l’utilisateur (16), indiquer (130), sous forme d’au moins une instruction et via un dispositif de restitution (21), l’au moins un exercice facial (34) à réaliser par l’utilisateur (16). - Procédé selon la revendication 8, dans lequel le procédé comprend en outre :
- évaluer (140) chaque réalisation d’un exercice facial (34) respectif via une comparaison, à un seuil d’atteinte respectif, de la tension des muscles faciaux déterminée lors de ladite réalisation de l’exercice facial (34) ;
le procédé comprenant de préférence en outre : si la réalisation d’un exercice facial (34) courant est évaluée comme incorrecte, proposer (160) une activation de l’indication d’un exercice facial (34) suivant à réaliser par l’utilisateur (16), l’exercice facial (34) suivant étant indiqué après acceptation de la proposition par l’utilisateur (16). - Programme d’ordinateur comportant des instructions logicielles qui, lorsqu’elles sont exécutées par un ordinateur, mettent en œuvre un procédé selon la revendication 8 ou 9.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| FR2206434A FR3137204B1 (fr) | 2022-06-28 | 2022-06-28 | Système électronique et procédé d’assistance d’un utilisateur d’un véhicule, programme d’ordinateur associé |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| FR2206434A FR3137204B1 (fr) | 2022-06-28 | 2022-06-28 | Système électronique et procédé d’assistance d’un utilisateur d’un véhicule, programme d’ordinateur associé |
| FR2206434 | 2022-06-28 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| FR3137204A1 true FR3137204A1 (fr) | 2023-12-29 |
| FR3137204B1 FR3137204B1 (fr) | 2024-08-09 |
Family
ID=83188372
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| FR2206434A Active FR3137204B1 (fr) | 2022-06-28 | 2022-06-28 | Système électronique et procédé d’assistance d’un utilisateur d’un véhicule, programme d’ordinateur associé |
Country Status (1)
| Country | Link |
|---|---|
| FR (1) | FR3137204B1 (fr) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5228970B2 (ja) | 2009-02-11 | 2013-07-03 | 株式会社デンソー | 居眠り防止装置 |
| US20140350411A1 (en) | 2013-05-23 | 2014-11-27 | Ford Global Technologies, Llc | Method and system for detecting and alleviating neck discomfort of a motor vehicle occupant |
| US20180061415A1 (en) * | 2011-04-22 | 2018-03-01 | Emerging Automotive, Llc | Methods and vehicles for capturing emotion of a human driver and moderating vehicle response |
| US20190213429A1 (en) * | 2016-11-21 | 2019-07-11 | Roberto Sicconi | Method to analyze attention margin and to prevent inattentive and unsafe driving |
| US20200242421A1 (en) * | 2019-01-30 | 2020-07-30 | Cobalt Industries Inc. | Multi-sensor data fusion for automotive systems |
-
2022
- 2022-06-28 FR FR2206434A patent/FR3137204B1/fr active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5228970B2 (ja) | 2009-02-11 | 2013-07-03 | 株式会社デンソー | 居眠り防止装置 |
| US20180061415A1 (en) * | 2011-04-22 | 2018-03-01 | Emerging Automotive, Llc | Methods and vehicles for capturing emotion of a human driver and moderating vehicle response |
| US20140350411A1 (en) | 2013-05-23 | 2014-11-27 | Ford Global Technologies, Llc | Method and system for detecting and alleviating neck discomfort of a motor vehicle occupant |
| US20190213429A1 (en) * | 2016-11-21 | 2019-07-11 | Roberto Sicconi | Method to analyze attention margin and to prevent inattentive and unsafe driving |
| US20200242421A1 (en) * | 2019-01-30 | 2020-07-30 | Cobalt Industries Inc. | Multi-sensor data fusion for automotive systems |
Non-Patent Citations (1)
| Title |
|---|
| ZEPF SEBASTIAN ET AL: "Towards Real-Time Detection and Mitigation of Driver Frustration using SVM", 2019 18TH IEEE INTERNATIONAL CONFERENCE ON MACHINE LEARNING AND APPLICATIONS (ICMLA), IEEE, 16 December 2019 (2019-12-16), pages 202 - 209, XP033719914, DOI: 10.1109/ICMLA.2019.00039 * |
Also Published As
| Publication number | Publication date |
|---|---|
| FR3137204B1 (fr) | 2024-08-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Irmak et al. | Objective and subjective responses to motion sickness: the group and the individual | |
| US9440657B1 (en) | Advanced vehicle operator intelligence system | |
| US9868352B1 (en) | Systems and methodologies for real-time driver gaze location determination and analysis utilizing computer vision technology | |
| CN110155072B (zh) | 防晕车方法和防晕车装置 | |
| US20030153846A1 (en) | Method of and an apparatus for measuring a person's ability to perform a motor control task | |
| JP7118136B2 (ja) | 搭乗者状態判定装置、警告出力制御装置及び搭乗者状態判定方法 | |
| KR20090091335A (ko) | 각성 상태 판정 모델 생성 장치, 각성 상태 판정 장치 및 경고 장치 | |
| EP3882097A1 (fr) | Techniques pour séparer l'émotion de conduite de l'émotion induite par les supports dans un système de surveillance de conducteur | |
| JP3480483B2 (ja) | 覚醒度推定装置 | |
| Omozik et al. | How long does it take to relax? Observation of driver behavior during real-world conditionally automated driving | |
| FR3137204A1 (fr) | Système électronique et procédé d’assistance d’un utilisateur d’un véhicule, programme d’ordinateur associé | |
| CN109620269B (zh) | 疲劳检测方法、装置、设备及可读存储介质 | |
| KR102233857B1 (ko) | 가상현실 장치의 사용으로 인한 사용자의 어지럼증을 정량화하여 평가하는 방법 및 장치 | |
| Lee et al. | Development of three driver state detection models from driving information using vehicle simulator; normal, drowsy and drunk driving | |
| KR20120068625A (ko) | 뇌파센서를 이용한 장애인용 드라이빙 시뮬레이터의 가감속 시스템 및 뇌파센서를 이용한 장애인용 차량의 가감속그 제어방법 | |
| Nooij et al. | Perception of rotation, path, and heading in circular trajectories | |
| Kundinger et al. | Towards a reliable ground truth for drowsiness: A complexity analysis on the example of driver fatigue | |
| WO2016202450A1 (fr) | Procédé pour commander un dispositif d'interface d'un véhicule à moteur | |
| FR3093577A1 (fr) | Procédé de détection préventive du mal des transports pour un occupant d’un véhicule, et véhicule associé | |
| EP3325936B1 (fr) | Procede et systeme de determination de la resistance aerodynamique d'un cycliste | |
| KR20190054356A (ko) | 가상현실 장치의 사용으로 인한 사용자의 어지럼증 또는 시각피로도를 정량화하여 평가하는 방법 및 장치 | |
| KR102490035B1 (ko) | 감정 상태 추정을 이용한 vr 시뮬레이터 제어 방법 | |
| JP6648788B1 (ja) | 運転制御調整装置および運転制御調整方法 | |
| CN109697413B (zh) | 基于头部姿态的人格分析方法、系统和存储介质 | |
| JP2023518407A (ja) | ユーザ適合したサービスをユーザに提供する技術 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PLFP | Fee payment |
Year of fee payment: 2 |
|
| PLSC | Publication of the preliminary search report |
Effective date: 20231229 |
|
| PLFP | Fee payment |
Year of fee payment: 3 |