FR3099610A1 - Dispositif d’evaluation d’emotion - Google Patents

Dispositif d’evaluation d’emotion Download PDF

Info

Publication number
FR3099610A1
FR3099610A1 FR2008036A FR2008036A FR3099610A1 FR 3099610 A1 FR3099610 A1 FR 3099610A1 FR 2008036 A FR2008036 A FR 2008036A FR 2008036 A FR2008036 A FR 2008036A FR 3099610 A1 FR3099610 A1 FR 3099610A1
Authority
FR
France
Prior art keywords
emotion
user
facial expression
event
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
FR2008036A
Other languages
English (en)
Other versions
FR3099610B1 (fr
Inventor
Minori YAMATAKA
Fumika Nakanishi
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Publication of FR3099610A1 publication Critical patent/FR3099610A1/fr
Application granted granted Critical
Publication of FR3099610B1 publication Critical patent/FR3099610B1/fr
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/04—Traffic conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W40/09—Driving style or behaviour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G06V40/176—Dynamic expression
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0872—Driver physiology
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00—Input parameters relating to overall vehicle dynamics
    • B60W2520/10—Longitudinal speed
    • B60W2520/105—Longitudinal acceleration
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/22—Psychological state; Stress level or workload
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/221—Physiology, e.g. weight, heartbeat, health or special needs
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/229—Attention level, e.g. attentive to driving, reading or sleeping
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/30—Driving style
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/406—Traffic density
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/80—Spatial relation or speed relative to objects
    • B60W2554/802—Longitudinal distance

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Automation & Control Theory (AREA)
  • Mathematical Physics (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
  • Image Analysis (AREA)
  • User Interface Of Digital Computer (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

La présente divulgation porte sur un dispositif d’évaluation d’émotion comprenant : une unité d’évaluation d’émotion (108) évaluant l’émotion d’un utilisateur comme étant une émotion associée à une valeur indicative d’une expression faciale d’un utilisateur entre (c’est-à-dire pour/pendant une période comprenant) une pluralité d’évènements consécutifs, en fonction d’une correspondance entre (A) la valeur indicative qui est (i) un score d’expression faciale de (c’est-à-dire représentant) l’expression faciale de l’utilisateur et/ou (ii) une quantité de caractéristique relative à un changement d’un tel score d’expression faciale et (B) l’expression faciale de l’utilisateur corrélée avec la pluralité d’évènements consécutifs. Figure à publier avec l’abrégé : Figure 2

Description

DISPOSITIF D’EVALUATION D’EMOTION
Domaine technique de l’invention
La présente divulgation porte, de manière générale, sur un dispositif d’évaluation d’émotion qui évalue une émotion d’un utilisateur.
Etat de la technique antérieure
On propose conventionnellement un procédé d’évaluation d’une émotion d’un utilisateur à l’aide d’un score d’expression faciale, qui est basé sur une pluralité de types d’expression faciale de l’utilisateur respectivement quantifiés sous forme de score.
Document brevet 1 : JP 2016-149063 A
Toutefois, une corrélation entre le score d’expression faciale de l’utilisateur et l’émotion de l’utilisateur peut parfois être faible, en raison du fait qu’il est difficile d’identifier l’émotion de l’utilisateur à partir de son expression faciale.
Dans le procédé d’évaluation d’émotion du Document brevet 1, l’émotion de l’utilisateur est évaluée uniquement en fonction de la corrélation entre le score d’expression faciale et l’émotion de l’utilisateur. Par conséquent, lorsque la corrélation entre le score d’expression faciale et l’émotion de l’utilisateur est faible, l’exactitude d’évaluation de l’émotion de l’utilisateur est altérée/réduite.
Présentation de l’invention
Un objet de la présente divulgation est de fournir un dispositif d’évaluation d’émotion apte à améliorer l’exactitude d’évaluation d’une émotion d’un utilisateur.
Selon un aspect de la présente divulgation, un dispositif d’évaluation d’émotion servant à évaluer une émotion d’un utilisateur à l’aide d’un score d’expression faciale, qui quantifie chacune d’une pluralité d’expressions faciales de l’utilisateur, comprend : une unité d’évaluation d’émotion évaluant l’émotion de l’utilisateur comme étant une émotion associée à une valeur indicative de chaque expression faciale de l’utilisateur entre ou pendant une période comprenant une pluralité d’évènements consécutifs, en fonction d’une correspondance entre (A) la valeur indicative qui est (i) un score d’expression faciale de chaque expression faciale de l’utilisateur entre de tels évènements (c’est-à-dire la pluralité d’évènements consécutifs) et/ou (ii) une quantité de caractéristique liée à un changement d’un tel score d’expression faciale et (B) l’émotion corrélée avec la pluralité d’évènements consécutifs.
Le dispositif d’évaluation d’émotion de la présente divulgation évalue l’émotion de l’utilisateur en fonction non seulement de la corrélation entre le score d’expression faciale et l’émotion de l’utilisateur, mais plutôt en fonction de la correspondance entre (A) la valeur indicative de chacune des expressions faciales de l’utilisateur entre (ou au cours d’une période comprenant) la pluralité d’évènements consécutifs et (B) l’émotion ou les émotions corrélée(s) avec la pluralité d’évènements consécutifs. Ainsi, même lorsque la corrélation entre le score d’expression faciale et l’émotion de l’utilisateur est faible, l’émotion de l’utilisateur peut tout de même être évaluée/évaluable avec une grande exactitude.
Selon un mode de réalisation, les évènements consécutifs sont : un évènement antérieur qui est un évènement d’environnement, et un évènement postérieur qui est un évènement normal,
un évènement d’environnement étant un évènement concernant l’environnement autour de l’utilisateur ou autour d’un véhicule de l’utilisateur, et
un évènement normal étant un évènement qui affecte directement et physiquement l’utilisateur.
Selon un mode de réalisation, (A) une règle d’évaluation d’émotion dans le dispositif associe :
(i) les évènements consécutifs,
(ii) la valeur indicative de chaque expression faciale de l’utilisateur entre les évènements consécutifs, et
(iii) l’émotion corrélée avec les évènements consécutifs, et
(B) l’unité d’évaluation d’émotion évalue l’émotion de l’utilisateur comme étant une émotion associée à la valeur indicative acquise de chaque expression faciale de l’utilisateur, en fonction de la règle d’évaluation d’émotion.
Selon un mode de réalisation, (A) la règle d’évaluation d’émotion associe les uns aux autres :
(i) les évènements consécutifs,
(ii) la valeur indicative de chaque expression faciale de l’utilisateur entre les évènements consécutifs, lorsqu’un évènement spécifique qui peut réduire l’exactitude d’évaluation d’une émotion de l’utilisateur évaluée par l’unité d’évaluation d’émotion ne s’est pas produit entre les évènements consécutifs, et
(iii) l’émotion corrélée avec les évènements consécutifs, et
(B) l’unité d’évaluation d’émotion, à la suite de la détermination que l’évènement spécifique ne s’est pas produit, évalue l’émotion de l’utilisateur comme étant l’émotion associée à la valeur indicative acquise de chaque expression faciale de l’utilisateur, en fonction de la règle d’évaluation d’émotion.
Selon un mode de réalisation,
(I) la règle d’évaluation d’émotion comprend
une première règle d’évaluation d’émotion qui associe les uns aux autres, à la suite de la détermination que l’évènement spécifique ne s’est pas produit entre les évènements consécutifs, (i) les évènements consécutifs, (ii) la valeur indicative de chaque expression faciale de l’utilisateur entre les évènements consécutifs, et (iii) l’émotion corrélée avec les évènements consécutifs, et
une seconde règle d’évaluation d’émotion qui associe les uns aux autres, à la suite de la détermination que l’évènement spécifique s’est produit entre les évènements consécutifs, (i) les évènements consécutifs, (ii) la valeur indicative de chaque expression faciale de l’utilisateur entre les évènements consécutifs, et (iii) l’émotion corrélée avec les évènements consécutifs, et
(II) l’unité d’évaluation d’émotion évalue l’émotion de l’utilisateur
comme étant une émotion associée à la valeur indicative de chaque expression faciale de l’utilisateur lorsque l’évènement spécifique ne s’est pas produit, en fonction de la première règle d’évaluation d’émotion, et
comme étant une émotion associée à la valeur indicative de chaque expression faciale de l’utilisateur lorsque l’évènement spécifique s’est produit, en fonction de la seconde règle d’évaluation d’émotion.
Selon un mode de réalisation, la règle d’évaluation d’émotion est préparée pour chaque utilisateur, et
l’unité d’évaluation d’émotion évalue l’émotion de l’utilisateur comme étant une émotion qui est associée à la valeur indicative acquise de chaque expression faciale de l’utilisateur en fonction de la règle d’évaluation d’émotion de l’utilisateur qui est identifié par des informations d’identification d’utilisateur.
Selon un mode de réalisation, le dispositif d’évaluation d’émotion comprend en outre :
un modèle d’évaluation d’émotion qui est entraîné en utilisant, comme données d’apprentissage, (A) une valeur indicative de chaque expression faciale de l’utilisateur entre les évènements consécutifs, et (B) une valeur indiquant une émotion qui est corrélée avec les évènements consécutifs, et
l’unité d’évaluation d’émotion évalue l’émotion de l’utilisateur en fonction de la valeur indiquant l’émotion qui est produite par le modèle d’évaluation d’émotion, après l’introduction dans celui-ci de la valeur indicative de chaque expression faciale de l’utilisateur.
Selon un mode de réalisation, le modèle d’évaluation d’émotion est entraîné, lorsqu’un évènement spécifique qui peut réduire l’exactitude d’évaluation d’émotion ne s’est pas produit entre les évènements consécutifs, en utilisant, comme données d’apprentissage, (A) la valeur indicative de chaque expression faciale de l’utilisateur entre la pluralité d’évènements consécutifs, et (B) la valeur indiquant l’émotion qui est corrélée avec la pluralité d’évènements consécutifs, et
l’unité d’évaluation d’émotion évalue l’émotion de l’utilisateur, lorsque l’évènement spécifique ne s’est pas produit, en fonction de la valeur indiquant l’émotion qui est produite par le modèle d’évaluation d’émotion, après l’introduction dans celui-ci de la valeur indicative de chaque expression faciale de l’utilisateur acquis lorsque l’évènement spécifique ne s’est pas produit.
Selon un mode de réalisation, (I) le modèle d’évaluation d’émotion comprend :
un premier modèle d’évaluation d’émotion entraîné en utilisant, comme données d’apprentissage, (A) la valeur indicative de chaque expression faciale de l’utilisateur entre les évènements consécutifs, et (B) la valeur indiquant l’émotion qui est corrélée avec les évènements consécutifs, lorsqu’un évènement spécifique qui peut réduire l’exactitude d’évaluation d’émotion ne s’est pas produit entre les évènements consécutifs, et
un second modèle d’évaluation d’émotion entraîné en utilisant, comme données d’apprentissage, (A) la valeur indicative de chaque expression faciale de l’utilisateur entre les évènements consécutifs, et (B) la valeur indiquant l’émotion qui est corrélée avec ces évènements, lorsque l’évènement spécifique s’est produit entre les évènements consécutifs, et
(II) l’unité d’évaluation d’émotion évalue l’émotion de l’utilisateur
comme étant une émotion correspondant à la valeur indiquant l’émotion qui est produite par le premier modèle d’évaluation d’émotion, après l’introduction dans celui-ci de la valeur indicative de chaque expression faciale de l’utilisateur acquise lorsque l’évènement spécifique ne s’est pas produit, et
comme étant l’émotion correspondant à la valeur indiquant l’émotion qui est produite par le second modèle d’évaluation d’émotion en introduisant dans celui-ci (= le second modèle) la valeur indicative de chaque expression faciale de l’utilisateur acquise lorsque l’évènement spécifique s’est produit.
Selon un mode de réalisation, le modèle d’évaluation d’émotion est préparé/fourni pour chaque utilisateur, et
l’unité d’évaluation d’émotion évalue l’émotion de l’utilisateur en fonction d’une valeur indiquant une émotion, qui est une valeur produite par le modèle d’évaluation d’émotion après l’introduction, dans le modèle d’évaluation d’émotion de l’utilisateur qui est identifié par des informations d’identification d’utilisateur, de la valeur indicative acquise du score d’expression faciale de chaque expression faciale de l’utilisateur.
Selon un mode de réalisation, l’évènement spécifique est un évènement indiquant un état de somnolence de l’utilisateur ou un évènement indiquant que l’utilisateur participe à une conversation.
L’invention concerne un dispositif d’évaluation d’émotion servant à évaluer une émotion d’un utilisateur, le dispositif d’évaluation d’émotion comprenant :
une unité d’enregistrement de tableau de données accumulées ;
au moins un processeur ; et
au moins un dispositif de mémoire non volatile,
le dispositif d’évaluation d’émotion étant configuré pour :
déterminer si un évènement présent s’est produit,
enregistrer l’évènement présent, à la suite de la détermination que l’évènement présent s’est produit, dans un registre ;
déterminer si l’évènement présent et/ou un évènement précédent sont un évènement spécifique, où :
l’évènement spécifique est un type d’évènement qui a tendance à réduire l’exactitude d’évaluation d’émotion,
l’évènement précédent est défini comme un évènement antérieur, et
l’évènement présent est défini comme un évènement postérieur, par rapport à l’évènement précédent ;
acquérir des premières informations de score d’expression faciale, pour un premier type d’expression faciale, sur une première période allant de l’évènement antérieur à l’évènement postérieur ;
calculer une première quantité de changement et un premier temps de changement pour le premier score d’expression faciale, le premier temps de changement étant délimité par un premier moment de début et un premier moment de fin, le premier temps de changement définissant une première région de temps comprenant un changement considérable du premier score d’expression faciale, et le premier temps de changement étant inférieur à la première période ;
enregistrer une valeur maximale et une valeur minimale du premier score d’expression faciale ;
actualiser un tableau d’évaluation émotionnelle ; et
évaluer l’émotion de l’utilisateur.
Selon un mode de réalisation, le dispositif d’évaluation d’émotion est configuré en outre pour :
acquérir des secondes informations de score d’expression faciale, pour un second type d’expression faciale, sur la première période allant de l’évènement antérieur à l’évènement postérieur ;
calculer une seconde quantité de changement et un second temps de changement pour le second score d’expression faciale, le second temps de changement étant délimité par un second moment de début et un second moment de fin, le second temps de changement définissant une seconde région de temps comprenant un changement considérable du second score d’expression faciale, et le second temps de changement étant inférieur à la première période ;
enregistrer une valeur maximale et une valeur minimale du second score d’expression faciale ;
actualiser le tableau d’évaluation émotionnelle ; et
évaluer l’émotion de l’utilisateur.
Selon un mode de réalisation du dispositif d’évaluation d’émotion
une première expression faciale, associée au premier score d’expression faciale, est une expression de joie,
une seconde expression faciale, associée au second score d’expression faciale, est une expression de mécontentement,
l’évènement antérieur est un encombrement de la circulation, et
l’évènement postérieur est l’un de : une accélération importante et un freinage important.
Brève description des figures
La description détaillée qui suit, qui fait référence aux dessins joints, rendra les objets, caractéristiques et avantages de la présente divulgation mentionnés ci-dessus, ainsi que d’autres, plus apparents. Dans les dessins :
est un schéma d’un système d’évaluation d’émotion selon un premier mode de réalisation de la présente divulgation ;
est un schéma d’une configuration d’un dispositif d’évaluation d’émotion selon le premier mode de réalisation ;
est un schéma d’un exemple de changements de scores d’expression faciale ;
est un schéma d’un exemple d’un tableau de données accumulées selon le premier mode de réalisation ;
est un schéma d’un autre exemple du tableau de données accumulées selon le premier mode de réalisation ;
est un schéma d’un exemple d’un tableau d’évaluation d’émotion selon le premier mode de réalisation ;
est un schéma d’un autre exemple du tableau d’évaluation d’émotion selon le premier mode de réalisation ;
est un organigramme d’un exemple de traitement effectué par le dispositif d’évaluation d’émotion selon le premier mode de réalisation ;
est un organigramme d’un autre exemple de traitement effectué par le dispositif d’évaluation d’émotion selon le premier mode de réalisation ;
est un organigramme d’un exemple de traitement effectué par le dispositif d’évaluation d’émotion selon un deuxième mode de réalisation ;
est un organigramme d’un autre exemple de traitement effectué par le dispositif d’évaluation d’émotion selon le deuxième mode de réalisation ;
est un schéma d’une configuration du dispositif d’évaluation d’émotion selon un troisième mode de réalisation ;
est un schéma d’une corrélation entre deux évènements consécutifs et une émotion d’utilisateur ;
est un organigramme d’un exemple de traitement effectué par le dispositif d’évaluation d’émotion selon le troisième mode de réalisation ;
est un organigramme d’un autre exemple de traitement effectué par le dispositif d’évaluation d’émotion selon le troisième mode de réalisation ;
est un organigramme d’un exemple de traitement effectué par le dispositif d’évaluation d’émotion selon un quatrième mode de réalisation ; et
est un organigramme d’un autre exemple de traitement effectué par le dispositif d’évaluation d’émotion selon le quatrième mode de réalisation.
Description détaillée de l’invention
Premier mode de réalisation
Ci-après, un premier mode de réalisation de la présente divulgation est décrit en référence aux dessins. Comme illustré sur la , un système d’évaluation d’émotion 1 selon le premier mode de réalisation comprend un dispositif d’évaluation d’émotion 10, un capteur 20, un dispositif de prise d’image 30, un dispositif d’acquisition d’informations d’encombrement 40, un capteur de distance 50, un dispositif d’acquisition d’informations de position 60, un dispositif de surveillance d’état 70 et un dispositif d’acquisition d’informations biométriques 80.
Le dispositif d’évaluation d’émotion 10 est un dispositif qui évalue une émotion d’un utilisateur qui est le sujet de l’évaluation d’émotion. Le dispositif d’évaluation d’émotion 10 comprend un microcontrôleur, divers circuits électroniques et une interface de communication.
Le microcontrôleur est un dispositif qui commande le fonctionnement du dispositif d’évaluation d’émotion 10, et comprend un dispositif de calcul, un dispositif de mémoire volatile et un dispositif de mémoire non volatile. Le dispositif de calcul est un dispositif tel qu’une unité centrale ou un processeur graphique apte à exécuter divers programmes. Le dispositif de calcul exécute un procédé d’évaluation d’émotion de la présente divulgation en exécutant un programme mis en mémoire dans un dispositif de mémoire non volatile.
L’interface de communication est une interface permettant l’envoi et la réception de divers types de données entre le capteur 20, le dispositif de prise d’image 30, le dispositif d’acquisition d’informations d’encombrement 40, le capteur de distance 50, le dispositif d’acquisition d’informations de position 60, le dispositif de surveillance d’état 70 et le dispositif d’acquisition d’informations biométriques 80.
Le capteur 20 est un dispositif de détection qui détecte diverses opérations effectuées par l’utilisateur sur un véhicule et transmet un signal ou des signaux indiquant les opérations par le biais d’un réseau local à l’intérieur du véhicule. Des exemples spécifiques du capteur 20 comprennent un capteur qui détecte un démarrage d’une source d’entraînement du véhicule (c’est-à-dire un moteur et un moteur électrique, etc.), un capteur qui détecte une quantité d’actionnement d’une pédale d’accélérateur, un capteur qui détecte une quantité d’actionnement d’une pédale de frein, un capteur qui détecte une quantité d’une opération de braquage, et similaires. Le capteur 20 envoie des signaux de commande à un réseau local à l’intérieur du véhicule, comprenant un signal de commande indiquant le démarrage de la source d’entraînement, un signal de commande indiquant une accélération du véhicule et la quantité correspondante, un signal de commande indiquant un freinage et la quantité correspondante, un signal de commande indiquant l’actionnement d’un volant de direction et la quantité correspondante, et similaires, respectivement selon les opérations de l’utilisateur.
Le dispositif de prise d’image 30 est un dispositif qui prend une image d’un environnement du véhicule à bord duquel se trouve l’utilisateur. Lorsque le dispositif de prise d’image 30 prend une image de l’environnement du véhicule et génère une image prise, le dispositif de prise d’image 30 fournit l’image prise au dispositif d’évaluation d’émotion 10.
Le dispositif d’acquisition d’informations d’encombrement 40 est un dispositif qui acquiert des informations d’encombrement de la circulation concernant une voie de circulation du véhicule à bord duquel se trouve l’utilisateur. Le dispositif d’acquisition d’informations d’encombrement 40 peut acquérir des informations d’encombrement de la circulation auprès d’un dispositif de fourniture d’informations d’encombrement de la circulation installé sur une route ou un accotement, par exemple, par le biais d’une communication sans fil. Lorsque le dispositif d’acquisition d’informations d’encombrement 40 acquiert les informations d’encombrement, le dispositif d’acquisition d’informations d’encombrement 40 fournit les informations d’encombrement au dispositif d’évaluation d’émotion 10.
Le capteur de distance 50 est un dispositif qui mesure une distance inter-véhicules entre un véhicule à bord duquel se trouve l’utilisateur et un véhicule situé devant ledit véhicule (c’est-à-dire un véhicule précédent). Le capteur de distance 50 est installé dans le véhicule à duquel se trouve l’utilisateur. Le capteur de distance 50 peut mesurer une distance inter-véhicules par rapport à un véhicule situé devant en émettant une onde exploratrice telle que des rayons infrarouges ou des ondes millimétriques et en analysant une onde réfléchie. Lorsque le capteur de distance 50 mesure la distance inter-véhicules par rapport au véhicule précédent, le capteur de distance 50 fournit au dispositif d’évaluation d’émotion 10 des informations indiquant la distance inter-véhicules.
Le dispositif d’acquisition d’informations de position 60 est un dispositif qui calcule des informations de position du véhicule à bord duquel se trouve l’utilisateur. Le dispositif d’acquisition d’informations de position 60 peut calculer une position actuelle du véhicule à partir de signaux de positionnement fournis par une pluralité de satellites de positionnement d’un GNSS (de l’anglaisGlobal Navigation Satellite System, soit système mondial de navigation par satellite). Le dispositif d’acquisition d’informations de position 60 fournit au dispositif d’évaluation d’émotion 10 des informations de position actuelle indiquant la position actuelle du véhicule.
Le dispositif de surveillance d’état 70 est un dispositif qui prend une image d’un visage de l’utilisateur et analyse l’image prise. Le dispositif de surveillance d’état 70 est installé à un emplacement auquel une image du visage de l’utilisateur peut être prise tandis que l’utilisateur est assis dans un siège de conducteur. Lorsque le dispositif de surveillance d’état 70 prend une image de l’utilisateur et génère une image prise, le dispositif de surveillance d’état 70 fournit l’image prise au dispositif d’évaluation d’émotion 10.
En outre, le dispositif de surveillance d’état 70 peut identifier un utilisateur en établissant une correspondance entre l’image prise et une image prise de l’utilisateur acquise auparavant. Le dispositif de surveillance d’état 70 envoie des informations d’identification de l’utilisateur identifié au dispositif d’évaluation d’émotion 10.
En outre, le dispositif de surveillance d’état 70 compare une image prise d’un siège de conducteur inoccupé (appelée « image de référence » ou « image de siège inoccupé ») avec l’image prise actuelle et, lorsque ces images sont différentes l’une de l’autre, le dispositif de surveillance d’état 70 envoie un évènement indiquant que l’utilisateur est assis dans le siège du conducteur au dispositif d’évaluation d’émotion 10.
En outre, le dispositif de surveillance d’état 70 peut analyser l’image prise et calculer un degré d’ouverture de paupière de l’utilisateur. Le dispositif de surveillance d’état 70 envoie des informations indiquant le degré d’ouverture de paupière de l’utilisateur au dispositif d’évaluation d’émotion 10.
En outre, le dispositif de surveillance d’état 70 analyse l’image prise afin de déterminer si une bouche de l’utilisateur s’ouvre et se ferme et, lorsque la bouche de l’utilisateur s’ouvre et se ferme, le dispositif de surveillance d’état 70 envoie un évènement indiquant que la bouche de l’utilisateur s’ouvre et se ferme au dispositif d’évaluation d’émotion 10.
Le dispositif d’acquisition d’informations biométriques 80 est un dispositif qui acquiert des informations biométriques. On peut mentionner, comme exemple spécifique du dispositif d’acquisition d’informations biométriques 80, un dispositif pouvant être porté sur soi ou similaire que l’utilisateur peut porter sur lui. Par exemple, le dispositif d’acquisition d’informations biométriques 80 acquiert une onde de pouls indiquant un changement du flux sanguin ou un changement du volume vasculaire provoqué par les pulsations du cœur de l’utilisateur, et fournit au dispositif d’évaluation d’émotion 10 un signal d’onde de pouls indiquant l’onde de pouls.
Ci-après, la fonction du dispositif d’évaluation d’émotion 10 est décrite en référence à la . Le dispositif d’évaluation d’émotion 10 comprend une unité d’enregistrement d’informations d’identification 100, une unité de calcul de score d’expression faciale 101, une unité de détection d’évènement 102, une unité d’enregistrement d’évènements 103, une unité de détermination d’évènement 104, une unité de calcul de quantité de caractéristique 105, une unité d’enregistrement de tableau de données accumulées 106, une unité d’actualisation de tableau d’évaluation d’émotion 107, une unité d’évaluation d’émotion 108 et un dispositif de mémoire 109.
L’unité d’enregistrement d’informations d’identification 100 est une unité fonctionnelle qui enregistre des informations d’identification de l’utilisateur. Lorsque l’unité d’enregistrement d’informations d’identification 100 reçoit les informations d’identification de l’utilisateur de la part du dispositif de surveillance d’état 70, l’unité d’enregistrement d’informations d’identification 100 met les informations d’identification en mémoire dans le dispositif de mémoire 109.
L’unité de calcul de score d’expression faciale 101 est une unité fonctionnelle qui calcule un score d’expression faciale de l’utilisateur à partir de l’image prise fournie par le dispositif de surveillance d’état 70 et l’enregistre dans une base de données de scores d’expression faciale 111 dans le dispositif de mémoire 109. Par exemple, comme expression faciale représentée par le score d’expression faciale, sept types des expressions faciales de Paul Ekman, à savoir neutre, colère, peur, surprise, joie, tristesse et mécontentement, peuvent être adoptés.
Plus spécifiquement, l’unité de calcul de score d’expression faciale 101 calcule une quantité de caractéristique liée à une position relative ou une forme d’une partie du visage en fonction d’informations de position de la partie du visage de l’utilisateur. Comme quantité de caractéristique, une quantité de caractéristique pseudo-Haar, une distance de point de caractéristique, un descripteur de Fourier, etc. peuvent être employés. L’unité de calcul de score d’expression faciale 101 introduit ensuite la quantité de caractéristique calculée dans un modèle de calcul de score d’expression faciale (non illustré) pour chacune de diverses expressions faciales, et acquiert le score d’expression faciale pour chacune des diverses expressions faciales par le biais de ce modèle de calcul de score d’expression faciale. Le modèle de calcul de score d’expression faciale peut être entraîné en utilisant des images de visages de nombreuses personnes sur la base de divers algorithmes d’apprentissage automatique.
L’unité de calcul de score d’expression faciale 101 calcule ensuite le score d’expression faciale de telle sorte que le total des scores d’expression faciale des expressions faciales produits par le modèle de calcul de score d’expression faciale prenne la valeur 100. L’unité de calcul de score d’expression faciale 101 enregistre le score d’expression faciale de l’utilisateur ainsi calculé et une heure de génération du score d’expression faciale en association l’un avec l’autre dans la base de données de scores d’expression faciale 111.
L’unité de détection d’évènement 102 est une unité fonctionnelle qui détecte un évènement lié à l’utilisateur. L’évènement comprend un évènement spécifique qui peut réduire une exactitude de l’évaluation d’émotion de l’utilisateur et un évènement normal autre que l’évènement spécifique. L’évènement spécifique est, par exemple, un évènement indiquant un état de somnolence de l’utilisateur (appelé ci-après « évènement de somnolence »), un évènement indiquant que l’utilisateur participe à une conversation avec une ou plusieurs autre(s) personne(s) (appelé ci-après « évènement de conversation »), et similaires.
L’évènement normal comprend (1) un évènement provoqué par ou affectant l’utilisateur et (2) un évènement lié à l’environnement de l’utilisateur. L’évènement provoqué par l’utilisateur comprend un évènement provoqué par des opérations effectuées au niveau du véhicule à bord duquel se trouve l’utilisateur, un évènement provoqué par l’état de l’utilisateur, et similaires.
L’évènement provoqué par des opérations effectuées au niveau du véhicule comprend un évènement indiquant le démarrage de la source d’entraînement du véhicule, un évènement indiquant une accélération vive du véhicule, un évènement indiquant un freinage vif, un évènement indiquant un braquage vif, et similaires. L’unité de détection d’évènement 102 surveille des signaux de commande envoyés par le capteur 20 et, lors de la détection des signaux de commande liés à ces évènements, l’unité de détection d’évènement 102 peut déterminer qu’un tel évènement s’est produit.
En outre, l’évènement provoqué par des opérations effectuées au niveau du véhicule comprend un évènement indiquant une diminution rapide d’une distance inter-véhicules entre le véhicule de l’utilisateur et le véhicule précédent. L’unité de détection d’évènement 102 peut déterminer qu’un évènement indiquant une diminution rapide de la distance inter-véhicules s’est produit lorsqu’un rythme de diminution de la distance inter-véhicules par rapport au véhicule précédent fournie par le capteur de distance 50 est égal ou supérieur à une valeur seuil prédéterminée, qui indique une diminution rapide de la distance inter-véhicules.
Les évènements provoqués par l’état de l’utilisateur comprennent un évènement indiquant une augmentation ou une diminution de la fréquence cardiaque, un évènement indiquant une augmentation ou une diminution d’une valeur intégrée BF qui est une valeur intégrée d’une composante de basse fréquence en fonction de variabilité de la fréquence cardiaque, et un évènement indiquant une augmentation ou une diminution d’une valeur intégrée HF qui est une valeur intégrée d’une composante de haute fréquence en fonction de la variabilité de la fréquence cardiaque.
L’unité de détection d’évènement 102 utilise le signal d’onde de pouls fourni par le dispositif d’acquisition d’informations biométriques 80 pour mesurer la fréquence cardiaque sur une pluralité de périodes et comparer les fréquences cardiaques. L’unité de détection d’évènement 102 peut déterminer qu’un évènement indiquant une augmentation de la fréquence cardiaque s’est produit lorsqu’un rythme d’augmentation de la fréquence cardiaque est égal ou supérieur à une valeur seuil prédéterminée. La valeur seuil peut être un rythme d’augmentation de la fréquence cardiaque provoqué par le changement d’émotion de l’utilisateur.
En outre, l’unité de détection d’évènement 102 peut déterminer qu’un évènement indiquant une diminution de la fréquence cardiaque s’est produit lorsqu’un rythme de diminution de la fréquence cardiaque est égal ou supérieur à une valeur seuil prédéterminée. La valeur seuil peut être un rythme de diminution de la fréquence cardiaque provoqué par un changement d’émotion de l’utilisateur.
En outre, l’unité de détection d’évènement 102 utilise le signal d’onde de pouls pour calculer l’intervalle entre battements du cœur sur une période prédéterminée (par exemple, 1 minute). L’unité de détection d’évènement 102 peut ensuite calculer la valeur intégrée BF et la valeur intégrée HF en appliquant une transformée de Fourier rapide à l’intervalle entre battements du cœur calculé et en intégrant la composante BF et la composante HF des données de fréquence acquises. L’unité de détection d’évènement 102 calcule une valeur intégrée BF et une valeur intégrée HF pour une pluralité de périodes, et l’unité de détection d’évènement 102 peut déterminer si un évènement indiquant une augmentation ou une diminution de la valeur intégrée BF et de la valeur intégrée HF s’est, ou non, produit en comparant la valeur intégrée BF et la valeur intégrée HF.
Plus spécifiquement, l’unité de détection d’évènement 102 peut déterminer qu’un évènement indiquant une augmentation de la valeur intégrée BF s’est produit lorsque le rythme d’augmentation de la valeur intégrée BF est égal ou supérieur à une valeur seuil prédéterminée. La valeur seuil, dans un tel cas, peut être un rythme d’augmentation de la valeur intégrée BF provoqué par un changement d’émotion de l’utilisateur.
En outre, l’unité de détection d’évènement 102 peut déterminer qu’un évènement indiquant une diminution de la valeur intégrée BF s’est produit lorsque le rythme de diminution de la valeur intégrée BF est égal ou supérieur à une valeur seuil prédéterminée. La valeur seuil, dans un tel cas, peut être un rythme de diminution de la valeur intégrée BF provoqué par un changement d’émotion de l’utilisateur.
En outre, l’unité de détection d’évènement 102 peut déterminer qu’un évènement indiquant une augmentation de la valeur intégrée HF s’est produit lorsque le rythme d’augmentation de la valeur intégrée HF est égal ou supérieur à une valeur seuil prédéterminée. La valeur seuil, dans un tel cas, peut être un rythme d’augmentation de la valeur intégrée HF provoqué par un changement d’émotion de l’utilisateur.
En outre, l’unité de détection d’évènement 102 peut déterminer qu’un évènement indiquant une diminution de la valeur intégrée HF s’est produit lorsque le rythme de diminution de la valeur intégrée HF est égal ou supérieur à une valeur seuil prédéterminée. La valeur seuil, dans un tel cas, peut être un rythme de diminution de la valeur intégrée HF provoqué par un changement d’émotion de l’utilisateur.
En outre, les évènements provoqués par l’état de l’utilisateur comprennent un évènement indiquant que l’utilisateur s’installe dans le siège du conducteur, un évènement de somnolence, un évènement de conversation, et similaires.
Par exemple, lorsque l’unité de détection d’évènement 102 reçoit un évènement indiquant que l’utilisateur s’installe dans le siège du conducteur de la part du dispositif de surveillance d’état 70, l’unité de détection d’évènement 102 peut déterminer qu’un évènement indiquant que l’utilisateur est monté à bord s’est produit.
En outre, lorsque l’unité de détection d’évènement 102 analyse les informations indiquant le degré d’ouverture de paupière de l’utilisateur fournies par le dispositif de surveillance d’état 70 et que l’analyse indique que le degré d’ouverture de paupière de l’utilisateur est égal ou inférieur à une valeur seuil prédéterminée (par exemple, 50 %) pendant une période prédéterminée (par exemple, 30 secondes), il peut être déterminé qu’un évènement de somnolence s’est produit.
En outre, lorsque l’unité de détection d’évènement 102 compte le nombre de réceptions de l’évènement indiquant que la bouche de l’utilisateur s’est ouverte et s’est fermée provenant du dispositif de surveillance d’état 70 et que le nombre de réceptions d’un tel évènement sur une période prédéterminée (par exemple, 10 secondes) dépasse une valeur seuil prédéterminée (par exemple, 10 fois), il peut être déterminé qu’un évènement de conversation s’est produit.
L’évènement lié à l’environnement de l’utilisateur comprend un évènement indiquant une augmentation du volume de circulation autour du véhicule de l’utilisateur, un évènement indiquant un encombrement de la circulation autour du véhicule de l’utilisateur, un évènement indiquant une interruption (c’est-à-dire une queue de poisson) par un autre véhicule, et similaires. L’unité de détection d’évènement 102 peut analyser les images prises fournies par le dispositif de prise d’image 30 et déterminer si ces évènements se sont, ou non, produits.
En outre, l’évènement lié à l’environnement de l’utilisateur comprend un évènement indiquant que le véhicule de l’utilisateur est situé près d’un point d’intégration ou d’un point de bifurcation des voies de circulation. L’unité de détection d’évènement 102 analyse les informations de position actuelle fournies par le dispositif d’acquisition d’informations de position 60 et les informations de position du point d’intégration ou du point de bifurcation mémorisées auparavant dans le dispositif de mémoire 109, et détermine si un tel évènement s’est, ou non, produit.
L’unité d’enregistrement d’évènements 103 est une unité fonctionnelle qui enregistre divers évènements détectés par l’unité de détection d’évènement 102 dans un registre d’évènements 112 dans le dispositif de mémoire 109. L’unité d’enregistrement d’évènements 103 enregistre, en association, une heure de survenue de l’évènement et des informations indiquant le type de l’évènement.
L’unité de détermination d’évènement 104 est une unité fonctionnelle qui consulte le registre d’évènements 112 dans le dispositif de mémoire 109 et détermine si un évènement spécifique qui peut réduire l’exactitude de l’évaluation d’émotion de l’utilisateur s’est, ou non, produit. Par exemple, lorsque l’utilisateur somnole, le score d’expression faciale peut ne pas être calculé de manière exacte car il se peut que le degré d’ouverture de paupière de l’utilisateur diminue. De plus, lorsque l’utilisateur participe à une conversation, le score d’expression faciale peut ne pas être calculé de manière exacte car la bouche de l’utilisateur est ouverte. Par conséquent, lorsqu’un évènement de somnolence ou un évènement de conversation se produit, le score d’expression faciale peut ne pas être calculé de manière exacte, et il se peut que l’exactitude de l’évaluation d’émotion de l’utilisateur soit réduite.
L’unité de calcul de quantité de caractéristique 105 est une unité fonctionnelle qui calcule la quantité de caractéristique du score d’expression faciale en utilisant le score d’expression faciale de chacune des expressions faciales de l’utilisateur enregistrées dans la base de données de scores d’expression faciale 111 dans le dispositif de mémoire 109. Dans le présent mode de réalisation, l’unité de calcul de quantité de caractéristique 105 peut calculer la quantité de changement et le temps de changement du score d’expression faciale comme quantité de caractéristique pour sept types des expressions faciales. L’unité de calcul de quantité de caractéristique 105 peut calculer une tendance de changement en fonction de la quantité de changement et du temps de changement du score d’expression faciale comme quantité de caractéristique.
La illustre un changement du score d’expression faciale de l’utilisateur entre (i) un évènement antérieur, qui est un évènement indiquant un encombrement de la circulation et (ii) un évènement survenant immédiatement après, qui est un évènement indiquant une accélération vive ou un freinage vif. Dans cet exemple, le score d’expression faciale indiquant la joie diminue après un évènement indiquant un encombrement de la circulation, puis le score d’expression faciale indiquant un mécontentement augmente.
Le temps de changement est un temps entre le moment de début et le moment de fin du changement du score d’expression faciale. Le moment de début et le moment de fin du changement du score d’expression faciale peuvent être le moment où une valeur différentielle indiquant la tendance du changement du score d’expression faciale devient égale ou supérieure à une valeur seuil prédéterminée. La quantité de changement du score d’expression faciale est une différence entre la valeur maximale et la valeur minimale du score d’expression faciale pendant le temps de changement.
L’unité d’enregistrement de tableau de données accumulées 106 est une unité fonctionnelle qui (i) associe la valeur maximale et la valeur minimale du score d’expression faciale de chacune des expressions faciales pour chaque utilisateur et la quantité de changement et le temps de changement du score d’expression faciale de chacune des expressions faciales avec les évènements liés à celles-ci, et (ii) les enregistre dans le tableau de données accumulées 113 dans le dispositif de mémoire 109. Les et 5 montrent un exemple du tableau de données accumulées 113. Dans le tableau de données accumulées présenté sur les et 5, les informations d’identification de l’utilisateur, deux évènements consécutifs, et les valeurs maximale et minimale du score d’expression faciale de chacune des expressions faciales acquises pendant une période entre ces deux évènements, et la quantité de changement et le temps de changement basés sur le score d’expression faciale sont enregistrés en association les uns avec les autres. Dans les et 5, les tableaux de données accumulées 113 sont présentés sur des dessins distincts, mais ces deux tableaux de données accumulées 113 présentés séparément sur les et 5 forment en réalité un seul tableau de données accumulées 113.
L’unité d’actualisation de tableau d’évaluation d’émotion 107 est une unité fonctionnelle qui actualise un tableau d’évaluation d’émotion 114 généré dans le dispositif de mémoire 109 pour chaque utilisateur. Ici, le tableau d’évaluation d’émotion est un tableau qui exprime des règles pour la conversion de scores d’expression faciale en émotions. Le tableau d’évaluation d’émotion correspond à une règle d’évaluation d’émotion. Les et 7 montrent un exemple du tableau d’évaluation d’émotion 114 d’un certain utilisateur. Le tableau d’évaluation d’émotion 114 présenté sur les et 7 enregistre, en association les uns avec les autres, (i) deux évènements consécutifs, (ii) les scores d’expression faciale maximal et minimal de chacune des expressions faciales de l’utilisateur entre ces deux évènements, (iii) la valeur maximale et la valeur minimale du temps de changement (le moment de début et le moment de fin entre lesquels le changement se produit, voir la ) en fonction des scores d’expression faciale, et (iv) l’émotion de l’utilisateur ayant une corrélation avec ces deux évènements. En variante, la valeur maximale et la valeur minimale peuvent être définies au moment de début et au moment de fin d’une transition (comme illustré sur la ). Il est à noter que, sur les et 7, le tableau d’évaluation d’émotion 114 est présenté sur des dessins distincts, mais ces deux tableaux d’évaluation d’émotion 114 présentés séparément sur les et 7 forment en réalité un seul tableau d’évaluation d’émotion 114. En d’autres termes, une partie des données pour l’utilisateur B commence en bas de la (freinage vif), et continue sur la (embarquement, etc.).
Chaque évènement enregistré dans le tableau d’évaluation d’émotion 114 est : (i) un évènement normal, c’est-à-dire un évènement provoqué par l’utilisateur ou (ii) un évènement d’environnement lié à l’environnement de l’utilisateur. Par exemple, lorsque l’évènement antérieur est un évènement indiquant un encombrement de la circulation (un évènement d’environnement) et l’évènement postérieur est un évènement indiquant (a) une accélération vive, ou (b) un freinage vif du véhicule, ou (c) une augmentation de la fréquence cardiaque de l’utilisateur, ou une augmentation de la valeur intégrée BF de la fréquence cardiaque (évènements normaux), l’émotion de l’utilisateur peut être enregistrée comme « irritation » en association avec ces évènements. Lorsque l’évènement antérieur est un évènement indiquant un freinage vif et l’évènement postérieur est un évènement indiquant (a) une diminution de la fréquence cardiaque ou (b) une augmentation de la valeur intégrée HF, « confort » est enregistré en association avec ces évènements comme émotion de l’utilisateur. Comme décrit ci-dessus, les émotions de l’utilisateur enregistrées dans le tableau d’évaluation d’émotion 114 ne sont pas limitées aux émotions représentées par les sept types d’expressions faciales, et diverses émotions qui peuvent être générées par les deux évènements consécutifs peuvent être adoptées. La montre un exemple dans lequel l’évènement antérieur est un évènement d’environnement, et l’évènement postérieur est un évènement normal.
L’unité d’évaluation d’émotion 108 est une unité fonctionnelle qui évalue l’émotion de l’utilisateur en utilisant une valeur indicative qui est (i) le score d’expression faciale de chaque expression faciale (tel qu’un score de joie et un score de mécontentement) de l’utilisateur et/ou (ii) la quantité de caractéristique d’un tel score d’expression faciale. Plus spécifiquement, l’unité d’évaluation d’émotion 108 peut acquérir une pluralité de scores d’expression faciale (pour chacune de multiples émotions) de l’utilisateur sur une période prédéterminée dans une base de données de scores d’expression faciale 111 et peut calculer une valeur moyenne de ces scores d’expression faciale. Il peut être préférable que la période prédéterminée soit égale ou supérieure à un temps qui permet généralement un changement du score d’expression faciale selon le changement d’émotion de l’utilisateur.
L’unité de calcul de quantité de caractéristique 105 calcule ensuite la quantité de caractéristique du score d’expression faciale pour chaque expression faciale. Puis l’unité d’évaluation d’émotion 108 identifie un enregistrement dans le tableau d’évaluation d’émotion 114 auquel correspond(ent) (i) une valeur moyenne des scores d’expression faciale de chacune des expressions faciales et/ou (ii) la quantité de caractéristique du score d’expression faciale, et l’émotion associée à l’enregistrement identifié peut ensuite être évaluée comme étant l’émotion de l’utilisateur.
Il est à noter que, lorsqu’une pluralité d’enregistrements sont identifiés, l’unité d’évaluation d’émotion 108 peut évaluer l’émotion de l’utilisateur comme étant un mélange d’émotions individuelles/respectives associées à chacun des enregistrements identifiés. En outre ou en variante, l’unité d’évaluation d’émotion 108 peut évaluer l’émotion individuelle respectivement associée à chacun des enregistrements comme étant l’émotion de l’utilisateur. Dans un tel cas, l’unité d’évaluation d’émotion 108 peut présenter un poids de chacune de ces émotions.
En outre, lorsque l’unité d’évaluation d’émotion 108 évalue l’émotion de l’utilisateur au moyen du score d’expression faciale (sans utiliser la quantité de caractéristique du score d’expression faciale de chaque expression faciale), l’unité d’évaluation d’émotion 108 peut, en variante, évaluer l’émotion de l’utilisateur en acquérant un seul score d’expression faciale dans la base de données de scores d’expression faciale 111, au lieu d’acquérir une pluralité de scores d’expression faciale sur une période prédéterminée.
Ci-après, en référence à la , un exemple de traitement effectué par le dispositif d’évaluation d’émotion 10 selon le premier mode de réalisation est décrit. À l’étape S101, l’unité de détection d’évènement 102 du dispositif d’évaluation d’émotion 10 détermine si un évènement s’est produit. Si aucun évènement ne s’est produit (NON), le procédé de l’étape S101 est effectué de nouveau. En revanche, si un évènement s’est produit (OUI), le procédé passe à l’étape S102.
À l’étape S102, l’unité d’enregistrement d’évènements 103 enregistre l’évènement détecté à l’étape S101 dans le registre d’évènements 112. À l’étape S103, l’unité de détermination d’évènement 104 consulte le registre d’évènements 112, et détermine si au moins un de (i) l’évènement détecté à l’étape S101 et (ii) l’évènement survenu immédiatement avant (c’est-à-dire précédant l’évènement de l’étape S101) est un évènement spécifique (tel qu’une somnolence ou une conversation) qui pourrait réduire l’exactitude d’évaluation d’émotion. Si au moins un de ces évènements est un évènement spécifique (OUI), le procédé de la se termine. En revanche, si aucun de ces évènements n’est un évènement spécifique (NON), le procédé passe à l’étape S104.
À l’étape S104, l’unité de calcul de quantité de caractéristique 105 acquiert le score d’expression faciale de chacune des expressions faciales de l’utilisateur entre l’évènement détecté à l’étape S101 et l’évènement survenu immédiatement avant dans la base de données de scores d’expression faciale 111. À l’étape S105, l’unité de calcul de quantité de caractéristique 105 calcule la quantité de changement et le temps de changement du score d’expression faciale en utilisant les scores d’expression faciale acquis.
À l’étape S106, l’unité d’enregistrement de tableau de données accumulées 106 enregistre (i) le score d’expression faciale de chaque expression faciale de l’utilisateur entre l’évènement détecté à l’étape S101 (évènement postérieur) et l’évènement survenu immédiatement avant l’évènement (évènement antérieur), et (ii) la quantité de changement et le temps de changement du score d’expression faciale calculés à l’étape S105 dans le tableau de données accumulées 113.
Plus spécifiquement, l’unité d’enregistrement de tableau de données accumulées 106 acquiert le score d’expression faciale de chaque expression faciale de l’utilisateur entre ces évènements dans la base de données de scores d’expression faciale 111, et acquiert également les informations d’identification de l’utilisateur 110 auprès du dispositif de mémoire 109. L’unité d’enregistrement de tableau de données accumulées 106 enregistre ensuite les informations d’identification de l’utilisateur, la valeur maximale et la valeur minimale du score d’expression faciale, de la quantité de changement et du temps de changement du score d’expression faciale en association les uns avec les autres dans le tableau de données accumulées 113. À l’étape S107, l’unité d’actualisation de tableau d’évaluation d’émotion 107 actualise le tableau d’évaluation d’émotion 114, et le procédé de la se termine.
Plus spécifiquement, l’unité d’actualisation de tableau d’évaluation d’émotion 107 consulte le tableau d’évaluation d’émotion 114 de l’utilisateur identifié par les informations d’identification d’utilisateur qui sont mémorisées dans le dispositif de mémoire 109, et identifie des enregistrements liés à l’évènement détecté à l’étape S101 et à l’évènement survenu immédiatement avant. L’unité d’actualisation de tableau d’évaluation d’émotion 107 compare ensuite (A) (a) les valeurs maximale et minimale du score d’expression faciale de chaque expression faciale, (b) les valeurs maximale et minimale de la quantité de changement du score d’expression faciale, et (c) les valeurs maximale et minimale du temps de changement du score d’expression faciale respectivement enregistrées dans l’enregistrement identifié avec (B) les valeurs maximale et minimale du score d’expression faciale et de la quantité de changement et du temps de changement du score d’expression faciale enregistrées dans le tableau de données accumulées 113 à l’étape S106.
Lorsqu’au moins un des éléments (B) se situe hors de la plage des éléments (A), c’est-à-dire lorsque les valeurs maximale et minimale du score d’expression faciale et de la quantité de changement et du temps de changement du score d’expression faciale enregistrées dans le tableau de données accumulées 113 à l’étape S106 se situent hors de la plage du score d’expression faciale et/ou de la quantité de changement et du temps de changement de celui-ci enregistrés dans l’enregistrement identifié, l’unité d’actualisation de tableau d’évaluation d’émotion 107 utilise une ou des valeur(s) quelconque(s) située(s) hors de la plage parmi la valeur maximale et la valeur minimale du score d’expression faciale, de la quantité de changement et du temps de changement pour actualiser les valeurs maximale et minimale du score d’expression faciale, de la quantité de changement et/ou du temps de changement du tableau d’évaluation d’émotion 114.
Ci-après, en référence à la , un autre traitement effectué par le dispositif d’évaluation d’émotion 10 selon le premier mode de réalisation est décrit. À l’étape S201, l’unité d’évaluation d’émotion 108 acquiert le score d’expression faciale de chaque expression faciale de l’utilisateur sur la période prédéterminée dans la base de données de scores d’expression faciale 111, et calcule la valeur moyenne des scores d’expression faciale de chaque expression faciale. À l’étape S202, l’unité de calcul de quantité de caractéristique 105 acquiert le score d’expression faciale dans la base de données de scores d’expression faciale 111 et calcule la quantité de changement et le temps de changement du score d’expression faciale.
À l’étape S203, l’unité de détermination d’évènement 104 consulte le registre d’évènements 112, et détermine si un évènement spécifique qui peut réduire l’exactitude d’évaluation d’émotion s’est, ou non, produit au cours de la période prédéterminée décrite ci-dessus. Si un évènement spécifique s’est produit (OUI), le procédé de la se termine. En revanche, si l’évènement spécifique ne s’est pas produit (NON), le procédé passe à l’étape S204.
À l’étape S204, l’unité d’évaluation d’émotion 108 consulte le tableau d’évaluation d’émotion 114 de l’utilisateur identifié par les informations d’identification d’utilisateur mémorisées dans le dispositif de mémoire 109, et évalue l’émotion de l’utilisateur en utilisant (i) une moyenne des scores d’expression faciale des expressions faciales calculée à l’étape S201 et/ou (ii) la quantité de changement et le temps de changement du score d’expression faciale de chaque expression faciale calculés à l’étape S202.
(Effets du premier mode de réalisation)
Dans le présent mode de réalisation, deux évènements consécutifs, des valeurs indicatives de chaque expression faciale de l’utilisateur entre les deux évènements, et les émotions corrélées avec ces évènements sont enregistrés dans le tableau d’évaluation d’émotion 114 en association les uns avec les autres. L’unité d’évaluation d’émotion 108 consulte le tableau d’évaluation d’émotion 114, et identifie les valeurs indicatives enregistrées de chacune des expressions faciales de l’utilisateur, qui correspondent (i) au score d’expression faciale (c’est-à-dire un indice de l’expression de l’utilisateur) acquis dans la base de données de scores d’expression faciale 111 ou (ii) à la quantité de caractéristique d’un tel score d’expression faciale. L’unité d’évaluation d’émotion 108 évalue ensuite l’émotion associée à la valeur indicative identifiée comme étant l’émotion de l’utilisateur. En d’autres termes, l’unité d’évaluation d’émotion 108 n’évalue pas l’émotion de l’utilisateur uniquement en fonction de la corrélation entre le score d’expression faciale et l’émotion de l’utilisateur, elle évalue l’émotion de l’utilisateur au moins partiellement en fonction de la correspondance entre (i) la valeur indicative de chacune des expressions faciales de l’utilisateur entre deux évènements consécutifs et (ii) l’émotion ou les émotions corrélée(s) avec les deux évènements consécutifs.
Ainsi, même lorsque la corrélation entre le score d’expression faciale et l’émotion de l’utilisateur est faible, l’émotion de l’utilisateur peut être évaluée avec une grande exactitude.
En outre, le dispositif d’évaluation d’émotion 10 évalue également l’émotion de l’utilisateur en utilisant les émotions qui sont corrélées avec deux évènements consécutifs. Ici, l’émotion de l’utilisateur provoquée par un évènement ne peut être déterminée singulièrement. Par exemple, lorsqu’un évènement indiquant un freinage vif se produit, certains utilisateurs ont un sentiment de colère et d’autres ont un sentiment de confort. Par conséquent, lorsque l’émotion de l’utilisateur est évaluée en utilisant l’émotion corrélée avec un évènement, l’exactitude d’évaluation d’une telle émotion peut être faible. En revanche, le dispositif d’évaluation d’émotion 10 évalue l’émotion de l’utilisateur en utilisant les émotions qui sont corrélées avec deux évènements consécutifs, plutôt qu’avec un évènement, ce qui améliore l’exactitude d’évaluation de l’émotion.
En outre, les deux évènements consécutifs peuvent être un évènement d’environnement antérieur lié à l’environnement de l’utilisateur, et un évènement normal postérieur provoqué par l’utilisateur. Ces évènements (dans cet ordre) sont susceptibles d’affecter l’émotion de l’utilisateur et ont une forte corrélation avec l’émotion de l’utilisateur. En particulier, lorsque l’évènement postérieur est un évènement provoqué par l’utilisateur, la corrélation entre l’évènement et l’émotion de l’utilisateur devient forte. Étant donné que le dispositif d’évaluation d’émotion 10 évalue l’émotion de l’utilisateur en utilisant l’émotion ayant une forte corrélation avec un tel évènement, l’exactitude d’évaluation de l’émotion par le dispositif d’évaluation d’émotion 10 peut être améliorée. Ces évènements consécutifs peuvent être décrits de la façon suivante : un évènement d’environnement antérieur et un évènement normal postérieur.
En outre, le tableau d’évaluation d’émotion 114 enregistre, en association les uns avec les autres, (i) deux évènements normaux consécutifs, (ii) les valeurs indicatives de chacune des expressions faciales de l’utilisateur lorsqu’un évènement spécifique ne s’est pas produit entre les deux évènements normaux consécutifs, et (iii) les émotions corrélées avec les deux évènements normaux consécutifs. Dans le tableau d’évaluation d’émotion 114, la valeur indicative de chaque expression faciale de l’utilisateur lorsqu’un évènement spécifique s’est produit n’est pas enregistrée. Lorsqu’un évènement spécifique quelconque ne s’est pas produit, l’unité d’évaluation d’émotion 108 consulte le tableau d’évaluation d’émotion 114, et identifie la valeur indicative enregistrée de chacune des expressions faciales de l’utilisateur lorsque l’évènement spécifique acquis dans la base de données de scores d’expression faciale 111 ne s’est pas produit. L’unité d’évaluation d’émotion 108 évalue ensuite l’émotion associée à la valeur indicative identifiée comme étant l’émotion de l’utilisateur.
De cette manière, lorsqu’un évènement qui peut réduire l’exactitude d’évaluation de l’émotion de l’utilisateur (un évènement spécifique) ne s’est pas produit, le tableau d’évaluation d’émotion 114, dans lequel la valeur indicative de chacune des expressions faciales de l’utilisateur liées à un tel évènement n’est pas enregistrée, peut être utilisé pour évaluer l’émotion de l’utilisateur. Par conséquent, l’exactitude d’évaluation de l’émotion de l’utilisateur peut être améliorée.
En outre, le dispositif d’évaluation d’émotion 10 comprend le tableau d’évaluation d’émotion 114 pour chaque utilisateur, et évalue l’émotion pour chaque utilisateur en utilisant le tableau d’évaluation d’émotion 114 pour chaque utilisateur. De cette manière, étant donné que l’émotion peut être évaluée pour chaque utilisateur en utilisant la valeur indicative pour chaque utilisateur, l’exactitude d’évaluation de l’émotion de l’utilisateur peut être améliorée.
En outre, le dispositif d’évaluation d’émotion 10 évalue l’émotion de l’utilisateur en utilisant l’émotion ou les émotions qui est/sont corrélée(s) avec deux évènements consécutifs. De ce fait, l’émotion de l’utilisateur évaluée par le dispositif d’évaluation d’émotion 10 n’est pas limitée à une émotion indiquée par le score d’expression faciale, et peut être constituée de/comprendre diverses émotions de l’utilisateur corrélées avec ces, par exemple avec deux, évènements.
Deuxième mode de réalisation
Le deuxième mode de réalisation de la présente divulgation est décrit en mettant en avant les différences par rapport au premier mode de réalisation. Dans le deuxième mode de réalisation, le dispositif d’évaluation d’émotion 10 évalue l’émotion de l’utilisateur même lorsqu’un évènement spécifique tel qu’un évènement de somnolence ou un évènement de conversation qui peut réduire l’exactitude d’évaluation d’émotion s’est produit.
Dans le deuxième mode de réalisation, le dispositif d’évaluation d’émotion 10 comprend, en plus du tableau de données accumulées et du tableau d’évaluation d’émotion pour un évènement normal comme illustré sur les à 7, le tableau de données accumulées et le tableau d’évaluation d’émotion pour un évènement spécifique. Les configurations du tableau de données accumulées et du tableau d’évaluation d’émotion pour un évènement spécifique sont les mêmes que les configurations du tableau de données accumulées et du tableau d’évaluation d’émotion pour un évènement normal.
En référence maintenant à la , un exemple de traitement effectué par le dispositif d’évaluation d’émotion 10 selon le deuxième mode de réalisation est décrit. À l’étape S301, l’unité de détection d’évènement 102 du dispositif d’évaluation d’émotion 10 détermine si un évènement s’est produit. Si aucun évènement ne s’est produit (NON), le procédé de l’étape S301 est effectué de nouveau. En revanche, si un évènement s’est produit (OUI), le procédé passe à l’étape S302.
À l’étape S302, l’unité d’enregistrement d’évènements 103 enregistre l’évènement détecté à l’étape S301 dans le registre d’évènements 112. À l’étape S303, l’unité de détermination d’évènement 104 consulte le registre d’évènements 112, et détermine si l’évènement détecté à l’étape S301 est un évènement spécifique. Lorsque l’évènement détecté est un évènement spécifique (OUI), le procédé de la se termine. En revanche, si l’évènement détecté n’est pas un évènement spécifique (NON), le procédé passe à l’étape S304.
À l’étape S304, l’unité de détermination d’évènement 104 consulte le registre d’évènements 112, et détermine si un évènement spécifique s’est, ou non, produit entre l’évènement normal détecté à l’étape S301 et l’évènement normal survenu immédiatement avant cet évènement (c’est-à-dire l’évènement détecté en S301). Si un évènement spécifique ne s’est pas produit entre ces deux évènements normaux (NON), le procédé passe à l’étape S305.
À l’étape S305, l’unité de calcul de quantité de caractéristique 105 acquiert le score d’expression faciale de chaque expression faciale de l’utilisateur entre l’évènement normal détecté à l’étape S301 et l’évènement normal immédiatement antérieur dans la base de données de scores d’expression faciale 111. À l’étape S306, l’unité de calcul de quantité de caractéristique 105 utilise le score d’expression faciale acquis pour calculer la quantité de changement et le temps de changement du score d’expression faciale.
À l’étape S307, l’unité d’enregistrement de tableau de données accumulées 106 enregistre (i) le score d’expression faciale de chacune des expressions faciales de l’utilisateur entre l’évènement normal détecté à l’étape S301 et l’évènement normal survenu immédiatement avant l’évènement normal, et (ii) la quantité de changement et le temps de changement de l’expression faciale calculés à l’étape S306 dans le tableau de données accumulées 113 pour un évènement normal. À l’étape S308, l’unité d’actualisation de tableau d’évaluation d’émotion 107 actualise le tableau d’évaluation d’émotion 114 pour un évènement normal, et le procédé de la se termine.
En revanche, s’il est déterminé, à l’étape S304, qu’un évènement spécifique s’est produit entre l’évènement normal détecté à l’étape S301 et l’évènement normal survenu immédiatement avant cet évènement (OUI), le procédé passe à l’étape S309.
À l’étape S309, l’unité de calcul de quantité de caractéristique 105 acquiert le score d’expression faciale de chacune des expressions faciales de l’utilisateur entre l’évènement normal détecté à l’étape S301 et l’évènement normal survenu immédiatement avant dans la base de données de scores d’expression faciale 111. À l’étape S310, l’unité de calcul de quantité de caractéristique 105 calcule la quantité de changement et le temps de changement du score d’expression faciale en utilisant le score d’expression faciale acquis.
À l’étape S311, l’unité d’enregistrement de tableau de données accumulées 106 enregistre (i) le score d’expression faciale de chacune des expressions faciales de l’utilisateur entre l’évènement normal détecté à l’étape S301 et l’évènement normal immédiatement antérieur, et (ii) la quantité de changement et le temps de changement du score d’expression faciale calculés à l’étape S310 dans le tableau de données accumulées 113 pour un évènement spécifique. À l’étape S312, l’unité d’actualisation de tableau d’évaluation d’émotion 107 actualise le tableau d’évaluation d’émotion 114 pour un évènement spécifique, et le procédé de la se termine.
Ci-après, en référence à la , un autre traitement effectué par le dispositif d’évaluation d’émotion 10 selon le deuxième mode de réalisation est décrit. À l’étape S401, l’unité d’évaluation d’émotion 108 acquiert le score d’expression faciale de chacune des expressions faciales de l’utilisateur sur la période prédéterminée dans la base de données de scores d’expression faciale 111, et calcule la valeur moyenne des scores d’expression faciale de chacune des expressions faciales. À l’étape S402, l’unité de calcul de quantité de caractéristique 105 acquiert le score d’expression faciale dans la base de données de scores d’expression faciale 111, et calcule la quantité de changement et le temps de changement du score d’expression faciale.
À l’étape S403, l’unité de détermination d’évènement 104 consulte le registre d’évènements 112, et détermine si un évènement spécifique s’est, ou non, produit au cours de la période prédéterminée. Si l’évènement spécifique ne s’est pas produit (NON), le procédé passe à l’étape S404. À l’étape S404, l’unité d’évaluation d’émotion 108 consulte le tableau d’évaluation d’émotion 114 pour un évènement normal, et évalue l’émotion de l’utilisateur en utilisant (i) la valeur moyenne du score d’expression faciale de chacune des expressions faciales calculée à l’étape S401 et/ou (ii) la quantité de changement et le temps de changement du score d’expression faciale de chacune des expressions faciales calculés à l’étape S402.
En revanche, s’il est déterminé, à l’étape S403, qu’un évènement spécifique s’est produit au cours de la période prédéterminée (OUI), le procédé passe à l’étape S405. À l’étape S405, l’unité d’évaluation d’émotion 108 consulte le tableau d’évaluation d’émotion 114 pour un évènement spécifique, et évalue l’émotion de l’utilisateur en utilisant (i) la valeur moyenne du score d’expression faciale de chacune des expressions faciales calculée à l’étape S401 et/ou (ii) la quantité de changement et le temps de changement du score d’expression faciale de chacune des expressions faciales calculés à l’étape S402.
(Effets du deuxième mode de réalisation)
Dans le deuxième mode de réalisation, le dispositif d’évaluation d’émotion 10 a le tableau d’évaluation d’émotion 114 pour un évènement normal et le tableau d’évaluation d’émotion 114 pour un évènement spécifique qui peut réduire l’exactitude d’évaluation de l’émotion de l’utilisateur.
Lorsqu’un évènement spécifique s’est produit, l’unité d’évaluation d’émotion 108 consulte le tableau d’évaluation d’émotion 114 pour un évènement spécifique, et identifie la valeur indicative enregistrée de chacune des expressions faciales de l’utilisateur à la suite d’une détermination que l’évènement spécifique acquis dans la base de données de scores d’expression faciale 111 s’est produit. L’unité d’évaluation d’émotion 108 évalue ensuite l’émotion associée à la valeur indicative comme étant l’émotion de l’utilisateur. En d’autres termes, lorsqu’un évènement spécifique s’est produit, l’unité d’évaluation d’émotion 108 n’évalue pas l’émotion de l’utilisateur au moyen du tableau d’évaluation d’émotion 114 pour un évènement normal.
De ce fait, lorsqu’un évènement qui peut réduire l’exactitude d’évaluation de l’émotion de l’utilisateur s’est produit, l’émotion peut être évaluée tout en améliorant l’exactitude d’évaluation d’une telle émotion.
Troisième mode de réalisation
Le troisième mode de réalisation de la présente divulgation est décrit ci-après en mettant en avant les différences par rapport aux modes de réalisation décrits ci-dessus. Dans le troisième mode de réalisation, l’unité d’évaluation d’émotion 108 utilise un modèle d’évaluation d’émotion 115 pour évaluer l’émotion de l’utilisateur.
Comme illustré sur la , le dispositif d’évaluation d’émotion 10 comprend l’unité d’enregistrement d’informations d’identification 100, l’unité de calcul de score d’expression faciale 101, l’unité de détection d’évènement 102, l’unité d’enregistrement d’évènements 103, l’unité de détermination d’évènement 104, l’unité de calcul de quantité de caractéristique 105, l’unité d’évaluation d’émotion 108, le dispositif de mémoire 109, une unité d’apprentissage automatique 110 et le modèle d’évaluation d’émotion 115.
L’unité d’apprentissage automatique 110 est une unité fonctionnelle qui entraîne le modèle d’évaluation d’émotion 115 en utilisant divers algorithmes d’apprentissage automatique. Le modèle d’évaluation d’émotion 115 est un programme servant à évaluer l’émotion de l’utilisateur, qui peut apprendre (c’est-à-dire être entraîné) au moyen de divers algorithmes d’apprentissage automatique. Le modèle d’évaluation d’émotion 115 est préparé pour chaque utilisateur.
Plus spécifiquement, l’unité d’apprentissage automatique 110 utilise, comme données d’apprentissage, (A) (i) le score d’expression faciale de chaque expression faciale de l’utilisateur et/ou (ii) la quantité de caractéristique du score d’expression faciale entre deux évènements consécutifs, et (B) une valeur indiquant une émotion corrélée avec les deux évènements consécutifs pour entraîner le modèle d’évaluation d’émotion 115.
Le score d’expression faciale de chaque expression faciale de l’utilisateur et la quantité de caractéristique d’un tel score d’expression faciale, qui sont utilisés comme données d’apprentissage, et la valeur indiquant l’émotion corrélée avec deux évènements consécutifs ont une corrélation. Par exemple, comme illustré sur la , lorsqu’un évènement antérieur est un évènement indiquant l’embarquement (c’est-à-dire le fait de monter à bord d’un véhicule) et un évènement postérieur est un évènement indiquant le démarrage du moteur, il est probable que l’émotion de l’utilisateur soit « neutre ». Lorsque l’émotion de l’utilisateur est « neutre », le score d’expression faciale de chaque expression faciale de l’utilisateur et la quantité de caractéristique d’un tel score d’expression faciale ont respectivement une valeur indiquant « neutre ».
Si un évènement antérieur est un évènement indiquant un encombrement de la circulation et un évènement postérieur est un évènement indiquant une accélération vive, un freinage vif, une augmentation de la fréquence cardiaque ou une augmentation de la valeur intégrée BF, le plus probable est que l’émotion de l’utilisateur soit « irritation ». Lorsque l’émotion de l’utilisateur est « irritation », le score d’expression faciale de chaque expression faciale de l’utilisateur et la quantité de caractéristique d’un tel score d’expression faciale ont respectivement une valeur indiquant « irritation ».
En outre, lorsqu’un évènement antérieur est un évènement indiquant une queue de poisson ou un freinage vif et un évènement postérieur est un évènement indiquant une accélération vive, une augmentation de la fréquence cardiaque ou une augmentation de la valeur intégrée BF, il est probable que l’émotion de l’utilisateur soit « colère ». Si un évènement antérieur est un évènement indiquant une augmentation de la fréquence cardiaque ou une augmentation de la valeur intégrée BF et un évènement postérieur est un évènement indiquant une accélération vive ou une diminution de la distance inter-véhicules, il est probable que l’émotion de l’utilisateur soit « colère ». Lorsque l’émotion de l’utilisateur est « colère », le score d’expression faciale de chaque expression faciale de l’utilisateur et la quantité de caractéristique d’un tel score d’expression faciale ont respectivement une valeur indiquant « colère ».
En outre, lorsqu’un évènement antérieur est un évènement indiquant un freinage vif et un évènement postérieur est un évènement indiquant une diminution de la fréquence cardiaque ou une augmentation de la valeur intégrée HF, il est probable que l’émotion de l’utilisateur soit « confort/détente ». Lorsque l’émotion de l’utilisateur est « confort », le score d’expression faciale de chaque expression faciale de l’utilisateur et la quantité de caractéristique d’un tel score d’expression faciale ont respectivement une valeur indiquant « confort ». Il est à noter que les deux évènements consécutifs et l’émotion ou les émotions corrélée(s) avec ces évènements ne sont pas limités à ceux illustrés sur la , et divers autres évènements et émotions corrélées avec les évènements peuvent être adoptés. Les émotions corrélées avec les évènements ne sont pas limitées aux émotions représentées par les sept types d’expressions faciales décrits ci-dessus, et diverses autres émotions qui peuvent être générées par deux évènements consécutifs peuvent être adoptées.
Le modèle d’évaluation d’émotion 115 entraîné en utilisant à la fois (A) le score d’expression faciale de chaque expression faciale de l’utilisateur et la quantité de caractéristique d’un tel score d’expression faciale et (B) la valeur indiquant l’émotion est utilisé (i) pour introduire à la fois le score d’expression faciale de chaque expression faciale de l’utilisateur et la quantité de caractéristique d’un tel score d’expression faciale et (ii) pour produire une valeur indiquant une émotion correspondant à ceux-ci. L’unité d’évaluation d’émotion 108 évalue une émotion de l’utilisateur en fonction d’une valeur indiquant une émotion, qui est une valeur produite par le modèle d’évaluation d’émotion 115 après l’introduction, dans le modèle d’évaluation d’émotion 115 entraîné, du score d’expression faciale acquis de chaque expression faciale de l’utilisateur et de la quantité de caractéristique d’un tel score d’expression faciale. Il est à noter que la valeur indiquant l’émotion produite par le modèle d’évaluation d’émotion 115 et l’émotion de l’utilisateur sont associées l’une à l’autre au cas par cas.
En outre, lorsque le score d’expression faciale de chaque expression faciale de l’utilisateur est introduit, le modèle d’évaluation d’émotion 115, entraîné en utilisant le score d’expression faciale de chaque expression faciale de l’utilisateur et la valeur indiquant l’émotion, produit, à la suite d’une introduction du score d’expression faciale de chaque expression faciale de l’utilisateur, une valeur indiquant une émotion qui correspond à un tel score d’expression faciale (c’est-à-dire le score introduit). L’unité d’évaluation d’émotion 108 évalue une émotion de l’utilisateur en fonction d’une valeur indiquant une émotion, qui est produite par le modèle d’évaluation d’émotion 115 entraîné après l’introduction dans celui-ci, c’est-à-dire dans le modèle d’évaluation d’émotion 115, du score d’expression faciale acquis de chaque expression faciale de l’utilisateur.
En outre, le modèle d’évaluation d’émotion 115, entraîné en utilisant (i) la quantité de caractéristique du score d’expression faciale de chaque expression faciale de l’utilisateur et (ii) la valeur indiquant l’émotion, produit, à la suite d’une introduction de la quantité de caractéristique du score d’expression faciale de chaque expression faciale de l’utilisateur, une valeur indiquant une émotion qui correspond à la quantité de caractéristique du score d’expression faciale. L’unité d’évaluation d’émotion 108 évalue une émotion de l’utilisateur en fonction d’une valeur indiquant une émotion, qui est une valeur produite par le modèle d’évaluation d’émotion après l’introduction, dans le modèle d’évaluation d’émotion 115 entraîné, de la quantité de caractéristique acquise du score d’expression faciale de chaque expression faciale de l’utilisateur.
En référence maintenant à la , un exemple de traitement effectué par le dispositif d’évaluation d’émotion 10 selon le troisième mode de réalisation est décrit. Dans le procédé illustré sur la , le modèle d’évaluation d’émotion 115 est entraîné en utilisant (A) à la fois le score d’expression faciale de chaque expression faciale de l’utilisateur et la quantité de caractéristique d’un tel score d’expression faciale et (B) la valeur indiquant l’émotion.
À l’étape S501, l’unité de détection d’évènement 102 du dispositif d’évaluation d’émotion 10 détermine si un évènement s’est produit. Si aucun évènement ne s’est produit (NON), le procédé de l’étape S501 est effectué de nouveau. En revanche, si un évènement s’est produit (OUI), le procédé passe à l’étape S502.
À l’étape S502, l’unité d’enregistrement d’évènements 103 enregistre l’évènement détecté à l’étape S501 dans le registre d’évènements 112. À l’étape S503, l’unité de détermination d’évènement 104 consulte le registre d’évènements 112, et détermine si au moins un de (i) l’évènement détecté à l’étape S501 et (ii) l’évènement survenu immédiatement avant (c’est-à-dire précédant l’évènement de l’étape S501) est un évènement spécifique qui pourrait réduire l’exactitude d’évaluation d’émotion. Si au moins un de ces évènements est un évènement spécifique (OUI), le procédé de la se termine. En revanche, si aucun de ces évènements n’est un évènement spécifique (NON), le procédé passe à l’étape S504.
À l’étape S504, l’unité de calcul de quantité de caractéristique 105 acquiert le score d’expression faciale de chaque expression faciale de l’utilisateur entre l’évènement détecté à l’étape S501 et l’évènement survenu immédiatement avant dans la base de données de scores d’expression faciale 111. À l’étape S505, l’unité de calcul de quantité de caractéristique 105 calcule la quantité de changement et le temps de changement du score d’expression faciale en utilisant le score d’expression faciale acquis. À l’étape S506, l’unité d’apprentissage automatique 110 entraîne le modèle d’évaluation d’émotion 115, et le procédé de la se termine.
Plus spécifiquement, l’unité d’apprentissage automatique 110 identifie le modèle d’évaluation d’émotion 115 de l’utilisateur en utilisant les informations d’identification de l’utilisateur enregistrées dans le dispositif de mémoire 109. L’unité d’apprentissage automatique 110 acquiert ensuite le score d’expression faciale de chaque expression faciale de l’utilisateur entre l’évènement détecté à l’étape S501 et l’évènement survenu immédiatement avant dans la base de données de scores d’expression faciale 111. Puis l’unité d’apprentissage automatique 110 entraîne le modèle d’évaluation d’émotion 115 en utilisant les données suivantes comme données d’apprentissage, à savoir en utilisant (i) le score d’expression faciale, (ii) la quantité de caractéristique d’un tel score d’expression faciale calculée à l’étape S505, et une valeur indiquant une émotion ou des émotions correspondant respectivement à ces deux évènements consécutifs.
En référence maintenant à la , un autre traitement effectué par le dispositif d’évaluation d’émotion 10 selon le troisième mode de réalisation est décrit. Dans le procédé illustré sur la , l’émotion de l’utilisateur est évaluée en utilisant à la fois le score d’expression faciale de chaque expression faciale de l’utilisateur et la quantité de caractéristique d’un tel score d’expression faciale.
À l’étape S601, l’unité d’évaluation d’émotion 108 acquiert le score d’expression faciale de chaque expression faciale de l’utilisateur sur la période prédéterminée dans la base de données de scores d’expression faciale 111, et calcule la valeur moyenne des scores d’expression faciale de chaque expression faciale. À l’étape S602, l’unité de calcul de quantité de caractéristique 105 acquiert le score d’expression faciale dans la base de données de scores d’expression faciale 111, et calcule la quantité de changement et le temps de changement du score d’expression faciale.
À l’étape S603, l’unité de détermination d’évènement 104 consulte le registre d’évènements 112, et détermine si un évènement spécifique qui peut réduire l’exactitude d’évaluation d’émotion s’est, ou non, produit au cours de la période prédéterminée décrite ci-dessus. Si un évènement spécifique s’est produit (OUI), le procédé de la se termine. En revanche, si l’évènement spécifique ne s’est pas produit (NON), le procédé passe à l’étape S604. À l’étape S604, l’unité d’évaluation d’émotion 108 évalue l’émotion de l’utilisateur en utilisant (i) la valeur moyenne des scores d’expression faciale des expressions faciales calculée à l’étape S601 et (ii) la quantité de changement et le temps de changement du score d’expression faciale de chacune des expressions faciales calculés à l’étape S602, et le procédé de la se termine.
Plus spécifiquement, l’unité d’évaluation d’émotion 108 introduit, dans le modèle d’évaluation d’émotion 115 d’un utilisateur qui est identifié par les informations d’identification d’utilisateur mémorisées dans le dispositif de mémoire 109, (a) la valeur moyenne des scores d’expression faciale des expressions faciales calculée à l’étape S601 et (b) la quantité de changement et le temps de changement du score d’expression faciale de chaque expression faciale calculés à l’étape S602. L’unité d’évaluation d’émotion 108 évalue ensuite une émotion de l’utilisateur en fonction de la valeur indiquant l’émotion, qui est produite par le modèle d’évaluation d’émotion 115. En d’autres termes, l’unité d’évaluation d’émotion 108 n’évalue pas l’émotion de l’utilisateur uniquement en fonction de la corrélation entre le score d’expression faciale et l’émotion de l’utilisateur, elle évalue l’émotion de l’utilisateur en fonction de la correspondance entre (i) la valeur indicative de chacune des expressions faciales de l’utilisateur entre deux évènements consécutifs et (ii) l’émotion ou les émotions corrélée(s) avec les deux évènements consécutifs.
Quatrième mode de réalisation
Le quatrième mode de réalisation de la présente divulgation est décrit ci-après en mettant en avant les différences par rapport au troisième mode de réalisation. Dans le quatrième mode de réalisation, le dispositif d’évaluation d’émotion 10 évalue l’émotion de l’utilisateur même lorsqu’un évènement spécifique qui pourrait réduire l’exactitude d’évaluation d’émotion s’est produit. Le dispositif d’évaluation d’émotion 10 comprend un modèle d’évaluation d’émotion 115 d’évènements normaux et un modèle d’évaluation d’émotion 115 d’évènement spécifique.
Le modèle d’évaluation d’émotion 115 d’évènements normaux est un modèle d’évaluation d’émotion utilisé pour évaluer l’émotion d’un utilisateur lorsqu’un évènement spécifique ne s’est pas produit entre deux évènements normaux consécutifs. L’unité d’apprentissage automatique 110 utilise (A) un score d’expression faciale, qui est une valeur indicative de chaque expression faciale de l’utilisateur entre deux évènements normaux consécutifs, et une quantité de caractéristique d’un tel score d’expression faciale, ainsi que (B) une valeur indiquant une émotion qui est corrélée avec ces évènements, pour entraîner le modèle d’évaluation d’émotion 115 d’évènements normaux. Dans un tel cas, des scores d’expression faciale tels qu’un score d’expression faciale lorsque l’utilisateur est dans un état de somnolence, un score d’expression faciale lorsque l’utilisateur participe à une conversation, et similaires, qui peuvent réduire l’exactitude d’évaluation d’émotion, ne sont pas utilisés pour entraîner le modèle d’évaluation 115.
Le modèle d’évaluation d’émotion 115 d’évènement spécifique est un modèle d’évaluation d’émotion utilisé pour évaluer l’émotion d’un utilisateur lorsqu’un évènement spécifique s’est produit entre deux évènements normaux consécutifs. L’unité d’apprentissage automatique 110 utilise (A) un score d’expression faciale, qui est une valeur indicative de chaque expression faciale de l’utilisateur entre deux évènements normaux consécutifs, et une quantité de caractéristique d’un tel score d’expression faciale, ainsi que (B) une valeur indiquant une émotion qui est corrélée avec ces évènements, pour entraîner le modèle d’évaluation d’émotion 115 d’évènement spécifique. Dans un tel cas, des scores d’expression faciale tels qu’un score d’expression faciale lorsque l’utilisateur est dans un état de somnolence, un score d’expression faciale lorsque l’utilisateur participe à une conversation, et similaires, qui peuvent réduire l’exactitude d’évaluation d’émotion, sont utilisés pour entraîner le modèle d’évaluation 115.
Ci-après, en référence à la , un exemple de traitement effectué par le dispositif d’évaluation d’émotion 10 selon le quatrième mode de réalisation est décrit. À l’étape S701, l’unité de détection d’évènement 102 du dispositif d’évaluation d’émotion 10 détermine si un évènement s’est produit. Si aucun évènement ne s’est produit (NON), le procédé de l’étape S701 est effectué de nouveau. En revanche, si un évènement s’est produit (OUI), le procédé passe à l’étape S702.
À l’étape S702, l’unité d’enregistrement d’évènements 103 enregistre l’évènement détecté à l’étape S701 dans le registre d’évènements 112. À l’étape S703, l’unité de détermination d’évènement 104 consulte le registre d’évènements 112, et détermine si l’évènement détecté à l’étape S701 est un évènement spécifique. Lorsque l’évènement détecté est un évènement spécifique (OUI), le procédé de la se termine. En revanche, si l’évènement détecté n’est pas un évènement spécifique (NON), le procédé passe à l’étape S704.
À l’étape S704, l’unité de détermination d’évènement 104 consulte le registre d’évènements 112, et détermine si un évènement spécifique s’est, ou non, produit entre l’évènement normal détecté à l’étape S701 et l’évènement normal survenu immédiatement avant cet évènement (c’est-à-dire l’évènement détecté en S701). Si un évènement spécifique ne s’est pas produit entre ces deux évènements normaux (NON), le procédé passe à l’étape S705.
À l’étape S705, l’unité de calcul de quantité de caractéristique 105 acquiert le score d’expression faciale de chaque expression faciale de l’utilisateur entre l’évènement normal détecté à l’étape S701 et l’évènement normal immédiatement antérieur dans la base de données de scores d’expression faciale 111. À l’étape S706, l’unité de calcul de quantité de caractéristique 105 utilise le score d’expression faciale acquis pour calculer la quantité de changement et le temps de changement du score d’expression faciale. À l’étape S707, l’unité d’apprentissage automatique 110 entraîne le modèle d’évaluation d’émotion 115 d’évènements normaux, et le procédé de la se termine.
Plus spécifiquement, l’unité d’apprentissage automatique 110 utilise les informations d’identification de l’utilisateur enregistrées dans le dispositif de mémoire 109 pour identifier le modèle d’évaluation d’émotion 115 d’évènements normaux de l’utilisateur en question. L’unité d’apprentissage automatique 110 acquiert ensuite le score d’expression faciale de chaque expression faciale de l’utilisateur entre l’évènement normal détecté à l’étape S701 et l’évènement normal survenu immédiatement avant dans la base de données de scores d’expression faciale 111. Puis l’unité d’apprentissage automatique 110 utilise (A) le score d’expression faciale et la quantité de caractéristique d’un tel score d’expression faciale calculée à l’étape S706, et (B) la valeur indiquant l’émotion qui correspond à ces deux évènements consécutifs comme données d’apprentissage pour entraîner le modèle d’évaluation d’émotion 115 d’évènements normaux.
En revanche, s’il est déterminé, à l’étape S704, qu’un évènement spécifique s’est produit entre l’évènement normal détecté à l’étape S701 et l’évènement normal immédiatement antérieur (OUI), le procédé passe à l’étape S708.
À l’étape S708, l’unité de calcul de quantité de caractéristique 105 acquiert le score d’expression faciale de chaque expression faciale de l’utilisateur entre l’évènement normal détecté à l’étape S701 et l’évènement normal immédiatement antérieur dans la base de données de scores d’expression faciale 111. À l’étape S709, l’unité de calcul de quantité de caractéristique 105 calcule la quantité de changement et le temps de changement du score d’expression faciale en utilisant le score d’expression faciale acquis. À l’étape S710, l’unité d’apprentissage automatique 110 entraîne le modèle d’évaluation d’émotion 115 d’évènement spécifique, et le procédé de la se termine.
Plus spécifiquement, l’unité d’apprentissage automatique 110 utilise les informations d’identification de l’utilisateur enregistrées dans le dispositif de mémoire 109 pour identifier le modèle d’évaluation d’émotion 115 d’évènement spécifique de l’utilisateur en question. L’unité d’apprentissage automatique 110 acquiert ensuite le score d’expression faciale de chaque expression faciale de l’utilisateur entre l’évènement normal détecté à l’étape S701 et l’évènement normal survenu immédiatement avant dans la base de données de scores d’expression faciale 111. Puis l’unité d’apprentissage automatique 110 utilise (A) le score d’expression faciale et la quantité de caractéristique d’un tel score d’expression faciale calculée à l’étape S706, et (B) la valeur indiquant l’émotion qui correspond à ces deux évènements consécutifs comme données d’apprentissage pour entraîner le modèle d’évaluation d’émotion 115 d’évènement spécifique.
Ci-après, en référence à la , un autre traitement effectué par le dispositif d’évaluation d’émotion 10 selon le quatrième mode de réalisation est décrit. À l’étape S801, l’unité d’évaluation d’émotion 108 acquiert le score d’expression faciale de chacune des expressions faciales de l’utilisateur sur la période prédéterminée dans la base de données de scores d’expression faciale 111, et calcule la valeur moyenne des scores d’expression faciale de chacune des expressions faciales. À l’étape S802, l’unité de calcul de quantité de caractéristique 105 acquiert le score d’expression faciale dans la base de données de scores d’expression faciale 111, et calcule la quantité de changement et le temps de changement du score d’expression faciale.
À l’étape S803, l’unité de détermination d’évènement 104 consulte le registre d’évènements 112, et détermine si un évènement spécifique s’est, ou non, produit au cours de la période prédéterminée. Si l’évènement spécifique ne s’est pas produit (NON), le procédé passe à l’étape S804. À l’étape S804, l’unité d’évaluation d’émotion 108 utilise (i) la valeur moyenne du score d’expression faciale de chaque expression faciale calculée à l’étape S801 et (ii) la quantité de changement et le temps de changement du score d’expression faciale de chaque expression faciale calculés à l’étape S802 pour évaluer l’émotion de l’utilisateur, et le procédé de la se termine.
Plus spécifiquement, l’unité d’évaluation d’émotion 108 introduit, dans le modèle d’évaluation d’émotion 115 d’évènements normaux de l’utilisateur en question identifié par les informations d’identification d’utilisateur mémorisées dans le dispositif de mémoire 109, (i) la valeur moyenne du score d’expression faciale de chaque expression faciale calculée à l’étape S801 et (ii) la quantité de changement et le temps de changement du score d’expression faciale de chaque expression faciale calculés à l’étape S802. L’unité d’évaluation d’émotion 108 évalue ensuite l’émotion de l’utilisateur en fonction de la valeur indiquant l’émotion produite par le modèle d’évaluation d’émotion 115.
En revanche, s’il est déterminé, à l’étape S803, qu’un évènement spécifique s’est produit au cours de la période prédéterminée (OUI), le procédé passe à l’étape S805. À l’étape S805, l’unité d’évaluation d’émotion 108 évalue l’émotion de l’utilisateur en utilisant (i) la valeur moyenne du score d’expression faciale de chaque expression faciale calculée à l’étape S801 et (ii) la quantité de changement et le temps de changement du score d’expression faciale de chaque expression faciale calculés à l’étape S802, et le procédé de la se termine.
Plus spécifiquement, l’unité d’évaluation d’émotion 108 introduit, dans le modèle d’évaluation d’émotion 115 d’évènement spécifique de l’utilisateur en question identifié par les informations d’identification d’utilisateur mémorisées dans le dispositif de mémoire 109, (i) la valeur moyenne du score d’expression faciale de chaque expression faciale calculée à l’étape S801 et (ii) la quantité de changement et le temps de changement du score d’expression faciale de chaque expression faciale calculés à l’étape S802. L’unité d’évaluation d’émotion 108 évalue ensuite l’émotion de l’utilisateur en fonction de la valeur indiquant l’émotion produite par le modèle d’évaluation d’émotion 115.
Autres modes de réalisation
La présente divulgation n'est pas limitée aux modes de réalisation décrits ci-dessus et peut être mise en œuvre avec diverses modifications. Par exemple, dans d’autres modes de réalisation, le score d’expression faciale de chaque expression faciale de l’utilisateur et la quantité de caractéristique d’un tel score d’expression faciale peuvent être enregistrés dans le tableau de données accumulées 113 et le tableau d’évaluation d’émotion 114 en association avec trois évènements consécutifs ou plus. Dans un tel cas, l’émotion ou les émotions associée(s) avec trois évènements consécutifs ou plus est/sont enregistrée(s) dans le tableau d’évaluation d’émotion 114.
En outre, dans encore d’autres modes de réalisation, (A) (i) le score d’expression faciale de chaque expression faciale et/ou (ii) la quantité de caractéristique d’un tel score d’expression faciale au cours d’une période comprenant trois évènements consécutifs ou plus, et (B) une valeur indiquant une émotion corrélée avec les trois évènements consécutifs ou plus peuvent être utilisés comme données d’apprentissage pour entraîner le modèle d’évaluation d’émotion 115.
En outre, dans encore d’autres modes de réalisation, le dispositif de surveillance d’état 70 peut calculer le score d’expression faciale à partir de l’image du visage de l’utilisateur, et peut fournir un tel score d’expression faciale au dispositif d’évaluation d’émotion 10.
En outre, dans encore d’autres modes de réalisation, le dispositif d’acquisition d’informations biométriques 80 peut acquérir un signal électrocardiographique indiquant un potentiel actif généré par des cardiomyocytes de l’utilisateur, en plus du signal d’onde de pouls ou à la place du signal d’onde de pouls. Dans un tel cas, comme exemple spécifique du dispositif d’acquisition d’informations biométriques 80 qui acquiert un signal électrocardiographique, on peut citer, par exemple, une électrode placée sur un volant de direction d’un véhicule, un dispositif pouvant être porté sur soi qu’un utilisateur peut porter sur lui ou similaires. Le dispositif d’acquisition d’informations biométriques 80 est apte à acquérir un signal électrocardiographique d’un utilisateur tandis qu’il se trouve en contact avec la surface du corps de l’utilisateur, et à transmettre le signal électrocardiographique au dispositif d’évaluation d’émotion 10.
Les commandes et les procédés décrits dans la présente divulgation peuvent être mis en œuvre par un ordinateur spécialisé fabriqué en configurant un processeur programmé pour remplir une ou plusieurs fonction(s) spécifique(s) se présentant sous la forme d’un programme informatique. De plus, les dispositifs et procédés décrits dans la présente divulgation peuvent être mis en œuvre par des circuits logiques matériels spécialisés. En outre, les dispositifs et les procédés décrits dans la présente divulgation peuvent également être mis en œuvre par une combinaison d’un ou de plusieurs ordinateur(s) spécialisé(s) fabriqué(s) en configurant un processeur qui exécute un programme informatique et d’un ou de plusieurs circuit(s) logique(s) matériel(s). Le programme informatique peut être enregistré, comme instructions exécutées par l’ordinateur, sur un support matériel de mémoire non volatile lisible par ordinateur.

Claims (12)

  1. Dispositif d’évaluation d’émotion servant à évaluer une émotion d’un utilisateur, le dispositif d’évaluation d’émotion comprenant :
    au moins un processeur ;
    au moins un dispositif de mémoire non volatile ; et
    une unité d’évaluation d’émotion (108) évaluant l’émotion de l’utilisateur comme étant une émotion associée à une valeur indicative de chaque expression faciale de l’utilisateur entre ou pendant une période comprenant des évènements consécutifs, l’évaluation étant basée sur une correspondance entre :
    (A) la valeur indicative qui est (i) un score d’expression faciale de l’expression faciale de l’utilisateur entre les évènements consécutifs ou (ii) une quantité de caractéristique liée à un changement d’un tel score d’expression faciale et
    (B) l’émotion corrélée avec les évènements consécutifs.
  2. Dispositif d’évaluation d’émotion selon la revendication 1, dans lequel
    les évènements consécutifs sont : un évènement antérieur qui est un évènement d’environnement, et un évènement postérieur qui est un évènement normal,
    un évènement d’environnement étant un évènement concernant l’environnement autour de l’utilisateur ou autour d’un véhicule de l’utilisateur, et
    un évènement normal étant un évènement qui affecte directement et physiquement l’utilisateur.
  3. Dispositif d’évaluation d’émotion selon la revendication 1 ou 2, dans lequel :
    (A) une règle d’évaluation d’émotion (114) dans le dispositif associe :
    (i) les évènements consécutifs,
    (ii) la valeur indicative de chaque expression faciale de l’utilisateur entre les évènements consécutifs, et
    (iii) l’émotion corrélée avec les évènements consécutifs, et
    (B) l’unité d’évaluation d’émotion évalue l’émotion de l’utilisateur comme étant une émotion associée à la valeur indicative acquise de chaque expression faciale de l’utilisateur, en fonction de la règle d’évaluation d’émotion.
  4. Dispositif d’évaluation d’émotion selon la revendication 3, dans lequel
    (A) la règle d’évaluation d’émotion associe les uns aux autres
    (i) les évènements consécutifs,
    (ii) la valeur indicative de chaque expression faciale de l’utilisateur entre les évènements consécutifs, lorsqu’un évènement spécifique qui peut réduire l’exactitude d’évaluation d’une émotion de l’utilisateur évaluée par l’unité d’évaluation d’émotion ne s’est pas produit entre les évènements consécutifs, et
    (iii) l’émotion corrélée avec les évènements consécutifs, et
    (B) l’unité d’évaluation d’émotion, à la suite de la détermination que l’évènement spécifique ne s’est pas produit, évalue l’émotion de l’utilisateur comme étant l’émotion associée à la valeur indicative acquise de chaque expression faciale de l’utilisateur, en fonction de la règle d’évaluation d’émotion.
  5. Dispositif d’évaluation d’émotion selon la revendication 3, dans lequel
    (I) la règle d’évaluation d’émotion comprend
    une première règle d’évaluation d’émotion qui associe les uns aux autres, à la suite de la détermination que l’évènement spécifique ne s’est pas produit entre les évènements consécutifs, (i) les évènements consécutifs, (ii) la valeur indicative de chaque expression faciale de l’utilisateur entre les évènements consécutifs, et (iii) l’émotion corrélée avec les évènements consécutifs, et
    une seconde règle d’évaluation d’émotion qui associe les uns aux autres, à la suite de la détermination que l’évènement spécifique s’est produit entre les évènements consécutifs, (i) les évènements consécutifs, (ii) la valeur indicative de chaque expression faciale de l’utilisateur entre les évènements consécutifs, et (iii) l’émotion corrélée avec les évènements consécutifs, et
    (II) l’unité d’évaluation d’émotion évalue l’émotion de l’utilisateur
    comme étant une émotion associée à la valeur indicative de chaque expression faciale de l’utilisateur lorsque l’évènement spécifique ne s’est pas produit, en fonction de la première règle d’évaluation d’émotion, et
    comme étant une émotion associée à la valeur indicative de chaque expression faciale de l’utilisateur lorsque l’évènement spécifique s’est produit, en fonction de la seconde règle d’évaluation d’émotion.
  6. Dispositif d’évaluation d’émotion selon l'une quelconque des revendications 3 à 5, dans lequel
    la règle d’évaluation d’émotion est préparée pour chaque utilisateur et
    l’unité d’évaluation d’émotion évalue l’émotion de l’utilisateur comme étant une émotion qui est associée à la valeur indicative acquise de chaque expression faciale de l’utilisateur en fonction de la règle d’évaluation d’émotion de l’utilisateur qui est identifié par des informations d’identification d’utilisateur.
  7. Dispositif d’évaluation d’émotion selon la revendication 1 ou 2, comprenant en outre :
    un modèle d’évaluation d’émotion (115) qui est entraîné en utilisant, comme données d’apprentissage, (A) une valeur indicative de chaque expression faciale de l’utilisateur entre les évènements consécutifs, et (B) une valeur indiquant une émotion qui est corrélée avec les évènements consécutifs, et
    l’unité d’évaluation d’émotion évalue l’émotion de l’utilisateur en fonction de la valeur indiquant l’émotion qui est produite par le modèle d’évaluation d’émotion, après l’introduction dans celui-ci de la valeur indicative de chaque expression faciale de l’utilisateur.
  8. Dispositif d’évaluation d’émotion selon la revendication 7, dans lequel
    le modèle d’évaluation d’émotion est entraîné, lorsqu’un évènement spécifique qui peut réduire l’exactitude d’évaluation d’émotion ne s’est pas produit entre les évènements consécutifs, en utilisant, comme données d’apprentissage, (A) la valeur indicative de chaque expression faciale de l’utilisateur entre la pluralité d’évènements consécutifs, et (B) la valeur indiquant l’émotion qui est corrélée avec la pluralité d’évènements consécutifs, et
    l’unité d’évaluation d’émotion évalue l’émotion de l’utilisateur, lorsque l’évènement spécifique ne s’est pas produit, en fonction de la valeur indiquant l’émotion qui est produite par le modèle d’évaluation d’émotion, après l’introduction dans celui-ci de la valeur indicative de chaque expression faciale de l’utilisateur acquis lorsque l’évènement spécifique ne s’est pas produit.
  9. Dispositif d’évaluation d’émotion selon la revendication 7, dans lequel
    (I) le modèle d’évaluation d’émotion comprend
    un premier modèle d’évaluation d’émotion entraîné en utilisant, comme données d’apprentissage, (A) la valeur indicative de chaque expression faciale de l’utilisateur entre les évènements consécutifs, et (B) la valeur indiquant l’émotion qui est corrélée avec les évènements consécutifs, lorsqu’un évènement spécifique qui peut réduire l’exactitude d’évaluation d’émotion ne s’est pas produit entre les évènements consécutifs, et
    un second modèle d’évaluation d’émotion entraîné en utilisant, comme données d’apprentissage, (A) la valeur indicative de chaque expression faciale de l’utilisateur entre les évènements consécutifs, et (B) la valeur indiquant l’émotion qui est corrélée avec ces évènements, lorsque l’évènement spécifique s’est produit entre les évènements consécutifs, et
    (II) l’unité d’évaluation d’émotion évalue l’émotion de l’utilisateur
    comme étant une émotion correspondant à la valeur indiquant l’émotion qui est produite par le premier modèle d’évaluation d’émotion, après l’introduction dans celui-ci de la valeur indicative de chaque expression faciale de l’utilisateur acquise lorsque l’évènement spécifique ne s’est pas produit, et
    comme étant l’émotion correspondant à la valeur indiquant l’émotion qui est produite par le second modèle d’évaluation d’émotion en introduisant dans celui-ci (= le second modèle) la valeur indicative de chaque expression faciale de l’utilisateur acquise lorsque l’évènement spécifique s’est produit.
  10. Dispositif d’évaluation d’émotion selon l'une quelconque des revendications 7 à 9, dans lequel
    le modèle d’évaluation d’émotion est préparé/fourni pour chaque utilisateur, et
    l’unité d’évaluation d’émotion (108) évalue l’émotion de l’utilisateur en fonction d’une valeur indiquant une émotion, qui est une valeur produite par le modèle d’évaluation d’émotion après l’introduction, dans le modèle d’évaluation d’émotion (115) de l’utilisateur qui est identifié par des informations d’identification d’utilisateur, de la valeur indicative acquise du score d’expression faciale de chaque expression faciale de l’utilisateur.
  11. Dispositif d’évaluation d’émotion selon l'une quelconque des revendications 4, 5, 8, 9, dans lequel
    l’évènement spécifique est un évènement indiquant un état de somnolence de l’utilisateur ou un évènement indiquant que l’utilisateur participe à une conversation.
  12. Système d’évaluation d’émotion (1), caractérisé en ce qu’il comprend un dispositif d’évaluation d’émotion (10) selon l’une quelconque des revendications 1 à 11, et au moins un capteur parmi un capteur (20) qui détecte des opérations effectuées par l’utilisateur sur un véhicule, un dispositif de prise d’image (30), un dispositif d’acquisition d’informations d’encombrement (40), un capteur de distance (50), un dispositif d’acquisition d’informations de position (60), un dispositif de surveillance d’état (70) et un dispositif d’acquisition d’informations biométriques (80).
FR2008036A 2019-08-01 2020-07-29 Dispositif d’evaluation d’emotion Active FR3099610B1 (fr)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019-142532 2019-08-01
JP2019142532A JP7251392B2 (ja) 2019-08-01 2019-08-01 感情推定装置

Publications (2)

Publication Number Publication Date
FR3099610A1 true FR3099610A1 (fr) 2021-02-05
FR3099610B1 FR3099610B1 (fr) 2023-06-30

Family

ID=74241745

Family Applications (1)

Application Number Title Priority Date Filing Date
FR2008036A Active FR3099610B1 (fr) 2019-08-01 2020-07-29 Dispositif d’evaluation d’emotion

Country Status (3)

Country Link
US (1) US11393226B2 (fr)
JP (1) JP7251392B2 (fr)
FR (1) FR3099610B1 (fr)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20240225503A9 (en) * 2021-03-24 2024-07-11 Nec Corporation Information processing device, control method, and storage medium
CN113143274B (zh) * 2021-03-31 2023-11-10 中国科学院心理研究所 基于摄像头的情绪预警方法
JP2023131690A (ja) * 2022-03-09 2023-09-22 オムロン株式会社 心理状態推定装置、心理状態推定方法およびプログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080238694A1 (en) * 2007-03-26 2008-10-02 Denso Corporation Drowsiness alarm apparatus and program
US20090285456A1 (en) * 2008-05-19 2009-11-19 Hankyu Moon Method and system for measuring human response to visual stimulus based on changes in facial expression
US20170083757A1 (en) * 2015-09-17 2017-03-23 Toyota Jidosha Kabushiki Kaisha Lifelog recording system
US10043063B1 (en) * 2017-01-31 2018-08-07 The Jury Lab LLC Systems and methods for assessing the emotional response of individuals on a panel

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005143896A (ja) 2003-11-17 2005-06-09 Nissan Motor Co Ltd 運転者心理状態判定装置
JP4641389B2 (ja) 2004-06-03 2011-03-02 キヤノン株式会社 情報処理方法、情報処理装置
US10076273B2 (en) * 2006-07-06 2018-09-18 Biorics Nv Real-time monitoring and control of physical and arousal status of individual organisms
JP2008204185A (ja) 2007-02-20 2008-09-04 Toyota Motor Corp 運転心理状態判定装置
JP6467965B2 (ja) * 2015-02-13 2019-02-13 オムロン株式会社 感情推定装置及び感情推定方法
JP6724827B2 (ja) 2017-03-14 2020-07-15 オムロン株式会社 人物動向記録装置
JP6683163B2 (ja) 2017-03-29 2020-04-15 マツダ株式会社 車両運転支援システム
US20190023208A1 (en) * 2017-07-19 2019-01-24 Ford Global Technologies, Llc Brake prediction and engagement
US10745029B2 (en) * 2017-12-27 2020-08-18 The Hi-Tech Robotic Systemz Ltd Providing relevant alerts to a driver of a vehicle

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080238694A1 (en) * 2007-03-26 2008-10-02 Denso Corporation Drowsiness alarm apparatus and program
US20090285456A1 (en) * 2008-05-19 2009-11-19 Hankyu Moon Method and system for measuring human response to visual stimulus based on changes in facial expression
US20170083757A1 (en) * 2015-09-17 2017-03-23 Toyota Jidosha Kabushiki Kaisha Lifelog recording system
US10043063B1 (en) * 2017-01-31 2018-08-07 The Jury Lab LLC Systems and methods for assessing the emotional response of individuals on a panel

Also Published As

Publication number Publication date
US20210034891A1 (en) 2021-02-04
US11393226B2 (en) 2022-07-19
FR3099610B1 (fr) 2023-06-30
JP2021024378A (ja) 2021-02-22
JP7251392B2 (ja) 2023-04-04

Similar Documents

Publication Publication Date Title
FR3099610A1 (fr) Dispositif d’evaluation d’emotion
US8400313B2 (en) Vehicle driver sleep state classification generating device based on Hidden Markov Model, sleep state classification device and warning device
US20190202448A1 (en) Method for smartphone-based accident detection
EP3465532B1 (fr) Dispositif de commande, système et procédé pour déterminer la charge de perception d'une scène de conduite visuelle et dynamique
JP4803490B2 (ja) 運転者状態推定装置及び運転支援装置
US20120071780A1 (en) Method and a System for Classifying Neural Signals, and a Method of Selecting Electrodes for Direct Neural Control
EP3588372A1 (fr) Commande d'un véhicule autonome basée sur le comportement du passager
JP2020109578A (ja) 情報処理装置及びプログラム
US20040243401A1 (en) Apparatus for detecting fatigue and doze by voice, and recording medium
US20220277570A1 (en) Cognitive function estimation device, learning device, and cognitive function estimation method
WO2000024309A1 (fr) Detection de somnolence d'un conducteur de vehicule
WO2019180393A1 (fr) Méthode de génération d'un indicateur d'état d'une personne dans le coma
WO2010122172A1 (fr) Systeme et procede de determination de l'activite d'un element mobile
JP2020166524A (ja) 監視システム、監視方法およびコンピュータプログラム
EP2638492B1 (fr) Dispositif de détection à capteur, procédé de détection et programme d'ordinateur correspondants
Son et al. Cognitive workload estimation through lateral driving performance
EP3492015A1 (fr) Dispositif et procede de detection d'emotion
JP7068156B2 (ja) 情報処理装置及びプログラム
FR2860971A1 (fr) Procede de posturographie et systeme le mettant en oeuvre
FR3103606A1 (fr) Surveillance de passagers de véhicules par comparaison de valeurs de paramètres physiologiques à des valeurs de référence
CN111723752A (zh) 基于情绪识别的驾驶员上岗驾驶检测方法及装置
FR3107495A1 (fr) Dispositif de surveillance pour surveiller une personne qui conduit un véhicule
JP7295790B2 (ja) 車載機、処理装置及びプログラム
FR3057516A1 (fr) Dispositif de prevention des situations dangereuses pour un conducteur d'un vehicule de transport et procede associe
JP2021019940A (ja) 生体情報抽出装置

Legal Events

Date Code Title Description
PLFP Fee payment

Year of fee payment: 2

PLSC Publication of the preliminary search report

Effective date: 20211105

PLFP Fee payment

Year of fee payment: 3

PLFP Fee payment

Year of fee payment: 4

PLFP Fee payment

Year of fee payment: 5