EP3908911A1 - Systeme interactif - Google Patents

Systeme interactif

Info

Publication number
EP3908911A1
EP3908911A1 EP20705404.0A EP20705404A EP3908911A1 EP 3908911 A1 EP3908911 A1 EP 3908911A1 EP 20705404 A EP20705404 A EP 20705404A EP 3908911 A1 EP3908911 A1 EP 3908911A1
Authority
EP
European Patent Office
Prior art keywords
occupant
comfort index
emotional
interactive system
score
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
EP20705404.0A
Other languages
German (de)
English (en)
Inventor
Georges De Pelsemaeker
Antoine Boilevin
Hamid BESSAA
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Valeo Electrification SAS
Original Assignee
Valeo Systemes Thermiques SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Valeo Systemes Thermiques SAS filed Critical Valeo Systemes Thermiques SAS
Publication of EP3908911A1 publication Critical patent/EP3908911A1/fr
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q3/00—Arrangement of lighting devices for vehicle interiors; Lighting devices specially adapted for vehicle interiors
    • B60Q3/80—Circuits; Control arrangements
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60H—ARRANGEMENTS OF HEATING, COOLING, VENTILATING OR OTHER AIR-TREATING DEVICES SPECIALLY ADAPTED FOR PASSENGER OR GOODS SPACES OF VEHICLES
    • B60H3/00—Other air-treating devices
    • B60H3/0007—Adding substances other than water to the air, e.g. perfume, oxygen
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/10—Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/22—Display screens
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/25—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using haptic output
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/26—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using acoustic output
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/22—Psychological state; Stress level or workload
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/011—Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns

Definitions

  • the invention relates to an interactive system with an occupant of a motor vehicle.
  • the invention also relates to a method of interaction with an occupant of a motor vehicle.
  • the transition to the autonomous car presents more and more challenges in terms of creating an empathetic vehicle that will make driving and / or travel more pleasant.
  • the remaining progress can be grouped into three areas, including safety, comfort and entertainment.
  • the system used includes, if possible, a camera, for example of the GoPro® type, or even a webcam. Such a device makes it possible to perform facial recognition of the occupant and thus adapt the interactive system.
  • a known model consists in obtaining, from the various parameters, a map of the emotional state of the passenger.
  • a map of the emotional state of the passenger can, for example, be represented by a point in a two-dimensional space formed by an abscissa axis corresponding to the valence (intrinsically pleasant or unpleasant quality of a stimulus or a situation) and a ordinate axis corresponding to the arousal (force of the emotional stimulus).
  • the invention aims to improve known systems by proposing an interactive system making it possible to assess the emotional state of an occupant of a vehicle, by using an emotional index making it possible to easily determine the stimuli or stimuli. to be applied to said occupant and thus have an impact on the safety and / or comfort and / or entertainment of the occupants of the vehicle.
  • the subject of the invention is an interactive system with an occupant of a motor vehicle comprising:
  • Interactive system with an occupant of a motor vehicle comprising:
  • a measuring device comprising at least one sensor arranged to acquire at least one parameter related to the occupant of said vehicle,
  • This invention is remarkable in that an emotional comfort index is calculated from the representative data and that at least one actuator is configured to activate at least one multi-sensory stimulus to interact with the occupant, said stimulus making it possible to modify the emotional state of said occupant.
  • the emotional comfort index can be calculated using the formula / C1 being the emotional comfort index and
  • CISn being a score of the comfort index determined at a time n.
  • the score of the comfort index is a function of the valence and the arousal.
  • the score of the comfort index is calculated from the following formula: vn being valence and an arousal,
  • CISn being a comfort index score determined at a time n.
  • n is between 10 milliseconds and 300 milliseconds.
  • the values of the comfort index score are collected for a period of between 0.1 seconds and 30 seconds, particularly 0.1 seconds and 5 seconds.
  • the sensors are composed of at least one ultra-wideband radar and an infrared camera.
  • the ultra wideband radar has a frequency between 10GHz and 1THz, in particular between 50GHz and 160GHz.
  • the infrared camera detects
  • wavelengths between 0.7mm and 100 miti in particular between 25mm and 100mm.
  • the at least one multi-sensory stimulus is a perfume and / or essential oils and / or a nebulizer and / or lighting and / or sound and / or music and / or vibration and / or a massage and / or a flow of air and / or light.
  • the interactive system has a learning loop making it possible to improve the processing of the emotion evaluation model.
  • the learning loop makes it possible to create a database.
  • the interactive system comprises at least one display means, particularly a user interface.
  • the at least one display means can be a portable device, in particular a watch and / or glasses and / or a bracelet and / or a belt and / or a shirt.
  • the at least one display means can be a text and / or a color and / or a sound and / or a vibration.
  • the representative data is pretreated before activating the at least one multi-sensory stimulus.
  • the representative data placed in 3D space will be correlated to one or more maps corresponding to different stimuli.
  • the pretreatment consists in taking into account additional data, in particular the culture and / or education of the occupant and / or the life and personal experience of said occupant, and / or age and / or gender and / or type of clothing.
  • the additional data can be determined by means of an autonomous measurement system allowing the measurement of air quality and / or pollution, and / or microparticles and / or allergens and / or the sound environment and / or the light environment and / or the temperature and / or the humidity.
  • the evaluation model is created using artificial intelligence.
  • the multi-sensory stimulus allows a
  • the multi-sensory stimulus allows a remediation of the occupant's emotional state.
  • the multi-sensory stimulus allows a
  • the at least one sensor can be chosen from: a camera, in particular far infrared and / or near infrared and / or in the visible, a microphone, a portable device, a sensor installed in the vehicle in particular a conductive element placed in a seat and / or in a steering wheel and / or in an armrest.
  • the interactive system can include at least one far infrared camera, several vital sign sensors and a microphone.
  • the invention also relates to a method of interaction with an occupant of a motor vehicle comprising the steps consisting in:
  • Figure 1 is a schematic diagram of at least part of the process according to the invention.
  • Figure 2 is a schematic representation of a space
  • Figure 3 is a schematic representation of the step of analyzing the process of Figure 1,
  • Figure 4 is a schematic representation of the step of analyzing the process of Figure 1,
  • Figure 5 is a schematic representation of the multi-sensory mapping used in the process of Figure 1,
  • Figure 6 is a schematic representation of the construction of the cartography of Figure 5
  • the interactive system proposed in the invention uses a method having five steps. These five steps shown diagrammatically in [FIG. 1] consist of: a) a measurement step M carried out by a measurement device and during which one or more parameters relating to the occupant (s) are collected, b) an analysis step A to map the emotional state of
  • the occupant c) a calculation step C during which an emotional comfort index C1 is determined, d) an action step Ac during which at least one multi-sensory stimulus is applied so as to modify the emotional state of the occupant (s).
  • the OR the stimuli are chosen as a function of the value of the emotional comfort index C1 calculated in the previous step, e) a possible information step Inf during which the occupant is informed of his emotional state and of the stimuli applied.
  • the measurement device will acquire one or more parameters describing the status and therefore the emotional state of the occupant (what is described for an occupant can of course be applied to several occupants of the vehicle simultaneously). Parameters describing the environment in which the occupant is located can also be collected in order to deduce their possible effect on the emotional state of the occupant.
  • the device described in the preceding paragraphs is composed of one or more sensors. These sensors are preferably sensors
  • the vehicle on board the vehicle, such as one or more cameras, vital sign sensors, one or more microphones or even contact sensors.
  • the measurements are made by cameras, in particular infrared cameras which take images in the infrared range. These cameras are directed towards the expected positions of the various occupants of the vehicle: driver's seat, passenger seat, rear seat, etc. In particular, one or more very wide angle cameras (for example of the “fisheye” or “fish eye” type). »In French) can cover several positions simultaneously. Infrared cameras preferentially detect wavelengths between 0.7mm and 100mm, preferably 25mm and 100mm.
  • NIR near infrared cameras
  • Fl R far infrared cameras
  • the images from nearby infrared cameras can for example be used to delimit the position, dimensions and movements of different parts of the body of an occupant of the vehicle.
  • the images from far infrared cameras can for example be used to identify the body parts of the occupant exchanging the most heat with the passenger compartment, for example the head and hands, which are not reopened with clothing and will therefore appear warmer.
  • the FIR and RGB NIR cameras can be merged to better identify a fixed location on the more precise RGB camera and follow it on the FIR camera.
  • the images from nearby infrared cameras can for example be used to delimit the position, dimensions and movements of different parts of the body of an occupant of the vehicle.
  • the images from far infrared cameras can for example be used to identify the parts of the occupant's body exchanging the most heat with the passenger compartment, for example the head and hands, which are not covered with clothing and will thus appear more hot.
  • the measurement device also makes it possible to determine the environment of the passenger or passengers, this being able to influence his emotional state.
  • data such as temperature, light intensity, noise, vehicle speed, etc. will be able to be collected.
  • the measuring device includes at least one microphone allowing
  • the measuring device can also include biosensors which can detect parameters such as organic compounds, ions, bacteria, etc.
  • the measuring device can also be composed of vital sign sensors. These can for example be in the form of contactless sensors such as for example a radar, a camera, or even portable elements (watch, shirt, bracelet, etc.).
  • Vital sign sensors in contact with the passenger can also be used. They are, for example, in the form of elements
  • a preferred embodiment uses an ultra wideband short range radar.
  • the radar frequency can for example be between 10 GHz and 1 THz, preferably between 50 GHz and 160 GHz.
  • the next analysis step A consists in evaluating and interpreting the parameters obtained during the measurement step M.
  • these parameters will be translated into representative data easily represented in a space
  • This 2D space is shown in [ Figure 3]. It is formed by a first axis corresponding to the valence v n and a second axis corresponding to the arousal a n .
  • the valence characterizes the level of pleasure or annoyance associated with an emotion whereas the arousal can be defined as being the intensity of the affects and the response generated by this emotion.
  • the individual's control status can also be assessed from measurements made on the vehicle. We then speak of dominance. The space used is then a three-dimensional space and no longer two-dimensional.
  • the cartography is then modified taking into account the impact of the culture and / or education of the occupant.
  • This step can for example be carried out by deep learning (or “deep leaming” in English), allowing obtain a user profile for each occupant
  • the last step in the construction of the mapping concerns the impact of the personal life and / or the experience of the occupant This step is preferably done, by statistical learning (or "machine leaming" in English) thus allowing adapt the mapping in real time.
  • the computation step C of the emotional comfort index C1 is carried out by means of several measurements of the score of the comfort index CISn which can be deduced from the representative data described above and therefore from the values of the valence vn and of the arousal year at a given time.
  • the CISn score is calculated from a function whose variables are valence vn and arousal an, respectively representing the positive or negative experience of the occupant, as well as the importance of said experience.
  • the CISn comfort index score can be calculated from the following formula in which v n is valence, and an is arousal.
  • the score of the CISn comfort index can be calculated from a more complex formula depending on the valence v n and the arousal an.
  • the Ac action step shown in [Figure 1] corresponds to the application of one or more stimuli.
  • the choice of stimulus depends on the desired effect.
  • different types of actions can be selected.
  • the multisensory stimuli used can, for example, be: a) For sight: use of interior lighting with different colors
  • the interactive system may have one or more display means. This may be, for example, in the form of a portable device, in particular a watch and / or glasses and / or a bracelet and / or a belt and / or a shirt and / or a mobile telephone.
  • the display means can also be in the form of text and / or a color and / or a sound and / or a vibration.

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Dermatology (AREA)
  • General Health & Medical Sciences (AREA)
  • Neurology (AREA)
  • Neurosurgery (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

L'invention concerne un système interactif avec un occupant d'un véhicule automobile comportant : a. un dispositif de mesure comprenant au moins un capteur agencé pour acquérir au moins un paramètre lié à l'occupant dudit véhicule, b. une unité de traitement embarquée agencée pour recevoir ledit paramètre et définir une donnée représentative de l'état émotionnel dudit occupant au moyen dudit modèle, ladite donnée représentative étant un score d'index de confort (CISn) dudit occupant, c. la donnée représentative correspondant à un point dans un espace bidimensionnel (anvn) de caractérisation de l'état émotionnel de l'occupant, d. caractérisé en ce qu'un index de confort émotionnel est calculé à partir de la donnée représentative, e. et qu'au moins un actionneur est configuré pour activer au moins un stimulus multi sensoriel pour interagir avec l'occupant, ledit stimulus permettant de modifier l'état émotionnel dudit occupant.

Description

Système interactif
L’invention concerne un système interactif avec un occupant d’un véhicule automobile. L’invention concerne également un procédé d'interaction avec un occupant d'un véhicule automobile.
Le passage à la voiture autonome présente de plus en plus de challenges quant à la création d'un véhicule empathique qui permettra de rendre la conduite et/ou le voyage plus agréable. Les progrès restants peuvent être regroupés en trois axes regroupant la sécurité, le confort et le divertissement.
Des exemples de systèmes existant permettent d'évaluer l'état émotionnel d'un occupant d'un véhicule automobile. Il est en effet connu d’effectuer des mesures permettant de déterminer différents paramètres concernant un occupant, et ainsi en déduire une donnée représentative de son état émotionnel.
De manière générale, les mesures peuvent être effectuées grâce à des
dispositifs portables permettant de récolter des données telle que la conductivité de la peau, la température, ou encore le rythme cardiaque. Le système utilisé comporte si possible une caméra, par exemple de type GoPro® ou encore une webcam. Un tel dispositif permet d’effectuer une reconnaissance faciale de l'occupant et ainsi adapter le système interactif.
Dans les systèmes connus, les paramètres obtenus sont ensuite utilisés pour déterminer l’état émotionnel de l'occupant. Un modèle connu consiste à obtenir, à partir des différents paramètres, une cartographie de l'état émotionnel du passager. Ainsi, celui-ci peut, par exemple, être représenté par un point dans un espace à deux dimensions formé d'un axe des abscisses correspondant à la valence (qualité intrinsèquement agréable ou désagréable d'un stimulus ou d'une situation) et un axe des ordonnées correspondant à l'arousal (force du stimulus émotionnel).
L'invention vise à améliorer les systèmes connus en proposant un système interactif permettant d'évaluer l'état émotionnel d’un occupant d'un véhicule, en utilisant un index émotionnel permettant de déterminer facilement le ou les stimuli à appliquer sur ledit occupant et ainsi avoir un impact sur la sécurité et/ou le confort et/ou le divertissement de ou des occupants du véhicule.
L'invention a pour objet un système interactif avec un occupant d'un véhicule automobile comportant: Système interactif avec un occupant d'un véhicule automobile comportant:
• un dispositif de mesure comprenant au moins un capteur agencé pour acquérir au moins un paramètre lié à l'occupant dudit véhicule,
• une unité de traitement embarquée agencée pour recevoir ledit
paramètre et définir une donnée représentative de l’état émotionnel dudit occupant au moyen dudit modèle,
• la donnée représentative correspondant à un point dans un espace
bidimensionnel de caractérisation de l’état émotionnel de l’occupant.
Cette invention est remarquable en ce qu'un index de confort émotionnel est calculé à partir de la donnée représentative et qu’au moins un actionneur est configuré pour activer au moins un stimulus multi sensoriel pour interagir avec l’occupant, ledit stimulus permettant de modifier l’état émotionnel dudit occupant.
Selon un aspect de l’invention, l’index de confort émotionnel peut être calculé en utilisant la formule/ Cl étant l’index de confort émotionnel et
CISn étant un score de l'index de confort déterminé à un temps n.
Selon un aspect de l'invention, le score de l’index de confort est une fonction de la valence et de l'arousal.
Selon un autre aspect de l’invention, le score de l’index de confort est calculé à partir de la formule suivante : vn étant la valence et an l’arousal,
CISn étant un score d’index de confort déterminé à un temps n.
Selon un aspect de l'invention, n est compris entre 10 millisecondes et 300 millisecondes.
Selon un autre aspect de l’invention, les valeurs du score d'index de confort sont récoltées pendant une durée comprise entre 0,1 secondes et 30 secondes, particulièrement 0,1 secondes et 5 secondes. Selon un autre aspect de l’invention, les capteurs sont composés d’au moins un radar à ultra large bande et d’une caméra infrarouge.
Selon un aspect de l’invention, le radar à ultra large bande a une fréquence comprise entre 10GHz et 1THz, en particulier entre 50GHz et 160GHz.
Selon un aspect de l’invention, la caméra infrarouge détecte des
longueursd’onde comprises entre 0,7mm et 100 miti, en particulier entre 25mm et 100mm.
Selon un aspect de l’invention, l'au moins un stimulus multi sensoriel est un parfum et/ou des huiles essentielles et/ou un nébuliseur et/ou un éclairage et/ou un son et/ou une musique et/ou une vibration et/ou un massage et /ou un flux d'air et/ou de la lumière.
Selon un aspect de l'invention, le système interactif possède une boucle d’apprentissage permettant d'améliorer le traitement du modèle d’évaluation de l’émotion.
Selon un aspect de l’invention, la boucle d’apprentissage permet de créer une base de données.
Selon un aspect de l'invention, le système interactif comporte au moins un moyen d’affichage, particulièrement une interface utilisateur.
Selon un aspect de l’invention, l'au moins un moyen d'affichage peut être un dispositif portable, en particulier une montre et/ou des lunettes et/ou un bracelet et/ou une ceinture et/ou une chemise.
Selon un aspect de l’invention, l’au moins un moyen d’affichage peut être un texte et/ou une couleur et/ou un son et/ou une vibration.
Selon un aspect de l’invention, la donnée représentative est prétraitée avant d’activer l’au moins un stimulus multi sensoriel.
Selon un aspect de l’invention, la donnée représentative placée dans l'espace 3D va être corrélée à une ou plusieurs cartographies correspondant à différents stimuli.
Selon un aspect de l'invention, le prétraitement consiste prendre en compte des données supplémentaires, en particulier la culture et/ou l’éducation de l'occupant et/ou la vie et expérience personnelle dudit occupant, et/ou l’âge et/ou le genre et/ou le type d’habillement.
Selon un aspect de l’invention, les données supplémentaires peuvent être déterminées au moyen d’un système de mesures autonome permettant la mesure de la qualité de l’air et/ou de la pollution, et/ou des microparticules et/ou des allergènes et/ou de l’environnement sonore et/ou de l’environnement lumineux et/ou de la température et/ou du taux d’humidité.
Selon un aspect de l’invention, le modèle d'évaluation est créé au moyen d'une intelligence artificielle.
Selon un aspect de l’invention, le stimulus multi sensoriel permet une
modification de l’état émotionnel de l’occupant.
Selon un aspect de l'invention, le stimulus multi sensoriel permet une remédiation de l'état émotionnel de l'occupant.
Selon un aspect de l’invention, le stimulus multi sensoriel permet une
amplification de l'état émotionnel de l’occupant.
Selon un aspect de l’invention, l’au moins un capteur peut être choisi parmi : une caméra, en particulier à infra rouges lointains et/ou à proches infra rouges et/ou dans le visible, un microphone, un dispositif portable, un capteur installé dans le véhicule en particulier un élément conducteur placé dans un siège et/ou dans un volant et/ou dans un accoudoir.
Selon un aspect de l’invention, le système interactif peut comporter au moins une caméra à infra rouges lointains, plusieurs capteurs de signes vitaux et un microphone.
L’invention concerne également un procédé d’interaction avec un occupant d’un véhicule automobile comportant les étapes consistant à :
• mesurer un paramètre lié à un occupant d’un véhicule au moyen d’au moins un capteur,
• analyser le paramètre au moyen d'une unité de traitement et
déterminer une donnée représentative de l'état émotionnel de l'occupant, cette donnée correspondant à un score d’index de confort, • calculer un index de confort émotionnel à partir dudit score d’index de confort,
• actionner un actionneur de manière à activer au moins un stimulus multi sensoriel pour interagir avec l’occupant, ledit stimulus permettant de modifier l'état émotionnel dudit occupant pour interagir avec ledit occupant en fonction de l'index de confort émotionnel..
[Figure 1 ] : la figure 1 est un diagramme schématique d’au moins une partie du procédé selon l’invention,
[Figure 2] : la figure 2 est une représentation schématique d'un espace
bidimensionnel AV utilisé dans une des étapes du procédé de la figure 1 ,
[Figure 3] : la figure 3 est une représentation schématique de l'étape d’analyse du procédé de la figure 1 ,
[Figure 4] : la figure 4 est une représentation schématique de l'étape d’analyse du procédé de la figure 1 ,
[Figure 5] : la figure 5 est une représentation schématique de la cartographie multi sensorielle utilisée dans le procédé de la figure 1 ,
[Figure 6] : la figure 6 est une représentation schématique de la construction de la cartographie de la figure 5,
Le système interactif proposé dans l'invention utilise un procédé possédant cinq étapes. Ces cinq étapes représentées schématiquement sur la [figure 1 ] consistent en : a) une étape de mesures M effectuée par un dispositif de mesure et pendant laquelle un ou plusieurs paramètres concernant le ou les occupants sont récoltés, b) une étape d’analyse A permettant de cartographier l’état émotionnel de
l’occupant, c) une étape de calcul C lors de laquelle un index de confort émotionnel Cl est déterminé, d) une étape d’action Ac lors de laquelle au moins un stimulus multi sensoriel est appliqué de manière à modifier l’état émotionnel du ou des occupants. Le ou les stimuli sont choisis en fonction de la valeur de l’index de confort émotionnel Cl calculé dans l’étape précédente, e) une éventuelle étape d’information Inf lors de laquelle l’occupant est informé de son état émotionnel et des stimuli appliqués.
Lors de l’étape de mesure M, le dispositif de mesure va acquérir un ou plusieurs paramètres décrivant le statut et donc l'état émotionnel de l'occupant (ce qui est décrit pour un occupant peut bien sûr être appliqué à plusieurs occupants du véhicule simultanément). Des paramètres décrivant l'environnement dans lequel se trouve l’occupant peuvent également être récoltés de manière à en déduire leur effet éventuel sur l’état émotionnel de l’occupant.
Le dispositif décrit dans les paragraphes précédents est composé d'un ou plusieurs capteurs. Ces capteurs sont préférentiellement des capteurs
embarqués dans le véhicule, comme par exemple une ou plusieurs caméras, des capteurs de signes vitaux, un ou plusieurs microphones ou encore des capteurs de contact.
Dans un mode de réalisation préféré, les mesures sont effectuées par des caméras, en particulier des caméras infrarouges qui prennent des images dans le domaine infrarouge. Ces caméras sont dirigées vers les positions attendues des différents occupants du véhicule : siège conducteur, siège passager, banquette arrière, etc... En particulier, une ou plusieurs caméras très grand angle (par exemple de type « fisheye » ou « œil de poisson » en français) peuvent couvrir plusieurs positions de façon simultanée. Les caméras infrarouges détectent préférentiellement des longueurs d’onde comprises entre 0,7mm et 100mm, préférentiellement 25mm et 100mm.
Ces caméras comportent, avantageusement, des caméras infrarouges proches (« NIR » pour « Near Infra Red »), et/ou des caméras infrarouges lointains (« Fl R » pour « Far Infra Red »).
Les images issues des caméras infrarouges proches peuvent par exemple servir à délimiter la position, dimensions et mouvements de différentes parties du corps d'un occupant du véhicule. Les images issues des caméras infrarouges lointains peuvent par exemple servir à identifier les parties du corps de l'occupant échangeant le plus de chaleur avec l'habitacle, par exemple la tête et les mains, qui ne sont pas rerouvertes de vêtements et apparaîtront ainsi plus chaudes. Les caméra FIR et RGB NIR peuvent être fusionnées pour mieux identifier un endroit fixe sur la caméra RGB plus précise et le suivre sur la caméra FIR.
Les images issues des caméras infrarouges proches peuvent par exemple servir à délimiter la position, dimensions et mouvements de différentes parties du corps d'un occupant du véhicule. Les images issues des caméras infrarouges lointains peuvent par exemple servir à identifier les parties du corps de l'occupant échangeant le plus de chaleur avec l'habitacle, par exemple la tête et les mains, qui ne sont pas recouvertes de vêtements et apparaîtront ainsi plus chaudes.
Comme précisé ci-dessus, le dispositif de mesure permet également de déterminer l'environnement du ou des passagers, celui-ci pouvant influer sur son état émotionnel. Ainsi, des données telles que la température, l’intensité lumineuse, le bruit, la vitesse du véhicule, etc... vont pouvoir être récoltées.
D'autres types de paramètres seront également récupérés au moyen d’autres capteurs.
Le dispositif de mesure comporte au moins un microphone permettant
d’enregistrer la voix du ou des passagers.
Le dispositif de mesure peut également comporter des biocapteurs pouvant détecter des paramètres tels que des composés organiques, des ions, des bactéries, etc...
Le dispositif de mesure peut aussi être composé de capteurs de signes vitaux. Ceux-ci peuvent par exemple se présenter sous la forme de capteurs sans contact comme par exemple un radar, une caméra, ou encore des éléments portables (montre, chemise, bracelet, etc...).
Des capteurs de signes vitaux en contact avec le passager peuvent également être utilisés. Ils se présentent, par exemple, sous la forme d’éléments
conducteurs installés dans des parties du véhicule (accoudoir, volant, siège, etc...). Ces capteurs de signes vitaux mesurent des paramètres tels que le rythme et/ou la fréquence cardiaque, la fréquence et/ou l’amplitude respiratoire, la conductivité de la peau, les ondes cérébrales, etc... Un mode de réalisation préféré utilise un radar de courte portée à ultra large bande. La fréquence du radar peut par exemple être comprise entre 10GHz et 1 THz, préférentiellement entre 50GHz et 160GHz.
L'étape suivante d’analyse A consiste à évaluer et interpréter les paramètres obtenus lors de l’étape de mesure M. Ainsi ces paramètres vont être traduits en une donnée représentative facilement représentée dans un espace
bidimensionnel ou espace 2D anvn de caractérisation de l'état émotionnel. Cet espace 2D est représenté sur la [figure 3]. Il est formé d’un premier axe correspondant à la valence vn et d'un deuxième axe correspondant à l'arousal an.
La valence caractérise le niveau de plaisir ou de désagrément associé à une émotion alors que l’arousal peut être défini comme étant l'intensité des affects et de la réponse générée par cette émotion.
L’état de contrôle de l'individu peut aussi être évalué à partir de mesures faites sur le véhicule. On parle alors de dominance. L’espace utilisé est alors un espace tridimensionnel et non plus bidimensionnel.
La [figure 3] illustre le placement de la donnée représentative décrite
précédemment, dans l’espace bidimensionnel anvn. Cette donnée varie au cours du temps passé par l'occupant dans le véhicule. Ainsi, une première donnée représentative est fournie pour un temps to alors que la donnée représentative correspondant au présent est illustrée par tactual. Des mesures en continu sont de préférence effectuées, de manière à obtenir la courbe représentée sur la [figure 3]. Toutefois, des mesures discrètes peuvent également être réalisées.
L’état émotionnel de l’occupant en fonction du placement de la donnée
représentative sur l’espace 2D anvn peut alors être donné.
Un exemple de la cartographie décrite précédemment, est représenté sur la
[figure 4]. Cette cartographie de l’état émotionnel de l’occupant va ensuite être corrélée à une ou plusieurs cartographies correspondant à différents stimuli. Ces stimuli sont basés sur les cinq sens : vue, odorat, goût, toucher, ouïe. Les cartographies correspondant à chacun des cinq sens sont représentées sur la figure 5. La cartographie des cinq sens s'effectue en trois étapes illustrées sur la [figure 6]. En effet, les réglages initiaux du véhicule peuvent être décrits comme étant ceux correspondant à l'état émotionnel primaire de l'occupant, c'est-à-dire un état émotionnel ou l'occupant réagi de manière primaire.
La cartographie est ensuite modifiée en prenant en compte l'impact de la culture et/ou de l'éducation de l'occupant Cette étape peut par exemple, être effectuée par apprentissage profond (ou « deep leaming » en anglais), permettant d'obtenir un profil utilisateur pour chaque occupant
La dernière étape dans la construction de la cartographie, concerne l'impact de la vie personnelle et/ou de l'expérience de l'occupant Cette étape se fait de préférence, par apprentissage statistique (ou « machine leaming » en anglais) permettant ainsi d'adapter en temps réel la cartographie.
L'étape de calcul C de l'index de confort émotionnel Cl est effectuée grâce à plusieurs mesures du score de l’index de confort CISn pouvant être déduit de la donnée représentative décrite précédemment et donc des valeurs de la valence vn et de l'arousal an à un temps donné.
Le score CISn est calculé à partir d'une fonction dont les variables sont la valence vn et l'arousal an, représentant respectivement le vécu positif ou négatif de l’occupant, ainsi que l'importance dudit vécu.
Le score de l'index de confort CISn peut être calculé à partir de la formule suivante dans laquelle vn est la valence, et an est l'arousal.
Cependant, le score de l’index de confort CISn peut être calculé à partir d'une formule plus complexe fonction de la valence vn et de l'arousal an.
L'index de confort émotionnel Cl peut alors être calculé à partir de la moyenne de dfférents scores CISn calculés pour des temps donnés. Celui-ci se déduit de la formule suivante : Cl = dans laquelle Cl est l'index de confort émotionnel et CISn est le score de l'index de confort obtenu à un temps n.
Plusieurs évaluations successives, préférentiellement des évaluations effectuées de manière discrète, sont réalisées à partir de mesures faites dans le véhicule sur une durée pouvant, par exemple, être comprise, entre 0,1 sec et 5 sec. La période d’échantillonnage peut, par exemple, être comprise entre 10
millisecondes et 300 millisecondes.
L’étape d'action Ac représentée sur la [figure 1 ], correspond à l'application d’un ou plusieurs stimuli. Le choix du stimulus dépend de l’effet désiré. Après avoir calculé l'index de confort émotionnel comme expliqué précédemment, différents types d’actions peuvent être sélectionnées.
Les stimuli multisensoriels utilisés peuvent, par exemple, être : a) Pour la vue : utilisation de l’éclairage intérieur avec différentes
couleurs et/ou de différentes intensités, b) Pour l’odorat : utilisation d’un diffuseur de parfum, d'huiles essentielles ou encore de phéromones, c) Pour le toucher : utilisation de panneaux radiants, nébulisation
d’eau, utilisation de jets d’air chauds et/ou froids, d) Pour l'ouïe : sélection de musiques ou de bruits d'ambiance, e) Pour le goût : diffusion de parfum ou nébulisation pouvant créer des phéromones évoquant les cinq saveurs principales (salé, acide, amer, sucré, umami).
Il peut exister des moyens d’affichage permettant d'informer l’occupant sur son état émotionnel. Le système interactif peut posséder un ou plusieurs moyens d’affichage. Celui-ci peut se présenter, par exemple, sous la forme d'un dispositif portable, en particulier une montre et/ou des lunettes et/ou un bracelet et/ou une ceinture et/ou une chemise et/ou un téléphone portable.
Le moyen d'affichage peut également se présenter sous la forme d’un texte et/ou d’une couleur et/ou d’un son et/ou d’une vibration.

Claims

Revendications
[Revendication 1 ] Système interactif avec un occupant d’un véhicule
automobile comportant:
• un dispositif de mesure comprenant au moins un capteur agencé pour acquérir au moins un paramètre lié à l’occupant dudit véhicule,
• une unité de traitement embarquée agencée pour recevoir ledit
paramètre et définir une donnée représentative de l'état émotionnel dudit occupant au moyen dudit modèle, ladite donnée représentative étant un score d'index de confort (CISn) dudit occupant,
• la donnée représentative correspondant à un point dans un espace bidimensionnel (anvn) de caractérisation de l'état émotionnel de l’occupant,
• caractérisé en ce qu’un index de confort émotionnel est calculé à partir de la donnée représentative,
• et qu'au moins un actionneur est configuré pour activer au moins un stimulus multi sensoriel pour interagir avec l’occupant, ledit stimulus permettant de modifier l'état émotionnel dudit occupant.
[Revendication 2] Système interactif selon la revendication 1 , caractérisé en ce que l'index de confort émotionnel (Cl) est calculé en utilisant la formule :
Cl étant l’index de confort émotionnel et CISn étant un score de l’index de confort déterminé à un temps n.
[Revendication 3] Système interactif selon la revendication 2, caractérisé en ce que le score de l’index de confort est une fonction de la valence (vn) et de l’arousal (an).
[Revendication 4] Système interactif selon l’une des revendications 2 ou 3, caractérisé en ce que le score de l’index de confort est calculé à partir de la formule suivante :
[Revendication 5] Système interactif selon l’une des revendications
précédentes, caractérisé en ce que les capteurs sont composés d’au moins un radar à ultra large bande et d’une caméra infrarouge.
[Revendication 6] Système interactif selon l'une des revendications
précédentes, caractérisé en ce que le radar à ultra large bande a une fréquence comprise entre 10GHz et 1THz, en particulier entre 50GHz et 160GHz.
[Revendication 7] Système interactif selon l’une des revendications
précédentes, caractérisé en ce que la caméra infrarouge détecte des longueurs d’onde comprises entre 0,7mm et 100 mm, en particulier entre 25mm et 100mm.
[Revendication 8] Système interactif selon l’une des revendications
précédentes, caractérisé en ce que l’au moins un stimulus multi sensoriel est un parfum et/ou des huiles essentielles et/ou un nébuliseur et/ou un éclairage et/ou un son et/ou une musique et/ou une vibration et/ou un massage et /ou un flux d'air et/ou de la lumière.
[Revendication 9] Système interactif selon l’une des revendications
précédentes, caractérisé en ce qu’il possède une boucle d’apprentissage permettant d'améliorer le traitement du modèle d’évaluation de l’émotion.
[Revendication 10] Procédé d’interaction avec un occupant d'un véhicule automobile comportant les étapes consistant à :
• mesurer (M) un paramètre lié à un occupant d’un véhicule au moyen d’au moins un capteur,
• analyser (A) le paramètre au moyen d'une unité de traitement et
déterminer un score de l’index de confort (CIS) de l’état émotionnel de l'occupant,
• calculer (C) un index de confort émotionnel (Cl) à partir du score de l'index de confort (CISn), • actionner (Ac) un actionneur de manière à activer au moins un stimulus multi sensoriel pour interagir avec l'occupant, ledit stimulus permettant de modifier l’état émotionnel dudit occupant pour interagir avec ledit occupant en fonction de l’index de confort émotionnel.
EP20705404.0A 2019-01-07 2020-01-06 Systeme interactif Pending EP3908911A1 (fr)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR1900118A FR3091603B1 (fr) 2019-01-07 2019-01-07 Système interactif
PCT/FR2020/050012 WO2020144424A1 (fr) 2019-01-07 2020-01-06 Systeme interactif

Publications (1)

Publication Number Publication Date
EP3908911A1 true EP3908911A1 (fr) 2021-11-17

Family

ID=67383852

Family Applications (1)

Application Number Title Priority Date Filing Date
EP20705404.0A Pending EP3908911A1 (fr) 2019-01-07 2020-01-06 Systeme interactif

Country Status (5)

Country Link
US (1) US11970059B2 (fr)
EP (1) EP3908911A1 (fr)
CN (1) CN113260955A (fr)
FR (1) FR3091603B1 (fr)
WO (1) WO2020144424A1 (fr)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113212337A (zh) * 2021-06-01 2021-08-06 北京现代汽车有限公司 座舱控制方法、系统及车辆

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160196105A1 (en) * 2015-01-02 2016-07-07 Gracenote, Inc. Machine-led mood change

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101006191B1 (ko) 2002-08-06 2011-01-07 윤재민 가상인격체의 감정표현과 동작구현방법
DE102004006910A1 (de) * 2004-02-12 2005-08-25 Bayerische Motoren Werke Ag Betriebsverfahren für Fahrzeuge
JP2008068664A (ja) * 2006-09-12 2008-03-27 Fujitsu Ten Ltd 車両制御装置および車両制御方法
EP2600762A4 (fr) * 2010-08-02 2013-12-25 Lifewave Inc Systèmes de surveillance de bébés à bande ultralarge (uwb) destinés à détecter la détresse cardio-pulmonaire du nouveau-né
US9507413B2 (en) * 2010-12-03 2016-11-29 Continental Automotive Systems, Inc. Tailoring vehicle human machine interface
US9493130B2 (en) * 2011-04-22 2016-11-15 Angel A. Penilla Methods and systems for communicating content to connected vehicle users based detected tone/mood in voice input
EP2968638A2 (fr) * 2013-03-15 2016-01-20 Vapor Communications, Inc. Systèmes, procédés et articles de fourniture de sensations olfactives
KR101508059B1 (ko) * 2013-06-26 2015-04-07 숭실대학교산학협력단 단어의 쾌-불쾌 지수 예측 장치 및 방법
KR101753834B1 (ko) * 2014-04-10 2017-07-05 주식회사 바이브라시스템 진동 이미지 기술을 이용하여 감성을 분류하는 방법
DE102015200775A1 (de) 2015-01-20 2016-07-21 Bayerische Motoren Werke Aktiengesellschaft Unabhängigen Beurteilung eines emotionalen Zustandes und einer kognitiven Belastung
CN106293383A (zh) * 2015-06-19 2017-01-04 奥迪股份公司 用于控制机动车辆的界面装置的方法
JP6985005B2 (ja) * 2015-10-14 2021-12-22 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America 感情推定方法、感情推定装置、及び、プログラムを記録した記録媒体
CN106652378A (zh) * 2015-11-02 2017-05-10 比亚迪股份有限公司 用于车辆的驾驶提醒方法、系统、服务器和车辆
US10593349B2 (en) * 2016-06-16 2020-03-17 The George Washington University Emotional interaction apparatus
EP3500227A4 (fr) * 2016-08-16 2020-04-08 Resolve Digital Health Inc. Écosystème d'informations numériques sur la santé
US10150351B2 (en) * 2017-02-08 2018-12-11 Lp-Research Inc. Machine learning for olfactory mood alteration
JP2020099367A (ja) * 2017-03-28 2020-07-02 株式会社Ｓｅｌｔｅｃｈ 感情認識装置および感情認識プログラム
JP6686959B2 (ja) * 2017-04-11 2020-04-22 株式会社デンソー 車両用報知装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160196105A1 (en) * 2015-01-02 2016-07-07 Gracenote, Inc. Machine-led mood change

Also Published As

Publication number Publication date
CN113260955A (zh) 2021-08-13
US20220063408A1 (en) 2022-03-03
WO2020144424A1 (fr) 2020-07-16
US11970059B2 (en) 2024-04-30
FR3091603A1 (fr) 2020-07-10
FR3091603B1 (fr) 2022-01-21

Similar Documents

Publication Publication Date Title
WO2020104742A1 (fr) Système interactif avec un occupant d'un vehicule automobile
JP7754630B2 (ja) ドライバー監視システムでメディア誘発感情から運転感情を分離するための技術
WO2017149045A1 (fr) Dispositif et méthode de surveillance personnalisés d'un conducteur d'un véhicule automobile
FR3099610A1 (fr) Dispositif d’evaluation d’emotion
JP2023518407A (ja) ユーザ適合したサービスをユーザに提供する技術
JP7183782B2 (ja) 感情推定装置、環境提供システム、車両、感情推定方法、および情報処理プログラム
WO2013092214A2 (fr) Methode de cotation du bruit des freins d'un vehicule automobile
CN118372760A (zh) 一种人车交互方法、装置、电子设备、车辆及存储介质
WO2020144424A1 (fr) Systeme interactif
FR3028741A1 (fr) Dispositif de mesure du rythme cardiaque du conducteur d’un vehicule
EP1788536B1 (fr) Procédé d'évaluation de l'état de vigilance d'un conducteur de véhicule
EP3492015A1 (fr) Dispositif et procede de detection d'emotion
FR3104283A1 (fr) Système interactif et procédé d’interaction associé
WO2021111094A1 (fr) Système interactif et procédé d'interaction associé
FR3116472A1 (fr) Procédé de gestion thermique et système de gestion thermique correspondant
JP2024179055A (ja) 感情推定装置、時系列外観情報生成方法、時系列長決定方法、車載システム、コンピュータプログラム、生体状態推定装置、及び物体状態推定装置
WO2022017737A1 (fr) Système interactif et procédé d'interaction associé
CN116942181A (zh) 模拟环境下基于脑电信号的驾驶员道路事故情感识别方法
FR3164305A1 (fr) Système interactif et procédé d’interaction associé
CN120891930B (zh) 可穿戴设备及其情绪反馈方法、装置、存储介质和计算机程序产品
JP2026047934A (ja) システム
JP2026068456A (ja) システム
JP2026051382A (ja) システム
JP2026045499A (ja) システム
JP2026068348A (ja) システム

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20210616

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: EXAMINATION IS IN PROGRESS

17Q First examination report despatched

Effective date: 20230208

P01 Opt-out of the competence of the unified patent court (upc) registered

Effective date: 20230528

GRAP Despatch of communication of intention to grant a patent

Free format text: ORIGINAL CODE: EPIDOSNIGR1

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: GRANT OF PATENT IS INTENDED

RIC1 Information provided on ipc code assigned before grant

Ipc: G06F 3/01 20060101AFI20250916BHEP

Ipc: B60Q 3/80 20170101ALI20250916BHEP

Ipc: B60K 35/00 20060101ALI20250916BHEP

Ipc: B60K 35/10 20240101ALI20250916BHEP

Ipc: B60K 35/22 20240101ALI20250916BHEP

Ipc: B60K 35/25 20240101ALI20250916BHEP

Ipc: B60K 35/26 20240101ALI20250916BHEP

INTG Intention to grant announced

Effective date: 20250926

RAP1 Party data changed (applicant data changed or rights of an application transferred)

Owner name: VALEO ELECTRIFICATION