EP3883472A1 - Système interactif avec un occupant d'un vehicule automobile - Google Patents

Système interactif avec un occupant d'un vehicule automobile

Info

Publication number
EP3883472A1
EP3883472A1 EP19829282.3A EP19829282A EP3883472A1 EP 3883472 A1 EP3883472 A1 EP 3883472A1 EP 19829282 A EP19829282 A EP 19829282A EP 3883472 A1 EP3883472 A1 EP 3883472A1
Authority
EP
European Patent Office
Prior art keywords
occupant
emotional state
interactive system
stimulus
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
EP19829282.3A
Other languages
German (de)
English (en)
Inventor
Daniel Neveu
Georges De Pelsemaeker
Antoine Boilevin
Mateo LOPEZ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Valeo Electrification SAS
Original Assignee
Valeo Systemes Thermiques SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Valeo Systemes Thermiques SAS filed Critical Valeo Systemes Thermiques SAS
Publication of EP3883472A1 publication Critical patent/EP3883472A1/fr
Withdrawn legal-status Critical Current

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/18—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/48—Other medical applications
    • A61B5/4848—Monitoring or testing the effects of treatment, e.g. of medication
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6887—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient mounted on external non-worn devices, e.g. non-medical devices
    • A61B5/6893—Cars
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M21/00—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00—Conjoint control of vehicle sub-units of different type or different function
    • B60W10/30—Conjoint control of vehicle sub-units of different type or different function including control of auxiliary equipment, e.g. air-conditioning compressors or oil pumps
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/70—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mental therapies, e.g. psychological therapy or autogenous training
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2503/00—Evaluating a particular growth phase or type of persons or animals
    • A61B2503/20—Workers
    • A61B2503/22—Motor vehicles operators, e.g. drivers, pilots, captains
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2562/00—Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
    • A61B2562/02—Details of sensors specially adapted for in-vivo measurements
    • A61B2562/0204—Acoustic sensors
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2562/00—Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
    • A61B2562/02—Details of sensors specially adapted for in-vivo measurements
    • A61B2562/0228—Microwave sensors
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M21/00—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
    • A61M2021/0005—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus
    • A61M2021/0016—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus by the smell sense
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M21/00—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
    • A61M2021/0005—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus
    • A61M2021/0022—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus by the tactile sense, e.g. vibrations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M21/00—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
    • A61M2021/0005—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus
    • A61M2021/0027—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus by the hearing sense
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M21/00—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
    • A61M2021/0005—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus
    • A61M2021/0044—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus by the sight sense
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M2205/00—General characteristics of the apparatus
    • A61M2205/33—Controlling, regulating or measuring
    • A61M2205/3306—Optical measuring means
    • A61M2205/3313—Optical measuring means used specific wavelengths
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M2205/00—General characteristics of the apparatus
    • A61M2205/33—Controlling, regulating or measuring
    • A61M2205/3317—Electromagnetic, inductive or dielectric measuring means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0872—Driver physiology
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0019—Control system elements or transfer functions
    • B60W2050/0028—Mathematical models, e.g. for simulation
    • B60W2050/0029—Mathematical model of the driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/408—Radar; Laser, e.g. lidar
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/22—Psychological state; Stress level or workload
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/10—Historical data

Definitions

  • the invention relates to an interactive system with an occupant of a motor vehicle.
  • the invention also relates to a method of interaction with an occupant of a motor vehicle.
  • the transition to an autonomous car presents more and more challenges in terms of creating an empathetic vehicle that will make driving and / or travel more pleasant.
  • the remaining progress can be grouped into three areas, including safety, comfort and entertainment.
  • the measurements can be carried out using portable devices making it possible to collect data such as the conductivity of the skin, the temperature, or even the heart rate.
  • the system used includes, if possible, a camera, for example of the GoPro® type.
  • a known model consists in obtaining, from the various parameters, a map of the passenger's emotional state. Thus, this can be represented by a point in a two-dimensional space formed by an abscissa axis corresponding to the valence (intrinsically pleasant or unpleasant quality of a stimulus or a situation) and a corresponding ordinate axis arousal (strength of emotional stimulus).
  • the invention aims to improve known systems by proposing an interactive system making it possible to model the emotional state of an occupant of a vehicle, not only by placing it in a three-dimensional space, but also by interpreting it so as to integrate additional parameters in the model used.
  • the invention also proposes to act on the occupant by depending on the emotional state detected and thus have an impact on the safety and / or comfort of the occupants of the vehicle.
  • the subject of the invention is an interactive system with an occupant of a motor vehicle comprising:
  • a measuring device comprising at least one sensor arranged to acquire at least one parameter related to the occupant of said vehicle
  • an on-board processing unit using an occupant's emotional state evaluation model said processing unit being arranged to receive said parameter and define a data item representative of the emotional state of said occupant by means of said model
  • the sensors are composed of at least one ultra-wideband radar and an infrared camera.
  • the ultra broadband radar has a frequency between 10 GHz and 1 THz, in particular between 50 GHz and 160 GHz.
  • the infrared camera detects wavelengths between 0.7pm and 100 microns, in particular between 25pm and 100pm.
  • the three-dimensional space for characterizing the emotional state is formed by a first axis corresponding to the valence, a second axis corresponding to the dominance and a third axis corresponding to the arousal.
  • the representative data is preprocessed before activating the at least one multi-sensory stimulus.
  • the representative data placed in 3D space will be correlated to one or more maps corresponding to different stimuli.
  • the pretreatment consists in taking into account additional data, in particular the culture and / or education of the occupant and / or the life and personal experience of said occupant.
  • the additional data can be determined by means of an autonomous measurement system allowing the measurement of air quality and / or pollution, and / or microparticles and / or allergens and / or the sound environment and / or the light environment and / or the temperature and / or the humidity.
  • the evaluation model is created using artificial intelligence.
  • the at least one multi-sensory stimulus is a perfume and / or essential oils and / or a nebulizer and / or lighting and / or sound and / or music and / or vibration and / or a massage and / or an air flow.
  • the multi-sensory stimulus allows a modification of the occupant's emotional state.
  • the multi-sensory stimulus allows a remediation of the occupant’s emotional state.
  • the multi-sensory stimulus allows an amplification of the occupant's emotional state.
  • the interactive system has a learning loop for improving the processing of the emotion evaluation model.
  • the at least one sensor can be chosen from: a camera, in particular far infrared and / or near infrared and / or in the visible, a microphone, a portable device, a sensor installed in the vehicle in particular a conductive element placed in a seat and / or in a steering wheel and / or in an armrest.
  • the interactive system can comprise at least one far infrared camera, several vital sign sensors and a microphone.
  • the interactive system comprises at least one display means, particularly a user interface.
  • the at least one display means can be a portable device, in particular a watch and / or glasses and / or a bracelet and / or a belt and / or a shirt.
  • the at least one display means can be a text and / or a color and / or a sound and / or a vibration.
  • the invention also relates to a method of interaction with an occupant of a motor vehicle comprising the steps consisting in:
  • d) interpret the representative data by adapting the three-dimensional space as a function of additional data, in particular the culture and / or education of the occupant and / or the life and personal experience of said occupant,
  • the method further comprises a step consisting in informing the occupant of his emotional state and / or of the stimulus applied.
  • FIG. 1 is a schematic diagram of at least part of the method according to the invention
  • FIG. 2 is a schematic representation of a three-dimensional space AVD used in one of the steps of the method of FIG. 1,
  • FIG. 3 is a schematic representation of the step for evaluating the process of FIG. 1,
  • FIG. 4 is a schematic representation of the step of analyzing the process of FIG. 1,
  • FIG. 5 is a schematic representation of the multi-sensory mapping used in the method of FIG. 1,
  • FIG. 6 is a schematic representation of the construction of the cartography of FIG. 5,
  • Figure 7 is a schematic representation of the action step of the process of Figure 1.
  • the interactive system proposed in the invention uses a process having five stages. These five stages shown schematically in Figure 1
  • a measurement step (M) carried out by a measurement device and during which one or more parameters relating to the occupant (s) are collected
  • an action step (Ac) during which at least one multi-sensory stimulus is applied so as to modify the emotional state of the occupant (s)
  • an information step (Inf) during which the occupant is informed of their emotional state and the stimuli applied.
  • the measurement device will acquire one or more parameters describing the status and therefore the emotional state of the occupant (what is described for an occupant can of course be applied to several occupants of vehicle simultaneously). Parameters describing the environment in which the occupant is located can also be collected in order to deduce their possible effect on the emotional state of the occupant.
  • the device described in the previous paragraphs is composed of one or more sensors. These sensors are preferably sensors on board the vehicle, such as, for example, one or more cameras, vital sign sensors, one or more microphones or even contact sensors.
  • the measurements are carried out by cameras, in particular infrared cameras which take images in the infrared domain. These cameras are directed towards the expected positions of the various occupants of the vehicle: driver's seat, passenger seat, rear seat, etc. In particular, one or more very wide angle cameras (for example of the “fisheye” or “fish eye” type). »In French) can cover several positions simultaneously. Infrared cameras preferentially detect wavelengths between 0.7pm and 100pm, preferably 25pm and 100pm.
  • NIR near infrared cameras
  • FIR far infrared cameras
  • the images from nearby infrared cameras can for example be used to delimit the position, dimensions and movements of different parts of the body of an occupant of the vehicle.
  • the images from far infrared cameras can for example be used to identify the parts of the occupant's body exchanging the most heat with the passenger compartment, for example the head and hands, which are not covered with clothing and will thus appear more hot.
  • the measurement device also makes it possible to determine the environment of the passenger (s), which may affect his emotional state.
  • data such as temperature, light intensity, noise, vehicle speed, etc. can be collected.
  • the measuring device comprises at least one microphone making it possible to record the voice of the passenger or passengers.
  • the measurement device can also include biosensors which can detect parameters such as organic compounds, ions, bacteria, etc.
  • the measuring device can also be composed of vital sign sensors. These can for example be in the form of contactless sensors such as for example a radar, a camera, or even portable elements (watch, shirt, bracelet, etc.).
  • Vital sign sensors in contact with the passenger can also be used. They are, for example, in the form of conductive elements installed in parts of the vehicle (armrest, steering wheel, seat, etc.). These vital sign sensors measure parameters such as the rhythm and / or the heart rate, the frequency and / or the respiratory amplitude, the conductivity of the skin, the brain waves, etc ...
  • a preferred embodiment uses an ultra wideband short range radar.
  • the radar frequency can for example be between 10 GHz and 1 THz, preferably between 50 GHz and 160 GHz.
  • the next stage of interpretation and / or evaluation (I) consists of evaluating and interpreting the parameters obtained during the measurement stage (M).
  • these parameters will be translated into representative data easily represented in a first three-dimensional space or 3D space (AVD) for characterizing the emotional state.
  • This 3D space is represented in FIG. 3. It is formed by a first axis corresponding to the valence (V), a second axis corresponding to the dominance (D) and a third axis corresponding to the arousal ( AT).
  • FIG. 3 illustrates the placement of the representative data described above and obtained by means of a processing unit using an emotion evaluation model, in the three-dimensional space AVD. This data varies over the time spent by the occupant in the vehicle. Thus, a first representative datum is provided for a time to while the representative datum corresponding to the present is illustrated by tactuai. Continuous measurements are preferably carried out, so as to obtain the curve shown in FIG. 3. However, discrete measurements can also be carried out.
  • This analysis (A) makes it possible to determine the emotional state of the occupant as a function of the placement of the representative data on the 3D AVD space.
  • FIG 4. An example of the map described above is shown in Figure 4. This map of the occupant’s emotional state will then be correlated to one or more maps corresponding to different stimuli. These stimuli are based on the five senses: sight, smell, taste, touch, hearing. The maps corresponding to each of the five directions are shown in Figure 5.
  • mapping of the five senses is carried out in three stages illustrated in FIG. 6. Indeed, the initial adjustments of the vehicle can be described as being those corresponding to the primary emotional state of the occupant, that is to say an emotional state where the occupant reacts primarily.
  • the cartography is then modified taking into account the impact of the culture and / or education of the occupant.
  • This step can, for example, be carried out by deep learning (or “deep learning” in English), making it possible to obtain a user profile for each occupant.
  • the last step in the construction of the cartography concerns the impact of the occupant's personal life and / or experience.
  • This step is preferably done by statistical learning (or "machine learning” in English), thus making it possible to adapt the mapping in real time.
  • the action step (Ac) shown in Figure 1 corresponds to the application of one or more stimuli.
  • the choice of stimulus depends on the desired effect.
  • different types of actions can be selected.
  • the point of intersection of the three axes of the three-dimensional space AVD corresponds to the neutral position of the emotional state of the occupant.
  • Figure 7 illustrates three examples of actions that can be applied. Therefore, the choices can be: a) a remediation, for which a stimulus located symmetrically with respect to the neutral position in 3D AVD space will be applied. In this way, the occupant's emotional state is brought back to the neutral position shown in Figure 7; b) an amplification, for which a stimulus positioned in the direction opposite to the neutral position in 3D space (relative to the initial position) is applied; c) a modification making it possible to pass from the initial position (initial status of the emotional state) to a given specific position (desired status of the emotional state), the stimuli or stimuli being chosen as a function of the given specific position.
  • a remediation for which a stimulus located symmetrically with respect to the neutral position in 3D AVD space will be applied. In this way, the occupant's emotional state is brought back to the neutral position shown in Figure 7
  • an amplification for which a stimulus positioned in the direction opposite to the neutral position in 3D space
  • the multisensory stimuli used can, for example, be: a) For sight: use of interior lighting with different colors and / or different intensities, b) For smell: use of a perfume diffuser, essential oils or pheromones, c) To touch it: use of radiant panels, water nebulization, use of hot and / or cold air jets, d) For hearing: selection of music or noise atmosphere, e) For the taste: diffusion of perfume or nebulization which can create pheromones combining the five main flavors (salty, sour, bitter, sweet, umami).
  • the interactive system may have one or more display means. This can be, for example, in the form of a device portable, in particular a watch and / or glasses and / or a bracelet and / or a belt and / or a shirt.
  • the display means may also be in the form of text and / or a color and / or a sound and / or a vibration.
  • the type of stimulus may be different than those described in the application,
  • the preprocessing can take into account only part of the five directions to carry out the mapping described above, c) the measurements can be carried out simultaneously or one after the other for the different occupants of the vehicle, d) the order of process steps may vary, for example a stimulus may be applied before the parameter measurement step. !

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Public Health (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Medical Informatics (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Pathology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Biophysics (AREA)
  • Psychiatry (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Psychology (AREA)
  • Automation & Control Theory (AREA)
  • Social Psychology (AREA)
  • Hospice & Palliative Care (AREA)
  • Developmental Disabilities (AREA)
  • Child & Adolescent Psychology (AREA)
  • Mathematical Physics (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Educational Technology (AREA)
  • Artificial Intelligence (AREA)
  • Chemical & Material Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Hematology (AREA)
  • Acoustics & Sound (AREA)
  • Combustion & Propulsion (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Anesthesiology (AREA)
  • Evolutionary Computation (AREA)
  • Fuzzy Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)

Abstract

Système interactif avec un occupant d'un véhicule automobile comportant : - un dispositif de mesure comprenant au moins un capteur agencé pour acquérir au moins un paramètre lié à l'occupant dudit véhicule, - une unité de traitement embarquée utilisant un modèle d'évaluation de l'état émotionnel de l'occupant, ladite unité de traitement étant agencée pour recevoir ledit paramètre et définir une donnée représentative de l'état émotionnel dudit occupant au moyen dudit modèle, - la donnée représentative correspondant à un point dans un espace tridimensionnel de caractérisation de l'état émotionnel de l'occupant, - au moins un actionneur configuré pour activer au moins un stimulus multi sensoriel pour interagir avec l'occupant, ledit stimulus permettant de modifier l'état émotionnel dudit occupant

Description

SYSTÈME INTERACTIF AVEC UN OCCUPANT D’UN VEHICULE
AUTOMOBILE
L'invention concerne un système interactif avec un occupant d’un véhicule automobile. L’invention concerne également un procédé d’interaction avec un occupant d’un véhicule automobile.
Le passage à la voiture autonome présente de plus en plus de challenges quant à la création d’un véhicule empathique qui permettra de rendre la conduite et/ou le voyage plus agréable. Les progrès restants peuvent être regroupés en trois axes regroupant la sécurité, le confort et le divertissement.
Des exemples de systèmes existant permettent d’évaluer l’état émotionnel d’un occupant d’un véhicule automobile. Il est en effet connu d’effectuer des mesures permettant de déterminer différents paramètres concernant un occupant, et ainsi en déduire une donnée représentative de son état émotionnel.
De manière générale, les mesures peuvent être effectuées grâce à des dispositifs portables permettant de récolter des données telle que la conductivité de la peau, la température, ou encore le rythme cardiaque. Le système utilisé comporte si possible une caméra, par exemple de type GoPro®.
Dans les systèmes connus, les paramètres obtenus sont ensuite utilisés pour déterminer l’état émotionnel de l’occupant. Un modèle connu consiste à obtenir, à partir des différents paramètres, une cartographie de l’état émotionnel du passager. Ainsi, celui-ci peut être représenté par un point dans un espace à deux dimensions formé d’un axe des abscisses correspondant à la valence (qualité intrinsèquement agréable ou désagréable d’un stimulus ou d’une situation) et un axe des ordonnées correspondant à l’arousal (force du stimulus émotionnel).
L’invention vise à améliorer les systèmes connus en proposant un système interactif permettant de modéliser l’état émotionnel d’un occupant d’un véhicule, non seulement en le plaçant dans un espace tri dimensionnel, mais également en l’interprétant de manière à intégrer des paramètres supplémentaires dans le modèle utilisé. De plus, l’invention propose également d’agir sur l’occupant en fonction de l’état émotionnel détecté et ainsi avoir un impact sur la sécurité et/ou le confort de ou des occupants du véhicule.
L’invention a pour objet un système interactif avec un occupant d’un véhicule automobile comportant:
a) un dispositif de mesure comprenant au moins un capteur agencé pour acquérir au moins un paramètre lié à l’occupant dudit véhicule,
b) une unité de traitement embarquée utilisant un modèle d’évaluation de l’état émotionnel de l’occupant, ladite unité de traitement étant agencée pour recevoir ledit paramètre et définir une donnée représentative de l’état émotionnel dudit occupant au moyen dudit modèle,
c) la donnée représentative correspondant à un point dans un espace tridimensionnel de caractérisation de l’état émotionnel de l’occupant, d) au moins un actionneur configuré pour activer au moins un stimulus multi sensoriel pour interagir avec l’occupant, ledit stimulus permettant de modifier l’état émotionnel dudit occupant.
Selon un aspect de l’invention, les capteurs sont composés d’au moins un radar à ultra large bande et d’une caméra infrarouges.
Selon un aspect de l’invention, le radar à ultra large bande a une fréquence comprise entre 10GHz et 1 THz, en particulier entre 50GHz et 160GHz.
Selon un aspect de l’invention, la caméra infrarouge détecte des longueurs d’onde comprises entre 0,7pm et 100 miti, en particulier entre 25pm et 100pm.
Selon un aspect de l’invention, l’espace tridimensionnel de caractérisation de l’état émotionnel est formé d’un premier axe correspondant à la valence, d’un deuxième axe correspondant à la dominance et d’un troisième axe correspondant à l’arousal.
Selon un aspect de l’invention, la donnée représentative est prétraitée avant d’activer l’au moins un stimulus multi sensoriel.
Selon un aspect de l’invention, la donnée représentative placée dans l’espace 3D va être corrélée à une ou plusieurs cartographies correspondant à différents stimuli. Selon un aspect de l’invention, le prétraitement consiste prendre en compte des données supplémentaires, en particulier la culture et/ou l’éducation de l’occupant et/ou la vie et expérience personnelle dudit occupant.
Selon un aspect de l’invention, les données supplémentaires peuvent être déterminées au moyen d’un système de mesures autonome permettant la mesure de la qualité de l’air et/ou de la pollution, et/ou des microparticules et/ou des allergènes et/ou de l’environnement sonore et/ou de l’environnement lumineux et/ou de la température et/ou du taux d’humidité.
Selon un aspect de l’invention, le modèle d’évaluation est créé au moyen d’intelligence artificielle.
Selon un aspect de l’invention, l’au moins un stimulus multi sensoriel est un parfum et/ou des huiles essentielles et/ou un nébuliseur et/ou un éclairage et/ou un son et/ou une musique et/ou une vibration et/ou un massage et /ou un flux d’air.
Selon un aspect de l’invention, le stimulus multi sensoriel permet une modification de l’état émotionnel de l’occupant.
Selon un aspect de l’invention, le stimulus multi sensoriel permet une remédiation de l’état émotionnel de l’occupant.
Selon un aspect de l’invention, le stimulus multi sensoriel permet une amplification de l’état émotionnel de l’occupant.
Selon un aspect de l’invention, le système interactif possède une boucle d’apprentissage permettant d’améliorer le traitement du modèle d’évaluation de l’émotion.
Selon un aspect de l’invention, l’au moins un capteur peut être choisi parmi : une caméra, en particulier à infra rouges lointains et/ou à proches infra rouges et/ou dans le visible, un microphone, un dispositif portable, un capteur installé dans le véhicule en particulier un élément conducteur placé dans un siège et/ou dans un volant et/ou dans un accoudoir.
Selon un aspect de l’invention, le système interactif peut comporter au moins une caméra à infra rouges lointains, plusieurs capteurs de signes vitaux et un microphone. Selon un aspect de l’invention, le système interactif comporte au moins un moyen d’affichage, particulièrement une interface utilisateur.
Selon un aspect de l’invention, l’au moins un moyen d’affichage peut être un dispositif portable, en particulier une montre et/ou des lunettes et/ou un bracelet et/ou une ceinture et/ou une chemise.
Selon un aspect de l’invention, l’au moins un moyen d’affichage peut être un texte et/ou une couleur et/ou un son et/ou une vibration.
L’invention concerne également un procédé d’interaction avec un occupant d’un véhicule automobile comportant les étapes consistant à :
a) mesurer un paramètre lié à un occupant du véhicule au moyen d’au moins un capteur,
b) réceptionner le paramètre par une unité de traitement et déterminer une donnée représentative de l’état émotionnel de l’occupant,
c) analyser la donnée représentative et la placer dans un espace tridimensionnel de caractérisation de l’état émotionnel de l’occupant,
d) interpréter la donnée représentative en adaptant l’espace tridimensionnel en fonction de données supplémentaires, en particulier la culture et/ou l’éducation de l’occupant et/ou la vie et expérience personnelle dudit occupant,
e) actionner un actionneur de manière à activer au moins un stimulus multi sensoriel pour interagir avec l’occupant, ledit stimulus permettant de modifier l’état émotionnel dudit occupant de l’habitacle du véhicule pour interagir avec l’occupant en fonction de ladite donnée.
Selon un aspect de l’invention, le procédé comporte en outre une étape consistant à informer l’occupant sur son état émotionnel et/ou sur le stimulus appliqué
L’invention sera mieux comprise et d’autres détails, caractéristiques et avantages de l’invention apparaîtront à la lecture de la description suivante faite à titre d’exemple non limitatif en référence au dessin annexé dans lequel :
[Fig. 1 ] : la figure 1 est un diagramme schématique d’au moins une partie du procédé selon l’invention, [Fig. 2] : la figure 2 est une représentation schématique d’un espace tridimensionnel AVD utilisé dans une des étapes du procédé de la figure 1 ,
[Fig. 3] : la figure 3 est une représentation schématique de l’étape d’évaluation du procédé de la figure 1 ,
[Fig. 4] : la figure 4 est une représentation schématique de l’étape d’analyse du procédé de la figure 1 ,
[Fig. 5] : la figure 5 est une représentation schématique de la cartographie multi sensorielle utilisée dans le procédé de la figure 1 ,
[Fig. 6] : la figure 6 est une représentation schématique de la construction de la cartographie de la figure 5,
[Fig. 7] : la figure 7 est une représentation schématique de l’étape d’action du procédé de la figure 1.
Le système interactif proposé dans l’invention utilise un procédé possédant cinq étapes. Ces cinq étapes représentées schématiquement sur la figure 1
consistent en :
a) une étape de mesures (M) effectuée par un dispositif de mesure et pendant laquelle un ou plusieurs paramètres concernant le ou les occupants sont récoltés,
b) une étape d’évaluation et d’interprétation (I) lors de laquelle les paramètres obtenus sont modélisés de manière à obtenir une donnée représentative de l’état émotionnel du ou des occupants,
c) une étape d’analyse (A) permettant de cartographier l’état émotionnel de
l’occupant et décider ou non si une action est nécessaire,
d) une étape d’action (Ac) lors de laquelle au moins un stimulus multi sensoriel est appliqué de manière à modifier l’état émotionnel du ou des occupants, e) une étape d’information (Inf) lors de laquelle l’occupant est informé de son état émotionnel et des stimuli appliqués.
Lors de l’étape de mesure (M), le dispositif de mesure va acquérir un ou plusieurs paramètres décrivant le statut et donc l’état émotionnel de l’occupant (ce qui est décrit pour un occupant peut bien sûr être appliqué à plusieurs occupants du véhicule simultanément). Des paramètres décrivant l’environnement dans lequel se trouve l’occupant peuvent également être récoltés de manière à en déduire leur effet éventuel sur l’état émotionnel de l’occupant.
Le dispositif décrit dans les paragraphes précédents est composé d’un ou plusieurs capteurs. Ces capteurs sont préférentiellement des capteurs embarqués dans le véhicule, comme par exemple une ou plusieurs caméras, des capteurs de signes vitaux, un ou plusieurs microphones ou encore des capteurs de contact.
Dans un mode de réalisation préféré, les mesures sont effectuées par des caméras, en particulier des caméras infrarouges qui prennent des images dans le domaine infrarouge. Ces caméras sont dirigées vers les positions attendues des différents occupants du véhicule : siège conducteur, siège passager, banquette arrière, etc... En particulier, une ou plusieurs caméras très grand angle (par exemple de type « fisheye » ou « œil de poisson » en français) peuvent couvrir plusieurs positions de façon simultanée. Les caméras infrarouges détectent préférentiellement des longueurs d’onde comprises entre 0,7pm et 100pm, préférentiellement 25pm et 100pm.
Ces caméras comportent, avantageusement, des caméras infrarouges proches (« NIR » pour « Near Infra Red »), et/ou des caméras infrarouges lointains (« FIR » pour « Far Infra Red »).
Les images issues des caméras infrarouges proches peuvent par exemple servir à délimiter la position, dimensions et mouvements de différentes parties du corps d'un occupant du véhicule. Les images issues des caméras infrarouges lointains peuvent par exemple servir à identifier les parties du corps de l'occupant échangeant le plus de chaleur avec l'habitacle, par exemple la tête et les mains, qui ne sont pas recouvertes de vêtements et apparaîtront ainsi plus chaudes.
Comme précisé ci-dessus, le dispositif de mesure permet également de déterminer l’environnement du ou des passagers, celui-ci pouvant influer sur son état émotionnel. Ainsi, des données telles que la température, l’intensité lumineuse, le bruit, la vitesse du véhicule, etc... vont pouvoir être récoltées.
D’autres types de paramètres seront également récupérés au moyen d’autres capteurs. Le dispositif de mesure comporte au moins un microphone permettant d’enregistrer la voix du ou des passagers.
Le dispositif de mesure peut également comporter des biocapteurs pouvant détecter des paramètres tels que des composés organiques, des ions, des bactéries, etc...
Le dispositif de mesure peut aussi être composé de capteurs de signes vitaux. Ceux-ci peuvent par exemple se présenter sous la forme de capteurs sans contact comme par exemple un radar, une caméra, ou encore des éléments portables (montre, chemise, bracelet, etc...).
Des capteurs de signes vitaux en contact avec le passager peuvent également être utilisés. Ils se présentent, par exemple, sous la forme d’éléments conducteurs installés dans des parties du véhicule (accoudoir, volant, siège, etc...). Ces capteurs de signes vitaux mesurent des paramètres tels que le rythme et/ou la fréquence cardiaque, la fréquence et/ou l’amplitude respiratoire, la conductivité de la peau, les ondes cérébrales, etc...
Un mode de réalisation préféré utilise un radar de courte portée à ultra large bande. La fréquence du radar peut par exemple être comprise entre 10GHz et 1 THz, préférentiellement entre 50GHz et 160GHz.
L’étape suivante d’interprétation et/ou d’évaluation (I) consiste à évaluer et interpréter les paramètres obtenus lors de l’étape de mesure (M). Ainsi ces paramètres vont être traduits en une donnée représentative facilement représentée dans un premier espace tridimensionnel ou espace 3D (AVD) de caractérisation de l’état émotionnel. Cet espace 3D est représenté sur la figure 3. Il est formé d’un premier axe correspondant à la valence (V), d’un deuxième axe correspondant à la dominance (D) et d’un troisième axe correspondant à l’arousal (A).
La valence caractérise le niveau de plaisir ou de désagrément associé à une émotion alors que l’arousal peut être défini comme étant l'intensité des affects et de la réponse générée par cette émotion. La dominance, quant à elle, caractérise le niveau de maîtrise et de contrôle de la réponse de l'individu à cette émotion. La figure 3 illustre le placement de la donnée représentative décrite précédemment et obtenue grâce à une unité de traitement utilisant un modèle d’évaluation des émotions, dans l’espace tridimensionnel AVD. Cette donnée varie au cours du temps passé par l’occupant dans le véhicule. Ainsi, une première donnée représentative est fournie pour un temps to alors que la donnée représentative correspondant au présent est illustrée par tactuai. Des mesures en continu sont de préférence effectuées, de manière à obtenir la courbe représentée sur la figure 3. Toutefois, des mesures discrètes peuvent également être réalisées.
Une fois l’évaluation de la donnée représentative effectuée, une étape d’analyse (A) est performée. Cette analyse (A) permet de déterminer l’état émotionnel de l’occupant en fonction du placement de la donnée représentative sur l’espace 3D AVD.
Un exemple de la cartographie décrite précédemment, est représenté sur la figure 4. Cette cartographie de l’état émotionnel de l’occupant va ensuite être corrélée à une ou plusieurs cartographies correspondant à différents stimuli. Ces stimuli sont basés sur les cinq sens : vue, odorat, goût, toucher, ouïe. Les cartographies correspondant à chacun des cinq sens sont représentées sur la figure 5.
La cartographie des cinq sens s’effectue en trois étapes illustrées sur la figure 6. En effet, les réglages initiaux du véhicule peuvent être décrits comme étant ceux correspondant à l’état émotionnel primaire de l’occupant, c'est-à-dire un état émotionnel ou l’occupant réagi de manière primaire.
La cartographie est ensuite modifiée en prenant en compte l’impact de la culture et/ou de l’éducation de l’occupant. Cette étape peut, par exemple, être effectuée par apprentissage profond (ou « deep learning » en anglais), permettant d’obtenir un profil utilisateur pour chaque occupant.
La dernière étape dans la construction de la cartographie, concerne l’impact de la vie personnelle et/ou de l’expérience de l’occupant. Cette étape se fait de préférence, par apprentissage statistique (ou « machine learning » en anglais) permettant ainsi d’adapter en temps réel la cartographie.
L’étape d’action (Ac) représentée sur la figure 1 , correspond à l’application d’un ou plusieurs stimuli. Le choix du stimulus dépend de l’effet désiré. Après avoir placé la donnée représentative de l’occupant sur la cartographie adaptée de la manière expliquée dans les paragraphes précédents, différents types d’actions peuvent être sélectionnés. Le point d’intersection des trois axes de l’espace tridimensionnel AVD correspond à la position neutre de l’état émotionnel de l’occupant.
La figure 7 illustrent trois exemple d’actions pouvant être appliquées. De ce fait, les choix peuvent être : a) une remédiation, pour laquelle un stimulus localisé symétriquement par rapport à la position neutre dans l’espace 3D AVD va être appliqué. De cette manière, l’état émotionnel de l’occupant est ramené à la position neutre représentée sur la figure 7 ; b) une amplification, pour laquelle un stimulus positionné dans la direction opposée à la position neutre dans l’espace 3D (par rapport à la position initiale) est appliqué ; c) une modification permettant de passer de la position initiale (statut initial de l’état émotionnel) à une position spécifique donnée (statut désiré de l’état émotionnel), le ou les stimuli étant choisis en fonction de la position spécifique donnée.
Les stimuli multisensoriels utilisés peuvent, par exemple, être : a) Pour la vue : utilisation de l’éclairage intérieur avec différentes couleurs et/ou de différentes intensités, b) Pour l’odorat : utilisation d’un diffuseur de parfum, d’huiles essentielles ou encore de phéromones, c) Pour le toucher : utilisation de panneaux radiants, nébulisation d’eau, utilisation de jets d’air chauds et/ou froids, d) Pour l’ouïe : sélection de musiques ou de bruits d’ambiance, e) Pour le goût : diffusion de parfum ou nébulisation pouvant créer des phéromones combinant les cinq saveurs principales (salé, acide, amer, sucré, umami).
Il peut exister des moyens d’affichage permettant d’informer l’occupant sur son état émotionnel. Le système interactif peut posséder un ou plusieurs moyens d’affichage. Celui-ci peut se présenter, par exemple, sous la forme d’un dispositif portable, en particulier une montre et/ou des lunettes et/ou un bracelet et/ou une ceinture et/ou une chemise.
Le moyen d’affichage peut également se présenter sous la forme d’un texte et/ou d’une couleur et/ou d’un son et/ou d’une vibration.
L’invention ne se limite pas au modes de réalisation décrits dans cette demande. Diverses modifications peuvent être apportées sans s’écarter de la portée de l’invention. En particulier :
a) le type de stimulus peut être différent que ceux décrits dans la demande,
b) le prétraitement peut ne prendre en compte qu’une partie des cinq sens pour effectuer la cartographie décrite précédemment, c) les mesures peuvent être effectuées simultanément ou les unes après les autres pour les différents occupants du véhicule, d) l’ordre des étapes du procédé peut varier, par exemple un stimulus peut être appliqué avant l’étape de mesure des paramètres. !

Claims

Il
Revendications
1 Système interactif avec un occupant d’un véhicule automobile comportant: a. un dispositif de mesure comprenant au moins un capteur agencé pour acquérir au moins un paramètre lié à l’occupant dudit véhicule, b. une unité de traitement embarquée utilisant un modèle d’évaluation de l’état émotionnel de l’occupant, ladite unité de traitement étant agencée pour recevoir ledit paramètre et définir une donnée représentative de l’état émotionnel dudit occupant au moyen dudit modèle,
c. la donnée représentative correspondant à un point dans un espace tridimensionnel (AVD) de caractérisation de l’état émotionnel de l’occupant,
d. au moins un actionneur configuré pour activer au moins un stimulus multi sensoriel pour interagir avec l’occupant, ledit stimulus permettant de modifier l’état émotionnel dudit occupant.
2 Système interactif selon la revendication 1 , caractérisé en ce que les capteurs sont composés d’au moins un radar à ultra large bande et d’une caméra infrarouge.
3 Système interactif selon la revendication 2, caractérisé en ce que le radar à ultra large bande a une fréquence comprise entre 10GHz et 1 THz, en particulier entre 50GHz et 160GHz.
4 Système interactif selon l’une des revendications 2 ou 3, caractérisé en ce que la caméra infrarouge détecte des longueurs d’onde comprises entre 0,7pm et 100 miti, en particulier entre 25pm et 1 OOpm.
5 Système interactif selon l’une des revendications 1 à 4, caractérisé en ce que l’espace tridimensionnel (AVD) de caractérisation de l’état émotionnel est formé d’un premier axe correspondant à la valence (V), d’un deuxième axe correspondant à la dominance (D) et d’un troisième axe correspondant à l’arousal (A). 6 Système interactif selon l’une des revendications 1 à 5, caractérisé en ce que la donnée représentative est prétraitée avant d’activer l’au moins un stimulus multi sensoriel.
7 Système interactif selon la revendication 6, caractérisé en ce que la donnée représentative placée dans l’espace 3D va être corrélée à une ou plusieurs cartographies correspondant à différents stimuli.
8 Système interactif selon l’une des revendications 6 ou 7, caractérisé en ce que le prétraitement consiste prendre en compte des données supplémentaires, en particulier la culture et/ou l’éducation de l’occupant et/ou la vie et expérience personnelle dudit occupant, lesquelles données supplémentaires s’ajoutent à des données correspondant à l’état émotionnel primaire de l’occupant.
9 Système interactif selon l’une des revendications 1 à 8, caractérisé en ce que le modèle d’évaluation est créé au moyen d’intelligence artificielle.
10 Système interactif selon l’une des revendications 1 à 9, caractérisé en ce que l’au moins un stimulus multi sensoriel est un parfum et/ou des huiles essentielles et/ou un nébuliseur et/ou un éclairage et/ou un son et/ou une musique et/ou une vibration et/ou un massage et /ou un flux d’air et/ou de la lumière.
1 1 Système interactif selon l’une des revendications 1 à 10, caractérisé en ce que le stimulus multi sensoriel est agencé pour permettre une modification de l’état émotionnel de l’occupant.
12 Système interactif selon la revendication 1 1 , caractérisé en ce que le stimulus multi sensoriel est agencé pour permettre une remédiation de l’état émotionnel de l’occupant.
13 Système interactif selon la revendication 1 1 , caractérisé en ce que le stimulus multi sensoriel est agencé pour permettre une amplification de l’état émotionnel de l’occupant.
14 Système interactif selon l’une des revendications 1 à 13, caractérisé en ce qu’il possède une boucle d’apprentissage permettant d’améliorer le traitement du modèle d’évaluation de l’émotion. Système interactif selon l’une des revendications 1 à 14, caractérisé en ce qu’il comporte au moins un moyen d’affichage (5), particulièrement une interface utilisateur.
Procédé d’interaction avec un occupant d’un véhicule automobile comportant les étapes consistant à :
a. mesurer (M) un paramètre lié à un occupant du véhicule au moyen d’au moins un capteur,
b. réceptionner (I) le paramètre par une unité de traitement et déterminer une donnée représentative de l’état émotionnel de l’occupant, c. analyser (A) la donnée représentative et la placer dans un espace tridimensionnel (AVD) de caractérisation de l’état émotionnel de l’occupant,
d. interpréter (I) la donnée représentative en adaptant l’espace tridimensionnel (AVD) en fonction de données supplémentaires, en particulier la culture et/ou l’éducation de l’occupant et/ou la vie et expérience personnelle dudit occupant,
e. actionner (Ac) un actionneur de manière à activer au moins un stimulus multi sensoriel pour interagir avec l’occupant, ledit stimulus étant agencé pour permettre de modifier l’état émotionnel dudit occupant de l’habitacle du véhicule pour interagir avec l’occupant en fonction de ladite donnée.
Procédé selon la revendication 16, comportant en outre une étape consistant à informer l’occupant (Inf) sur son état émotionnel et/ou sur le stimulus appliqué.
EP19829282.3A 2018-11-21 2019-11-15 Système interactif avec un occupant d'un vehicule automobile Withdrawn EP3883472A1 (fr)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR1871681A FR3088604B1 (fr) 2018-11-21 2018-11-21 Système interactif avec un occupant d’un véhicule automobile
PCT/FR2019/052722 WO2020104742A1 (fr) 2018-11-21 2019-11-15 Système interactif avec un occupant d'un vehicule automobile

Publications (1)

Publication Number Publication Date
EP3883472A1 true EP3883472A1 (fr) 2021-09-29

Family

ID=66641015

Family Applications (1)

Application Number Title Priority Date Filing Date
EP19829282.3A Withdrawn EP3883472A1 (fr) 2018-11-21 2019-11-15 Système interactif avec un occupant d'un vehicule automobile

Country Status (5)

Country Link
US (1) US20210394762A1 (fr)
EP (1) EP3883472A1 (fr)
CN (1) CN113164119A (fr)
FR (1) FR3088604B1 (fr)
WO (1) WO2020104742A1 (fr)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11787062B2 (en) * 2019-12-12 2023-10-17 The Boeing Company Emotional intelligent robotic pilot
CN112869742A (zh) * 2021-01-11 2021-06-01 金纪高科智能科技(北京)有限公司 一种基于视频算法的实时监测预警系统及方法
CN114949531A (zh) * 2022-05-13 2022-08-30 青岛大学 基于生理信号的vr双模式情绪自动控制系统
FR3146864A1 (fr) 2023-03-22 2024-09-27 Psa Automobiles Sa Procédé de gestion d’ambiances multisensorielles dépendant de données externes au véhicule automobile

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101006191B1 (ko) * 2002-08-06 2011-01-07 윤재민 가상인격체의 감정표현과 동작구현방법
JP2008511080A (ja) * 2004-08-23 2008-04-10 サーノフ コーポレーション 融合画像を形成するための方法および装置
WO2008064431A1 (fr) * 2006-12-01 2008-06-05 Latrobe University Procédé et système de surveillance des changements d'état émotionnel
US10111611B2 (en) * 2010-06-07 2018-10-30 Affectiva, Inc. Personal emotional profile generation
FR3001679B1 (fr) * 2013-02-01 2016-07-01 Peugeot Citroen Automobiles Sa Procede de commande d'organes fonctionnels d'un vehicule pour generer differentes ambiances multisensorielles dans le vehicule
DE102015105581A1 (de) * 2014-11-03 2016-05-04 Audi Ag System und Verfahren zur Überwachung des Gesundheitszustandes und/oder des Befindens eines Fahrzeuginsassen
US9792084B2 (en) * 2015-01-02 2017-10-17 Gracenote, Inc. Machine-led mood change
DE102015200775A1 (de) * 2015-01-20 2016-07-21 Bayerische Motoren Werke Aktiengesellschaft Unabhängigen Beurteilung eines emotionalen Zustandes und einer kognitiven Belastung
CN106293383A (zh) * 2015-06-19 2017-01-04 奥迪股份公司 用于控制机动车辆的界面装置的方法
DE102015216623A1 (de) * 2015-08-31 2017-03-02 Bayerische Motoren Werke Aktiengesellschaft Situative Neuromodulation eines Insassen eines Kraftfahrzeugs
US10430810B2 (en) * 2015-09-22 2019-10-01 Health Care Direct, Inc. Systems and methods for assessing the marketability of a product
KR101781537B1 (ko) * 2015-11-16 2017-09-26 엘지전자 주식회사 차량의 실내 방향 장치의 제어방법
EP3207868A1 (fr) * 2016-02-19 2017-08-23 Patonomics AB Procédé et appareil permettant d'identifier un état émotionnel transitoire d'un mammifère vivant
FR3059221A1 (fr) * 2016-11-28 2018-06-01 Ironova Dispositif apte a identifier un etat emotionnel, bracelet integrant un tel dispositif et procede associe d'identification et de reaction a un etat emotionnel
CN108056774A (zh) * 2017-12-29 2018-05-22 中国人民解放军战略支援部队信息工程大学 基于视频刺激材料的实验范式情绪分析实现方法及其装置

Also Published As

Publication number Publication date
FR3088604B1 (fr) 2021-07-23
WO2020104742A1 (fr) 2020-05-28
US20210394762A1 (en) 2021-12-23
FR3088604A1 (fr) 2020-05-22
CN113164119A (zh) 2021-07-23

Similar Documents

Publication Publication Date Title
WO2020104742A1 (fr) Système interactif avec un occupant d'un vehicule automobile
US10960816B2 (en) Vehicle engine sound control system and control method based on driver propensity using artificial intelligence
JP7754630B2 (ja) ドライバー監視システムでメディア誘発感情から運転感情を分離するための技術
JP2008126818A (ja) 自動車用ユーザーもてなしシステム
JP7843238B2 (ja) ユーザ適合したサービスをユーザに提供する技術
WO2017149045A1 (fr) Dispositif et méthode de surveillance personnalisés d'un conducteur d'un véhicule automobile
FR2988654A1 (fr) Reglage automatique d'un siege pour vehicule automobile
WO2013092214A2 (fr) Methode de cotation du bruit des freins d'un vehicule automobile
JP7183782B2 (ja) 感情推定装置、環境提供システム、車両、感情推定方法、および情報処理プログラム
FR3099610A1 (fr) Dispositif d’evaluation d’emotion
CN115703420A (zh) 用于安全和定制应用的多模态乘员座位映射
CN118372760A (zh) 一种人车交互方法、装置、电子设备、车辆及存储介质
WO2020144424A1 (fr) Systeme interactif
JP7359092B2 (ja) 車両ユーザ支援システム、及び車両ユーザ支援装置
FR2998159A1 (fr) Procede et systeme de gestion du stress d'un conducteur de vehicule automobile
FR3059619A1 (fr) Procede et dispositif d’assistance a la conduite d’un vehicule en fonction des habitudes de conduite d’un conducteur
FR3104283A1 (fr) Système interactif et procédé d’interaction associé
FR3104284A1 (fr) Système interactif et procédé d’interaction associé
US20250171034A1 (en) Custom environment in a vehicle
FR3116472A1 (fr) Procédé de gestion thermique et système de gestion thermique correspondant
EP3325936A1 (fr) Procede et systeme de determination de la resistance aerodynamique d'un cycliste
WO2022017737A1 (fr) Système interactif et procédé d'interaction associé
CN116942181A (zh) 模拟环境下基于脑电信号的驾驶员道路事故情感识别方法
FR3164305A1 (fr) Système interactif et procédé d’interaction associé
FR3146864A1 (fr) Procédé de gestion d’ambiances multisensorielles dépendant de données externes au véhicule automobile

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20210519

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)
P01 Opt-out of the competence of the unified patent court (upc) registered

Effective date: 20230528

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: EXAMINATION IS IN PROGRESS

17Q First examination report despatched

Effective date: 20231214

GRAP Despatch of communication of intention to grant a patent

Free format text: ORIGINAL CODE: EPIDOSNIGR1

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: GRANT OF PATENT IS INTENDED

INTG Intention to grant announced

Effective date: 20250808

RAP1 Party data changed (applicant data changed or rights of an application transferred)

Owner name: VALEO ELECTRIFICATION

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION IS DEEMED TO BE WITHDRAWN

18D Application deemed to be withdrawn

Effective date: 20251209