CN114954483A - 车辆及其控制方法 - Google Patents
车辆及其控制方法 Download PDFInfo
- Publication number
- CN114954483A CN114954483A CN202111384882.2A CN202111384882A CN114954483A CN 114954483 A CN114954483 A CN 114954483A CN 202111384882 A CN202111384882 A CN 202111384882A CN 114954483 A CN114954483 A CN 114954483A
- Authority
- CN
- China
- Prior art keywords
- driver
- vehicle
- controller
- physical condition
- control method
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 32
- 230000000694 effects Effects 0.000 claims abstract description 56
- 230000017531 blood circulation Effects 0.000 claims description 35
- 230000015654 memory Effects 0.000 claims description 30
- 230000001815 facial effect Effects 0.000 claims description 17
- 238000012706 support-vector machine Methods 0.000 claims description 15
- 230000004044 response Effects 0.000 claims description 12
- 238000013473 artificial intelligence Methods 0.000 claims description 11
- 231100000430 skin reaction Toxicity 0.000 claims description 9
- 230000001133 acceleration Effects 0.000 claims description 8
- 230000002123 temporal effect Effects 0.000 claims description 7
- 238000010606 normalization Methods 0.000 claims description 5
- 230000018044 dehydration Effects 0.000 claims description 4
- 238000006297 dehydration reaction Methods 0.000 claims description 4
- 238000004891 communication Methods 0.000 description 32
- 238000004458 analytical method Methods 0.000 description 8
- 230000002194 synthesizing effect Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 238000006243 chemical reaction Methods 0.000 description 5
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000036760 body temperature Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000000691 measurement method Methods 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 230000037007 arousal Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000000994 depressogenic effect Effects 0.000 description 1
- 230000002996 emotional effect Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 230000035807 sensation Effects 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 210000002820 sympathetic nervous system Anatomy 0.000 description 1
- 230000017105 transposition Effects 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
- A61M21/00—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
- A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
- A61B5/024—Detecting, measuring or recording pulse rate or heart rate
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
- A61B5/026—Measuring blood flow
- A61B5/0261—Measuring blood flow using optical means, e.g. infrared light
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/168—Evaluating attention deficit, hyperactivity
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/18—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
- A61B5/6887—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient mounted on external non-worn devices, e.g. non-medical devices
- A61B5/6893—Cars
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
- B60Q9/00—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W10/00—Conjoint control of vehicle sub-units of different type or different function
- B60W10/04—Conjoint control of vehicle sub-units of different type or different function including control of propulsion units
- B60W10/08—Conjoint control of vehicle sub-units of different type or different function including control of propulsion units including control of electric propulsion units, e.g. motors or generators
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/10—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
- B60W40/105—Speed
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/10—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
- B60W40/107—Longitudinal acceleration
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
- G06F3/165—Management of the audio stream, e.g. setting of volume, audio stream path
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
- G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R3/00—Circuits for transducers, loudspeakers or microphones
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves
- A61B5/053—Measuring electrical impedance or conductance of a portion of the body
- A61B5/0531—Measuring skin impedance
- A61B5/0533—Measuring galvanic skin response
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
- A61M21/00—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
- A61M2021/0005—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus
- A61M2021/0027—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus by the hearing sense
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
- A61M2205/00—General characteristics of the apparatus
- A61M2205/33—Controlling, regulating or measuring
- A61M2205/3306—Optical measuring means
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
- A61M2205/00—General characteristics of the apparatus
- A61M2205/33—Controlling, regulating or measuring
- A61M2205/3317—Electromagnetic, inductive or dielectric measuring means
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
- A61M2205/00—General characteristics of the apparatus
- A61M2205/33—Controlling, regulating or measuring
- A61M2205/332—Force measuring means
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
- A61M2205/00—General characteristics of the apparatus
- A61M2205/33—Controlling, regulating or measuring
- A61M2205/3365—Rotational speed
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
- A61M2205/00—General characteristics of the apparatus
- A61M2205/33—Controlling, regulating or measuring
- A61M2205/3368—Temperature
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
- A61M2205/00—General characteristics of the apparatus
- A61M2205/35—Communication
- A61M2205/3546—Range
- A61M2205/3553—Range remote, e.g. between patient's home and doctor's office
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
- A61M2205/00—General characteristics of the apparatus
- A61M2205/35—Communication
- A61M2205/3546—Range
- A61M2205/3561—Range local, e.g. within room or hospital
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
- A61M2205/00—General characteristics of the apparatus
- A61M2205/35—Communication
- A61M2205/3576—Communication with non implanted data transmission devices, e.g. using external transmitter or receiver
- A61M2205/3584—Communication with non implanted data transmission devices, e.g. using external transmitter or receiver using modem, internet or bluetooth
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
- A61M2205/00—General characteristics of the apparatus
- A61M2205/35—Communication
- A61M2205/3576—Communication with non implanted data transmission devices, e.g. using external transmitter or receiver
- A61M2205/3592—Communication with non implanted data transmission devices, e.g. using external transmitter or receiver using telemetric means, e.g. radio or optical transmission
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
- A61M2205/00—General characteristics of the apparatus
- A61M2205/50—General characteristics of the apparatus with microprocessors or computers
- A61M2205/52—General characteristics of the apparatus with microprocessors or computers with memories providing a history of measured variating parameters of apparatus or patient
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
- A61M2230/00—Measuring parameters of the user
- A61M2230/04—Heartbeat characteristics, e.g. ECG, blood pressure modulation
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
- A61M2230/00—Measuring parameters of the user
- A61M2230/04—Heartbeat characteristics, e.g. ECG, blood pressure modulation
- A61M2230/06—Heartbeat rate only
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
- A61M2230/00—Measuring parameters of the user
- A61M2230/08—Other bio-electrical signals
- A61M2230/10—Electroencephalographic signals
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
- A61M2230/00—Measuring parameters of the user
- A61M2230/50—Temperature
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
- A61M2230/00—Measuring parameters of the user
- A61M2230/60—Muscle strain, i.e. measured on the user
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
- A61M2230/00—Measuring parameters of the user
- A61M2230/65—Impedance, e.g. conductivity, capacity
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
- B60W2040/0818—Inactivity or incapacity of driver
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
- B60W2040/0872—Driver physiology
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
- B60W2050/143—Alarm means
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
- B60W2420/40—Photo or light sensitive means, e.g. infrared sensors
- B60W2420/403—Image sensing, e.g. optical camera
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2510/00—Input parameters relating to a particular sub-units
- B60W2510/08—Electric propulsion units
- B60W2510/081—Speed
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2520/00—Input parameters relating to overall vehicle dynamics
- B60W2520/10—Longitudinal speed
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2540/00—Input parameters relating to occupants
- B60W2540/10—Accelerator pedal position
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
- B60Y2200/00—Type of vehicle
- B60Y2200/90—Vehicles comprising electric prime movers
- B60Y2200/91—Electric vehicles
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2499/00—Aspects covered by H04R or H04S not otherwise provided for in their subgroups
- H04R2499/10—General applications
- H04R2499/13—Acoustic transducers and sound field adaptation in vehicles
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Automation & Control Theory (AREA)
- Mechanical Engineering (AREA)
- Transportation (AREA)
- Public Health (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Veterinary Medicine (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Biophysics (AREA)
- Medical Informatics (AREA)
- Surgery (AREA)
- Molecular Biology (AREA)
- Pathology (AREA)
- Mathematical Physics (AREA)
- Multimedia (AREA)
- General Physics & Mathematics (AREA)
- Psychology (AREA)
- Acoustics & Sound (AREA)
- Hematology (AREA)
- Physiology (AREA)
- Developmental Disabilities (AREA)
- Cardiology (AREA)
- Psychiatry (AREA)
- Chemical & Material Sciences (AREA)
- Combustion & Propulsion (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Signal Processing (AREA)
- General Engineering & Computer Science (AREA)
- Anesthesiology (AREA)
- Social Psychology (AREA)
- Artificial Intelligence (AREA)
- Child & Adolescent Psychology (AREA)
- Educational Technology (AREA)
Abstract
本申请公开了车辆及其控制方法,并且车辆包括:拍摄驾驶员的面部的照相机,获得驾驶员的皮肤信息的传感器,扬声器,以及控制器。控制器基于驾驶员的面部图像和驾驶员的皮肤信息中的至少一个确定驾驶员的身体状况,基于驾驶员的身体状况确定声源和参数,通过在声源和参数中反映车辆的行驶信息生成行驶音效,并且操作扬声器以输出行驶音效。
Description
技术领域
本公开涉及车辆及其控制方法。
背景技术
在现代社会中,车辆是最常用的交通工具,并且车辆的数量越来越多。尽管在过去,车辆不具有超出交通工具的含义,但是在现代社会中,车辆更多地用作表达自己的方式或超出交通工具含义的驾驶享受。因此,更多人喜欢像摩托车和赛车那样的速度,并且喜欢这样的速度的人感到非常兴奋,这不仅从来自车辆速度的速度感,而且也是来自由车辆的发动机的产生的运作声音和振动声音。因此,一些驾驶员会改造发动机以获得驾驶员期望的行驶音效。
特别地,在电动车辆的情况下,由于运作声音和振动声音不是由车辆的发动机产生的,可以输出通过扬声器人工产生的行驶音效。然而,因为提供给车辆的行驶音效是由制造商提前设计的行驶音效,所以难以满足驾驶员的需求。
发明内容
本公开的一个方面是提供一种能够确定驾驶员的身体状况并且基于驾驶员的身体状况和车辆的行驶信息生成行驶音效的车辆及其控制方法。
本公开的附加方面将在随后的描述部分中阐述,并且在这部分中将从描述中显而易见,或者可通过本公开的实践而了解。
根据本公开的一方面,一种车辆可以包括:照相机,被配置为拍摄驾驶员的面部;传感器,被配置为获得驾驶员的皮肤信息;扬声器,以及控制器,被配置为基于驾驶员的面部图像和驾驶员的皮肤信息中的至少一者确定驾驶员的身体状况,基于驾驶员的身体状况确定声源和参数,通过在声源和参数中反映车辆的行驶信息生成行驶音效,并且操作扬声器以输出行驶音效。
车辆可以进一步包括存储器,存储器被设置为存储针对每种身体状况的声源和针对每种身体状况的参数的匹配数据。控制器可被配置为基于身体状况从存储器实时接收声源和参数。控制器可被配置为将欧拉视频放大框架应用于面部图像,从面部图像提取血流图像,并且基于血流图像估计驾驶员的脉搏率。
控制器可被配置为基于面部图像来获取血流的时间与空间切片。皮肤信息可以包括皮电反应(GSR)。控制器可以被配置为执行用于皮电反应的数据中的噪声消除、标准化和满足预定标准的数据的选择中的至少一者。控制器可被配置为确定驾驶员的紧张状态、驾驶员的脱水状态以及驾驶员的疲劳状态中的至少一者。控制器可以使用支持向量机(SVM)确定身体状况,SVM是人工智能算法。行驶信息可以包括车辆的电动机的每分钟转数(RPM)、车辆的速度、车辆的加速度以及车辆的踏板力中的至少一个。
根据本公开的另一方面,车辆的控制方法可以包括:基于驾驶员的面部图像和驾驶员的皮肤信息中的至少一者确定驾驶员的身体状况;基于身体状况确定声源和参数;通过在声源和参数中反映车辆的行驶信息来生成行驶音效;并且输出行驶音效。
控制方法还可以包括在存储器中存储针对每种身体状况的声源和针对每种身体状况的参数的匹配数据。控制方法还可包括基于身体状况从存储器实时地接收声源和参数。控制方法还可包括将欧拉视频放大框架应用于面部图像,从面部图像提取血流图像,并且基于血流图像估计驾驶员的脉搏率。
控制方法可以进一步包括基于面部图像来获取血流的时间与空间切片。皮肤信息可以包括皮电反应(GSR)。控制方法还可以包括执行用于皮电反应的数据中的噪声消除、标准化和满足预定标准的数据的选择中的至少一者。控制方法可以进一步包括确定驾驶员的紧张状态、驾驶员的脱水状态以及驾驶员的疲劳状态中的至少一者。控制方法可以进一步包括使用支持向量机(SVM)确定身体状况,SVM是人工智能算法。行驶信息可以包括车辆的电动机的每分钟转数(RPM)、车辆的速度、车辆的加速度以及车辆的踏板力中的至少一个。
附图说明
通过结合附图的实施例的以下描述,本公开的这些和/或其他方面将变得显而易见并且更容易理解,其中:
图1是根据本公开的实施例的车辆的控制框图;
图2A和图2B示出了根据本公开的实施例的驾驶员的面部图像;
图3A和图3B示出了根据本公开的实施例的用于测量皮肤状态的设备和结果图示;
图4是示出了根据本公开的实施例的合成行驶音效的过程的图示;
图5示出了根据本公开实施例的基于驾驶员的面部图像的脉搏率分析方法;
图6示出了根据本公开的实施例的皮肤状态测量方法;
图7示出了根据本公开的实施例的基于驾驶员状态信息生成行驶音效的方法;以及
图8是示出了根据本公开的实施例的基于驾驶员状态信息生成行驶音效的方法的结果的示图。
具体实施方式
在整个说明书中,相同的参考标号表示相同的元件。本说明书并没有描述实施例的所有元件,并且将省略在本公开的技术领域中的实施例或一般内容之间的重复内容。本说明书中使用的术语‘部分’、‘模块’、‘构件’和‘块’可作为软件或硬件具体化,并且根据实施例,多个‘部分’、‘模块’、‘构件’和‘块’也可作为一个部件具体化,或一个‘部分’、‘模块’、‘构件’和‘块’包括多个部件。
在整个说明书中,当一部分被提到正在“连接”至另一部分时,其不仅包括直接连接而且包括间接连接,并且间接连接包括通过无线网络的连接。而且,当描述一部分“包括”元件时,意味着该元件可进一步包括其他元件,不排除其他元件,除非另有具体规定。
在本说明书中,还应理解的是,当元件被称为“在”另一元件“上”或另一元件“上面的”时,其可直接在另一元件上,或者也可存在中间元件。术语“第一”、“第二”等用于区分一个元件与另一个元件,并且这些元件不受上述术语的限制。除非上下文另有明确规定,否则单数形式“一”、“一个”和“该”包括复数指示物。在每个步骤中,为了便于解释,使用标识号,该标识号并不描述步骤的顺序,并且每个步骤可以与指定的顺序不同地执行,除非上下文清楚地陈述特定的顺序。
在下文中,将参考附图详细描述本公开。图1是根据本公开的实施例的车辆的控制框图。
参考图1,车辆1可以包括:照相机110,被配置为拍摄驾驶员的面部;传感器120,被配置为获得驾驶员的皮肤信息;通信装置(CAN:控制器局域网)130;扬声器140;以及控制器100,被配置为基于驾驶员的面部图像和驾驶员的皮肤信息中的至少一者确定驾驶员的身体状况,基于驾驶员的身体状况确定声源和参数,通过在声源和参数中反映车辆的行驶信息生成行驶音效,并控制扬声器140输出行驶音效。
照相机110可以设置在驾驶员座椅上方,但是不限于此,只要照相机110处于获得驾驶员的面部图像的位置即可。照相机110可被配置为通过拍摄驾驶员的面部获得面部图像并且可以将获得的面部图像传输至控制器100。传感器120可以包括安装在驾驶员的身体(诸如驾驶员的手指)上的传感器以测量皮电反应(GSR),该传感器可容易地附接和拆卸。更具体地,通过测量皮电反应(其测量皮肤的导电性),可以更容易地确定与驾驶员的交感神经系统相关联的驾驶员的心理和身体唤醒状态。
传感器120可以被配置为测量驾驶员的皮电反应并且将测量结果传输至控制器100。此外,传感器120可以是安装在车辆的驾驶员座椅上以检测驾驶员的体温的体温传感器,可以是设置在方向盘上以检测来自驾驶员的手部的心电图信号的心电图传感器,并且可以包括从驾驶员的可穿戴装置获得生物信号的接收装置。例如,生物信号可包括EMG信号、心电图信号、脑电图信号、安全级别信号等。
传感器120可放置在车辆内的各个位置处。例如,传感器120可设置在座椅、安全带、方向盘、设置在门上的把手等中,但不限于此。通信装置130可被配置为接收诸如电动车辆的电动机RPM(每分钟转数)、车辆1的速度、车辆1的加速度、以及车辆1的加速器踏板的打开程度等信息,并且将该信息传输至控制器100。
通信装置130可以包括能够与外部装置通信的一个或多个部件,并且可以包括例如短程通信模块、有线通信模块和无线通信模块中的至少一个。此外,通信装置130可以包括能够与车辆内部通信的一个或多个部件,并且可以包括例如短程通信模块、有线通信模块和无线通信模块中的至少一个。例如,短程通信模块可以包括在短距离内使用无线通信网络发送和接收信号的各种短程通信模块,诸如,蓝牙模块、红外通信模块、RFID(射频识别)通信模块、WLAN(无线局域网)通信模块、NFC通信模块以及Zigbee通信模块。
例如,有线通信模块可以包括诸如CAN(控制器局域网)通信模块、LAN(局域网)模块、WAN(广域网)模块或VAN(增值网)模块的各种有线通信模块,以及诸如USB(通用串行总线)、HDMI(高清多媒体接口)、DVI(数字视频接口)、RS-232(推荐标准232)、电力线通信和POTS(普通老式电话服务)的各种电缆通信模块。除了Wi-Fi模块和无线宽带模块之外,无线通信模块还可以包括支持各种无线通信方法的无线通信模块,诸如GSM(全球移动通信系统)、CDMA(码分多址)、WCDMA(宽带码分多址)、UMTS(通用移动电信系统)、TDMA(时分多址)和LTE(长期演进)。无线通信模块可以包括无线通信接口,无线通信接口包括天线和用于发射信号的发射器。无线通信模块可以进一步包括信号转换模块,该信号转换模块根据控制器200的控制将通过无线通信接口从控制器200输出的数字控制信号调制成模拟无线信号。
扬声器140可以放置在车辆的两个门上,但是不限于此,只要驾驶员可以听到从车辆的内部输出的声音即可。例如,扬声器140可以被配置为将从控制器110接收的控制信号(电信号)输出为行驶音效。扬声器140可以包括诸如音圈和放大器的部件,该放大器通过调节提供给音圈的电流的大小来调节输出声音的音量。
存储器150可以被配置为存储根据驾驶员的身体状况分类的多个声源,诸如,针对驾驶员的每种身体状况的声源和针对驾驶员的每种身体状况的参数。例如,存储器150可被配置为存储对应于驾驶员的身体状况处于临时紧张状态的情况的声源,并且可以存储对应于驾驶员的身体状况处于脱水状态的情况的声源。此外,存储器150可以被配置为存储对应于驾驶员的身体状况处于累积疲劳的状态下的情况的声源,并且在这种情况下,再次确定驾驶员的疲劳度并且存储与驾驶员的各个疲劳度分别对应的声源。存储器150可以作为单独的芯片实现,或者可以与对应于控制器100的处理器一起作为单个芯片实现。
用于确定存储在存储器150中的驾驶员的情绪状态、性别和年龄的程序可以包括人工智能算法(人工神经网络模型),诸如卷积神经网络(CNN)算法、生成式对抗网络(GAN)算法、递归神经网络(RNN)算法、长短期记忆(LSTM)算法(其是RNN算法的类型)和基于区域的卷积神经网络(R-CNN)算法。
为了存储各种信息,存储器150可被实现为非易失性存储装置(诸如高速缓存、ROM(只读存储器)、PROM(可编程ROM)、EPROM(可擦可编程ROM)、EEPROM(电可擦可编程ROM)和闪存、易失性存储装置(诸如RAM(随机存取存储器))和存储介质(诸如HDD(硬盘驱动器)和CD-ROM)中的至少一个,但不限于此。
控制器100可以包括用于存储各种程序的至少一个存储器150,各种程序诸如用于生成行驶音效的程序和用于控制扬声器140的程序。此外,控制器100可以包括能够执行存储在存储器150中的程序的至少一个处理器(未示出)。控制器100可以被配置为接收从照相机110拍摄的驾驶员的面部图像。控制器100可被配置为通过将欧拉视频放大框架应用于驾驶员的面部图像来提取血流图像。
控制器100可被配置为放大所提取的血流图像,并基于放大的血流图像获取(derive)血流的时间与空间切片。控制器100可以被配置为使用血流图像和血流的时间与空间分解图像来估计驾驶员的脉搏率。控制器100可以被配置为从传感器120接收包括皮电反应的驾驶员的皮肤信息。用于测量皮电反应的传感器120可以是皮电反应(GSR)识别传感器。控制器100可以被配置为分析从传感器120接收的驾驶员的皮肤信息。例如,控制器100可以被配置为消除皮肤信息中的噪声,可以执行皮肤信息的标准化,并且通过从皮肤信息中选择有意义的数据来分析皮肤信息。
控制器100可以被配置为通过从传感器120接收的驾驶员的皮电反应的电流波形分析来确定与驾驶员的身体状况有关的生物信号特征,并且基于从驾驶员的面部图像和驾驶员的皮电反应估计的驾驶员的脉搏率来确定驾驶员的生物信号特征。例如,控制器100可以被配置为基于生物信号特征来确定驾驶员是否暂时紧张、驾驶员是否脱水、驾驶员已经积累了多少疲劳等。控制器100可以被配置为基于驾驶员的生物信号特征,使用支持向量机(SVM),即人工智能算法,综合确定驾驶员的身体状况。
具体地,控制器100可以被配置为根据基于人工智能算法和各种学习模型对驾驶员的身体状况的综合分析数据,来综合确定驾驶员的身体状况。可以从外部服务器2接收基于人工智能算法和各种学习模型对驾驶员的身体状况的综合分析数据。具体地,外部服务器2可以是云服务器,但不限于此。例如,控制器100可以被配置为确定驾驶员的身体状况处于驾驶员非常兴奋和有点疲劳的状态,并且可以从存储器150接收适合于驾驶员的该状态的声源和参数。
控制器100可以被配置为基于驾驶员的身体状况从存储器150接收对应于驾驶员的身体状况的声源和的参数。具体地,控制器100可以被配置为基于实时改变的驾驶员的身体状况实时接收对应于驾驶员的身体状况的声源和参数。此外,控制器100可以被配置为基于每个预定周期改变的驾驶员的身体状况,每个预定周期接收对应于驾驶员的身体状况的声源和参数。
例如,控制器100可以被配置为每两分钟确定驾驶员的身体状况,接收与其对应的声源和参数,并通过合成声源和参数信号来生成行驶音效,从而每两分钟输出新生成的行驶音效。控制器100可以被配置为通过在声源和参数中反映车辆1的行驶信息来生成行驶音效。
更具体地说,控制器100可以被配置为通过反映作为车辆1的行驶信息的电动机RPM、扭矩、加速器踏板传感器(APS)、速度、加速度和踏板力中的至少一个来生成行驶音效。例如,控制器100可以被配置为通过将对应于踏板力的信号和声源合成来生成行驶音效。另外,控制器100可以被配置为通过反映声源的调谐变量来生成行驶音效。更具体地说,控制器100可以通过反映作为声源的调谐变量的音调增加率、音调随机变调、粒度、粒位、滤波器类型、滤波器频率和谢泼德音阶(tone level)中的至少一个来生成行驶音效。
控制器100可以被配置为调整要从扬声器140输出的行驶音效。控制器100可以被实现为存储器和处理器,存储器存储用于控制车辆1内的部件的操作的算法,或用于再现该算法的程序或数据,以及处理器(未示出)用于使用存储在存储器中的数据执行上述操作。特别地,存储器可以被实现为与处理器分离的芯片,或者可以被实现为与处理器一起的单个芯片。
根据如上所述的实施例的车辆1并不总是在车辆1中提供相同的行驶音效,而是可以提供自动反映驾驶员的身体状况的各种行驶音效。因此,可以向驾驶员提供驾驶乐趣,从而提高车辆的可销售性,特别是,在诸如共享车辆的未来移动性领域,可以提供各种行驶音效以适合于各种驾驶员。
此外,由于车辆1在行驶过程中识别出驾驶员的身体状况后提供适合于驾驶员的身体状况的行驶音效,所以驾驶员在疲劳时可以一边听着具有平静和活力感觉的行驶音效一边驾驶,在兴奋时可以一边听着具有欢快和运动感觉的行驶音效一边驾驶,在沮丧时可以一边听着具有柔和和感动感觉的行驶音效一边驾驶,因此驾驶员的疲劳感可以减轻,并且驾驶员的快感可以加倍。
图2A和图2B示出了根据本发明实施例的驾驶员的面部图像。参考图2A,车辆1可以被配置为通过照相机110拍摄驾驶员的面部图像。车辆1可以被配置为通过将欧拉视频放大框架应用于拍摄的驾驶员的面部图像来检查血流11,并提取血流图像。参考图2B,车辆1可以被配置为放大提取的血流图像12。车辆1可被配置为基于放大的血流图像12获取血流11的时间与空间切片。
图3A和图3B示出了根据本公开实施例的用于测量皮肤状态的设备和结果图示。参考图3A,车辆1可以包括安装在驾驶员身体上的传感器120(例如,驾驶员的手指)以测量驾驶员的皮电反应(GSR),传感器可以更容易地附接和拆卸。
更具体地,参考图3B,车辆1可以被配置为分析关于从传感器120测量的驾驶员的皮电反应的电流波形。例如,为了使车辆1能够消除噪声并利用有意义的生物信号,生物信号可以由使第一频带中的信号通过的第一带通滤波器和使第二频带中的信号通过的第二带通滤波器来滤波。特别地,第一频带可以是低频区域,第二频带可以是高频区域。
图4是示出根据本公开实施例的合成行驶音效的过程的图示。参考图4,车辆1可以被配置为通过在从存储器150接收的声源和参数中反映车辆1的行驶信息生成行驶音效,并且相应地,车辆1可以被配置为通过通信设备130接收作为车辆1的行驶信息的电动机RPM、扭矩、加速器踏板传感器(APS)、速度、加速度和踏板力的至少一个信息。
另外,车辆1可以被配置为通过一起反映从存储器150接收的声源的调谐变量来生成行驶音效。声源的调谐变量可以包括音调增加率、音调随机变调、粒度、粒位、滤波器类型、滤波器频率和谢泼德音阶中的至少一个。例如,车辆1可以被配置为通过将与车辆1的行驶信息中的任何一个行驶信息对应的信号与声源合成来生成行驶音效。具体地,车辆1可以被配置为通过反映实时改变的车辆1的行驶信息以及将与改变的行驶信息对应的信号与声源合成来生成实时改变的行驶音效。另外,车辆1可以被配置为通过将声源的调谐变量中的任何一个反映到已经与对应于车辆1的行驶信息的信号进行了合成的行驶音效,并将反应的调谐变量合成在一起,来生成行驶音效。
图5示出了根据本发明实施例的基于驾驶员的面部图像的脉搏率分析方法。参考图5,车辆1可以被配置为从照相机110接收驾驶员的面部图像(210)。车辆1可以被配置为通过将欧拉视频放大框架应用于驾驶员的面部图像来检查血流并提取血流图像(220)。车辆1可被配置为放大提取的血流图像,并基于放大的血流图像获取血流的时间与空间切片(230)。车辆1可以被配置为使用血流图像和血流的时间与空间分解图像来确定驾驶员的脉搏率(240)。
图6示出了根据本公开实施例的皮肤状态测量方法。参考图6,车辆1可以被配置为从用于测量皮电反应的GSR传感器120接收皮电反应的测量结果(310)。车辆1可以被配置为分析从传感器120接收的驾驶员的皮肤信息。更具体地说,车辆1可以被配置为消除皮电反应数据的噪声,选择满足预定条件的有意义的数据,执行信号处理,以及分析皮电反应的电流波形(320)。
车辆1可以被配置为通过皮电反应的电流波形分析来确定与驾驶员的身体状况相关的生物信号特征。例如,车辆1可以被配置为基于生物信号特征来确定驾驶员是否暂时紧张、驾驶员是否脱水、驾驶员的疲劳累积程度等(330)。
图7示出了根据本公开的实施例的基于驾驶员状态信息生成行驶音效的方法。车辆1可以被配置为接收驾驶员的面部图像和驾驶员的皮电反应(410)。车辆1可被配置为基于面部图像确定血流,并放大面部血流图像。车辆1可以被配置为基于放大的面部血流图像来估计驾驶员的脉搏率(420)。
车辆1可以被配置为通过基于皮电反应的信号处理过程提取驾驶员的生物信号特征(430)。车辆1可以被配置为通过基于支持向量机(SVM)对驾驶员的生物信号特征进行分类来综合确定驾驶员的身体状况(440),支持向量机是人工智能算法。
更具体地说,车辆1可以被配置为根据基于人工智能算法和各种学习模型对驾驶员的身体状况的综合分析数据,来综合确定驾驶员的身体状况。可以从外部服务器2选择性地接收基于人工智能算法和学习模型对驾驶员身体状况的综合分析数据。具体地,外部服务器2可以是云服务器,但不限于此。
车辆1可以被配置为基于驾驶员的身体状况来确定适合于驾驶员身体状况的声源和参数(450)。车辆1可以被配置为从存储器150接收适合于驾驶员当前身体状况的声源和参数。例如,控制器100可以被配置为确定驾驶员的身体状况处于驾驶员非常兴奋和有点疲劳的状态,并从存储器150接收适合于驾驶员的该状态的声源和参数。
另外,车辆1可以被配置为基于实时改变的驾驶员的身体状况来确定适合于实时改变的驾驶员的身体状况的声源和参数,并且可以实时地从存储器150接收确定的声源和参数。车辆1可以被配置为通过通信设备130接收行驶信息(460)。在这种情况下,车辆1的行驶信息可以包括电动机RPM、扭矩、加速器踏板传感器(APS)、速度、加速度和踏板力中的至少一个。
车辆1可以被配置为通过使用虚拟声音实现程序在声源和参数中反映车辆1的行驶信息来生成行驶音效。例如,车辆1可以被配置为通过将对应于踏板力的信号与确定为适合于驾驶员身体状况的声源合成来生成行驶音效(470)。这里,车辆1可以被配置为通过将行驶信息反映到适合于驾驶员的身体状况的声源和参数并且还反映声源的调谐变量来生成行驶音效。
声源的调谐变量可以包括音调增加率、音调随机变调、粒度、粒位、滤波器类型、滤波器频率和谢泼德音阶中的至少一个。车辆1可以被配置为从扬声器140输出生成的行驶音效(480)。传统上,由于虚拟行驶音效(driving sound,行驶声音)将电动汽车声源和参数与行驶中的行驶条件联系起来,电动汽车声源和参数被用作由车辆制造商预先调谐并保存的文件,从而在相同的行驶条件下总是输出相同的行驶声音。其缺点在于,无论驾驶员当前的身体状况如何,总是只输出预定的行驶音效。
如上所述,根据本发明实施例的车辆可以在行驶期间确定驾驶员的身体状况,并且可以根据驾驶员的身体状况输出与车辆的行驶状况相关联的各种行驶音效。
图8是示出了根据本公开的实施例的基于驾驶员状态信息生成行驶音效的方法的结果的示图。车辆1可以被配置为根据驾驶员的身体状况将驾驶员的脉搏率输出到显示设备(未示出)。例如,当驾驶员的脉搏率增加时,显示器14的颜色可以针对驾驶员的脉搏率而发生改变。另外,车辆1可以被配置为拍摄驾驶员15的面部图像以估计驾驶员的脉搏率,并将拍摄的图像输出到显示设备(未示出)。
在此,所公开的实施例可以以存储可由计算机执行的指令的记录介质的形式来实现。指令可以以程序代码的形式存储,并且当由处理器执行时,可以创建程序模块来执行所公开的实施例的操作。该记录介质可以实现为计算机可读记录介质。
非瞬时计算机可读记录介质包括存储可由计算机解密的指令的各种记录介质。例如,可以存在ROM(只读存储器)、RAM(随机存取存储器)、磁带、磁盘、闪存、光数据存储设备等。
从上面显而易见,根据本发明的实施例,由于提供了适合于驾驶员身体状况的行驶音效,驾驶员在驾驶时可以感到更大的满足感。此外,根据本发明的实施例,由于提供了适合于驾驶员身体状况的行驶音效,可以向驾驶员提供驾驶乐趣,从而提高车辆的可销售性,特别是,在诸如共享车辆的未来移动性领域中,可以提供各种行驶音效以适合各种驾驶员。
上面已经描述了参照附图公开的实施例。然而,本领域技术人员将理解,在不脱离由所附权利要求定义的本公开的精神和范围的情况下,可以在形式和细节上进行各种改变。所公开的实施例是说明性的,不应被解释为限制性的。
Claims (20)
1.一种车辆,包括:
相机,被配置为拍摄驾驶员的面部;
传感器,被配置为获得所述驾驶员的皮肤信息;
扬声器;以及
控制器,被配置为基于所述驾驶员的面部图像和所述驾驶员的所述皮肤信息中的至少一者确定所述驾驶员的身体状况,基于所述驾驶员的所述身体状况确定声源和参数,通过在所述声源和所述参数中反映所述车辆的行驶信息来生成行驶音效,并且控制所述扬声器输出所述行驶音效。
2.根据权利要求1所述的车辆,进一步包括:
存储器,设置为存储针对每种身体状况的所述声源和针对每种身体状况的所述参数的匹配数据。
3.根据权利要求2所述的车辆,其中,所述控制器被配置为基于所述身体状况从所述存储器实时接收所述声源和所述参数。
4.根据权利要求1所述的车辆,其中,所述控制器被配置为将欧拉视频放大框架应用于所述面部图像,从所述面部图像提取血流图像,并且基于所述血流图像估计所述驾驶员的脉搏率。
5.根据权利要求4所述的车辆,其中,所述控制器被配置为基于所述血流图像获取血流的时间与空间切片。
6.根据权利要求1所述的车辆,其中,所述皮肤信息包括皮电反应(GSR)。
7.根据权利要求6所述的车辆,其中,所述控制器被配置为执行所述皮电反应的数据中的噪声消除、标准化以及满足预定标准的数据的选择中的至少一者。
8.根据权利要求1所述的车辆,其中,所述控制器被配置为确定所述驾驶员的紧张状态、所述驾驶员的脱水状态以及所述驾驶员的疲劳状态中的至少一者。
9.根据权利要求1所述的车辆,其中,所述控制器被配置为使用支持向量机(SVM)确定所述身体状况,所述支持向量机是人工智能算法。
10.根据权利要求1所述的车辆,其中,所述行驶信息包括所述车辆的电动机的每分钟转数(RPM)、所述车辆的速度、所述车辆的加速度、以及所述车辆的踏板力中的至少一者。
11.一种车辆的控制方法,包括:
由控制器基于驾驶员的面部图像和所述驾驶员的皮肤信息中的至少一者确定所述驾驶员的身体状况;
通过所述控制器基于所述身体状况确定声源和参数;
通过所述控制器在所述声源和所述参数中反映所述车辆的行驶信息来生成行驶音效;并且
通过所述控制器输出所述行驶音效。
12.根据权利要求11所述的控制方法,进一步包括:
由所述控制器将针对每种身体状况的所述声源和针对每种身体状况的所述参数的匹配数据存储在存储器中。
13.根据权利要求12所述的控制方法,进一步包括:
由所述控制器基于所述身体状况从所述存储器实时接收所述声源和所述参数。
14.根据权利要求11所述的控制方法,进一步包括:
通过所述控制器将欧拉视频放大框架应用于所述面部图像;
通过所述控制器从所述面部图像提取血流图像;以及
通过所述控制器基于所述血流图像估计所述驾驶员的脉搏率。
15.根据权利要求14所述的控制方法,进一步包括:
通过所述控制器基于所述血流图像获取血流的时间与空间切片。
16.根据权利要求11所述的控制方法,其中,所述皮肤信息包括皮电反应(GSR)。
17.根据权利要求16所述的控制方法,进一步包括:
通过所述控制器执行所述皮电反应的数据中的噪声消除、标准化以及满足预定标准的数据的选择中的至少一者。
18.根据权利要求11所述的控制方法,进一步包括:
通过所述控制器确定所述驾驶员的紧张状态、所述驾驶员的脱水状态以及所述驾驶员的疲劳状态中的至少一者。
19.根据权利要求11所述的控制方法,进一步包括:
通过所述控制器使用支持向量机(SVM)确定所述身体状况,所述支持向量机是人工智能算法。
20.根据权利要求11所述的控制方法,其中,所述行驶信息包括所述车辆的电动机的每分钟转数(RPM)、所述车辆的速度、所述车辆的加速度以及所述车辆的踏板力中的至少一者。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020210023239A KR20220120741A (ko) | 2021-02-22 | 2021-02-22 | 차량 및 그 제어방법 |
KR10-2021-0023239 | 2021-02-22 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114954483A true CN114954483A (zh) | 2022-08-30 |
Family
ID=82899551
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111384882.2A Pending CN114954483A (zh) | 2021-02-22 | 2021-11-22 | 车辆及其控制方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US20220269474A1 (zh) |
KR (1) | KR20220120741A (zh) |
CN (1) | CN114954483A (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20230125629A1 (en) * | 2021-10-26 | 2023-04-27 | Avaya Management L.P. | Usage and health-triggered machine response |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10448831B2 (en) * | 2017-03-31 | 2019-10-22 | BraveHeart Wireless Inc. | Wearable sensor |
CN110651333B (zh) * | 2017-06-21 | 2024-04-12 | 索尼公司 | 手术成像系统、方法和计算机程序产品 |
JP7014129B2 (ja) * | 2018-10-29 | 2022-02-01 | オムロン株式会社 | 推定器生成装置、モニタリング装置、推定器生成方法及び推定器生成プログラム |
US20200334479A1 (en) * | 2019-04-19 | 2020-10-22 | GM Global Technology Operations LLC | System and method for measuring passenger satisfaction in a vehicle |
US11507857B2 (en) * | 2019-10-01 | 2022-11-22 | TeleLingo | Systems and methods for using artificial intelligence to present geographically relevant user-specific recommendations based on user attentiveness |
US11447143B2 (en) * | 2019-10-18 | 2022-09-20 | Ford Global Technologies, Llc | Methods and system for adjusting vehicle operation based on a predicted state of a vehicle occupant |
-
2021
- 2021-02-22 KR KR1020210023239A patent/KR20220120741A/ko active Search and Examination
- 2021-11-05 US US17/519,802 patent/US20220269474A1/en active Pending
- 2021-11-22 CN CN202111384882.2A patent/CN114954483A/zh active Pending
Also Published As
Publication number | Publication date |
---|---|
US20220269474A1 (en) | 2022-08-25 |
KR20220120741A (ko) | 2022-08-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20210021942A1 (en) | Separating and recombining audio for intelligibility and comfort | |
CN109726771B (zh) | 异常驾驶检测模型建立方法、装置及存储介质 | |
Pal et al. | EEG-based subject-and session-independent drowsiness detection: an unsupervised approach | |
US20170291544A1 (en) | Adaptive alert system for autonomous vehicle | |
KR102330385B1 (ko) | 감성 인식 차량 제어 장치, 시스템 및 방법 | |
CN105448305A (zh) | 语音处理装置和语音处理方法 | |
JP6779305B2 (ja) | 生体情報測定装置、生体情報測定装置の制御方法、制御装置、および制御プログラム | |
US20210287697A1 (en) | Techniques for separating driving emotion from media induced emotion in a driver monitoring system | |
CN114954483A (zh) | 车辆及其控制方法 | |
KR101330923B1 (ko) | 감마톤 필터를 이용한 차량 소음의 음질 평가 방법 및 그 장치 | |
CN108392201B (zh) | 大脑训练方法及相关设备 | |
JP2012000280A (ja) | 脳波推定装置、脳波推定方法及びプログラム | |
KR102140045B1 (ko) | 미러 패딩을 이용한 손 동작 인식 장치 및 그 방법 | |
CN109144271B (zh) | 三维空间音频关注度分析方法、系统、服务器及存储介质 | |
CN111052127A (zh) | 疲劳检测的系统和方法 | |
WO2023032281A1 (ja) | 情報処理装置、情報処理方法、及び、プログラム | |
JP2020103462A (ja) | 感情推定装置、環境提供システム、車両、感情推定方法、および情報処理プログラム | |
US11531394B2 (en) | Systems and methods for emotional-imaging composer | |
US20230218221A1 (en) | Brain State Optimization with Audio Stimuli | |
WO2022107292A1 (ja) | プログラム、情報処理方法、及び情報処理装置 | |
US11317200B2 (en) | Sound source separation system, sound source position estimation system, sound source separation method, and sound source separation program | |
CN114435373A (zh) | 疲劳驾驶检测方法、装置、计算机设备和存储介质 | |
JP6648788B1 (ja) | 運転制御調整装置および運転制御調整方法 | |
KR20220000654A (ko) | 차량 및 그 제어방법 | |
CN112842358A (zh) | 脑部生理数据的处理系统、方法、设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |