DE102021211812A1 - Vorrichtung und verfahren zur überwachung von emotion basierend auf einem fahrzeuggeräusch - Google Patents

Vorrichtung und verfahren zur überwachung von emotion basierend auf einem fahrzeuggeräusch Download PDF

Info

Publication number
DE102021211812A1
DE102021211812A1 DE102021211812.7A DE102021211812A DE102021211812A1 DE 102021211812 A1 DE102021211812 A1 DE 102021211812A1 DE 102021211812 A DE102021211812 A DE 102021211812A DE 102021211812 A1 DE102021211812 A1 DE 102021211812A1
Authority
DE
Germany
Prior art keywords
emotion
processor
sound
driver
algorithm
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102021211812.7A
Other languages
English (en)
Inventor
Ki Chang Kim
Eun Soo JO
Tae Kun Yun
Sang Jin Hong
Dong Chul Park
Kyoung Jin CHANG
Ju In KIM
Jin Sung Lee
Myung Hwan Yun
Sung Ho Kim
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hyundai Motor Co
SNU R&DB Foundation
Kia Corp
Original Assignee
Hyundai Motor Co
Seoul National University R&DB Foundation
Kia Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hyundai Motor Co, Seoul National University R&DB Foundation, Kia Corp filed Critical Hyundai Motor Co
Publication of DE102021211812A1 publication Critical patent/DE102021211812A1/de
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/165—Management of the audio stream, e.g. setting of volume, audio stream path
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/18—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/48—Other medical applications
    • A61B5/4836—Diagnosis combined with treatment in closed-loop systems or methods
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6887—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient mounted on external non-worn devices, e.g. non-medical devices
    • A61B5/6893—Cars
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M21/00—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
    • A61M21/02—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis for inducing sleep or relaxation, e.g. by direct nerve stimulation, hypnosis, analgesia
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60H—ARRANGEMENTS OF HEATING, COOLING, VENTILATING OR OTHER AIR-TREATING DEVICES SPECIALLY ADAPTED FOR PASSENGER OR GOODS SPACES OF VEHICLES
    • B60H3/00—Other air-treating devices
    • B60H3/0007—Adding substances other than water to the air, e.g. perfume, oxygen
    • B60H3/0035—Adding substances other than water to the air, e.g. perfume, oxygen characterised by the control methods for adding the substance
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q3/00—Arrangement of lighting devices for vehicle interiors; Lighting devices specially adapted for vehicle interiors
    • B60Q3/80—Circuits; Control arrangements
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B13/00—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion
    • G05B13/02—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric
    • G05B13/0265—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric the criterion being a learning criterion
    • G05B13/027—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric the criterion being a learning criterion using neural networks only
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00—Registering or indicating the working of vehicles
    • G07C5/08—Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
    • G07C5/0841—Registering performance data
    • G07C5/085—Registering performance data using electronic data carriers
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/70—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mental therapies, e.g. psychological therapy or autogenous training
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/63—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2503/00—Evaluating a particular growth phase or type of persons or animals
    • A61B2503/20—Workers
    • A61B2503/22—Motor vehicles operators, e.g. drivers, pilots, captains
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/01—Measuring temperature of body parts ; Diagnostic temperature sensing, e.g. for malignant or inflamed tissue
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1126—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
    • A61B5/1128—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using image analysis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/48—Other medical applications
    • A61B5/4803—Speech analysis specially adapted for diagnostic purposes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M21/00—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
    • A61M2021/0005—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus
    • A61M2021/0016—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus by the smell sense
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M21/00—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
    • A61M2021/0005—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus
    • A61M2021/0022—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus by the tactile sense, e.g. vibrations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M21/00—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
    • A61M2021/0005—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus
    • A61M2021/0027—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus by the hearing sense
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M21/00—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
    • A61M2021/0005—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus
    • A61M2021/0044—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus by the sight sense
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0872—Driver physiology
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0002—Automatic control, details of type of controller or control system architecture
    • B60W2050/0008—Feedback, closed loop systems or details of feedback error signal
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0043—Signal treatments, identification of variables or parameters, parameter estimation or state estimation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143—Alarm means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/22—Psychological state; Stress level or workload
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Psychiatry (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Pathology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Surgery (AREA)
  • Theoretical Computer Science (AREA)
  • Psychology (AREA)
  • Artificial Intelligence (AREA)
  • Social Psychology (AREA)
  • Hospice & Palliative Care (AREA)
  • Developmental Disabilities (AREA)
  • Child & Adolescent Psychology (AREA)
  • General Physics & Mathematics (AREA)
  • Educational Technology (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Automation & Control Theory (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Multimedia (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Transportation (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Anesthesiology (AREA)

Abstract

Eine Vorrichtung und ein Verfahren zur Überwachung von Emotion eines Fahrers basierend auf einem Fahrzeuggeräusch können umfassen: einen Detektor, der ausgebildet ist, um Fahrinformationen des Fahrzeugs und Körperinformationen eines Nutzers zu erfassen; einen nicht übertragbaren Speicher zum Speichern von Anweisungen; und einen Prozessor zum Ausführen der Anweisungen. Der Prozessor bestimmt einen emotionalen Zustand des Fahrers unter Verwendung zumindest der Fahrinformationen oder der Körperinformationen, um einen Heilklang zu erzeugen, indem ein virtueller Klang basierend auf den Fahrinformationen und dem emotionalen Zustand des Fahrers ausgebildet wird, und um den Heilklang zu erzeugen und auszugeben.

Description

  • HINTERGRUND DER ERFINDUNG
  • Gebiet der Erfindung
  • Die vorliegende Erfindung betrifft eine Vorrichtung und ein Verfahren zur Überwachung von Emotion basierend auf einem Fahrzeuggeräusch.
  • Beschreibung des Standes der Technik
  • Ein Gesundheitsüberwachungssystem verwendet eine Technologie zur Erkennung eines Fahrerzustands, um eine Unterstützung und eine Warnung bereitzustellen und gleichzeitig die Fahrsicherheit in Verbindung mit einem Fahrzeugsystem zu erhöhen. Das Gesundheitsüberwachungssystem sammelt biometrische Informationen, zum Beispiel ein Elektrokardiogramm, eine Herzfrequenz und eine Fahrerbewegung unter Verwendung von Sensoren, um den Zustand des Fahrers zu bestimmen. Darüber hinaus erkennt das Gesundheitsüberwachungssystem den Gesichtsausdruck des Fahrers unter Verwendung einer Kamera, um den emotionalen Zustand des Fahrers zu bestimmen.
  • Die in diesem Abschnitt über den Hintergrund der Erfindung enthaltenen Informationen dienen lediglich der Verbesserung des Verständnisses des allgemeinen Hintergrunds der Erfindung und dürfen nicht als Anerkennung oder als Hinweis darauf verstanden werden, dass diese Informationen den Stand der Technik bilden, der dem Fachmann bereits bekannt ist.
  • KURZE ZUSAMMENFASSUNG
  • Verschiedene Aspekte der vorliegenden Erfindung sind darauf gerichtet, eine Vorrichtung und ein Verfahren zur Überwachung von Emotion eines Fahrers basierend auf einem Fahrzeuggeräusch bereitzustellen, die so ausgebildet sind, dass sie einen emotionalen Zustand eines Fahrers basierend auf von Fahrinformationen des Fahrzeugs und Körperinformationen eines Nutzers erkennen, und dass sie eine Sinneswahrnehmungsausgabe basierend auf dem erkannten emotionalen Zustand steuern, um eine Lösung zur Überwachung von Emotion bereitzustellen.
  • Die technischen Probleme, die durch das vorliegende erfindungsgemäße Konzept zu lösen sind, sind nicht auf die oben genannten Probleme beschränkt, wobei alle anderen technischen Probleme, die hier nicht erwähnt sind, vom Fachmann aus der folgenden Beschreibung, auf die sich verschiedene beispielhafte Ausführungsformen der vorliegenden Erfindung beziehen, klar verstanden werden.
  • Gemäß verschiedenen Aspekten der vorliegenden Erfindung umfasst eine Vorrichtung zur Überwachung von Emotion basierend auf einem Fahrzeuggeräusch: einen Detektor, der ausgebildet ist, um Fahrinformationen des Fahrzeugs und Körperinformationen eines Nutzers zu erfassen; einen nicht-transitorischen Speicher zum Speichern von Anweisungen; und einen Prozessor zum Ausführen der Anweisungen. Der Prozessor bestimmt einen emotionalen Zustand des Fahrers unter Verwendung zumindest der Fahrinformationen oder der Körperinformationen, um einen Heilklang zu erzeugen, indem ein virtueller Klang basierend auf den Fahrinformationen und dem emotionalen Zustand des Fahrers ausgebildet wird, und um den Heilklang auszugeben.
  • Der Prozessor führt eine Emotionsmodellierung durch, um die Emotion des Fahrers zu modellieren, indem er einen auf Deep Learning basierenden Emotionsanalysealgorithmus verwendet.
  • Der auf Deep Learning basierende Emotionsanalysealgorithmus ist basierend auf einem Konversations-Gedächtnis-Netzwerk (engl. conversational memory network; CMN) ausgebildet.
  • Der Prozessor erzeugt drei Emotionsmodelle, indem er zuvor extrahierte personalisierte Themen und Emotionen verwendet, die von dem auf Deep Learning basierenden Emotionsanalysealgorithmus abgeleitet wurden, und leitet Emotionsadjektive basierend auf den erzeugten drei Emotionsmodelle ab.
  • Die personalisierten Themen sind durch die Verwendung eines Latent Dirichelt Allocation (LDA)-Algorithmus extrahiert.
  • Der Prozessor leitet die Emotionsadjektive unter Verwendung eines Latent Semantic Analysis (LSA)-Algorithmus und eines Girvan-Newman-Algorithmus ab.
  • Der Prozessor analysiert einen Emotionsindex, der auf den Fahrinformationen und den Emotionsadjektiven basiert, und steuert die Emotionskorrelationsgleichung.
  • Der Prozessor analysiert den Emotionsindex unter Verwendung eines Convolutional Neural Network (CNN)-Algorithmus.
  • Der Prozessor gestaltet den virtuellen Klang neu, indem er die Emotionskorrelationsgleichung als Rückkopplungsinformation verwendet.
  • Die Emotionskorrelationsgleichung ist durch einen Multiple-Regressionsanalyse-MRA-)Algorithmus bestimmt.
  • Der Prozessor führt zumindest eine Vibrationsausgabe, Duftausgabe oder Lichtsteuerung in Verbindung mit dem Heilklang aus.
  • Gemäß beispielhaften Ausführungsformen der vorliegenden Erfindung umfasst ein Verfahren zur Überwachung von Emotion basierend auf einem Fahrzeuggeräusch: Erfassen von Fahrinformationen eines Fahrzeugs und von Körperinformationen des Fahrers; Bestimmen, durch einen Prozessor, eines emotionalen Zustands des Fahrers unter Verwendung von zumindest der Fahrinformationen oder der Körperinformationen; Erzeugen, durch den Prozessor, eines Heilklangs, indem ein virtueller Klang entsprechend der Fahrinformation und dem emotionalen Zustand des Fahrers ausgebildet wird; und Ausgeben des Heilklangs durch den Prozessor.
  • Das Verfahren zur Überwachung der Emotion umfasst weiterhin das Ausführen einer Emotionsmodellierung zum Modellieren der Emotion des Fahrers unter Verwendung eines Deep Learning-basierten Emotionsanalysealgorithmus.
  • Das Ausführen der Emotionsmodellierung umfasst: Extrahieren von personalisierten Themen unter Verwendung eines Latent Dirichelt Allocation (LDA)-Algorithmus; Ableiten von Emotionen durch Analysieren der Emotion durch einen Emotionsklassifikator basierend auf den extrahierten personalisierten Themen; Erzeugen von drei Emotionsmodellen durch Anwenden der personalisierten Themen und der abgeleiteten Emotionen; und Ableiten eines Emotionsadjektivs basierend auf den erzeugten drei Emotionsmodellen.
  • Das Ableiten des Emotionsadjektivs umfasst Ableiten des Emotionsadjektivs unter Verwendung eines Latent Semantic Analysis (LSA)-Algorithmus und eines Girvan-Newman-Algorithmus.
  • Das Verfahren zur Überwachung der Emotion umfasst weiterhin Ableiten einer Emotionskorrelationsgleichung durch Analysieren eines Emotionsindexes basierend auf den Fahrinformationen und dem Emotionsadjektiv.
  • Das Ableiten der Emotionskorrelationsgleichung umfasst Analysieren des Emotionsindexes unter Verwendung eines Convolutional Neural Network (CNN)-Algorithmus.
  • Das Erzeugen des Heilklangs umfasst Ausbilden des virtuellen Klangs unter Verwendung der Emotionskorrelationsgleichung als Rückkopplungsinformation.
  • Das Ausbilden des virtuellen Klangs umfasst Ausführen zumindest einer Klanghöhensteuerung, einer Verstärkungssteuerung, einer APS-Steuerung, einer Frequenzfilterung, einer Shepard Layer-Steuerung oder einer Lautstärkesteuerung für den virtuellen Klang.
  • Das Verfahren zur Überwachung der Emotion umfasst weiterhin Ausführen von zumindest einer Vibrationsausgabe, Duftausgabe oder Lichtsteuerung in Verbindung mit dem Heilklang
  • Die Verfahren und Vorrichtungen der vorliegenden Erfindung weisen weitere Merkmale und Vorteile auf, die aus den beigefügten Zeichnungen, die hierin aufgenommen sind, und der folgenden detaillierten Beschreibung ersichtlich sind oder näher erläutert werden, die zusammen dazu dienen, bestimmte Prinzipien der vorliegenden Erfindung zu erläutern.
  • Figurenliste
    • 1 ist ein Blockdiagramm, das eine Vorrichtung zur Überwachung von Emotion eines Fahrers basierend auf einem Fahrzeuggeräusch gemäß verschiedenen beispielhaften Ausführungsformen der vorliegenden Erfindung zeigt;
    • 2 ist eine Ansicht, die beispielhaft den Vorgang zur Implementierung eines Emotionserkennungsmodells gemäß verschiedenen beispielhaften Ausführungsformen der vorliegenden Erfindung zeigt;
    • 3 ist eine Ansicht, die beispielhaft vier Muster eines Emotionsanalyse-Modells basierend auf einem Deep Learning-Algorithmus gemäß verschiedenen beispielhaften Ausführungsformen der vorliegenden Erfindung zeigt;
    • 4 ist eine Ansicht, die beispielhaft die Korrelation zwischen vier Ausgabewerten eines Emotionsanalysemodells und einer Emotion, die basierend auf einer Fahrzeugumgebung bestimmt wird, gemäß beispielhaften Ausführungsformen der vorliegenden Erfindung zeigt;
    • 5 ist eine Ansicht, die beispielhaft die ausgewertete Emotion gemäß verschiedenen beispielhaften Ausführungsformen der vorliegenden Erfindung zeigt;
    • 6 ist ein Flussdiagramm, das eine Vorrichtung zur Überwachung von Emotion eines Fahrers basierend auf einem Fahrzeuggeräusch gemäß verschiedenen beispielhaften Ausführungsformen der vorliegenden Erfindung darstellt; und
    • 7 ist ein Blockdiagramm, das ein Bestimmungssystem zur Ausführung des Verfahrens zur Überwachung von Emotion basierend auf dem Fahrzeuggeräusch gemäß beispielhaften Ausführungsformen der vorliegenden Erfindung darstellt.
  • Es versteht sich, dass die beigefügten Zeichnungen nicht notwendigerweise maßstabsgetreu sind und eine etwas vereinfachte Darstellung verschiedener Merkmale zeigen, die die Grundprinzipien der vorliegenden Erfindung illustrieren. Die spezifischen Konstruktionsmerkmale der vorliegenden Erfindung, wie sie hierin enthalten sind, einschließlich zum Beispiel spezifische Abmessungen, Ausrichtungen, Positionen und Formen sind teilweise durch die besonders beabsichtigte Anwendung und Einsatzumgebung bestimmt.
  • In den Figuren beziehen sich die Bezugszeichen auf die gleichen oder gleichwertige Teile der vorliegenden Erfindung in den verschiedenen Figuren.
  • DETAILLIERTE BESCHREIBUNG
  • Es wird nun im Detail auf verschiedene Ausführungsformen der vorliegenden Erfindung(en) Bezug genommen, von denen Beispiele in den beigefügten Zeichnungen dargestellt und im Folgenden beschrieben sind. Während die vorliegende(n) Erfindung(en) in Verbindung mit beispielhaften Ausführungsformen der vorliegenden Erfindung beschrieben ist (sind), versteht es sich von selbst, dass die vorliegende Beschreibung nicht dazu dient, die vorliegende(n) Erfindung(en) auf diese beispielhaften Ausführungsformen zu beschränken. Andererseits soll(en) die vorliegende(n) Erfindung(en) nicht nur die beispielhaften Ausführungsformen der vorliegenden Erfindung abdecken, sondern auch verschiedene Alternativen, Modifikationen, Äquivalente und andere Ausführungsformen, die im Rahmen des Geistes und des Umfangs der vorliegenden Erfindung, wie durch die beigefügten Ansprüche definiert, enthalten sein können.
  • Nachfolgend sind verschiedene beispielhafte Ausführungsformen der vorliegenden Erfindung unter Bezugnahme auf die beigefügten Zeichnungen im Detail beschrieben. Bei der Hinzufügung der Bezugszeichen zu den Komponenten jeder Zeichnung ist zu beachten, dass die gleiche oder gleichwertige Komponente auch dann mit der gleichen Ziffer bezeichnet ist, wenn sie in anderen Zeichnungen dargestellt ist. Darüber hinaus ist in der folgenden Beschreibung verschiedener beispielhafter Ausführungsformen der vorliegenden Erfindung auf eine detaillierte Beschreibung bekannter Merkmale oder Funktionen verzichtet, um das Wesentliche der vorliegenden Erfindung nicht unnötig zu verdecken.
  • Bei der Beschreibung der Komponenten der beispielhaften Ausführungsform gemäß verschiedenen beispielhaften Ausführungsformen der vorliegenden Erfindung können Begriffe wie erster, zweiter, „A“, „B“, „(a)“, „(b)“ und dergleichen verwendet werden. Diese Begriffe dienen lediglich dazu, eine Komponente von einer anderen Komponente zu unterscheiden, wobei die Begriffe die Art, die Reihenfolge oder die Ordnung der einzelnen Komponenten nicht einschränken. Sofern nicht anders definiert, haben alle hierin verwendeten Begriffe, einschließlich technischer oder wissenschaftlicher Begriffe, die gleiche Bedeutung, wie sie allgemein von Fachleuten auf dem Gebiet, zu dem verschiedene beispielhafte Ausführungsformen der vorliegenden Erfindung gehören, verstanden wird. Solche Begriffe, wie sie in einem allgemein gebräuchlichen Wörterbuch definiert sind, sind so auszulegen, dass sie eine Bedeutung haben, die den kontextuellen Bedeutungen in dem betreffenden Stand der Technik entspricht, und sind nicht so auszulegen, dass sie eine ideale oder übermäßig formale Bedeutung haben, es sei denn, sie sind in der vorliegenden Anmeldung eindeutig als solche definiert.
  • 1 ist ein Blockdiagramm, das eine Vorrichtung zur Überwachung von Emotion eines Fahrers basierend auf einem Fahrzeuggeräusch gemäß verschiedenen beispielhaften Ausführungsformen der vorliegenden Erfindung zeigt.
  • Die Vorrichtung 100 für die Überwachung von Emotion basierend auf dem Fahrzeuggeräusch kann in einem elektrifizierten Fahrzeug wie einem Elektrofahrzeug (EV), einem Plug-in-Hybridfahrzeug (PHEV) oder einem Hybridfahrzeug (HEV) eingebaut sein. Das Elektrofahrzeug kann künstlich einen virtuellen Klang (zum Beispiel ein virtuelles Motorgeräusch) erzeugen, um eine Kollision mit einem Fußgänger zu verhindern. Die Vorrichtung 100 kann eine Emotionsüberwachungslösung implementieren, indem der virtuelle Klang (das Fahrzeuggeräusch) basierend auf der Emotion eines Fahrers ausgebildet wird, um einen für den Fahrer maßgeschneiderten Heilklang zu erzeugen. Bezugnehmend auf 1 kann die Vorrichtung 100 einen Detektor 110, eine Kommunikationseinrichtung 120, einen Speicher 130, eine Sinneswahrnehmungsausgabeeinrichtung 140 und einen Prozessor 150 umfassen.
  • Der Detektor 110 kann Fahrinformationen des Fahrzeugs und Körperinformationen eines Nutzers des Fahrers erfassen. Der Detektor 110 kann die Fahrinformationen, wie zum Beispiel die Fahrzeuggeschwindigkeit, die Drehzahl eines Motors, den Anstellwinkel des Gaspedals, die Reaktion des Gaspedals, das Verlassen der Fahrspur, eine Fahrzeugkollision und/oder den Abstand zwischen den Fahrzeugen unter Verwendung von Sensoren und/oder einer im Fahrzeug montierten elektrischen Steuereinheit (ECU) erfassen. Der Sensor kann einen Raddrehzahlsensor, einen ADAS-Sensor (Advanced Driver Assistance System = Fahrerassistenzsystem), einen 3-Achsen-Beschleunigungsmesser und/oder eine IMU (Inertial Measurement Unit = Trägheitsmesseinheit) umfassen. Die ECU kann eine Motorsteuereinheit (MCU) und/oder eine Fahrzeugsteuereinheit (VCU) umfassen.
  • Der Detektor 110 kann die Körperinformationen, wie zum Beispiel die Stimme und/oder das Gesicht des Fahrers unter Verwendung eines Mikrofons, einer Kamera und/oder eines Temperatursensors erfassen. Der Detektor 110 kann ein vom Fahrer (Sprecher) über das Mikrofon geäußertes Sprachsignal (Sprachinformation) erfassen. Der Detektor 110 kann die Sprachinformationen unter Verwendung einer Spracherkennungstechnologie in Textinformationen umwandeln. Der Detektor 110 kann Audioinformationen wie Husten, Lachen, Weinen und/oder Schreien aus der Stimme erkennen. Der Detektor 110 kann die Informationen über den Gesichtsausdruck erkennen, indem er das Gesicht des Fahrers über die Kamera erkennt. Der Detektor 110 kann Informationen über die Körpertemperatur des Fahrers unter Verwendung des Temperatursensors erfassen.
  • Die Kommunikationseinrichtung 120 kann die Vorrichtung 100 dabei unterstützen, mit der im Fahrzeug montierten Steuereinheit und/oder einem externen elektronischen Gerät (zum Beispiel einem Terminal oder einem Server) zu kommunizieren. Die Kommunikationseinrichtung 120 kann eine drahtlose Kommunikationsschaltung (zum Beispiel eine zellulare Kommunikationsschaltung, eine Kurzstrecken-Funkkommunikationsschaltung und/oder eine GNSS-Kommunikationsschaltung (Global Navigation Satellite System)), eine verdrahtete Kommunikationsschaltung (zum Beispiel eine LAN-Kommunikationsschaltung und/oder eine Powerline-Kommunikationsschaltung) oder eine Fahrzeugkommunikationsschaltung (zum Beispiel eine CAN-Kommunikationsschaltung (Controller Area Network), eine LIN-Kommunikationsschaltung (Local Interconnect Network) und/oder eine Ethernet-Kommunikationsschaltung) umfassen.
  • Der Speicher 130 kann ein Emotionserkennungsmodell, eine Emotionskorrelationsgleichung, einen Klangausbildungsalgorithmus, einen oder mehrere virtuelle Klänge, einen Heilklang und/oder verschiedene Einstellungsinformationen speichern. Der Speicher 130 kann ein nicht-transitorisches Speichermedium sein, das Anweisungen speichert, die vom Prozessor 150 ausgeführt werden. Der Speicher 130 kann zumindest eines der folgenden Speichermedien umfassen: einen Direktzugriffsspeicher (RAM), einen statischen Direktzugriffsspeicher (SRAM), einen Festwertspeicher (ROM), einen programmierbaren Festwertspeicher (PROM), einen elektrisch löschbaren und programmierbaren ROM (EEPROM), einen löschbaren und programmierbaren ROM (EPROM), ein Festplattenlaufwerk (HDD), eine Solid State Disk (SSD), eine eingebettete Multimediakarte (eMMC) und/oder einen universellen Flash-Speicher (UFS).
  • Die Sinneswahrnehmungsausgabeeinrichtung 140 kann zumindest eine der folgenden Informationen ausgeben: akustische Informationen (zum Beispiel Klang), taktile Informationen (zum Beispiel Vibration), olfaktorische Informationen (zum Beispiel Duft) und/oder visuelle Informationen (zum Beispiel Licht). Die Sinneswahrnehmungsausgabeeinrichtung 140 kann eine Klangausgabeeinrichtung 141, eine Vibrationsausgabeeinrichtung 142, eine Duftausgabeeinrichtung 143 und eine Lichtsteuerung 144 umfassen.
  • Die Klangausgabeeinrichtung 141 kann als Reaktion auf eine Anweisung des Prozessors 150 einen virtuellen Klang und/oder einen Heilklang wiedergeben und den virtuellen Klang und/oder den Heilklang in den Innen- und Außenbereich des Fahrzeugs ausgeben. Die Klangausgabeeinrichtung 141 kann einen digitalen Signalprozessor (DSP) und/oder Mikroprozessoren enthalten. Die Klangausgabeeinrichtung 141 kann den virtuellen Klang und/oder den Heilklang an einen Lautsprecher (zum Beispiel einen 3-Wege-Lautsprecher und einen 5-Wege-Lautsprecher) ausgeben, der im Fahrzeuginneren angebracht ist. Die Klangausgabeeinrichtung 141 kann den virtuellen Klang und/oder den Heilklang an Lautsprecher (zum Beispiel einen externen Verstärker) außerhalb des Fahrzeugs ausgeben.
  • Die Vibrationsausgabeeinrichtung 142 kann taktile Informationen durch die Steuerung eines Vibrators umsetzen. Der Vibrator kann an einem Lenkrad, einem Sitzpolster, einer Rückenlehne und/oder einer Beinauflage angebracht sein, wobei eine Vielzahl von Vibratoren an verschiedenen Positionen angebracht sein kann. Die Vibrationsausgabeeinrichtung 142 kann die Vibrationsintensität, eine Vibrationsrichtung, eine Vibrationsfrequenz und/oder eine Vibrationsstärke unter der Steuerung des Prozessors 150 einstellen.
  • Die Duftausgabeeinrichtung 143 kann den Duft unter der Steuerung des Prozessors 150 versprühen. Die Duftausgabeeinrichtung 143 kann die Art des Dufts und/oder eine gesprühte Menge des Dufts einstellen. Die Duftausgabeeinrichtung 143 kann einen Vorratsbehälter enthalten, um den Duft in Form einer Flüssigkeit oder eines Feststoffs zu speichern.
  • Die Lichtsteuerung 144 kann Leuchten ansteuern, die innerhalb und außerhalb des Fahrzeugs angebracht sind. Die Lichtsteuerung 144 kann die Farbe und/oder Helligkeit des Lichts in Abhängigkeit von den Anweisungen des Prozessors 150 einstellen.
  • Der Prozessor 150 kann den Gesamtbetrieb der Vorrichtung 100 steuern. Der Prozessor 150 kann zumindest mit einer Verarbeitungseinheit einer anwendungsspezifischen integrierten Schaltung (ASIC), einem digitalen Signalprozessor (DSP), von programmierbaren Logikbausteinen (PLDs), feldprogrammierbaren Gate-Arrays (FPGAs), einer Zentraleinheit (CPU), Mikrosteuerungen und/oder Mikroprozessoren implementiert sein.
  • Der Prozessor 150 kann den von einem Nutzer (zum Beispiel einem Fahrer) während des Fahrens eines Fahrzeugs eingestellten virtuellen Klang reproduzieren und ausgeben. Der virtuelle Klang kann einen neuen Klang, einen dynamischen Klang und/oder einen futuristischen Klang umfassen. Der Prozessor 150 kann den virtuellen Klang passend zur Fahrsituation (Fahrumgebung) erzeugen. Der Prozessor 150 kann den virtuellen Klang basierend auf voreingestellten Klangdesign-Informationen einstellen und erzeugen. Der Prozessor 150 kann eine Klanghöhensteuerung, eine Verstärkungssteuerung, eine APS-Steuerung, eine Frequenzfilterung, eine Shepard Layer-Steuerung und/oder eine Lautstärkesteuerung für den virtuellen Klang ausführen. Mit der Klanghöhensteuerung wird die Klanghöhe eines Tons eingestellt, und mit der Verstärkungssteuerung wird der Klang verändert und der Widerstand angepasst. Die APS-Steuerung dient zur Einstellung des APS-Widerstands, das heißt eines Reaktionsgrads (Ansprechverhaltens) basierend auf dem Niederdrücken des Gaspedals, und die Frequenzfilterung dient zur Einstellung eines Wiedergabefrequenzbands des Klangs. Die Shepard Layer-Steuerung dient dazu, eine zweite Klangquelle zu erzeugen und den Steuerbereich der Klangquelle einzustellen.
  • Der Prozessor 150 kann den emotionalen Zustand des Fahrers anhand zumindest der Fahrinformationen und der vom Detektor 110 erfassten Körperinformationen bestimmen (erkennen). Der Prozessor 150 kann das Fahrverhalten des Fahrers basierend auf den Fahrinformationen analysieren. Der Prozessor 150 kann den emotionalen Zustand des Fahrers basierend auf dem Fahrverhalten und den Körperinformationen bestimmen. Der Prozessor 150 kann den emotionalen Zustand des Fahrers unter Verwendung eines Deep Learning-basierten Emotionserkennungsmodells bestimmen, das Emotionen basierend auf einem Deep Learning-Algorithmus erkennen soll. Der emotionale Zustand kann in positive Emotionen und negative Emotionen unterteilt werden. Das auf Deep Learning basierende Emotionserkennungsmodell kann basierend auf einem Conversational Memory Network (CNN) entwickelt sein.
  • Als weiteres Beispiel kann der Prozessor 150 eine vom Fahrer geäußerte Stimme erkennen und ein Emotionswort (Emotionsadjektiv), das mit einem virtuellen Klang verbunden ist, aus der erkannten Stimme extrahieren. Der Prozessor 150 kann den emotionalen Zustand des Fahrers basierend auf dem extrahierten Emotionswort als positive Emotion oder negative Emotion bestimmen. Zum Beispiel kann der Prozessor 150 die Emotion des Fahrers als positive Emotion bestimmen, wenn das extrahierte Emotionswort ein positives Emotionswort ist, und kann die Emotion des Fahrers als negative Emotion bestimmen, wenn das extrahierte Emotionswort ein negatives Emotionswort ist.
  • Der Prozessor 150 kann einen Heilklang erzeugen, indem er einen virtuellen Klang basierend auf den Fahrinformationen und dem emotionalen Zustand des Fahrers ausbildet. Der Prozessor 150 kann den Heilklang erzeugen, indem er eine Klanglautstärke, einen Klang, einen Reaktionsgrad eines APS, ein Wiedergabefrequenzband und/oder eine Klanghöhe des virtuellen Klangs einstellt.
  • Der Prozessor 150 kann den Heilklang über die Klangausgabeeinrichtung 141 in den Innenraum und/oder den Außenbereich des Fahrzeugs ausgeben. Die Klangausgabeeinrichtung 141 kann den Heilklang reproduzieren, um den Heilklang an eingebaute Lautsprecher oder externe Lautsprecher auszugeben. Der Prozessor 150 kann Vibration, Duft und Licht in Verbindung mit dem Heilklang steuern.
  • Der Prozessor 150 kann die Veränderung des emotionalen Zustands des Fahrers nach der Ausgabe des Heilklangs feststellen. Der Prozessor 150 kann feststellen, dass der Fahrer geheilt ist, wenn sich der emotionale Zustand des Fahrers von einer negativen Emotion zu einer positiven Emotion verändert hat. Der Prozessor 150 kann einen Emotionsindex des Fahrers für den Heilklang analysieren und eine Emotionskorrelationsgleichung bestimmen, wenn der emotionale Zustand des Fahrers in der negativen Emotion bleibt. Der Prozessor 150 kann einen virtuellen Klang neuausbilden, indem er die Emotionskorrelationsgleichung als Rückkopplungsinformation verwendet. Dementsprechend kann der Prozessor 150 einen auf den Fahrer zugeschnittenen Emotionsüberwachungsdienst implementieren.
  • 2 ist eine Ansicht, die beispielhaft das Verfahren zur Implementierung eines Emotionserkennungsmodells gemäß verschiedenen beispielhaften Ausführungsformen der vorliegenden Erfindung veranschaulicht, 3 ist eine Ansicht, die beispielhaft vier Muster eines Emotionsanalysemodells basierend auf einem Deep Learning Algorithmus gemäß verschiedenen beispielhaften Ausführungsformen der vorliegenden Erfindung veranschaulicht, 4 ist eine Ansicht, die beispielhaft die Korrelation zwischen vier Ausgabewerten eines Emotionsanalysemodells und einer Emotion veranschaulicht, die basierend auf einer Fahrzeugumgebung bestimmt wird, gemäß verschiedenen beispielhaften Ausführungsformen der vorliegenden Erfindung, und 5 ist eine Ansicht, die beispielhaft eine ausgewertete Emotion veranschaulicht, gemäß verschiedenen beispielhaften Ausführungsformen der vorliegenden Erfindung.
  • Ein Computersystem (zum Beispiel ein Server) kann ein Emotionserkennungsmodell implementieren, indem es Themenmodellierung, Emotionsanalyse, Netzwerkanalyse und Subjektanalyse durchführt. Das Computersystem kann das implementierte Emotionserkennungsmodell auf ein tatsächliches Fahrzeug anwenden.
  • Ein Prozessor des Computersystems kann ein personalisiertes Thema durch die Themenmodellierung (S110) extrahieren. Der Prozessor kann Online- und Offline-Überwachungsdaten sammeln, die sich auf ein Fahrzeuggeräusch, das heißt einen virtuellen Klang, beziehen. Der Prozessor kann ein auf einen virtuellen Klang bezogenes Thema aus den gesammelten Überwachungsdaten durch einen Latent Dirichelt Allocation (LDA)-Algorithmus extrahieren. Der LDA-Algorithmus ist eine Themenmodellierungstechnik, die ein Thema extrahiert, indem sie die Wahrscheinlichkeit, dass ein Wort in einem bestimmten Thema vorkommt, und die Wahrscheinlichkeit, dass das bestimmte Thema in den Daten (zum Beispiel in den Überwachungsdaten) vorkommt, als kombinierte Wahrscheinlichkeit bewertet. Wenn das Thema extrahiert ist, können drei Themen, wie zum Beispiel „Ruhe“, „Lärm“ und „Klangsystem“ mit unterschiedlichen Merkmalen ohne Überschneidungen zwischen den Themen extrahiert werden. Durch die Themenmodellierung kann der Prozessor Schlüsselwörter ausgeben, die in drei Themen gruppiert sind, wie in [Tabelle 1] dargestellt. Tabelle 1
    Thema Schlüsselwort
    Ruhe Ruhig, gleichmäßig, komfortabel, still
    Geräusch Geräusch, Straße, Wind, oder Reifen
    Klangsystem Klang, System, Bose, oder Stereo
  • Der Prozessor kann eine Emotion durch die Emotionsanalyse (S120) bestimmen. Der Prozessor kann als Eingabe ein Schlüsselwort erhalten, das mit dem Thema „Klangsystem“ der extrahierten Personalisierungsthemen gruppiert ist. Außerdem kann der Prozessor Sprachinformationen empfangen, die sich auf das Thema „Klangsystem“ beziehen. Der Prozessor kann die Emotionen unter Verwendung eines Emotionsklassifikators analysieren. Der Prozessor kann durch die Emotionsanalyse insgesamt sieben Emotionen bestimmen, eine positive Emotion, eine neutrale Emotion und fünf negative Emotionen. Der Prozessor kann ein Emotionsmodell erstellen und ein Emotionswort durch die Netzwerkanalyse (Schritt S130) bestimmen. Der Prozessor kann drei Emotionsmodelle und Emotionsadjektive bestimmen, indem er drei aus Schritt S110 extrahierte Themen und sieben aus Schritt S 120 bestimmte Emotionen anwendet. Der Prozessor führt die Netzwerkanalyse basierend auf einem auf Deep Learning basierenden Emotionsanalysealgorithmus durch, um drei Emotionsmodelle zu erzeugen, und kann Emotionsadjektive basierend auf den erzeugten drei Emotionsmodellen bestimmen. Der auf Deep Learning basierende Emotionsanalysealgorithmus kodiert die von einem Sprecher geäußerten Sprachinformationen unter Verwendung einer Gated Recurrent-Einheit (GRU) und bestimmt die Emotion durch eine Speicheroperation mit einem Zielsatz. Der auf Deep Learning basierende Emotionsanalysealgorithmus kann basierend auf einem Konversationsspeichernetzwerk (CMN) entwickelt sein.
  • Der Prozessor kann als Körperinformationen Audiodaten, die zur Analyse der vorübergehend geäußerten Emotion dienen, und Textdaten während eines Gesprächs zur konversationsbasierten Emotionsklassifizierung empfangen. Der Prozessor kann ein Modell für angenehme Emotionen (ein erstes Emotionsmodell), ein Modell für instabile Emotionen (ein zweites Emotionsmodell) und ein Modell für depressive Emotionen (ein drittes Emotionsmodell) basierend auf den empfangenen Körperinformationen erstellen. Um ein Emotionsanalysemodell zu entwickeln, wird zunächst die Korrelation zwischen persönlichem Geschmack und Musikpräferenz modelliert, wobei der Emotionserkennungsalgorithmus basierend auf der Stimme des Fahrers erstellt werden kann. Das Emotionsanalysemodell kann basierend auf der Korrelation zwischen dem persönlichen Geschmack und der Musikpräferenz in vier Ausgabewerte (Muster) analysiert werden, wie in 3 dargestellt. Wenn die vier Ausgabewerte für ein musikbasiertes Emotionsmodell auf ein Emotionsmodell angewendet werden, das auf einer Fahrzeugumgebung basiert, können die vier Ausgabewerte in drei Faktoren umgewandelt werden, die auf „Wertigkeit“ und „Erregung“ basieren. Im vorliegenden Fall können die dritten Faktoren einen Komfort-Automobilisten (erster Faktor), einen Abenteuer-Futuristen (zweiter Faktor) und einen Technologie-Enthusiasten (dritter Faktor) umfassen. Der erste Faktor ist der Typ eines Fahrers, der ruhiges und stabiles Fahren bevorzugt, der zweite Faktor ist der Typ eines Fahrers, der einen neuen Klang und ein neuartiges Fahrerlebnis erwartet, und der dritte Faktor ist der Typ eines Fahrers, der Individualität mit einem detaillierten Gefühl ausdrücken möchte.
  • Die drei Emotionsmodelle können implementiert sein, indem sie „Wertigkeit“ und „Erregung“ widerspiegeln, basierend auf der Korrelation zwischen den vier Ausgangswerten des Emotionsmodus und der Emotion, die basierend auf einer Fahrzeugumgebung bestimmt wird. In der Korrelation zwischen den vier Ausgabewerten des Emotionsmodells und der Emotionsbestimmung für die Fahrzeugumgebung entspricht Nr. 1 der angenehmen Emotion, Nr. 2 und Nr. 4 der instabilen Emotion und Nr. 3 der depressiven Emotion (siehe 4). Wenn die Emotion von der negativen Emotion von Nr. 2 oder Nr. 3 in die positive Emotion von Nr. 1 bzw. Nr. 4 geändert wird, kann der Vorgang den Fahrer als geheilt erkennen. Mit anderen Worten, wenn der emotionale Zustand des Fahrers für den Heilklang der Nr. 2 oder Nr. 3 entspricht, ist der emotionale Zustand des Fahrers die negative Emotion. Wenn der emotionale Zustand des Fahrers für den Heilklang zu Nr. 1 oder Nr. 4 verschoben ist, wird der Fahrer als geheilt bestimmt.
  • Der Prozessor kann emotionale Adjektive des allgemeinen emotionalen Vokabulars, des vergleichenden emotionalen Vokabulars und des reaktiven emotionalen Vokabulars bestimmen, basierend auf dem ersten Emotionsmodell, dem zweiten Emotionsmodell und dem dritten Emotionsmodell. Der Prozessor kann das emotionale Adjektiv durch einen Latent Semantic Analysis (LSA)-Algorithmus und einen Girvan-Newman-Algorithmus bestimmen. Tabelle 2
    Vokabular Emotionales Adjektiv
    Allgemeine Emotion Laut, grob, scharf, kraftvoll, komfortabel, weich, voll, leicht, solide
    Vergleichende Emotion modern, stilvoll, intelligent, außerirdisch, futuristisch, ruhig, sanft, geisterhaft
    Reaktive Emotion reaktionsschnell, spritzig, wendig, schnell, unmittelbar
  • Der Prozessor kann eine Emotionskorrelationsgleichung bestimmen, indem er einen Emotionsindex basierend auf einem Emotionsmodell und einem Emotionsadjektiv analysiert. Der Prozessor kann den Emotionsindex, der auf einem aus positiven und negativen Emotionen resultierenden Klang basiert, basierend auf dem Emotionsmodell analysieren. Der Prozessor kann die Fahrinformationen und das Emotionsadjektiv empfangen und die Emotionsbewertungswerte Q1, Q2 und Q3 ausgeben, indem er Subjekte analysiert. Der Prozessor kann das Subjekt unter Verwendung eines CNN-Algorithmus analysieren. Der Prozessor kann die Emotionskorrelationsgleichung zwischen den drei virtuellen Klängen und dem Emotionsindex durch Analyse des Emotionsindexes bestimmen. Die Emotionskorrelationsgleichung kann als Rückkopplungsinformation verwendet werden und zur Bildung eines Zufriedenheitsindexes dienen. Der Prozessor 150 kann eine Emotionsbewertungsoperation für den virtuellen Klang ausführen, indem er den Emotionsindex basierend auf der Fahrinformationen und der Emotionsadjektive analysiert. Der Prozessor 150 kann die Emotionsbewertungsoperation für die folgenden drei pragmatischen Qualitätselemente ausführen.
  • [Bewertungselemente]
  • Q1 (Geeignet): Dies ist ein Standard, um die Eignung eines Elektrofahrzeuggeräusches für ein Fahrzeug zu bewerten, um zu bestimmen, ob das Elektrofahrzeuggeräusch für das Fahrzeug geeignet ist. Diese Norm bezieht sich auf die tatsächliche Anwendbarkeit für das Fahrzeug.
  • Q2 (Klar): Dies ist ein Standard, um zu bewerten, ob eine klares Klang-Rückkopplung, die mit dem Gefühl der Fahrzeugverzögerung übereinstimmt, in Bezug auf die Fahrleistung des Elektrofahrzeugs vorhanden ist, und ist ein Standard, der sich auf das Gefühl der Fahrzeugbeschleunigung bezieht.
  • Q3 (Bewusst): Dies ist ein Standard, um zu bewerten, ob ein Geräusch eines Elektrofahrzeugs den Fahrzustand unabhängig von einem Umgebungsgeräusch reibungslos ausdrückt, und ist ein Standard, der sich auf einen Fahrzeugzustand bezieht.
  • Wie in 5 dargestellt, kann eine Emotionsbewertung in Bezug auf „Geeignet“ (Q1), „Klar“ (Q2) und „Bewusst“ (Q3) durchgeführt werden, und ein Klang, der die Zufriedenheit des Fahrers am besten repräsentiert, kann durch statistische Analyse der Ergebnisse der Emotionsbewertung ausgewählt werden.
  • Um die Emotionskorrelationsgleichung zu bestimmen, werden Faktorenanalyse, Varianzanalyse, Regressionsanalyse und statistische Analyseverfahren durchgeführt. Bei der Faktorenanalyse handelt es sich um ein Verfahren zur Ableitung eines Emotionswortes und zur Überwachung der Zuverlässigkeit und Eignung. Bei der Varianzanalyse handelt es sich um ein Verfahren zur Nutzeranalyse und zur Analyse von Fahrermustern für das Emotionswort. Die Regressionsanalyse ist ein Verfahren zur Ermittlung einer Emotion (Eingangswert) für ein Fahrzeuggeräusch, die die Zufriedenheit (Ausgangswert) beeinflusst. Der statistische Analysevorgang ist ein Vorgang zur Ableitung eines aussagekräftigen Ergebnisses unter Verwendung eines Emotionsindexes.
  • Die Emotionskorrelationsgleichung kann durch eine multiple Regressionsanalyse bestimmt werden und lässt sich wie in Gleichung 1 ausdrücken. Zufriedenheit = 4,202 + 1,109  raffiniert ( Faktor 1 ) + 0,352  sportlich ( Faktor 2 )   +   0.321  futuristisch ( Faktor 3 )
    Figure DE102021211812A1_0001
  • Im vorliegenden Fall wird angenommen, dass „Zufriedenheit“ ein perfekter Wert von „7“ ist, der einstellbar ist. Faktor 1 kann ein emotionaler Bewertungswert für raffinierte Merkmale des Fahrzeugklangs sein, Faktor 2 kann ein emotionaler Bewertungswert für sportliche Merkmale sein, und Faktor 3 kann ein emotionaler Bewertungswert für futuristische Merkmale sein.
  • Der Prozessor 150 kann unter Verwendung der emotionalen Korrelationsgleichung die Zufriedenheit mit dem virtuellen Klang vorhersagen. Der Prozessor 150 kann die Zufriedenheit bestimmen (vorhersagen), indem er die eingegebene emotionale Bewertung in die Emotionskorrelationsgleichung einsetzt, wenn die emotionale Bewertung für raffinierte Eigenschaften, sportliche Eigenschaften und futuristische Eigenschaften des virtuellen Klangs eingegeben wird.
  • 6 ist ein Flussdiagramm, das eine Vorrichtung zur Überwachung von Emotion eines Fahrers basierend auf einem Fahrzeuggeräusch gemäß verschiedenen beispielhaften Ausführungsformen der vorliegenden Erfindung zeigt.
  • Der Prozessor 150 kann Fahrinformationen des Fahrzeugs und Körperinformationen eines Nutzers erfassen (S210). Der Prozessor 150 kann die Fahrinformationen, wie zum Beispiel langsame Beschleunigung, schnelle Beschleunigung, Gaspedalreaktion, Verlassen der Fahrspur, Front/Heck-Kollision oder Abstand zwischen den Fahrzeugen durch den Detektor 110 erkennen. Der Prozessor 150 kann das Gesicht und die Stimme des Fahrers über die Kamera und/oder das Mikrofon erfassen.
  • Der Prozessor 150 kann den emotionalen Zustand des Fahrers basierend auf dem Fahrverhalten und/oder der Körperinformationen (S220) bestimmen. Der Prozessor 150 kann den emotionalen Zustand des Fahrers basierend auf der Umgebung durch Emotionsmodellierung bestimmen.
  • Der Prozessor 150 kann einen Emotionsindex (S230) analysieren. Der Prozessor 150 kann die Emotionskorrelationsgleichung durch Analysieren des Emotionsindexes bestimmen.
  • Der Prozessor 150 kann einen virtuellen Klang basierend auf Fahrinformationen (S240) erzeugen.
  • Der Prozessor 150 kann den Heilklang erzeugen, indem er den virtuellen Klang basierend auf dem emotionalen Zustand ausbildet (S250). Der Prozessor 150 kann den virtuellen Klang neu ausbilden, indem er die Emotionskorrelationsgleichung als Rückkopplungsinformation verwendet.
  • Der Prozessor 150 kann den Heilklang reproduzieren und ausgeben (S260). Der Prozessor 150 kann zumindest eine Vibrationsausgabe, eine Duftausgabe oder eine Lichtsteuerung in Verbindung mit dem Heilklang ausführen.
  • 7 ist ein Blockdiagramm, das ein Computersystem zur Ausführung des Verfahrens zur Überwachung von Emotion basierend auf dem Fahrzeuggeräusch gemäß beispielhaften Ausführungsformen der vorliegenden Erfindung zeigt.
  • Bezugnehmend auf 7 kann ein Computersystem 1000 zumindest einen Prozessor 1100, einen Speicher 1300, eine Nutzerschnittstellen-Eingabeeinrichtung 1400, eine Nutzerschnittstellen-Ausgabeeinrichtung 1500, einen Speicher 1600 und eine Netzwerkschnittstelle 1700 umfassen, die über einen Bus 1200 miteinander verbunden sind.
  • Der Prozessor 1100 kann eine Zentraleinheit (CPU) oder eine Halbleitereinrichtung sein, die für die Verarbeitung von Anweisungen ausgebildet ist, die in dem Speicher 1300 und/oder dem Speicher 1600 gespeichert sind. Sowohl der Speicher 1300 als auch der Speicher 1600 können verschiedene Arten von flüchtigen oder nichtflüchtigen Speichermedien enthalten. Zum Beispiel kann der Speicher 1300 einen Festwertspeicher (ROM; siehe 1310) und einen Direktzugriffsspeicher (RAM; siehe 1320) enthalten.
  • So können die Operationen der Verfahren oder Algorithmen, die in Verbindung mit den beispielhaften Ausführungsformen in verschiedenen beispielhaften Ausführungsformen der vorliegenden Erfindung beschrieben sind, direkt mit einem Hardwaremodul, einem Softwaremodul oder Kombinationen davon implementiert sein, die vom Prozessor 1100 ausgeführt werden. Das Softwaremodul kann sich auf einem Speichermedium (das heißt dem Speicher 1300 und/oder dem Speicher 1600) befinden, wie zum Beispiel einem RAM, einem Flash-Speicher, einem ROM, einem löschbaren und programmierbaren ROM (EPROM), einem elektrischen EPROM (EEPROM), einem Register, einer Festplatte, einer Wechselplatte oder einer Compact Disc-ROM (CD-ROM). Das beispielhafte Speichermedium kann mit dem Prozessor 1100 verbunden sein. Der Prozessor 1100 kann Informationen aus dem Speichermedium auslesen und Informationen in das Speichermedium schreiben. Alternativ dazu kann das Speichermedium in den Prozessor 1100 integriert sein. Der Prozessor 1100 und das Speichermedium können sich in einer anwendungsspezifischen integrierten Schaltung (ASIC) befinden. Der ASIC kann in einem Nutzerterminal untergebracht sein. Alternativ können der Prozessor 1100 und das Speichermedium als separate Komponenten des Endgeräts des Nutzers untergebracht sein.
  • Gemäß verschiedenen beispielhaften Ausführungsformen der vorliegenden Erfindung kann der emotionale Zustand des Fahrers basierend auf den Fahrinformationen und den Körperinformationen erkannt werden, wobei die Sinneswahrnehmungsausgabe basierend auf dem erkannten emotionalen Zustand gesteuert werden kann, wodurch die Emotionsüberwachungs-Lösung bereitgestellt wird.
  • Zur Vereinfachung der Erklärung und genauen Definition in den beigefügten Ansprüchen sind die Begriffe „oberer“, „unterer“, „innerer“, „äußerer“, „oben“, „unten“, „aufwärts“, „abwärts“, „vorne“, „hinten“, „rückwärtig“, „innerhalb“, „außerhalb“, „nach innen“, „nach außen“, „einwärts“, „auswärts“, „intern“, „extern“, „vorwärts“ und „rückwärts“ verwendet, um Merkmale der beispielhaften Ausführungsformen unter Bezugnahme auf die in den Figuren dargestellten Positionen dieser Merkmale zu beschreiben. Es versteht sich weiterhin, dass der Begriff „verbinden“ oder seine Ableitungen sich sowohl auf eine direkte als auch auf eine indirekte Verbindung beziehen.
  • Die vorstehenden Beschreibungen spezifischer beispielhafter Ausführungsformen der vorliegenden Erfindung wurden zum Zwecke der Veranschaulichung und Beschreibung dargestellt. Sie erheben keinen Anspruch auf Vollständigkeit oder auf eine Beschränkung der vorliegenden Erfindung auf die genauen offenbarten Formen, wobei offensichtlich viele Modifikationen und Variationen im Lichte der obigen Lehren möglich sind. Die beispielhaften Ausführungsformen wurden ausgewählt und beschrieben, um bestimmte Prinzipien der vorliegenden Erfindung und ihre praktische Anwendung zu erläutern, damit andere Fachleute in der Lage sind, verschiedene beispielhafte Ausführungsformen der vorliegenden Erfindung sowie verschiedene Alternativen und Modifikationen davon herzustellen und zu verwenden. Der Umfang der vorliegenden Erfindung soll durch die beigefügten Ansprüche und deren Äquivalente definiert sein.
  • Bezugszeichenliste
    • 100
    VORRICHTUNG
    110
    DETEKTOR
    120
    KOMMUNIKATIONSEINRICHTUNG
    130
    SPEICHER
    140
    SINNESWAHRNEHMUNGSAUSGABEEINRICHTUNG
    141
    KLANGAUSGABEEINRICHTUNG
    142
    VIBRATIONSAUSGABEEINRICHTUNG
    143
    DUFTAUSGABEEINRICHTUNG
    144
    LICHTSTEUERUNG
    150
    PROZESSOR
    1000
    COMPUTERSYSTEM
    1100
    PROZESSOR
    1200
    BUS
    1300
    SPEICHER
    1400
    NUTZERSCHNITTSTELLENEINGABEEINRICHTUNG
    1500
    NUTZERSCHNITTSTELLENAUSGABEEINRICHTUNG
    1600
    SPEICHER
    1700
    NETZWERKSCHNITTSTELLE

Claims (20)

  1. Vorrichtung zur Überwachung von Emotion eines Fahrers basierend auf einem Fahrzeuggeräusch, wobei die Vorrichtung umfasst: einen Detektor, der ausgebildet ist, um Fahrinformationen eines Fahrzeugs und Körperinformationen des Fahrers zu erfassen; einen nicht übertragbaren Speicher, der ausgebildet ist, um Anweisungen zu speichern; und einen Prozessor, der elektrisch mit dem Detektor und dem nicht übertragbaren Speicher verbunden und ausgebildet ist, um die Anweisungen auszuführen, wobei der Prozessor ausgebildet ist, um: einen emotionalen Zustand des Fahrers durch Verwendung zumindest der Fahrinformationen oder der Körperinformationen zu bestimmen; einen Heilklang durch Ausbilden eines virtuellen Klangs gemäß der Fahrinformation und dem emotionalen Zustand des Fahrers zu erzeugen; und den Heilklang auszugeben.
  2. Vorrichtung nach Anspruch 1, wobei der Prozessor ausgebildet ist, um eine Emotionsmodellierung zum Modellieren der Emotion des Fahrers unter Verwendung eines auf Deep Learning basierenden Emotionsanalysealgorithmus durchzuführen.
  3. Vorrichtung nach Anspruch 2, wobei der auf Deep Learning basierende Emotionsanalysealgorithmus basierend auf einem Konversations-Gedächtnis-Netzwerk (CMN) ausgebildet ist.
  4. Vorrichtung nach Anspruch 2, wobei der Prozessor ausgebildet ist, um: drei Emotionsmodelle durch Anwenden von zuvor extrahierten personalisierten Themen und Emotionen zu erzeugen, die durch den auf Deep Learning basierenden Emotionsanalysealgorithmus bestimmt wurden; und Emotionsadjektive basierend auf den erzeugten drei Emotionsmodellen zu bestimmen.
  5. Vorrichtung nach Anspruch 4, wobei die personalisierten Themen unter Verwendung eines Latent Dirichelt Allocation (LDA)-Algorithmus extrahiert sind.
  6. Vorrichtung nach Anspruch 4, wobei der Prozessor ausgebildet ist, um die Emotionsadjektive unter Verwendung eines Latent Semantic Analysis (LSA)-Algorithmus und eines Girvan-Newman-Algorithmus zu bestimmen.
  7. Vorrichtung nach Anspruch 4, wobei der Prozessor ausgebildet ist, um eine Emotionskorrelationsgleichung durch Analysieren eines Emotionsindexes basierend auf den Fahrinformationen und der bestimmten Emotionsadjektive zu bestimmen.
  8. Vorrichtung nach Anspruch 7, wobei der Prozessor ausgebildet ist, um den Emotionsindex unter Verwendung eines Convolutional Neural Network (CNN)-Algorithmus zu analysieren.
  9. Vorrichtung nach Anspruch 7, wobei der Prozessor ausgebildet ist, um den virtuellen Klang unter Verwendung der Emotionskorrelationsgleichung als Rückkopplungsinformation zu gestalten.
  10. Vorrichtung nach Anspruch 7, wobei die Emotionskorrelationsgleichung durch einen Multiple-Regressionsanalyse (MRA)-Algorithmus bestimmt wird.
  11. Vorrichtung nach Anspruch 1, wobei der Prozessor ausgebildet ist, um in Verbindung mit dem Heilklang zumindest eine Vibrationsausgabe, Duftausgabe oder Lichtsteuerung auszuführen.
  12. Verfahren zur Überwachung von Emotion eines Fahrers basierend auf einem Fahrzeuggeräusch, wobei das Verfahren umfasst: Erfassen von Fahrinformationen eines Fahrzeugs und von Körperinformationen des Fahrers; Bestimmen, durch einen Prozessor, eines emotionalen Zustands des Fahrers unter Verwendung von zumindest der Fahrinformationen oder der Körperinformationen; Erzeugen, durch den Prozessor, eines Heilklangs, indem ein virtueller Klang entsprechend der Fahrinformation und dem emotionalen Zustand des Fahrers ausgebildet wird; und Ausgeben des Heilklangs durch den Prozessor.
  13. Verfahren nach Anspruch 12, weiterhin umfassend: Ausführen einer Emotionsmodellierung zum Modellieren der Emotion des Fahrers unter Verwendung eines Deep Learning-basierten Emotionsanalyse-Algorithmus.
  14. Verfahren nach Anspruch 13, wobei das Ausführen der Emotionsmodellierung Folgendes umfasst: Extrahieren von personalisierten Themen unter Verwendung eines Latent Dirichelt Allocation (LDA)-Algorithmus; Ableiten von Emotionen durch Analysieren der Emotion durch einen Emotionsklassifikator, basierend auf den extrahierten personalisierten Themen; Erzeugen von drei Emotionsmodellen durch Anwenden der personalisierten Themen und der abgeleiteten Emotionen; und Ableiten eines Emotionsadjektivs basierend auf den erzeugten drei Emotionsmodellen.
  15. Verfahren nach Anspruch 14, wobei das Ableiten des Emotionsadjektivs Folgendes umfasst: Ableiten des Emotionsadjektivs unter Verwendung eines Latent Semantic Analysis (LSA)-Algorithmus und eines Girvan-Newman-Algorithmus.
  16. Verfahren nach Anspruch 14, weiterhin umfassend: Ableiten einer Emotionskorrelationsgleichung durch Analysieren eines Emotionsindexes basierend auf den Fahrinformationen und dem Emotionsadjektiv.
  17. Verfahren nach Anspruch 16, wobei das Ableiten der Emotionskorrelationsgleichung Folgendes umfasst: Analysieren des Emotionsindexes unter Verwendung eines Convolutional Neural Network (CNN)-Algorithmus.
  18. Verfahren nach Anspruch 16, wobei das Erzeugen des Heilklangs enthält: Ausbilden des virtuellen Klangs unter Verwendung der Emotionskorrelationsgleichung als Rückkopplungsinformation.
  19. Verfahren nach Anspruch 18, wobei das Ausbilden des virtuellen Klangs Folgendes umfasst: Ausführen von zumindest einer Klanghöhensteuerung, einer Verstärkungssteuerung, einer APS-Steuerung, einer Frequenzfilterung, einer Shepard Layer-Steuerung oder einer Lautstärkesteuerung für den virtuellen Klang.
  20. Verfahren nach Anspruch 12, weiterhin umfassend: Ausführen, durch den Prozessor, von zumindest einer Vibrationsausgabe, Duftausgabe oder Lichtsteuerung in Verbindung mit dem Heilklang.
DE102021211812.7A 2021-05-10 2021-10-20 Vorrichtung und verfahren zur überwachung von emotion basierend auf einem fahrzeuggeräusch Pending DE102021211812A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2021-0060247 2021-05-10
KR1020210060247A KR20220152829A (ko) 2021-05-10 2021-05-10 차량 사운드 기반 감성 케어 장치 및 방법

Publications (1)

Publication Number Publication Date
DE102021211812A1 true DE102021211812A1 (de) 2022-11-10

Family

ID=83692180

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102021211812.7A Pending DE102021211812A1 (de) 2021-05-10 2021-10-20 Vorrichtung und verfahren zur überwachung von emotion basierend auf einem fahrzeuggeräusch

Country Status (3)

Country Link
KR (1) KR20220152829A (de)
CN (1) CN115316992A (de)
DE (1) DE102021211812A1 (de)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102023001761A1 (de) 2023-05-02 2024-04-18 Mercedes-Benz Group AG Verfahren zur Durchführung einer Videokonferenz in einem Fahrzeug

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101724334B1 (ko) 2014-12-26 2017-04-10 전자부품연구원 Ict 카 컨버전스 시스템
KR102060100B1 (ko) 2018-07-27 2019-12-30 주식회사 이에스피 Uwb 를 이용한 운전자 생체신호 감지 시스템 및 졸음운전 감지 방법
KR20210007635A (ko) 2019-07-12 2021-01-20 현대자동차주식회사 헬스케어 장치 및 이를 포함하는 차량 시스템

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102023001761A1 (de) 2023-05-02 2024-04-18 Mercedes-Benz Group AG Verfahren zur Durchführung einer Videokonferenz in einem Fahrzeug

Also Published As

Publication number Publication date
KR20220152829A (ko) 2022-11-17
CN115316992A (zh) 2022-11-11
US20220357912A1 (en) 2022-11-10

Similar Documents

Publication Publication Date Title
DE102016015877B4 (de) Fahrzeug-Aufmerksamkeitssteuersystem
DE102020205786B4 (de) Spracherkennung unter verwendung von nlu (natural language understanding)-bezogenem wissen über tiefe vorwärtsgerichtete neuronale netze
DE112017004374B4 (de) System und Verfahren zur Spracherkennung
DE112016004391B4 (de) Dialogvorrichtung und Dialogverfahren
DE112017001830B4 (de) Sprachverbesserung und audioereignisdetektion für eine umgebung mit nichtstationären geräuschen
DE102019107624A1 (de) System und Verfahren zur Erfüllung einer Sprachanforderung
DE102013214334A1 (de) Fahrtvideoaufzeichnungsvorrichtung und -verfahren, fahrtvideoaufzeichnungssystem und erzeugungsvorrichtung für ein zusammengefasstes bewegtbild
DE102016125104A1 (de) Dynamisches umschalten von akustischen modellen zur verbesserung der erkennung verrauschter sprachsignale
DE102018129827A1 (de) Steuern eines lautstärkepegels basierend auf einem benutzerprofil
DE102014118450A1 (de) Audiobasiertes System und Verfahren zur Klassifikation von fahrzeuginternem Kontext
DE102014224120B4 (de) Verfahren und Vorrichtung zum Ausgeben von Audiobeiträgen für ein Fahrzeug
DE102018107326A1 (de) Adaptives Insassengespräch-Frühwarnsystem
DE102017007966A1 (de) Vorrichtung und Verfahren zum Erfassen des physischen Zustands eines Fahrers
DE102021211812A1 (de) Vorrichtung und verfahren zur überwachung von emotion basierend auf einem fahrzeuggeräusch
DE112017008305T5 (de) Spracherkennungsvorrichtung, Spracherkennungssystem und Spracherkennungsverfahren
DE102017213252A1 (de) Verfahren, Vorrichtung und Computerprogramm zum Variieren eines in einem Fahrzeug auszugebenden Audio-Inhalts
DE102019218058B4 (de) Vorrichtung und Verfahren zum Erkennen von Rückwärtsfahrmanövern
DE102021212744A1 (de) Dialogsystem, fahrzeug mit demselben und verfahren zum steuern eines dialogsystems
US12001755B2 (en) Apparatus and method for caring emotion based on vehicle sound
DE102020201742A1 (de) Selektieren von sensorumgebungsbezogenen Trainingsdaten
DE102022213210A1 (de) Verfahren zur Bestimmung einer Fahrzeugdomäne und ein Spracherkennungssystem für ein Fahrzeug
DE102022133571A1 (de) Vorrichtung zur verarbeitung natürlicher sprache und verfahren zur verarbeitung natürlicher sprache
DE102022213306A1 (de) Spracherkennungssystem und verfahren zur bereitstellung eines spracherkennungsdienstes
DE102022127650A1 (de) Fahrzeug-infotainmentsystem zum auswählen von aufnahmen basierend auf anwenderemotion
DE102022111331A1 (de) Multimodale insassensitz-kartierung für sicherheits- und personalisierungsanwendungen

Legal Events

Date Code Title Description
R012 Request for examination validly filed