DE102019201695A1 - Biometriksensorfusion für die Klassifizierung des Zustands eines Fahrzeuginsassen - Google Patents

Biometriksensorfusion für die Klassifizierung des Zustands eines Fahrzeuginsassen Download PDF

Info

Publication number
DE102019201695A1
DE102019201695A1 DE102019201695.2A DE102019201695A DE102019201695A1 DE 102019201695 A1 DE102019201695 A1 DE 102019201695A1 DE 102019201695 A DE102019201695 A DE 102019201695A DE 102019201695 A1 DE102019201695 A1 DE 102019201695A1
Authority
DE
Germany
Prior art keywords
occupant
vehicle
neural network
sensor
signals
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102019201695.2A
Other languages
English (en)
Inventor
David Gallagher
Francesco Migneco
Arjun Yetukuri
Jasmine Pizana
Steven T. Stavropoulos
Pat Carlsen
Abhay Prakash
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Lear Corp
Original Assignee
Lear Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Lear Corp filed Critical Lear Corp
Publication of DE102019201695A1 publication Critical patent/DE102019201695A1/de
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0075—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence by spectroscopy, i.e. measuring spectra, e.g. Raman spectroscopy, infrared absorption spectroscopy
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/0205—Simultaneously evaluating both cardiovascular conditions and different types of body conditions, e.g. heart and respiratory condition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/18—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6887—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient mounted on external non-worn devices, e.g. non-medical devices
    • A61B5/6893—Cars
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/7405—Details of notification to user or communication with user or patient ; user input means using sound
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/746—Alarms related to a physiological condition, e.g. details of setting alarm thresholds or avoiding false alarms
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M21/00—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R25/00—Fittings or systems for preventing or indicating unauthorised use or theft of vehicles
    • B60R25/20—Means to switch the anti-theft system on or off
    • B60R25/25—Means to switch the anti-theft system on or off using biometry
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data
    • G06F18/256—Fusion techniques of classification results, e.g. of results related to same input data of results relating to different input data, e.g. multimodal recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/809—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data
    • G06V10/811—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data the classifiers operating on different input data, e.g. multi-modal recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/593—Recognising seat occupancy
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M21/00—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
    • A61M2021/0005—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus
    • A61M2021/0027—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus by the hearing sense
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M21/00—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
    • A61M2021/0005—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus
    • A61M2021/0044—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus by the sight sense
    • A61M2021/005—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus by the sight sense images, e.g. video

Abstract

Ein neuronales Netz wird in einer Fahrzeugkomponente verwendet, um den Stresspegel oder Erregungspegel eines Fahrzeuginsassen zu bestimmen. Sensoren in der Fahrzeugkabine und zum Beispiel in dem Sitz erfassen biologische Eigenschaften des Insassen wie z.B. neuroelektrische Signale, kardiale Eigenschaften, die Körpertemperatur usw. Das neuronale Netz kann den emotionalen Zustand des Insassen in Echtzeit berechnen und klassifizieren. Das Fahrzeug kann Warnungen, Indikatoren und Stressgegenmaßnahmen auslösen, wenn der Insasse einen Schwellwert überschreitet. Die Gegenmaßnahmen können eine visuelle und akustische Rückmeldung in der Fahrzeugkabine umfassen. Das neuronale Netz kann historische emotionale Zustände des Insassen vorsehen, die durch das Navigationssystem verwendet werden können, um Fahrtabschnitte zu vermeiden, die unerwünschte emotionale Zustände des Insassen auslösen können.

Description

  • TECHNISCHES GEBIET
  • Die vorliegende Erfindung betrifft Systeme mit einer Kraftfahrzeugsensorfusion für die Klassifizierung des Zustands eines Fahrzeuginsassen.
  • HINTERGRUND
  • Es ist vorteilhaft, den Zustand einer Person wie etwa den mentalen Zustand, die Konzentration, die Irritation und die Aufmerksamkeit erfassen zu können. Denn das Fahren eines Kraftfahrzeugs in einem schlechten Zustand ist eine wesentliche Ursache für Fahrfehler und möglicherweise vermeidbare Straßenunfälle. Fahrzeugsysteme, die dabei helfen, einen Fahrer bezüglich seines Zustands zu warnen oder Maßnahmen in einem derartigen Fall zu ergreifen, reduzieren die Anzahl von derartigen Unfällen oder versuchen den durch eine Unaufmerksamkeit eines Fahrers verursachten Schaden zu vermindern.
  • ZUSAMMENFASSUNG
  • Es wird ein Fahrzeugsystem beschrieben, das ein neuronales Netz für das Bestimmen des Stresspegels oder des emotionalen Zustands eines Fahrzeuginsassen enthält. Ein erster Insassensensor ist in dem Fahrzeug für das Erfassen von Eigenschaften des zentralen Nervensystems eines Insassen vorgesehen. Ein zweiter Insassensensor ist in dem Fahrzeug für das Erfassen von anderen nicht auf das zentrale Nervensystem bezogenen Eigenschaften des Insassen vorgesehen. Das neuronale Netz empfängt die erfassten Eigenschaften des zentralen Nervensystems und die erfassten anderen nicht auf das zentrale Nervensystem bezogenen Eigenschaften, um einen Emotionale-Valenz-/Erregungspegel des Insassen und damit dessen emotionalen Zustand zu berechnen.
  • Gemäß einem Aspekt erfasst der erste Insassensensor neuroelektrische Signale. Das neuronale Netz enthält einen ersten Pfad für die Verarbeitung von neuroelektrischen Signalen.
  • Gemäß einem Aspekt erfasst der zweite Insassensensor Nahinfrarotspektroskopiesignale. Das neuronale Netz enthält einen zweiten Pfad für die Verarbeitung von Nahinfrarotspektroskopiesignalen.
  • Gemäß einem Aspekt führt der erste Pfad eine Frequenzanalyse und eine Zeitanalyse der neuroelektrischen Signale durch.
  • Gemäß einem Aspekt enthält der erste Pfad eine Vielzahl von ersten Knoten an einer kortikalen und regionalen Signalanalyseschicht.
  • Gemäß einem Aspekt enthält der zweite Pfad eine Vielzahl von zweiten Knoten an einer regionalen Aktivierungs-/Deaktivierungsschicht.
  • Ein Sitz ist in dem Fahrzeug angeordnet und ist konfiguriert, um eine Person als einen Insassen aufzunehmen. Der erste Insassensensor enthält einen kontaktlosen Elektrodermales-Potential-Sensor, der in dem Sitz in Nachbarschaft zu dem Kopf des Insassen montiert ist.
  • Gemäß einem Aspekt ist der zweite Insassensensor ein im Sitz montierter kontaktloser Sensor.
  • Gemäß einem Aspekt kann das neuronale Netz bestimmen, ob der Emotionale-Valenz-/Erregungspegel des Insassen einen Schwellwert überschreitet, und gibt ein Indikatorsignal aus, wenn der Schwellwert überschritten wird.
  • Gemäß einem Aspekt ist eine Fahrzeug-Insasse-Schnittstelle konfiguriert zum Empfangen des Indikatorsignals von dem neuronalen Netz und zum Ausgeben einer Indikatorbenachrichtigung in einer Fahrzeugkabine an den Insassen.
  • Gemäß einem Aspekt gibt die Fahrzeug-Insasse-Schnittstelle ein neuronales Stimulationssignal von einem Emitter in dem Sitz aus, um den Insassenzustand zu unterhalb des Schwellwerts zu reduzieren.
  • Gemäß einem Aspekt umfasst die Indikatorbenachrichtigung ein gespeichertes Audiosignal zum Beruhigen des Insassen zu unterhalb des Schwellwerts.
  • Gemäß einem Aspekt umfasst die Indikatorbenachrichtigung ein visuelles Bild an einem Display in der Fahrzeugkabine zum Beruhigen des Insassen zu unterhalb des Schwellwerts.
  • Gemäß einem Aspekt enthält der zweite Insassensensor eine Innenkamera, die in einer Fahrzeugkabine montiert und auf einen Sitz gerichtet ist, um den Insassen zu erfassen und dessen Gesichtsausdruck zu bestimmen.
  • Gemäß einem Aspekt enthält der zweite Insassensensor einen kontaktlosen Sensor, der konfiguriert ist zum Erfassen eines sympathetischen Nervensignals, eines autonomen Nervensignals, eines parasympathetischen Nervensystemsignals und/oder von Kombinationen aus diesen.
  • Ein Fahrzeugsystem kann umfassen: einen ersten Insassensensor zum Erfassen von Eigenschaften des zentralen Nervensystems eines Fahrzeuginsassen; einen zweiten Insassensensor zum Erfassen von anderen nicht auf das zentrale Nervensystem bezogenen Eigenschaften des Fahrzeuginsassen; ein neuronales Netz zum Empfangen der erfassten Eigenschaften des zentralen Nervensystems und der erfassten anderen nicht auf das zentrale Nervensystem bezogenen Eigenschaften, zum Berechnen eines Emotionale-Valenz-/Erregungspegels des Insassen und zum Ausgeben eines Stresspegels basierend auf dem Emotionale-Valenz-/Erregungspegel; und ein Navigationssystem, das konfiguriert ist zum Planen einer Fahrtroute für ein Fahrzeug basierend auf einem historischen Stresspegel des Insassen für Abschnitte der Fahrtroute.
  • Gemäß einem Aspekt ist das Navigationssystem konfiguriert zum Empfangen von Kriminalitätsdaten, Unfalldaten und Insassenstressdaten für jeden Abschnitt, und, wenn ein Abschnitt einen hohen Wert der Kriminalitäts-, Unfall- oder Stressdaten aufweist, zum Neuberechnen der Route unter Verwendung eines anderen Abschnitts mit einem niedrigen Wert oder einem Wert unterhalb eines Schwellwerts der Kriminalitäts-, Unfall- oder Stressdaten.
  • Gemäß einem Aspekt ist das System konfiguriert zum Empfangen von Echtzeit-Fahrbedingungen für jeden Abschnitt der berechneten Route und zum Angeben einer wahrscheinlichen Auslösung von Stress durch die aktuellen Fahrbedingungen wie durch das neuronale Netz bestimmt.
  • Beliebige der oben genannten Beispiele können miteinander kombiniert werden, um weitere Ausführungsformen der Erfindung zu bilden.
  • Figurenliste
    • 1 ist eine schematische Ansicht eines Fahrzeugs gemäß einer beispielhaften Ausführungsform.
    • 2 ist eine schematische Ansicht eines Fahrzeugsitzes mit darin enthaltenen Sensoren gemäß einer beispielhaften Ausführungsform.
    • 3A und 3B sind Funktionsblockdiagramme eines Fahrzeugsystems gemäß einer beispielhaften Ausführungsform.
    • 3C ist ein Funktionsblockdiagram eines Fahrzeugsystems für das Kombinieren von bestimmten Fahrzeuginsassendaten gemäß einer beispielhaften Ausführungsform.
    • 4 ist eine schematische Ansicht eines Fahrzeugsystems gemäß einer beispielhaften Ausführungsform.
    • 5 ist eine schematische Ansicht eines Fahrzeugsystems gemäß einer beispielhaften Ausführungsform.
    • 6 ist eine schematische Ansicht eines Fahrzeugsystems gemäß einer beispielhaften Ausführungsform.
    • 7 ist eine schematische Ansicht eines Fahrzeugsystems gemäß einer beispielhaften Ausführungsform.
    • 8 ist ein Flussdiagramm zu einem Fahrzeugprozess gemäß einer beispielhaften Ausführungsform.
  • AUSFÜHRLICHE BESCHREIBUNG
  • Im Folgenden werden Ausführungsformen der vorliegenden Erfindung im Detail beschrieben, wobei zu beachten ist, dass die hier beschriebenen Ausführungsformen lediglich beispielhaft für die Erfindung sind, die auch durch verschiedene alternative Ausführungsformen verkörpert werden kann. Die Figuren sind nicht notwendigerweise maßstabsgetreu, wobei einige Merkmale vergrößert oder verkleinert dargestellt sein können, um bestimmte Komponenten zu verdeutlichen. Die hier beschriebenen Details des Aufbaus und der Funktion sind nicht einschränkend aufzufassen, sondern lediglich als repräsentative Grundlage für den Fachmann, der die Erfindung umsetzen möchte.
  • Die Erfindung betrifft allgemein in einem Fahrzeug montierte Sensoren, die wenigstens teilweise in der Fahrzeugkabine oder in einem Teil des Schaums, des Bezugs, der Kopfstütze, des Rahmens oder einer Kombination aus diesen eines Fahrzeugsitzes eingebettet sein können. Die Sensoren können auch im Himmel, im Armaturenbrett, in Struktursäulen, im Lenkrad oder in Kombinationen aus diesen angeordnet sein. Wenigstens einer der Sensoren bestimmt das elektrodermale Potential (EDP), das primär von der Gehirnkortikalaktivität ausgeht. Eine derartige EDP-Erfassung kann kontaktierend oder kontaktlos (z.B. Felderfassung) sein und kann auch die Muskelaktivität und Hauteigenschaften erfassen. Dadurch werden Funktionen der höheren Ebene des zentralen Nervensystems (CNS) erfasst, die gemeinsam verwendet werden können, um den Zustand eines Fahrzeuginsassen wie etwa eines Kraftfahrzeugfahrers zu klassifizieren. Das hier beschriebene System kann Signale in Bezug auf das zentrale Nervensystem (CNS), das sympathetische Nervensystem (SNS), das autonome Nervensystem (ANS), das parasympathetische Nervensystem (PSNS) und das periphere Nervensystem (PNS) verwenden. Dabei kann eine Echtzeitverarbeitung der elektrischen Potentialfluktuationen verwendet werden, wobei z.B. verschiedene Frequenzbänder des erfassten Signals miteinander verglichen werden. Diese können als die primären quantitativen Gehirnaktivitätsklassifikatoren verwendet werden. Die vorliegenden Systeme können die erfassten Signale in Verbindung mit anderen Sensorinformationen verwenden, um den emotionalen Zustand des Insassen wie z.B. den Emotionale-Valenz-/Erregungspegel (der als ein Vektor angegeben werden kann) zu klassifizieren. Das System kann durch das Erfassen der entsprechenden physiologischen Metriken und das Verwenden eines in einen physikalischen Prozessor geladenen Softwarealgorithmus den emotionalen Zustand des Insassen klassifizieren.
  • Die vorliegende Erfindung betrifft ein Fahrzeugsystem, das eine Anordnung der Größe N von verschiedenen biometrischen Sensoren wie etwa eines Herzfrequenzmonitors und eines Elektrodermales-Potential (EDP)-Gehirnaktivitätserfassungssystem enthält. Ein Herzfrequenzmonitor sammelt Daten in Bezug auf die Herzaktivität des Fahrzeuginsassen und kann die Herzfrequenzvariabilität errechnen, um eine relative Aktivierung von autonomen Nervensystemkomponenten (sympathetisch/parasympathetisch) zu berechnen, und bewertet die berechneten Ergebnisse, um die Größe der physiologischen Erregung zu bestimmen. Das EDP-System misst die elektrische Gehirnaktivität, die mit kognitiven Verarbeitungslasten und Mustern und/oder räumlichen Aktivierungen im Gehirn assoziiert ist. Das System kann auch die galvanische Hautreaktion, die Perspiration, die Atmung und den Blutdruck des Insassen messen, die verwendet werden können, um den physiologischen und psychologischen Zustand des Insassen zu klassifizieren und die Gesamtzuverlässigkeit der Klassifikation des vorliegenden Systems zu erhöhen.
  • Die erfassten und abgeleiteten Daten in Bezug auf den Insassen werden zu einem Prozessor gegeben, der den Zustand für jede Messung berechnet, ihn klassifiziert und dann einen Quervergleich durchführt, um Instanzen einer falsch-positiven Identifikation und Schwellwertverarbeitung zu minimieren. Die EDP-Aktivierungsmuster, Pegel und Positionen können zusätzlich verwendet werden, um den Typ von Stress oder den Status des Insassen zu bestimmen.
  • Das System kann dann den individuellen Stresspegel und möglicherweise den Typ des derzeit durch den Insassen erfahrenen Stresses (d.h. prozessive vs. systemische Stressfaktoren) berichten. Umweltbedingte Stressfaktoren in Bezug auf das Fahren eines Fahrzeugs können prozessive oder systemische Stressfaktoren sein. Prozessive Stressfaktoren sind solche, die eine Beurteilung einer Situation erfordern und eine kognitive Verarbeitung auf hoher Ebene von eingehenden sensorischen Informationen mit sich bringen. Beispiele für prozessive Stressfaktoren sind das Fahren in einer neuen Umgebung, ein schlechtes Fahren (so empfunden oder tatsächlich) anderer Fahrer oder Situationen, die aufgrund einer vorausgehenden Assoziation mit unangenehmen Fahrreizen Angst auslösen. Im Gegensatz dazu sind systemische Stressfaktoren physiologischen Ursprungs, d.h. Störungen des normalen körperlichen Metabolismus, die aus einer bakteriellen oder viralen Infektion resultieren.
  • Wenigstens einige der Sensoren in diesem Klassifikationssystem können mit dem Sitz integriert sein, wobei ein oder mehrere Sensoren in einem beliebigen Teil des Sitzes wie z.B. in dem Schaum, dem Polster, der Kopfstütze oder einer Kombination aus diesen eingebettet sein können. Das kontaktlose EDP-Erfassungssystem kann durch entsprechende physiologische Metriken (z.B. die Herzfrequenz usw.), ein kardiorespiratorisches Synchrogramm, die Atmungsfrequenz, eine EDP-Musterverschiebung usw. für standardmäßige und komplexe nicht-lineare Dynamiken des Sitzinsassen wie etwa des Fahrers ergänzt werden. Eine Steuereinrichtung kann die Signale der erfassten physiologischen Metriken empfangen und den Zustand des Insassen klassifizieren und dabei bestimmen, ob die Aufmerksamkeit oder die Reaktionszeit beeinträchtigt sind. Die Steuereinrichtung kann an individuelle Insassen unter Verwendung einer automatisierten, benutzerspezifischen Kalibrierung angepasst sein.
  • Das System kann auch Kameras enthalten, die strategisch derart positioniert sind, dass sie auf den Fahrer gerichtet sind. Es können Innenkameras in Verbindung mit den Sitzsensoren verwendet werden, um eine Sensorfusion zu erzielen und die Spezifizität und die Genauigkeit der Ablenkungsgraderfassung zu erhöhen. Die Kamera erzeugt mehrere Bilder des Insassen, die analysiert werden können, um zusätzliche Insassenmetriken zu bestimmen. Die Metriken können die Kopfposition, die Blinzelfrequenz, eine Pupillenerweiterung, eine Fixierung, ein Blickmuster, eine Augenlidschließung, einen Kopfbewegung/Gesichtsausdruck, die skeletale Gesamtposition, die Atmungsfrequenz, die Herzfrequenz usw. umfassen. Das Kamerasystem nimmt ein Bild auf, und ein Bildverarbeitungsschaltungsaufbau analysiert das Bild, um die Bildmetrik zu bestimmen.
  • Die Verwendung verschiedener Metriken von verschiedenen Quellen sieht eine objektive Quantifizierung der Ablenkung des Insassen vor. Die Ablenkungsquantifizierung kann mit anderen Daten in dem Fahrzeug kombiniert werden, um falsche Angaben zu der Ablenkung zu vermeiden, wie etwa mit der Fahrzeugperformanz, der Fahrumgebung usw. Wenn der Ablenkungsquantifizierungspegel einen Ablenkungsschwellwert übersteigt, kann das Fahrzeug automatisch Gegenmaßnahmen wie etwa Warnungen, Alarme, eine Unfallvermeidung usw. auslösen. Wenn der Ablenkungsstatus des Fahrers quantifiziert wird, kann das Fahrzeug Reaktionszeiten des Unfallvermeidungssystems wie etwa des adaptiven Bremssystems ändern, um die Reaktion des Systems angesichts des wenigstens teilweise durch den Ablenkungspegel bestimmten Zustands des Fahrers zu optimieren.
  • Es wird ein Fahrzeugsystem beschrieben, das wenigstens zwei Sensoren für das Erfassen von zwei Kriterien verwendet, die verschieden sind und bei einer Verarbeitung durch eine Steuereinrichtung eine Angabe zu der Ablenkung bzw. der Konzentration des Insassen oder Fahrers erzeugen. In einem Beispiel erfasst ein erster Sensor ein erstes Kriterium in Bezug auf ein abgelenktes Fahren, das durch den Fahrer kontrolliert wird. In einem Beispiel erfasst ein zweiter Sensor ein zweites Kriterium in Bezug auf ein abgelenktes Fahren, das eine nicht durch den Fahrer kontrollierte Umgebungsbedingung wiedergibt. Eine Steuereinrichtung empfängt das erste Kriterium und das zweite Kriterium und bestimmt eine relative Beziehung zwischen dem ersten Kriterium und dem zweiten Kriterium, um, wenn die relative Beziehung einen Ablenkungsschwellwert überschreitet, ein abgelenktes Fahren anzugeben.
  • 1 zeigt ein Fahrzeug 100, das eine Kabine 115 und einen Motorraum 116, der sich z.B. vor der Kabine 115 befinden kann, umfasst. In dem Motorraum 116 ist ein Motor 101 aufgenommen, der die Antriebskraft für das Fahrzeug vorsieht. Eine Steuereinrichtung 102 enthält einen elektrischen Signalprozessor, der ausgebildet ist zum Ausführen von Aufgaben, die in einem Speicher gespeichert sein können. Die Aufgaben können erfasste Signale gemäß in die Steuereinrichtung 102 geladenen Regeln verarbeiten. Die erfassten Daten können in einem mit der Steuereinrichtung 102 assoziierten Speicher gespeichert sein.
  • Es sind visuelle Systeme 103 für das Empfangen von Befehlen von der Steuereinrichtung 102 und das Erzeugen von visuellen Anzeigen in dem Fahrzeug wie etwa in der Kabine an Anzeigebildschirmen, dem Armaturenbrett oder einem mit dem Fahrzeug assoziierten elektronischen Mobilgerät vorgesehen. Die durch die visuellen Systeme erzeugten Anzeigen können durch eine Innenkamera 104 oder eine Außenkamera 105 aufgenommene Bilder, Unfallwarnungen, Ablenkungswarnungen usw. sein. Das visuelle System 103 kann die Bilddaten von den Kameras 104, 105 verarbeiten, bevor es die Bilddaten zu der Steuereinrichtung 102 gibt. Das visuelle System 103 kann in einer beispielhaften Ausführungsform Bilder für das Identifizieren von Objekten und der Position des Fahrers verarbeiten. Diese Daten können zu der Steuereinrichtung 102 gegeben werden.
  • Ein Audiosystem 106 kann Teil einer Kopfeinheit in dem Fahrzeug sein. Die Kopfeinheit kann ein elektronischer Prozessor für das Verarbeiten von Audiosignalen oder erfassten Signalen in dem Fahrzeug sein. Das Audiosystem 106 kann Geräusche in der Kabine 115 erfassen und Klänge in die Kabine ausgeben, z.B. unter Verwendung mehrerer Lautsprecher 114. Die Audioausgabe von dem Audiosystem 106 kann Warnungen wie hier beschrieben basierend auf einem Befehl von der Steuereinrichtung 102 enthalten. Die Audiowarnungen können gesprochene Wörter oder Töne sein, die eine Ablenkung des Fahrers, eine Änderung an den Einstellungen, eine unmittelbar bevorstehende Gefahr, eine Aktivierung eines Unfallwarnsystems oder Kombinationen aus diesen angeben können. Das Audiosystem 106 kann auch Mikrofone umfassen, die die Sprache des Insassen erfassen, was als eine Eingabe für das Klassifizieren des Stresspegels des Insassen verwendet werden kann. Das Audiosystem kann Warnungen, Musik und/oder beruhigende Klänge ausgeben, wenn der emotionale Zustand des Fahrzeuginsassen einen Schwellwert überschreitet, was weiter unten im größeren Detail beschrieben wird.
  • Es ist ein Fahrzeuggeschwindigkeitssensor 107 vorgesehen, um die Geschwindigkeit des Fahrzeugs zu erfassen und ein Geschwindigkeitssignal zu der Steuereinrichtung 102 vorzusehen. Der Fahrzeuggeschwindigkeitssensor kann den Drosselpositionssensor enthalten. Die Geschwindigkeit des Fahrzeugs kann eingegeben werden, um den emotionalen Zustand des Fahrers oder eines anderen Fahrzeuginsassen zu klassifizieren.
  • Ein Navigationspositionssystem 108 erfasst die Position des Fahrzeugs durch den Empfang von Satellitensignalen oder bodengestützten Positionssignalen. Das Navigationspositionssystem 108 kann ein globales Navigationssatellitensystem wie etwa GPS (Global Positioning System), Beidou, COMPASS, Galileo, GLONASS, IRNSS (Indian Regional Navigational Satellite System) oder QZSS enthalten. Das Navigationssystem kann einen Empfänger enthalten, der verschiedene Korrektursignale wie z.B. in Nordamerika von dem WAAS-System der FAA empfängt. Das Navigationspositionssystem 108 sieht eine genaue Position des Fahrzeugs zu der Steuereinrichtung 102 vor. Die Steuereinrichtung 102 kann Informationen zu der Umgebung des Fahrzeugs laden und Echtzeit-Fahrbedingungen für jeden Abschnitt der berechneten Route anfragen. Die hier beschriebenen Systeme können dann bestimmen und angeben, wann eine Auslösung von Stress durch die aktuellen Fahrbedingungen wahrscheinlich ist, wie durch das neuronale Netz bestimmt. Die Fahrbedingungen können den historisch erfahrenen Verkehr oder Echtzeit-Verkehrsinformationen umfassen. Es können auch Echtzeitdaten zu den sozialen Faktoren in Bezug auf die Route wie z.B. die Startzeiten von Kultur- oder Sportveranstaltungen in die Steuereinrichtung geladen werden. Die Fahrbedingungen können Kriminalitätsstatistiken für die Route umfassen.
  • Ein Ablenkungsalarm 109 ist in der Kabine 115 vorgesehen. Der Ablenkungsalarm 109 kann mechanische Alarme wie etwa Vibrationseinrichtungen umfassen, die im Lenkrad oder im Sitz angeordnet sein können. Der Ablenkungsalarm 109 kann ein Signal für das Vibrieren eines mit dem Fahrzeug und einem Insassen in dem Fahrzeug assoziierten elektronischen Mobilgeräts sein.
  • Ein Fahrzeugsitz 110 ist in der Kabine 115 angeordnet und konfiguriert, um eine Person wie z.B. einen Fahrer oder Insassen zu stützen. Der Sitz 110 kann eine Vielzahl von Sensoren 150, 155, 156 für das Erfassen von verschiedenen biometrischen Eigenschaften der Person enthalten. Die Sensoren 150 können kontaktlos sein und das EDP in der Nähe des Kopfs der sitzenden Person erfassen. Die Sensoren 155 und 156 können auch andere biometrische Informationen erfassen. Die Sensoren 155, 156 können kontaktlos sein und also Parameter des Insassen erfassen, ohne den Insassen physikalisch zu berühren. In bestimmten Ausführungsformen kann wenigstens einer der Sensoren 156 den Insassen berühren.
  • Es ist ein Bremssystem 111 für das Bremsen der Räder des Fahrzeugs vorgesehen. Das Bremssystem 111 kann durch den Fahrer aktiviert werden und kann auch automatisch durch die Steuereinrichtung 102 aktiviert werden, z.B. wenn ein abgelenktes Fahren erfasst wird, ein Aufprall als unmittelbar bevorstehend erfasst wird oder eine unmittelbar bevorstehende Gefahr wie hier beschrieben erfasst wird.
  • Es ist ein Lasererfassungssystem 112 wie z.B. ein LIDAR vorgesehen. Das Lasererfassungssystem 112 emittiert Lichtimpulse und erfasst das zurückkehrende Licht, nachdem das Licht von einem Objekt außerhalb des Fahrzeugs 100 reflektiert wurde. Das Lasererfassungssystem 112 kann eine digitale, dreidimensionale Wiedergabe der externen Umgebung um das Fahrzeug herum in der Richtung der Lichtimpulse erzeugen. Das Lasererfassungssystem 112 kann eine Laserabtastung durchführen, um eine Wiedergabe der Fahrzeugumgebung zu erzeugen. Die externe Umgebung kann andere Fahrzeuge, Verkehrsschilder, Tiere, Menschen und Objekte enthalten. Die Wiedergabe von individuell identifizierten Objekten kann zu der Steuereinrichtung 102 für eine Verwendung in dem Fahrzeug wie hier beschrieben gegeben werden.
  • Es ist ein RADAR-Erfassungssystem 113 in dem Fahrzeug vorgesehen. Das RADAR-Erfassungssystem 113 emittiert hochfrequente Energieimpulse und erfasst die zurückkehrenden Impulse, um Objekte um das Fahrzeug herum zu identifizieren oder die externe Umgebung zu kartieren. Die Wiedergabe von individuell identifizierten Objekten kann zu der Steuereinrichtung 102 für die Verwendung in dem Fahrzeug wie hier beschrieben vorgesehen werden.
  • Es können auch andere typische Fahrzeugsysteme in dem Fahrzeug 104 enthalten sein, die aber der Einfachheit halber nicht in den Zeichnungen gezeigt sind. Die Steuereinrichtung 102 kann Eingaben zu diesen anderen Systemen vorsehen.
  • 2 zeigt den Fahrzeugsitz 110, der konfiguriert ist, um in einer Kabine eines Kraftfahrzeugs 100 fixiert zu werden. Der Sitz 110 ist ausgebildet zum Aufnehmen einer Person als eines Insassen auf einer Basis 201 in einer aufrechten Haltung gegen eine Sitzlehne 202. Die Basis 201 ist an dem Boden in der Fahrzeugkabine z.B. durch Schienen fixiert. Eine Kopfstütze 203 kann am oberen Ende der Sitzlehne als eine Stütze für den Kopf angeordnet sein. Die Basis 201, die Sitzlehne 202 und die Kopfstütze 203 können jeweils einen starren Rahmen, Komfortschichten an dem Rahmen und einen Bezug umfassen. Es kann eine Vielzahl von Sensoren 150, 155 und 156 in dem Sitz angeordnet sein. Es kann eine Vielzahl von ersten Sensoren 150 in der Kopfstütze 203 angeordnet sein und ausgebildet sein, um Signale des zentralen Nervensystems (CNS), Signale des sympathetischen Nervensystems (SNS), Signale des autonomen Nervensystems (ANS) und Signale des parasympathetischen Nervensystems (PNS) von dem Insassen des Sitzes 110 zu erfassen. Eine Vielzahl von zweiten Sensoren 155 kann in der Sitzlehne 202 angeordnet sein. Die Vielzahl von zweiten Sensoren 155 kann auch CNS-, SNS-, ANS und/oder PNS-Signale von dem sitzenden Insassen erfassen. Die Vielzahl von zweiten Sensoren 155 kann wenigstens einen Sensor enthalten, der andere Signale als die Kopfstützensensoren 150 erfasst. Ein oder mehrere dritte Sensoren 156 sind in der Sitzbasis 201 angeordnet. Die dritten Sensoren 156 können auch CNS-, SNS-, ANS- oder PNS-Signale von dem sitzenden Insassen erfassen. Die Vielzahl von dritten und zweiten Sensoren 156 und 155 kann wenigstens einen Sensor enthalten, der wenigstens eines der CNS-, SNS-, ANS- oder PNS-Signale von dem sitzenden Insassen erfasst. Die Sensoren können Positions- oder Gewichtssensoren sein, die das Vorhandensein und die Position einer Person in dem Sitz unter Verwendung von Sensoren in der Sitzlehne oder der Sitzbasis erfassen. Die Sensoren 150, 155, 156 können rohe CNS-, SNS-, ANS- und/oder PNS-Signale entwickeln, die gefiltert werden, um Analysesignale einschließlich von für die interessanten Signale des Insassen in dem Sitz relevanten Frequenzkomponenten zu erzeugen und nicht damit in Zusammenhang stehende Frequenzkomponenten zu dämpfen. Es können Emitter 160 vorgesehen sein, die Stimulationssignale zu dem Insassen emittieren. Die Emitter 160 können kontaktfreie Emitter in dem Sitz sein, die den Insassen stimulieren, damit der Insasse zu einem ruhigen oder aufmerksamen Zustand zurückkehrt.
  • Gemäß einem anderen Aspekt ist ein Verfahren zum Überwachen des mentalen Zustands einer Person mit einem Körper an der Sitzbasis 201 und der Sitzlehne 202 vorgesehen, wobei der Kopf des Insassen an der Kopfstütze 203 in Nachbarschaft zu Sensoren 150 in der Kopfstütze 203 positioniert ist. Das Verfahren umfasst weiterhin das Positionieren eines Sensors wenigstens in Nachbarschaft zu Teilen der Haut des Körpers unterhalb des Kopfs für das Entwickeln von Rohsignalen und das Verarbeiten der Rohsignale, um wenigstens ein bandpassgefiltertes und den Zustand angebendes Signal in Entsprechung zu der Rohsignalgröße innerhalb eines vorbestimmten Frequenzbereichs als eine Angabe für den mentalen Zustand (wie etwa den abgelenkten Zustand) der Person anzugeben.
  • Wenigstens ein Sensor 150 ist hinter dem Kopf in der Nähe des oder an dem okzipitalenvisuellen kortikalen Bereich angeordnet. Dies kann dabei helfen, Gehirnwellen z.B. anhand des EDP korrekt zu messen. Weil das Fahren eine visuell dominante kognitive Aufgabe ist, sieht die Fähigkeit zum Erfassen einer Verarbeitung in diesem anatomischen Bereich des Gehirns (z.B. der visuellen Hirnrinde) in Verbindung mit anderen Verarbeitungen und kognitiven Netzen der mentalen Verarbeitung eine Fähigkeit zum Überwachen insbesondere des visuellen Aufmerksamkeitsgrads vor. Zum Beispiel ist eine visuelle Gewöhnung die Fähigkeit des Gehirns zum Vermindern seiner Reaktion auf wiederholte Stimuli, nachdem die Informationen verarbeitet wurden und nicht mehr als relevanter Verarbeitungsbedarf betrachtet werden. Zusätzlich zu einer allgemein niedrigen visuellen Aufmerksamkeit sollte der Insasse keine größeren Gewöhnungsmuster entwickeln, weil die visuelle Szenerie zwar gelegentlich eintönig ist, aber dennoch kontinuierlich variiert und die Bedingungen in diesen Bereichen eine Aufmerksamkeit erfordern. Ein Mangel an Aktivität in Verbindung mit einer visuellen Verarbeitung oder eine Gewöhnung an visuelle Stimuli kann als eine Subsatzklassifikation für eine mögliche Ablenkung zusätzlich zu anderen Gehirnwellenreaktionen und sekundären Überwachungssystemen dienen.
  • Die verschiedenen Sensoren können eine Anordnung der Größe N von biometrischen Sensoren vorsehen, die Signale für wenigstens die CNS-Funktion des Fahrzeuginsassen messen und in einigen Ausführungsformen Signale für die anderen biometrischen Signale des Fahrzeuginsassen messen. Die anderen biometrischen Signale können PNS-, ANS-, SNS-, PNPS- und/oder biochemische Signale für eine größere Genauigkeit beim Erfassen des emotionalen Zustands des Insassen sein. Wie weiter unten im größeren Detail beschrieben, werden die Signale zu Signalverarbeitungseinheiten geführt, die Teil des neuronalen Netzes sind, wobei eine entsprechende Artefaktkorrektur für jeden Typ des erfassten Signals durchgeführt wird. Das neuronale Netz verarbeitet die Signale in einer ersten Schicht individuell für verschiedene biofunktionale Marker der Valenz und der Erregung. Jede Schicht weist individualisierte Logikbäume für ein maschinelles Lernen auf, um einfache Metriken und eine subjektive Ungewissheit zu beseitigen und die Genauigkeit zu verbessern. Die Ausgaben dieser anfänglichen Schichten werden in eine zweite Schicht und bei Bedarf in folgende Schichten des neuronalen Netzes geführt, wo sie in Subkombinationen oder einer Totalkombination beurteilt werden. Jede kombinierte Schicht weist einen tieferen Logikbaum für ein maschinelles Lernen auf, der weiterhin einfache Metriken und eine subjektive Ungewissheit entfernt und die Genauigkeit verbessert. Das neuronale Netz kann eine Gewichtungslogik basierend auf der Treue des Signals und eine Verarbeitungstechnik zum Schätzen eines Vertrauenskoeffizienten des Beurteilungspegels für jedes Netzwerk schätzen, um die Zuverlässigkeit zu verbessern. Die endgültigen Valenz-/Erregungspegel werden berechnet und können verwendet werden, um den Insassen zu informieren oder Performanzparameter in dem Fahrzeug zu ändern.
  • Die Sensoren können auch Daten in Bezug auf das somatische Nervensystem erfassen, wie z.B. eine willkürliche Aktivität der Muskeln und der Haut. Diese Sensoren können elektromyographische Sensoren sein, die eine elektrische Aktivität in den Muskeln erfassen. Die Sensoren können Galvanische-Reaktion-Sensoren sein, die einen elektrischen Widerstand an der Haut erfassen. Die erfassten Signale können zu dem neuronalen Netz 310 geführt werden.
  • 3A ist eine schematische Ansicht eines Systems 300, das implementiert werden kann, um den emotionalen Zustand eines Insassen wie z.B. eines Fahrzeuginsassen in einem Fahrzeugsitz zu klassifizieren. Eine Sensoranordnung 301 kann einen Fahrer oder einen Insassen des Fahrzeugsitzes überwachen, ist in einem Fahrzeug angeordnet und kann beliebige der hier beschriebenen Sensoren umfassen. Die Sensoranordnung 301 kann den Insassen unter Verwendung von Zentrales-Nervensystem (CNS)-Sensoren 303, Sympathetisches-Nervensystem (SNS)-Sensoren 304, Autonomes-Nervensystem (ANS)-Sensoren 305, Parasympathetisches-Nervensystem (PSNS)-Sensoren 306 und Peripheres-Nervensystem (PNS)-Sensoren 307 überwachen. Diese Sensoren können in der Fahrzeugkabine und z.B. in einem Sitz, im Lenkrad, in einer Tür, in einer A-Säule, in einer B-Säule oder an anderen Positionen in dem Fahrzeug angeordnet sein, wo sie mit einem Fahrzeuginsassen interagieren können. Der CNS-Sensor 303 ist konfiguriert zum Erfassen von Signalen in Bezug auf das Gehirn und die Wirbelsäule des Insassen. Der ANS-Sensor 305 ist konfiguriert zum Erfassen des physikalischen Zustands des Insassen in Bezug auf unbewusste Körperfunktionen wie z.B. die Herzfrequenz, die Verdauung, die Atmungsfrequenz, die Pupillenreaktion, die Speicheldrüsenfunktion, die Wasserlassdringlichkeit und eine sexuelle Erregung. Der SNS-Sensor 304 kann die Kampf- oder Fluchtreaktion eines Insassen erfassen, die als eine Änderung in der Herzfrequenz des Insassen, eine Verengung von Blutgefäßen oder eine Änderung im Blutdruck gemessen werden kann. Eine Erhöhung der Herzfrequenz und eine Erhöhung des Blutdrucks können auf eine mögliche Erregung des Insassen hinweisen. Der PSNS-Sensor 306 kann den Zustand des Insassen in Bezug auf das parasympathetische System erfassen, das für eine Stimulation von Verdauungs-, Ruhe-, Ess- oder anderen Aktivitäten verantwortlich ist, wenn der Körper ruht, insbesondere nach dem Essen, einschließlich der sexuellen Erregung, der Speichelproduktion, der Tränenbildung, des Wasserlassens, der Verdauung und der Stuhlentleerung. Diese Sensoren können an Positionen angeordnet sein, an denen die Nerven des Insassen Signale ausgeben, die auf wenigstens zwei der elektrischen ANS-, SNS-, CNS- und/oder PSNS-Signale in dem Körper des Insassen bezogen sind. Der PSNS-Sensor 306 kann den kraniosakralen Ausfluss des Insassen erfassen. Der SNS-Sensor 304 kann den thorakolumbalen Ausfluss des Insassen erfassen. Der PNS-Sensor 307 kann elektrische Signale in dem Körper des Insassen außerhalb des zentralen Nervensystems erfassen und kann Signale für das Bewegen von Muskeln wie z.B. ein Zucken, nervöse Angewohnheiten und ähnliches erfassen.
  • Ein neuronales Netz 310 empfängt die erfassten Daten in Bezug auf die Insassen von den Insassensensoren 301. Das neuronale Netz 310 kann verschiedene Algorithmen in Hardwareprozessoren enthalten. Das neuronale Netz 310 wird als ein Rechensystem betrieben, das selbstlernend ist, um die Performanz des Klassifizierens des emotionalen Zustands nach und nach zu verbessern, indem der Algorithmus für eine Berücksichtigung von beispielhaften Eingaben in Bezug auf den Zustand des Insassen ausgeführt wird. Das neuronale Netz 310 kann lernen, emotionale Zustände des Insassen und die erfassten Daten in Bezug auf den Insassen zu identifizieren. Über die Zeit kann das neuronale Netz seinen eigenen Satz von relevanten Eigenschaften eines individuellen Insassen aus den Eingabedaten, d.h. den erfassten Insassendaten, und dem Zustand des Insassen entwickeln. Das neuronale Netz 310 kann eine Vielzahl von verbundenen Knoten enthalten, die in Schichten organisiert sein können, wobei Knoten zwischen Schichten zusammen mit Ausgängen von einer Schicht als Eingänge zu Knoten einer anderen Schicht verbunden sind. Die erste Schicht kann die Rohdatensignale von den Insassensensoren 301 empfangen. Verschiedene Schichten können verschiedene Arten von Transformationen auf ihren Eingaben durchführen. Signale bewegen sich von der ersten Schicht (Eingabe) zu der letzten Schicht (Ausgabe). Rückkopplungsverbindungen können ein Ausgabesignal von einer folgenden Schicht zu einer vorausgehenden Schicht übertragen. Ein verarbeitetes Signal oder verarbeitete Daten können also die Schichten mehrmals durchlaufen, bevor eine Ausgabe bestimmt wird. Unter Umständen kann das neuronale Netz selbst Knoten basierend auf dem Selbstlernen neu verbinden. Jeder Knoten in dem neuronalen Netz kann eine Berechnung auf den Eingaben durchführen, z.B. eine nicht-lineare Funktion einer Summe der Eingaben. Die Knoten können auch ein Gewicht enthalten, das seine Ausgabe relativ zu der Wichtigkeit in Bezug auf die Ausgabe anderer Knoten einstellt. Die nicht-lineare Funktion, die Summen und die Gewichte können geändert werden, wenn das neuronale Netz 310 lernt. In einem Beispiel kann das Gewicht die Stärke der Signalausgabe von dem Knoten, die das neuronale Netz 310 über die nächste Schicht sendet, vergrößern oder verkleinern.
  • Die Gewichte können zu Beginn auf einen vorbestimmten Wert basierend auf der Relevanz eines bestimmten Merkmals relativ zu allen anderen extrahierbaren Merkmalen gesetzt werden. In einem Beispiel kann ein erstes erfasstes Signal ein Artefakt eines zweiten erfassten Signals enthalten. Das neuronale Netz 310 kann das Artefakt des erfassten zweiten Signals von dem ersten Signal entfernen. Ein EEG-Signal kann Artefakte des EKG in seinem Signal und insbesondere eine unterscheidbare R-Welle enthalten. Das neuronale Netz 310 kann das Artefakt des EKG-Signals aus dem EEG-Signal entfernen. In diesem Fall ist das EKG-Signal eine sich wiederholende Spitze, die eine Amplitude aufweist, die die Amplitude des EEG-Signals weit und z.B. mindestens zweimal überschreitet.
  • Das neuronale Netz 310 kann betrieben werden, um eine Kreuzvalidation der Herzaktivität mittels einer Sensorfusion unter Verwendung einer positiven Identifikation der R-Welle in dem EKG durchzuführen. Das erfasste Signal kann die PQRST-Wellenform sein. Die P-Welle, der QRS-Komplex und die T-Welle geben eine elektrische Aktivität im Herzen in einem EKG wieder. Die P-Welle gibt die Depolarisierung der rechten und linken Vorhöfe wieder. Die QRS-Komplex-Wellenform folgt der P-Welle und gibt die Aktivierung der rechten und linken Herzkammern wieder. Die T-Welle gibt eine Repolarisierung der Herzkammern wieder. Die R-Welle ist am wichtigsten innerhalb der EKG-Merkmale, und die anderen Spitzen der PQRST-Wellenform sind jeweils weniger wichtig in der Reihenfolge der Spitzengröße. Zum Beispiel kann die Rangordnung von der höchsten zu der niedrigsten sein: 5=R, 4=T, 3=P, 2=S, 1=Q. Der Grund hierfür ist, dass die anderen Wellen eine Perspektive für die Aktivität und die wahrscheinliche Position des gleichen Merkmals zwischen Sensoren vorsehen können, was einen direkten eins-zu-eins-Vergleich des gleichen Merkmals und damit einen optimalen Vergleich von Signalen ermöglicht. Und je prominenter das Merkmal in dem erfassten Signal ist, desto größer ist das Vertrauen des neuronalen Netzes 310 darin, dass das erfasste Signal tatsächlich ein reales Merkmal ist, das die Systeme erfassen und verarbeiten können.
  • In einem anderen Beispiel kann das Signal-zu-Rauschen-Verhältnis (SNR) eines bestimmten Sensors als ein Gewichtungsfaktor verwendet werden. Zum Beispiel kann das Netzwerk 310 bei einem EKG annehmen, dass die Prominenz eines Merkmals (z.B. einer Subwelle des PQRST-Komplexes) und das Knowhow des erfassten Signals durch das SNR beeinflusst wird. Wenn das SNR größer wird, werden die Merkmale deutlicher unterscheidbar. Und wenn umgekehrt das SNR kleiner wird, werden die Merkmale in dem erfassten Signal weniger deutlich unterscheidbar und können die Merkmale, die die geringste Prominenz aufweisen, wie etwa die Q-Welle relativ zu der R-Welle weniger vertrauenswürdig relativ zueinander identifiziert werden. Zu Beginn kann dies berechnet werden, indem das berechnete SNR zu diesem Zeitpunkt mit dem Systemvalidation-SNR verglichen wird, das gemessen wird, wenn das System im Werk getestet wird. Wenn zum Beispiel das SNR während der Montage mit 16 dB gemessen wurde und in Echtzeit mit 14 dB gemessen wird, kann ein Gewichtungsfaktor als ein Bruch dieser zwei Werte zu diesem Zeitpunkt (14/16 bzw. 0,875) über alle Merkmale erzeugt werden und kann dann jedes Merkmal wiederum basierend auf ihrem relativen Prominenzrang skaliert werden. Wenn das System N+1 Komplexe erfasst, kann dieser Gewichtungsfaktor basierend auf der Änderung des SNR relativ zu dem zuvor erfassten Komplex aktualisiert werden, z.B. 14 zu 11 zu 16. Dieser mehrschichtige Ansatz des SNR wird zu einer Aktivierungs-/Übertragungsfunktion geführt, die auf jeder Ebene des neuronalen Netzes 310 einen Schwellwert vorsieht. Die Merkmalsextraktionsalgorithmen können alle Komponenten des PQRST erfassen, wobei die Aktivierungsfunktion alle bis auf die R-Welle basierend auf den Gewichtungsfaktoren ausschließen kann. Das neuronale Netz 310 umfasst eine Fehlerrückfortpflanzung für das intelligentere Aktualisieren dieser Gewichtsfaktoren, in dem die höchsten Qualitätsproben als Trainingssätze verwendet werden. Eine Autokorrelationsmethode in dem neuronalen Netz 310 kann in diesem Fall verwendet werden, um die anfänglichen Annahmen und die anfänglichen Gewichte zu ersetzen, sodass das neuronale netz 310 aktualisiert wird, um dem tatsächlichen Fahrzeug (d.h. den Sensoren und Kommunikationskanälen) und dem wahrscheinlichsten Insassen im Gegensatz zu einem allgemeinen Modell zu entsprechen. Das neuronale Netz 310 lernt also während seiner Verwendung. Wenn der Trainingssatz für das neuronale Netz 310 eine spezifizierte Anzahl von Qualitätsproben für jedes Merkmal und/oder jeden Komplex erreicht, passt das neuronale Netz 310 seine Gewichtungsfunktion an eine Autokorrelationsmethode an, in welcher der Gewichtungsfaktor ein Wert basierend auf dem Korrelationskoeffizienten des neuen Merkmals ist, wenn er mit den Trainingsdaten korreliert ist. Auf diese Weise beeinflussen allgemeine Merkmalsannahmen die Gewichte nicht. Außerdem wird das SNR automatisch in der Autokorrelation berücksichtigt, weil Reduktionen des SNR den Koeffizienten reduzieren würden und Erhöhungen die Gewichte falsch vorspannen würden.
  • Für den Komplex-basierten Ansatz in dem neuronalen Netz 310 (z.B. mehrere gekoppelte Merkmale) können die Identifikation und die Vertrauenswürdigkeit der Identifikation der verschiedenen Merkmale des gleichen Komplexes ein Mittel zum Erzeugen eines Gewichtungsfaktors für das Stoppen von falschen Positiven und falschen Negativen vorsehen. Das neuronale Netz 310 kann falsche Negative unter Verwendung eines starken Vertrauens in die Identifikation der QST-Wellenform in dem EKG adressieren, das eine schwache Identifikation der R-Welle in dem EEG übergehen kann, was zu einer Zurückweisung der gesamten Erfassung führen kann. In dieser Situation wird die Vertrauenswürdigkeit der Erfassung eines Herzsignals nicht durch eine Uneinigkeit zwischen den Sensoren beeinflusst, wenn die Vertrauenswürdigkeit eines Signalsensors ausreichend ist und also die Gewichte ausreichend hoch sind, um den einzelnen Sensorpegel-Aktivierungspegel (Funktion des neuronalen Netzes) auch dann zu passieren, wenn sie nicht ausreichend hoch sind, um den primären Fusionspegel-Aktivierungspegel zu passieren. In diesen Fällen werden abgelehnte Daten zurück zu einem sekundären Einzelpegel-Aktivierungspegel (Funktion des neuronalen Netzes) mit einem höheren Schwellwert als in der anfänglichen Funktion geführt. Wenn diese abgelehnten Signale den Schwellwert alleine passieren, kann man darauf vertrauen, dass in diesem Fall ein einzelner Sensor ausreicht, um eine positive Erfassung zu bestimmen.
  • Das neuronale Netz 310 kann ein Lernmodul 313 enthalten, das in die Schichten mit Knoten programmiert ist. Das Lernmodul 313 enthält Knoten und Schichten für das Empfangen einer Eingabe von den Sensoren 301 und für das Lernen durch Anpassen der Verbindungen zwischen Knoten und Schichten. Die Ergebnisse des Lernmoduls 313 werden in einem Speicher 315 gespeichert, wobei dieser Speicher ein digitaler Speicher sein kann. Ein Planungs- und Prädiktionsmodul 317 empfängt die Daten von dem Speicher 315 und die Daten von den Sensoren 301, um den emotionalen Zustand des Insassen zu klassifizieren. Das Planungs- und Prädiktionsmodul 317 wird mit einem Prozessor betrieben, der die Ergebnisse ausführt, d.h. mit einem prädiktiven Algorithmus von dem Lernmodul 313, der die aktuell erfassten Daten von den Insassensensoren 301 verwendet. Die Ausgabe aus dem Planungs- und Prädiktionsmodul 317 ist die Klassifikation 320 des emotionalen Zustands des Insassen. In einem Beispiel kann die aktuelle Klassifikation 320 des emotionalen Zustands des Insassen in dem Speicher 315 gespeichert werden und von dem neuronalen Netz 310 z.B. in die anderen Fahrzeugsysteme ausgegeben werden. Das Fahrzeug kann die Insassenklassifikation 320 verwenden und in einigen Fällen eine Fahrzeug-Insasse-Schnittstelle 325 für das Interagieren mit dem Insassen auslösen. Beispiele für eine Fahrzeug-Insasse-Schnittstelle 325, die durch die Insassenklassifikation ausgelöst werden kann, sind das Wiedergeben einer beruhigenden Musik oder einer Audionachricht durch das Audiosystem, das Anzeigen einer Nachricht oder eines beruhigenden Bilds durch das Videosystem, das Steuern des Klimasteuersystems, das Betätigen einer Kühlung, Heizung, Massage, Vibration des Sitzes usw.
  • In einem Beispiel können die CNS-Sensoren 303 EDP-Sensoren enthalten, die die kontaktlosen Sensoren wie z.B. die Sensoren 150 verwenden. Die EDP-Signale werden verwendet, um einen Ablenkungszustand des Fahrers zu erfassen. Die EDP-Signale können in verschiedene Subsignale z.B. mit verschiedenen Frequenzen unter Verwendung von Filtern für das Vorsehen von bestimmten Unterteilungen in Subbänder getrennt werden. Diese Subbänder können in Frequenzbereichen überlappen. Ein allgemeiner Bereich von Frequenzen für jedes Subband kann mit einer entsprechenden Varianz definiert werden. Ein erstes Subsignal kann bis zu vier Hertz betragen. Ein zweites Subsignal kann vier Hertz bis sieben Hertz betragen. Ein drittes Subsignal kann sieben Hertz bis vierzehn Hertz betragen. Ein viertes Subsignal kann vierzehn Hertz bis ungefähr dreißig Hertz betragen. Ein fünftes Subsignal kann ungefähr dreißig Hertz bis ungefähr einhundert Hertz betragen. Andere Subsignale können diese Bereiche für die ersten bis sechsten Subsignale überlappen, z.B. von acht Hertz bis dreizehn Hertz. Die Beziehungen zwischen diesen Subsignalen können verwendet werden, um zu bestimmen, ob der Fahrer von der Aufgabe des Fahrens abgelenkt ist. Die Muster der Subsignale oder die Verhältnisse von mehreren Subsignalen zueinander können verwendet werden, um zu bestimmen, ob eine Ablenkung auftritt.
  • Die Insassensensoren 301 können eine Fahrzeugkabinen-Bildaufnahmeeinrichtung wie z.B. eine Kamera umfassen, die verwendet wird, um den Fahrer in dem Fahrersitz zu erfassen. Die Kameradaten werden verwendet, um physikalische Eigenschaften des Insassen wie z.B. eine Muskelbewegung, eine Augenbewegung, ein Atmungsmuster und ähnliches zu erfassen. Die Kamera kann eine Bewegung oder eine nicht-Bewegung des Fahrers und/oder Gesichtszüge des Fahrers erfassen. Die Kameradaten können Videosignale sein, die zu einem Datenprozessor in dem Fahrzeug und dann zu dem neuronalen Netz 310 gesendet werden.
  • Die Fahrzeugkabinen-Bildaufnahmeeinrichtung kann in der Fahrzeugkabine und z.B. in dem Armaturenbrett des Fahrzeugs fixiert sein und auf den Fahrzeuginsassen gerichtet sein. Die Bildaufnahmeeinrichtung kann den Gesichtsausdruck des Fahrzeuginsassen wie z.B. des Fahrers überwachen. Die Bildaufnahmeeinrichtung oder ein anderer Prozessor mit Zugriff auf die Bilddaten von der Bildaufnahmeeinrichtung kann eine Änderung im Gesichtsausdruck des Fahrzeuginsassen wie z.B. eine Augenbewegung, eine Kontraktion und eine Erweiterung überwachen. Die Änderungen des Gesichtsausdrucks können eingegeben werden, um beim Bestimmen der Stimmung oder des Zustands des Fahrzeuginsassen zu helfen. Beispiele für einen Zustand sind Ärger, Traurigkeit, Freude, Betrunkenheit, abgelenkte Schläfrigkeit usw. In einem Beispiel kann die bestimmte Stimmung in das neuronale Netz eingegeben werden, um den Zustand des Insassen präziser zu bestimmen. Der bestimmte Zustand kann auch verwendet werden, um die Innenbeleuchtung einzustellen, die Lautstärke einzustellen oder andere Änderungen an der Umgebung des Insassen in der Fahrzeugkabine vorzunehmen. Das Audiosystem kann bestimmte Musikstücke oder Nachrichten basierend auf der bestimmten Stimmung auslösen. Das Audiosystem kann dem Insassen auch mittels zuvor aufgenommener Nachrichten vorschlagen, dass er ein bestimmtes Lied singt, das aus einer vorausgewählten Liste von Liedern abgespielt wird, um den Zustand des Insassen zu ändern. Die Bilder von der Kamera können auch analysiert werden, um eine Berauschtheit des Insassen zu bestimmen, die eine Ursache für ein abgelenktes Fahren sein kann. Wenn bestimmt wird, dass der Fahrer nicht in einem für das Fahren des Fahrzeugs geeigneten Zustand ist, kann das Fahrzeug eine automatische Nachricht über ein Kommunikationssystem zu dem Mobilgerät des Fahrers oder zu dem Mobilgerät eines Familienmitglieds auslösen. Der berauschte Zustand kann auch in das neuronale Netz eingegeben werden, um den veränderten Zustand des Insassen zu berücksichtigen.
  • 3B zeigt einen Prozess 330, der in dem neuronalen Netz in dem Fahrzeug 100 implementiert werden kann. Die Sensoren 301 geben Rohdaten 331 einschließlich von neuroelektrischen Signalen von den Sensoren 303-307, vom Blutsauerstoffpegel abhängige Reaktionssignale, Nahinfrarotspektroskopie-Datensignale und ähnliches zu dem neuronalen Netz 310 aus. Die Rohdaten können in dem Speicher 315 gespeichert werden. Das neuronale Netz 310 führt die neuroelektrischen Signale zu einem ersten Satz von neuronalen Netzwerkknoten 310A, die einen neuronalen Netzwerkalgorithmus für neuroelektrische Signale implementieren. Das neuronale Netz 310 führt die vom Blutsauerstoffpegel abhängigen Reaktionssignale und Nahinfrarotspektroskopie-Datensignale zu einem zweiten Satz von neuronalen Netzwerkknoten 310B, die einen neuronalen Netzwerkalgorithmus für nicht-neuroelektrische Signale implementieren. Der erste Satz von neuronalen Netzwerkknoten 310A ist konfiguriert zum Teilen der neuroelektrischen Signale in eine Frequenzanalyse 332 und eine Zeitanalyse 333. Die Frequenzanalyse 332 führt eine kortikale und regionale Analyse 334 und eine separate hemisphärische Lateralisation 335 durch, die erkennt, dass bestimmte neuronale Funktionen oder kognitive Prozesse dazu neigen, in einer Hemisphäre des Gehirns relativ zu der anderen Hemisphäre dominant zu sein. In einem Beispiel können bestimmte Stimmungen und emotionale Zustände des Insassen durch bestimmte neuroelektrische Signale in einer Gehirnhemisphäre angegeben werden. Die Ausgabe aus der kortikalen und regionalen Analyse 334 wird zu einer weiteren Schicht geführt, die drei Knoten enthält, die zu einer Aktivierungsnetzsequenz 336, einer Gesamtspektralleistungssequenz 337 und einer Bandprüfung 338 gerichtet sind. Die hemisphärische Lateralisation 335 kann zu der Gesamtspektralleistungssequenz 337 und der Bandprüfung 338 geführt werden. Die Gesamtspektralleistungssequenz 337 und die Bandprüfung 338 werden zu einer kombinierten Bandprüfung 339 geführt.
  • Die Zeitanalyse 333 wird zu einer kortikalen und regionalen Analyse 341 und einer hemisphärischen Asynchronität 342 geführt. Die kortikale und regionale Analyse 341 wird zu einer Aktivierungsnetzwerksequenz 343 und einer EVP-Reaktionszeit 344 geführt. Die hemisphärische Asynchronität 342 wird zu der EVP-Reaktionszeit 344 geführt. Eine Zeit/Frequenz-Analyse 345 empfängt Daten von der kortikalen und regionalen Analyse 334, der separaten hemisphärischen Lateralisation 335, der Aktivierungsnetzwerksequenz 336, der Gesamtspektralleistungssequenz 337, der Bandprüfung 338, der kombinierten Bandprüfung 339, der kortikalen und regionalen Analyse 341, der hemisphärischen Asynchronität 342, der Aktivierungsnetzwerksequenz 343 und/oder der EVP-Reaktionszeit 344.
  • Eine Nahinfrarotspektroskopieebene 350 enthält eine Vielzahl von Verarbeitungsknoten, die das Signal für eine kontinuierliche Wellenanalyse, Frequenzdomänenanalyse, zeitlich aufgelöste Analyse, räumlich aufgelöste Spektroskopieanalyse und ähnliches bewerten können. Die Nahinfrarotspektroskopieebene 350 führt ihre Ausgabe zu einer Hämodynamische-Reaktion-Analyse 351. Die Ausgabe wird zu zwei verschiedenen Ebenen einer regionalen Aktivierung/Deaktivierung 352 und einer globalen Flussdynamik 353 geführt. Die regionale Aktivierung/Deaktivierung 352 wird zu einer Aktivierungsnetzwerksequenz 354 und einer EVP-Antwortzeit 355 geführt. Jede der hier beschriebenen Feeds kann von einer eine Vielzahl von Knoten enthaltenden Ebene zu einer anderen eine Vielzahl von Knoten enthaltenden Ebene in dem neuronalen Netz geführt werden. Das Planungs- und Prädiktionsmodul 317 kann verschiedene Komponenten wie in 3B gezeigt enthalten. Eine Aktivierungslogik-Bibliotheksebene 365 in dem Modul 317 empfängt Ausgaben von vorausgehenden Ebenen, um eine Klassifikation des emotionalen Zustands des Insassen in dem Fahrzeug vorzusehen. Die Aktivierungslogik-Bibliotheksebene 365 gibt ihre Ergebnisse zu der Speicherlogikebene aus, die als ein Datenspeicher 315 und als das Lernmodul 367 wirkt, und enthält eine kontinuierliche Datenprofilüberwachungsebene, die das gelernte Modell der verschiedenen Signale speichert und Ausgaben vorsieht, die den emotionalen Zustand des Insassen angeben.
  • Es ist zu beachten, dass ein ähnlicher schematischer Aufbau auch für die anderen Signale von den ANS-, SNS-, CNS- und/oder PSNS-Sensoren verwendet werden kann. Das neuronalen Netz 310 kann erfasste Signale von mehr als einem Typ von Sensor verwenden.
  • Die emotionale Klassifikation des Insassen wird bei dem Bezugszeichen 320 ausgegeben. Die emotionale Klassifikation kann Komponenten für den Emotionale-Valenz-/Erregungspegel enthalten. 4 zeigt die Komponenten für den Emotionale-Valenz-/Erregungspegel im größeren Detail. Wenn die Insassenklassifikation bestimmt ist, kann das Fahrzeug Maßnahmen über eine Fahrzeug-Insasse-Schnittstelle 325 ergreifen, um den Insassen über seinen Zustand zu warnen, kann eine Stimulation für das Zurückführen des Insassen zu einem nicht-erregten oder aufmerksamen Zustand vorsehen und/oder kann Fahrzeugperformanzparameter ändern. Die Fahrzeug-Insasse-Schnittstelle 325 umfasst eine Anzeige in der Fahrzeugkabine, an der eine Warnung in Bezug auf den Zustand des Insassen angezeigt werden kann, und/oder eine Audiowarnung von dem Infotainmentsystem des Fahrzeugs. Die Fahrzeug-Insasse-Schnittstelle 325 kann Stimulationssysteme für das Stimulieren des Insassen enthalten, um den Insassen von einem erregten Zustand zu einem ruhigen Zustand oder von einem schläfrigen Zustand zu einem aufmerksamen Zustand zu versetzen.
  • Langfristige Daten in Bezug auf die erfasste Ablenkung können sekundär zu den Echtzeitalgorithmen verarbeitet werden, um verschiedene statistische Informationen für den Insassen und die maschinellen Lernsysteme vorzusehen. Die langfristigen Daten können in dem Fahrzeug oder außerhalb des Fahrzeugs auf einem fernen Server gespeichert sein. Das Fahrzeug kann eine elektronische Kommunikation zu einem externen Server z.B. über WIFI, über Mobilfunknetze wie etwa mittels einer zellularen Kommunikation usw. unterhalten. Die Berechnungen der langfristigen Ablenkung können verwendet werden, um die Befehle für das Bestimmen einer Ablenkung oder das Abschwächen von falschen Positiven zu ändern. Gemäß der vorliegenden Erfindung wird der Ablenkungs-/Konzentrationsstatus des Fahrers quantifiziert, während falsche Angaben der Ablenkung korrigiert werden. Das Fahrzeug kann den Ablenkungs-/Konzentrationsstatus des Fahrers verwenden, um die Reaktionszeiten verschiedener Fahrzeugsicherheitssysteme wie z.B. der adaptiven Bremssysteme für eine Optimierung der Reaktion des Systems zu handhaben. Dadurch kann das Risiko eines Frontalaufpralls reduziert werden.
  • 3C zeigt einen Prozess 300C, der mehrere Eingaben in das neuronale System von mit dem Insassen assoziierten Sensoren, die hier als ein Emotionale-Valenz-/Erregungspegel gezeigt sind, basierend auf erfassten Daten von dem CNS-Sensor und dem physiologischen Erregungspegel aus den erfassten Daten von dem ANS-Sensor und/oder dem SNS-Sensor verarbeitet. Der Prozess 300C umfasst einen ersten Pfad 361 für den ersten erfassten Zustand des Insassen und einen zweiten Pfad 362 für den zweiten erfassten Zustand des Insassen. Gemäß einem Aspekt empfängt der erste Pfad Daten in Bezug auf die Gehirnfunktion. Der zweite Pfad empfängt Daten in Bezug auf PNPS, ANS, SNS, Körperbiochemie oder Kombinationen aus diesen. Der erste Pfad 361 empfängt den Emotionale-Valenz und Erregungspegel 320, der hier beispielhaft als ein Vektor beschrieben ist, basierend auf den erfassten CNS-Daten. Der zweite Pfad 362 empfängt den physiologischen Erregungspegel 320B basierend auf erfassten nicht-CNS-Daten, die z.B. auf den ANS- oder SNS-Daten basieren. Der Emotionale-Valenz-/Erregungspegel 320 und der physiologische Erregungspegel 320B können beide durch vorausgehende Ebenen des neuronalen Netzes zugeführt werden. Der Emotionale-Valenz-/Erregungspegel 320 wird in die Emotionale-Valenz-Komponente 364 und den physiologischen Erregungspegel 365 geteilt. Die emotionale Valenz 364 wird ohne weitere Verarbeitung zu der Überwachungs- und Endebene geführt und überspringt also die Gewichtungsebenen. Der physiologische Erregungspegel 365 wird in einer Gewichtungsebene des neuronalen Netzes weiter verarbeitet. Eine Signal-zu-Rauschen-Gewichtung 366 wird betrieben, um eine Gewichtung für die Qualität des Signals vorzusehen, d.h. eine größere Gewichtung für ein kleineres Rauschen und eine kleinere Gewichtung für ein größeres Rauschen. Ein Epochenkorruption-Gewichtungsverhältnis 367 wird betrieben, um die Eingabe basierend darauf zu gewichten, ob ein in dem neuronalen Netz berechneter einzelner Zyklus wahrscheinlich korrumpiert ist. Die Epochengewichtung 368 wird durchgeführt und kann folgende Zyklen größer als vorausgehende Zyklen in rekursiven Berechnungen in dem neuronalen Netz gewichten. Die Gewichtungen 366, 367 und 368 werden zu einer logischen Ebene 369 geführt, um die Ergebnisse zu kombinieren. Die Kombinationslogikfunktion 369 gibt eine Vertrauenskoeffizienten 370 in der Eingabe und in diesem Fall den physiologischen Erregungspegel in den ersten Pfad 361 aus. Der zweite Pfad 362 empfängt einen physiologischen Erregungspegel 371 von der anderen nicht-CNS-Beurteilung des Insassen. Der physiologische Erregungspegel 371 wird durch den gleichen Typ von Verarbeitung verarbeitet wie der CNS-Erregungspegel, nämlich durch eine Signal-zu-Rauschen-Gewichtung 366C, eine Epochenkorruptionsverhältnisgewichtung 367C und eine Epochengewichtung 368C (die Verarbeitung wird unter Verwendung der gleichen Bezugszeichen mit dem Suffix C angegeben). Die Gewichtungen 366C, 367C, 368C werden an einer Kombinationslogik-Funktionsebene 369C kombiniert, die einen Vertrauenspegel 370C für die Eingabe in den zweiten Pfad 362 ausgibt. Der Vertrauenspegel ist der Pegel der physiologischen Erregung der ANS- oder SNS-Beurteilung. Der kombinierte Erregungsberechnungspegel 372 kombiniert die Vertrauenspegel 370, 370C, um einen Gesamtvertrauenspegel zu den Ausgabestufen für eine weitere Verarbeitung oder Speicherung auszugeben, die jeweils individuell den mit dem Insassen des Fahrzeugs assoziierten endgültigen Emotionale-Valenz-/Erregungspegel 320C einstellen können. Die Verarbeitung bei 300C berechnet einen kombinierten Vektor 320C basierend auf endgültigen Valenz-/Erregungspegeln von jedem Typ von erfasstem Signal. Der kombinierte Vektor 320C gibt den emotionalen Zustand des Insassen wieder. Der kombinierte Vektor kann in einen weiteren Künstliche-Intelligenz-Logikbaum z.B. in dem neuronalen Netz in dem Fahrzeug zugeführt werden, der die langfristigen Informationen verwendet, um die Gewichtung in verschiedenen Umgebungstrends weiter zu verbessern. Der endgültige Vektor 320C oder andere Ausgaben basierend auf den Berechnungen können in anderen Fahrzeugsystemen verwendet werden, um präventive Gegenmaßnahmen auszulösen oder vorzuschlagen. Außerdem können eine langfristige Trendanalyse und eine kurzfristige Variabilität verwendet werden, um den Insassen einen Indikator für Änderungen (Stabilisierung oder Degeneration) von deren emotionalem Zustand anzubieten.
  • Die neuronalen Netzschichten sind in 3B-3C allgemein in einer vertikalen Ausrichtung gezeigt. Es ist jedoch zu beachten, dass jede dieser drei Schichten zahlreiche Knoten und Subschichten für das Vorsehen der hier beschriebenen Verarbeitung enthalten kann.
  • Die hier beschriebenen Sensoren können verschiedene Eigenschaften des Fahrzeuginsassen erfassen. Die Sensoren können ein Elektroenzephalogramm (EEG), ein Elektrokardiogramm (EKG), eine Herzfrequenzvariabilität (HRV), eine galvanische Hautreaktion (GSR), ein Muskelaktivitäts- oder Elektromyogramm (EMG), eine Hauttemperatur (SKT), einen Blutvolumenpuls (BVP) und ein Atmungsvolumen (RESP) erfassen.
  • 4 ist eine schematische Ansicht 400 eines Valenz-/Erregungsvektors, der gemäß der Erfindung verwendet werden kann. Bei 401 bestimmen die hier beschriebenen Systeme und Verfahren den Emotionale-Valenz-/Erregungspegel unter Verwendung des neuronalen Netzes. Bei 403 wird ein Valenz-/Erregungsvektor erzeugt. Der Valenz-/Erregungsvektor wird auf ein X/Y-Koordinatensystem aufgetragen, in dem sich das Wohlbefinden in der positiven X-Richtung vergrößert und in der negativen X-Richtung verkleinert. Der Erregungszustand des Insassen erhöht sich in der positiven Y-Richtung und verkleinert sich in der negativen Y-Richtung. Die grundlegenden emotionalen Zustände sind in den Quadranten angegeben. Wenn der Insasse in einem Quadranten extrem ist, kann der Insasse benachrichtigt oder stimuliert werden, um mehr zu der Mitte des Diagramms zurückzukehren. Ein Probevektor ist bei 404 gezeigt. Dabei kann es wünschenswert sein, die Größe des Vektors 404 zu reduzieren. Ein Erregungszustand mit einer großen Größe kann angeben, dass der Insasse ängstlich, verärgert, schläfrig oder abgelenkt ist. Bei 405 wird eine Ausgabe zu dem Insassen des Fahrzeugs in einem Versuch für das Zurückführen des Insassen zu einem ruhigen Zustand erzeugt, der durch eine reduzierte Größe des Vektors 404 angegeben wird, was wiederum in dem neuronalen Netz basierend auf in Echtzeit erfassten Daten in dem Fahrzeug bestimmt wird. Bei 407 kann das neuronale Netz den Valenz-/Erregungsvektor empfangen und den bestimmten Vektor für ein Lernen und Planen des neuronales Netzes und für auf die Knoten in dem neuronalen Netz angewendeten Gewichte verwenden.
  • 5 zeigt ein Fahrzeugsystem 500 zum Erfassen von verschiedenen Eigenschaften des Fahrzeuginsassen. Eine Vielzahl von elektromagnetischen Sensoren 501 sind in der Fahrzeugkabine konfiguriert, um die elektrischen Signale in dem Körper des Insassen zu erfassen. Die Sensoren 501 können in dem Fahrzeugsitz oder an Positionen in der Fahrzeugkabine in Nachbarschaft zu dem Insassen angeordnet sein. Die Sensoren 501 können nahe an dem Insassen angeordnet sein, aber diesen nicht berühren. Die Sensoren 501 können EDP, EEG und ähnliches wie z.B. die elektrische Gehirnaktivität insgesamt und in bestimmten Abschnitten in Frequenzbändern messen, um die Last, den Pegel und die Position derselben zu bestimmen. Die Informationen werden verwendet für das Beurteilen der kognitiven Funktion des Insassen und für das Bestimmen von verschiedenen Bedingungen einschließlich von Stress. Eine Vielzahl von physiologischen Sensoren 502 sind in der Fahrzeugkabine konfiguriert zum Erfassen der anderen Eigenschaften des Insassen. Die Sensoren 502 können nah an dem Insassen angeordnet sein, aber diesen nicht berühren. Die Sensoren 502 können die Herzfrequenz, die Atmungsfrequenz, den Blutdruck, die galvanische Hautreaktion usw. messen. Die Sensoren 502 können Herzsensoren zum Messen der Herzballistik, eines Seismokardiogramms und/oder von durch das Herz erzeugten elektrischen Signalen, die in einen Algorithmus zum Bestimmen der Herzfrequenz geführt werden, und von Herzfrequenzvariabilitätswerten, die mit autonomen Erregungspegeln korrelieren, umfassen. Die Sensoren 502 können auch galvanische Hautreaktionen auf Stressfaktoren oder deren Ausbleiben messen, während die Atmungsfrequenz dabei hilft, die Intensität und Reaktion auf den Stressfaktor zu bestimmen. Der Anstieg des Blutdrucks hilft dabei, eine Gefäßverengung und eine Herzfrequenzerhöhung anzugeben. Die Sensoren 502 können in dem Fahrzeugsitz oder an Positionen in der Fahrzeugkabine in Nachbarschaft zu dem Insassen angeordnet sein.
  • Die Sensoren 501, 502 führen die erfassten Signale zu einem Analog-Digital-Wandler 503 zu, der die digitalen erfassten Signale wiederum zu einem Signalprozessor 505 senden kann, der einen Prozessor und einen operativ mit dem Prozessor verbundenen Speicher enthalten kann. Der Signalprozessor 505 verarbeitet die Signale, um die Rauschkomponente 506 des erfassten Signals zu reduzieren und/oder zu beseitigen. Der Signalprozessor 505 gibt verarbeitete biologische Daten in Bezug auf den Insassen aus. Die biologischen Daten 507 können zu dem neuronalen Netz 310 geführt werden, um dem Emotionale-Valenz-/Erregungspegel (z.B. den Vektor) zu erzeugen und um den emotionalen Zustand des Insassen zu klassifizieren.
  • Gemäß einem Aspekt der vorliegenden Erfindung kann in einem System 500 das neuronale Netz eine in einem Speicher gespeicherte Komponentenstressbibliothek 509 enthalten. Die Komponentenstressbibliothek 509 enthält eine Vielzahl von Auswahlen der verschiedenen Sensordaten wie z.B. Daten von den Sensoren 501 und 502, die nützlich für das Bestimmen des emotionalen Zustands des Fahrzeuginsassen sind. Die Bibliotheksprofile 509 können auch basierend auf der Zuverlässigkeit der erfassten Daten für jeden einzelnen Insassen ausgewählt werden. Eine individuelle Stress- oder Emotionaler-Zustand-Beurteilung 510 wird unter Verwendung der Insassendaten 507 durchgeführt, die in dem Profil von der Bibliothek 509 angegeben sind. Die Beurteilung 510 kann beliebige der hier beschriebenen neuronalen Netzschritte umfassen. Die individuelle Zustandsbeurteilung 510 kann auch die biologischen Daten individuell verarbeiten. Bei der individuellen Berechnung können die Stressbestimmungen unter Verwendungen in dem neuronalen Netz bei 511 kombiniert werden. Diese Kombination 511 verbessert die Zuverlässigkeit der Emotionaler-Zustand- oder Stressbeurteilung. Die resultierende kombinierte Beurteilung bei 511 kann zu einer Einrichtung 512 für das Ausgeben des Ergebnisses an eine Insassenschnittstelle in dem Fahrzeug gegeben werden. Optional können einige individuelle Beurteilungen von 510 eine Ausgabe zu einer Insassenschnittstelle bei 512 auslösen. Ein Benutzerprofilspeicher 514 empfängt die Beurteilungen und die Ausgabe zu dem Insassen. Das neuronale Netz kann die historischen Ergebnisse für einen beliebigen individuellen Insassen oder eine Gruppe von Insassen verwenden, um das neuronale Netz zu trainieren oder die vergangenen Ergebnisse als eine Prüfung der Genauigkeit der aktuellen Beurteilung zu verwenden. Das Steuermodul 515 kann mit dem Erfassen oder Steuern des Betriebs der Sensoren 501, 502 beginnen, sodass der Fahrzeuginsasse kontinuierlich in Echtzeit überwacht werden kann. Eine Änderung in den erfassten Eigenschaften von den Sensoren kann die Beurteilung bei 510 ändern und eine Ausgabe zu dem Insassen ändern.
  • Das System 500, das zwei Typen von erfassten Daten wie etwa biometrische und neurokognitive Signale verwendet, kann eine größere Spezifizität der Emotionaler-Zustand- oder Stressklassifikation des Insassen als bei der Verwendung von einer einzelnen Eingabe vorsehen, sodass also das Vorhandensein, der Pegel und der Typ des Stresses mit einer größeren Spezifizität bestimmt werden können als bei der Verwendung einer einzelnen erfassten Komponente. Das System 500 integriert physiologische und psychologische Daten von zwei oder mehr biometrischen Einrichtungen, um die Genauigkeit zu erhöhen und die Auflösung beim Bestimmen des Stresspegels eines einzelnen Insassen zu vergrößern. Insbesondere kann das System neurokognitive Verarbeitungslasten und -muster, die durch zweite Sensoren 502 erhalten werden, mit relativen Aktivierungspegeln der parasympathetischen/sympathetischen Nervensysteme querkorrelieren, wie sie durch eine Herzfrequenzvariabilität in den ersten Sensoren 501 erfasst werden. In einem Beispiel kombiniert das System 500 die Empfindlichkeit der Herzfrequenzvariabilitätsmessungen mit der Spezifizität von EEG/EDP. Die erhöhte Herzfrequenz kann eine Erregung oder einen Stress mit einer hohen Valenz angeben und sollte keinen Stress oder Ärger während des Fahrens angeben. Das heißt, dass in einigen Fällen die Herzfrequenz alleine oder eine variable Herzfrequenz kein genauer Indikator für einen unerwünschten Insassenzustand ist. Eine Kombination dieses Ergebnisses mit der Analyse für die Daten von den ersten Sensoren 501 gibt an, ob der Insasse in nichtschädlicher Weise aufgeregt ist, z.B. glücklich/aufgeregt vs. gestresst oder ängstlich. Die Verwendung der Kombination kann die Genauigkeit vergrößern.
  • 6 zeigt ein in einem Fahrzeug ausgeführtes Verfahren 600 zum Bestimmen des emotionalen Zustands für das Beruhigen des Insassen. Die Verwendung der vorliegenden Systeme 100, 300, 500 für das Bestimmen des emotionalen Zustands eines Fahrzeuginsassen werden unter Umständen nicht durch alle Insassen erwünscht. Weiterhin können bestimmte Aktionen den Stress für einen Insassen erhöhen. In 601 fragt das Fahrzeug eine Eingabe von dem Insassen wie z.B. dem Fahrer an, um zu erfahren, ob der Insasse möchte, dass das Fahrzeug Initiativen zum Erfassen und Beruhigen von Insassen wie hier beschrieben durchführt. Wenn der Insasse nicht mit den Erfassungs- und Beurteilungssystemen einverstanden ist oder diese nicht einschaltet, stoppt der Prozess in 602. Wenn der Insasse einverstanden ist, können in 603 eine Vielzahl von vorhandenen Kategorien für den Insassen vorgesehen werden. Der Insasse kann eine Aktivierung von beliebigen der mehreren Sensoren und der Maschine-Mensch-Schnittstellen für das Vorsehen einer Rückmeldung an den Insassen auswählen. Die Maschine-Mensch-Schnittstellen können Videoanzeigen, Audiosignale und eine neurologische Stimulation sein.
  • In 604 überwacht und erfasst das Fahrzeug Eigenschaften des Insassen. Das Fahrzeug kann auch andere Faktoren überwachen, die eine zu Stress oder Ärger führende Situation angeben können. Die biometrischen und physikalischen Eigenschaften des Insassen können wie hier beschrieben gemessen werden. Die Sensoren in dem Fahrzeug können die Sprache, die Tätigkeit und die physiologischen Funktionen des Insassen wie hier beschrieben (z.B. den Gesichtsausdruck, Gesten, die Herzfrequenz, die Temperatur usw.) unter Verwendung einer Kamera oder anderer biometrischer Erfassungseinrichtungen (z.B. Sitzsensoren) oder durch das Aufzeichnen und Analysieren von Tönen oder Äußerungen des Insassen erfassen. Es können auch der Gesichtsausdruck des Insassen und Änderungen desselben analysiert werden, um den Zustand des Insassen zu bestimmen.
  • In 605 werden die erfassten Faktoren und biometrischen Daten in Bezug auf den Insassen mit bekannten Standards oder einem früheren ruhigen Verhalten verglichen. Bei 606 wird bestimmt, ob die verglichenen Daten außerhalb eines Schwellwerts liegen. Die Schritte 605 und 606 können in dem neuronalen Netz wie hier beschrieben durchgeführt werden. Der Vergleich 605 und die Differenzbestimmung 606 können auch in einem Signalprozessor oder in einer Steuereinrichtung durch das Vergleichen von gespeicherten Daten mit den erfassten Daten durchgeführt werden. Wenn bei 607 der Schwellwert nicht überschritten wird, fährt der Prozess 600 mit dem Überwachen des Insassen fort. Das Überwachen 604 kann kontinuierlich mit den Vergleichs- und Bestimmungsschritten erfolgen.
  • In 608 wird die Umgebung des Fahrzeugs auf einen potentiellen Stimulus überwacht, der den emotionalen Zustand des Insassen beeinflussen kann. Die Umgebungsfaktoren können den Verkehr, den Verkehrsfluss, Unfälle, einen niedrigen Benzinstand, einen Motorprüfindikator, die Position, eine neue Position, eine Position, an welcher der Insasse einen Stress erfahren hat, usw. umfassen. Die anderen Faktoren können die Uhrzeit, den Verkehrsfluss an einer bestimmten Position, den Wochentag und frühere Zustände des Insassen für beliebige der anderen Faktoren umfassen. Die Umweltsensoren können eine nach außen gerichtete Kamera umfassen, die die Zustände außerhalb des Fahrzeugs und den Stimulus, der die Reaktion des Fahrers ausgelöst hat, beobachtet.
  • Die Schritte 605, 606, 608 können ausgeführt werden, um die Reaktion des Insassen als auf Ärger beruhend oder auf Stress beruhend anhand der Amalgamierung der Daten von den Sensoren mit den von außerhalb des Fahrzeugs stammenden Daten zu erkennen.
  • Wenn in 609 Fälle angegeben wird, dass der Fahrer nicht ruhig handelt, dann wird die Maschine-Mensch-Schnittstelle ausgelöst.
  • In 610 kann die Mensch-Maschine-Schnittstelle eine Indikatorausgabe zu dem Insassen vorsehen, die den Insassen beruhigen soll. Die Indikatorausgabe kann eine Audionachricht, eine visuelle Nachricht oder eine Stimulation wie hier beschrieben sein. Die Audionachricht kann in dem Fahrzeug-Infotainmentsystem gespeichert sein und kann wiedergegeben werden, wenn die vorhandenen Systeme und Verfahren bestimmen, dass der Insasse gestresst oder nicht in einem ruhigen Zustand ist. Die visuelle Nachricht kann ein Bild einer geliebten Person (z.B. eines Familienmitglieds, einer anderen nahestehenden Person, eines Haustiers) auf einem Fahrzeugdisplay sein. Die Audionachricht kann ein Lieblingsmusikstück, ein Witz oder eine geistreiche Bemerkung (zuvor aufgenommen oder aus dem öffentlichen Bereich genommen) sein.
  • In 611 wird der Insasse auf eine Änderung des emotionalen Zustands überwacht. Das Überwachen kann gleich demjenigen von Schritt 604 sein. In 612 wird bestimmt, ob der Insasse zu einem ruhigen Zustand übergegangen ist. Wenn dies der Fall ist, dann stoppt der Prozess in 613. Das Stoppen gibt an, dass die Ausgabe beendet wird, wobei jedoch das Überwachen in Schritt 604 fortgesetzt werden kann, solange sich der Insasse in dem Fahrzeug befindet. Wenn sich der Insasse nicht beruhigt hat, dann kehrt der Prozess zu der Ausgabe 610 zurück und kann die vorausgehende Ausgabe wiederholen oder eine neue Ausgabe versuchen.
  • 7 zeigt einen Sensorfusionsprozess 700, der dem neuronalen Netz 310 beim Bestimmen einer emotionalen Klassifikation des Insassen des Fahrzeugs hilft. Der Prozess verwendet die Positionsinformationen des Fahrzeugs mit der emotionalen Klassifikation des Insassen, um eine verbesserte emotionale Klassifikation vorzusehen. Gemäß einem Aspekt können die Positionsinformationen und die emotionale Klassifikation des Fahrers verwendet werden, um Fahrtrouten zu planen, die die Wahrscheinlichkeit einer nachteiligen emotionalen Klassifikation reduzieren. Eine nachteilige emotionale Klassifikation kann ein schläfriger Zustand oder ein verärgerter Zustand sein. Die historischen emotionalen Klassifikationen können in einem Speicher gespeichert sein. Die Position einer nachteiligen emotionalen Klassifikation kann gespeichert sein, und diese Positionen können vermieden werden, um die Wahrscheinlichkeit einer nachteiligen emotionalen Klassifikation zu reduzieren. Gemäß einem Aspekt sind Echtzeitereignisse, die wahrscheinlich einen Zustand einer nachteiligen emotionalen Klassifikation auslösen, für das Fahrzeug bekannt. Der Prozess in dem Fahrzeug kann die Positionen derartiger Ereignisse, die mit nachteiligen emotionalen Klassifikationen zusammenfallen oder diese auslösen, verwenden und die Positionen derartiger Ereignisse vermeiden.
  • In 701 wird ein Ziel in das Fahrzeugnavigationssystem eingegeben. In 702 wird ein Positionssystem wie z.B. GPS (Global Positioning System) in den USA eingeschaltet und wird die Position des Fahrzeugs bestimmt. In 703 wird bestimmt, ob der Fahrer den Routenverbesserer einschaltet. Wenn nicht, fordert das Fahrzeug in 704 an, dass der Fahrer den Routenverbesserer einschaltet. Wenn der Routenverbesserer nicht eingeschaltet wird, stoppt der Prozess in 705. Wenn der Routenverbesserer in 706 eingeschaltet wird, wird in 707 eine erste Route bestimmt. Die erste Route wird durch das Navigationssystem des Fahrzeugs berechnet. Die erste Route kann wie alle Routen in 710 in Abschnitte zum Beispiel für die Anzeige in dem Fahrzeug unterteilt werden.
  • Die Route umfasst einen Ausgangspunkt 711, mehrere Abschnitte 712-715 und ein Ziel 716. In dem hier beschriebenen Beispiel sind vier Abschnitte vorgesehen, wobei die Erfindung jedoch nicht auf vier Abschnitte beschränkt ist. Der erste Routenabschnitt 712 weist keine negativen Angaben zu möglichen Stresserhöhungsfaktoren auf. Stresserhöhungsfaktoren sind Bedingungen, Tatsachen oder Einflüsse in Bezug auf das Fahrzeug oder das Fahren, die zu einer Erhöhung der Wahrscheinlichkeit, dass der Fahrzeuginsasse einen nachteiligen emotionalen Zustand entwickelt, beitragen, was unter Verwendung des hier beschriebenen neuronalen Netzes bestimmt wird. Der zweite Routenabschnitt 713 weist eine Angabe zu Stresserhöhungsfaktoren an einer Position mit einer hohen Kriminalitätsrate auf. Der dritte Routenabschnitt 714 weist eine Angabe zu Stresserhöhungsfaktoren an einer Position mit einer hohen Unfallrate auf. Der vierte Routenabschnitt 715 weist ebenfalls eine Angabe zu einem Stresserhöhungsfaktor an einer Position mit einer hohen Stressrate auf.
  • Der Fahrer des Fahrzeugs kann in 719 basierend auf Einstellungen eine alternative Route wählen. Die alternative Route 720 kann den gleichen Ausgangspunkt 711, den gleichen ersten Abschnitt 712 und das gleiche Ziel 716 aufweisen, wobei jedoch die Abschnitte 713-715 der ersten Route 710, die eine nachteilige Stressreaktion des Fahrzeuginsassen (des Fahrers oder eines Insassen) auslösen, durch einen alternativen Abschnitt 721 ersetzt sind. Der alternative Abschnitt 721 vermeidet die Positionen (z.B. Straßen) in den Abschnitten 713-715.
  • Das Fahrzeug enthält einen Datenspeicher oder verfügt über einen Fernzugriff auf einen Datenspeicher, in dem historische Daten zu Fahrbedingungen und Stressstatistiken gespeichert sind. Ein Unfallstatistik-Datenspeicher 723 speichert die Daten in Bezug auf Unfälle mit Fahrzeugen einschließlich von Positionsdaten. Ein Kriminalitätsdatenspeicher 724 speichert Kriminalitätsstatistiken einschließlich von Positionsdaten. Ein Emotionaler-Zustand-Datenspeicher 725 speichert historische Emotionaler-Zustand-Klassifikationen einschließlich von Positionsdaten. Es sind hier der Einfachheit halber drei distinkte Datenspeicher 723-725 gezeigt, wobei die Kriminalitätsdaten, die Unfalldaten und die Emotionaler-Stress-Klassifikationsdaten gemäß der Erfindung in einem einzelnen oder in mehreren Datenspeichern gespeichert sein können.
  • Zu dem Fahrzeugnavigationssystem werden die Unfalldaten aus dem Unfalldatenspeicher 723 geführt. Das Navigationssystem kann eine Route wie z.B. die Route 710 bestimmen und dann die Unfalldaten für jeden Abschnitt 712-715 aus dem Unfalldatenspeicher 723 basierend auf den Abschnittpositionsdaten wie durch das Navigationssystem bestimmt anfragen. Das Navigationssystem kann basierend auf den Unfalldaten bestimmen, ob ein negativer Unfallindikator Teil eines einzelnen Abschnitts sein soll.
  • Zu dem Fahrzeugnavigationssystem werden die Kriminalitätsdaten aus dem Kriminalitätsdatenspeicher 724 geführt. Das Navigationssystem kann eine Route wie z.B. die Route 710 bestimmen und dann die Kriminalitätsdaten für jeden Abschnitt 712-715 aus dem Kriminalitätsdatenspeicher 724 basierend auf den Abschnittspositionsdaten wie durch das Navigationssystem bestimmt anfragen. Das Navigationssystem kann basierend auf den Unfalldaten bestimmen, ob ein negativer Kriminalitätsindikator Teil eines einzelnen Abschnitts sein soll.
  • Gemäß einem Aspekt können der Unfalldatenspeicher 723, der Kriminalitätsdatenspeicher 724 und der Insassenstress-Datenspeicher 725 jeweils eine negative Bewertung oder eine positive Bewertung basierend auf Unfallstatistiken, Kriminalitätsstatistiken und historischen Stressbestimmungen (z.B. unter Verwendung des neuronalen Netzes wie hier beschrieben) für jede Position enthalten. Die Berechnungen für die Unfallbewertung und die Kriminalitätsbewertung können von dem Fahrzeug zu einem fernen Server, in dem die Datenspeicher 723, 724 enthalten sind, ausgelagert werden. Der Insassenstress-Datenspeicher 725 kann im Fahrzeug vorgesehen sein, wenn das neuronale Netz für das Klassifizieren des Fahrzeuginsassenstresses in dem Fahrzeug vorgesehen ist. Gemäß einem Aspekt kann der Insassenstress-Datenspeicher 725 auch ein ferner Server sein. Die Bewertungen aus den Datenspeichern 723, 724 oder 725 können zu dem Navigationssystem gesendet werden, um die Wahrscheinlichkeit, dass ein Abschnitt den Stresspegel eines Fahrzeuginsassen erhöht, über ein elektromagnetisches Kommunikationssystem anzugeben. In 727 werden die Unfalldaten in Bezug auf eine Route von dem Unfalldatenspeicher 723 in das Navigationssystem eingegeben. In 728 werden die Kriminalitätsdaten in Bezug auf eine Route von dem Kriminalitätsdatenspeicher 724 in das Navigationssystem eingegeben. In 729 werden Insassenstressdaten in Bezug auf eine Route von dem Insassendatenspeicher 725 in das Navigationssystem eingegeben.
  • Gemäß verschiedenen Aspekten der vorliegenden Erfindung können auch andere Daten zusätzlich zu den Kriminalitäts-, Unfall- und Insassenstressdaten verwendet werden, um zu bestimmen, ob ein Routenabschnitt wahrscheinlich einen erhöhten Insassenstress verursacht. Dabei kann es sich um aktuelle Daten einschließlich von Verkehrsdichtedaten 731, Baustellendaten 732 und aktuellen Unfalldaten 733 handeln. Diese können zu dem Navigationssystem über einen Kommunikationskanal von einem fernen Server zu dem Fahrzeug vorgesehen werden. Wenn die aktuellen Daten wahrscheinlich eine Erhöhung des Stresses für den Insassen verursachen, dann können die Routenabschnitte, an denen die aktuellen Ereignisse auftreten, vermieden werden.
  • Es wird hier eine Route vorgesehen, die keine Abschnitte aufweist, die Stress auslösen oder erhöhen. Unter Umständen ist es jedoch nicht möglich oder wünschenswert, Stress verursachende Abschnitte zu vermeiden, zum Beispiel aufgrund von zeitlichen Beschränkungen, die das Vermeiden von derartigen Abschnitten und Straßen ausschließen. Die Anzeige der Stress verursachenden Abschnitte 713-715 kann dabei helfen, den Insassen auf die Stress verursachenden Situationen an der Straße vorzubereiten. Der Insasse kann sich also auf die Stress verursachenden Situationen vorbereiten. Das Fahrzeug kann sich auch auf Stress verursachende Positionen vorbereiten, indem es Stress reduzierende Fahrzeug-Insasse-Interaktionen vor dem Abschnitt oder bei einer Erhöhung des Stresspegels der Insassen vorsieht, wie z.B. durch das neuronale Netz jederzeit in dem Abschnitt bestimmt.
  • Die hier beschriebenen neuronalen Netze 300, 500 können verwendet werden, um den emotionalen Zustand des Insassen zu klassifizieren. Die Position der Stressklassifikationen kann durch das Navigationssystem z.B. von dem GPS-Gerät vorgesehen werden, um in dem Insassenstressspeicher 725 gespeichert zu werden. Zu dem neuronalen Netz 300, 500 können zusätzliche Daten von den Fahrzeugsystemen zugeführt werden. Die Innenkamera 104 und die Außenkamera 105 nehmen Bilddaten auf, die für die Klassifikation von Insassenstress verwendet werden können. Die Bilddaten von der Innenkamera 104 können analysiert werden, um Stressindikatoren wie z.B. Gesichtszüge, eine Haltung usw. zu bestimmen. Die Bilddaten von der Außenkamera können analysiert werden, um Stressindikatoren wie etwa externe Merkmale, Verkehr, Tiere, Straßenbedingungen, Wetter usw. zu bestimmen. Eine Datenanalyse-Engine 745 kann die verarbeiteten Bilddaten von beiden Kameras, aktuelle Routeninformationen von dem Navigationssystem und historische Routeninformationen empfangen. Die Datenanalyse-Engine 745 verarbeitet die empfangenen Daten und sieht die Daten zu dem neuronalen Netz 300, 500 vor.
  • Der Prozess 700 fusioniert mehrere Datentypen wie z.B. Kriminalitäts-, Unfall- und Emotionaler-Zustand-Daten, um möglicherweise Stress verursachende Abschnitte einer Fahrtroute unter Verwendung von Indikatoren anzuzeigen, um die problematischen Abschnitte für den Insassen hervorzuheben. Die Indikatoren können visuelle Indikatoren sein und zum Beispiel eine Änderung der Farbe, verschiedene Linientypen oder ein Blinken verwenden, um den Insassen auf die problematischen Fahrtabschnitte aufmerksam zu machen. Die Indikatoren können akustische Indikatoren wie z.B. Töne, Summtöne, aufgenommene Phrasen oder ähnliches sein.
  • Das Fahrzeugsystem verwendet eine Sensorfusion-unterstützte Positionsroutenführung, die Insassenstress-Klassifikationspegel während des Fahrens entlang von bestimmten Teilen der Route und Kriminalitäts- und Unfallstatistiken der Bereiche entlang der Route berücksichtigt und für den Fahrer die Möglichkeit des Auswählens einer alternativen Route bietet. Während der Fahrt erfassen die biometrischen Sensoren im Sitz, eine nach innen gerichtete Kamera oder andere Kabinensensoren mit dem hier beschriebenen neuronalen Netz erhöhte Stresspegel, um zu bestimmen, dass sich der Insasse unwohl fühlt, während er entlang eines bestimmten Teils der Route fährt. Das System kann auch die nach außen gerichtete Kamera in Kombination mit den Daten von der nach innen gerichteten Kamera und von den biometrischen Sensoren in dem Sitz verwenden, um den Grund für den erhöhten Stress zu korrelieren. Gemäß einem Aspekt wird die Route mit codierten Indikatoren aktualisiert, die angeben, dass ein einzelner Abschnitt wahrscheinlich Stress verursacht. Basierend auf historischen Insassenstresspegeldaten zu frequentierten Routen kann das Fahrzeug alternative Routen für das Vermeiden von Stress verursachenden Bereichen (wie z.B. schlecht getaktete Ampeln oder langen Rotzeiten an Ampeln zusätzlich zu den oben genannten) präsentieren. Das Fahrzeugsystem und der Prozess können Teil einer Sicherheitsfunktion im GPS-System sein, das eine durch das plötzliche Eintreten in einen unerwarteten Routenabschnitt verursachte Angst und eine Stresserhöhung für den Insassen vermeidet.
  • 8 zeigt schematisch ein Audiosystem 800, das die Steuereinrichtungen und das neuronale Netz wie hier beschrieben verwenden kann, um eine Audioausgabe für die Fahrzeugkabine vorzusehen. Die Audioausgabe kann verwendet werden, um den Stress des Insassen zu reduzieren. Der Sensor 801 erfasst die Position des Fahrzeuginsassen. Der Sensor 801 kann die Sitzsensoren wie hier beschrieben enthalten. Die Position des Insassen kann angeben, ob ein bestimmter Sitz wie etwa der Fahrersitz, der vordere Beifahrersitz, der fahrerseitige Rücksitz oder der beifahrerseitige Rücksitz besetzt ist. Gemäß einem Aspekt können die Sitzsensoren 801 auch die Haltung des Sitzinsassen bestimmen.
  • Die emotionale Klassifikation 803 des Insassen wird wie hier beschrieben z.B. unter Verwendung des neuronalen Netzes bestimmt.
  • Eine Audio-Steuereinrichtung 805 empfängt die Insassenpositionsdaten und die emotionale Klassifikation des Insassen. Die Audio-Steuereinrichtung 805 kann die individuelle Audioerfahrung 807 für den Insassen basierend auf der emotionalen Klassifikation und der Position des Insassen bestimmen. Die individuellen Audioerfahrungseinstellungen, die Stress reduzieren, können in dem Fahrzeug-Infotainmentsystem gespeichert sein. Wenn die emotionale Klassifikation z.B. von dem neuronalen Netzwerk eine Audioaktion in einem Versuch zum Zurückführen des Insassen zu einem ruhigen oder wachen Zustand auslöst, kann die Audio-Steuereinrichtung ein entsprechendes Audioereignis von der individuellen Audioerfahrung für die Ausgabe von den Lautsprechern 809 auslösen.
  • Ein Mikrofon 811 kann den Schall in der Fahrzeugkabine erfassen und ein Erfasster-Schall-Signal zu der Steuereinrichtung 805 geben. Die Steuereinrichtung 805 kann den erfassten Schall verwenden, um die Audioerfahrung für einen individuellen Insassen zu steuern. Die Steuereinrichtung 805 kann den erfassten Schall zu dem neuronalen Netz für die Verwendung beim Klassifizieren des emotionalen Zustands des Insassen senden.
  • Die individuelle Audioerfahrung 807 kann die Audioausgabe von den Lautsprechern einstellen, um die Audioausgabe an dem Sitz, auf dem der Insasse sitzt, zu zentrieren. Wenn sich nur der Fahrer im Fahrzeug befindet, kann die Audioausgabe an dem Fahrersitz zentriert werden. Gemäß einem Aspekt erfasst das System 800 die Insassenhaltung bei 801 und kann weiterhin die Position der Audioausgabe basierend auf der Sitzbesetzung und der Haltung des Insassen, der sich z.B. zu der Tür oder nach vorne zu der Mitte des Fahrzeugs lehnen kann, verfeinern. Gemäß einem Aspekt kann die individuelle Audioerfahrung auch das Gegenteil tun. Wenn das neuronale Netz bestimmt, dass der Insasse schläfrig ist, kann die Audioausgabe von der Zentrierung an dem schläfrigen Insassen zu verschiedenen Positionen in dem Fahrzeug in einem Versuch, den Insassen von einem schläfrigen Zustand zu einem aufmerksamen Zustand zu versetzen, ändern. Die Audio-Steuereinrichtung kann eine Audioerfahrung erzeugen, die das Zentrum der Audioausgabe von Sitz zu Sitz z.B. in einer Richtung im Uhrzeigersinn oder von dem Fahrersitz zu dem beifahrerseitigen Rücksitz dreht.
  • Die Lautsprecher 809 können einen in der Kopfstütze des Sitzes montierten Lautsprecher umfassen. Dieser am Sitz montierte Lautsprecher kann eine individuelle Audioausgabe im Wesentlichen nur für den Sitzinsassen vorsehen. Die individuelle Sitzaudioausgabe kann durch den klassifizierten emotionalen Zustand ausgelöst werden. Die Sitzaudioausgabe kann eine beliebige der hier beschriebenen Audioausgaben sein, die einen erregten Zustand oder einen Zustand mit einer erhöhten emotionalen Valenz zu einer annehmbaren Klassifikation reduziert.
  • Die Audio-Steuereinrichtung 805 kann z.B. durch das Mikrofon 811 auch erfassen, ob Insassen in dem Fahrzeug miteinander sprechen, und kann die Audioausgabe und z.B. das Volumen, die Zentrierung und die Klangeinstellung basierend auf der Konversation und der emotionalen Klassifikation der an der Konversation beteiligten Insassen steuern.
  • Das Audiosystem 800 des Fahrzeugs kann einen Algorithmus in der Steuereinrichtung 805 verwenden, um eine adaptive Echtzeit-Musik/Klang-Atmosphäre in der Fahrzeugkabine zu erzeugen. Die Klangfarbe, der Rhythmus, der harmonische Inhalt, die Stimmung und das Gefühl der Audioausgabe werden in Echtzeit erzeugt und durch Daten von der Vielzahl von Sensoren in dem Fahrzeug beeinflusst. Das Audiosystem fährt fort, einstellbare Audioparameter wie z.B. Ambiente, Schärfe, Rhythmus, Klangfarbe usw. vorzusehen und ergänzt diese durch Echtzeitentscheidungen basierend auf der erfassten Position und der emotionalen Klassifikation des Insassen.
  • Das System ist vorwiegend in dem Fahrzeugsitz vorgesehen, kann aber auch in Verbindung mit dem Sitz oder in dem umgebenden Fahrzeugraum oder eigenständig im Himmel, im Lenkrad/Armaturenbrett und/oder in einer B-Säule für vordere Reihen oder in der hinteren Ablage eines PKW vorgesehen sein.
  • Eine Emotionserkennung anhand von physiologischen Signalen wird von Forschern aus unterschiedlichen Fächern wie etwa dem Affective Computing, der Kognition und der Psychologie angestrebt. Die vorliegenden Systeme und Verfahren können einen emotionalen Zustand unter Verwendung von peripheren physiologischen Signalen klassifizieren, die in einem Fahrzeug basierend auf einer Erregung-Valenz-Bewertung unter Verwendung eines neuronalen Netzes in einem Fahrzeug erfasst werden. Beispiele für erfasste Signale sind Elektrokardiogrammsignale, Atmungsvolumensignale, Hauttemperatursignale und galvanische Hautreaktionssignale, wobei die vorliegende Erfindung jedoch nicht auf diese Signale beschränkt ist.
  • Das vorliegende System kann in einem autonomen Fahrzeug wie z.B. einem Auto der Stufe 1-2 verwendet werden, wobei das Fahrzeug den Ablenkungsgrad, die Ablenkungsbestimmung oder die Bestimmung eines abgelenkten Fahrers unter Verwendung von mehreren Sensoren nutzt, um einen angemessenen Zeitpunkt für das Wechseln von einem manuellen zu einem autonomen Fahren und umgekehrt zu bestimmen oder um bestimmte Stufen von Maßnahmen zu ergreifen.
  • Das System ist für alle Transportarten geeignet und kann über PKWs hinaus auf andere motorisierte Transportmittel ausgeweitet werden.
  • Die vorliegende Erfindung wird anhand einer Steuereinrichtung 102 beschrieben. Gemäß der vorliegenden Erfindung kann die Steuereinrichtung 102 mehrere Prozessoren, Speicher und elektronische Steuereinheiten umfassen, die unabhängig mit verschiedenen Systemen arbeiten können, um die hier beschriebenen Funktionen und Aufgaben zu erfüllen. Das Fahrzeug kann ein weiter verteiltes Steuersystem und nicht nur eine einzelne Steuereinrichtung verwenden, ohne dass deshalb der Erfindungsumfang verlassen wird. Die Steuereinrichtung 102 kann einen Schaltungsaufbau zum Verarbeiten von erfassten Signalen, die reale Bedingungen und Daten wiedergeben, umfassen.
  • Die vorliegende Erfindung sieht Systeme und Verfahren zum Berechnen des emotionalen Zustands und der Erregung eines Fahrzeuginsassen basierend auf erfassten biologischen Daten vor. Es können auch andere erfasste Daten für die Berechnung und für die Bestätigung des berechneten Ergebnisses verwendet werden. Die anderen erfassten Daten können Daten von der Innenkamera und aus dem Betrieb des Fahrzeugs wie z.B. eine Annäherung an oder eine Überschreitung von Linien auf der Straße oder ein übermäßiges Beschleunigen bzw. Bremsen sein.
  • Ein Beispiel für ein elektrodermales Potential kann ein Typ von Elektroenzephalographie (EEG) sein, das eine elektrophysiologische Überwachungsmethode für das Aufzeichnen der elektrischen Aktivität des Gehirns ist. Diese Methode ist gewöhnlich nicht-invasiv, wobei die Elektroden entlang des Schädels platziert werden. Es können jedoch auch invasive Elektroden für spezifische Anwendungen verwendet werden. Die EEG misst Spannungsfluktuationen, die aus dem lonenstrom innerhalb der Neuronen des Gehirns resultieren. In klinischen Kontexten wird die EEG für die Aufzeichnung der spontanen elektrischen Aktivität des Gehirns über die Zeit mittels mehrerer am Schädel platzierter Elektroden verwendet. Diagnostische Anwendungen konzentrieren sich allgemein auf den spektralen Inhalt der EEG, d.h. auf den Typ von neuronalen Oszillationen, die in EEG-Signalen beobachtet werden können.
  • Die Klassifikation des Insassen des Fahrzeugs kann verwendet werden, um Pegel des emotionalen Zustands des Insassen zu identifizieren. Der emotionale Zustand eines Fahrers des Fahrzeugs korreliert mit verschiedenen Fahrzuständen. Ein Beispiel für einen Fahrzustand ist ein schweres Gesundheitsproblem, das eine Ablenkung in einem Fahrzeug verursachen kann. Der emotionale Zustand eines Fahrers kann verschiedene Unfälle oder Vorfälle während des Fahrens verursachen. Indem der Zustand des Fahrzeuginsassen klassifiziert wird, kann das Fahrzeug verschiedene Gegenmaßnahmen ergreifen, um den Insassen aus einem unerwünschten Zustand zu einem wünschenswerten Zustand zu versetzen, wodurch das Fahrerlebnis verbessert werden kann. Die Gegenmaßnamen können Fahrzeugsysteme wie z.B. Video, Audio, Klimaanlage, Bremsen und Unfallvermeidung, Warnsysteme und Maschine-Mensch-Maßnahmen wie z.B. visuelle Effekte, Musik, gesprochene Warnungen verwenden, um den Insassen auf seinen Zustand aufmerksam zu machen oder den Zustand des Insassen zu ändern. Außerdem hilft das Überwachen und Klassifizieren des emotionalen Zustands dabei, eine bessere Lebensqualität und eine höhere Lebenserwartung zu fördern.
  • Die vorliegende Erfindung sieht eine Berechnungslogik in einem Prozessor für eine detaillierte Klassifikation der emotionalen Erregung/Valenz unter Verwendung von mehreren Sensoren und mehreren Schichten eines neuronalen Netzes vor, um ein Künstliche-Intelligenz-System zu schaffen, das eine kontinuierliche, immer genauere Überwachung durch die Sensoren im Fahrzeug ermöglicht. Dieses System kann ein maschinelles Lernen und ein Planen basierend auf dem Lernen verwenden, um die auf den Insassen ausgerichtete emotionale Intelligenz zu verbessern und eine immer präzisere Identifikation der Emotionen des Insassen vorzusehen, die dann durch sekundäre Systeme genutzt werden kann. Das System verwendet biometrische Roheingaben von z.B. dem zentralen Nervensystem, dem sympathetischen Nervensystem, dem parasympathetischen Nervensystem, biochemischen Reaktionen und/oder Kombinationen aus diesen. Das mehrschichtige neuronale Netz in dem Prozessor verarbeitet zu Beginn individuelle Eingaben und Metriken und gibt dann Informationen aus den einzelnen Messungen in einer anhand der Vertrauenswürdigkeit gewichteten Form aus, um den emotionalen Zustand des Insassen zu beurteilen. Wenn die Systemdatenbank anwächst, können die gespeicherten Informationen auf verschiedene Weise genutzt werden. Zum Beispiel können das Lernen und Planen des Systems verwendet werden, um die emotionale Klassifikation in Bezug auf Pakete von korrumpierten oder wenig vertrauenswürdigen Daten zu stabilisieren, sodass eine Änderung des emotionalen Zustands zeitlich mit der Fähigkeit des Körpers zu einer Zustandsänderung abgeglichen wird. Ein weiteres Beispiel ist die langfristige prädiktive Analyse, die Uhrzeit, Wochentag, Jahreszeit, Wetter und ähnliches mit der Wahrscheinlichkeit für einen emotionalen Zustand des Insassen unter diesen Bedingungen verknüpft, um präventive Gegenmaßnahmen vorzuschlagen. Außerdem können eine Analyse eines langfristigen Trends und einer kurzfristigen Variabilität genutzt werden, um für einen Insassen einen Indikator für Änderungen seines emotionalen Zustands (Stabilisierung oder Degeneration) zu geben.
  • Das hier beschriebene neuronale Netz verwendet mehrere erfasste Signale und eine Sensordatenfusion für das Klassifizieren des Zustands des Insassen und kann das Auftreten von falschen Ergebnissen vermindern. Die verbesserte Klassifikation kann eine verbesserte und individualisierte Klassifikation für den Insassen vorsehen, Gegenmaßnahmen auslösen und den Gesundheitszustand langfristig verfolgen. Die vorliegende Erfindung kann negative emotionale Zustände reduzieren, die sich während des Fahrens eines Fahrzeugs gefährlich auswirken können. Die korrekte emotionale Klassifikation kann die Nutzungserfahrung verbessern und sieht Daten vor, die Fahrzeughersteller für eine Verbesserung ihrer Produkte verwenden können.
  • Es wurden hier neuronale Netze als Systeme für das Berechnen oder Verarbeiten von Daten beschrieben, wobei aber auch andere Typen von Recheneinrichtungen verwendet werden können, um die erfassten Signale zu verarbeiten und mehrere erfasste Signale für eine Klassifikation des Fahrzeuginsassen zu fusionieren. Das Datenverarbeitungssystem kann ein Bayesianisches Netz, ein programmiertes System mit einer induktiven Logik oder ein regelbasiertes Lernsystem sein. Diese Systeme können in einer programmierbaren Logikanordnung oder einem anderen geeigneten Rechensystem enthalten sein.
  • Vorstehend wurden beispielhafte Ausführungsformen beschrieben, wobei die Erfindung jedoch nicht auf die hier beschriebenen Ausführungsformen der Erfindung beschränkt ist. Die Beschreibung ist beispielhaft und nicht einschränkend aufzufassen, wobei zu beachten ist, dass verschiedene Änderungen an den hier beschriebenen Ausführungsformen vorgenommen werden können, ohne dass deshalb der Erfindungsumfang verlassen wird. Außerdem können Merkmale verschiedener Ausführungsformen kombiniert werden, um weitere Ausführungsformen der Erfindung zu bilden.

Claims (20)

  1. Fahrzeugsystem, das umfasst: einen ersten Insassensensor zum Erfassen von Eigenschaften des zentralen Nervensystems eines Insassen, einen zweiten Insassensensor zum Erfassen von anderen nicht auf das zentrale Nervensystem bezogenen Eigenschaften des Insassen, und ein neuronales Netz, das die erfassten Eigenschaften des zentralen Nervensystems und die erfassten anderen nicht auf das zentrale Nervensystem bezogenen Eigenschaften empfängt, um einen Emotionale-Valenz-/Erregungspegel des Insassen zu berechnen.
  2. Fahrzeugsystem nach Anspruch 1, wobei der erste Insassensensor neuroelektrische Signale erfasst, wobei das neuronale Netz einen ersten Pfad für die Verarbeitung von neuroelektrischen Signalen enthält, wobei der zweite Insassensensor Nahinfrarotspektroskopiesignale erfasst und wobei das neuronale Netz einen zweiten Pfad für die Verarbeitung von Nahinfrarotspektroskopiesignalen enthält.
  3. Fahrzeugsystem nach Anspruch 2, wobei der erste Pfad eine Frequenzanalyse und eine Zeitanalyse der neuroelektrischen Signale durchführt.
  4. Fahrzeugsystem nach Anspruch 3, wobei der erste Pfad eine Vielzahl von ersten Knoten an einer kortikalen und regionalen Signalanalyseschicht enthält und wobei der zweite Pfad eine Vielzahl von zweiten Knoten an einer regionalen Aktivierungs-/Deaktivierungsschicht enthält.
  5. Fahrzeugsystem nach Anspruch 1, das weiterhin einen Sitz umfasst, der konfiguriert ist, um eine Person als einen Insassen aufzunehmen und in einem Fahrzeug montiert zu werden, wobei der erste Insassensensor einen kontaktlosen Elektrodermales-Potential-Sensor enthält, der in dem Sitz in Nachbarschaft zu dem Kopf des Insassen montiert ist.
  6. Fahrzeugsystem nach Anspruch 5, wobei der zweite Insassensensor ein im Sitz montierter kontaktloser Sensor ist.
  7. Fahrzeugsystem nach Anspruch 1, wobei das neuronale Netz bestimmen kann, ob der Emotionale-Valenz-/Erregungspegel des Insassen einen Schwellwert überschreitet, und ein Indikatorsignal ausgibt, wenn der Schwellwert überschritten wird, und weiterhin eine Fahrzeug-Insasse-Schnittstelle vorgesehen ist, die konfiguriert ist zum Empfangen des Indikatorsignals von dem neuronalen Netz und zum Ausgeben einer Indikatorbenachrichtigung in einer Fahrzeugkabine an den Insassen.
  8. Fahrzeugsystem nach Anspruch 7, wobei die Fahrzeug-Insasse-Schnittstelle ein neuronales Stimulationssignal von einem Emitter in dem Sitz ausgibt, um den Insassenzustand zu unterhalb des Schwellwerts zu reduzieren.
  9. Fahrzeugsystem nach Anspruch 7, wobei die Indikatorbenachrichtigung ein gespeichertes Audiosignal zum Beruhigen des Insassen zu unterhalb des Schwellwerts umfasst.
  10. Fahrzeugsystem nach Anspruch 7, wobei die Indikatorbenachrichtigung ein visuelles Bild an einem Display in der Fahrzeugkabine zum Beruhigen des Insassen zu unterhalb des Schwellwerts umfasst.
  11. Fahrzeugsystem nach Anspruch 7, wobei das neuronale Netz die erfassten nicht auf das zentrale Nervensystem bezogenen Eigenschaften des Insassen von dem zweiten Insassensensor mit gespeicherten nicht auf das zentrale Nervensystem bezogenen Eigenschaften des Insassen vergleicht, um zu bestimmen, ob der Insasse in einem nicht-ruhigen Zustand ist, und um, wenn ein nicht-ruhiger Zustand bestimmt wird, eine Insasseninterventionsaktion in der Fahrzeugkabine auszulösen.
  12. Fahrzeugsystem nach Anspruch 1, wobei der Fahrzeugsensor eine Innenkamera enthält, die in einer Fahrzeugkabine montiert und auf einen Sitz gerichtet ist, um den Insassen zu erfassen und dessen Gesichtsausdruck zu bestimmen.
  13. Fahrzeugsystem nach Anspruch 1, wobei der zweite Insassensensor einen kontaktlosen Sensor umfasst, der konfiguriert ist zum Erfassen eines sympathetischen Nervensignals, eines autonomen Nervensignals, eines parasympathetischen Nervensystemsignals und/oder von Kombinationen aus diesen.
  14. Fahrzeugsystem, das umfasst: einen ersten Insassensensor zum Erfassen von Eigenschaften des zentralen Nervensystems eines Fahrzeuginsassen, einen zweiten Fahrzeuginsassen zum Erfassen von anderen nicht auf das zentrale Nervensystem bezogenen Eigenschaften des Fahrzeuginsassen, ein neuronales Netz, das die erfassten Eigenschaften des zentralen Nervensystems und die anderen nicht auf das zentrale Nervensystem bezogenen Eigenschaften empfängt, einen Emotionale-Valenz-/Erregungspegel des Insassen berechnet und einen Stresspegel basierend auf dem Emotionale-Valenz-/Erregungspegel ausgibt, und ein Navigationssystem, das konfiguriert ist zum Planen einer Fahrtroute für ein Fahrzeug basierend auf einem historischen Stresspegel des Insassen für Abschnitte der Fahrtroute.
  15. Fahrzeugsystem nach Anspruch 14, wobei das Navigationssystem konfiguriert ist zum Empfangen von Kriminalitätsdaten, Unfalldaten und Insassenstressdaten für jeden Abschnitt, und wenn ein Abschnitt einen hohen Wert der Kriminalitäts-, Unfalls oder Stressdaten aufweist, zum Neuberechnen der Route unter Verwendung eines anderen Abschnitts mit einem niedrigen Wert oder einem Wert unterhalb eines Schwellwerts der Kriminalitäts-, Unfall- oder Stressdaten.
  16. Fahrzeugsystem nach Anspruch 15, wobei der erste Insassensensor neuroelektrische Signale erfasst, wobei das neuronale Netz einen ersten Pfad für das Verarbeiten von neuroelektrischen Signalen enthält, wobei der zweite Insassensensor Nahinfrarotspektroskopiesignale erfasst und wobei das neuronale Netz einen zweiten Pfad für das Verarbeiten von Nahinfrarotspektroskopiesignalen enthält.
  17. Fahrzeugsystem nach Anspruch 16, wobei der erste Pfad eine Frequenzanalyse und eine Zeitanalyse der neuroelektrischen Signale durchführt, wobei der erste Pfad eine Vielzahl von ersten Knoten an einer kortikalen und regionalen Signalanalyseschicht enthält und wobei der zweite Pfad eine Vielzahl von zweiten Knoten an einer regionalen Aktivierungs-/Deaktivierungsschicht enthält.
  18. Fahrzeugsystem nach Anspruch 17, wobei das Navigationssystem konfiguriert ist zum Empfangen von Echtzeit-Fahrbedingungen für jedes Segment der berechneten Route und zum Angeben einer wahrscheinlichen Auslösung von Stress durch die aktuellen Fahrbedingungen wie durch das neuronale Netz bestimmt.
  19. Fahrzeugsystem nach Anspruch 14, das weiterhin einen Sitz umfasst, der konfiguriert ist, um eine Person als einen Insassen aufzunehmen und in einem Fahrzeug montiert zu werden, wobei der erste Insassensensor einen kontaktlosen Elektrodermales-Potential-Sensor enthält, der in dem Sitz in Nachbarschaft zu dem Kopf des Insassen montiert ist.
  20. Fahrzeugsystem nach Anspruch 19, wobei der zweite Insassensensor ein in einem Sitz montierter kontaktloser Sensor ist und wobei das neuronale Netz die nicht auf das zentrale Nervensystem bezogenen Eigenschaften des Insassen von dem zweiten Insassensensor mit gespeicherten nicht auf das zentrale Nervensystem bezogenen Eigenschaften des Insassen vergleicht, um zu bestimmen, ob der Insasse in einem nicht-ruhigen Zustand ist, und um, wenn ein nicht-ruhiger Zustand bestimmt wird, eine Insasseninterventionsaktion in der Fahrzeugkabine auszulösen.
DE102019201695.2A 2018-04-26 2019-02-11 Biometriksensorfusion für die Klassifizierung des Zustands eines Fahrzeuginsassen Pending DE102019201695A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/963,697 2018-04-26
US15/963,697 US10867218B2 (en) 2018-04-26 2018-04-26 Biometric sensor fusion to classify vehicle passenger state

Publications (1)

Publication Number Publication Date
DE102019201695A1 true DE102019201695A1 (de) 2019-10-31

Family

ID=68205691

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102019201695.2A Pending DE102019201695A1 (de) 2018-04-26 2019-02-11 Biometriksensorfusion für die Klassifizierung des Zustands eines Fahrzeuginsassen

Country Status (3)

Country Link
US (1) US10867218B2 (de)
CN (1) CN110422174A (de)
DE (1) DE102019201695A1 (de)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111947644A (zh) * 2020-08-10 2020-11-17 北京洛必德科技有限公司 一种室外移动机器人定位方法、系统及其电子设备
DE102019133614A1 (de) * 2019-12-10 2021-06-10 Bayerische Motoren Werke Aktiengesellschaft Verfahren für ein digitales Assistenzsystem eines Fahrzeugs, Vorrichtung zum Betreiben eines digitalen Assistenzsystems, Computerprogramm, und computerlesbares Speichermedium
DE102020105552A1 (de) 2020-03-02 2021-09-02 Bayerische Motoren Werke Aktiengesellschaft System für ein Fahrzeug und Verfahren zum automatisierten Fahren
DE102020207845A1 (de) 2020-04-09 2021-10-14 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung eingetragener Verein Verfahren und System zur Bestimmung eines EKG-Signals
DE102020119908A1 (de) 2020-07-28 2022-02-03 Bayerische Motoren Werke Aktiengesellschaft Verfahren und System zum Labeln von Sensordaten zur Verwendung beim Machine Learning
WO2022238169A1 (de) * 2021-05-08 2022-11-17 Bayerische Motoren Werke Aktiengesellschaft Verfahren, vorrichtung, computerprogramm und computerlesbares speichermedium zur automatisierten erzeugung einer nachricht in einem fahrzeug
DE102021119126A1 (de) 2021-07-23 2023-01-26 Dr. Ing. H.C. F. Porsche Aktiengesellschaft Fahrzeug mit einer Einrichtung zur Stimulation eines Gemütszustands eines Fahrzeuginsassen mittels binauraler Beats
DE102021131040A1 (de) 2021-11-26 2023-06-01 Audi Aktiengesellschaft Verfahren zur zumindest teilautomatisierten Führung eines Kraftfahrzeugs und Kraftfahrzeug

Families Citing this family (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10836403B2 (en) 2017-12-04 2020-11-17 Lear Corporation Distractedness sensing system
US11052223B2 (en) 2017-12-21 2021-07-06 Lear Corporation Seat assembly and method
CN110633593A (zh) * 2018-06-21 2019-12-31 北京嘀嘀无限科技发展有限公司 一种恶性事件预测方法及系统
JP7465484B2 (ja) * 2018-09-30 2024-04-11 ストロング フォース ティーピー ポートフォリオ ２０２２，エルエルシー 高機能輸送システム
US11486721B2 (en) 2018-09-30 2022-11-01 Strong Force Intellectual Capital, Llc Intelligent transportation systems
EP3666596B1 (de) * 2018-12-11 2021-04-28 e.solutions GmbH Verfahren zur identifizierung von passagierspezifischen einstellungen und fahrzeug zur durchführung des verfahrens zur identifizierung von passagierspezifischen einstellungen
US11422551B2 (en) * 2018-12-27 2022-08-23 Intel Corporation Technologies for providing a cognitive capacity test for autonomous driving
US11215470B2 (en) * 2019-01-10 2022-01-04 Verizon Patent And Licensing Inc. Contextual route navigation systems
US11072344B2 (en) * 2019-03-18 2021-07-27 The Regents Of The University Of Michigan Exploiting acoustic and lexical properties of phonemes to recognize valence from speech
US11105645B2 (en) * 2019-05-28 2021-08-31 Glazberg, Applebaum & co. Navigation in vehicles and in autonomous cars
US20200387603A1 (en) * 2019-06-04 2020-12-10 International Business Machines Corporation Device protection based on prediction and contextual analysis
US11044566B2 (en) * 2019-06-11 2021-06-22 Ford Global Technologies, Llc Vehicle external speaker system
KR102631160B1 (ko) * 2019-07-11 2024-01-30 엘지전자 주식회사 차량 탑승자 상태 감지방법 및 차량 탑승자 상태 감지장치
US11524691B2 (en) 2019-07-29 2022-12-13 Lear Corporation System and method for controlling an interior environmental condition in a vehicle
US11500470B2 (en) * 2019-12-23 2022-11-15 Robert Bosch Gmbh System and method of vehicle aware gesture recognition in vehicles with smart helmets
JP7279656B2 (ja) * 2020-02-06 2023-05-23 トヨタ自動車株式会社 情報処理装置、システム、及び、情報処理方法
US11059490B1 (en) 2020-03-17 2021-07-13 Lear Corporation Seat system
WO2021203020A1 (en) * 2020-04-03 2021-10-07 Easyg Llc System and methods for contactless monitoring of heart muscle activity and identifying medical conditions based on biopotential signals
AU2021201505A1 (en) * 2020-04-24 2021-11-11 Gregory Commercial Furniture Pty Limited A smart chair
US11292371B2 (en) 2020-05-13 2022-04-05 Lear Corporation Seat assembly
US11590873B2 (en) 2020-05-13 2023-02-28 Lear Corporation Seat assembly
US11173818B1 (en) 2020-05-13 2021-11-16 Lear Corporation Seat assembly
US11634055B2 (en) 2020-05-13 2023-04-25 Lear Corporation Seat assembly
CN113296432A (zh) * 2020-06-03 2021-08-24 史秋虹 用于新能源汽车的驾驶习惯大数据分析系统
US11918359B2 (en) * 2020-06-17 2024-03-05 Lear Corporation System and method for deep analytics and strategic monetization of biomedical sensor data
US11501501B1 (en) * 2020-06-26 2022-11-15 Gresham Smith Biometric feedback system
CN111797755A (zh) * 2020-06-30 2020-10-20 东风汽车有限公司 一种汽车乘员情绪识别方法及电子设备
IT202000016252A1 (it) * 2020-07-06 2022-01-06 Devices & Tech Torino S R L Sistema di valutazione dell’incidenza territoriale di sintomatologie
JP7235416B2 (ja) * 2020-07-10 2023-03-08 トヨタ自動車株式会社 車両の生体認証システム
CN111839508A (zh) * 2020-07-30 2020-10-30 陕西科技大学 基于精神状态检测与控制的车辆安全驾驶系统
US20220087540A1 (en) * 2020-09-21 2022-03-24 Toyota Motor Engineering & Manufacturing North America, Inc. Systems and methods for remote vital sign monitoring in a vehicle
KR20220060137A (ko) * 2020-11-04 2022-05-11 현대자동차주식회사 차량 및 그 제어방법
US11679706B2 (en) 2020-12-02 2023-06-20 Lear Corporation Seat assembly
US20220176778A1 (en) * 2020-12-07 2022-06-09 Lear Corporation Adaptive and predictive climate control system using infrared image-based imaging
CN112464018A (zh) * 2020-12-10 2021-03-09 山西慧虎健康科技有限公司 一种智能情绪识别调节方法及系统
FI129297B (fi) * 2021-02-19 2021-11-15 Taipale Telematics Oy Laite, menetelmä ja tietokoneohjelma ajoneuvon kuljettajan ajotavan määrittämiseksi
CN113143274B (zh) * 2021-03-31 2023-11-10 中国科学院心理研究所 基于摄像头的情绪预警方法
US11556175B2 (en) 2021-04-19 2023-01-17 Toyota Motor Engineering & Manufacturing North America, Inc. Hands-free vehicle sensing and applications as well as supervised driving system using brainwave activity
US20220357172A1 (en) * 2021-05-04 2022-11-10 At&T Intellectual Property I, L.P. Sentiment-based navigation
CN113306561B (zh) * 2021-06-22 2022-07-12 宁波小遛共享信息科技有限公司 车辆事故防控方法、装置及终端设备

Family Cites Families (91)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5694939A (en) * 1995-10-03 1997-12-09 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration Autogenic-feedback training exercise (AFTE) method and system
US5807114A (en) * 1996-03-27 1998-09-15 Emory University And Georgia Tech Research Corporation System for treating patients with anxiety disorders
US6438399B1 (en) * 1999-02-16 2002-08-20 The Children's Hospital Of Philadelphia Multi-wavelength frequency domain near-infrared cerebral oximeter
US6366207B1 (en) 2000-02-04 2002-04-02 Michael Murphy Device for modifying vehicle operator driving behavior
DE10126224A1 (de) 2001-05-30 2002-12-12 Bosch Gmbh Robert Verfahren und Vorrichtung zur Charakterisierung des Zustandes des Fahrers eines Kraftfahrzeuges
KR20080096855A (ko) 2001-06-13 2008-11-03 컴퓨메딕스 리미티드 의식 상태를 모니터링하기 위한 방법 및 장치
NL1019989C2 (nl) 2002-02-18 2003-08-19 Tno Werkwijze ter preventie van bewegingsziekte, alsmede inrichting voor het detecteren en signaleren van potentieel ziekmakende bewegingen.
US7138922B2 (en) 2003-03-18 2006-11-21 Ford Global Technologies, Llc Drowsy driver monitoring and prevention system
US7722526B2 (en) 2004-07-16 2010-05-25 Samuel Kim System, method and apparatus for preventing motion sickness
FR2880166B1 (fr) 2004-12-24 2008-10-31 Renault Sas Procede et dispositif d'aide a la conduite par alerte en cas de situation d'urgence pour un vehicule automobile
US8214183B2 (en) * 2005-07-25 2012-07-03 Airbus Process and system of modeling of an interface between a user and his environment aboard a vehicle
ITBO20060089A1 (it) 2006-02-10 2007-08-11 Ferrari Spa Metodo di controllo di un veicolo per adattare il comportamento dinamico del veicolo stesso allo stato psico-fisico del guidatore.
US8031062B2 (en) 2008-01-04 2011-10-04 Smith Alexander E Method and apparatus to improve vehicle situational awareness at intersections
JP4727688B2 (ja) * 2008-04-23 2011-07-20 トヨタ自動車株式会社 覚醒度推定装置
US8448230B2 (en) 2008-08-22 2013-05-21 International Business Machines Corporation System and method for real world biometric analytics through the use of a multimodal biometric analytic wallet
US20180197636A1 (en) 2009-03-10 2018-07-12 Gearbox Llc Computational Systems and Methods for Health Services Planning and Matching
US9095303B2 (en) * 2009-03-23 2015-08-04 Flint Hills Scientific, Llc System and apparatus for early detection, prevention, containment or abatement of spread abnormal brain activity
JP2010241963A (ja) 2009-04-06 2010-10-28 Midori Hokuyo Kk 防汚性付与皮革
CN102469949B (zh) 2009-07-13 2014-06-25 皇家飞利浦电子股份有限公司 运动人为噪声减少的电生理学测量
US9460601B2 (en) 2009-09-20 2016-10-04 Tibet MIMAR Driver distraction and drowsiness warning and sleepiness reduction for accident avoidance
DE202009013768U1 (de) 2009-10-09 2011-02-24 Pichler, Christian Sitz- oder Liegevorrichtung mit integrierter Schaltung zur Magnetfeldtherapie
US10136850B2 (en) 2009-10-14 2018-11-27 Delta Tooling Co., Ltd. Biological state estimation device, biological state estimation system, and computer program
US9298985B2 (en) 2011-05-16 2016-03-29 Wesley W. O. Krueger Physiological biosensor system and method for controlling a vehicle or powered equipment
US10997526B2 (en) 2010-07-02 2021-05-04 United States Of America As Represented By The Administrator Of Nasa System and method for human operator and machine integration
US8364395B2 (en) * 2010-12-14 2013-01-29 International Business Machines Corporation Human emotion metrics for navigation plans and maps
US8698639B2 (en) 2011-02-18 2014-04-15 Honda Motor Co., Ltd. System and method for responding to driver behavior
US9292471B2 (en) 2011-02-18 2016-03-22 Honda Motor Co., Ltd. Coordinated vehicle response system and method for driver behavior
KR101372120B1 (ko) 2011-06-23 2014-03-07 현대자동차주식회사 차량 운전자의 생체정보 획득 장치 및 그 방법
KR101901417B1 (ko) * 2011-08-29 2018-09-27 한국전자통신연구원 감성기반 안전운전 자동차 서비스 시스템, 안전운전 서비스를 위한 감성인지 처리 장치 및 안전운전 서비스 장치, 감성기반 차량용 안전운전 서비스 방법
US9124955B2 (en) 2011-09-19 2015-09-01 Card Guard Scientific Survival Ltd. Vehicle driver monitor and a method for monitoring a driver
DE102012002037B4 (de) 2012-02-03 2015-03-05 automation & software Günther Tausch GmbH Vorrichtung zur Durchführung von Fahrerzustandsanalysen
US20130204153A1 (en) * 2012-02-06 2013-08-08 Emily Ruth Buzhardt Generating an alarm based on brain wave patterns of a user
US20130325202A1 (en) 2012-06-01 2013-12-05 GM Global Technology Operations LLC Neuro-cognitive driver state processing
US20150245777A1 (en) * 2012-10-19 2015-09-03 Basis Science, Inc. Detection of emotional states
US9235198B2 (en) 2012-10-25 2016-01-12 International Business Machines Corporation System and method for using biometrics to predict and select music preferences
KR102011495B1 (ko) 2012-11-09 2019-08-16 삼성전자 주식회사 사용자의 심리 상태 판단 장치 및 방법
US9014811B2 (en) 2013-06-29 2015-04-21 Thync, Inc. Transdermal electrical stimulation methods for modifying or inducing cognitive state
WO2014082064A1 (en) 2012-11-26 2014-05-30 Thync, Inc. Wearable transdermal electrical stimulation devices and methods of using them
DE112013005660T5 (de) 2012-11-27 2015-08-20 Faurecia Automotive Seating, Llc Fahrzeugsitz mit integrierten Sensoren
US9149236B2 (en) 2013-02-04 2015-10-06 Intel Corporation Assessment and management of emotional state of a vehicle operator
US20150379362A1 (en) 2013-02-21 2015-12-31 Iee International Electronics & Engineering S.A. Imaging device based occupant monitoring system supporting multiple functions
US9751534B2 (en) * 2013-03-15 2017-09-05 Honda Motor Co., Ltd. System and method for responding to driver state
US9272689B2 (en) 2013-04-06 2016-03-01 Honda Motor Co., Ltd. System and method for biometric identification in a vehicle
KR101526672B1 (ko) 2013-07-24 2015-06-05 현대자동차주식회사 졸음 상태 판별 장치 및 방법
AT513204B1 (de) 2013-11-13 2015-06-15 Avl List Gmbh Verfahren zur Modifizierung eines Fahrsimulators
US9454887B1 (en) * 2013-11-19 2016-09-27 Mustafa Q. Matalgah Doze alert
CN106068097B (zh) * 2014-02-20 2020-09-29 佛吉亚汽车座椅有限责任公司 整合有传感器的车辆座椅
US10692370B2 (en) 2014-03-03 2020-06-23 Inrix, Inc. Traffic obstruction detection
US9135803B1 (en) 2014-04-17 2015-09-15 State Farm Mutual Automobile Insurance Company Advanced vehicle operator intelligence system
CN106687026A (zh) * 2014-05-12 2017-05-17 汽车技术国际公司 驾驶员健康以及疲劳监控系统和方法
KR101659027B1 (ko) 2014-05-15 2016-09-23 엘지전자 주식회사 이동 단말기 및 차량 제어 장치
WO2015182077A1 (ja) 2014-05-27 2015-12-03 日本電気株式会社 感情推定装置、感情推定方法及び感情推定プログラムを記憶する記録媒体
US9539944B2 (en) 2014-06-11 2017-01-10 GM Global Technology Operations LLC Systems and methods of improving driver experience
US9536411B2 (en) 2014-08-07 2017-01-03 Toyota Motor Engineering & Manufacturing North America, Inc. Biometric monitoring and alerting for a vehicle
US9302584B2 (en) 2014-08-25 2016-04-05 Verizon Patent And Licensing Inc. Drowsy driver prevention systems and methods
US9771081B2 (en) 2014-09-29 2017-09-26 The Boeing Company System for fatigue detection using a suite of physiological measurement devices
US9934697B2 (en) 2014-11-06 2018-04-03 Microsoft Technology Licensing, Llc Modular wearable device for conveying affective state
CN107106050B (zh) 2014-12-18 2021-02-26 皇家飞利浦有限公司 用于慢波睡眠检测的系统和方法
US10425459B2 (en) * 2015-03-27 2019-09-24 Intel Corporation Technologies for a seamless data streaming experience
US9858794B2 (en) 2015-03-30 2018-01-02 International Business Machines Corporation Detecting and notifying of various potential hazards
KR102380432B1 (ko) * 2015-06-03 2022-04-01 클리어모션, 아이엔씨. 차체 모션 및 승객 경험을 제어하기 위한 방법 및 시스템
US10136856B2 (en) * 2016-06-27 2018-11-27 Facense Ltd. Wearable respiration measurements system
US10989704B2 (en) 2015-06-24 2021-04-27 Koninklijke Philips N.V. Sweat monitoring apparatus and monitoring method
US20160378112A1 (en) * 2015-06-26 2016-12-29 Intel Corporation Autonomous vehicle safety systems and methods
JP6421714B2 (ja) 2015-07-13 2018-11-14 株式会社デンソー 車両制御装置
US9463794B1 (en) 2015-09-04 2016-10-11 Google Inc. Stop sign detection and response
TWI571398B (zh) 2015-09-16 2017-02-21 國立交通大學 睡意檢測提醒裝置及其方法
JP6436030B2 (ja) * 2015-09-17 2018-12-12 トヨタ自動車株式会社 ライフログ記録システム
US10054443B1 (en) * 2015-11-05 2018-08-21 National Technology & Engineering Solutions Of Sandia, Llc Journey analysis system and method
US9712736B2 (en) * 2015-12-15 2017-07-18 Intel Coprporation Electroencephalography (EEG) camera control
US10485471B2 (en) 2016-01-07 2019-11-26 The Trustees Of Dartmouth College System and method for identifying ictal states in a patient
US9776563B1 (en) * 2016-03-21 2017-10-03 Ford Global Technologies, Llc Geofencing application for driver convenience
WO2017165231A1 (en) * 2016-03-22 2017-09-28 Magic Leap, Inc. Head mounted display system configured to exchange biometric information
WO2017189748A1 (en) * 2016-04-29 2017-11-02 Freer Logic, Inc. Non-contact body and head-based monitoring of brain electrical activity
US9921726B1 (en) * 2016-06-03 2018-03-20 Steelcase Inc. Smart workstation method and system
US11462301B2 (en) 2016-06-07 2022-10-04 BlyncSync Technologies, LLC System and method for fleet driver biometric tracking
US9956963B2 (en) * 2016-06-08 2018-05-01 GM Global Technology Operations LLC Apparatus for assessing, predicting, and responding to driver fatigue and drowsiness levels
JP6665696B2 (ja) 2016-06-09 2020-03-13 株式会社デンソー 車載装置
KR20180001367A (ko) 2016-06-27 2018-01-04 현대자동차주식회사 운전자의 생체 신호를 기반으로 하는 운전자의 상태 판별 장치 및 방법
US9945679B2 (en) * 2016-06-27 2018-04-17 International Business Machines Corporation Personalized travel routes to reduce stress
US10694946B2 (en) 2016-07-05 2020-06-30 Freer Logic, Inc. Dual EEG non-contact monitor with personal EEG monitor for concurrent brain monitoring and communication
WO2018094284A1 (en) 2016-11-18 2018-05-24 Child Mind Institute, Inc. Thermal sensor position detecting device
US10721363B2 (en) * 2017-02-09 2020-07-21 Sony Corporation System and method for controlling notifications in an electronic device according to user status
US10696249B2 (en) 2017-02-10 2020-06-30 Koninklijke Philips N.V. Automatic car setting adjustments by identifying driver with health watch wearable or in-car sensors
US11334070B2 (en) * 2017-08-10 2022-05-17 Patroness, LLC Systems and methods for predictions of state of objects for a motorized mobile system
US11042784B2 (en) * 2017-09-15 2021-06-22 M37 Inc. Machine learning system and method for determining or inferring user action and intent based on screen image analysis
US10379535B2 (en) 2017-10-24 2019-08-13 Lear Corporation Drowsiness sensing system
US20190133511A1 (en) 2017-11-09 2019-05-09 Lear Corporation Occupant motion sickness sensing
US10836403B2 (en) 2017-12-04 2020-11-17 Lear Corporation Distractedness sensing system
US11465631B2 (en) * 2017-12-08 2022-10-11 Tesla, Inc. Personalization system and method for a vehicle based on spatial locations of occupants' body portions
US10210409B1 (en) 2018-02-07 2019-02-19 Lear Corporation Seating system with occupant stimulation and sensing

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102019133614A1 (de) * 2019-12-10 2021-06-10 Bayerische Motoren Werke Aktiengesellschaft Verfahren für ein digitales Assistenzsystem eines Fahrzeugs, Vorrichtung zum Betreiben eines digitalen Assistenzsystems, Computerprogramm, und computerlesbares Speichermedium
DE102020105552A1 (de) 2020-03-02 2021-09-02 Bayerische Motoren Werke Aktiengesellschaft System für ein Fahrzeug und Verfahren zum automatisierten Fahren
DE102020207845A1 (de) 2020-04-09 2021-10-14 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung eingetragener Verein Verfahren und System zur Bestimmung eines EKG-Signals
WO2021204939A1 (de) 2020-04-09 2021-10-14 Fraunhofer Gesellschaft zur Förderung der angewandten Forschung e.V. Verfahren und anordnung zur erzeugung eines ekg-signals
DE102020119908A1 (de) 2020-07-28 2022-02-03 Bayerische Motoren Werke Aktiengesellschaft Verfahren und System zum Labeln von Sensordaten zur Verwendung beim Machine Learning
CN111947644A (zh) * 2020-08-10 2020-11-17 北京洛必德科技有限公司 一种室外移动机器人定位方法、系统及其电子设备
WO2022238169A1 (de) * 2021-05-08 2022-11-17 Bayerische Motoren Werke Aktiengesellschaft Verfahren, vorrichtung, computerprogramm und computerlesbares speichermedium zur automatisierten erzeugung einer nachricht in einem fahrzeug
DE102021119126A1 (de) 2021-07-23 2023-01-26 Dr. Ing. H.C. F. Porsche Aktiengesellschaft Fahrzeug mit einer Einrichtung zur Stimulation eines Gemütszustands eines Fahrzeuginsassen mittels binauraler Beats
DE102021131040A1 (de) 2021-11-26 2023-06-01 Audi Aktiengesellschaft Verfahren zur zumindest teilautomatisierten Führung eines Kraftfahrzeugs und Kraftfahrzeug
DE102021131040B4 (de) 2021-11-26 2024-01-11 Audi Aktiengesellschaft Verfahren zur zumindest teilautomatisierten Führung eines Kraftfahrzeugs und Kraftfahrzeug

Also Published As

Publication number Publication date
US20190332902A1 (en) 2019-10-31
CN110422174A (zh) 2019-11-08
US10867218B2 (en) 2020-12-15

Similar Documents

Publication Publication Date Title
DE102019201695A1 (de) Biometriksensorfusion für die Klassifizierung des Zustands eines Fahrzeuginsassen
DE102019200412A1 (de) Sitzsystem mit einer Erfassung und Stimulation eines Insassen
DE102018207069B4 (de) Verfahren und Steuereinheit zum Betreiben eines autonomen Fahrzeugs
DE19983911B4 (de) Wachsamkeitsüberwachungssystem
DE102018220286A1 (de) Ablenkungserfassungssystem
DE102012002037B4 (de) Vorrichtung zur Durchführung von Fahrerzustandsanalysen
EP2316340B1 (de) Signalerfassungsvorrichtung zur Erfassung eines Differenzsignals für eine elektrische Messung eines Vitalparameters eines Lebewesens und Verfahren
DE102015105581A1 (de) System und Verfahren zur Überwachung des Gesundheitszustandes und/oder des Befindens eines Fahrzeuginsassen
WO2020229389A1 (de) Verfahren zur prädiktion und verringerung kinetosebedingter störungen
DE102020207522A1 (de) Sitzsystem und steuerverfahren
DE102016207447A1 (de) Verfahren zur Insassenassistenz für ein Fahrzeug und Vorrichtung hierfür
DE112020001197T5 (de) Fahrzeugleitsystem
DE102020202388A1 (de) Verfahren zum Einstellen einer Signalvorrichtung zur Ausgabe von Signalen an einen Fahrer und ein System
DE102006016716A1 (de) Feedbacktraining im Fahrzeug
DE102020127613A1 (de) Vorrichtung und Verfahren zum Erzeugen eines Fahrer-Erfahrungs-Fahrmodells mittels Fehlerüberwachung
DE102021108656A1 (de) Sicherheitssystem eines Fahrzeugs
Lei Driver mental states monitoring based on brain signals
DE102016210014B4 (de) Überwachungsvorrichtung, Fahrzeugsteuervorrichtung und Überwachungsverfahren
DE102020213503A1 (de) Vorrichtung und verfahren zur bilderzeugung mittels hirnstromwellen
DE102019208970A1 (de) Steuergerät zum Einsatz in einem Kraftfahrzeug
DE102020116885A1 (de) Fahrzeugsteuerverfahren und -vorrichtung mit verwendung einer fehlerüberwachung
DE102018127105A1 (de) Verfahren und Vorrichtung zur Beeinflussung eines Gemütszustands eines Benutzers eines Fahrzeuges
DE102020212928A1 (de) Vorrichtung und verfahren zur steuerung einer notfahrsituation mithilfe von gehirnwellen
DE102019208979A1 (de) Steuergerät zum Einsatz in einem Kraftfahrzeug
DE102019208992A1 (de) Steuergerät zum Einsatz in einem Kraftfahrzeug

Legal Events

Date Code Title Description
R012 Request for examination validly filed