DE102019118183A1

DE102019118183A1 - Information system and process

Info

Publication number: DE102019118183A1
Application number: DE102019118183.6A
Authority: DE
Inventors: Christian Süss; Muriel Lang; Laith Alkurdi
Original assignee: Bayerische Motoren Werke AG
Current assignee: Bayerische Motoren Werke AG
Priority date: 2019-07-05
Filing date: 2019-07-05
Publication date: 2021-01-07

Abstract

Die vorliegende Offenbarung betrifft ein Verfahren zur Information eines oder mehrerer Nutzer eines Fahrzeugs. Das Verfahren umfasst: Erfassen, für jeden der ein oder mehreren Nutzer, eines oder mehrerer Zustandsparameter, die einen Zustand des jeweiligen Nutzers kennzeichnen; Ermitteln, für jeden der ein oder mehreren Nutzer, eines Zustands des jeweiligen Nutzers basierend auf den ermittelten ein oder mehreren Zustandsparametern; Ermitteln, für jeden der ein oder mehreren Nutzer, einer jeweiligen Abweichung des ermittelten jeweiligen Zustands von einem Normalzustand; Ermitteln von ein oder mehreren Betriebsparametern, die einen Betrieb des Fahrzeugs kennzeichnen; Ermitteln, basierend auf den ermittelten ein oder mehreren Betriebsparametern und auf den ermittelten ein oder mehreren Abweichungen, ob eine Information an die ein oder mehreren Nutzer ausgegeben werden soll; und falls eine Information ausgegeben werden soll: Ermitteln der auszugebenden Information basierend auf den ermittelten ein oder mehreren Betriebsparametern und auf den ermittelten ein oder mehreren Abweichungen; und Ausgeben der auszugebenden Information an die ein oder mehreren Nutzer. Die vorliegende Offenbarung betrifft weiter ein System zur Information eines oder mehrerer Nutzer eines Fahrzeugs. Das System umfasst ein Steuergerät und/oder ein oder mehrere Back-End Komponenten, wobei das Steuergerät und/oder die ein oder mehreren Back-End Komponenten konfiguriert sind, das erfindungsgemäße Verfahren auszuführen. Die vorliegende Offenbarung betrifft weiter ein Fahrzeug umfassend das Steuergerät.The present disclosure relates to a method for informing one or more users of a vehicle. The method comprises: recording, for each of the one or more users, one or more status parameters which characterize a status of the respective user; Determining, for each of the one or more users, a status of the respective user based on the determined one or more status parameters; Determining, for each of the one or more users, a respective deviation of the determined respective state from a normal state; Determining one or more operating parameters that characterize operation of the vehicle; Determining, based on the determined one or more operating parameters and on the determined one or more deviations, whether information is to be output to the one or more users; and if information is to be output: determining the information to be output based on the determined one or more operating parameters and on the determined one or more deviations; and outputting the information to be output to the one or more users. The present disclosure further relates to a system for informing one or more users of a vehicle. The system comprises a control device and / or one or more back-end components, the control device and / or the one or more back-end components being configured to carry out the method according to the invention. The present disclosure further relates to a vehicle comprising the control device.

Description

Die Offenbarung betrifft ein System und Verfahren zur Information von Nutzern eines Fahrzeugs. Die Offenbarung betrifft insbesondere ein System und Verfahren zur beruhigenden Information von Nutzern eines Fahrzeugs, einschließlich Insassen automatisierter bzw. autonomer Kraftfahrzeuge.The disclosure relates to a system and method for informing users of a vehicle. The disclosure relates in particular to a system and method for reassuring information for users of a vehicle, including occupants of automated or autonomous motor vehicles.

Stand der TechnikState of the art

Im Stand der Technik sind verschiedene Systeme bekannt, mit denen der Fahrer eines Fahrzeugs erfasst werden kann. Dabei werden typischerweise verschiedene Sensoren eingesetzt, beispielsweise Kameras oder Mikrofone, um den Fahrer oder dessen Verhalten, beispielsweise eine Bedienung des Fahrzeugs durch den Fahrer, zu erfassen. Weiter können Sensoren eingesetzt werden, die eine physiologische Eigenschaft des Fahrers erfassen, beispielsweise eine Körpertemperatur oder Herzrate.Various systems with which the driver of a vehicle can be detected are known in the prior art. Different sensors are typically used, for example cameras or microphones, in order to record the driver or his behavior, for example operation of the vehicle by the driver. Furthermore, sensors can be used which detect a physiological property of the driver, for example a body temperature or heart rate.

Darüber hinaus können spezielle Systeme ein oder mehrere der folgenden erfassen: eine Blickrichtung des Fahrers, Objekte in einer Umgebung um das Fahrzeug, oder eine Bereitschaft oder Fähigkeit des Fahrers, die Kontrolle über das Fahrzeug zu übernehmen. Zudem gibt es Anzeigesysteme, die mittels Projektion eine Anzeige im Sichtfeld des Fahrers ermöglichen (z.B. sog. „Head-Up“ Displays).In addition, special systems can detect one or more of the following: a direction in which the driver is looking, objects in an environment around the vehicle, or a willingness or ability of the driver to take control of the vehicle. There are also display systems that allow a display in the driver's field of vision by means of projection (e.g. so-called "head-up" displays).

Die Erfassung von fahrerbezogenen Daten kann dazu eingesetzt werden, einen Gemütszustand des Fahrers zu ermitteln und gegebenenfalls zu beeinflussen.The acquisition of driver-related data can be used to determine a state of mind of the driver and, if necessary, to influence it.

Die Druckschrift U.S. 2010/0134302 A1 beschreibt ein System und ein Verfahren zum Steuern der Emotion eines Autofahrers. Das System umfasst eine Erfassungseinheit, eine Steuereinheit und eine Emotionssteuereinheit. Die Erkennungseinheit erfasst Emotionsinformationen, einschließlich der Stimme, des Ausdrucks, der Geste, der Herzfrequenz und der Körpertemperatur des Autofahrers. Die Steuereinheit vergleicht die erfasste Emotionsinformation mit einer zuvor gespeicherten Referenz-Emotionsinformation des Autofahrers, um zu bestimmen, ob die Emotion des Autofahrers gesteuert werden soll, und gibt ein Steuersignal zur Steuerung der Emotion des Autofahrers gemäß einem Bestimmungsergebnis aus. Die Emotionssteuereinheit steuert die Emotion des Autofahrers gemäß dem Steuersignal der Steuereinheit.The pamphlet US 2010/0134302 A1 describes a system and method for controlling a driver's emotion. The system comprises a detection unit, a control unit and an emotion control unit. The recognition unit captures emotion information including the driver's voice, expression, gesture, heart rate, and body temperature. The control unit compares the detected emotion information with previously stored reference emotion information of the car driver to determine whether to control the emotion of the car driver, and outputs a control signal for controlling the emotion of the car driver according to a determination result. The emotion control unit controls the driver's emotion according to the control signal from the control unit.

Die Druckschrift U.S. 2018/061415 A1 beschreibt Verfahren und Systeme zum Bestimmen einer Emotion eines menschlichen Fahrers eines Fahrzeugs und zum Verwenden der Emotion zum Erzeugen einer Fahrzeugreaktion. Das Verfahren umfasst das Erfassen eines Gesichts des menschlichen Fahrers durch eine Kamera des Fahrzeugs. Die Erfassung ist so konfiguriert, dass sie eine Vielzahl von Bildern über einen Zeitraum erfasst, und die Vielzahl von Bildern analysiert wird, um einen Gesichtsausdruck und Änderungen des Gesichtsausdrucks des menschlichen Fahrers über den Zeitraum zu identifizieren. Das Verfahren umfasst ferner das Erfassen einer Spracheingabe des menschlichen Fahrers durch ein Mikrofon des Fahrzeugs. Die Spracheingabe wird über den Zeitraum erfasst. Die Spracheingabe wird analysiert, um ein Sprachprofil und Änderungen des Sprachprofils des menschlichen Fahrers über die Zeitdauer zu identifizieren. Das Verfahren verarbeitet durch einen Prozessor des Fahrzeugs eine Kombination des Gesichtsausdrucks und des Stimmprofils, die während des Zeitraums erfasst werden, um die Emotion des menschlichen Fahrers vorherzusagen. Das Verfahren erzeugt die Fahrzeugantwort, die auf die Emotion des menschlichen Fahrers anspricht. Die Fahrzeugantwort ist konfiguriert, um mindestens eine Einstellung an einer Einstellung des Fahrzeugs vorzunehmen. Die Einstellung wird basierend auf der Emotion des menschlichen Fahrers ausgewählt. Die Fahrzeugreaktion kann verwendet werden, um den Fahrer ruhiger zu machen und/oder dazu beizutragen, abgelenktes Fahren zu reduzieren. Die Vorhersage der Emotion kann zusätzlich erhöht werden, indem Berührungs- und/oder Gestenmerkmale des menschlichen Fahrers erfasst und analysiert werden, wenn eine Schnittstelle mit einer grafischen Benutzeroberfläche oder Oberflächen des Fahrzeugs oder von Systemen des Fahrzeugs gebildet wird.The pamphlet US 2018/061415 A1 describes methods and systems for determining an emotion of a human driver of a vehicle and for using the emotion to generate a vehicle reaction. The method includes capturing a face of the human driver by a camera of the vehicle. The acquisition is configured to acquire a plurality of images over a period of time and to analyze the plurality of images to identify a facial expression and changes in facial expression of the human driver over the period of time. The method further includes capturing a voice input from the human driver through a microphone of the vehicle. The voice input is recorded over the period. The voice input is analyzed to identify a voice profile and changes in the voice profile of the human driver over time. The method processes, by a processor of the vehicle, a combination of the facial expression and the voice profile captured during the time period to predict the emotion of the human driver. The process generates the vehicle response that is responsive to the human driver's emotion. The vehicle response is configured to make at least one setting to a setting of the vehicle. The setting is selected based on the emotion of the human driver. The vehicle reaction can be used to make the driver calm and / or to help reduce distracted driving. The prediction of the emotion can additionally be increased in that touch and / or gesture features of the human driver are recorded and analyzed when an interface with a graphic user interface or surfaces of the vehicle or systems of the vehicle is formed.

Die Erfassung von nutzerbezogenen Daten kann dazu eingesetzt werden, einen Gemütszustand des Nutzers eines elektronischen Gerätes zu ermitteln und darauf basierend eine Kommunikation mit dem Nutzer zu verbessern. Die Druckschrift WO 2002/063599 A1 beschreibt ein Verfahren, das zur Durchführung von Fokuserkennung, Mehrdeutigkeitsauflösung und Stimmungsklassifizierung in Übereinstimmung mit multimodalen Eingangsdaten unter variierenden Betriebsbedingungen bereitgestellt wird, um eine effektive Konversationscomputerumgebung für eine oder mehrere Nutzer bereitzustellen.The acquisition of user-related data can be used to determine a state of mind of the user of an electronic device and to improve communication with the user based on this. The pamphlet WO 2002/063599 A1 describes a method provided for performing focus detection, ambiguity resolution, and mood classification in accordance with multimodal input data under varying operating conditions to provide an effective conversational computing environment for one or more users.

Im Zuge des allgemeinen Mobilitätswandels wird es immer wichtiger, nicht nur den Fahrer eines Fahrzeugs im Fokus zu behalten, sondern jegliche Nutzer bzw. Insassen, ungeachtet dessen, ob es sich um einen Fahrer oder Bei- bzw. Mitfahrer oder Passagier handelt. In der vorliegenden Offenbarung werden insbesondere die Begriffe „Nutzer“ und „Insasse“ als gleichbedeutend verwendet. Besonders im Falle der Nutzung von automatisierten bzw. autonomen Fahrzeugen ist davon auszugehen, dass nur noch in seltenen Situationen oder zeitweise ein Insasse die Rolle eines klassischen Fahrers im Fahrzeug einnimmt, oder ein Fahrer völlig obsolet wird.In the course of the general change in mobility, it is becoming more and more important to keep the focus not only on the driver of a vehicle, but on all users or occupants, regardless of whether they are a driver or a passenger or a passenger. In the present disclosure, in particular, the terms “user” and “occupant” are used synonymously. Particularly in the case of the use of automated or autonomous vehicles, it can be assumed that only in rare situations or at times will an occupant use the Takes on the role of a classic driver in the vehicle, or a driver becomes completely obsolete.

Bekannte Systeme sind jedoch oft ausschließlich auf den Fahrer eines Fahrzeugs ausgerichtet und insbesondere darauf, ob der Fahrer in der Lage ist, die Kontrolle über das Fahrzeug zu behalten oder zu übernehmen.However, known systems are often geared exclusively towards the driver of a vehicle and, in particular, on whether the driver is able to maintain or take control of the vehicle.

Daher besteht der Bedarf an Systemen und Verfahren, die nicht nur den Fahrer, sondern alle Insassen eines Fahrzeugs bei der Erfassung berücksichtigen.There is therefore a need for systems and methods that take into account not only the driver but all occupants of a vehicle during the detection.

Je weniger ein Insasse in das Fahrgeschehen involviert ist, desto weniger Informationen stehen dem Insassen zur Beurteilung einer aktuellen Fahrsituation zur Verfügung bzw. werden von diesem bewusst wahrgenommen. Dies gilt für klassische Bei- bzw. Mitfahrer ebenso wie für Insassen eines automatisierten oder autonomen Fahrzeugs. Dieser Mangel an bewusst aufgenommenen Informationen und/oder die reduzierte oder völlig fehlende Möglichkeit, in bestimmten Situationen in das Fahrgeschehen eingreifen zu können, kann das Wohlbefinden der Insassen beeinträchtigen. Um das Wohlbefinden aller Insassen sicher zu stellen, wäre es daher notwendig, einen Gemütszustand der Insassen zu ermitteln und im Falle einer festgestellten Beunruhigung bzw. Beeinträchtigung steuernd einzugreifen.The less an occupant is involved in the driving process, the less information is available to the occupant for assessing a current driving situation or is consciously perceived by him. This applies to classic passengers as well as to passengers in an automated or autonomous vehicle. This lack of consciously recorded information and / or the reduced or completely lacking possibility of intervening in the driving process in certain situations can impair the well-being of the occupants. In order to ensure the well-being of all occupants, it would therefore be necessary to determine a state of mind of the occupants and to intervene in a controlling manner in the event of an alarm or impairment being detected.

Dieser Effekt kann dadurch verstärkt werden, dass im Zuge der zunehmenden Automatisierung bzw. der Einführung des autonomen Fahrens, die Insassen sich während der Fahrt mehr und mehr anderen Tätigkeiten widmen, beispielsweise dem Konsum von Infotainment Inhalten, insbesondere in Form von Musik, Filmen oder Text. Die Wahrnehmung einer aktuellen Fahrsituation tritt damit mehr und mehr in den Hintergrund, wobei das Auftreten einer außergewöhnlichen Situation - oder einer Situation, die zumindest subjektiv als außergewöhnlich wahrgenommen werden könnte - leicht zur vorstehend beschriebenen Beeinträchtigung des Wohlbefindens des bzw. der Insassen führen kann.This effect can be reinforced by the fact that, in the course of increasing automation and the introduction of autonomous driving, the occupants devote themselves more and more to other activities while driving, for example consuming infotainment content, especially in the form of music, films or text . The perception of a current driving situation thus fades more and more into the background, whereby the occurrence of an extraordinary situation - or a situation that could at least subjectively be perceived as extraordinary - can easily lead to the above-described impairment of the well-being of the occupant or passengers.

Daher besteht der Bedarf an Systemen und Verfahren, die einen Gemütszustand eines oder mehrerer Insassen zuverlässig erfassen und ermitteln können, ob eine Beeinflussung des Gemütszustandes erforderlich ist, beispielsweise mit dem Ziel, den oder die Insassen zu beruhigen.There is therefore a need for systems and methods which can reliably detect a mood of one or more occupants and can determine whether it is necessary to influence the mood, for example with the aim of calming the occupant or passengers.

Es besteht insbesondere der Bedarf an Systemen und Verfahren, die eine Beeinflussung des Gemütszustandes eines oder mehrerer Insassen in einem Fahrzeug auf multimodale Art und Weise ermöglichen können, beispielsweise durch visuell, audiovisuell, akustisch, haptisch, thermisch, oder olfaktorisch wirkende Mittel, oder eine Kombination daraus.In particular, there is a need for systems and methods that can influence the state of mind of one or more occupants in a vehicle in a multimodal manner, for example by means of visual, audiovisual, acoustic, haptic, thermal or olfactory effects, or a combination from it.

Offenbarung der ErfindungDisclosure of the invention

Es ist eine Aufgabe der vorliegenden Offenbarung, Verfahren und Systeme bereitzustellen, die einen oder mehrere der beschriebenen Nachteile vermeiden und/oder einen oder mehrere der beschriebenen Vorteile ermöglichen.It is an object of the present disclosure to provide methods and systems that avoid one or more of the disadvantages described and / or enable one or more of the advantages described.

Diese Aufgabe wird durch den Gegenstand der unabhängigen Ansprüche gelöst. Vorteilhafte Ausgestaltungen sind in den Unteransprüchen angegeben.This object is achieved by the subject matter of the independent claims. Advantageous refinements are given in the subclaims.

In einem ersten Aspekt gemäß Ausführungsformen der vorliegenden Offenbarung ist ein Verfahren zur Information eines oder mehrerer Nutzer eines Fahrzeugs. Das Verfahren umfasst Erfassen, für jeden der ein oder mehreren Nutzer, eines oder mehrerer Zustandsparameter, die einen Zustand des jeweiligen Nutzers kennzeichnen; Ermitteln, für jeden der ein oder mehreren Nutzer, eines Zustands des jeweiligen Nutzers basierend auf den erfassten ein oder mehreren Zustandsparametern; Ermitteln, für jeden der ein oder mehreren Nutzer, einer jeweiligen Abweichung des ermittelten jeweiligen Zustands von einem Normalzustand; Ermitteln von ein oder mehreren Betriebsparametern, die einen Betrieb des Fahrzeugs kennzeichnen; Ermitteln, basierend auf den ermittelten ein oder mehreren Betriebsparametern und auf den ermittelten ein oder mehreren Abweichungen, ob eine Information an die ein oder mehreren Nutzer ausgegeben werden soll; und, falls eine Information ausgegeben werden soll: Ermitteln der auszugebenden Information basierend auf den ermittelten ein oder mehreren Betriebsparametern und auf den ermittelten ein oder mehreren Abweichungen; und Ausgeben der auszugebenden Information an die ein oder mehreren Nutzer.In a first aspect according to embodiments of the present disclosure is a method for informing one or more users of a vehicle. The method comprises recording, for each of the one or more users, one or more status parameters which characterize a status of the respective user; Determining, for each of the one or more users, a status of the respective user based on the recorded one or more status parameters; Determining, for each of the one or more users, a respective deviation of the determined respective state from a normal state; Determining one or more operating parameters that characterize operation of the vehicle; Determining, based on the determined one or more operating parameters and on the determined one or more deviations, whether information is to be output to the one or more users; and, if information is to be output: determining the information to be output based on the determined one or more operating parameters and on the determined one or more deviations; and outputting the information to be output to the one or more users.

In einem zweiten Aspekt nach Aspekt 1 erfolgt Erfassen der ein oder mehreren Zustandsparameter basierend auf einer Sensorik des Fahrzeugs. Die Sensorik umfasst vorzugsweise ein oder mehrere von: eine erste Sensorvorrichtung, die konfiguriert ist, einen Gesichtsausdruck eines oder mehrerer Nutzer zu erfassen, erste Sensorvorrichtung vorzugsweise umfassend eine oder mehrere Kameras oder optische Sensoren; eine zweite Sensorvorrichtung, die konfiguriert ist, eine Blickrichtung eines oder mehrerer Nutzer zu erfassen, die zweite Sensorvorrichtung vorzugsweise umfassend eine oder mehrere Kameras oder optische Sensoren; eine dritte Sensorvorrichtung, die konfiguriert ist, eine Bedienung von einem oder mehreren Bedienelementen des Fahrzeugs durch einen oder mehrerer Nutzer zu erfassen; und eine fünfte Sensorvorrichtung, die konfiguriert ist, Geräusche im Fahrzeug und/oder Spracheingaben eines oder mehrerer Nutzer zu erfassen; die fünfte Sensorvorrichtung vorzugsweise umfassend ein oder mehrere Mikrofone.In a second aspect according to aspect 1, the one or more state parameters are recorded based on a sensor system of the vehicle. The sensor system preferably comprises one or more of: a first sensor device that is configured to capture a facial expression of one or more users, first sensor device preferably comprising one or more cameras or optical sensors; a second sensor device which is configured to detect a line of sight of one or more users, the second sensor device preferably comprising one or more cameras or optical sensors; a third sensor device that is configured to detect an operation of one or more operating elements of the vehicle by one or more users; and a fifth sensor device which is configured to detect noises in the vehicle and / or voice inputs from one or more users; the fifth sensor device preferably comprising one or more microphones.

In einem dritten Aspekt nach einem der Aspekte 1 oder 2 erfolgt Ermitteln der ein oder mehreren Betriebsparameter basierend auf einer bzw. der Sensorik des Fahrzeugs. Vorzugsweise umfasst die Sensorik eine vierte Sensorvorrichtung, die konfiguriert ist, eine oder mehrere Betriebsparameter des Fahrzeugs zu erfassen; wobei vorzugsweise das Ermitteln der ein oder mehreren Betriebsparameter mittelbar über ein Steuergerät des Fahrzeugs erfolgt.In a third aspect according to one of aspects 1 or 2, the one or more operating parameters are determined based on one or the sensor system of the vehicle. The sensor system preferably comprises a fourth sensor device which is configured to detect one or more operating parameters of the vehicle; wherein the one or more operating parameters are preferably determined indirectly via a control device of the vehicle.

In einem vierten Aspekt nach einem der Aspekte 1 bis 3 umfasst Ermitteln der auszugebenden Information ein oder mehrere von: Ermitteln einer audiovisuellen Information; Ermitteln einer akustischen Information; und Ermitteln einer visuellen Information.In a fourth aspect according to one of Aspects 1 to 3, determining the information to be output comprises one or more of: determining audio-visual information; Determining acoustic information; and determining visual information.

In einem fünften Aspekt nach einem der Aspekte 1 bis 4 umfasst Ausgeben der auszugebenden Information an die ein oder mehreren Nutzer ein oder mehrere von: Anzeigen einer visuellen Information auf einer Fensterfläche des Fahrzeugs; Anzeigen eines visuellen Teils einer audiovisuellen Information auf einer Fensterfläche des Fahrzeugs; Wiedergeben einer akustischen Information über ein oder mehrere akustische Ausgabeeinheiten des Fahrzeugs; Wiedergeben eines akustischen Teils einer audiovisuellen Information über ein oder mehrere akustische Ausgabeeinheiten des Fahrzeugs; und Anzeigen zumindest eines Teils der auszugebenden Information auf einer oder mehreren Anzeigeeinheiten des Fahrzeugs.In a fifth aspect according to one of the aspects 1 to 4, outputting the information to be output to the one or more users comprises one or more of: displaying visual information on a window area of the vehicle; Displaying a visual portion of audiovisual information on a window surface of the vehicle; Reproducing acoustic information via one or more acoustic output units of the vehicle; Reproducing an acoustic part of audio-visual information via one or more acoustic output units of the vehicle; and displaying at least part of the information to be output on one or more display units of the vehicle.

In einem sechsten Aspekt nach einem der Aspekte 1 bis 5 umfasst das Verfahren weiter Ermitteln ein oder mehrerer Kontextparameter, die konfiguriert sind, einen Kontext der Nutzung des Fahrzeugs durch die ein oder mehreren Nutzer zu kennzeichnen. Die Schritte des Ermittelns, ob eine Information an die ein oder mehreren Nutzer ausgegeben werden soll und/oder des Ermittelns der auszugebenden Information basiert weiter auf den ermittelten ein oder mehreren Kontextparametern.In a sixth aspect according to one of aspects 1 to 5, the method further comprises determining one or more context parameters which are configured to identify a context of the use of the vehicle by the one or more users. The steps of determining whether information is to be output to the one or more users and / or of determining the information to be output is further based on the determined one or more context parameters.

In einem siebten Aspekt nach dem vorhergehenden Aspekt 6 umfasst der Normalzustand einen jeweiligen Normalzustand für jeden der ein oder mehreren Nutzer. Zusätzlich oder alternativ umfasst der Normalzustand einen jeweiligen kontextabhängigen Normalzustand für jeden der ein oder mehreren Nutzer, wobei der jeweilige kontextabhängige Normalzustand von den ein oder mehreren Kontextparametern abhängig ist.In a seventh aspect according to the preceding aspect 6, the normal state comprises a respective normal state for each of the one or more users. Additionally or alternatively, the normal state includes a respective context-dependent normal state for each of the one or more users, the respective context-dependent normal state being dependent on the one or more context parameters.

In einem achten Aspekt nach einem der Aspekte 1 bis 7 umfasst das Verfahren weiter Ermitteln, für jeden der ein oder mehreren Nutzer, des Normalzustands basierend auf Ermitteln der ein oder mehreren Zustandsparametern des jeweiligen Nutzers über einen vorbestimmten Zeitraum; und/oder Ermitteln, für jeden der ein oder mehreren Nutzer, des Normalzustands basierend auf ein oder mehreren Zustandsparametern des jeweiligen Nutzers, wobei die ein oder mehreren Zustandsparameter in einem Speicher abgelegt sind, vorzugsweise wobei der Speicher in einem Steuergerät des Fahrzeugs und/oder in einer oder mehreren Back-End Komponenten implementiert ist.In an eighth aspect according to one of aspects 1 to 7, the method further comprises determining, for each of the one or more users, the normal state based on determining the one or more state parameters of the respective user over a predetermined period of time; and / or determining, for each of the one or more users, the normal state based on one or more state parameters of the respective user, wherein the one or more state parameters are stored in a memory, preferably wherein the memory is in a control unit of the vehicle and / or in one or more back-end components is implemented.

In einem neunten Aspekt ist ein System zur Information eines oder mehrerer Nutzer eines Fahrzeugs angegeben. Das System umfasst ein Steuergerät; und/oder ein oder mehrere Back-End Komponenten; wobei das Steuergerät und/oder die ein oder mehreren Back-End Komponenten konfiguriert sind, das Verfahren nach einem der vorhergehenden Aspekte 1 bis 8 auszuführen.In a ninth aspect, a system for providing information to one or more users of a vehicle is specified. The system includes a controller; and / or one or more back-end components; wherein the control unit and / or the one or more back-end components are configured to carry out the method according to one of the preceding aspects 1 to 8.

In einem zehnten Aspekt ist ein Fahrzeug umfassend ein Steuergerät angegeben, wobei das Steuergerät konfiguriert ist, einen oder mehrere Schritte des Verfahrens nach einem der vorhergehenden Aspekte 1 bis 8 auszuführenIn a tenth aspect, a vehicle comprising a control device is specified, the control device being configured to carry out one or more steps of the method according to one of the preceding aspects 1 to 8

Gemäß einem weiteren Aspekt wird ein Softwareprogramm beschrieben. Das Softwareprogramm kann eingerichtet sein, um auf einem Prozessor ausgeführt zu werden, und um dadurch vorliegend offenbarte Verfahren auszuführen.According to a further aspect, a software program is described. The software program can be set up to be executed on a processor and thereby to execute methods disclosed herein.

Gemäß einem weiteren Aspekt wird ein Speichermedium beschrieben. Das Speichermedium kann ein Softwareprogramm umfassen, welches eingerichtet ist, um auf einem Prozessor ausgeführt zu werden, und um dadurch vorliegend offenbarte Verfahren auszuführen.According to a further aspect, a storage medium is described. The storage medium can comprise a software program which is set up to be executed on a processor and to thereby execute methods disclosed herein.

Die hier offenbarten Systeme und Verfahren bieten ein oder mehrere der nachstehend genannten Vorteile.The systems and methods disclosed herein provide one or more of the advantages noted below.

Vorrichtungen, Verfahren und Systeme gemäß der vorliegenden Offenbarung ermöglichen eine Erfassung von Parametern, die einen Zustand, insbesondere Gemütszustand, nicht nur eines Fahrers kennzeichnen, sondern aller Nutzer bzw. Insassen in einem Fahrzeug. Dies kann eine Verbesserung einer Vielzahl von Funktionen ermöglichen, die solche Parameter verarbeiten.Devices, methods and systems according to the present disclosure enable the acquisition of parameters which characterize a state, in particular a state of mind, not only of a driver, but of all users or occupants in a vehicle. This can improve a variety of functions that handle such parameters.

Vorrichtungen, Verfahren und Systeme gemäß der vorliegenden Offenbarung ermöglichen weiter, einen Zustand bzw. Gemütszustand eines oder mehrerer Nutzer bzw. Insassen zuverlässig zu erfassen und zu ermitteln, ob eine Beeinflussung des Gemütszustandes erforderlich oder empfehlenswert ist, beispielsweise mit dem Ziel, den oder die Nutzer bzw. Insassen zu beruhigen. Dies kann eine Akzeptanz der Nutzer bzw. Insassen automatisierter und/oder autonomer Systeme und Verfahren steigern und/oder das Wohlbefinden der Nutzer bzw. Insassen verbessern.Devices, methods and systems according to the present disclosure further enable a state or mood of one or more users or occupants to be reliably detected and to determine whether influencing the mood is necessary or advisable, for example with the aim of the user or users or to calm inmates. This can increase and / or an acceptance of the users or occupants of automated and / or autonomous systems and methods improve the well-being of users and occupants.

Vorrichtungen, Verfahren und Systeme gemäß der vorliegenden Offenbarung ermöglichen weiter eine multimodale Beeinflussung des Gemütszustandes eines oder mehrerer Nutzer bzw. Insassen in einem Fahrzeug, beispielsweise durch visuell, audiovisuell, akustisch, haptisch, thermisch, oder olfaktorisch wirkende Mittel, oder eine Kombination daraus. Dies kann eine individuell angepasste Beeinflussung des Gemütszustands bzw. Wohlbefindens der Nutzer bzw. Insassen ermöglichen.Devices, methods and systems according to the present disclosure further enable a multimodal influencing of the state of mind of one or more users or occupants in a vehicle, for example by means of visual, audiovisual, acoustic, haptic, thermal or olfactory effects, or a combination thereof. This can enable an individually adapted influencing of the state of mind or well-being of the users or occupants.

FigurenlisteFigure list

Ausführungsbeispiele der Offenbarung sind in den Figuren dargestellt und werden im Folgenden näher beschrieben. Dabei werden im Folgenden, sofern nicht anders vermerkt, für gleiche und gleichwirkende Elemente dieselben Bezugszeichen verwendet.

1 illustriert schematisch das Zusammenwirken einzelner Komponenten eines Systems zur Information von Nutzern eines Fahrzeugs gemäß Ausführungsformen der vorliegenden Offenbarung;
2 illustriert schematisch den Aufbau eines Systems zur Information von Nutzern eines Fahrzeugs gemäß Ausführungsformen der vorliegenden Offenbarung; und
3 zeigt ein Flussdiagramm eines Verfahrens zur Information von Nutzern eines Fahrzeugs gemäß Ausführungsformen der vorliegenden Offenbarung.

Exemplary embodiments of the disclosure are shown in the figures and are described in more detail below. Unless otherwise noted, the same reference symbols are used below for elements that are the same or have the same effect.

1 schematically illustrates the interaction of individual components of a system for informing users of a vehicle according to embodiments of the present disclosure;
2 schematically illustrates the structure of a system for informing users of a vehicle according to embodiments of the present disclosure; and
3 FIG. 3 shows a flow diagram of a method for informing users of a vehicle according to embodiments of the present disclosure.

Ausführungsformen der OffenbarungEmbodiments of the disclosure

Im Folgenden werden, sofern nicht anders vermerkt, für gleiche und gleichwirkende Elemente gleiche Bezugszeichen verwendet.Unless otherwise noted, the same reference symbols are used below for elements that are the same and have the same effect.

1 illustriert schematisch das Zusammenwirken einzelner Komponenten eines Systems 100 zur Information von Nutzern 60, 60', 60" eines Fahrzeugs 80 gemäß Ausführungsformen der vorliegenden Offenbarung. Wenn in der vorliegenden Offenbarung auf einen Nutzer 60 Bezug genommen wird, sind darunter grundsätzlich alle Nutzer 60, 60', 60" zu subsummieren, einschließlich eines Nutzers 60, der als Fahrer agieren kann, eines Nutzers 60', der als Beifahrer (z.B. sich neben dem Fahrer befindend) agieren kann oder eines Nutzers 60", der als Mitfahrer (z.B. auf einem Sitzplatz des Fahrzeugs 80) agieren kann. Sofern nachfolgend nicht ausdrücklich auf eine unterschiedliche Behandlung einzelner Nutzertypen eingegangen wird, ist unter dem Begriff Nutzer 60 jeglicher Nutzer 60, 60', 60" zu verstehen. 1 schematically illustrates the interaction of individual components of a system 100 to inform users 60 , 60 ' , 60 " of a vehicle 80 in accordance with embodiments of the present disclosure. When referring to a user in the present disclosure 60 Reference is made to all users 60 , 60 ' , 60 " to subsume, including a user 60 who can act as a driver, a user 60 ' who can act as a passenger (e.g. next to the driver) or a user 60 " as a passenger (e.g. on a seat in the vehicle 80 ) can act. Unless the different treatment of individual user types is explicitly discussed below, the term user is 60 any user 60 , 60 ' , 60 " to understand.

Der Begriff „Fahrzeug“ umfasst PKW, LKW, Busse, Wohnmobile, Krafträder, etc., die der Beförderung von Personen, Gütern, etc. dienen. Insbesondere umfasst der Begriff Kraftfahrzeuge zur Personenbeförderung. Fahrzeuge 80 mit Elektroantrieb (insbesondere Hybrid- oder Elektrofahrzeuge) werden von einem Elektromotor angetrieben und umfassen ein oder mehrere elektrische Energiespeicher (z.B. Batterien, Hochvoltspeicher), die über eine Ladevorrichtung des Fahrzeugs an eine Ladestation angeschlossen und aufgeladen werden können. Zum Aufladen der elektrischen Speicher solcher Hybrid- oder Elektrofahrzeuge können verschiedene Ladetechniken verwendet werden.The term “vehicle” includes cars, trucks, buses, mobile homes, motorcycles, etc., which are used to transport people, goods, etc. In particular, the term includes motor vehicles for passenger transport. vehicles 80 with electric drive (especially hybrid or electric vehicles) are driven by an electric motor and include one or more electrical energy storage devices (e.g. batteries, high-voltage storage devices) that can be connected to a charging station via a charging device of the vehicle and charged. Various charging techniques can be used to charge the electrical storage of such hybrid or electric vehicles.

Vorzugsweise umfasst das Fahrzeug eine Umgebungssensorik (nicht in 1 dargestellt), die konfiguriert ist, um Umfeld- bzw. Umgebungsdaten zu erfassen, die eine Umgebung und/oder Objekte in der Umgebung des Fahrzeugs 80 kennzeichnen. Vorzugsweise umfasst die Umgebungssensorik wenigstens ein LiDAR-System und/oder wenigstens ein Radar-System und/oder wenigstens eine Kamera und/oder wenigstens ein Ultraschall-System. Die Umgebungssensorik kann auf Umgebungsdaten basierende Umfeldparameter bereitstellen, die einen Umgebungsbereich des Fahrzeugs kennzeichnen.The vehicle preferably includes an environmental sensor system (not in 1 shown), which is configured to capture environment or environment data that an environment and / or objects in the vicinity of the vehicle 80 mark. The environmental sensor system preferably comprises at least one LiDAR system and / or at least one radar system and / or at least one camera and / or at least one ultrasound system. The environmental sensor system can provide environmental parameters based on environmental data, which characterize an environmental area of the vehicle.

Unter dem Begriff „automatisiertes Fahren“ kann im Rahmen der vorliegenden Offenbarung ein Fahren mit automatisierter Längs- oder Querführung oder ein autonomes Fahren mit automatisierter Längs- und Querführung verstanden werden. Bei dem automatisierten Fahren kann es sich beispielsweise um ein zeitlich längeres Fahren auf der Autobahn oder um ein zeitlich begrenztes Fahren im Rahmen des Einparkens oder Rangierens handeln. Der Begriff „automatisiertes Fahren“ umfasst ein automatisiertes Fahren mit einem beliebigen Automatisierungsgrad. Beispielhafte Automatisierungsgrade sind ein assistiertes, teilautomatisiertes, hochautomatisiertes oder vollautomatisiertes Fahren. Diese Automatisierungsgrade wurden von der Bundesanstalt für Straßenwesen (BASt) definiert (siehe BASt-Publikation „Forschung kompakt“, Ausgabe 11/2012). Beim assistierten Fahren führt der Fahrer dauerhaft die Längs- oder Querführung aus, während das System die jeweils andere Funktion in gewissen Grenzen übernimmt. Beim teilautomatisierten Fahren (TAF) übernimmt das System die Längs- und Querführung für einen gewissen Zeitraum und/oder in spezifischen Situationen, wobei der Fahrer das System wie beim assistierten Fahren dauerhaft überwachen muss. Beim hochautomatisierten Fahren (HAF) übernimmt das System die Längs- und Querführung für einen gewissen Zeitraum, ohne dass der Fahrer das System dauerhaft überwachen muss; der Fahrer muss aber in einer gewissen Zeit in der Lage sein, die Fahrzeugführung zu übernehmen. Beim vollautomatisierten Fahren (VAF) kann das System für einen spezifischen Anwendungsfall das Fahren in allen Situationen automatisch bewältigen; für diesen Anwendungsfall ist kein Fahrer mehr erforderlich. Die vorstehend genannten vier Automatisierungsgrade entsprechen den SAE-Level 1 bis 4 der Norm SAE J3016 (SAE - Society of Automotive Engineering). Beispielsweise entspricht das hochautomatisierte Fahren (HAF) Level 3 der Norm SAE J3016. Ferner ist in der SAE J3016 noch der SAE-Level 5 als höchster Automatisierungsgrad vorgesehen, der in der Definition der BASt nicht enthalten ist. Der SAE-Level 5 entspricht einem fahrerlosen Fahren, bei dem das System während der ganzen Fahrt alle Situationen wie ein menschlicher Fahrer automatisch bewältigen kann; ein Fahrer ist generell nicht mehr erforderlich.In the context of the present disclosure, the term “automated driving” can be understood to mean driving with automated longitudinal or lateral guidance or autonomous driving with automated longitudinal and lateral guidance. The automated driving can be, for example, driving on the motorway for a longer period of time or driving for a limited time as part of parking or maneuvering. The term “automated driving” includes automated driving with any degree of automation. Exemplary degrees of automation are assisted, partially automated, highly automated or fully automated driving. These degrees of automation were defined by the Federal Highway Research Institute (BASt) (see BASt publication “Research compact”, edition 11 / 2012 ). With assisted driving, the driver continuously performs longitudinal or lateral guidance, while the system takes on the other function within certain limits. With partially automated driving (TAF), the system takes over the longitudinal and lateral guidance for a certain period of time and / or in specific situations, whereby the driver has to continuously monitor the system as with assisted driving. With highly automated driving (HAF), the system takes over the longitudinal and lateral guidance for a certain period of time without the driver having to monitor the system permanently; however, the driver must be able to take over driving the vehicle within a certain period of time. With fully automated driving (VAF), the system can automatically manage driving in all situations for a specific application; a driver is no longer required for this application. The four degrees of automation mentioned above correspond to the SAE levels 1 to 4th the standard SAE J3016 (SAE - Society of Automotive Engineering). For example, the highly automated driving (HAF) corresponds to level 3 the standard SAE J3016. Furthermore, the SAE level is still in the SAE J3016 5 intended as the highest degree of automation, which is not included in the definition of the BASt. The SAE level 5 corresponds to driverless driving in which the system can automatically handle all situations like a human driver during the entire journey; a driver is generally no longer required.

Das System 100 kann im Wesentlichen auf einem Steuergerät 120 des Fahrzeugs 80 und/oder auf einer oder mehreren Backend-Komponenten 150 (z.B. Server, Dienste) implementiert werden.The system 100 can essentially be on a control unit 120 of the vehicle 80 and / or on one or more backend components 150 (e.g. server, services) are implemented.

Das Fahrzeug 80 umfasst neben dem Steuergerät 120 weiter eine Kommunikationseinheit 130, die zur Datenkommunikation 140 mit zum Fahrzeug 80 externen Komponenten (z.B. Backend 150) konfiguriert ist, und eine Benutzerschnittstelle 110, die beispielsweise als Touchscreen im Fahrzeug 80 realisiert sein kann (z.B. auf dem oder im Armaturenbereich des Fahrzeugs 80 oder als Teil eines Rear-Seat-Entertainment Systems im Fond des Fahrzeugs 80; nicht gezeigt). Die Kommunikationseinheit 130 kann weiter konfiguriert sein, eine Datenverbindung zu mobilen Endgeräten bereitzustellen, insbesondere zu solchen, die sich im Fahrzeug 80 und/oder in der Umgebung des Fahrzeugs 80 befinden und/oder vom Nutzer 60 verwendet werden. Einzelne Komponenten des Systems 100 (z.B. Steuergerät 120, Kommunikationseinheit 130, benutzerschnittstelle 110) sind lediglich schematisch dargestellt, sodass die Darstellung nicht unbedingt bzw. zwingende Rückschlüsse auf eine Platzierung der jeweiligen Komponente, auf eine Anordnung in einem spezifischen Teilbereich des Fahrzeugs 80, oder auf sonstige Eigenschaften der jeweiligen Komponente zulassen muss. Ebenso ist es nicht zwingend erforderlich, dass ein System 100 immer sämtliche in 1 dargestellten Komponenten umfassen muss. Die Darstellung in 1 zeigt somit eine beispielhafte Ausführungsform.The vehicle 80 includes in addition to the control unit 120 further a communication unit 130 used for data communication 140 with to the vehicle 80 external components (e.g. backend 150 ) is configured and a user interface 110 for example as a touchscreen in the vehicle 80 can be implemented (for example on or in the dashboard area of the vehicle 80 or as part of a rear seat entertainment system in the rear of the vehicle 80 ; Not shown). The communication unit 130 can also be configured to provide a data connection to mobile devices, in particular to those located in the vehicle 80 and / or in the vicinity of the vehicle 80 and / or by the user 60 be used. Individual components of the system 100 (e.g. control unit 120 , Communication unit 130 , user interface 110) are only shown schematically, so that the representation does not necessarily or compelling conclusions about a placement of the respective component, about an arrangement in a specific sub-area of the vehicle 80 , or other properties of the respective component. Likewise, it is not absolutely necessary that a system 100 always all in 1 must include the components shown. The representation in 1 thus shows an exemplary embodiment.

Das System 100 kann teilweise oder vollständig über die Benutzerschnittstelle 110 im Fahrzeug 80 bedient werden. Die Benutzerschnittstelle 110 kann eine oder mehrere multimodale Benutzerschnittstellen, insbesondere Benutzerschnittstellen, die für die Bedienung des Fahrzeugs 80 konfiguriert sind (z.B. Kommunikation, Infotainment, Klimatisierung, Sitzeinstellung, Fahrzeugeinstellungen) umfassen. Die Benutzerschnittstelle 110 ermöglicht die multimodale Erfassung von Eingaben eines Nutzers 60, beispielsweise über eine grafische Benutzeroberfläche (z.B. Touchscreen), über klassische Bedienelemente des Fahrzeugs 80 (z.B. Knöpfe, Schalter, iDrive Controller), per Sprachsteuerung (z.B. mittels Sensor 168), per Scanner (z.B. für Fingerabdrücke, Retina) und dergleichen mehr. Die Benutzerschnittstelle 110 ermöglicht weiter die multimodale Ausgabe von Informationen an einen Nutzer 60, beispielsweise über eine grafische Anzeigeelemente (z.B. Touchscreen, Head-Up Display 171, Instrumentenkombi, zentrales Informationsdisplay bzw. CID), über taktile Elemente (z.B. Vibration des Lenkrads oder von Teilen des Sitzes), per Sprachausgabe über eine im Fahrzeug vorhandene Lautsprecheranlage (z.B. Infotainmentsystem) oder akustische Signalgeber (z.B. Gong, Piepser) und dergleichen mehr. Die Benutzerschnittstelle 110 kann basierend auf entsprechenden Konfigurationsdaten eine grafische Benutzerschnittstelle implementieren, in der Anzeigeelemente und Bedienungselemente dargestellt werden, die vom Nutzer 60 für die Bedienung des Fahrzeugs 80 genutzt werden können. Zusätzlich bzw. alternativ kann die Benutzerschnittstelle (weitere) Anzeige- und Bedienelemente beinhalten, beispielsweise Schalter, Knöpfe und Anzeigen.The system 100 can be partially or fully through the user interface 110 in the vehicle 80 to be served. The user interface 110 can have one or more multimodal user interfaces, in particular user interfaces that are used for operating the vehicle 80 configured (e.g. communication, infotainment, air conditioning, seat settings, vehicle settings). The user interface 110 enables the multimodal recording of input from a user 60 , for example via a graphical user interface (e.g. touchscreen), via classic vehicle controls 80 (e.g. buttons, switches, iDrive controller), by voice control (e.g. by means of a sensor 168 ), by scanner (e.g. for fingerprints, retina) and the like. The user interface 110 further enables the multimodal output of information to a user 60 , for example via a graphic display element (e.g. touchscreen, head-up display 171 , Instrument cluster, central information display or CID), via tactile elements (e.g. vibration of the steering wheel or parts of the seat), by voice output via a loudspeaker system in the vehicle (e.g. infotainment system) or acoustic signaling devices (e.g. gong, beeper) and the like. The user interface 110 can implement a graphical user interface based on the corresponding configuration data, in which display elements and operating elements are shown that the user 60 for operating the vehicle 80 can be used. Additionally or alternatively, the user interface can contain (further) display and operating elements, for example switches, buttons and displays.

Über die Kommunikationseinheit 130 kann das Steuergerät 120 mit (externen) Backend Komponenten 150 (z.B. Server bzw. Dienste) in Datenkommunikation 140 treten und so beispielsweise mit Backend Servern und/oder Diensten kommunizieren. Alternativ oder zusätzlich kann das Steuergerät 120 über die Kommunikationseinheit 130 mit dem mobilen Endgerät eines Nutzers 60 in Datenkommunikation treten und Daten und/oder Sensoren verwenden, die vom mobilen Endgerät bereitgestellt werden (wie vorstehend beschrieben).Via the communication unit 130 can the control unit 120 with (external) backend components 150 (e.g. server or services) in data communication 140 and communicate with backend servers and / or services, for example. Alternatively or additionally, the control device 120 via the communication unit 130 with a user's mobile device 60 enter into data communication and use data and / or sensors provided by the mobile terminal device (as described above).

Das Steuergerät 120 steht vorzugsweise mit einer Vielzahl von Komponenten in Datenverbindung über einen Datenbus (nicht gezeigt). Über den Datenbus (z.B. CAN-Bus, FlexRay) kann das Steuergerät 120 beispielsweise mit der Benutzerschnittstelle 110, der Kommunikationseinheit 130, der Ladevorrichtung 88 und/oder einer Vielzahl von weiteren Komponenten in Datenverbindung stehen. Weiter kann das Steuergerät 120 konfiguriert sein, Signale bzw. Daten vom Datenbus zu empfangen und/oder Signale bzw. Daten über den Datenbus zu senden.The control unit 120 is preferably in data connection with a plurality of components via a data bus (not shown). Via the data bus (eg CAN bus, FlexRay) the control unit can 120 for example with the user interface 110 , the communication unit 130 , the loading device 88 and / or a plurality of further components are in data connection. The control unit can continue 120 be configured to receive signals or data from the data bus and / or to send signals or data via the data bus.

Weiter kann das System 100 eine oder mehrere zum Fahrzeug 80 externe Backend Komponenten 150 und/oder eine Infrastruktur aufweisen, die ein oder mehrere Ressourcen (z.B. Server, Dienste/Services) bereitstellen. Die ein oder mehreren Backend Komponenten 150 können zeitweise oder dauerhaft mit dem Steuergerät 120 des Fahrzeugs 80 und/oder mit dem mobilen Endgerät in Datenkommunikation 140 stehen. Vorzugsweise können ressourcenintensive Verarbeitungsschritte (z.B. Verarbeitung natürlicher Sprache und/oder von Bild bzw. Videodaten, Spracherkennung, Verarbeitung großer externer Datenmengen) an die externe Backend Komponente 150 ausgelagert werden, die durch das Steuergerät 120 im Fahrzeug 80 und/oder durch das mobile Endgerät nur schwer oder gar nicht vorgenommen werden könnten. Hierbei kann auch auf eventuelle Anforderungen bzgl. Rechenleistung, Speicherleistung, verfügbarer Bandbreite, Anbindung an externe Datenquellen und dergleichen mehr, Rücksicht genommen werden.The system can continue 100 one or more to the vehicle 80 external backend components 150 and / or have an infrastructure that provides one or more resources (eg servers, services). The one or more backend components 150 can temporarily or permanently with the control unit 120 of the vehicle 80 and / or in data communication with the mobile terminal 140 stand. Resource-intensive processing steps (e.g. processing natural language and / or image or video data, speech recognition, processing of large external data volumes) to the external backend component 150 that are outsourced by the control unit 120 in the vehicle 80 and / or could only be carried out with difficulty or not at all by the mobile terminal. In this context, possible requirements with regard to computing power, storage capacity, available bandwidth, connection to external data sources and the like can also be taken into account.

2 illustriert schematisch den Aufbau eines Systems 100 zur Information von Nutzern 60, 60', 60" eines Fahrzeugs 80 gemäß Ausführungsformen der vorliegenden Offenbarung. 2 zeigt schematisch Verbindungen zwischen einzelnen Komponenten des Systems 100. Aus Gründen der Übersichtlichkeit sind nicht alle möglichen Komponenten des Systems 100 in 2 dargestellt. 2 schematically illustrates the structure of a system 100 to inform users 60 , 60 ' , 60 " of a vehicle 80 in accordance with embodiments of the present disclosure. 2 shows schematically connections between individual components of the system 100 . For the sake of clarity, not all possible components of the system are included 100 in 2 shown.

In Bezug auf die 1 und 2 umfasst das System 100 weiter eine Sensorik 160 beinhaltend ein oder mehrere Sensoren 161, 162, 163, 164, 165, etc. Typischerweise ist die Sensorik 160 bzw. ein oder mehrere der Sensoren bzw. Sensorvorrichtungen 161, 162, 163, 164, 165 mit dem Steuergerät 120 verbunden. Einzelne Verbindungen sind aus Gründen der Übersichtlichkeit nicht in 1 dargestellt. In einer bevorzugten Ausführungsform beinhaltet die Sensorik 160 eine oder mehrere der folgenden Sensorvorrichtungen: eine Sensorvorrichtung 161, die konfiguriert ist, einen Gesichtsausdruck eines Nutzers 60, 60', 60" zu erfassen (z.B. umfassend eine oder mehrere Kameras), eine Sensorvorrichtung 162, die konfiguriert ist, eine Blickrichtung eines Nutzers 60, 60', 60" zu erfassen (z.B. umfassend eine oder mehrere Kameras), eine Sensorvorrichtung 163, die konfiguriert ist, eine Bedienung eines Nutzers 60, 60', 60" von einem oder mehreren Bedienelementen des Fahrzeugs 80 zu erfassen (z.B. mittelbar über ein oder mehrere Steuergeräte im Fahrzeug 80), eine Sensorvorrichtung 164, die konfiguriert ist, eine oder mehrere Betriebsparameter des Fahrzeugs 80 zu erfassen (z.B. mittelbar über ein oder mehrere Steuergeräte im Fahrzeug 80) und eine Sensorvorrichtung 165, die konfiguriert ist, Geräusche im Fahrzeug 80 und/oder Spracheingaben eines Nutzers 60, 60', 60" zu erfassen (z.B. umfassend ein oder mehrere Mikrofone). Ein oder mehrere weitere Sensoren bzw. Sensorvorrichtungen können konfiguriert sein, Geräusche oder akustische Signale außerhalb des Fahrzeugs zu erfassen, beispielsweise Geräusche anderer Fahrzeuge (z.B. Hupen, Motoren- bzw. Abrollgeräusche), Signalhörner von Einsatzfahrzeugen (z.B. Rettungsdienste, Polizei, Feuerwehr), akustische Signale anderer Verkehrsteilnehmer (z.B. Fahrradklingeln, verbale Äußerungen von Fußgängern), akustische Signale von Objekten der Verkehrsinfrastruktur (z.B. Signale von Lichtzeichen, Geräusche beim Abrollen über Markierungen oder Unebenheiten) und dergleichen mehr.Regarding the 1 and 2 includes the system 100 further a sensor system 160 including one or more sensors 161 , 162 , 163 , 164 , 165 , etc. Typically the sensor system 160 or one or more of the sensors or sensor devices 161 , 162 , 163 , 164 , 165 with the control unit 120 connected. For reasons of clarity, individual connections are not included 1 shown. In a preferred embodiment, the sensor system includes 160 one or more of the following sensor devices: a sensor device 161 that is configured, a facial expression of a user 60 , 60 ' , 60 " to detect (e.g. comprising one or more cameras), a sensor device 162 that is configured, a viewing direction of a user 60 , 60 ' , 60 " to detect (e.g. comprising one or more cameras), a sensor device 163 that is configured, an operation of a user 60 , 60 ' , 60 " from one or more controls of the vehicle 80 to be recorded (e.g. indirectly via one or more control units in the vehicle 80 ), a sensor device 164 that is configured, one or more operating parameters of the vehicle 80 to be recorded (e.g. indirectly via one or more control units in the vehicle 80 ) and a sensor device 165 that is configured to make sounds in the vehicle 80 and / or voice input by a user 60 , 60 ' , 60 " to be recorded (e.g. comprising one or more microphones). One or more further sensors or sensor devices can be configured to detect noises or acoustic signals outside the vehicle, for example noises from other vehicles (e.g. horns, engine or rolling noises), signal horns from emergency vehicles (e.g. rescue services, police, fire brigade), acoustic Signals from other road users (e.g. bicycle bells, verbal statements by pedestrians), acoustic signals from objects in the traffic infrastructure (e.g. signals from light signals, noises when rolling over markings or bumps) and the like.

Das System 100 umfasst weiter ein Ausgabesystem 170 beinhaltend ein oder mehrere Anzeigen 171, 172, 173, 174, etc. und/oder ein oder mehrere akustische Ausgabeeinheiten 178. Typischerweise ist das Ausgabesystem 170 bzw. ein oder mehrere der Anzeigen 171, 172, 173, 174 bzw. Ausgabeeinheiten 178 mit dem Steuergerät 120 verbunden. Einzelne Verbindungen sind aus Gründen der Übersichtlichkeit nicht in 1 dargestellt. In einer bevorzugten Ausführungsform beinhaltet das Ausgabesystem 170 ein oder mehrere folgenden Ausgabevorrichtungen: eine Ausgabevorrichtung 171, die konfiguriert ist, eine Anzeige auf der Windschutzscheibe des Fahrzeugs 80 auszugeben (z.B. umfassend ein „Head-Up“ Display), eine oder mehrere Ausgabevorrichtungen 172, 174, die konfiguriert ist bzw. sind, eine Anzeige auf einem oder mehreren Seitenfenstern des Fahrzeugs 80 auszugeben, eine Ausgabevorrichtung 173, die konfiguriert ist, eine Anzeige auf der Heckscheibe des Fahrzeugs 80 auszugeben, eine oder mehrere akustische Ausgabeeinheiten 178, die konfiguriert ist bzw. sind, akustische Ausgaben im Fahrzeug 80 auszugeben (z.B. umfassend ein oder mehrere Lautsprecher, Verstärker).The system 100 further comprises a dispensing system 170 containing one or more advertisements 171 , 172 , 173 , 174 , etc. and / or one or more acoustic output units 178 . Typically the dispensing system is 170 or one or more of the advertisements 171 , 172 , 173 , 174 or output units 178 with the control unit 120 connected. For reasons of clarity, individual connections are not included 1 shown. In a preferred embodiment, the dispensing system includes 170 one or more of the following output devices: an output device 171 that is configured to display a display on the windshield of the vehicle 80 to output (for example, including a "head-up" display), one or more output devices 172 , 174 configured to display on one or more side windows of the vehicle 80 to output an output device 173 that is configured to display a display on the rear window of the vehicle 80 output one or more acoustic output units 178 that is or are configured, acoustic outputs in the vehicle 80 output (e.g. comprising one or more loudspeakers, amplifiers).

Das System 100 umfasst weiter ein oder mehrere Subsysteme 121, 122, 123, 124, ..., vorzugsweise wobei die ein oder mehreren Subsysteme durch das Steuergerät 120 implementiert sind. In einigen Ausführungsformen kann zumindest ein Teil der ein oder mehreren Subsysteme 121, 122, 123, 124, etc. alternativ oder zusätzlich durch die ein oder mehreren Back-End Komponenten 150 implementiert werden. Hierbei kann eine Implementierung wahlweise sowohl im Steuergerät 120 als auch in ein oder mehreren Back-End Komponenten 150, wobei eine Gesamtfunktionalität eines Subsystems teilweise im Steuergerät 120 und teilweise in ein oder mehreren Back-End Komponenten 150 realisiert ist, oder exklusiv entweder im Steuergerät 120 oder in ein oder mehreren Back-End Komponenten 150, wobei die Gesamtfunktionalität dann vollständig im Steuergerät 120 oder vollständig in ein oder mehreren Back-End Komponenten 150 realisiert ist. Ein Beispiel für eine Implementierung sowohl im Steuergerät 120 als auch in ein oder mehreren Back-End Komponenten 150 betrifft die Verarbeitung von Video- oder Audiodaten, wobei eine Vorverarbeitung auf dem Steuergerät 120 eine Datenmenge wesentlich reduzieren oder minimieren kann, während eine Nachverarbeitung auf den ein oder mehreren Back-End Komponenten 150 dann die gewünschten Ergebnisse basierend auf der reduzierten oder minimierten Datenmenge liefert. The system 100 further comprises one or more subsystems 121 , 122 , 123 , 124 , ..., preferably where the one or more subsystems are controlled by the control unit 120 are implemented. In some embodiments, at least a portion of the one or more subsystems 121 , 122 , 123 , 124 , etc. alternatively or additionally through the one or more back-end components 150 implemented. An implementation can either be in the control unit 120 as well as in one or more back-end components 150 , with an overall functionality of a subsystem partially in the control unit 120 and partly in one or more back-end components 150 is realized, or exclusively either in the control unit 120 or in one or more back-end components 150 The entire functionality is then completely in the control unit 120 or completely in one or more back-end components 150 is realized. An example of an implementation both in the control unit 120 as well as in one or more back-end components 150 relates to the processing of video or audio data, with preprocessing on the control unit 120 can significantly reduce or minimize an amount of data while post-processing on the one or more back-end components 150 then delivers the desired results based on the reduced or minimized amount of data.

In einer bevorzugten Ausführungsform stellen die ein oder mehreren Subsysteme 121, 122, 123, 124, ..., ein oder mehrere der folgenden Funktionen bereit: Erfassen einer Verhaltensänderung eines oder mehrerer Nutzer 60, 60', 60" (z.B. Fokussierung auf ein oder mehrere Objekte außerhalb des Fahrzeugs 80), Erfassen eines Gesichtsausdrucks und/oder einer Änderung eines Gesichtsausdrucks eines oder mehrerer Nutzer 60, 60', 60" (z.B. Erfassen eines Gesichtsausdrucks, der einem beunruhigten oder besorgten Gemütszustand zugeordnet werden kann), Erfassen einer Blickrichtung und/oder einer Änderung der Blickrichtung eines oder mehrerer Nutzer 60, 60', 60" (z.B. Blickrichtung nach außen oder in Richtung ein oder mehrere Objekte außerhalb des Fahrzeugs 80), Erfassen eines Objektes in einer Blickrichtung eines oder mehrerer Nutzer 60, 60', 60" (z.B. andere Verkehrsteilnehmer), Erfassen eines wesentlichen Änderung eines oder mehrerer Betriebsparameter des Fahrzeugs 80, Erfassen von Umgebungsdaten, die eine oder mehrere Ereignisse kennzeichnen, die nicht mit einem regulären oder normalen Betrieb des Fahrzeugs 80 assoziiert werden, Ermitteln, ob eine oder mehrere wesentliche Änderungen eines oder mehrerer Betriebsparameter des Fahrzeugs 80 auf einen nicht regulären oder nicht normalen Betrieb des Fahrzeugs 80 schließen lassen, Kennzeichnen eines oder mehrerer Objekte außerhalb des Fahrzeugs 80 als einem regulären oder normalen Betrieb des Fahrzeugs 80 entsprechend und Ausgeben einer akustischen Mitteilung an ein oder mehrere Nutzer 60, 60', 60" des Fahrzeugs 80 betreffend ein oder mehrere Betriebsparameter des Fahrzeugs 80 und/oder betreffend ein oder mehrere Objekte in der Umgebung des Fahrzeugs 80.In a preferred embodiment, the one or more subsystems 121 , 122 , 123 , 124 , ..., one or more of the following functions ready: Record a change in behavior of one or more users 60 , 60 ' , 60 " (e.g. focusing on one or more objects outside the vehicle 80 ), Capturing a facial expression and / or a change in a facial expression of one or more users 60 , 60 ' , 60 " (For example, recording a facial expression that can be assigned to a disturbed or worried state of mind), recording a direction of gaze and / or a change in the direction of one or more users 60 , 60 ' , 60 " (e.g. looking outwards or in the direction of one or more objects outside the vehicle 80 ), Capturing an object in one direction of view of one or more users 60 , 60 ' , 60 " (e.g. other road users), detection of a significant change in one or more operating parameters of the vehicle 80 , Acquisition of environmental data that characterize one or more events that are inconsistent with regular or normal operation of the vehicle 80 are associated, determining whether one or more significant changes in one or more operating parameters of the vehicle 80 abnormal or abnormal operation of the vehicle 80 close, marking one or more objects outside the vehicle 80 than a regular or normal operation of the vehicle 80 accordingly and outputting an acoustic message to one or more users 60 , 60 ' , 60 " of the vehicle 80 relating to one or more operating parameters of the vehicle 80 and / or relating to one or more objects in the vicinity of the vehicle 80 .

Das System 100 ist gemäß der vorliegenden Offenbarung konfiguriert, einen Zustand (insbesondere einen Gemütszustand) eines oder mehrerer Nutzer 60, 60', 60" des Fahrzeugs 80 zu erfassen und eine Beeinträchtigung dessen (z.B. in Form einer Abweichung von einem als regulär, normal oder unbedenklich eingestuften Zustand) zu ermitteln. Ein regulärer Zustand bzw. ein Normalzustand ist konfiguriert, einen Zustand eines Nutzers 60, 60', 60" ohne Beeinträchtigung zu kennzeichnen und/oder einen Zustand in dem der jeweilige Nutzer keine Beunruhigung zeigt. Der Normalzustand kann einen jeweiligen kontextabhängigen Normalzustand für jeden der ein oder mehreren Nutzer 60, 60', 60" umfassen, wobei der jeweilige kontextabhängige Normalzustand von ein oder mehreren Kontextparametern abhängig ist. So kann der jeweilige Normalzustand beispielsweise von einer Tageszeit, einem Ort, einem Nutzungskontext, oder anderen Parametern abhängen. Ein jeweiliger Normalzustand eines Nutzers 60, 60', 60" kann im Fahrzeug 80 oder extern zum Fahrzeug 80 gespeichert werden. Weiter kann ein jeweiliger Normalzustand eines Nutzers 60, 60', 60" über einen Zeitraum als solcher erfasst werden, wobei der Zeitraum vorzugsweise mindesten einige Minuten, bevorzugt einige zehn Minuten, oder eine Stunde umfasst. Die Erfassung kann kontinuierlich erfolgen oder bedarfsweise über einen oder mehrere Zeiträume. Weiter kann die Erfassung in regelmäßigen Abständen wiederholt oder aktualisiert werden, um Veränderungen im Verhalten eines jeweiligen Nutzers 60, 60', 60" zu erfassen bzw. abzubilden.The system 100 is configured according to the present disclosure, a state (in particular a state of mind) of one or more users 60 , 60 ' , 60 " of the vehicle 80 and determine any impairment of this (e.g. in the form of a deviation from a condition classified as regular, normal or harmless). A regular state or a normal state is configured, a state of a user 60 , 60 ' , 60 " to mark without impairment and / or a state in which the respective user shows no concern. The normal state can be a respective context-dependent normal state for each of the one or more users 60 , 60 ' , 60 " include, wherein the respective context-dependent normal state is dependent on one or more context parameters. For example, the respective normal state can depend on a time of day, a location, a context of use, or other parameters. A respective normal state of a user 60 , 60 ' , 60 " can in the vehicle 80 or external to the vehicle 80 get saved. Furthermore, a respective normal state of a user 60 , 60 ' , 60 " can be recorded as such over a period of time, the period of time preferably comprising at least a few minutes, preferably a few tens of minutes, or an hour. The acquisition can take place continuously or, if necessary, over one or more time periods. Furthermore, the recording can be repeated or updated at regular intervals to reflect changes in the behavior of the respective user 60 , 60 ' , 60 " to record or map.

Basierend darauf kann das System 100 ermitteln, ob eine Information an die ein oder mehreren Nutzer 60, 60', 60" des Fahrzeugs 80 ausgegeben werden soll, um die Beeinträchtigung des Zustands zu verringern oder zu minimieren, oder um einen als regulär, normal oder unbedenklich eingestuften Zustand wiederherzustellen. Die Information umfasst vorzugsweise visuelle, audiovisuelle und/oder akustische Signale. Der Zustand des Nutzers 60, 60', 60" wird vorzugsweise vom System 100 quantitativ und/oder qualitativ ermittelt. Weiter vorzugsweise ist das System 100 konfiguriert, einen als regulär, normal oder unbedenklich eingestuften Zustand zu ermitteln und/oder aktuell zu halten, vorzugsweise jeweils für einen Nutzer 60, 60', 60" aus einer Vielzahl von Nutzern 60, 60', 60". Alle Zustände, einschließlich momentan vorhandene oder aktuell ermittelte, sowie als regulär, normal oder unbedenklich eingestufte Zustände werden vorzugsweise kontextbasiert ermittelt, aktuell gehalten und/oder gespeichert, sodass kontextbasiert eine Bewertung erfolgen kann (z.B. abhängig von Zeit, Datum, Ort, Tageszeit, Wochentag, Wetter, Temperatur und dergleichen mehr).Based on this, the system can 100 determine whether information is sent to the one or more users 60 , 60 ' , 60 " of the vehicle 80 should be issued in order to reduce or minimize the impairment of the condition, or to restore a condition that is classified as regular, normal or harmless. The information preferably includes visual, audiovisual and / or acoustic signals. The state of the user 60 , 60 ' , 60 " is preferred by the system 100 determined quantitatively and / or qualitatively. The system is further preferred 100 configured to determine a status classified as regular, normal or harmless and / or to keep it current, preferably for one user in each case 60 , 60 ' , 60 " from a wide variety of users 60 , 60 ' , 60 " . All states, including those currently present or currently determined, as well as those classified as regular, normal or harmless, are preferably determined based on the context, kept up-to-date and / or stored so that an assessment can be made based on the context (e.g. depending on time, date, location, time of day, weekday , Weather, temperature and the like).

In einem ersten Anwendungsbeispiel erfasst das System 100 gemäß der vorliegenden Offenbarung eine Änderung des Gesichtsausdrucks eines Nutzers 60, 60', 60" und ermittelt, basierend auf einer Vielzahl von Gesichtsausdrücken des Nutzers 60, 60', 60", einen besorgnisausdrückenden Gemütszustand des Nutzers 60, 60', 60". Weiter erfasst das System eine Blickrichtung des Nutzers 60, 60', 60", die auf ein in der Umgebung des Fahrzeugs 80 befindliches Fremdfahrzeug gerichtet ist. Das System 100 erfasst ein oder mehrere aktuelle Betriebsparameter des Fahrzeugs 80 (z.B. Fahrtrichtung und - geschwindigkeit) und Betriebsparameter des Fremdfahrzeugs (z.B. Fahrtrichtung und - geschwindigkeit) und ermittelt, ob aufgrund der erfassten Betriebsparameter des Fahrzeugs 80 sowie des Fremdfahrzeugs eine Gefahr besteht (z.B. Berührung, Zusammenstoß). Das System 100 ermittelt im ersten Anwendungsbeispiel, dass basierend auf den erfassten Betriebsparametern des Fahrzeugs 80 sowie des Fremdfahrzeugs keine Gefahrensituation vorliegt und gibt eine entsprechende Ausgabe an den Nutzer 60, 60', 60" aus. Die Ausgabe umfasst eine Projektion einer grün eingefärbten, transparenten Fläche auf das Fenster, das in der erfassten Blickrichtung des Nutzers 60, 60', 60" liegt, wobei die projizierte Fläche sich bezogen auf die erfasste Blickrichtung des Nutzers 60, 60', 60" im Wesentlichen in Überlagerung mit dem Fremdfahrzeug befindet. Dem Nutzer 60, 60', 60" wird so subtil suggeriert, dass vom durch den Nutzer 60, 60', 60" anvisierten Fremdfahrzeug keine Gefahr ausgeht.In a first application example, the system records 100 a change in a user's facial expression in accordance with the present disclosure 60 , 60 ' , 60 " and determined based on a plurality of facial expressions of the user 60 , 60 ' , 60 " , a user expressing concern 60 , 60 ' , 60 " . The system also records a direction in which the user is looking 60 , 60 ' , 60 " pointing to one around the vehicle 80 foreign vehicle is directed. The system 100 detects one or more current operating parameters of the vehicle 80 (e.g. direction and speed of travel) and operating parameters of the third-party vehicle (e.g. direction and speed of travel) and determines whether based on the recorded operating parameters of the vehicle 80 as well as the other vehicle there is a danger (e.g. contact, collision). The system 100 determines in the first application example that based on the recorded operating parameters of the vehicle 80 as well as the third-party vehicle, there is no dangerous situation and issues a corresponding output to the user 60 , 60 ' , 60 " out. The output includes a projection of a green-colored, transparent surface onto the window, which is in the user's viewing direction 60 , 60 ' , 60 " The projected area is related to the user's viewing direction 60 , 60 ' , 60 " essentially in superposition with the other vehicle is located. The user 60 , 60 ' , 60 " is so subtly suggested that by the user 60 , 60 ' , 60 " targeted foreign vehicle poses no danger.

In einem zweiten Anwendungsbeispiel erfasst das System 100 gemäß der vorliegenden Offenbarung eine Änderung des Gesichtsausdrucks zweier Nutzer 60, 60', 60" und ermittelt, basierend auf einer Vielzahl von Gesichtsausdrücken des jeweiligen Nutzers 60, 60', 60", einen von einem jeweiligen regulären bzw. als normal eingestuften Gesichtsausdruck der Nutzer 60, 60', 60". Weiter erfasst das System 100 ein oder mehrere aktuelle Betriebsparameter des Fahrzeugs 80 und ermittelt, basierend auf den erfassten ein oder mehreren aktuelle Betriebsparameter des Fahrzeugs 80 (z.B. mittels Reifendrucksensorik ermittelte Reifendrücke), einen Defekt am Fahrzeug 80 in Form eines plötzlichen Reifendruckverlustes. Das System 100 ermittelt weiter, basierend auf den erfassten ein oder mehrere Betriebsparametern des Fahrzeugs 80 (z.B. betreffend Ausstattungsmerkmale des Fahrzeugs 80), dass das Fahrzeug 80 mit Run-Flat Reifen ausgestattet ist, und das Fahrzeug 80 daher mit reduzierter Geschwindigkeit weiter betrieben werden kann. Das System 100 ermittelt somit im zweiten Anwendungsbeispiel, dass basierend auf den erfassten Betriebsparametern des Fahrzeugs 80 keine Gefahrensituation vorliegt und gibt eine entsprechende Ausgabe an den Nutzer 60, 60', 60" aus. Die Ausgabe umfasst im zweiten Anwendungsbeispiel eine Sprachausgabe, mittels derer die Nutzer 60, 60', 60" über den Defekt informiert werden und darüber, dass eine Weiterfahrt möglich ist. In einer bevorzugten Ausführungsform ist das System 100 konfiguriert, Daten aus dem Navigationssystem zu berücksichtigen. Basierend auf diesen Daten kann das System 100 eine Restfahrtstrecke ermitteln und mit einer durch den Reifendefekt bedingten, empfohlenen maximalen verbleibenden Fahrtstrecke zu vergleichen. Basierend auf dem Vergleich kann das System 100 den bzw. die Nutzer 60, 60', 60" darüber informieren, dass ein ins Navigationssystem eingegebenes Ziel noch erreicht werden kann, oder alternativ, dass eine Werkstätte zur Reparatur des Defektes angesteuert werden sollte.In a second application example, the system records 100 in accordance with the present disclosure, a change in the facial expression of two users 60 , 60 ' , 60 " and determined based on a plurality of facial expressions of the respective user 60 , 60 ' , 60 " , one of a respective regular or normal facial expression of the user 60 , 60 ' , 60 " . The system also records 100 one or more current operating parameters of the vehicle 80 and determines, based on the detected one or more current operating parameters of the vehicle 80 (e.g. tire pressures determined by means of tire pressure sensors), a defect in the vehicle 80 in the form of a sudden loss of tire pressure. The system 100 further determines, based on the detected one or more operating parameters of the vehicle 80 (e.g. regarding the equipment features of the vehicle 80 ) that the vehicle 80 is equipped with run-flat tires and the vehicle 80 can therefore continue to operate at reduced speed. The system 100 thus determines in the second application example that based on the recorded operating parameters of the vehicle 80 there is no dangerous situation and issues a corresponding output to the user 60 , 60 ' , 60 " out. In the second application example, the output includes a voice output by means of which the user 60 , 60 ' , 60 " be informed of the defect and that it is possible to continue driving. In a preferred embodiment, the system is 100 configured to take data from the navigation system into account. Based on this data, the system can 100 Determine a remaining distance and compare it with a recommended maximum remaining distance due to the tire defect. Based on the comparison, the system can 100 the user (s) 60 , 60 ' , 60 " inform that a destination entered in the navigation system can still be reached, or alternatively that a workshop should be headed for to repair the defect.

In einem dritten Anwendungsbeispiel berücksichtigt das System 100 gemäß der vorliegenden Offenbarung eine Vielzahl an Kontextparametern, die einen Nutzungskontext kennzeichnen, und individuelle Schwellwerte für jeden der im Fahrzeug befindlichen Nutzer 60, 60', 60". Die Kontextparameter sind konfiguriert, einen Nutzungskontext zu kennzeichnen, beispielsweise umfassend Zeit, Datum, Ort, Tageszeit, Wochentag, Wetter, und/oder Temperatur. Im dritten Anwendungsbeispiel weisen ein erster Nutzer 60, 60', 60" und ein zweiter Nutzer 60, 60', 60" unterschiedliche Schwellwerte auf, wobei der erste Nutzer 60, 60', 60" eher selten zur Beunruhigung neigt und der zweite Nutzer 60, 60', 60", beispielsweise aufgrund einer schlechten Erfahrung, öfter zu Beunruhigung neigt. Die Kontextparameter weisen eine Fahrt bei schlechtem Wetter und hoher Verkehrsdichte aus. Das System 100 stellt in diesem Fall eine Beunruhigung des zweiten Nutzers 60, 60', 60" fest, während eine Erfassung des ersten Nutzer 60, 60', 60" keine Anzeichen dafür liefert. Entsprechend gibt das System 100 eine Information an den zweiten Nutzer 60, 60', 60" aus, dass sich die Betriebsparameter des Fahrzeugs im Normalbereich befinden und dass trotz höherer Verkehrsdichte eine pünktliche Ankunft am Ziel erwartet wird. Dies kann über eine optische Anzeige (z.B. im Rear-Seat Infotainment) exklusiv für den zweiten Nutzer 60, 60', 60" erfolgen, oder alternativ bzw. zusätzlich per Sprachausgabe für alle Nutzer 60, 60', 60" unabhängig einer für den/die jeweiligen Nutzer 60, 60', 60" festgestellte Beunruhigung.In a third application example, the system takes into account 100 According to the present disclosure, a multiplicity of context parameters which characterize a context of use, and individual threshold values for each of the users located in the vehicle 60 , 60 ' , 60 " . The context parameters are configured to identify a context of use, for example including time, date, location, time of day, weekday, weather and / or temperature. In the third application example, a first user 60 , 60 ' , 60 " and a second user 60 , 60 ' , 60 " different threshold values, with the first user 60 , 60 ' , 60 " rarely tends to be concerned and the second user 60 , 60 ' , 60 " tends to be more worried, for example because of a bad experience. The context parameters indicate a journey in bad weather and high traffic density. The system 100 in this case is a concern for the second user 60 , 60 ' , 60 " fixed while a capture of the first user 60 , 60 ' , 60 " gives no evidence of this. The system gives accordingly 100 information to the second user 60 , 60 ' , 60 " Assumes that the operating parameters of the vehicle are in the normal range and that punctual arrival at the destination is expected despite the higher traffic density. This can be done exclusively for the second user via an optical display (e.g. in the rear seat infotainment) 60 , 60 ' , 60 " or alternatively or additionally by voice output for all users 60 , 60 ' , 60 " independently one for the respective user 60 , 60 ' , 60 " noted concern.

Die Schwellwerte können wahlweise basierend auf den Kontextparametern bzw. abhängig davon ermittelt werden. So ist das System 100 konfiguriert, in Abhängigkeit der Kontextparameter und/oder in Abhängigkeit der individuellen Schwellwerte eine Bewertung der konkreten Fahrsituation und ggfs. Information der Nutzer 60, 60', 60" zu bewirken. So ist es beispielsweise möglich, dass einzelne Nutzer 60, 60', 60" einem ersten Kontext (z.B. tagsüber, im Stadtverkehr, bei niedrigen Geschwindigkeiten) relativ hohe Schwellwerte aufweisen (d.h. eher nicht zur Beunruhigung neigen) und in einem zweiten Kontext (z.B. abends oder nachts, auf Autobahnen oder Landstraßen, bei mittleren oder höheren Geschwindigkeiten) relativ geringe Schwellwerte aufweisen (d.h. eher zur Beunruhigung neigen).The threshold values can optionally be determined based on the context parameters or as a function thereof. So is the system 100 configured, as a function of the context parameters and / or as a function of the individual threshold values, an evaluation of the specific driving situation and, if necessary, information for the user 60 , 60 ' , 60 " to effect. For example, it is possible that individual users 60 , 60 ' , 60 " have relatively high threshold values in a first context (e.g. during the day, in city traffic, at low speeds) (i.e. rather not inclined to worry) and relatively low in a second context (e.g. in the evening or at night, on motorways or country roads, at medium or high speeds) Have threshold values (ie tend to be more alarmed).

In einem vierten Anwendungsbeispiel erfasst das System 100 gemäß der vorliegenden Offenbarung eine Änderung des Gesichtsausdrucks eines oder mehrerer Nutzer 60, 60', 60" und ermittelt, basierend auf einer Vielzahl von Gesichtsausdrücken des jeweiligen Nutzers 60, 60', 60", einen von einem jeweiligen regulären bzw. als normal eingestuften Gesichtsausdruck der Nutzer 60, 60', 60". Weiter erfasst das System 100 ein oder mehrere Umfeldparameter, die einen Betrieb des Fahrzeugs 80 kennzeichnen und ermittelt, basierend auf den erfassten ein oder mehreren Umfeldparametern eine ungewöhnliche Geräuschentwicklung außerhalb des Fahrzeugs 80, welche durch ein Einsatzfahrzeug mit Signalhorn bedingt ist. Das System 100 ermittelt weiter, basierend auf den erfassten ein oder mehreren Umfeldparametern, eine voraussichtliche Trajektorie des Einsatzfahrzeugs und setzt diese in Relation zu einer geplanten bzw. alternativen Trajektorie des Fahrzeugs 80 selbst. Hierbei kann das System 100 eine eventuelle Reaktion auf die Präsenz des Einsatzfahrzeugs berücksichtigen und gegebenenfalls von der geplanten Trajektorie abweichen (z.B. Bildung einer Rettungsgasse, Ausweichen auf Stand- oder Grünstreifen). Das System 100 ermittelt somit im vierten Anwendungsbeispiel, dass basierend auf den erfassten ein oder mehreren Umfeldparametern keine Gefahrensituation vorliegt und gibt eine entsprechende Ausgabe an den Nutzer 60, 60', 60" aus. Die Ausgabe umfasst im vierten Anwendungsbeispiel eine Sprachausgabe, mittels derer die Nutzer 60, 60', 60" über die Präsenz des Einsatzfahrzeugs. In einer bevorzugten Ausführungsform ist das System 100 konfiguriert, den oder die Nutzer 60, 60', 60" über eine eventuell erforderliche zeitweise Abweichung von einer geplanten Trajektorie hinzuweisen (z.B. zur Bildung einer Rettungsgasse, Ausweichen auf Stand- oder Grünstreifen) und darüber, dass eine Weiterfahrt in kürze möglich sein wird.In a fourth application example, the system records 100 a change in the facial expression of one or more users in accordance with the present disclosure 60 , 60 ' , 60 " and determined based on a plurality of facial expressions of the respective user 60 , 60 ' , 60 " , one of a respective regular or normal facial expression of the user 60 , 60 ' , 60 " . The system also records 100 one or more environmental parameters that affect the operation of the vehicle 80 identify and determine, based on the recorded one or more environmental parameters, an unusual noise development outside the vehicle 80 which is caused by an emergency vehicle with a horn. The system 100 further determines, based on the recorded one or more environmental parameters, a probable trajectory of the emergency vehicle and sets this in relation to a planned or alternative trajectory of the vehicle 80 itself. Here the system 100 take into account a possible reaction to the presence of the emergency vehicle and, if necessary, deviate from the planned trajectory (e.g. formation of an emergency lane, switch to stationary or green strips). The system 100 thus determines in the fourth application example that based on the recorded one or more environmental parameters there is no hazardous situation and outputs a corresponding output to the user 60 , 60 ' , 60 " out. In the fourth application example, the output includes a voice output by means of which the user 60 , 60 ' , 60 " about the presence of the emergency vehicle. In a preferred embodiment, the system is 100 configured, the user or users 60 , 60 ' , 60 " to point out any necessary temporary deviation from a planned trajectory (e.g. to create a rescue lane, switch to standing or green strips) and that it will be possible to continue driving shortly.

In einem fünften Anwendungsbeispiel erfasst das System 100 gemäß der vorliegenden Offenbarung ein oder mehrere Umfeldparameter, die einen Betrieb des Fahrzeugs 80 kennzeichnen und ermittelt, basierend auf den erfassten ein oder mehreren Umfeldparametern eine ungewöhnliche Geräuschentwicklung außerhalb des Fahrzeugs 80, welche durch eine von einem anderen Verkehrsteilnehmer ausgehende Geräuschentwicklung (z.B. Hupen eines anderen Fahrzeugs; alternativ Fahrradklingel, verbale Äußerung eines Fußgängers) bedingt ist. Das System 100 kann insbesondere konfiguriert sein, noch vor der Erfassung einer Änderung des Gesichtsausdrucks eines oder mehrerer Nutzer 60, 60', 60" und einer auf einer Vielzahl von Gesichtsausdrücken des jeweiligen Nutzers 60, 60', 60" basierendem Vergleich mit einem jeweiligen regulären bzw. als normal eingestuften Gesichtsausdruck der Nutzer 60, 60', 60" aktiv zu werden. Das System 100 ermittelt weiter, basierend auf den erfassten ein oder mehreren Umfeldparametern, dass die Geräuschentwicklung bzw. das Schallzeichen des anderen Verkehrsteilnehmers an einen dritten Verkehrsteilnehmer gerichtet ist bzw. war, und dass keine Gefahrensituation vorliegt. Das System gibt demnach eine entsprechende Ausgabe an den bzw. die Nutzer 60, 60', 60" aus. Die Ausgabe umfasst im fünften Anwendungsbeispiel eine Sprachausgabe, mittels derer der oder die Nutzer 60, 60', 60" über die Verkehrssituation informiert wird bzw. werden.In a fifth application example, the system records 100 According to the present disclosure, one or more environmental parameters that affect operation of the vehicle 80 identify and determine, based on the recorded one or more environmental parameters, an unusual noise development outside the vehicle 80 which is caused by a noise emanating from another road user (e.g. horn of another vehicle; alternatively, bicycle bell, verbal utterance by a pedestrian). The system 100 can in particular be configured even before a change in the facial expression of one or more users is detected 60 , 60 ' , 60 " and one on a variety of facial expressions of the respective user 60 , 60 ' , 60 " based comparison with a respective regular or normal facial expression of the user 60 , 60 ' , 60 " to get active. The system 100 further determines, based on the detected one or more environmental parameters, that the noise development or the sound signal of the other road user is or was directed to a third road user, and that there is no dangerous situation. The system accordingly gives a corresponding output to the user (s) 60 , 60 ' , 60 " out. In the fifth application example, the output includes a voice output by means of which the user or users 60 , 60 ' , 60 " is or are informed about the traffic situation.

Das System 100 kann weiter konfiguriert sein, eine Effektivität der Ausgabe von Informationen an ein oder mehrere Nutzer 60, 60', 60" zu ermitteln. Eine Effektivität kann beispielsweise basierend auf einer quantifizierbaren und/oder qualitativ erfassbaren Änderung des Zustands eines Nutzers 60, 60', 60" ermittelt werden. Hierbei kann das System konfiguriert sein, innerhalb vorbestimmter Intervalle oder ausgelöst durch eine erfasste Veränderung des Zustands eines oder mehrerer Nutzer 60, 60', 60" eine Veränderung (bzw. das Fehlen einer Veränderung) zu erfassen und die Effektivität entsprechend zu ermitteln. Bei einer fehlenden oder zu geringen Effektivität kann das System 100 erneut eine Ausgabe von Informationen an den bzw. die Nutzer 60, 60', 60" vornehmen. Das Fehlen einer Veränderung nach Erfassen eines Zustands eines Nutzers 60, 60', 60" und einer erfolgten Ausgabe von Informationen an den Nutzer 60, 60', 60" kann mit einer geringen Effektivität assoziiert werden. In einem solchen Fall kann das System 100 konfiguriert sein, eine Modalität der Ausgabe zu verändern, um die Effektivität zu erhöhen (z.B. Sprachausgabe anstatt oder zusätzlich zu einer optischen Ausgabe).The system 100 can further be configured, an effectiveness of the output of information to one or more users 60 , 60 ' , 60 " to investigate. An effectiveness can for example be based on a quantifiable and / or qualitatively detectable change in the status of a user 60 , 60 ' , 60 " be determined. Here, the system can be configured within predetermined intervals or triggered by a detected change in the status of one or more users 60 , 60 ' , 60 " record a change (or the lack of a change) and determine its effectiveness accordingly. If there is no or insufficient effectiveness, the system 100 again an output of information to the user or users 60 , 60 ' , 60 " make. The lack of a change after detecting a state of a user 60 , 60 ' , 60 " and a successful output of information to the user 60 , 60 ' , 60 " can be associated with low effectiveness. In such a case, the system can 100 be configured to change a modality of the output in order to increase the effectiveness (e.g. speech output instead of or in addition to an optical output).

3 zeigt ein Flussdiagramm eines Verfahrens 300 zur Information von Nutzern 60, 60', 60" eines Fahrzeugs 80 gemäß Ausführungsformen der vorliegenden Offenbarung. Das Verfahren beginnt bei Schritt 301. In Schritt 302 werden für jeden der ein oder mehreren Nutzer 60, 60', 60", ein oder mehrere Zustandsparameter Erfasst, die einen Zustand des jeweiligen Nutzers 60, 60', 60" kennzeichnen. In Schritt 304, wird für jeden der ein oder mehreren Nutzer 60, 60', 60", ein Zustand des jeweiligen Nutzers 60, 60', 60" ermittelt, basierend auf den erfassten ein oder mehreren Zustandsparametern. In Schritt 306, wird für jeden der ein oder mehreren Nutzer 60, 60', 60" eine jeweilige Abweichung des ermittelten jeweiligen Zustands von einem Normalzustand ermittelt. In Schritt 308 werden ein oder mehrere Betriebsparameter ermittelt, die einen Betrieb des Fahrzeugs 80 kennzeichnen. In Schritt 310 wird ermittelt, basierend auf den ermittelten ein oder mehreren Betriebsparametern und auf den ermittelten ein oder mehreren Abweichungen, ob eine Information an die ein oder mehreren Nutzer 60, 60', 60" ausgegeben werden soll. Falls eine Information ausgegeben werden soll wird in Schritt 312 die auszugebende Information ermittelt, basierend auf den ermittelten ein oder mehreren Betriebsparametern und auf den ermittelten ein oder mehreren Abweichungen; und in Schritt 314 wird die auszugebende Information an die ein oder mehreren Nutzer 60, 60', 60" ausgegeben. 3 shows a flow diagram of a method 300 to inform users 60 , 60 ' , 60 " of a vehicle 80 in accordance with embodiments of the present disclosure. The procedure starts at step 301 . In step 302 be for each of the one or more users 60 , 60 ' , 60 " , one or more status parameters are recorded, which a status of the respective user 60 , 60 ' , 60 " mark. In step 304 , will be for each of the one or more users 60 , 60 ' , 60 " , a state of the respective user 60 , 60 ' , 60 " determined based on the recorded one or more state parameters. In step 306 , will be for each of the one or more users 60 , 60 ' , 60 " a respective deviation of the determined respective state from a normal state is determined. In step 308 one or more operating parameters are determined that an operation of the vehicle 80 mark. In step 310 it is determined, based on the determined one or more operating parameters and on the determined one or more deviations, whether information is sent to the one or more users 60 , 60 ' , 60 " should be output. If information is to be output in step 312 determines the information to be output based on the determined one or more operating parameters and on the determined one or more deviations; and in step 314 the information to be output to the one or more users 60 , 60 ' , 60 " issued.

Obwohl die Erfindung im Detail durch bevorzugte Ausführungsbeispiele näher illustriert und erläutert wurde, so ist die Erfindung nicht durch die offenbarten Beispiele eingeschränkt und andere Variationen können vom Fachmann hieraus abgeleitet werden, ohne den Schutzumfang der Erfindung zu verlassen. Es ist daher klar, dass eine Vielzahl von Variationsmöglichkeiten existiert. Es ist ebenfalls klar, dass beispielhaft genannte Ausführungsformen wirklich nur Beispiele darstellen, die nicht in irgendeiner Weise als Begrenzung etwa des Schutzbereichs, der Anwendungsmöglichkeiten oder der Konfiguration der Erfindung aufzufassen sind. Vielmehr versetzen die vorhergehende Beschreibung und die Figurenbeschreibung den Fachmann in die Lage, die beispielhaften Ausführungsformen konkret umzusetzen, wobei der Fachmann in Kenntnis des offenbarten Erfindungsgedankens vielfältige Änderungen beispielsweise hinsichtlich der Funktion oder der Anordnung einzelner, in einer beispielhaften Ausführungsform genannter Elemente vornehmen kann, ohne den Schutzbereich zu verlassen, der durch die Ansprüche und deren rechtliche Entsprechungen, wie etwa weitergehenden Erläuterungen in der Beschreibung, definiert wird.Although the invention has been illustrated and explained in more detail by preferred exemplary embodiments, the invention is not restricted by the disclosed examples and other variations can be derived therefrom by the person skilled in the art without departing from the scope of protection of the invention. It is therefore clear that there is a multitude of possible variations. It is also clear that embodiments cited by way of example really only represent examples that are not to be interpreted in any way as a limitation, for example, of the scope of protection, the possible applications or the configuration of the invention. Rather, the preceding description and the description of the figures enable the person skilled in the art to specifically implement the exemplary embodiments, the person skilled in the art having knowledge of the disclosed inventive concept making various changes for example with regard to the function or the arrangement of individual elements mentioned in an exemplary embodiment, without leaving the scope of protection defined by the claims and their legal equivalents, such as further explanations in the description.

ZITATE ENTHALTEN IN DER BESCHREIBUNGQUOTES INCLUDED IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of the documents listed by the applicant was generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturPatent literature cited

US 2010/0134302 A1 [0005]
US 2018061415 A1 [0006]
WO 2002/063599 A1 [0007]

Claims

A method (300) for informing one or more users (60, 60 ', 60 ") of a vehicle (80), the method comprising: Detecting (302), for each of the one or more users (60, 60 ', 60 "), one or more status parameters which identify a status of the respective user (60, 60', 60"); Determining (304), for each of the one or more users (60, 60 ', 60 "), a status of the respective user (60, 60', 60") based on the detected one or more status parameters; Determining (306), for each of the one or more users (60, 60 ', 60 "), a respective deviation of the determined respective state from a normal state; Determining (308) one or more operating parameters that characterize operation of the vehicle (80); Determining (310), based on the determined one or more operating parameters and on the determined one or more deviations, whether information is to be output to the one or more users (60, 60 ', 60 "); and if information is to be output: - Determining (312) the information to be output based on the determined one or more operating parameters and on the determined one or more deviations; and - Outputting (314) the information to be output to the one or more users (60, 60 ', 60 ").

Method (300) according to the preceding Claim 1 wherein detection (302) takes place based on one or more status parameters based on a sensor system (160) of the vehicle (80); preferably the sensor system (160) comprising one or more of: a first sensor device (161) which is configured to capture a facial expression of one or more users (60, 60 ', 60 "), first sensor device (161) preferably comprising one or a plurality of cameras or optical sensors; - a second sensor device (162) which is configured to detect a viewing direction of one or more users (60, 60 ', 60 "), the second sensor device (162) preferably comprising one or more cameras or optical sensors; - a third sensor device (163) that is configured to detect an operation of one or more operating elements of the vehicle 80 by one or more users (60, 60 ', 60 "); and - a fifth sensor device (165) that is configured is to record noises in the vehicle 80 and / or voice inputs of one or more users (60, 60 ', 60 "); the fifth sensor device (165) preferably comprising one or more microphones.

Method (300) according to one of the preceding Claims 1 or 2 wherein the one or more operating parameters are determined (308) based on one or the sensor system (160) of the vehicle (80); preferably the sensor system (160) comprising a fourth sensor device (164) which is configured to detect one or more operating parameters of the vehicle 80; wherein the one or more operating parameters are preferably determined (308) indirectly via a control unit (120) of the vehicle (80).

Method (300) according to one of the preceding Claims 1 to 3 wherein determining (312) the information to be output comprises one or more of: determining audio-visual information; Determining acoustic information; and determining visual information.

Method (300) according to one of the preceding Claims 1 to 4th , wherein outputting (314) the information to be output to the one or more users (60, 60 ', 60 ") comprises one or more of: displaying visual information on a window area (170; 171, 172, 173, 174) of the vehicle (80); displaying a visual part of audio-visual information on a window area (170; 171, 172, 173, 174) of the vehicle (80); reproducing acoustic information via one or more acoustic output units (178) of the vehicle (80); Playback of an acoustic part of audio-visual information via one or more acoustic output units (178) of the vehicle (80); and display of at least part of the information to be output on one or more display units (110) of the vehicle (80).

Method (300) according to one of the preceding Claims 1 to 5 , further comprising determining one or more context parameters which are configured to identify a context of the use of the vehicle (80) by the one or more users (60, 60 ', 60 "); wherein the steps of determining (310) whether information to which one or more users (60, 60 ', 60 ") is to be output and / or the determination (312) of the information to be output is further based on the determined one or more context parameters.

Method (300) according to the preceding Claim 6 , wherein the normal state comprises a respective normal state for each of the one or more users (60, 60 ', 60 "); and / or wherein normal state comprises a respective context-dependent normal state for each of the one or more users (60, 60', 60") comprises, wherein the respective context-dependent normal state is dependent on the one or more context parameters.

Method (300) according to one of the preceding Claims 1 to 7th , further comprising determining, for each of the one or more users (60, 60 ', 60 "), the normal status based on determining the one or more status parameters of the respective user (60, 60', 60") over a predetermined period of time; and / or determining, for each of the one or more users (60, 60 ', 60 "), the normal status based on one or more status parameters of the respective user (60, 60', 60"), the one or more status parameters in are stored in a memory, preferably wherein the memory is implemented in a control unit (120) of the vehicle (80) and / or in one or more back-end components (150).

System (100) for informing one or more users (60, 60 ', 60 ") of a vehicle (80), the system (100) comprising: a control unit (120); and / or one or more back-end components (150 ); wherein the control unit (120) and / or the one or more back-end components (150) are configured, the method (300) according to one of the preceding Claims 1 to 8th execute.

Vehicle (80) comprising a control device (120), wherein the control device (120) is configured, one or more steps of the method (300) according to one of the preceding Claims 1 to 8th execute.