DE102018006828A1 - Method and device for supporting a vehicle user - Google Patents

Method and device for supporting a vehicle user Download PDF

Info

Publication number
DE102018006828A1
DE102018006828A1 DE102018006828.6A DE102018006828A DE102018006828A1 DE 102018006828 A1 DE102018006828 A1 DE 102018006828A1 DE 102018006828 A DE102018006828 A DE 102018006828A DE 102018006828 A1 DE102018006828 A1 DE 102018006828A1
Authority
DE
Germany
Prior art keywords
vehicle user
vehicle
unit
facial expression
explanation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
DE102018006828.6A
Other languages
German (de)
Inventor
Christoph Gäng
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mercedes Benz Group AG
Original Assignee
Daimler AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Daimler AG filed Critical Daimler AG
Priority to DE102018006828.6A priority Critical patent/DE102018006828A1/en
Publication of DE102018006828A1 publication Critical patent/DE102018006828A1/en
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/16Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/18Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/16Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/163Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state by tracking eye movement, gaze, or pupil change
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/16Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165Evaluating the state of mind, e.g. depression, anxiety
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60QARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/59Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174Facial expression recognition

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Psychiatry (AREA)
  • General Health & Medical Sciences (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Surgery (AREA)
  • Social Psychology (AREA)
  • Hospice & Palliative Care (AREA)
  • Educational Technology (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Developmental Disabilities (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Psychology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Child & Adolescent Psychology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

Die Erfindung betrifft ein Verfahren zur Unterstützung eines Fahrzeugnutzers, bei welchem in Abhängigkeit einer Mimik sowie einer Blickrichtung des Fahrzeugnutzers Bedürfnisse des Fahrzeugnutzers erkannt werden, wobei in Abhängigkeit von den ermittelten Bedürfnissen den Bedürfnissen entsprechende Informationen an den Fahrzeugnutzer ausgegeben werden. Bei einem Verfahren, bei welchem dem Fahrzeugnutzer neue Verkehrssituationen schnell erklärt werden, wird bei Erkennung eines fragenden Gesichtsausdruckes in der Mimik des Fahrzeugnutzers dessen Blickrichtung im Moment des fragenden Gesichtsausdruckes bestimmt wird und ein durch die Blickrichtung identifiziertes Objekt analysiert und eine Erklärung zu dem Objekt an den Fahrzeugnutzer ausgegeben.The invention relates to a method for supporting a vehicle user, in which needs of the vehicle user are recognized as a function of a facial expression and a line of sight of the vehicle user, wherein information corresponding to the needs is output to the vehicle user depending on the determined needs. In a method in which the vehicle user new traffic situations are quickly explained, when recognizing a questioning facial expression in the facial expression of the vehicle user whose viewing direction at the moment of the questioning facial expression is determined and analyzed by the viewing direction object analyzed and an explanation of the object to the Vehicle users spent.

Description

Die Erfindung betrifft ein Verfahren zur Unterstützung eines Fahrzeugnutzers, bei welchem in Abhängigkeit einer Mimik sowie einer Blickrichtung des Fahrzeugnutzers Bedürfnisse des Fahrzeugnutzers erkannt werden, wobei in Abhängigkeit von den ermittelten Bedürfnissen den Bedürfnissen entsprechende Informationen an den Fahrzeugnutzer ausgegeben werden sowie eine Vorrichtung zur Durchführung des Verfahrens.The invention relates to a method for supporting a vehicle user, in which needs of the vehicle user are detected depending on a facial expression and a line of sight of the vehicle user, depending on the identified needs information corresponding to the needs of the vehicle user are output and a device for performing the method ,

Aus der DE 10 2007 008 835 A1 sind eine Vorrichtung und ein Verfahren zur interaktiven Informationsausgabe und/oder Hilfestellung für den Benutzer eines Kraftfahrzeuges bekannt. Die Vorrichtung umfasst eine Erkläreinheit zum bereitstellen von Informationen für einen Fahrzeugnutzer in Abhängigkeit von ausgewerteten und interpretierten Daten. Die Daten umfassen Gestik und Mimik des Benutzers sowie dessen Blickrichtung, die durch eine in die Erkläreinheit integrierte Kameraeinheit erfasst werden. Aus den erfassten Daten werden Bedürfnisse des Benutzers hinsichtlich eines Fahrzeugproblems erkannt, wobei in Abhängigkeit der Bedürfnisse Informationen für den Benutzer bereitgestellt werden.From the DE 10 2007 008 835 A1 For example, an apparatus and a method for interactive information output and / or assistance for the user of a motor vehicle are known. The device comprises an explanation unit for providing information to a vehicle user as a function of evaluated and interpreted data. The data include gestures and facial expressions of the user as well as his direction of view, which are detected by a camera unit integrated into the explanation unit. From the collected data, user needs are identified with respect to a vehicle problem, providing information to the user depending on the needs.

Bei der Teilnahme des Fahrzeugnutzers am Straßenverkehr kann es vorkommen, das Situationen auftreten, die der Fahrzeugnutzer nicht kennt oder welche er teilweise nicht versteht.When the vehicle user participates in road traffic, it may happen that situations occur that the vehicle user does not know or which he does not understand.

Aufgabe der Erfindung ist es, ein Verfahren und eine Vorrichtung zur Unterstützung des Fahrzeugnutzers anzugeben, bei welchem dem Fahrzeugnutzer neue Verkehrssituationen schnell erklärt werden.The object of the invention is to provide a method and a device for assisting the vehicle user, in which the vehicle user new traffic situations are quickly explained.

Die Erfindung ergibt sich aus den Merkmalen der unabhängigen Ansprüche. Vorteilhafte Weiterbildungen und Ausgestaltungen sind Gegenstand der abhängigen Ansprüche. Weitere Merkmale, Anwendungsmöglichkeiten und Vorteile der Erfindung ergeben sich aus der nachfolgenden Beschreibung, sowie der Erläuterung von Ausführungsbeispielen der Erfindung, die in den Figuren dargestellt sind.The invention results from the features of the independent claims. Advantageous developments and refinements are the subject of the dependent claims. Other features, applications and advantages of the invention will become apparent from the following description, as well as the explanation of embodiments of the invention, which are illustrated in the figures.

Die Aufgabe ist mit einem Verfahren dadurch gelöst, dass bei Erkennung eines fragenden Gesichtsausdruckes in der Mimik des Fahrzeugnutzers dessen Blickrichtung im Moment des fragenden Gesichtsausdruckes bestimmt wird, wobei ein durch die Blickrichtung identifiziertes Objekt analysiert wird und eine Erklärung zu dem Objekt an den Fahrzeugnutzer ausgegeben wird. Dies hat den Vorteil, dass durch eine Identifizierung des Objektes, welches zu der Verunsicherung des Fahrzeugnutzers führt, diesem sehr schnell eine Erklärung über das Objekt zugeführt werden kann, die es dem Fahrzeugnutzer gestatten, die Verkehrssituation zu bewältigen.The object is achieved with a method in that when a questioning facial expression is recognized in the facial expression of the vehicle user, its line of sight is determined at the moment of the questioning facial expression, an object identified by the viewing direction being analyzed and an explanation of the object being output to the vehicle user , This has the advantage that an identification of the object, which leads to the uncertainty of the vehicle user, it can very quickly an explanation of the object can be supplied, which allow the vehicle user to cope with the traffic situation.

Vorteilhafterweise wird durch die Blickrichtung ein sich außerhalb des Fahrzeuges befindliches Objekt identifiziert und ausgewertet. Dadurch wird dem Fahrzeugnutzer ermöglicht, evtl. Gefährdungssituationen zu meistern.Advantageously, an object located outside of the vehicle is identified and evaluated by the viewing direction. This enables the vehicle user to master potentially hazardous situations.

In einer Ausgestaltung wird als Objekt ein Verkehrszeichen identifiziert und analysiert. Somit werden dem Fahrzeugnutzer neue Verkehrszeichen, die beispielsweise Umweltzonen kennzeichnen und welche ihm unbekannt sind, automatisch erklärt.In one embodiment, a traffic sign is identified and analyzed as an object. Thus, the vehicle user new traffic signs, which identify, for example, environmental zones and which are unknown to him, automatically explained.

In einer Variante wird in der Erklärung dem Fahrzeugnutzer mitgeteilt, um was für ein Objekt es sich handelt und Verhaltensregeln an den Fahrzeugnutzer in Hinblick auf das identifizierte Objekt werden ausgegeben. Somit ist der Fahrzeugnutzer jeder Zeit mit den aktuellsten Objekten im Straßenverkehr vertraut, ohne dass er einen zusätzlichen Lernprozess bewältigen muss.In one variant, the declaration informs the vehicle user as to which object is concerned and behavioral rules are issued to the vehicle user with regard to the identified object. Thus, the vehicle user at any time with the latest objects in traffic familiar, without having to cope with an additional learning process.

In einer Ausführungsform wird die Erklärung optisch und/oder akustisch an den Fahrzeugnutzer ausgegeben. Dabei kann eine solche Erklärungshilfe gewählt werden, welchem den Fahrzeugnutzer ein bestmögliches Verständnis des Objektes bzw. der Verkehrssituation ermöglicht.In one embodiment, the explanation is visually and / or acoustically output to the vehicle user. In this case, such an explanation can be selected, which allows the vehicle user the best possible understanding of the object or the traffic situation.

Eine Weiterbildung der Erfindung betrifft eine Vorrichtung zur Unterstützung eines Fahrzeugnutzers, welche eine Erfassungseinheit für eine Mimik sowie einer Blickrichtung des Fahrzeugnutzers aufweist, die mit einer Auswerteeinheit zur Analyse der Mimik und der Blickrichtung des Fahrzeugnutzers verbunden ist, welche mit einer Erkläreinheit zur Ermittlung von Bedürfnisse des Fahrzeugnutzers aus dessen Mimik und Blickrichtung und zur Ausgabe von den Bedürfnissen entsprechenden Informationen an den Fahrzeugnutzer gekoppelt ist. Bei einer Vorrichtung, mit welcher neue Verkehrssituationen schnell dem Fahrzeugnutzer beigebracht werden, ist eine Bilderfassungseinheit zur Darstellung von Objekten in der Umgebung des Fahrzeuges, welche mit der Erkläreinheit zur Berücksichtigung des durch die Blickrichtung des Fahrers bei einem fragenden Gesichtsausdruck identifizierten Objektes in der Umgebung und der Berücksichtigung des Objektes der Umgebung in den von der Erkläreinheit ausgegeben Informationen verbunden.A development of the invention relates to a device for supporting a vehicle user, which has a detection unit for facial expressions and a line of sight of the vehicle user, which is connected to an evaluation unit for analyzing the facial expressions and the viewing direction of the vehicle user, which with an explanatory unit for determining needs of Vehicle user is coupled from the facial expressions and viewing direction and the output of information corresponding to the needs of the vehicle user. In an apparatus with which new traffic situations are quickly taught to the vehicle user, an image acquiring unit for displaying objects in the vicinity of the vehicle is provided with the explanation unit for taking into account the object in the environment identified by the driver's line of sight in a questioning facial expression Considering the object of the environment connected to the information output by the explanation unit.

In einer Ausgestaltung sind die Erfassungseinheit und/oder die Bilderfassungseinheit jeweils als Kamerasystem ausgebildet. Solche Kamerasysteme sind zum Teil in Kraftfahrzeugen schon vorhanden und müssen nur in ihrer Funktion erweitert werden. Dies führt zu einer Reduzierung der Herstellungskosten der Vorrichtung.In one embodiment, the detection unit and / or the image detection unit are each designed as a camera system. Such camera systems are already partially available in motor vehicles and only need to be extended in their function. This leads to a reduction of the manufacturing cost of the device.

Vorteilhafterweise ist das in der Umgebung des Fahrzeuges identifizierte Objekt ein Verkehrszeichen. Damit können neue Verkehrszeichen dem Fahrzeugnutzer unmittelbar erklärt werden, wodurch dieser sein Verhalten sofort auf dieses Verkehrszeichen einstellen kann.Advantageously, the object identified in the environment of the vehicle is a Traffic signs. Thus, new traffic signs can be explained to the vehicle user immediately, allowing him to set his behavior immediately on this road sign.

In einer Ausführungsform ist die Erkläreinheit mit einer Anzeigeeinheit und/ oder einer Lautsprechereinheit zur optischen und/oder akustischen Ausgabe der Erklärung verbunden. Der Fahrzeugnutzer kann somit entscheiden, in welcher Form er die Erklärung ausgegeben haben möchte.In one embodiment, the explanation unit is connected to a display unit and / or a speaker unit for optically and / or acoustically outputting the explanation. The vehicle user can thus decide in which form he would like to have issued the explanation.

Weitere Vorteile, Merkmale und Einzelheiten ergeben sich aus der nachfolgenden Beschreibung, in der - gegebenenfalls unter Bezug auf die Zeichnung - zumindest ein Ausführungsbeispiel im Einzelnen beschrieben ist. Beschriebene und/oder bildlich dargestellte Merkmale können für sich oder in beliebiger, sinnvoller Kombination den Gegenstand der Erfindung bilden, gegebenenfalls auch unabhängig von den Ansprüchen, und können insbesondere zusätzlich auch Gegenstand einer oder mehrerer separater Anmeldung/en sein. Gleiche, ähnliche und/oder funktionsgleiche Teile sind mit gleichen Bezugszeichen versehen.Further advantages, features and details will become apparent from the following description in which - where appropriate, with reference to the drawings - at least one embodiment is described in detail. Described and / or illustrated features may form the subject of the invention itself or in any meaningful combination, optionally also independent of the claims, and in particular may also be the subject of one or more separate application / s. The same, similar and / or functionally identical parts are provided with the same reference numerals.

Es zeigen:

  • 1 ein Ausführungsbeispiel der erfindungsgemäßen Vorrichtung,
  • 2 Ausführungsbeispiele der möglichen Mimik des Fahrzeugnutzers,
  • 3 Ausführungsbeispiel eines unbekannten Verkehrszeichens,
  • 4 ein zweites Ausführungsbeispiel der erfindungsgemäßen Vorrichtung.
Show it:
  • 1 an embodiment of the device according to the invention,
  • 2 Exemplary embodiments of the possible facial expressions of the vehicle user,
  • 3 Embodiment of an unknown traffic sign,
  • 4 A second embodiment of the device according to the invention.

In 1 ist ein Ausführungsbeispiel einer erfindungsgemäßen Vorrichtung in Form eines Fahrzeuges 1 dargestellt. Das Fahrzeug 1 umfasst nahe dem Kombiinstrument eine auf das Gesicht des Fahrzeugnutzers gerichtete Fahrerkamera 3. Die Fahrerkamera 3 ist mit einer Auswerteeinheit 5 zur Analyse einer Mimik und einer Blickrichtung des Fahrzeugnutzers verbunden, welche wiederum an eine Erkläreinheit 7 geführt ist. Die Erkläreinheit 7 ist mit einer Umgebungskamera 9 gekoppelt, die die Fahrzeugumgebung vor dem Fahrzeug 1 aufnimmt. Gleichzeitig ist die Erkläreinheit 7 mit einer Anzeigeeinheit 11 und einem Lautsprecher 13 verbunden.In 1 is an embodiment of a device according to the invention in the form of a vehicle 1 shown. The vehicle 1 includes near the instrument cluster a directed towards the face of the vehicle user driver camera 3 , The driver camera 3 is with an evaluation unit 5 connected to the analysis of a facial expression and a line of sight of the vehicle user, which in turn to an explanatory unit 7 is guided. The explanation unit 7 is with an environment camera 9 coupled to the vehicle environment in front of the vehicle 1 receives. At the same time is the explanatory unit 7 with a display unit 11 and a speaker 13 connected.

Während der Fahrt des Fahrzeuges 1 überwacht die Fahrerkamera 3 die Mimik und Blickrichtung des Fahrzeugnutzers und leitet diese an die Auswerteeinheit 5 zur Analyse weiter. Ermittelt die Auswerteeinheit 5 einen fragenden Gesichtsausdruck des Fahrzeugnutzers, so analysiert die Auswerteeinheit 5 gleichzeitig die Blickrichtung des Fahrers. Wie in 2 dargestellt, kann der fragende Gesichtsausdruck durch eine unterschiedliche Mimik des Fahrzeugnutzers ausgedrückt werden. So kann der Fahrzeugnutzer die Stirn runzeln oder die Augenbrauen hochziehen oder den Mund öffnen oder die Nase krausziehen oder die Augen weit öffnen oder die Mundwinkel verändern oder lächeln.While driving the vehicle 1 monitors the driver camera 3 the facial expression and direction of the vehicle user and forwards them to the evaluation unit 5 for analysis. Determines the evaluation unit 5 a questioning facial expression of the vehicle user, so analyzed the evaluation 5 at the same time the line of sight of the driver. As in 2 represented, the questioning facial expression can be expressed by a different facial expression of the vehicle user. Thus, the vehicle user can frown or raise his eyebrows or open his mouth or pull his nose or open his eyes wide or change the corners of the mouth or smile.

Mit Hilfe der Signale der Umgebungskamera 9 wertet die Auswerteeinheit 5 die Blickrichtung des Fahrzeugnutzers aus und erkennt, über welches durch die Umgebungskamera 9 erfasste Objekt oder Verkehrssituation sich der Fahrzeugnutzer wundert. Im vorgegebenen Fall sieht der Fahrzeugnutzer ein Verkehrszeichen 15, welches ihm unbekannt ist. Gemäß 3 ist es ein Fahrverbot für Diesel-Fahrzeuge. Solche neuen Verkehrszeichen 15 sind der Erkläreinheit 7 bekannt. Auf Grund des fragenden Gesichtsausdruckes gibt die Erkläreinheit 7 dem Fahrzeugnutzer eine Information darüber aus, um was für ein Verkehrszeichen 15 es sich handelt und welche Handlung von dem Fahrzeugnutzer erwartet wird. In diesem Fall darf das Fahrzeug 1, wenn es sich um ein Dieselfahrzeug handelt, die entsprechende Straße nicht befahren.With the help of the signals of the ambient camera 9 evaluates the evaluation unit 5 the viewing direction of the vehicle user and recognizes, about which through the ambient camera 9 detected object or traffic situation, the vehicle users wonder. In the given case, the vehicle user sees a traffic sign 15 which is unknown to him. According to 3 it is a driving ban for diesel vehicles. Such new traffic signs 15 are the explanatory unit 7 known. On the basis of the questioning facial expression gives the explanatory unit 7 the vehicle user information about what a traffic sign 15 it is and what action is expected of the vehicle user. In this case, the vehicle may 1 if it is a diesel vehicle, do not drive on the corresponding road.

Die Erklärung wird entweder akustisch über den Lautsprecher 13 und/oder optisch, beispielsweise über eine Animation oder einen Schriftzug, mit Hilfe der Anzeigeeinheit 11 an den Fahrzeugnutzer ausgegeben, damit dieser sein Fahrverhalten darauf einstellen kann.The explanation is either acoustically via the speaker 13 and / or optically, for example via an animation or a lettering, with the aid of the display unit 11 issued to the vehicle user, so that he can adjust his driving behavior to it.

Zu den Verkehrszeichen 15, welche dem Fahrzeugnutzer unbekannt sind, können im weiteren auch andere Umweltzonen und Umweltinformationen kennzeichnende Schilder gehören.To the traffic signs 15 which are unknown to the vehicle user, may also include other environmental zones and signs identifying environmental information.

Die Erkläreinheit 7 muss nicht zwingend selbst die Informationen über neue Verkehrszeichen 15 und Verkehrssituationen enthalten. Diese können in einem externen Server 17 abgelegt sein, mit welchem die Erkläreinheit 7 des Fahrzeuges 1 über eine drahtlose Verbindung 19 in Kontakt steht (4). Die Erkläreinheit 7 sendet dann eine das unbekannte Verkehrszeichen 15 wiedergebende Information an den Server 17, welcher dieses identifiziert und der Erkläreinheit 7 die Beschreibung und die damit verbundene Anweisung zurücksendet, welche die Erkläreinheit 7 dann an den Fahrzeugnutzer im Fahrzeug 1 ausgibt. Dieses System hat den Vorteil, dass auch kurzfristig neu eingeführte Objekte im Straßenverkehr dem Fahrzeugnutzer erläutert werden können, da nur die Informationen im Server 17 ständig aktualisiert werden müssen.The explanation unit 7 does not necessarily have the information about new traffic signs 15 and traffic situations. These can be in an external server 17 be stored, with which the explanation unit 7 of the vehicle 1 over a wireless connection 19 in contact ( 4 ). The explanation unit 7 then sends an unknown traffic sign 15 reproducing information to the server 17 which identifies this and the explanatory unit 7 returns the description and the associated instruction, which the explanation unit 7 then to the vehicle user in the vehicle 1 outputs. This system has the advantage that even recently introduced objects in traffic can be explained to the vehicle user, since only the information in the server 17 constantly need updating.

Obwohl die Erfindung im Detail durch bevorzugte Ausführungsbeispiele näher illustriert und erläutert wurde, so ist die Erfindung nicht durch die offenbarten Beispiele eingeschränkt und andere Variationen können vom Fachmann hieraus abgeleitet werden, ohne den Schutzumfang der Erfindung zu verlassen. Es ist daher klar, dass eine Vielzahl von Variationsmöglichkeiten existiert. Es ist ebenfalls klar, dass beispielhaft genannte Ausführungsformen wirklich nur Beispiele darstellen, die nicht in irgendeiner Weise als Begrenzung etwa des Schutzbereichs, der Anwendungsmöglichkeiten oder der Konfiguration der Erfindung aufzufassen sind. Vielmehr versetzen die vorhergehende Beschreibung und die Figurenbeschreibung den Fachmann in die Lage, die beispielhaften Ausführungsformen konkret umzusetzen, wobei der Fachmann in Kenntnis des offenbarten Erfindungsgedankens vielfältige Änderungen beispielsweise hinsichtlich der Funktion oder der Anordnung einzelner, in einer beispielhaften Ausführungsform genannter Elemente vornehmen kann, ohne den Schutzbereich zu verlassen, der durch die Ansprüche und deren rechtliche Entsprechungen, wie etwa weitergehenden Erläuterung in der Beschreibung, definiert wird.While the invention has been further illustrated and explained in detail by way of preferred embodiments, the invention is not limited by the disclosed examples and other variations can be made by those skilled in the art can be derived without departing from the scope of the invention. It is therefore clear that a multitude of possible variations exists. It is also to be understood that exemplified embodiments are really only examples that are not to be construed in any way as limiting the scope, applicability, or configuration of the invention. Rather, the foregoing description and description of the figures enable one skilled in the art to practice the exemplary embodiments, and those skilled in the art, having the benefit of the disclosed inventive concept, can make various changes, for example, to the function or arrangement of individual elements recited in an exemplary embodiment, without Protected area, which is defined by the claims and their legal equivalents, such as further explanation in the description.

BezugszeichenlisteLIST OF REFERENCE NUMBERS

11
Fahrzeugvehicle
33
Fahrerkameradriver camera
55
Auswerteeinheitevaluation
77
Erkläreinheitexplanatory unit
99
Umgebungskameraenvironment camera
1111
Anzeigeeinheitdisplay unit
1313
Lautsprecherspeaker
1515
Verkehrszeichenroad sign
1717
Serverserver
1919
drahtlose Verbindungwireless connection

ZITATE ENTHALTEN IN DER BESCHREIBUNG QUOTES INCLUDE IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of the documents listed by the applicant has been generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturCited patent literature

  • DE 102007008835 A1 [0002]DE 102007008835 A1 [0002]

Claims (9)

Verfahren zur Unterstützung eines Fahrzeugnutzers, bei welchem in Abhängigkeit einer Mimik sowie einer Blickrichtung des Fahrzeugnutzers Bedürfnisse des Fahrzeugnutzers erkannt werden, wobei in Abhängigkeit von den ermittelten Bedürfnissen den Bedürfnissen entsprechende Informationen an den Fahrzeugnutzer ausgegeben werden, dadurch gekennzeichnet, dass bei Erkennung eines fragenden Gesichtsausdruckes in der Mimik des Fahrzeugnutzers dessen Blickrichtung im Moment des fragenden Gesichtsausdruckes bestimmt wird, wobei ein durch die Blickrichtung identifiziertes Objekt analysiert wird und eine Erklärung zu dem Objekt an den Fahrzeugnutzer ausgegeben wird.A method for supporting a vehicle user, in which the needs of the vehicle user are recognized as a function of a facial expression and a line of sight of the vehicle user, wherein information corresponding to the needs is output to the vehicle user depending on the determined needs, characterized in that upon detection of a questioning facial expression in the facial expression of the vehicle user whose viewing direction is determined at the moment of the questioning facial expression, wherein an object identified by the viewing direction is analyzed and an explanation of the object is output to the vehicle user. Verfahren nach Anspruch 1 dadurch gekennzeichnet, dass durch die Blickrichtung ein sich außerhalb des Fahrzeuges befindliches Objekt identifiziert und ausgewertet wird.Method according to Claim 1 characterized in that is identified and evaluated by the viewing direction located outside of the vehicle object. Verfahren nach Anspruch 1 oder 2 dadurch gekennzeichnet, dass als Objekt ein Verkehrszeichen identifiziert und analysiert wird.Method according to Claim 1 or 2 characterized in that a traffic sign is identified and analyzed as an object. Verfahren nach Anspruch 1, 2 oder 3, dadurch gekennzeichnet, dass in der Erklärung dem Fahrzeugnutzer mitgeteilt wird, um was für ein Objekt es sich handelt und Verhaltensregeln an den Fahrzeugnutzer in Hinblick auf das identifizierte Objekt ausgegeben werden.Method according to Claim 1 . 2 or 3 , characterized in that in the explanation the vehicle user is informed about what an object is and behavioral rules are issued to the vehicle user with regard to the identified object. Verfahren nach mindestens einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Erklärung optisch und/oder akustisch an den Fahrzeugnutzer ausgegeben wird.Method according to at least one of the preceding claims, characterized in that the explanation is issued visually and / or acoustically to the vehicle user. Vorrichtung zur Unterstützung eines Fahrzeugnutzers, welche eine Erfassungseinheit (3) für eine Mimik sowie einer Blickrichtung des Fahrzeugnutzers aufweist, die mit einer Auswerteeinheit (5) zur Analyse der Mimik und Blickrichtung des Fahrzeugnutzers verbunden ist, welche mit einer Erkläreinheit (7) zur Ermittlung von Bedürfnisse des Fahrzeugnutzers aus dessen Mimik und Blickrichtung und Ausgabe von den Bedürfnissen entsprechenden Informationen an den Fahrzeugnutzer gekoppelt ist, dadurch gekennzeichnet, dass eine Bilderfassungseinheit (9) zur Darstellung von Objekten in der Umgebung des Fahrzeuges (1), welche mit der Erkläreinheit (7) zur Berücksichtigung des durch die Blickrichtung des Fahrers bei einem fragenden Gesichtsausdruck identifizierten Objektes in der Umgebung und der Berücksichtigung des Objektes der Umgebung in den von der Erkläreinheit (7) ausgegeben Informationen verbunden ist.Device for supporting a vehicle user, which has a detection unit (3) for a facial expression as well as a line of sight of the vehicle user, which is connected to an evaluation unit (5) for analyzing the facial expressions and viewing direction of the vehicle user, comprising an explanation unit (7) for determining Needs of the vehicle user from its facial expression and viewing direction and output of information corresponding to the needs of the vehicle user, characterized in that an image acquisition unit (9) for displaying objects in the vicinity of the vehicle (1), which with the explanation unit (7) for taking into account the object in the environment identified by the driver's line of sight in a questioning facial expression and the consideration of the object of the environment in the information output by the declaration unit (7). Vorrichtung nach Anspruch 6, dadurch gekennzeichnet, dass die Erfassungseinheit (3) und/oder die Bilderfassungseinheit (9) jeweils als Kamerasystem ausgebildet sind.Device after Claim 6 , characterized in that the detection unit (3) and / or the image detection unit (9) are each formed as a camera system. Vorrichtung nach Anspruch 6 oder 7, dadurch gekennzeichnet, dass das in der Umgebung des Fahrzeuges identifizierte Objekt ein Verkehrszeichen (15) ist.Device after Claim 6 or 7 , characterized in that the object identified in the vicinity of the vehicle is a traffic sign (15). Vorrichtung nach Anspruch 6, 7 oder 8, dadurch gekennzeichnet, dass die Erkläreinheit (7) mit einer Anzeigeeinheit (11) und/ oder einer Lautsprechereinheit (13) zur optischen und/oder akustischen Ausgabe der Erklärung verbunden ist.Device after Claim 6 . 7 or 8th , characterized in that the explanation unit (7) is connected to a display unit (11) and / or a loudspeaker unit (13) for optically and / or acoustically outputting the explanation.
DE102018006828.6A 2018-08-29 2018-08-29 Method and device for supporting a vehicle user Withdrawn DE102018006828A1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102018006828.6A DE102018006828A1 (en) 2018-08-29 2018-08-29 Method and device for supporting a vehicle user

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102018006828.6A DE102018006828A1 (en) 2018-08-29 2018-08-29 Method and device for supporting a vehicle user

Publications (1)

Publication Number Publication Date
DE102018006828A1 true DE102018006828A1 (en) 2019-02-14

Family

ID=65084528

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102018006828.6A Withdrawn DE102018006828A1 (en) 2018-08-29 2018-08-29 Method and device for supporting a vehicle user

Country Status (1)

Country Link
DE (1) DE102018006828A1 (en)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102007008835A1 (en) 2007-02-23 2008-08-28 Volkswagen Ag Device and method for interactive information output and / or assistance for the user of a motor vehicle

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102007008835A1 (en) 2007-02-23 2008-08-28 Volkswagen Ag Device and method for interactive information output and / or assistance for the user of a motor vehicle

Similar Documents

Publication Publication Date Title
DE102010039634A1 (en) Arrangement and method for traffic sign recognition
DE102014214514A1 (en) Apparatus and method for exchanging data between vehicles for setting up a convoy
DE102015015944A1 (en) A method for assisting a driver of a motor vehicle with regard to imminent overtaking maneuvers and motor vehicle
DE102014206623A1 (en) Localization of a head-mounted display (HMD) in the vehicle
DE102015201406A1 (en) CHARACTER DETECTION DEVICE AND METHOD FOR DETERMINING LEFT OR RIGHT TRAFFIC AND THE ROUTE UNIT INDEX
DE102019217428A1 (en) Method for operating a driver assistance system, driver assistance system and vehicle
DE102021107602A1 (en) DRIVER ASSISTANCE DEVICE AND DATA COLLECTION SYSTEM
DE102014207398A1 (en) Object association for contact-analogue display on an HMD
DE102016014366A1 (en) Method for operating a driver assistance system
DE102017122543A1 (en) A method for assisting a driver of a motor vehicle when overtaking an object and driver assistance system
DE102013108615A1 (en) Method and system for operating a motor vehicle
DE102008043756A1 (en) Traffic sign information providing method for e.g. driver assistance system in vehicle, involves storing traffic sign data, assigning stored data to actual position of vehicle, and providing traffic sign information based on assigned data
DE102016001054A1 (en) Method for entering a command in a control unit of a vehicle
DE102006024615B4 (en) Method for selecting and displaying a visual representation for an operating function of a control device in a vehicle and operating device
DE102013003496A1 (en) Method for documentation of collision warning generated during driving of motor car, involves recording collision warning, and evaluating stored collision warning information after the termination of travel
DE102016004028A1 (en) Method for operating a vehicle
DE102019001092A1 (en) Method for operating a driver assistance system, as well as electronic computing device, computer program product and data carrier
DE102018006828A1 (en) Method and device for supporting a vehicle user
DE102020004792A1 (en) Method and device for the detection and reporting of parking accidents for vehicles
DE102016214599A1 (en) Method for detecting traffic signs in motor vehicles
DE102020206237A1 (en) Procedure for assisting a driver in an overtaking maneuver, as well as vehicle
DE102019004075A1 (en) Method for determining a relevance of an object in an environment of a motor vehicle by means of a driver assistance system and driver assistance system
DE202013007354U1 (en) Computer program product and traffic sign recognition system for a vehicle
DE102016015145A1 (en) Method for image transmission
DE102022002325A1 (en) Method for activating a parking function of a vehicle and for finding potential parking spaces

Legal Events

Date Code Title Description
R230 Request for early publication
R081 Change of applicant/patentee

Owner name: DAIMLER AG, DE

Free format text: FORMER OWNER: DAIMLER AG, 70327 STUTTGART, DE

R119 Application deemed withdrawn, or ip right lapsed, due to non-payment of renewal fee