DE102018006828A1 - Method and device for supporting a vehicle user - Google Patents
Method and device for supporting a vehicle user Download PDFInfo
- Publication number
- DE102018006828A1 DE102018006828A1 DE102018006828.6A DE102018006828A DE102018006828A1 DE 102018006828 A1 DE102018006828 A1 DE 102018006828A1 DE 102018006828 A DE102018006828 A DE 102018006828A DE 102018006828 A1 DE102018006828 A1 DE 102018006828A1
- Authority
- DE
- Germany
- Prior art keywords
- vehicle user
- vehicle
- unit
- facial expression
- explanation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/18—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/163—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state by tracking eye movement, gaze, or pupil change
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
- B60Q9/00—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
- G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- Psychiatry (AREA)
- General Health & Medical Sciences (AREA)
- Heart & Thoracic Surgery (AREA)
- Surgery (AREA)
- Social Psychology (AREA)
- Hospice & Palliative Care (AREA)
- Educational Technology (AREA)
- Biophysics (AREA)
- Pathology (AREA)
- Biomedical Technology (AREA)
- Developmental Disabilities (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Psychology (AREA)
- Animal Behavior & Ethology (AREA)
- Child & Adolescent Psychology (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Human Computer Interaction (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Mechanical Engineering (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
Die Erfindung betrifft ein Verfahren zur Unterstützung eines Fahrzeugnutzers, bei welchem in Abhängigkeit einer Mimik sowie einer Blickrichtung des Fahrzeugnutzers Bedürfnisse des Fahrzeugnutzers erkannt werden, wobei in Abhängigkeit von den ermittelten Bedürfnissen den Bedürfnissen entsprechende Informationen an den Fahrzeugnutzer ausgegeben werden. Bei einem Verfahren, bei welchem dem Fahrzeugnutzer neue Verkehrssituationen schnell erklärt werden, wird bei Erkennung eines fragenden Gesichtsausdruckes in der Mimik des Fahrzeugnutzers dessen Blickrichtung im Moment des fragenden Gesichtsausdruckes bestimmt wird und ein durch die Blickrichtung identifiziertes Objekt analysiert und eine Erklärung zu dem Objekt an den Fahrzeugnutzer ausgegeben.The invention relates to a method for supporting a vehicle user, in which needs of the vehicle user are recognized as a function of a facial expression and a line of sight of the vehicle user, wherein information corresponding to the needs is output to the vehicle user depending on the determined needs. In a method in which the vehicle user new traffic situations are quickly explained, when recognizing a questioning facial expression in the facial expression of the vehicle user whose viewing direction at the moment of the questioning facial expression is determined and analyzed by the viewing direction object analyzed and an explanation of the object to the Vehicle users spent.
Description
Die Erfindung betrifft ein Verfahren zur Unterstützung eines Fahrzeugnutzers, bei welchem in Abhängigkeit einer Mimik sowie einer Blickrichtung des Fahrzeugnutzers Bedürfnisse des Fahrzeugnutzers erkannt werden, wobei in Abhängigkeit von den ermittelten Bedürfnissen den Bedürfnissen entsprechende Informationen an den Fahrzeugnutzer ausgegeben werden sowie eine Vorrichtung zur Durchführung des Verfahrens.The invention relates to a method for supporting a vehicle user, in which needs of the vehicle user are detected depending on a facial expression and a line of sight of the vehicle user, depending on the identified needs information corresponding to the needs of the vehicle user are output and a device for performing the method ,
Aus der
Bei der Teilnahme des Fahrzeugnutzers am Straßenverkehr kann es vorkommen, das Situationen auftreten, die der Fahrzeugnutzer nicht kennt oder welche er teilweise nicht versteht.When the vehicle user participates in road traffic, it may happen that situations occur that the vehicle user does not know or which he does not understand.
Aufgabe der Erfindung ist es, ein Verfahren und eine Vorrichtung zur Unterstützung des Fahrzeugnutzers anzugeben, bei welchem dem Fahrzeugnutzer neue Verkehrssituationen schnell erklärt werden.The object of the invention is to provide a method and a device for assisting the vehicle user, in which the vehicle user new traffic situations are quickly explained.
Die Erfindung ergibt sich aus den Merkmalen der unabhängigen Ansprüche. Vorteilhafte Weiterbildungen und Ausgestaltungen sind Gegenstand der abhängigen Ansprüche. Weitere Merkmale, Anwendungsmöglichkeiten und Vorteile der Erfindung ergeben sich aus der nachfolgenden Beschreibung, sowie der Erläuterung von Ausführungsbeispielen der Erfindung, die in den Figuren dargestellt sind.The invention results from the features of the independent claims. Advantageous developments and refinements are the subject of the dependent claims. Other features, applications and advantages of the invention will become apparent from the following description, as well as the explanation of embodiments of the invention, which are illustrated in the figures.
Die Aufgabe ist mit einem Verfahren dadurch gelöst, dass bei Erkennung eines fragenden Gesichtsausdruckes in der Mimik des Fahrzeugnutzers dessen Blickrichtung im Moment des fragenden Gesichtsausdruckes bestimmt wird, wobei ein durch die Blickrichtung identifiziertes Objekt analysiert wird und eine Erklärung zu dem Objekt an den Fahrzeugnutzer ausgegeben wird. Dies hat den Vorteil, dass durch eine Identifizierung des Objektes, welches zu der Verunsicherung des Fahrzeugnutzers führt, diesem sehr schnell eine Erklärung über das Objekt zugeführt werden kann, die es dem Fahrzeugnutzer gestatten, die Verkehrssituation zu bewältigen.The object is achieved with a method in that when a questioning facial expression is recognized in the facial expression of the vehicle user, its line of sight is determined at the moment of the questioning facial expression, an object identified by the viewing direction being analyzed and an explanation of the object being output to the vehicle user , This has the advantage that an identification of the object, which leads to the uncertainty of the vehicle user, it can very quickly an explanation of the object can be supplied, which allow the vehicle user to cope with the traffic situation.
Vorteilhafterweise wird durch die Blickrichtung ein sich außerhalb des Fahrzeuges befindliches Objekt identifiziert und ausgewertet. Dadurch wird dem Fahrzeugnutzer ermöglicht, evtl. Gefährdungssituationen zu meistern.Advantageously, an object located outside of the vehicle is identified and evaluated by the viewing direction. This enables the vehicle user to master potentially hazardous situations.
In einer Ausgestaltung wird als Objekt ein Verkehrszeichen identifiziert und analysiert. Somit werden dem Fahrzeugnutzer neue Verkehrszeichen, die beispielsweise Umweltzonen kennzeichnen und welche ihm unbekannt sind, automatisch erklärt.In one embodiment, a traffic sign is identified and analyzed as an object. Thus, the vehicle user new traffic signs, which identify, for example, environmental zones and which are unknown to him, automatically explained.
In einer Variante wird in der Erklärung dem Fahrzeugnutzer mitgeteilt, um was für ein Objekt es sich handelt und Verhaltensregeln an den Fahrzeugnutzer in Hinblick auf das identifizierte Objekt werden ausgegeben. Somit ist der Fahrzeugnutzer jeder Zeit mit den aktuellsten Objekten im Straßenverkehr vertraut, ohne dass er einen zusätzlichen Lernprozess bewältigen muss.In one variant, the declaration informs the vehicle user as to which object is concerned and behavioral rules are issued to the vehicle user with regard to the identified object. Thus, the vehicle user at any time with the latest objects in traffic familiar, without having to cope with an additional learning process.
In einer Ausführungsform wird die Erklärung optisch und/oder akustisch an den Fahrzeugnutzer ausgegeben. Dabei kann eine solche Erklärungshilfe gewählt werden, welchem den Fahrzeugnutzer ein bestmögliches Verständnis des Objektes bzw. der Verkehrssituation ermöglicht.In one embodiment, the explanation is visually and / or acoustically output to the vehicle user. In this case, such an explanation can be selected, which allows the vehicle user the best possible understanding of the object or the traffic situation.
Eine Weiterbildung der Erfindung betrifft eine Vorrichtung zur Unterstützung eines Fahrzeugnutzers, welche eine Erfassungseinheit für eine Mimik sowie einer Blickrichtung des Fahrzeugnutzers aufweist, die mit einer Auswerteeinheit zur Analyse der Mimik und der Blickrichtung des Fahrzeugnutzers verbunden ist, welche mit einer Erkläreinheit zur Ermittlung von Bedürfnisse des Fahrzeugnutzers aus dessen Mimik und Blickrichtung und zur Ausgabe von den Bedürfnissen entsprechenden Informationen an den Fahrzeugnutzer gekoppelt ist. Bei einer Vorrichtung, mit welcher neue Verkehrssituationen schnell dem Fahrzeugnutzer beigebracht werden, ist eine Bilderfassungseinheit zur Darstellung von Objekten in der Umgebung des Fahrzeuges, welche mit der Erkläreinheit zur Berücksichtigung des durch die Blickrichtung des Fahrers bei einem fragenden Gesichtsausdruck identifizierten Objektes in der Umgebung und der Berücksichtigung des Objektes der Umgebung in den von der Erkläreinheit ausgegeben Informationen verbunden.A development of the invention relates to a device for supporting a vehicle user, which has a detection unit for facial expressions and a line of sight of the vehicle user, which is connected to an evaluation unit for analyzing the facial expressions and the viewing direction of the vehicle user, which with an explanatory unit for determining needs of Vehicle user is coupled from the facial expressions and viewing direction and the output of information corresponding to the needs of the vehicle user. In an apparatus with which new traffic situations are quickly taught to the vehicle user, an image acquiring unit for displaying objects in the vicinity of the vehicle is provided with the explanation unit for taking into account the object in the environment identified by the driver's line of sight in a questioning facial expression Considering the object of the environment connected to the information output by the explanation unit.
In einer Ausgestaltung sind die Erfassungseinheit und/oder die Bilderfassungseinheit jeweils als Kamerasystem ausgebildet. Solche Kamerasysteme sind zum Teil in Kraftfahrzeugen schon vorhanden und müssen nur in ihrer Funktion erweitert werden. Dies führt zu einer Reduzierung der Herstellungskosten der Vorrichtung.In one embodiment, the detection unit and / or the image detection unit are each designed as a camera system. Such camera systems are already partially available in motor vehicles and only need to be extended in their function. This leads to a reduction of the manufacturing cost of the device.
Vorteilhafterweise ist das in der Umgebung des Fahrzeuges identifizierte Objekt ein Verkehrszeichen. Damit können neue Verkehrszeichen dem Fahrzeugnutzer unmittelbar erklärt werden, wodurch dieser sein Verhalten sofort auf dieses Verkehrszeichen einstellen kann.Advantageously, the object identified in the environment of the vehicle is a Traffic signs. Thus, new traffic signs can be explained to the vehicle user immediately, allowing him to set his behavior immediately on this road sign.
In einer Ausführungsform ist die Erkläreinheit mit einer Anzeigeeinheit und/ oder einer Lautsprechereinheit zur optischen und/oder akustischen Ausgabe der Erklärung verbunden. Der Fahrzeugnutzer kann somit entscheiden, in welcher Form er die Erklärung ausgegeben haben möchte.In one embodiment, the explanation unit is connected to a display unit and / or a speaker unit for optically and / or acoustically outputting the explanation. The vehicle user can thus decide in which form he would like to have issued the explanation.
Weitere Vorteile, Merkmale und Einzelheiten ergeben sich aus der nachfolgenden Beschreibung, in der - gegebenenfalls unter Bezug auf die Zeichnung - zumindest ein Ausführungsbeispiel im Einzelnen beschrieben ist. Beschriebene und/oder bildlich dargestellte Merkmale können für sich oder in beliebiger, sinnvoller Kombination den Gegenstand der Erfindung bilden, gegebenenfalls auch unabhängig von den Ansprüchen, und können insbesondere zusätzlich auch Gegenstand einer oder mehrerer separater Anmeldung/en sein. Gleiche, ähnliche und/oder funktionsgleiche Teile sind mit gleichen Bezugszeichen versehen.Further advantages, features and details will become apparent from the following description in which - where appropriate, with reference to the drawings - at least one embodiment is described in detail. Described and / or illustrated features may form the subject of the invention itself or in any meaningful combination, optionally also independent of the claims, and in particular may also be the subject of one or more separate application / s. The same, similar and / or functionally identical parts are provided with the same reference numerals.
Es zeigen:
-
1 ein Ausführungsbeispiel der erfindungsgemäßen Vorrichtung, -
2 Ausführungsbeispiele der möglichen Mimik des Fahrzeugnutzers, -
3 Ausführungsbeispiel eines unbekannten Verkehrszeichens, -
4 ein zweites Ausführungsbeispiel der erfindungsgemäßen Vorrichtung.
-
1 an embodiment of the device according to the invention, -
2 Exemplary embodiments of the possible facial expressions of the vehicle user, -
3 Embodiment of an unknown traffic sign, -
4 A second embodiment of the device according to the invention.
In
Während der Fahrt des Fahrzeuges
Mit Hilfe der Signale der Umgebungskamera
Die Erklärung wird entweder akustisch über den Lautsprecher
Zu den Verkehrszeichen
Die Erkläreinheit
Obwohl die Erfindung im Detail durch bevorzugte Ausführungsbeispiele näher illustriert und erläutert wurde, so ist die Erfindung nicht durch die offenbarten Beispiele eingeschränkt und andere Variationen können vom Fachmann hieraus abgeleitet werden, ohne den Schutzumfang der Erfindung zu verlassen. Es ist daher klar, dass eine Vielzahl von Variationsmöglichkeiten existiert. Es ist ebenfalls klar, dass beispielhaft genannte Ausführungsformen wirklich nur Beispiele darstellen, die nicht in irgendeiner Weise als Begrenzung etwa des Schutzbereichs, der Anwendungsmöglichkeiten oder der Konfiguration der Erfindung aufzufassen sind. Vielmehr versetzen die vorhergehende Beschreibung und die Figurenbeschreibung den Fachmann in die Lage, die beispielhaften Ausführungsformen konkret umzusetzen, wobei der Fachmann in Kenntnis des offenbarten Erfindungsgedankens vielfältige Änderungen beispielsweise hinsichtlich der Funktion oder der Anordnung einzelner, in einer beispielhaften Ausführungsform genannter Elemente vornehmen kann, ohne den Schutzbereich zu verlassen, der durch die Ansprüche und deren rechtliche Entsprechungen, wie etwa weitergehenden Erläuterung in der Beschreibung, definiert wird.While the invention has been further illustrated and explained in detail by way of preferred embodiments, the invention is not limited by the disclosed examples and other variations can be made by those skilled in the art can be derived without departing from the scope of the invention. It is therefore clear that a multitude of possible variations exists. It is also to be understood that exemplified embodiments are really only examples that are not to be construed in any way as limiting the scope, applicability, or configuration of the invention. Rather, the foregoing description and description of the figures enable one skilled in the art to practice the exemplary embodiments, and those skilled in the art, having the benefit of the disclosed inventive concept, can make various changes, for example, to the function or arrangement of individual elements recited in an exemplary embodiment, without Protected area, which is defined by the claims and their legal equivalents, such as further explanation in the description.
BezugszeichenlisteLIST OF REFERENCE NUMBERS
- 11
- Fahrzeugvehicle
- 33
- Fahrerkameradriver camera
- 55
- Auswerteeinheitevaluation
- 77
- Erkläreinheitexplanatory unit
- 99
- Umgebungskameraenvironment camera
- 1111
- Anzeigeeinheitdisplay unit
- 1313
- Lautsprecherspeaker
- 1515
- Verkehrszeichenroad sign
- 1717
- Serverserver
- 1919
- drahtlose Verbindungwireless connection
ZITATE ENTHALTEN IN DER BESCHREIBUNG QUOTES INCLUDE IN THE DESCRIPTION
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of the documents listed by the applicant has been generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.
Zitierte PatentliteraturCited patent literature
- DE 102007008835 A1 [0002]DE 102007008835 A1 [0002]
Claims (9)
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102018006828.6A DE102018006828A1 (en) | 2018-08-29 | 2018-08-29 | Method and device for supporting a vehicle user |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102018006828.6A DE102018006828A1 (en) | 2018-08-29 | 2018-08-29 | Method and device for supporting a vehicle user |
Publications (1)
Publication Number | Publication Date |
---|---|
DE102018006828A1 true DE102018006828A1 (en) | 2019-02-14 |
Family
ID=65084528
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
DE102018006828.6A Withdrawn DE102018006828A1 (en) | 2018-08-29 | 2018-08-29 | Method and device for supporting a vehicle user |
Country Status (1)
Country | Link |
---|---|
DE (1) | DE102018006828A1 (en) |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102007008835A1 (en) | 2007-02-23 | 2008-08-28 | Volkswagen Ag | Device and method for interactive information output and / or assistance for the user of a motor vehicle |
-
2018
- 2018-08-29 DE DE102018006828.6A patent/DE102018006828A1/en not_active Withdrawn
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102007008835A1 (en) | 2007-02-23 | 2008-08-28 | Volkswagen Ag | Device and method for interactive information output and / or assistance for the user of a motor vehicle |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
DE102010039634A1 (en) | Arrangement and method for traffic sign recognition | |
DE102014214514A1 (en) | Apparatus and method for exchanging data between vehicles for setting up a convoy | |
DE102015015944A1 (en) | A method for assisting a driver of a motor vehicle with regard to imminent overtaking maneuvers and motor vehicle | |
DE102014206623A1 (en) | Localization of a head-mounted display (HMD) in the vehicle | |
DE102015201406A1 (en) | CHARACTER DETECTION DEVICE AND METHOD FOR DETERMINING LEFT OR RIGHT TRAFFIC AND THE ROUTE UNIT INDEX | |
DE102019217428A1 (en) | Method for operating a driver assistance system, driver assistance system and vehicle | |
DE102021107602A1 (en) | DRIVER ASSISTANCE DEVICE AND DATA COLLECTION SYSTEM | |
DE102014207398A1 (en) | Object association for contact-analogue display on an HMD | |
DE102016014366A1 (en) | Method for operating a driver assistance system | |
DE102017122543A1 (en) | A method for assisting a driver of a motor vehicle when overtaking an object and driver assistance system | |
DE102013108615A1 (en) | Method and system for operating a motor vehicle | |
DE102008043756A1 (en) | Traffic sign information providing method for e.g. driver assistance system in vehicle, involves storing traffic sign data, assigning stored data to actual position of vehicle, and providing traffic sign information based on assigned data | |
DE102016001054A1 (en) | Method for entering a command in a control unit of a vehicle | |
DE102006024615B4 (en) | Method for selecting and displaying a visual representation for an operating function of a control device in a vehicle and operating device | |
DE102013003496A1 (en) | Method for documentation of collision warning generated during driving of motor car, involves recording collision warning, and evaluating stored collision warning information after the termination of travel | |
DE102016004028A1 (en) | Method for operating a vehicle | |
DE102019001092A1 (en) | Method for operating a driver assistance system, as well as electronic computing device, computer program product and data carrier | |
DE102018006828A1 (en) | Method and device for supporting a vehicle user | |
DE102020004792A1 (en) | Method and device for the detection and reporting of parking accidents for vehicles | |
DE102016214599A1 (en) | Method for detecting traffic signs in motor vehicles | |
DE102020206237A1 (en) | Procedure for assisting a driver in an overtaking maneuver, as well as vehicle | |
DE102019004075A1 (en) | Method for determining a relevance of an object in an environment of a motor vehicle by means of a driver assistance system and driver assistance system | |
DE202013007354U1 (en) | Computer program product and traffic sign recognition system for a vehicle | |
DE102016015145A1 (en) | Method for image transmission | |
DE102022002325A1 (en) | Method for activating a parking function of a vehicle and for finding potential parking spaces |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
R230 | Request for early publication | ||
R081 | Change of applicant/patentee |
Owner name: DAIMLER AG, DE Free format text: FORMER OWNER: DAIMLER AG, 70327 STUTTGART, DE |
|
R119 | Application deemed withdrawn, or ip right lapsed, due to non-payment of renewal fee |