DE102014105374A1

DE102014105374A1 - Driver assistance system

Info

Publication number: DE102014105374A1
Application number: DE102014105374.5A
Authority: DE
Inventors: Firas Lethaus; Lars Ebrecht
Original assignee: Deutsches Zentrum fuer Luft und Raumfahrt eV
Current assignee: Deutsches Zentrum fuer Luft und Raumfahrt eV
Priority date: 2014-04-15
Filing date: 2014-04-15
Publication date: 2015-10-15
Anticipated expiration: 2034-04-16
Also published as: DE102014105374B4; WO2015158775A1

Abstract

Die Erfindung betrifft ein Fahrerassistenzsystem für Fahrzeuge mit einer vom Fahrzeugführer zu tragenden Sensorbrille, die eine kopfgestützte Blickerfassungsvorrichtung hat, wobei in Abhängigkeit der erfassten Blickrichtung und einer Ortsposition des Fahrzeuges eine Fahrerabsicht bzgl. eines von dem Fahrzeugführer beabsichtigten, zukünftigen Fahrmanövers ermittelt wird.The invention relates to a driver assistance system for vehicles with a sensor goggles to be worn by the driver, which has a head-mounted gaze detection device, wherein a driver's intention with respect to the detected gaze direction and a spatial position of the vehicle is determined with reference to a future driving maneuver intended by the driver.

Description

Die Erfindung betrifft ein Fahrerassistenzsystem für ein Fahrzeug mit einer vom Fahrzeugführer zu tragenden Sensorbrille. Die Erfindung betrifft ebenfalls ein Verfahren zur Unterstützung eines Fahrzeugführers eines Fahrzeuges bei der Fahrführungsaufgabe. The invention relates to a driver assistance system for a vehicle with sensor glasses to be worn by the driver. The invention also relates to a method for assisting a driver of a vehicle in the driving task.

Fahrerassistenzsysteme sind elektrische Zusatzeinrichtungen in Fahrzeugen, die der Unterstützung des Fahrzeugführers (auch Fahrer genannt) bei der Durchführung der Fahrführungsaufgabe, insbesondere der Längs- und Querführung des Fahrzeuges, dienen. In einem modernen Kraftfahrzeug befinden sich dabei eine Vielzahl von Fahrerassistenzsystemen, die jeweils für unterschiedliche Fahrsituationen dem Fahrzeugführer eine entsprechende Unterstützung bieten. Driver assistance systems are electrical auxiliary devices in vehicles which serve to assist the vehicle driver (also called driver) in carrying out the driving task, in particular the longitudinal and transverse guidance of the vehicle. In a modern motor vehicle, there are a large number of driver assistance systems which offer the driver appropriate support for different driving situations in each case.

Hinsichtlich ihrer Wirkungsweise können dabei grundsätzlich zwei verschiedene Assistenzsysteme unterschieden werden. Zum einen solche Fahrerassistenzsysteme, die hinsichtlich ihrer Überwachungsfunktion eine Ausgabe an den Fahrzeugführer generieren, um so den Fahrzeugführer auf eine entsprechende Gefahrensituation aufmerksam zu machen. Zum anderen werden vermehrt auch solche Fahrerassistenzsysteme eingesetzt, die zumindest teilweise einen Eingriff in die Fahrzeugführung mittels Steuersignale durchführen, um so beispielsweise in sicherheitskritischen Situationen automatisiert eingreifen zu können. Hier sind beispielsweise Antikollisions-Assistenzsysteme zu nennen, die automatisch einen Bremseingriff vornehmen, um so das Fahrzeug vor einer drohenden Kollision zu schützen. With regard to their mode of action, two different assistance systems can basically be distinguished. On the one hand such driver assistance systems that generate an output to the driver with regard to their monitoring function, so as to make the driver aware of a corresponding dangerous situation. On the other hand, increasingly such driver assistance systems are used, which at least partially perform an intervention in the vehicle guidance by means of control signals so as to be able to intervene automatically in safety-critical situations, for example. Here, for example, anti-collision assistance systems are to be mentioned, which automatically make a braking intervention, so as to protect the vehicle from impending collision.

Die Datenbasis, auf der das Ausgabeverhalten eines Fahrerassistenzsystems beruht, sind meist Betriebsdaten des Fahrzeugs sowie Verkehrsdaten des Fahrzeugumfeldes (insbesondere Fremdfahrzeuge und deren relative Position zum Egofahrzeug). Derartige Fahrerassistenzsysteme sind allerdings in gewissen Situationen fehleranfällig, wenn die Absicht des Fahrers, ein bestimmtes Fahrmanöver in unmittelbarer Zukunft durchführen zu wollen, keine Berücksichtigung findet. Denn die tatsächliche Verkehrssituation basierend auf den Betriebsdaten des Fahrzeuges und den Verkehrsdaten des Fahrzeugumfeldes können unter gewissen Umständen keine für die Assistenz relevanten Verkehrssituationen sein, wenn das vom Fahrer beabsichtigte, zukünftige Fahrmanöver zu einer Entschärfung der Verkehrssituation führt. Hier sei beispielsweise ein Überholmanöver genannt, bei dem das Fahrzeug mit einer hohen Differenzgeschwindigkeit auf ein vorausfahrendes Fahrzeug auffährt, um dieses zu überholen. Ist einem Fahrerassistenzsystem, welches den Abstand zum vorausfahrenden Fahrzeug überwacht, um Auffahrunfälle zu vermeiden, die Absicht des Fahrers, ein entsprechendes Überholmanöver durchzuführen, nicht bekannt, so könnte dies unter Umständen zu einer irreführenden Warnung des Überholmanövers führen oder gar zu einem ungerechtfertigten Eingriff in die Fahrführungsaufgabe. Dies könnte unter gewissen Umständen sogar die Unfallgefahr erhöhen. The database on which the output behavior of a driver assistance system is based is usually operating data of the vehicle as well as traffic data of the vehicle environment (in particular foreign vehicles and their relative position to the ego vehicle). However, such driver assistance systems are susceptible to error in certain situations, if the intention of the driver to want to perform a specific driving maneuver in the immediate future, not taken into account. For the actual traffic situation based on the operating data of the vehicle and the traffic data of the vehicle environment can under certain circumstances not be relevant for the assistance traffic situations, if intended by the driver, future driving maneuvers to defuse the traffic situation. Here, for example, an overtaking maneuver is called, in which the vehicle ascends with a high differential speed on a vehicle in front, in order to overtake this. If a driver assistance system, which monitors the distance to the vehicle in front to avoid rear-end collisions, the intention of the driver to perform an appropriate overtaking maneuver, not known, this could possibly lead to a misleading warning of the overtaking maneuver or even unjustified interference with the driving management task. In some circumstances this could even increase the risk of accidents.

Für ein intelligentes Fahrerassistenzsystem ist es daher zukünftig unumgänglich, vom Fahrzeugführer geplante oder bereits eingeleitete Fahrmanöver mit in das Ausgabeverhalten des Fahrerassistenzsystems einfließen zu lassen, um so die Datenbasis zu erweitern. Die Erkennung von eingeleiteten Fahrmanövern in einem Fahrzeug kann dabei auf verschiedene Datenquellen basieren, wie z.B. CAN-Bus, wo eine Veränderung der Fahrzeugbewegung als Reaktion auf den Input des Fahrers verwendet wird. Demzufolge kann ein dynamisches Fahrmanöver, wie z.B. ein Spurwechsel, detektiert werden, sobald der Fahrer damit beginnt, es auszuführen. Auch das Betätigen der Blinkeinrichtung kann ein Indiz für ein kurz bevorstehendes Überholmanöver sein. For an intelligent driver assistance system, it is therefore imperative in the future to incorporate driving maneuvers planned or already initiated by the driver into the output behavior of the driver assistance system in order to expand the database. The detection of initiated driving maneuvers in a vehicle can be based on various data sources, such as e.g. CAN bus, where a change in vehicle motion is used in response to the driver's input. As a result, a dynamic driving maneuver, such as driving. a lane change, to be detected as soon as the driver starts executing it. Also, the operation of the blinking device can be an indication of an imminent overtaking maneuver.

Allerdings kann die Detektion des eingeleiteten Fahrmanövers unter Umständen für das entsprechende Ausgabeverhalten des Assistenzsystems zeitlich zu spät erfolgen, was zu einem Diskrepanz zwischen der Absicht des Fahrers und der Reaktion des Assistenzsystems führt. Grund hierfür ist die Tatsache, dass die Absicht des Fahrers, das Fahrmanöver durchzuführen, womöglich schon eine gewisse Zeit beim Fahrer vorliegt, die eigentliche Durchführung jedoch erst nach der Ausgabe einer Warnung durch das Assistenzsystem erfolgt. Es ist daher erstrebenswert, neben der Erfassung der eingeleiteten Fahrmanöver auf die Absicht des Fahrers, ein solches Fahrmanöver durchzuführen, zeitlich früher zu erkennen. Hierdurch lässt sich die Akzeptanz und somit die Qualität eines intelligenten Fahrerassistenzsystems deutlich steigern. However, the detection of the initiated driving maneuver may under certain circumstances take place too late for the corresponding output behavior of the assistance system, which leads to a discrepancy between the intention of the driver and the response of the assistance system. The reason for this is the fact that the intention of the driver to carry out the driving maneuver may already have been with the driver for a certain time, but the actual implementation takes place only after the issuing of a warning by the assistance system. It is therefore desirable, in addition to the detection of the initiated driving maneuvers on the intention of the driver to perform such a maneuver, to detect earlier in time. This significantly increases the acceptance and thus the quality of an intelligent driver assistance system.

Aus Lethaus F., & Rataj, J. „Do eye movements reflect driving manoeuvres?“, IET Intelligent Transport Systems, 1 (3), 199–204. doi: 10.1049/iet-its: 20060058 (2007) ist bekannt, dass bestimmten Fahrmanövern, wie beispielsweise Überholmanövern, signifikante charakteristische Blickeinrichtungen vorausgehen, die als Indikatoren zur Bestimmung der Fahrerabsicht herangezogen werden können. Die Blickdaten werden dabei als Informationsquelle zur Prädiktion der Fahrerabsicht in Bezug auf Spurwechselmanöver und Differenzierbarkeit zwischen Spurenwechselmanövern benutzt und statistisch validiert, wobei über Lernalgorithmen entsprechende Prädiktionsmodelle zur Fahrerabsichtserkennung entwickelt werden können. Out Lethaus F., & Rataj, J. "Do eye movements reflect driving maneuvers?", IET Intelligent Transport Systems, 1 (3), 199-204. doi: 10.1049 / iet-its: 20060058 (2007) It is known that certain driving maneuvers, such as overtaking maneuvers, are preceded by significant distinctive glimpses that can be used as indicators to determine driver intent. The gaze data are thereby used and statistically validated as an information source for prediction of the driver's intention with regard to lane change maneuvers and differentiability between lane change maneuvers, wherein corresponding prediction models for driver intent recognition can be developed via learning algorithms.

Eine derartige Fahrerabsichtserkennung basierend auf dem Blickverhalten des Fahrzeugführers korrespondiert mit der kognitiven Phase der Informationsaufnahme des Fahrers, sodass sich die Datenquelle für die Absicht des Fahrers zeitlich von der eigentlichen Ausführung des Fahrmanövers befindet. Eine derartige korrekte Frühidentifizierung von beabsichtigten Fahrmanövern hätte zur Folge, dass Manöver spezifischer Assistenzfunktionen bzw. Informationsstrategien des Assistenzsystems an die jeweilige Fahrsituation angepasst werden könnten und die Wahrscheinlichkeit von fehlerhafter Assistenz verringert wird. Such driver intent recognition based on the gaze behavior of the driver corresponds to the cognitive phase of the driver Information recording of the driver, so that the data source for the intention of the driver is temporally from the actual execution of the driving maneuver. Such a correct early identification of intended driving maneuvers would mean that maneuvers of specific assistance functions or information strategies of the assistance system could be adapted to the respective driving situation and the likelihood of incorrect assistance being reduced.

Zur Erfassung der Blickrichtung werden aus dem Stand der Technik berührungslose Eyetracking-Systeme verwendet, die zwar eine freie Kopfbewegung zulassen und einen deutlich höheren Komfort haben, jedoch systembedingt nicht in der Lage sind, die Genauigkeit derartiger zugrunde gelegte Anwendungen zu gewährleisten. For detecting the line of sight, non-contact eye-tracking systems are used in the prior art, which allow a free head movement and have a significantly higher comfort, but are systematically unable to ensure the accuracy of such underlying applications.

Es ist Aufgabe der vorliegenden Erfindung ein Fahrerassistenzsystem zu schaffen, das in Bezug auf die zugrunde gelegte Datenbasis die vom Fahrzeugführer gefasste Fahrerabsicht deutlich besser in den Kontext der momentanen Verkehrssituation stellt. It is an object of the present invention to provide a driver assistance system which, in relation to the underlying data base, places the driver intention taken by the vehicle driver much better in the context of the current traffic situation.

Die Aufgabe wird mit dem Fahrerassistenzsystem der eingangs genannten Art durch die Merkmale des Patentanspruches 1 sowie des Patentanspruches 8 erfindungsgemäß gelöst. The object is achieved with the driver assistance system of the type mentioned by the features of claim 1 and of claim 8 according to the invention.

Demnach wird ein Fahrerassistenzsystem für ein Fahrzeug zur Unterstützung des Fahrzeugführers des Fahrzeugs bei der Verfügungsaufgabe vorgeschlagen, das eine vom Fahrzeugführer zu tragende Sensorbrille aufweist. Die Sensorbrille beinhaltet dabei zum einen eine kopfgestützte Blickerfassungsvorrichtung zum Erfassen der Blickrichtung des Fahrzeugführers während der Steuerung des Fahrzeuges, wobei mit einer Fahrerabsichts-Erkennungseinheit basierend auf den erfassten Blickrichtungen die Fahrerabsicht bzgl. eines von dem Fahrzeugführer beabsichtigten, zukünftigen Fahrmanövers ermittelt werden kann. Accordingly, a driver assistance system for a vehicle for assisting the vehicle driver of the vehicle in the disposal task is proposed which has a sensor to be worn by the driver sensor glasses. The sensor goggles in this case on the one hand comprises a head-supported gaze device for detecting the line of sight of the vehicle driver during the control of the vehicle, wherein the driver's intention with respect to a future driving maneuver intended by the vehicle driver can be determined with a driver's intention recognition unit based on the detected gaze directions.

Darüber hinaus ist die Fahrerabsicht-Erkennungseinheit erfindungsgemäß mit einer Positionsermittlungseinheit verbindbar oder verbunden oder weist diese sogar auf, um die aktuelle Ortsposition des Fahrzeuges zu ermitteln. Die Positionsermittlungseinheit kann beispielsweise ein Satellitenpositionssystem, wie beispielsweise das GPS, sein, das basierend auf von Satelliten aus gesendeten Funksignalen die Ortsposition des Fahrzeuges, insbesondere die Ortsposition des Fahrzeuges auf der Erde, ermitteln kann. Moreover, according to the invention, the driver intention recognition unit can be connected or connected to a position determination unit or even has it assigned to determine the current position of the vehicle. The position determination unit can be, for example, a satellite positioning system, such as the GPS, which can determine the spatial position of the vehicle, in particular the spatial position of the vehicle on the ground, based on satellites transmitted from satellites.

Die Fahrerabsichts-Erkennungseinheit ist nun erfindungsgemäß so eingerichtet, dass sie die Fahrerabsicht nicht nur losgelöst von den erfassten Blickrichtungen des Fahrzeugführers ermittelt, sondern die Fahrerabsicht auch unter Berücksichtigung der aktuellen Ortsposition ermittelt, sodass hier durch verschiedene Fahrsituationen berücksichtigt werden können, wodurch sich die Erkennung der Fahrerabsicht aus dem Blickverhalten des Fahrers besser konkretisieren lässt. Durch die Kenntnis, wo sich das Fahrzeug gerade befindet, lässt sich das Blickverhalten des Fahrers wesentlich gezielter hinsichtlich der Erkennung von Fahrerabsichten analysieren, so dass die Erkennung der Fahrerabsicht deutlich verbessert werden kann. According to the invention, the driver's intention recognition unit is now set up in such a way that it not only determines the driver's intention detached from the detected lines of sight of the vehicle driver, but also determines the driver's intention taking into account the current position, so that different driving situations can be taken into account here, which results in recognition of the driver's intention Driver intent from the gaze behavior of the driver can be made more concrete. By knowing where the vehicle is currently located, the driver's gaze behavior can be analyzed in a much more targeted manner with regard to the recognition of driver intentions, so that recognition of the driver's intention can be significantly improved.

Das Fahrerassistenzsystem hat somit als Datenquelle nicht nur die Betriebsdaten des Fahrzeuges, bzw. Verkehrsdaten der Fahrzeugumgebung, sondern auch eine mögliche Fahrerabsicht, die sich aus dem Blickverhalten und der aktuellen Ortsposition sehr genau erfassen lässt, sodass das Ausgabeverhalten des Fahrerassistenzsystem wesentlich differenzierter einer tatsächlich vorliegenden Verkehrssituation und an ein zukünftig vom Fahrer durchzuführendes Fahrmanöver angepasst werden kann. The driver assistance system thus has as data source not only the operating data of the vehicle, or traffic data of the vehicle environment, but also a possible driver intent, which can be very accurately detected from the gaze behavior and the current position, so that the output behavior of the driver assistance system significantly differentiated an actual traffic situation and can be adapted to a future maneuver to be performed by the driver.

Dabei haben die Erfinder erkannt, dass durch eine am Kopf getragene Sensorbrille die Erfassung der Blickrichtung durch ein kopfgestütztes Eyetracking-System ohne Einbußen von Komfort möglich ist, so dass die Akzeptanz derartiger Systeme wesentlich verbessert werden kann. Erfindungsgemäß unterscheidet sich dabei die Sensorbrille im Tragekomfort nicht von einer herkömmlichen Brille als Sehhilfe, was die Akzeptanz bei der Benutzung der Sensorbrille für das Fahrerassistenzsystem beim Fahrzeugführer deutlich erhöht. In this case, the inventors have recognized that capturing the viewing direction by a head-mounted eye-tracking system without sacrificing comfort is possible by wearing a sensor glasses worn on the head, so that the acceptance of such systems can be significantly improved. According to the invention, the sensor goggles do not differ in wearing comfort from conventional goggles as visual aids, which significantly increases the acceptance when using the sensor goggles for the driver assistance system by the vehicle driver.

Die Erkennung der Fahrerabsicht in Abhängigkeit von den erfassten Blickrichtungen erfolgt dabei über erfasste Blickrichtungen über die Zeit, die in ihrer Folge ein Blickmuster ergeben. Beabsichtigt der Fahrzeugführer, ein vorausfahrendes Fahrzeug zu überholen, so bilden die erfassten Blickrichtungen ein charakteristisches Blickmuster, bei dem der Fahrzeugführer bestimmte Objekte oder Blickbereiche im Fahrzeugcockpit fokussiert. Dieses charakteristische Blickmuster kann mit Hilfe der erfassten Blickrichtung über die Zeit erfasst werden, wobei in Abhängigkeit der erkannten Blickmuster dann die entsprechende Fahrerabsicht erkennbar wird. Denkbar ist es hier, dass das Verhalten des Fahrers hinsichtlich seines Blickmusters in Bezug auf das durchzuführende Fahrmanöver von dem Fahrerassistenz hin über die Zeit gelernt wird. Darüber hinaus kann durch die Kenntnis der aktuellen Ortsposition und somit beispielsweise die Kenntnis der zu befahrenden Straßenart darüber hinaus das Blickverhalten des Fahrzeugführers wesentlich differenzierter betrachtet werden, da die Erfinder erkannt haben, dass gleiche Fahrmanöver, wie beispielsweise das Überholen eines vorausfahrenden Fahrzeuges, je nach Art der Straße, beispielsweise Autobahn oder Landstraße, im Detail unterschiedlich sein kann. Daher kann durch die Berücksichtigung der aktuellen Ortsposition das Blickverhalten wesentlich differenzierter hinsichtlich der Fahrerabsicht analysiert werden. The recognition of the driver's intent as a function of the detected directions of view takes place via detected viewing directions over time, which result in a look pattern in their sequence. If the vehicle driver intends to overtake a vehicle in front, the detected directions of sight form a characteristic gaze pattern in which the driver focuses particular objects or viewing areas in the vehicle cockpit. This characteristic gaze pattern can be detected with the aid of the detected gaze direction over time, with the corresponding driver intent being recognizable as a function of the recognized gaze pattern. It is conceivable here that the behavior of the driver with regard to his gaze pattern in relation to the driving maneuver to be performed is learned from the driver assistance over time. In addition, by the knowledge of the current location position and thus, for example, the knowledge of the road to be traveled beyond the gaze of the driver can be considered much more differentiated, since the inventors have recognized that the same driving maneuvers, such as overtaking a vehicle in front, depending on the type the road, for example motorway or Country road, in detail may be different. Therefore, by taking into account the current spatial position, the gaze behavior can be analyzed in a much more differentiated manner with regard to driver intent.

Gemäß einer vorteilhaften Ausführungsform ist die Fahrerabsichts-Erkennungseinheit zum Ermitteln der Fahrerabsicht unter Anwendung der über die Zeit erfassten Blickrichtungen auf ein Fahrerabsichts-Prädiktionsmodell zur Fahrerabsichtserkennung eingerichtet. Dem Prädiktionsmodell wird dabei zum einen das durch die Sensorbrille erfasste Blickverhalten und zum anderen die aktuelle Ortsposition bereitgestellt, wodurch sich dann die Fahrerabsicht für ein zukünftig durchzuführendes Fahrmanöver ableiten lässt. According to an advantageous embodiment, the driver intention recognition unit for determining the driver intention is set up using the viewing directions acquired over time to a driver intention prediction model for driver intent recognition. The prediction model is thereby provided on the one hand the gaze behavior captured by the sensor goggles and on the other hand the current spatial position, which then allows the driver's intent to be derived for a future driving maneuver to be carried out.

Ein derartiges Fahrerabsichts-Prädiktionsmodell kann dabei von vornherein bereitgestellt werden oder in Form eines lernbaren Modells stetig an das Verhalten des Fahrers angepasst werden. Such a driver intention prediction model can be provided from the outset or can be continuously adapted to the behavior of the driver in the form of a learnable model.

Gemäß einer vorteilhaften Ausführungsform ist die Fahrerabsichts-Erkennungseinheit mit einer digitalen Karte verbindbar oder verbunden oder weist diese auf, so dass die Fahrerabsichts-Erkennungseinheit anhand der aktuellen Ortsposition den Straßenkontext der aktuell von dem Fahrzeug befahrenen Straße aus der digitalen Karte ermitteln kann. Der Straßenkontext der aktuell von dem Fahrzeug befahrenen Straße kann dabei beispielsweise die Art der Straße sein, d.h. die Fahrerabsicht-Erkennungseinheit kann feststellen, ob sich das Fahrzeug beispielsweise auf einer Autobahn, Landstraße (außerorts) oder auf einer urbanen Straße (innerorts) befindet. Darüber hinaus lässt sich auch ableiten, wie viele Fahrbahnen die Straße hat oder wie hoch die zulässige Gesamtgeschwindigkeit ist. Der Straßenkontext der aktuell von dem Fahrzeug befahrenen Straße stellt somit im weitesten Sinne straßenbezogene Verkehrsparameter dar. According to an advantageous embodiment, the driver intention recognition unit can be connected to or connected to a digital map, or has it, so that the driver intention recognition unit can determine the road context of the road currently being traveled by the vehicle from the digital map on the basis of the current location position. The road context of the road currently being traveled by the vehicle may be, for example, the type of road, i. the driver intention detection unit can determine whether the vehicle is on a highway, highway (out of town), or on an urban road (inner city), for example. In addition, it is also possible to deduce how many lanes the road has or how high the permissible overall speed is. The road context of the road currently occupied by the vehicle thus represents in the broadest sense road-related traffic parameters.

Die Fahrerabsichts-Erkennungseinheit ist nun derart eingerichtet, dass sie in Abhängigkeit von den über die Zeit erfassten Blickrichtungen und dem aktuellen Straßenkontext die Fahrerabsicht bzgl. eines zukünftig von dem Fahrzeugführer durchzuführenden Fahrmanövers ermittelt. So haben die Erfinder erkannt, dass das Blickverhalten bei bestimmten Manövern auf einer Autobahn sich im Detail von dem Blickverhalten auf anderen Straßenarten unterscheiden. The driver intention recognition unit is now set up in such a way that, depending on the viewing directions detected over time and the current road context, it determines the driver's intention with respect to a driving maneuver to be carried out by the driver in the future. Thus, the inventors have recognized that the gaze behavior in certain maneuvers on a highway differ in detail from the gaze behavior on other types of roads.

Darüber hinaus kann auch vorgesehen sein, dass die Fahrerabsicht-Erkennungseinheit die Fahrerabsicht nur dann ermittelt, wenn sich das Fahrzeug auf einer bestimmten Straßenart, wie beispielsweise einer Autobahn, befindet, so dass nur dann das Blickverhalten des Fahrzeugführers zur Prädiktion der Fahrerabsicht herangezogen wird. Befindet sich das Fahrzeug hingegen nicht auf einer Autobahn oder einer anderen vorher definierten Straßenart, wird von der Fahrerabsicht-Erkennungseinheit die Fahrerabsicht nicht aus dem Blickverhalten ermittelt. Denn es hat sich gezeigt, dass beispielsweise auf kleinen Nebenstraßen das Blickverhalten des Fahrzeugführers so unstetig ist, dass sich hieraus keine Fahrerabsicht vorhersagen lässt. In addition, it can also be provided that the driver intention recognition unit determines the driver intent only when the vehicle is on a specific road type, such as a highway, so that only the gaze behavior of the vehicle driver is used for predicting the driver's intention. On the other hand, if the vehicle is not on a highway or any other previously defined road type, the driver intent is not determined from the gaze behavior by the driver intention recognition unit. Because it has been shown that, for example, on small side roads, the gaze behavior of the driver is so unsteady that no driver intention can be predicted from this.

Gemäß einer weiteren vorteilhaften Ausführungsform ist die Fahrerabsichts-Erkennungseinheit mit einer Verkehrssituations-Ermittlungseinheit verbindbar oder verbunden oder weist eine solche auf, so dass die aktuelle Verkehrssituation der Fahrerabsicht-Erkennungseinheit bereitgestellt werden kann. Die aktuelle Verkehrssituation bezieht dabei auch Fremdfahrzeuge und andere Verkehrsteilnehmer, wie Fahrradfahrer, Motorradfahrer und Fußgänger mit ein und beschreibt den gesamten, in der Umgebung des Fahrzeuges definierten Verkehrszustand. Die aktuelle Verkehrssituation wird dabei anhand der aktuellen Ortsposition des Fahrzeuges abgeleitet, wobei die Fahrerabsichts-Erkennungseinheit zum Ermitteln der Fahrerabsicht weiter in Abhängigkeit von den über die Zeit erfassten Blickrichtungen und der aktuellen Verkehrssituation ausgebildet ist. According to a further advantageous embodiment, the driver intention recognition unit can be connected to or connected to a traffic situation determination unit or has such a feature, so that the current traffic situation of the driver intention recognition unit can be provided. The current traffic situation also involves other vehicles and other road users, such as cyclists, motorcyclists and pedestrians and describes the entire, defined in the environment of the vehicle traffic condition. In this case, the current traffic situation is derived on the basis of the current location position of the vehicle, wherein the driver intention recognition unit for determining the driver intention is further configured as a function of the viewing directions detected over time and the current traffic situation.

Auch hier ist es beispielsweise denkbar, dass die Fahrerabsicht nur dann aus dem Blickverhalten des Fahrzeugsführer abgeleitet wird, wenn beispielsweise keine Fußgänger in der Nähe sind, oder sonstige, den Fahrzeugführer ablenkende Verkehrsereignisse, um so das Ermitteln der Fahrerabsicht aus dem Blickverhalten des Fahrzeugführers sicher durchführen zu können. Denn in der Umgebung des Fahrzeugführers auftretende Verkehrsereignisse können den Fahrzeugführer so ablenken, dass das Blickverhalten hinsichtlich seiner Fahrerabsicht nicht mehr korrekt analysierbar wird. Again, it is conceivable, for example, that the driver's intent is derived only from the gaze of the driver, for example, if no pedestrians are nearby, or other, the driver distracting traffic events, so safely determine the determination of the driver's intention from the gaze of the driver to be able to. Because occurring in the environment of the driver traffic events can distract the driver so that the gaze behavior in terms of his driver's intent is no longer correctly analyzed.

Gemäß einer vorteilhaften Ausführungsform weist die Sensorbrille mindestens eine in das Blickfeld des Fahrzeugführers ausgerichtete Kamera auf, die zum Aufnehmen von Bilddaten des Blickfeldes des Fahrzeugführers ausgebildet ist. Mit Hilfe einer Bildauswerteinheit lassen sich dann Objekte im Blickfeld des Fahrzeugführers aus den aufgenommenen Bilddaten der Kamera erkennen, wobei die Fahrerabsicht-Erkennungseinheit eingerichtet ist, in Abhängigkeit von den erfassten Blickrichtungen und den erkannten Objekten das vom Fahrzeugführer fokussierte Objekt und/oder einen vorliegenden Blickbereich festzustellen und in Abhängigkeit von einem Blickmuster, das aus dem über die Zeit fokussierten Objekten und/oder Blickbereichen ableitbar ist, die Fahrerabsicht zu ermitteln. According to an advantageous embodiment, the sensor goggles have at least one camera which is oriented in the field of vision of the vehicle driver and which is designed to record image data of the field of vision of the vehicle driver. With the aid of an image evaluation unit, objects in the field of view of the vehicle driver can then be recognized from the recorded image data of the camera, the driver intention recognition unit being set up to determine the object focused by the vehicle driver and / or a present viewing area as a function of the detected viewing directions and the detected objects and depending on a gaze pattern derivable from the time-focused objects and / or gaze areas, determining the driver's intent.

Gemäß einer vorteilhaften Ausführungsform weist die Sensorbrille ein Head-Mounted-Display auf, das zum Einblenden von Informationen in das Blickfeld des Fahrzeugführers ausgebildet ist. According to an advantageous embodiment, the sensor glasses have a head-mounted display, which is designed to fade information in the field of view of the driver.

Die Erfindung wird anhand der beigefügten Figuren beispielhaft erläutert. Es zeigen: The invention will be explained by way of example with reference to the attached figures. Show it:

1 schematische Darstellung des erfindungsgemäßen Fahrerassistenzsystems; 1 schematic representation of the driver assistance system according to the invention;

2 schematische Darstellung eines Blickmusters. 2 schematic representation of a gaze pattern.

1 zeigt schematisch die Darstellung eines Fahrerassistenzsystems 1 für Fahrzeuge mit einer vom Fahrzeugführer zu tragenden Sensorbrille 2. Die Sensorbrille 2 weist – schematisch angedeutet eine Blickerfassungsvorrichtung 3 auf, mit der die Blickrichtung des Fahrzeugführers während der Steuerung des Fahrzeugs erfasst werden kann. Bei der Blickerfassungsvorrichtung 3 kann es sich beispielsweise um ein kopfgestütztes Eyetracking-System handeln, bei dem mit Hilfe einer Kamera die Ausrichtung der Pupille des Auges relativ zu der Sensorbrille 2 erfasst wird. 1 schematically shows the representation of a driver assistance system 1 for vehicles with sensor glasses to be worn by the driver 2 , The sensor glasses 2 has - schematically indicated a gaze detection device 3 on, with the view of the driver can be detected during the control of the vehicle. At the look detection device 3 For example, it may be a head-mounted eye-tracking system that uses a camera to align the pupil of the eye relative to the sensor glasses 2 is detected.

Die von der Blickerfassungsvorrichtung 3 erfassten Daten können dann mit Hilfe einer drahtlosen Kommunikationsschnittstelle 4 der Sensorbrille an die fahrzeugseitigen Verarbeitungseinheiten übertragen werden. Sie werden die von der Blickerfassungsvorrichtung 3 erfassten Blickrichtungen an eine fahrzeugseitige Fahrerabsichts-Erkennungseinheit 5 übertragen, die eingerichtet ist, in Abhängigkeit von den über die Zeit erfassten Blickrichtungen eine Fahrerabsicht bzgl. eines von dem Fahrzeugführer beabsichtigt sind, zukünftigen Fahrmanöver zu ermitteln. Dies kann beispielsweise anhand eines aus den Blickrichtungen abgeleiteten Blickmusters, das für das entsprechende Fahrmanöver charakteristisch ist, hergeleitet werden. The from the look detection device 3 captured data can then be using a wireless communication interface 4 the sensor glasses are transmitted to the vehicle-side processing units. They become the ones of the eye-tracking device 3 detected viewing directions to a vehicle-side driver intention detection unit 5 transmitted, which is set up, depending on the time of sight detected directions of a driver with respect. One of the driver is intended to determine future driving maneuvers. This can be derived, for example, from a gaze pattern derived from the viewing directions, which is characteristic of the corresponding driving maneuver.

Um die aus den Blickrichtungen abgeleiteten Blickmuster in den richtigen Kontext zu setzen, ist die Fahrerabsichts-Erkennungseinheit 5 mit einer Positionsermittlungseinheit 6 verbunden, die im Ausführungsbeispiel der 1 Bestandteil des Fahrerassistenzsystems 1 ist. Denkbar ist aber auch, dass über eine Schnittstelle die Positionsermittlungseinheit 6 und dem Fahrerassistenzsystem 1 kommunizierend verbunden ist. Die Positionsermittlungseinheit 6 ermittelt kontinuierlich die Ortsposition des Fahrzeuges, beispielsweise mit Hilfe eines GPS-Empfängers 7. To put the gaze patterns derived from the gaze directions in the correct context is the driver intention recognition unit 5 with a position determination unit 6 connected in the embodiment of the 1 Part of the driver assistance system 1 is. It is also conceivable that via an interface, the position detection unit 6 and the driver assistance system 1 is communicatively connected. The position determination unit 6 continuously determines the location of the vehicle, for example with the help of a GPS receiver 7 ,

Die Fahrerabsichts-Erkennungseinheit 5 ist nun derart eingerichtet, dass sie die Fahrerabsicht bzgl. eines zukünftigen Fahrmanövers des Fahrers sowohl in Abhängigkeit des Blickmusters als auch in Abhängigkeit der Ortsposition ermittelt, um so das erfasste Blickmuster im richtigen Kontext der Verkehrssituation analysieren zu können. The driver intent detection unit 5 is now set up in such a way that it determines the driver's intention with regard to a future driving maneuver of the driver both as a function of the gaze pattern and also as a function of the spatial position in order to be able to analyze the detected gaze pattern in the correct context of the traffic situation.

Hierzu ist im Ausführungsbeispiel der 1 die Fahrerabsichts-Erkennungseinheit 5 mit einer digitalen Karte 8 verbunden die Bestandteil des Fahrerassistenzsystems 1 ist. Denkbar ist aber auch, dass die digitale Karte über eine Schnittstelle mit dem Fahrerassistenzsystems 1 verbunden oder verbindbar ist. Mit Hilfe der aktuellen Ortspositionen, ermittelt durch die Positionsermittlungseinheit 6, lassen sich nun straßenbezogene Verkehrsparameter aus der digitalen Karte an der aktuellen Position extrahieren, beispielsweise einen sogenannten Straßenkontext, d.h. Art der Straße, Anzahl der Fahrbahn, Höchstgeschwindigkeit usw. Unter Kenntnis dieser aus der digitalen Karte 8 extrahierten straßenbezogenen Verkehrsparameter lässt sich nun das aus den Blickrichtungen abgeleitete Blickmuster vor diesem Hintergrund analysieren, wodurch sich beispielsweise ergeben könnte, dass ein und dasselbe oder ähnliches Blickmuster auf einer Autobahn eine andere Fahrerabsicht bedeutet als ein derartiges Blickmuster auf einer Landstraße. Denkbar ist auch, dass nur für bestimmte Straßenarten, beispielsweise für eine Autobahn, die Fahrerabsicht bzgl. eines von dem Fahrzeugführer beabsichtigten, zukünftigen Fahrmanövers aus den über die Zeit erfassten Blickrichtungen ermittelt wird, dafür andere Straßenarten ein derartiges Blickmuster nicht charakteristisch sein muss für die abgeleitete Fahrerabsicht. For this purpose, in the embodiment of 1 the driver intention recognition unit 5 with a digital map 8th connected the component of the driver assistance system 1 is. It is also conceivable that the digital map via an interface with the driver assistance system 1 connected or connectable. With the help of the current location positions, determined by the position determination unit 6 , can now road-related traffic parameters from the digital map at the current position extract, for example, a so-called road context, ie type of road, number of lanes, maximum speed, etc. Under knowledge of this from the digital map 8th extracted road-related traffic parameters can now analyze the viewpoints derived from the viewing directions against this background, which could, for example, result that one and the same or similar look pattern on a highway means a different driver intent than such a view pattern on a country road. It is also conceivable that only for certain types of road, for example for a highway, the driver's intention with respect to a future driver's maneuver intended by the vehicle driver is determined from the line of sight recorded over time, but other types of road such a view pattern need not be characteristic for the derived vehicle driver's intention.

Des Weiteren ist in 1 die Fahrerabsicht-Erkennungseinheit 5 mit einer Verkehrssituations-Ermittlungseinheit 9 verbunden, mit Hilfe derer die aktuelle Verkehrssituation der Fahrerabsicht-Erkennungseinheit 5 bereitgestellt werden kann. Derartige Verkehrssituationen können beispielsweise die Feststellung sein, ob sich das Fahrzeug im fließenden Verkehr befindet oder in Stausituationen. Denkbar ist aber auch, dass andere Verkehrsteilnehmer relativ zu dem eigenen Fahrzeug detektiert und in die Gesamtsituation mit einfließen. Unter Kenntnis der aktuellen Verkehrssituation lässt sich dann ebenfalls aus den Blickrichtungen und den daraus ggf. abgeleiteten Blickmuster eine entsprechende Fahrerabsicht ableiten. Dies kann beispielsweise dadurch geschehen, dass unter gewissen Verkehrssituationen, wie beispielsweise in Stausituationen, die Fahrerabsicht aus dem Blickmustern nicht ermittelt wird, da hier die Blickmuster für bestimmte Fahrerabsichten nicht charakteristisch oder signifikant genug sind. Furthermore, in 1 the driver intention recognition unit 5 with a traffic situation determination unit 9 connected by means of which the current traffic situation of the driver intention detection unit 5 can be provided. Such traffic situations can be, for example, the determination of whether the vehicle is in flowing traffic or in congestion situations. It is also conceivable, however, that other road users are detected relative to their own vehicle and included in the overall situation. With knowledge of the current traffic situation, it is then also possible to derive a corresponding driver intent from the viewing directions and the possibly derived visual patterns. This can be done, for example, that under certain traffic situations, such as in congestion situations, the driver's intention from the gaze pattern is not determined, since the gaze pattern for certain driver intentions are not characteristic or significant enough.

2 zeigt schematisch stark vereinfacht die Innenansicht eines Fahrzeugcockpits, aus dem sich dann ein entsprechendes Blickmuster bezogen auf verschiedene Bereiche des Fahrzeugcockpits mit Hilfe der Sensorbrille erfassen lassen. Vereinfacht dargestellt ist das Fahrzeugcockpit in fünf Bereiche unterteilt B1 bis B5. B1 stellt dabei den Bereich der Frontscheibe dar, B2 den linken Bereich des Fahrzeugcockpits einschließlich dem linken Außenspiegel, B3 die rechte Seite einschließlich dem rechten Außenspiegel, B4 das Lenkrad und Armaturenbrett und B5 den innen angeordneten Rückspiegel. 2 schematically shows greatly simplified the interior view of a vehicle cockpit, from which can then capture a corresponding gaze pattern with respect to different areas of the vehicle cockpit with the help of the sensor glasses. Simplified, the vehicle cockpit is divided into five areas B1 to B5. B1 represents the area of Windscreen, B2 the left area of the vehicle cockpit including the left side mirror, B3 the right side including the right side mirror, B4 the steering wheel and dashboard and B5 the inside rearview mirror.

Beabsichtigt der Fahrzeugführer nunmehr ein vor ihm langsam fahrendes Fahrzeug auf einer Autobahn zu überholen, so nähert er sich dem vorausfahrenden Fahrzeug mit einer hohen Differenzgeschwindigkeit. Hat er dich Absicht gefasst, ein entsprechendes Überholmanöver durchzuführen, so lässt sich dies anhand eines charakteristischen Blickmusters identifizieren, bei dem die Blickrichtung des Fahrzeugführers in einem bestimmten Muster zwischen den einzelnen Bereichen wechselt, was als charakteristisches Blickmuster für eine bestimmte Fahrerabsicht gewertet werden kann. If the driver now intends to overtake a vehicle driving slowly ahead of him on a motorway, he approaches the vehicle in front at a high differential speed. If he has intended you to perform an appropriate overtaking maneuver, this can be identified by a characteristic gaze pattern in which the driver's gaze changes in a specific pattern between the individual areas, which can be considered a characteristic gaze pattern for a particular driver's intention.

Wurde nun ein solches für ein Überholmanöver auf einer Autobahn charakteristisches Blickmuster ermittelt, so wird durch das Fahrerassistenzsystem anhand der aktuellen Ortsposition weiterhin überprüft, ob sich das Fahrzeug tatsächlich auf einer Autobahn befindet. Ist dies der Fall, so wird dieses charakteristische Blickmuster als Anzeichen für ein bevorstehendes Überholmanöver gewertet, so dass die Fahrerabsicht, ein solches Überholmanöver zu tätigen, anderen Assistenzsystemen zur Verfügung gestellt werden kann. Wurde hingegen von dem Fahrerassistenzsystem ermittelt, dass das Fahrzeug beispielsweise in einer Stausituation befindet oder beispielsweise nicht auf einer Autobahn, so wird dieses charakteristische Blickmuster nicht als Fahrerabsicht bzgl. eines bevorstehenden Überholmanövers gewertet, da in derartigen Situationen dieses Blickmuster nicht charakteristisch ist. If such a look pattern characteristic for an overtaking maneuver on a motorway has now been determined, then the driver assistance system continues to check, based on the current position, whether the vehicle is actually on a motorway. If this is the case, then this characteristic gaze pattern is interpreted as an indication of an imminent overtaking maneuver, so that the driver's intention to make such an overtaking maneuver can be made available to other assistance systems. If, on the other hand, it has been determined by the driver assistance system that the vehicle is for example in a traffic jam situation or, for example, not on a motorway, then this characteristic gaze pattern is not rated as the driver's intention with respect to an imminent overtaking maneuver since in such situations this gaze pattern is not characteristic.

Die bei dem Fahrerassistenzsystem ermittelte Fahrerabsicht bzgl. eines bevorstehenden Fahrmanövers kann dabei anderen Assistenzsystemen zur Verfügung gestellt werden, die warnend oder regelnd in die Verfügungsaufgabe des Fahrzeugführers eingreifen. Hierdurch lässt sich die Datenbasis der anderen Assistenzsysteme auf die Prädiktion von Fahrmanövern erweitern, wodurch die Assistenz wesentlich verbessert werden kann. Hierdurch lässt sich insbesondere Befehlassistenz verringern. The driver intention determined with the driver assistance system with regard to an imminent maneuver can be made available to other assistance systems which intervene in a warning or regulatory manner in the vehicle operator's task. As a result, the database of the other assistance systems can be extended to the prediction of driving maneuvers, whereby the assistance can be significantly improved. In particular, this can reduce command assistance.

BezugszeichenlisteLIST OF REFERENCE NUMBERS

1 1: Fahrerassistenzsystem Driver assistance system
2 2: Sensorbrille sensor glasses
3 3: Blickerfassungseinrichtung Looking detector
4 4: Drahtlose Kommunikationsschnittstelle Wireless communication interface
5 5: Fahrerabsichts-Erkennungseinheit Driver Intention recognition unit
6 6: Positionsermittlungseinheit Position determining unit
7 7: Satellitensender satellite stations
8 8th: Digitale Karte Digital map
9 9: Verkehrssituations-Ermittlungseinheit Traffic situation determining unit

ZITATE ENTHALTEN IN DER BESCHREIBUNG QUOTES INCLUDE IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of the documents listed by the applicant has been generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte Nicht-PatentliteraturCited non-patent literature

Lethaus F., & Rataj, J. "Do eye movements reflect driving maneuvers?", IET Intelligent Transport Systems, 1 (3), 199-204. doi: 10.1049 / et-its: 20060058 (2007) [0007]

Claims

Driver assistance system ( 1 ) for a vehicle with sensor glasses to be worn by the driver ( 2 ) comprising a head-mounted vision detector ( 3 ) for detecting the viewing direction of the vehicle driver, and having a driver intention recognition unit ( 5 ), which is set up to determine a driver's intention with regard to a future driving maneuver intended by the driver, in dependence on the vehicle driver's sighted views over time, characterized in that the driver's intention recognition unit ( 5 ) with a position determination unit ( 6 ) is connectable or connected to determine the current location position of the vehicle, wherein the driver intention detection unit ( 5 ) is arranged to determine the driver's intention in dependence on the viewing directions of the vehicle driver detected over time and the current location position of the vehicle.

Driver assistance system ( 1 ) according to claim 1, characterized in that the driver intention recognition unit ( 5 ) is arranged to determine the driver's intention by using the time lines of sight detected on a driver's intention prediction model for driver's intention recognition.

Driver assistance system ( 1 ) according to claim 1 or 2, characterized in that the driver intention recognition unit with a digital map ( 8th ) is connectable or connected and for determining a road context of the road currently being traveled by the vehicle from the digital map ( 8th ) is set up as a function of the current position of the vehicle, wherein the driver intention recognition unit ( 5 ) is designed to determine the driver's intention as a function of the viewing directions acquired over time and the current road context.

Driver assistance system ( 1 ) according to one of the preceding claims, characterized in that the driver intention recognition unit ( 5 ) with a traffic situation determination unit ( 9 ) is connectable or connected and is arranged to determine a current traffic situation as a function of the current spatial position of the vehicle, wherein the driver intention recognition unit ( 5 ) is designed to determine the driver's intention as a function of the viewing directions detected over time and the current traffic situation.

Driver assistance system ( 1 ) according to one of the preceding claims, characterized in that on the sensor glasses ( 2 ) is arranged at least one aligned in the field of view of the driver camera, which is adapted to receive image data of the field of view of the driver.

Driver assistance system ( 1 ) according to claim 5, characterized in that an image evaluation unit is provided which, for detecting objects in the field of view of the vehicle driver from the recorded image data of the camera of the sensor glasses ( 2 ), wherein the driver intention recognition unit ( 5 ) is arranged to determine in dependence on the detected lines of sight and the detected objects the driver-focused object and / or a predetermined viewing area and in dependence on a gaze pattern derived from the time-focused objects and / or gaze areas, the driver's intention taking into account the current location.

Driver assistance system ( 1 ) according to one of the preceding claims, characterized in that the sensor glasses has a head-mounted display, which is designed for fading information in the field of vision of the driver.

Method for assisting a driver of a vehicle in the driving task with the steps: a) detecting operating data of the vehicle and / or traffic data of the vehicle surroundings by means of a sensor-supported detection unit, b) detecting viewing directions of the vehicle driver with a head-mounted vision detecting device of a driver's glasses worn by the driver, c) determining at least one current location position of the vehicle by means of a position determination unit, d) determining a driver's intention with regard to a future driving maneuver intended by the vehicle driver as a function of the vehicle driver's viewing directions acquired over time by means of a driver intention recognition unit, e) generating information for output to the driver and / or control signals for automated intervention in the vehicle guidance in dependence on detected operating data of the vehicle and / or traffic data of the vehicle environment and in dependence on the detected driver intention, and f) outputting of the generated information to the driver and / or generating an automated intervention in the vehicle guidance by means of the generated control signals.

A method according to claim 8, characterized in that the driver's intent is determined using the time-acquired directions of sight on a driver intent prediction model for driver intent detection.

A method according to claim 8 or 9, characterized in that by means of a digital map, a road context of the currently traveled by the vehicle road in dependence on the current position of the vehicle is determined, the driver's intention depending on the detected over time viewing directions and the current Road context is determined.

Method according to one of claims 8 to 10, characterized in that by means of a traffic situation determination unit, a current traffic situation is determined in dependence on the current spatial position of the vehicle, wherein the driver's intent is determined in dependence on the recorded over time viewing directions and the current traffic situation ,