EP4466176A1 - Blickverhalten basierte parkassistenzsystem-ansteuerung eines fahrzeugs - Google Patents

Abstract

Die Erfindung betrifft ein System zum Ansteuern einer automatischen Parkhilfe eines Fahrzeugs (1), aufweisend eine Recheneinheit (3) und eine Fahrerbeobachtungskamera (5), die zum Erfassen eines Blickverhaltens des Fahrers dient, wobei die Recheneinheit (3) dazu ausgeführt ist, aus bestimmten Mustern von Fixationen und Sakkaden im Blickverhalten des Fahrers auf eine Intention zum Einparken des Fahrzeugs (1) auf einen Parkplatz zu schließen und bei erkannter Intention die automatische Parkhilfe zu aktivieren. Die Recheneinheit (3) ist zudem dazu ausgeführt, einen flächigen Straßenverlauf (7) zu ermitteln, Blickrichtungen des Fahrers der jeweils aktuellen Umgebung des Fahrzeugs (1) zuzuordnen, und von einer Überprüfung der Muster im Blickverhalten auf eine Intention zum Einparken Fixationen mit einer Blickrichtung auf den flächigen Straßenverlauf (7) und/oder Sakkaden mit Blickrichtungen über zumindest teilweise den flächigen Straßenverlauf (7) auszunehmen.

Description

Blickverhalten basierte Parkassistenzsystem-Ansteuerung eines Fahrzeugs

Die Erfindung betrifft ein System zum Ansteuern einer automatischen Parkhilfe eines Fahrzeugs, sowie ein Fahrzeug mit einem solchen System.

Die folgenden Informationen ergeben sich nicht notwendigerweise aus einem konkreten Dokument aus dem Stand der Technik, sondern ergeben sich aus praktischen Überlegungen sowie praktischer Erfahrung: Moderne Fahrzeuge weisen häufig ein Parkassistenzsystem auf, das typischerweise nicht nur dazu in der Lage ist, Parklücken für einen Fahrer des Fahrzeugs virtuell zu kennzeichnen, sondern insbesondere auch bei modernen Personenkraftwagen das Fahrzeug in eine ausgewählten Parklücke selbstständig einzuparken. Damit für den Fahrer des Fahrzeugs klar ist, wo der Parkplatz zum automatisierten Einparken genau verortet ist, muss der jeweilige typischerweise entsprechend gekennzeichnet werden; hierbei bietet es sich an, eine Vielzahl von möglichen Parkplätzen dem Fahrer zur Auswahl anzubieten. Zunächst ist jedoch festzustellen, ob der Fahrer des Fahrzeugs überhaupt das Fahrzeug einparken möchte. Werden beispielsweise unterhalb eines bestimmten Geschwindigkeitsschwellwerts eine Vielzahl von möglichen Parklücken dem Fahrer insbesondere visuell angeboten, so kann dies zu einem ungewollten Verhalten des Fahrzeugs führen und auch unter Abwesenheit der Intention des Fahrers einen Parkvorgang durchführen zu wollen Parklücken gekennzeichnet und angeboten werden, beispielsweise wenn das Fahrzeug in einem sich ständig ändernden aber langsamen Geschwindigkeitsbereich im zähen Stadtverkehr unterwegs ist. Dies würde den Fahrer irritieren. Im Stand der Technik ist es hierzu bekannt, das Blickverhalten des Fahrers automatisiert zu analysieren und nach Auswertung des Blickverhaltens Parksysteme entsprechend zu verwenden.

Die DE 102012 221 036 A1 betrifft hierzu ein Verfahren zum automatischen Einschalten eines Park- und/oder Rangierassistenzsystems in einem Kraftfahrzeug, mit den Schritten: Ermitteln des Blickverhaltens des Fahrers; Auswerten des Blickverhaltens; und Automatisches Einschalten des Park- und/oder Rangierassistenzsystems in Abhängigkeit der Auswertung des Blickverhaltens. Insbesondere werden demnach in der DE 10 2012 221 036 A1 anhand des Blickverhaltens des Fahrers Fixationen mit einer Mindest-Fixationsdauer sowie Sakkaden ermittelt.

Aufgabe ist der Erfindung ist es, die Verwendung eines Parkassistenzsystems in Abhängigkeit von einem erfassten Blickverhalten eines Fahrers eines Fahrzeugs zu verbessern.

Die Erfindung ergibt sich aus den Merkmalen der unabhängigen Ansprüche. Vorteilhafte Weiterbildungen und Ausgestaltungen sind Gegenstand der abhängigen Ansprüche.

Ein erster Aspekt der Erfindung betrifft ein System zum Ansteuern einer automatischen Parkhilfe eines Fahrzeugs, aufweisend eine Recheneinheit und eine mit der Recheneinheit verbundene Fahrerbeobachtungskamera, wobei die Fahrerbeobachtungskamera zum Erfassen eines Blickverhaltens des Fahrers des Fahrzeugs dient und die Recheneinheit dazu ausgeführt ist, aus bestimmten Mustern von Fixationen und Sakkaden im Blickverhalten des Fahrers auf eine Intention zum Einparken des Fahrzeugs auf einen Parkplatz zu schließen und bei erkannter Intention die automatische Parkhilfe zumindest in Teilen zu aktivieren, dadurch gekennzeichnet, dass die Recheneinheit dazu ausgeführt ist, einen flächigen Straßenverlauf eines in Fahrtrichtung vor dem Fahrzeug liegenden Straßenabschnitts zu ermitteln, Blickrichtungen des Fahrers der jeweils aktuellen Umgebung des Fahrzeugs zuzuordnen, und von einer Überprüfung der Muster im Blickverhalten auf eine Intention zum Einparken Fixationen mit einer Blickrichtung auf den flächigen Straßenverlauf und/oder Sakkaden mit Blickrichtungen über zumindest teilweise den flächigen Straßenverlauf auszunehmen.

Bevorzugt werden hierbei für die Erkennung einer Intention zum Parken durch entsprechende Muster nur Fixationen im Blickverhalten oberhalb einer vorgegebenen Mindest-Fixationsdauer gewertet. Kürzere Fixationen deuten eher auf ein Abtasten der Umgebung hin, um sich ein räumliches Bild von der Umgebung zu machen. Dies ist typisch menschliches Verhalten bei der Umgebungserfassung, da die Stelle des schärfsten Sehens auf einen engeren Winkelbereich begrenzt ist und somit eine Vielzahl von Augenbewegungen zum Abtasten der Umgebung notwendig sind, um die somit zahlreich detailliert erfassten Umgebungsausschnitte geistig zusammensetzen zu können. Eine Fixation oberhalb der vorgegebenen Mindest-Fixationsdauer deutet im Gegensatz hierzu eher darauf hin, dass ein Parkplatz, der vom Fahrer des Fahrzeugs mit seinen Blicken oberhalb der Mindest-Fixationsdauer angesehen wird, als potentielle Parklücke betrachtet wird.

Im Gegensatz zu den Fixationen im Blickverhalten des Fahrers handelt es sich bei den Sakkaden um schnelle Augenbewegungen, die typischerweise von beiden Augen gleichzeitig durchgeführt werden und zwischen zwei Phasen von Fixationen ausgeführt werden. Durch die Schnelligkeit der Augenbewegungen oberhalb der für Menschen typischen Bandbreite bei Sakkaden werden entsprechend weniger detaillierte Informationen der Umgebung wahrgenommen.

Ein Blickverhalten des Fahrers wird mithilfe der Fahrerbeobachtungskamera erfasst. Diese wird insbesondere herangezogen, um die Augenbewegungen und Blickrichtungen des Fahrers zu detektieren. Die Fahrerbeobachtungskamera wird dabei vorteilhaft so im Fahrzeuginnenraum ausgerichtet, dass ihr Erfassungsbereich auf einen Kopfbereich des Fahrers des Fahrzeugs gerichtet ist. Mit entsprechenden Augenverfolgungsmodulen (sogenannten "Eye-Trackern") ist es dann möglich, das Blickverhalten des Fahrers durchgehend beobachten und mit der Recheneinheit analysieren zu können. Vorteilhaft erfolgt aus dem erfassten Blickverhalten erst durch entsprechende Bildanalyse der Recheneinheit eine Ermittlung von Fixationen und Sakkaden, und insbesondere eine Einteilung der Blicke des Fahrers in ausschließlich eine der Kategorien aus Fixationen und Sakkaden, um die Mustererkennung zu erleichtern.

Die Recheneinheit ist insbesondere dazu ausgeführt, die Abfolge von Fixationen und Sakkaden auf solche Muster hin zu überprüfen, in denen Sakkaden und Fixationen im zügigen Wechsel aufeinander erfolgen. In den Anforderungen an die Muster im Blickverhalten können jedoch noch weitere Kriterien festgelegt werden, insbesondere gewisse geometrische Verläufe der Sakkaden und damit relative Lagen der Fixationen zueinander.

Bei dieser Mustererkennung wird erfindungsgemäß jedoch nicht das Blickverhalten durchgehend berücksichtigt und somit sämtliche Fixationen und Sakkaden im Blickverhalten des Fahrers gewertet, vielmehr werden auf den Straßenabschnitt vorderhalb des Fahrzeugs gerichtete Blicke unberücksichtigt belassen. Wird die Mustererkennung dabei so durchgeführt, dass mittels der Fahrerbeobachtungskamera erfasste Blicke und Augenbewegungen des Fahrers auf die Umgebung um das Fahrzeug projiziert werden, so wird von dieser Projektion der Bereich um den vorausliegenden Straßenabschnitt und bevorzugt weiterer möglicher zu befahrender Straßenwege ausgeblendet und dorthin gerichtete Blicke unberücksichtigt belassen. Insbesondere wird somit das Bild der Fahrerbeobachtungskamera mit einem in dieses projizierte Abbild des Straßenverlaufs bzw. mit in ein Koordinatensystem der Fahrerbeobachtungskamera transformierten Bereichen des Straßenverlaufs maskiert; in anderen Worten wird aus dem Bild der Fahrerbeobachtungskamera das entsprechend zugehörige Bild des Straßenabschnitts ausgeblendet. Hierdurch sind die Straßenzüge im Fahrerbeobachtungskamera-Koordinatensystem bekannt und wirken als Filter bzw.

Maske um die Sakkaden / Fixationen in diesem Bereich auszumaskieren. Diese Straßenzüge werden jeweils als flächiger Straßenverlauf berücksichtigt, d. h. eine längliche Ausdehnung entlang der Fahrspuren auf dem Straßenverlauf sowie die Breite der Straße berücksichtigt, welche in Kombination miteinander die Oberfläche der Straße beschreiben. Es wird davon ausgegangen, dass sich Blicke des Fahrers auf diese Oberfläche der Straße nicht mit einer Intention decken, dort einparken zu wollen. Zweckdienlich wird daher diese Oberfläche der Straße durch entsprechende Projektionen und/oder Koordinatensystemtransformationen so mit den Fixationen und Sakkaden im Blickverhalten des Fahrers in Verbindung gebracht, dass auf den flächigen Straßenverlauf gerichtete Blicke in Form von Fixationen bzw. diesen zumindest teilweise, insbesondere nur diesen, überstreichende Sakkaden nicht als Intention zum Einparken interpretiert werden dürfen, und daher von der Analyse des Blickverhaltens ausgenommen werden.

Wird ein solches Muster erkannt, welches nach den vorgegebenen Kriterien auf die Intention des Fahrers auf einen gewünschten Parkvorgang hindeutet, wird von der Recheneinheit die automatische Parkhilfe aktiviert. Eine Aktivierung der Parkhilfe bedeutet bevorzugt, dass dem Fahrer des Fahrzeugs eine Vielzahl möglicher Parkplätze zur Auswahl eines der Parkplätze vorgeschlagen werden, um insbesondere nach erfolgter Auswahl und (optional automatisch einer damit einhergehenden) Bestätigung des Wunsches für eine Parkhilfe durch ein automatisiertes Steuerungssystem des Fahrzeugs das Fahrzeug selbstständig oder zumindest unterstützt in den ausgewählten Parkplatz einparken zu lassen. Dies ist insbesondere bei engen Parklücken von Vorteil.

Es ist eine vorteilhafte Wirkung der Erfindung, dass für moderne Fahrzeuge typischerweise verbaute physische Geräte wie eine Innenraumkamera zur Fahrerbeobachtung (in der Funktion einer Fahrerbeobachtungskamera) sowie eine Recheneinheit mit ausreichender Rechenleistung zur Bildanalyse bereits genutzt werden können, ohne zusätzliche Geräte zu erfordern. Es ist lediglich auf der Software-Seite eine Anpassung notwendig, um die Verbesserung des Systems zum Ansteuern einer automatischen Parkhilfe zu erreichen. Es kann somit abhängig vom Kundenbedarf die Mensch-Maschine-Schnittstelle verbessert werden. Erfolgt die Positionsbestimmung des Fahrzeugs außerdem satellitengestützt und die Ermittlung des Straßenverlaufs des Straßenabschnitts in Fahrtrichtung vor dem Fahrzeug mithilfe einer vorab gespeicherten digitalen Karte, so ist außerdem keine Außensensorik am Fahrzeug notwendig. Die Intentionserkennung zur Parkplatzsuche für den Fahrer des Fahrzeugs wird außerdem verbessert und erheblich zuverlässiger gestaltet, da falsch positive Erkennungen von Intentionen zum Parken durch den Fahrer besser verhindert werden. Solche fälschliche Erkennungen könnten ohne die Ausblendung des vorausliegenden Straßenverlaufs leicht auftreten, wenn sich das Fahrzeug in einem Stau beispielsweise auf der Autobahn befindet, die dort in weiten Abständen auf die Straße aufgetragenen Spurmarkierungen vom Fahrer nachverfolgt werden, insbesondere auf kurvigen Straßen eine Straßenbegrenzung wie Zäune, Bepflanzungen, Notrufsäulen, Warnbaken oder anderes nachverfolgt wird oder im sogenannten „Stop and Go“ Verkehr insbesondere im Stadtverkehr eine hohe Aufmerksamkeit des Fahrers erforderlich ist und somit beispielsweise ein vorausfahrender Verkehrsteilnehmer und Spurmarkierungen in kurzen zeitlichen Abständen wechselnd vom Fahrer beobachtet werden.

Gemäß einer vorteilhaften Ausführungsform ist die Recheneinheit dazu ausgeführt, den flächigen Straßenverlauf des Straßenabschnitts in Fahrtrichtung vor dem Fahrzeug durch eine jeweils aktuelle Positionsbestimmung des Fahrzeugs und durch Zuordnung der ermittelten Position in eine digitale Karte mit abgespeicherten Straßenverläufen zu ermitteln.

Die jeweils aktuelle Positionsbestimmung des Fahrzeugs erfolgt bevorzugt mittels satellitengestützter Ortung, kann jedoch durch weitere Sensorik gestützt werden, wie Trägheitssensoren (u.a. bevorzugt ein Kompass), Umgebungserkennung, und Anderes. Bevorzugt wird im Zuge der Positionsbestimmung auch eine Orientierung des Fahrzeugs bestimmt, um die tatsächliche Ausrichtung gegenüber dem vorausliegenden Straßenabschnitt nicht nur auf Grundlage der Kartendaten zu ermitteln (was die Annahme einer erwartungsgemäßen Ausrichtung auf der Straße beinhaltet), sondern auch um Schrägstellungen des Fahrzeugs wie beim Ausweichen um Schlaglöcher oder andere Hindernisse sowie individuelle Kurvenführung und Spurführung berücksichtigen zu können.

Gemäß einer weiteren vorteilhaften Ausführungsform ist die Recheneinheit dazu ausgeführt, Lagewinkel des Fahrzeugs relativ zum flächigen Straßenverlauf des Straßenabschnitts basierend auf dem Straßenverlauf gemäß der digitalen Karte und/oder mittels einer inertialen Messeinheit zu ermitteln.

Gemäß einer weiteren vorteilhaften Ausführungsform weist das System weiterhin eine mit der Recheneinheit verbundene Umgebungsbeobachtungskamera zum Erfassen eines Bereichs vorderhalb des Fahrzeugs auf, wobei die Recheneinheit dazu ausgeführt ist, aus jeweils aktuellen Daten der Umgebungsbeobachtungskamera ein Vektorfeld eines optischen Flusses der zum fahrenden Fahrzeug relativ bewegten Umgebung zu ermitteln, sowie einen Bezug des Blickverhaltens auf das Vektorfeld des optischen Flusses bei der Überprüfung von Mustern im Blickverhalten auf eine Intention zum Parken zu berücksichtigen.

Gemäß dieser Ausführungsform wird berücksichtigt, dass insbesondere eine schnelle Abfolge von aufeinanderfolgenden Fixationen und Sakkaden im Wechsel entlang eines optischen Fluss von Objekten in der Umgebung auf die Intention zum Parken hindeutet, da dann der Blick des Fahrers von einem potentiellen Parkplatz zum nächsten wandert, und wegen der eigenen Fahrtgeschwindigkeit des Fahrzeugs des Fahrers der optische Fluss bewirkt, dass die Abfolge von Fixationen und Sakkaden von der Fahrtgeschwindigkeit abhängig durchschnittlich mit einer gewissen Mindest-Frequenz erfolgen müssen; es wird insofern in der Mustererkennung die Fahrtgeschwindigkeit und damit der optische Fluss der Umgebung relativ zum eigenen Fahrzeug und dessen Auswirkungen auf das Blickverhalten des Fahrers bei der Parkplatzsuche berücksichtigt.

Gemäß einer weiteren vorteilhaften Ausführungsform ist die Recheneinheit dazu ausgeführt, durch Analyse der Sakkaden Werte zumindest eines der Parameter: "Orientierung", "Wiederholbarkeit" und "Verbindung" zu ermitteln, wobei der Parameter "Orientierung" eine jeweilige Orientierung der Sakkaden relativ zu den Richtungsvektoren des Vektorfelds des optischen Flusses angibt, wobei der Parameter "Wiederholbarkeit" eine Folge der Sakkaden untereinander charakterisiert, und wobei der Parameter "Verbindung" die Länge der einzelnen Sakkaden angibt, und wobei die Recheneinheit dazu ausgeführt ist, abhängig von den jeweilig ermittelten Werten des mindestens einen Parameters auf eine Intention zum Parken zu schließen.

Der Parameter "Orientierung" gibt eine jeweilige Orientierung der Sakkaden relativ zu den Richtungswechselen des Vektorfelds des optischen Flusses an. Zum Vergleich werden hier die nächstgelegenen Orientierungen des optischen Flusses herangezogen. Der Parameter "Wiederholbarkeit" charakterisiert dagegen eine Folge der Sakkaden untereinander. Beispielsweise folgen die Sakkaden einer Linie oder ein Zick-Zack Verlauf ist erkennbar. Durch den Parameter "Verbindung" kann eine Prüfung erfolgen, ob Sakkaden eine Parklückenlänge umfassen oder gegebenenfalls wegen Straßenbegrenzungen wie ein Zaun/Abschrankung zustande kommen. Die genannten Parameter eignen sich daher insbesondere, um eine Formgebung der Sakkaden zu charakterisieren, insbesondere im Bezug auf den ermittelten optischen Fluss der Umgebung relativ zum Fahrzeug.

Gemäß einer weiteren vorteilhaften Ausführungsform ist die Recheneinheit dazu ausgeführt, den jeweiligen Wert des mindestens einen Parameters mittels eines jeweiligen Histogramms zu ermitteln, wobei das jeweilige Histogramm Auftretens- Häufigkeiten oder Auftretens-Frequenzen der Einzelwerte der Parameter angibt, um aus dem jeweiligen Histogramm Parameter-Mittelwerte als Endwert des jeweiligen Parameters zu bilden.

Um beispielsweise falsch-Positive entlang einer horizontalen Leiter etc. zu unterdrücken, wird hier vornehmlich nach Werten gesucht, welche die gängige Breite von Parkplätzen umfasst. Diese Werte werden bevorzugt wiederkehrend für jeden aus einer Zahl n von Frames der Fahrerbeobachtungskamera abgeleitet. Für alle aus einer Zahl m von Frames werden auf deren Basis bevorzugt drei Histogramme (für die drei Parameter) gebildet. In diesen Histogrammen ist insbesondere basierend auf vorhergehenden Applikationsfahrten ein Bereich definiert, der für die Detektion der Intention des Fahrers relevant ist. In diesem Bereich wird die Häufigkeit oder Frequenz gemittelt und ausgewertet.

Gemäß einer weiteren vorteilhaften Ausführungsform ist die Recheneinheit dazu ausgeführt, eine gewichtete Summe der Endwerte der Parameter "Orientierung", "Wiederholbarkeit", und "Verbindung" zu ermitteln und das Ergebnis der Summe mit einem vorgegebenen Grenzwert zu vergleichen und beim Unterschreiten des Grenzwerts auf eine Intention zum Parken zu schließen.

Gemäß einer weiteren vorteilhaften Ausführungsform ist die Recheneinheit dazu ausgeführt, Gewichtungsfaktoren der gewichteten Summe und/oder den Grenzwert anhand erlernter Felddaten anzupassen.

Die Gewichtungsfaktoren der gewichteten Summe der Parameter können durch Applikationsfahrten bestimmt oder aber durch das Kundenverhalten im Feld angepasst werden. Der Grenzwert kann auch adaptiv im späteren regulären Betrieb des Fahrzeugs angepasst werden kann, insbesondere indem eine Historie der Parameter aufgezeichnet wird und davon abhängig ein Grenzwert während manueller Einparkvorgänge bestimmt wird.

Gemäß einer weiteren vorteilhaften Ausführungsform ist die Recheneinheit dazu ausgeführt, die Anpassung für individuelle Fahrer unterschiedlich auszuführen.

Ein weiterer Aspekt der Erfindung betrifft ein Fahrzeug mit einem System wie oben und im Folgenden beschrieben.

Vorteile und bevorzugte Weiterbildungen des vorgeschlagenen Fahrzeugs ergeben sich durch eine analoge und sinngemäße Übertragung der im Zusammenhang mit dem vorgeschlagenen System vorstehend gemachten Ausführungen.

Weitere Vorteile, Merkmale und Einzelheiten ergeben sich aus der nachfolgenden Beschreibung, in der - gegebenenfalls unter Bezug auf die Zeichnung - zumindest ein Ausführungsbeispiel im Einzelnen beschrieben ist. Gleiche, ähnliche und/oder funktionsgleiche Teile sind mit gleichen Bezugszeichen versehen.

Es zeigt:

Fig. 1 Ein System zum Aktivieren einer automatischen Parkhilfe nach Fahrerbeobachtung in einem Fahrzeug gemäß einem Ausführungsbeispiel der Erfindung und

Fig. 2 optischer Fluss und beispielhafte Sakkaden 2, 2‘

Die Darstellungen in den Figuren sind schematisch und nicht maßstäblich.

Fig. 1 zeigt ein System zum bedingten Aktivieren eines Angebots zum Ausführen einer automatischen Parkhilfe eines Fahrzeugs 1. Das System weist eine Recheneinheit 3 und eine mit der Recheneinheit 3 verbundene Fahrerbeobachtungskamera 5 im Innenraum des Fahrzeugs 1 auf. Diese Fahrerbeobachtungskamera 5 ist mit ihrem Erfassungsbereich in Richtung einer Kopfstütze und damit in Richtung eines Kopfes des Fahrers des Fahrzeugs 1 gerichtet und dient zum Erfassen eines Blickverhaltens des Fahrers des Fahrzeugs 1. Von dem Fahrer des Fahrzeugs 1 durchgeführte Augenbewegungen, insbesondere sogenannte Sakkaden 2, sowie Fixationen von Objekten in der Umgebung des Fahrzeugs, während derer der Fahrer ein Objekt in der Umgebung des Fahrzeugs für eine gewisse Zeitdauer anblickt, können somit von der Fahrerbeobachtungskamera 5 erfasst werden und zur Analyse an die Recheneinheit 3 übergeben werden. Die Recheneinheit 3 ist ferner dazu ausgeführt, aus bestimmten Abfolge-Mustern von Fixationen und Sakkaden 2,2‘ im Blickverhalten des Fahrers auf eine Intention zum Einparken des Fahrzeugs 1 auf einen potentiellen Parkplatz 4 zu schließen, siehe Fig 1 und Fig. 2. Hierzu wird zudem eine mit der Recheneinheit 3 verbundene Umgebungsbeobachtungskamera zum Erfassen einer Umgebung vorderhalb des Fahrzeugs 1 verwendet. Die Recheneinheit 3 des Fahrzeugs 1 nutzt deren Daten, um ein Vektorfeld eines in Fig. 2 dargestellten optischen Flusses 6a, 6b der zum fahrenden Fahrzeug 1 relativ bewegten Umgebung zu ermitteln. In Fig. 2 ist der optische Fluss in den für das Parken relevanten Bereichen auf der linken Straßenseite 6a und der rechten Straßenseite 6b aus Fig. 1 dargestellt, der von der Recheneinheit extrahiert wird.

Weiter wird ein Bezug des Blickverhaltens auf das Vektorfeld des optischen Flusses 6a bei der Überprüfung von Mustern im Blickverhalten wie folgt berücksichtigt: Durch Analyse der Sakkaden, siehe beispielhafte Sakkaden 2,2‘ in Fig, 2, werden Endwerte der Parameter: "Orientierung", "Wiederholbarkeit" und/oder "Verbindung" ermittelt. Hierbei geben der Parameter "Orientierung" eine jeweilige Orientierung der Sakkaden relativ zu den Richtungsvektoren des Vektorfelds des optischen Flusses an. Dabei wird die Orientierung vorzugsweise als Winkel der zwischen den als Punkte dargestellte Fixationen durch Vektorpfeile wiedergegebene Sakkaden 2, 2‘ ermittelt.

Der Parameter "Wiederholbarkeit" charakterisiert eine Folge der Sakkaden untereinander, d.h. vorzugswiedergegeben durch Winkel der Vektorpfeile zueinander, beispielsweise folgen die Sakkaden einer Linie oder einem Zick-Zack-Verlauf.

Der Parameter "Verbindung" gibt die Länge der einzelnen Sakkaden an. Um beispielsweise False-Positive entlang einer Horizontalen Leiter etc. auszuschließen werden hier vornehmlich nach Werten gesucht, welche die gängigen Abmessungen von Parkplätzen umfasst. Die vorgenannten Parameter werden wiederkehrend für jeden Frame der Fahrerbeobachtungskamera 5 abgeleitet. Die in Fig. 2 dargestellte Sakkaden 2‘ weisen beispielsweise geringe Winkelabweichung zum optischen Fluss 6a auf, gleichzeitig weisen die Sakkaden 2‘ geringe Winkelabweichungen untereinander auf. Sofern die Länge der Sakkaden 2‘ mit entsprechenden Parkplatzabmessungen korreliert kann unzweifelhaft auf eine Parkintention und eine Parkplatzsuche des Nutzers geschlossen werden. Demgegenüber sind die auch der Darstellung in Fig.1 entsprechenden Sakkaden 2 ungeordnet zueinander, weichen vom optischen Fluss 6a ab und weisen unterschiedliche, mit den Parkplatzabmessungen nicht korrelierende Abmessungen auf, so dass eine Parkintention durch den Nutzer ausgeschlossen werden kann.

Für eine Auswertung werden Endwerte der Parameter durch die Recheneinheit 1 mittels eines jeweiligen Histogramms aus den fortlaufenden Frames ermittelt, wobei das jeweilige Histogramm Auftretens-Häufigkeiten von einzelnen in einer Historie ermittelten Werten oder Werteklassen der Parameter angibt, um aus dem jeweiligen Histogramm Parameter- Mittelwerte als jeweiligen Endwert des jeweiligen Parameters zu bilden, indem beispielsweise Parameterwerte einer Klasse oder deren Mittelwert mit jeweiligen Häufigkeiten multipliziert aufsummiert und durch die Gesamtzahl der Parameterwerte geteilt werden. Nach Ermittlung eines jeweiligen Endwerts eines jeweiligen Parameters wird von der Recheneinheit 3 eine gewichtete Summe mit Gewichtungsfaktoren für jeden der Endwerte dieser Parameter "Orientierung", "Wiederholbarkeit", und "Verbindung" ermittelt und das Ergebnis der gewichteten Summe mit einem vorgegebenen Grenzwert verglichen. Soweit der Grenzwert in einem vorgegebenen Bereich diesseits einem vorgegebenen Schwellenwert liegt, d.h. beispielsweise beim Unterschreiten des Schwellenwertes wird auf eine Intention zum Parken geschlossen, vorzugsweise wenn sich die Sakkaden mit dieser Eigenschaft für eine gewisse Mindestdauern einstellten. In einer Abwandlung können in einer vereinfachten Form Endwerte aus den Histogrammen nur für einen oder zwei der Parameter gebildet und mit Gewichtungsfaktoren verrechnet werden.

Diese Analyse der Fixationen und der Sakkaden zur Ermittlung, ob eine Intention zum Parken durch den Fahrer des Fahrzeugs vorliegt, wird jedoch nur für solche Fixationen durchgeführt, die auf eine Umgebung des Fahrzeugs 1 außerhalb eines flächigen Straßenverlaufs 7 eines in Fahrtrichtung vor dem Fahrzeug 1 liegenden Straßenabschnitts gerichtet sind sowie nur für solche Sakkaden, die zumindest teilweise, insbesondere vollständig, nur Bereiche einer Umgebung des Fahrzeugs 1 außerhalb des flächigen Straßenverlaufs 7 überstreichen. Der flächige Straßenverlauf beschreibt eine Oberfläche zumindest einer befahrbaren Straße in der vorausliegenden Umgebung des Fahrzeugs 1. Dabei können auch Seitenstraßen vom flächigen Straßenverlauf umfasst sein. Der flächige Straßenverlauf wird demnach zum einen vom länglichen Straßenverlauf in einer jeweiligen Fahrtrichtung bestimmt, was gerade Abschnitte, Kurven, etc. mit einschließt, zum anderen von der jeweiligen Breite am jeweiligen Ort des länglichen Straßenverlaufs, wobei die Breite in der Fig. 1 mit zwei gestrichelten Begrenzungslinien einer zweispurigen Straße mit Mittelmarkierung angedeutet ist. Die Zuordnung der Blickrichtungen der Fixationen in die Umgebung des Fahrzeugs 1 bzw. der durch die Sakkaden überstrichenen Gebiete der Umgebung des Fahrzeugs 1 auf Basis der durch die Fahrerbeobachtungskamera 5 ermittelten Fixationen und Sakkaden im Blickverhalten des Fahrers wird von der Recheneinheit 1 durch Koordinatensystemtransformationen durchgeführt. Hierzu wird eine Position und Orientierung in Form von Lagewinkeln des Fahrzeugs 1 relativ zur Straße ermittelt, indem mittels satellitengestützter Ortung eine jeweilige aktuelle Position des Fahrzeugs 1 ermittelt wird, und aus Informationen einer digitalen Karten der unmittelbar vorausliegende Straßenverlauf mit seiner jeweiligen Breite ermittelt wird, wobei die Koordinatensystemtransformationen auf die Lagewinkel gestützt wird, welche die einzige Transformationsgröße darstellen, da davon auszugehen ist, dass die Fahrerbeobachtungskamera 5 körperfest konstant zum restlichen Fahrzeug 1 angeordnet ist. Bei erkannter Intention wird die automatische Parkhilfe soweit aktiviert, dass dem Fahrer des Fahrzeugs auf einem Head-Up-Display auf die Frontscheibe vorderhalb seines Fahrersitzes mittels augmentierter Realität mögliche Parkplätze markiert angezeigt werden, und somit der Fahrer des Fahrzeugs durch Auswahl eines dieser angebotenen Parkplätze das automatische Einparken des Fahrzeugs 1 auf diesem ausgewählten Parkplatz durch Ausgabe eines Kommandos, beispielsweise einer Spracheingabe oder einer sonstigen Bedienhandlung, veranlassen kann. Alternativ oder zusätzlich wird dem Fahrer auf einem Instrumentcluster, einem Schalter oder einer Headunit eine Visualisierung einer Aktivierungsmöglichkeit einer automatischen Einparkfunktion angeboten.

Obwohl die Erfindung im Detail durch bevorzugte Ausführungsbeispiele näher illustriert und erläutert wurde, ist die Erfindung nicht durch die offenbarten Beispiele eingeschränkt und andere Variationen können vom Fachmann hieraus abgeleitet werden, ohne den Schutzumfang der Erfindung zu verlassen. Es ist daher klar, dass eine Vielzahl von Variationsmöglichkeiten existiert. Es ist ebenfalls klar, dass beispielhaft genannte Ausführungsformen wirklich nur Beispiele darstellen, die nicht in irgendeiner Weise als Begrenzung etwa des Schutzbereichs, der Anwendungsmöglichkeiten oder der Konfiguration der Erfindung aufzufassen sind. Vielmehr versetzen die vorhergehende Beschreibung und die Figurenbeschreibung den Fachmann in die Lage, die beispielhaften Ausführungsformen konkret umzusetzen, wobei der Fachmann in Kenntnis des offenbarten Erfindungsgedankens vielfältige Änderungen, beispielsweise hinsichtlich der Funktion oder der Anordnung einzelner, in einer beispielhaften Ausführungsform genannter Elemente, vornehmen kann, ohne den Schutzbereich zu verlassen, der durch die Ansprüche und deren rechtliche Entsprechungen, wie etwa weitergehende Erläuterungen in der Beschreibung, definiert wird.

Claims

Patentansprüche

1. System zum Ansteuern einer automatischen Parkhilfe eines Fahrzeugs (1), aufweisend eine Recheneinheit (3) und eine mit der Recheneinheit (3) verbundene Fahrerbeobachtungskamera (5), wobei die Fahrerbeobachtungskamera (5) zum Erfassen eines Blickverhaltens des Fahrers des Fahrzeugs (1) dient und die Recheneinheit (3) dazu ausgeführt ist, aus bestimmten Mustern von Fixationen und Sakkaden im Blickverhalten des Fahrers auf eine Intention zum Einparken des Fahrzeugs (1) auf einen Parkplatz zu schließen und bei erkannter Intention die automatische Parkhilfe zumindest in Teilen zu aktivieren, dadurch gekennzeichnet, dass die Recheneinheit (3) dazu ausgeführt ist, einen flächigen Straßenverlauf (7) eines in Fahrtrichtung vor dem Fahrzeug (1) liegenden Straßenabschnitts zu ermitteln, Blickrichtungen des Fahrers der jeweils aktuellen Umgebung des Fahrzeugs (1) zuzuordnen, und von einer Überprüfung der Muster im Blickverhalten auf eine Intention zum Einparken Fixationen mit einer Blickrichtung auf den flächigen Straßenverlauf (7) und/oder Sakkaden mit Blickrichtungen über zumindest teilweise den flächigen Straßenverlauf (7) auszunehmen.

2. System nach Anspruch 1, wobei die Recheneinheit (3) dazu ausgeführt ist, den flächigen Straßenverlauf (7) des Straßenabschnitts in Fahrtrichtung vor dem Fahrzeug (1) durch eine jeweils aktuelle Positionsbestimmung des Fahrzeugs (1) und durch Zuordnung der ermittelten Position in eine digitale Karte mit abgespeicherten Straßenverläufen zu ermitteln.

3. System nach Anspruch 2, wobei die Recheneinheit (3) dazu ausgeführt ist, Lagewinkel des Fahrzeugs (1) relativ zum flächigen Straßenverlauf (7) des Straßenabschnitts basierend auf dem Straßenverlauf (7) gemäß der digitalen Karte und/oder mittels einer inertialen Messeinheit zu ermitteln.

4. System nach einem der vorhergehenden Ansprüche, weiterhin aufweisend eine mit der Recheneinheit (3) verbundene Umgebungsbeobachtungskamera zum Erfassen eines Bereichs vorderhalb des Fahrzeugs (1), wobei die Recheneinheit (3) dazu ausgeführt ist, aus jeweils aktuellen Daten der Umgebungsbeobachtungskamera ein Vektorfeld eines optischen Flusses der zum fahrenden Fahrzeug (1) relativ bewegten Umgebung zu ermitteln, sowie einen Bezug des Blickverhaltens auf das Vektorfeld des optischen Flusses bei der Überprüfung von Mustern im Blickverhalten auf eine Intention zum Parken zu berücksichtigen.

5. System nach Anspruch 4, wobei die Recheneinheit (3) dazu ausgeführt ist, durch Analyse der Sakkaden Werte zumindest eines der Parameter: "Orientierung", "Wiederholbarkeit" und "Verbindung" zu ermitteln, wobei der Parameter "Orientierung" eine jeweilige Orientierung der Sakkaden relativ zu den Richtungsvektoren des Vektorfelds des optischen Flusses angibt, wobei der Parameter "Wiederholbarkeit" eine Folge der Sakkaden untereinander charakterisiert, und wobei der Parameter "Verbindung" die Länge der einzelnen Sakkaden angibt, und wobei die Recheneinheit (3) dazu ausgeführt ist, abhängig von den jeweilig ermittelten Werten des mindestens einen Parameters auf eine Intention zum Parken zu schließen.

6. System nach Anspruch 5, wobei die Recheneinheit (3) dazu ausgeführt ist, den jeweiligen Wert des mindestens einen Parameters mittels eines jeweiligen Histogramms zu ermitteln, wobei das jeweilige Histogramm Auftretens-Häufigkeiten oder Auftretens- Frequenzen der Einzelwerte der Parameter angibt, um aus dem jeweiligen Histogramm Parameter-Mittelwerte als Endwert des jeweiligen Parameters zu bilden.

7. System nach Anspruch 6, wobei die Recheneinheit (3) dazu ausgeführt ist, eine gewichtete Summe der Endwerte der Parameter "Orientierung", "Wiederholbarkeit", und "Verbindung" zu ermitteln und das Ergebnis der Summe mit einem vorgegebenen Grenzwert zu vergleichen und beim Unterschreiten des Grenzwerts auf eine Intention zum Parken zu schließen.

8. System nach Anspruch 7, wobei die Recheneinheit (3) dazu ausgeführt ist, Gewichtungsfaktoren der gewichteten Summe und/oder den Grenzwert anhand erlernter Felddaten anzupassen.

9. System nach Anspruch 8, wobei die Recheneinheit (3) dazu ausgeführt ist, die Anpassung für individuelle Fahrer unterschiedlich auszuführen.

10. Fahrzeug (1) mit einem System nach einem der vorhergehenden Ansprüche.