DE102022002325A1

DE102022002325A1 - Verfahren zur Aktivierung einer Parkfunktion eines Fahrzeugs und zum Auffinden potenzieller Parklücken

Info

Publication number: DE102022002325A1
Application number: DE102022002325.3A
Authority: DE
Inventors: Christian Schneider
Original assignee: Mercedes Benz Group AG
Current assignee: Mercedes Benz Group AG
Priority date: 2022-06-28
Filing date: 2022-06-28
Publication date: 2022-09-15
Anticipated expiration: 2042-06-29
Also published as: DE102022002325B4

Abstract

Die Erfindung betrifft ein Verfahren zur Aktivierung einer Parkfunktion eines Fahrzeugs (2) und zum Auffinden potenzieller Parklücken (P1 bis Pn). Erfindungsgemäß werden die Aktivierung der Parkfunktion und eine mittels dieser ausgeführte Parklückensuche automatisch unter Berücksichtigung einer Blickrichtung (BR1 bis BRm) eines Fahrers (F) des Fahrzeugs (2) durchgeführt, wobei anhand eines Schnittpunkts eines Richtungsvektors (VR1 bis VRm) der Blickrichtung (BR1 bis BRm) mit einem aus erfassten Umgebungsdaten rekonstruierten Umgebungsmodell ein Blickpunkt (BP1 bis BPm) des Fahrers (F) ermittelt wird. Der Blickpunkt (BP1 bis BPm) wird in eine hinterlegte Kartenrepräsentation (KR1, KR2) transformiert und in der Kartenrepräsentation (KR1, KR2) werden potenzielle Parklücken (P1 bis Pn) auf Basis von maschinell gelernten Algorithmen lokalisiert und klassifiziert. Weiterhin werden Übereinstimmungen von Blickpunkten (BP1 bis BPm) und lokalisierten potenziellen Parklücken (P1 bis Pn) in der Kartenrepräsentation (KR1, KR2) ermittelt und die ermittelten Übereinstimmungen und ein in vorangegangenen Aktivierungen der Parkfunktion gelerntes Fahrerverhalten werden bei der Parklückensuche berücksichtigt. Dem Fahrer (F) werden bzw. wird eine Nutzung der Parkfunktion und/oder eine Parklücke (P1 bis Pn) vorgeschlagen.

Description

Die Erfindung betrifft ein Verfahren zur Aktivierung einer Parkfunktion eines Fahrzeugs und zum Auffinden potenzieller Parklücken.
In modernen Fahrzeugen finden eine Vielzahl von Fahrerassistenzfunktion Anwendung. Diese umfassen verschiedene Parkassistenzfunktionen, bei welchen basierend auf einer Aktivierung durch einen Fahrer eines Fahrzeugs eine Vermessung von potenziellen Parklücken sowie eine automatisierte längs- und quergeregelte Einfahrt in die jeweiligen Parklücken und eine automatisierte längs- und quergeregelte Ausfahrt aus den jeweiligen Parklücken erfolgt. Die Parkassistenzfunktionen wird beispielsweise mittels einer Betätigung eines Schalters, beispielsweise eines Hardkeys im Bereich einer Headunit, aktiviert. Das heißt, die Parkassistenzfunktionen bedürfen einer initialen Aktivierung durch den Fahrer, so dass das Suchen potenzieller Parklücken erst nach der Aktivierung durch den Fahrer initiiert wird.
In diesem Zusammenhang ist aus dem Stand der Technik eine als „Automatic Park Control“ bezeichnete Parkassistenzfunktion bekannt, welche über einen Hardkey aktiviert wird. Nach der Aktivierung wird eine Parkplatzsuche im Umfeld des Fahrzeugs ausgelöst, wobei die Parkplatzsuche auf Kamerabildern und einer Ultraschallvermessung der Umgebung basiert. Nach einer Rekonstruktion der Umgebung und einer Klassifizierung potenzieller Parkplätze wird ein notwendiger Pfad geplant und durch eine entsprechende Regelung eine Trajektorie unter Berücksichtigung einer Längs- und Querregelung abgefahren.
Aus der DE 10 2021 002 377 A1 ist ein Verfahren zur vorausschauenden, kamerabasierten Parkplatzdetektion bekannt, wobei eine zum Einparken mit einem Fahrzeug geeignete Parklücke bereits vor einer Vorbeifahrt an der Parklücke detektiert wird. Das Verfahren umfasst folgende Verfahrensschritte:

- Aktivieren der Parkplatzdetektion;
- Erkennen von Hindernismerkmalen in einem von einer am Fahrzeug angeordneten Kamera erzeugten Kamerabild;
- Projizieren der Hindernismerkmale in eine zu einem Fahrbahnrand parallele und zur Fahrbahn orthogonale Merkmalebene;
- Kartografieren der in der Merkmalebene befindlichen Hindernismerkmale zu einer Merkmalkarte durch Strahlenbildung von den Hindernismerkmalen ausgehender und zur Kamera reichender Strahlen;
- Analyse der Merkmalkarte zur Musterdetektion von einem charakteristischen Abstand zueinander aufweisenden Hindernismerkmalen;
- Suchen nach Anomalien in detektierten Mustern, wobei das Vorliegen einer Anomalie auf das Vorhandensein einer Parklücke hindeutet; und
- Bei einer erkannten Anomalie: Rücktransformation einer Position der Anomalie aus der Merkmalkarte in ein dreidimensionales, eine Umgebung des Fahrzeugs beschreibendes Koordinatensystem.

Der Erfindung liegt die Aufgabe zu Grunde, ein neuartiges Verfahren zur Aktivierung einer Parkfunktion eines Fahrzeugs und zum Auffinden potenzieller Parklücken anzugeben.
Die Aufgabe wird erfindungsgemäß gelöst durch ein Verfahren, welches die im Anspruch 1 angegebenen Merkmale aufweist.
Vorteilhafte Ausgestaltungen der Erfindung sind Gegenstand der Unteransprüche.
In dem Verfahren zur Aktivierung einer Parkfunktion eines Fahrzeugs und zum Auffinden potenzieller Parklücken wird erfindungsgemäß die Aktivierung der Parkfunktion und eine mittels dieser ausgeführte Parklückensuche automatisch unter Berücksichtigung einer Blickrichtung eines Fahrers des Fahrzeugs durchgeführt. Anhand eines Schnittpunkts eines Richtungsvektors der Blickrichtung wird mit einem aus erfassten Umgebungsdaten rekonstruierten Umgebungsmodell ein Blickpunkt des Fahrers ermittelt. Der Blickpunkt wird in eine hinterlegte Kartenrepräsentation transformiert, wobei in der Kartenrepräsentation potenzielle Parklücken auf Basis von maschinell gelernten Algorithmen lokalisiert und klassifiziert werden. Weiterhin werden Übereinstimmungen von Blickpunkten und lokalisierten potenzielle Parklücken in der Kartenrepräsentation ermittelt, wobei die ermittelten Übereinstimmungen und ein in vorangegangenen Aktivierungen der Parkfunktion gelerntes Fahrerverhalten bei der Parklückensuche berücksichtigt werden und dem Fahrer eine Nutzung der Parkfunktion und/oder eine Parklücke vorgeschlagen werden bzw. wird.
Mittels des vorliegenden Verfahrens wird eine automatisierte, adaptive und an einen entsprechenden Fahrer angepasste Aktivierung einer Parkfunktion durch Berücksichtigung der Blickrichtung des Fahrers und durch einen Abgleich mit hinterlegten Parklücken ermöglicht, beispielsweise auf der Basis von Satellitendaten oder so genannten Parkplatzprovidern. Die automatische Aktivierung verringert dabei eine Ablenkung des Fahrers vom Fahrgeschehen. Dabei ist es möglich, über einen vorherigen Datensatz ein Verhalten des Fahrers bei Parkplatzsuchen zu lernen und daraufhin im späteren Betrieb beispielsweise parallel zu Daten in einem Backend entsprechende Funktionen zu aktivieren. Das Verfahren kann mit einer bereits im Fahrzeug vorhanden Sensorik zur Umgebungserfassung umgesetzt werden. Eine Adaption einer Elektrisch/Elektronischen-Architektur des Fahrzeugs ist nicht erforderlich. Weiterhin ist das Verfahren unabhängig von verschiedenen Parklückentypen, beispielsweise Längsparklücken und Querparklücken, und kann im Rahmen maschineller Lernverfahren in einfacher Weise beliebig erweitert werden.
Ausführungsbeispiele der Erfindung werden im Folgenden anhand von Zeichnungen näher erläutert.
Dabei zeigen:

1 schematisch einen Ablauf eines Verfahrens zur Aktivierung einer Parkfunktion eines Fahrzeugs und zum Auffinden potenzieller Parklücken,
2 schematisch eine Visualisierung eines Verfahrensschritts des Verfahrens gemäß 1,
3 schematisch eine Visualisierung eines weiteren Verfahrensschritts des Verfahrens gemäß 1,
4 schematisch eine Visualisierung eines weiteren Verfahrensschritts des Verfahrens gemäß 1,
5 schematisch eine Visualisierung eines weiteren Verfahrensschritts des Verfahrens gemäß 1,
6 schematisch eine Visualisierung eines weiteren Verfahrensschritts des Verfahrens gemäß 1,
7 schematisch eine Visualisierung eines weiteren Verfahrensschritts des Verfahrens gemäß 1,
8 schematisch eine Visualisierung eines weiteren Verfahrensschritts des Verfahrens gemäß 1,
9 schematisch eine Visualisierung eines weiteren Verfahrensschritts des Verfahrens gemäß 1,
10 schematisch eine Visualisierung eines weiteren Verfahrensschritts des Verfahrens gemäß 1 und
11 schematisch eine Visualisierung eines weiteren Verfahrensschritts des Verfahrens gemäß 1.

Einander entsprechende Teile sind in allen Figuren mit den gleichen Bezugszeichen versehen.
In 1 ist ein Ablauf eines möglichen Ausführungsbeispiels eines Verfahrens zur Aktivierung einer Parkfunktion eines in 2 gezeigten Fahrzeugs 2 und zum Auffinden von in 7 näher dargestellten potenziellen Parklücken P1 bis Pn dargestellt. In den 2 bis 11 sind Visualisierungen von möglichen Verfahrensschritten VS1 bis VS10 des Verfahrens dargestellt.
Für einen zuverlässigen Betrieb des Verfahrens zur Aktivierung einer Parkfunktion ist eine Kalibrierung einer Sensorik zur Umgebungserfassung und einer Fahrerbeobachtungskamera.
Hierzu erfolgen in einem ersten Verfahrensschritt VS1, veranschaulicht am Beispiel eines Kamerasystems in 2, eine intrinsische und extrinsische Initialkalibrierung einer Kamera 1, beispielsweise während einer Produktion des Fahrzeugs 2 mittels spezifischen Targets oder auch im Feldbetrieb des Fahrzeugs 2 durch ein Tracking charakteristischer Merkmale. Diese Kalibrierung erfolgt beispielsweise unter Verwendung von mittels weiteren zur Umgebungserfassung ausgebildeten Sensoren 3 bis 7 erfassten Daten. Die Sensoren 3 bis 7 umfassen beispielsweise Radarsensoren, Ultraschallsensoren, weitere Kameras und/oder Lidarsensoren.
Eine hierbei ermittelte Kalibrierungsinformation kann gemäß ${}^{c}P = {}^{c}K R [I_{3} | - X_{0}]$
und $[\begin{matrix} c_{u'} \\ c_{v'} \\ c_{w'} \end{matrix}] = [\begin{matrix} c & 0 & 0 \\ 0 & c & 0 \\ 0 & 0 & 1 \end{matrix}] [\begin{matrix} r_{11} & r_{12} & r_{13} \\ r_{21} & r_{22} & r_{23} \\ r_{31} & r_{32} & r_{33} \end{matrix}] [\begin{matrix} X - X_{0} \\ Y - Y_{0} \\ Z - Z_{0} \end{matrix}]$
ausgebildet sein.
Gleichung (1) beschreibt dabei eine Projektion eines dreidimensionalen Punkts auf die Kamerabildebene mit einer intrinsischen Kalibriematrix, dargestellt durch das Formelzeichen K, einer extrinsischen Kalibriermatrix in Form einer Rotationsmatrix R, einem dreidimensionalen Objektpunkt I und einem Translationsvektor X₀.
Ergebnisse der Kalibrierung sind die intrinsische Kalibriermatrix und die extrinsische Kalibriermatrix. Die intrinsische Kalibriermatrix definiert eine innere Beschreibung der Kamera 1, beispielsweise deren Brennweite, Brennpunkte und Bildmittelhauptpunktverschiebungen. Die extrinsische Kalibriermatrix definiert eine extrinsische Position der Kamera 1 in Relation zu einem übergeordneten Koordinatensystem. Beispielsweise werden eine Translation (x, y, z) und eine Rotation um eine Rollachse, Nickachse und Gierachse des Fahrzeugs 2 entsprechend einem Fahrzeugursprung, beispielsweise einem Mittelpunkt einer Fahrzeughinterachse, bestimmt.
Eine Kombination von extrinsischer und intrinsischer Kalibriermatrix ergibt eine so genannte Projektionsmatrix, mittels welcher eine Kameraabbildung in ein übergeordnetes Referenzsystem projiziert wird.
In einem Verfahrensschritt VS2, visualisiert in 3, erfolgt anhand von mittels der kalibrierten Sensorik erfassten Umgebungsdaten eine Rekonstruktion der Umgebung des Fahrzeugs 2. Ergebnis ist eine insbesondere dreidimensionale Umgebungsrekonstruktion R.
Weiterhin wird in einem Verfahrensschritt VS3, visualisiert in 4, eine Blickrichtung BR1 bis BRm eines Fahrers F des Fahrzeugs 2 ermittelt. Dies erfolgt anhand eines mittels der Fahrerbeobachtungskamera erfassten Kamerabilds B2 des Fahrers F, beispielsweise anhand einer so genannten Purkinje Reflexion etc. Die Fahrerbeobachtungskamera ist beispielsweise in einem Bereich eines Instrumentenklusters im Innenraum des Fahrzeugs 2 verbaut.
Weiterhin zeigt 4 ein mittels der Kamera 1 erfasstes Kamerabild B1 der Umgebung des Fahrzeugs 2 und in diese projizierte Blickrichtungen BR1 bis BRm des Fahrers F. Somit liegt für jede Blickrichtung BR1 bis BRm ein Richtungsvektor VR1 bis VRm in einem Koordinatensystem der Kamera 1 vor. Die Kamera 1 ist beispielsweise eine so genannte Multi-Purpose-Kamera, welche beispielsweise im Bereich eines oberen Drittels einer Windschutzscheibe des Fahrzeugs 2 verbaut ist.
Anschließend erfolgt in einem weiteren Verfahrensschritt VS4, visualisiert in 5, eine Berechnung von Blickpunkten BP1 bis BPm durch Ermittlung von Schnittpunkten von Richtungsvektoren VR1 bis VRm der jeweiligen Blickrichtung BR1 bis BRm bzw. der Blickpunkte BP1 bis BPm mit der aus den erfassten Umgebungsdaten erzeugten Umgebungsrekonstruktion R ausgehend von einem Ursprung U eines Koordinatensystem des Fahrzeugs 2. Somit liegen dreidimensionale Schnittpunkte in Relation zum Koordinatensystem des Fahrzeugs 2 vor, welche den Blickpunkten BP1 bis BPm im dreidimensionalen Raum des Fahrers F entsprechen.
In einem weiteren Verfahrensschritt VS5, visualisiert in 6, erfolgt eine Transformation der im Verfahrensschritt VS4 gewonnenen Blickpunkte BP1 bis BPm in eine beispielsweise in einem Backend hinterlegte Kartenrepräsentation KR1, KR2, wobei die Kartenrepräsentation KR1, KR2 auf Satellitenbildern bzw. einer Repräsentation einer so genannten Parkplatz- oder Parklückenkarte basiert.
In einem weiteren Verfahrensschritt VS6, visualisiert in 7, werden in der Kartenrepräsentation KR1, KR2 potenzielle Parklücken P1 bi Pn auf Basis von Bildverarbeitungsalgorithmen, insbesondere maschinell gelernten Algorithmen, lokalisiert und klassifiziert.
Liegen derartige potenzielle Parklücken P1 bis Pn vor, werden in einem weiteren Verfahrensschritt VS7, visualisiert in 8, die ermittelten Blickpunkte BP1 bis BPm mit den räumlich extrahierten Parklücken P1 bis Pn anhand geeigneter Metriken Met verglichen. Das heißt, es werden Übereinstimmungen von Blickpunkten BP1 bis BPn und lokalisierten potenziellen Parklücken P1 bis Pn in der Kartenrepräsentation KR1, KR2 ermittelt.
Die Metriken Met können gemäß $M e t = \frac{\sum_{1}^{A n z a h l K a m e r a f r a m e s} \frac{\sum B l i c k p u n k t e i n P a r k l \ddot{u} c k e n}{\sum a l l e B l i c k p u n k t e}}{A n z a h l K a m e r a f r a m e s}$
beispielsweise ein Verhältnis einer Anzahl von Blickpunkten BP1 bis BPm in Parklücken P1 bis Pn zu einer Gesamtanzahl von Blickpunkten BP1 bis BPm über einen definierten Zeitbereich t, beispielsweise einer Anzahl von Kameraframes, darstellen. Auch ist eine Analyse eines Histogramms möglich, wobei dann, wenn sämtliche Blickpunkte BP1 bis BPm innerhalb einer Parklücke P1 bis Pn liegen, die Metrik Met erhöht wird. Liegt dagegen eine uniformale Verteilung vor, wird die Metrik Met entsprechend degradiert.
In einem weiteren Verfahrensschritt VS8, visualisiert in 9, erfolgt eine Berechnung einer Aktivierung der Parkfunktion über einen definierten Zeitraum, wobei beispielsweise ermittelt wird, ob die Metrik Met über den definierten Zeitraum oberhalb einer definierten Schwelle SW liegt. Ist dies der Fall, wird dem Fahrer F die Parkfunktion vorgeschlagen. Die Parkfunktion ist dabei insbesondere derart ausgebildet, dass nach einer Aktivierung derselben eine Vermessung von potenziellen Parklücken P1 bis Pn sowie eine automatisierte längs- und quergeregelte Einfahrt in die jeweiligen Parklücken P1 bis Pn und eine automatisierte längs- und quergeregelte Ausfahrt aus den jeweiligen Parklücken P1 bis Pn erfolgt.
In einem weiteren Verfahrensschritt VS9, visualisiert in 10, erfolgt eine Akkumulation von Datensätzen über mehrere Einparkmanöver, wobei die Datensätze insbesondere Informationen über die Blickrichtungen BR1 bis BRm, Blickpunkte BP1 bis BPm, Parklücken P1 bis Pn, dreidimensionale Modelle, User-Interface-Aktionen, das heißt gewünschte Funktionsaktivierungen, etc. aufweisen.
In einer möglichen Ausgestaltung des Verfahrens werden in einem weiteren Verfahrensschritt VS10, visualisiert in 11, anhand der akquirierten Datensätze maschinelle Lernverfahren bzw. künstliche neuronale Netze Kl trainiert, die nach einer entsprechenden Trainingsphase aus einem jeweiligen Pattern der Blickrichtung BR1 bis BRm die Suche nach Parklücken P1 bis Pn ableiten können, so dass eine Funktionsaktivierung auch ohne ein Vorliegen von Parklücken P1 bis Pn möglich ist. Die Parklückeninformationen sind jedoch in einer Trainingsphase weiterhin notwendig.
Ein solcher Ansatz bietet sich insbesondere für ein so genanntes Reinforcement Learning an, in welchem ein Vorschlag einer Funktionsaktivierung durch das System, welches schlussendlich auch in einem Einparkmanöver mündet, als Reward RW interpretiert wird. Hingegen wird ein Ausbleiben eines Einparkmanövers als Punishment PM berücksichtigt. Das neuronale Netz KI versucht dabei Reward-Einparkmanöver zu maximieren.
Das vorliegende Verfahren stellt somit einen Ansatz dar, bei welchem anhand der Blickrichtung BR1 bis BRm des Fahrers F und einem Abgleich dieser mit, beispielsweise in einem Backend verfügbaren, Parklücken P1 bis Pn eine Aktivierung von Parkfunktionalitäten zu ermöglichen. Dabei weist das Verfahren den Vorteil auf, dass es auf im Fahrzeug 2 bereits existenten Baugruppen aufbauen kann, eine Aufmerksamkeit des Fahrers F nicht durch Betätigungen Hardkeys oder Softkeys vom Fahrgeschehen ablenkt und eine automatisierte und adaptive Aktivierung von Parkfunktionen ermöglicht. Darüber hinaus besteht die Möglichkeit, dass sich das Verfahren an den jeweiligen Fahrer F individuell anpasst.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

DE 102021002377 A1 [0004]

Claims

Verfahren zur Aktivierung einer Parkfunktion eines Fahrzeugs (2) und zum Auffinden potenzieller Parklücken (P1 bis Pn), dadurch gekennzeichnet, dass - die Aktivierung der Parkfunktion und eine mittels dieser ausgeführte Parklückensuche automatisch unter Berücksichtigung einer Blickrichtung (BR1 bis BRm) eines Fahrers (F) des Fahrzeugs (2) durchgeführt werden, - anhand eines Schnittpunkts eines Richtungsvektors (VR1 bis VRm) der Blickrichtung (BR1 bis BRm) mit einem aus erfassten Umgebungsdaten rekonstruierten Umgebungsmodell ein Blickpunkt (BP1 bis BPm) des Fahrers (F) ermittelt wird, - der Blickpunkt (BP1 bis BPm) in eine hinterlegte Kartenrepräsentation (KR1, KR2) transformiert wird, - in der Kartenrepräsentation (KR1, KR2) potenzielle Parklücken (P1 bis Pn) auf Basis von maschinell gelernten Algorithmen lokalisiert und klassifiziert werden, - Übereinstimmungen von Blickpunkten (BP1 bis BPm) und lokalisierten potenziellen Parklücken (P1 bis Pn) in der Kartenrepräsentation (KR1, KR2) ermittelt werden, - die ermittelten Übereinstimmungen und ein in vorangegangenen Aktivierungen der Parkfunktion gelerntes Fahrerverhalten bei der Parklückensuche berücksichtigt werden und dem Fahrer (F) eine Nutzung der Parkfunktion und/oder eine Parklücke (P1 bis Pn) vorgeschlagen werden bzw. wird.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die Kartenrepräsentation (KR1, KR2) auf Satellitenbildern basiert.
Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass die Blickrichtung (BR1 bis BRm) mittels einer Fahrerbeobachtungskamera ermittelt wird.