DE102018131106A1

DE102018131106A1 - Verfahren zum Erkennen eines Parkbereichs für ein Fahrzeug durch separates Erkennen von Elementen einer Parkflächenmarkierung, Recheneinrichtung sowie Fahrassistenzsystem

Info

Publication number: DE102018131106A1
Application number: DE102018131106.0A
Authority: DE
Inventors: Markus Heimberger; Ciaran Hughes; Jonathan Horgan; Jean-Francois Bariant; Muhammad Nassef; Conor Ferguson
Original assignee: Valeo Schalter und Sensoren GmbH
Current assignee: Valeo Schalter und Sensoren GmbH
Priority date: 2018-12-06
Filing date: 2018-12-06
Publication date: 2020-06-10

Abstract

Die Erfindung betrifft ein Verfahren zum Erkennen eines Parkbereichs (9) für ein Fahrzeug (1) in einem Umgebungsbereich (8) des Fahrzeugs (1), bei welchem zumindest ein Bild des Umgebungsbereichs (8) von einer Kamera (4) des Fahrzeugs (1) empfangen wird, wobei das zumindest eine Bild eine Parkflächenmarkierung (10) des Parkbereichs (9) beschreibt, in dem zumindest einen Bild Elemente erkannt werden, welche die Parkflächenmarkierung (10) beschreiben, und zum Erkennen des Parkbereichs (9) die erkannten Elemente als Repräsentation in eine digitale Umgebungskarte eingetragen werden, wobei als die Elemente zumindest ein Eckenelement (14), welches zumindest einen Linienabschnitt (15, 16) in einer Ecke (12) der Parkflächenmarkierung (10) beschreibt, und zumindest ein Linienelement (20), welches eine an eine Ecke (12) angrenzende Verbindungslinie (13) der Parkflächenmarkierung (10) beschreibt, erkannt werden und das zumindest eine erkannte Eckenelement (14) und das zumindest eine erkannte Linienelement (20) als separate Repräsentationen in die digitale Umgebungskarte eingetragen werden.

Description

Die vorliegende Erfindung betrifft ein Verfahren zum Erkennen eines Parkbereichs für ein Fahrzeug in einer Umgebungsbereich des Fahrzeugs. Hierbei wird zumindest ein Bild des Umgebungsbereichs von einer Kamera des Fahrzeugs empfangen, wobei das zumindest eine Bild eine Parkflächenmarkierung des Parkbereichs beschreibt. In dem zumindest einen Bild werden Elemente erkannt, welche die Parkflächenmarkierung beschreiben, und zum Erkennen des Parkbereichs werden die erkannten Elemente als Repräsentationen in eine digitale Umgebungskarte eingetragen, wobei die digitale Umgebungskarte den Umgebungsbereich beschreibt. Darüber hinaus betrifft die vorliegende Erfindung eine Recheneinrichtung sowie ein Fahrassistenzsystem für ein Fahrzeug. Schließlich betriff die vorliegende Erfindung ein Computerprogrammprodukt sowie ein computerlesbares Medium.
Das Interesse richtet sich vorliegend auf Fahrassistenzsysteme, welche einen Fahrer beziehungsweise einen Benutzer des Fahrzeugs beim Einparken in eine Parklücke unterstützen. Hierzu sind aus dem Stand der Technik Fahrassistenzsysteme bekannt, welche mit entsprechenden Umfeldsensoren die Umgebung des Fahrzeugs erfassen können und freie Parklücken erkennen können. Hierbei können die freien Parklücken zudem anhand der Daten der Umfeldsensoren vermessen werden. Dabei können die Parklücken einerseits anhand von Objekten, beispielsweise geparkten Fahrzeugen, erkannt werden, welche die Parklücke begrenzen. Zum anderen sind aus dem Stand der Technik Verfahren bekannt, bei denen Parkflächenmarkierungen, welche die Parklücke begrenzen, erkannt beziehungsweise erfasst werden. Hierbei können entsprechende Elemente beziehungsweise Merkmale der Parkflächenmarkierung erkannt werden und einer digitalen Umgebungskarte zugeführt werden. Auf Grundlage der in der digitalen Umgebungskarte hinterlegten Repräsentationen der Parkflächenmarkierung kann dann mit einem Fahrassistenzsystem die Parklücke erkannt werden und das Fahrzeug entsprechend in die Parklücke eingeparkt werden.
Hierzu beschreibt die DE 10 2015 209 147 A1 ein Verfahren zur Parkflächenerkennung. Hierbei werden mit einer Bilderfassungsvorrichtung, welche Bilddaten einer Umgebung erzeugt, zur Erkennung einer Parkfläche ausgewertet, wobei mittels der Bilddaten zumindest eine Markierung oder mehrere Markierungen einer Parkfläche erkannt und bewertet werden.
Des Weiteren offenbart die DE 10 2012 222 497 A1 ein Verfahren zum Erkennen einer Parkraumlinienmarkierung, welches durch einen Prozessor in einer Steuerung, welche in einem Fahrzeug installiert ist, ausgeführt wird. Das Verfahren umfasst einen Eckenerfassungsprozess, welcher ausgebildet ist, eine gewinkelte Ecke in einem Bild, welches die Parkraumlinienmarkierung beinhaltet, zu erfassen. Ferner umfasst das Verfahren einen Kreuzerfassungsprozess, welcher ausgebildet ist, einen Kreuzungspunkt durch Kombination benachbarter Ecken unter den erfassten Ecken zu erfassen. Außerdem umfasst das Verfahren einen Raumerfassungsprozess, welcher ausgebildet ist, einen Raum, welcher eine Endperipherie der Parkraumlinienmarkierung ist, durch Kombination der erfassten Kreuzungspunkte zu erfassen. Zudem ist ein Typauswahlprozess vorgesehen, welcher ausgebildet ist, einen Typ der Parkraumlinienmarkierung von dem erfassten Raum auszuwählen. Außerdem umfasst das Verfahren einen finalen Auswählprozess, welcher ausgebildet ist, einen finalen Raum auf der Basis des gewählten Typs auszuwählen.
Es ist Aufgabe der vorliegenden Erfindung, eine Lösung aufzuzeigen, wie ein Parkbereich für ein Fahrzeug auf Grundlage von Parkflächenmarkierungen zuverlässiger erkannt werden kann.
Diese Aufgabe wird erfindungsgemäß durch ein Verfahren, durch eine Recheneinrichtung, durch ein Fahrassistenzsystem, durch ein Computerprogrammprodukt sowie durch ein computerlesbares Medium mit den Merkmalen gemäß den unabhängigen Ansprüchen gelöst. Vorteilhafte Weiterbildungen der vorliegenden Erfindung sind in den abhängigen Ansprüchen angegeben.
Ein erfindungsgemäßes Verfahren dient zum Erkennen eines Parkbereichs für ein Fahrzeug in einem Umgebungsbereich des Fahrzeugs. Hierbei wird zumindest ein Bild des Umgebungsbereichs von einer Kamera des Fahrzeugs empfangen. Dabei beschreibt das zumindest eine Bild eine Parkflächenmarkierung des Parkbereichs. In dem zumindest einen Bild werden Elemente erkannt, welche die Parkflächenmarkierung beschreiben. Zum Erkennen des Parkbereichs werden die erkannten Elemente als Repräsentation in eine digitale Umgebungskarte eingetragen, wobei die digitale Umgebungskarte den Umgebungsbereich beschreibt. Dabei werden als die Elemente zumindest ein Eckenelement, welches zumindest einen Linienabschnitt der Parkflächenmarkierung in einer Ecke der Parkflächenmarkierung beschreibt, und zumindest ein Linienelement, welches eine an eine Ecke angrenzende Verbindungslinie der Parkflächenmarkierung beschreibt, erkannt. Darüber hinaus werden das zumindest eine erkannte Eckenelement und das zumindest eine erkannte Linienelement als separate Repräsentationen in die digitale Umgebungskarte eingetragen.
Mithilfe des Verfahrens sollen Parkflächenmarkierungen erkannt werden und auf Grundlage der erkannten Parkflächenmarkierungen der Parkbereich für das Fahrzeug ermittelt werden. Dabei sind Parkflächenmarkierungen Straßenmarkierungen, welche die Anordnung von Parkflächen und deren Abgrenzung vom fließenden Verkehr regeln. Bei den Parkflächenmarkierungen handelt es sich um entsprechende Linien, welche auf die Oberfläche der Fahrbahn und/oder eines Bereichs zum Abstellen des Fahrzeugs aufgebracht sind. Das Verfahren kann mit einer entsprechenden Recheneinrichtung durchgeführt werden, die beispielsweise durch ein Steuergerät des Fahrzeugs, einen Prozessor, einen Rechner oder dergleichen bereitgestellt werden kann. Diese Recheneinrichtung ist zur Datenübertragung mit zumindest einer Kamera des Fahrzeugs verbunden. Mit der Kamera können entsprechende Bilder des Umgebungsbereichs aufgenommen werden, in dem sich auch die Parkflächenmarkierung befindet. Dabei kann zumindest ein Bild des Umgebungsbereichs von der Kamera an die Recheneinrichtung übertragen werden. Es kann ebenso vorgesehen sein, dass eine Sequenz beziehungsweise eine Mehrzahl von Bildern aufgenommen wird und an die Recheneinrichtung übertragen wird. Ferner können auch jeweilige Bilder von unterschiedlichen Kameras des Fahrzeugs empfangen werden. Die jeweiligen Parkflächenmarkierungen oder Teile davon können dann in dem zumindest einen Bild mittels der Recheneinrichtung erkannt werden. Hierzu kann ein entsprechender Objekterkennungsalgorithmus oder dergleichen verwendet werden. Die jeweiligen Parkflächenmarkierungen können dadurch erkannt werden, dass diese beispielsweise eine vorbestimmte Farbe aufweisen. Diese Parkflächenmarkierungen unterscheiden sich üblicherweise deutlich von einer Oberfläche, beispielsweise einer asphaltierten Oberfläche, auf die sie aufgebracht sind. Auf Grundlage der erkannten Parkflächenmarkierung können dann Repräsentationen bestimmt werden, welche in die digitale Umgebungskarte eingetragen werden. Dabei beschreibt die digitale Umgebungskarte den Umgebungsbereich des Fahrzeugs. In diese digitale Umgebungskarte können die Repräsentationen der Parkflächenmarkierungen beziehungsweise die einzelnen Elemente, die die Parkflächenmarkierungen beschreiben, eingetragen werden. Dabei kann die digitale Umgebungskarte zudem die jeweilige Position der Elemente beziehungsweise der Repräsentation beschreiben. Zudem können in der digitalen Umgebungskarte die räumlichen Abmessungen der jeweiligen Elemente beziehungsweise Repräsentationen hinterlegt sein. In der digitalen Umgebungskarte kann ferner die aktuelle Position des Fahrzeugs hinterlegt sein. Auf Grundlage der Repräsentationen, die in der digitalen Umgebungskarte hinterlegt sind, kann der Parkbereich für das Fahrzeug erkannt werden. Im Anschluss daran kann dann das Fahrzeug mithilfe eines Fahrassistenzsystems hin zu dem Parkbereich manövriert werden. Ein derartiges Verfahren ist auch unter der Bezeichnung Linienparken bekannt.
Gemäß einem wesentlichen Aspekt der vorliegenden Erfindung ist vorgesehen, dass auf Grundlage des zumindest einen Bilds als die Elemente zumindest ein Eckenelement und zumindest ein Linienelement der Parkflächenmarkierung erkannt werden. Dabei beschreibt ein Eckenelement zumindest einen Linienabschnitt der Parkflächenmarkierung in einer Ecke der Parkflächenmarkierung. Eine Parkflächenmarkierung begrenzt dabei einen oder mehrere Parkbereiche, wobei die jeweiligen Parkbereiche üblicherweise rechteckförmig ausgebildet sind. Ferner sind Parkflächenmarkierungen bekannt, welche die Form eines Parallelogramms aufweisen. Die Parkflächenmarkierungen sind durch entsprechende Linien gebildet. Dabei beschreiben die Eckenelemente diejenigen Linienabschnitte, die in einer Ecke beziehungsweise an den Grenzen der Parkflächenmarkierung angeordnet sind. Beispielsweise kann der Parkbereich durch vier Eckenelemente der Parkflächenmarkierung begrenzt sein. Es kann beispielsweise auch der Fall sein, dass der Parkbereich durch zwei Eckenelemente begrenzt ist und der Parkbereich durch ein weiteres Objekt, beispielsweise einen Bordstein, eine Wand oder dergleichen, begrenzt ist. Das Eckenelement kann zumindest einen Linienabschnitt aufweisen. Üblicherweise weist das Eckenelement aber zwei Linienabschnitte auf, welche beispielsweise einen rechten Winkel oder einen anderen Winkel zueinander aufweisen können. Zusätzlich zu den Eckenelementen werden Linienelemente in dem zumindest einen Bild erkannt. Diese Linienelemente beschreiben die Verbindungslinien, durch welche die Eckenelemente miteinander verbunden sind. Diese Linienelemente grenzen also an die Eckenelemente an. Die jeweiligen Linienelemente können als durchgezogene Linie, unterbrochene Linie, Doppellinie oder dergleichen ausgebildet sein. Auf Grundlage des zumindest einen Bilds, das mit der Kamera bereitgestellt wird, werden die Eckenelemente und die Linienelemente unabhängig voneinander erkannt und dann als jeweilige Repräsentationen in die digitale Umgebungskarte eingetragen. Somit werden aus den Parkflächenmarkierungen in dem Bild unterschiedliche Elemente extrahiert und zur Erkennung des Parkbereichs in der digitalen Umgebungskarte hinterlegt. Auf diese Weise kann die Erkennung des Parkbereichs auf zuverlässigere Weise durchgeführt werden.
Bevorzugt wird die Parkfläche anhand des zumindest einen erkannten Eckenelements und anhand des zumindest einen erkannten Linienelements in der digitalen Umgebungskarte erkannt. Die Informationen aus den Eckenelementen und die Informationen aus den Linienelementen können in der digitalen Umgebungskarte entsprechend fusioniert werden, um die Parkfläche für das Fahrzeug zu erkennen. Beispielsweise kann auf Grundlage der jeweiligen Eckenelemente eine Wahrscheinlichkeit bestimmt werden, welche angibt, dass diese eine Parkflächenmarkierung beschreiben beziehungsweise einen Parkbereich begrenzen. In gleicher Weise kann eine entsprechende Wahrscheinlichkeit für die Linienelemente bestimmt werden. Somit können unabhängig voneinander auf Grundlage der Eckenelemente und der Linienelemente Aussagen getroffen werden, ob eine Parkflächenmarkierung in dem Umgebungsbereich vorhanden ist. Somit kann die Zuverlässigkeit der Erkennung der Parkfläche erhöht werden.
In einer Ausführungsform wird als das zumindest eine Eckenelement der zumindest eine Linienabschnitt mit einer L-Form, einer T-Form, einer X-Form und/oder einer I-Form erfasst. Darüber hinaus beschreibt das zumindest eine Eckenelement bevorzugt die Form des zumindest einen Linienabschnitts. Das Eckenelement kann zwei Linienabschnitte aufweisen, die senkrecht zueinander angeordnet sind. In diesem Fall weist das Eckenelemente eine L-Form oder einen T-Form auf. Es kann auch vorgesehen sein, dass bei einer T-Form der Linienabschnitte die beiden Linienabschnitte keinen rechten Winkel zueinander aufweisen. Dies ergibt sich beispielsweise bei schräg angeordneten Parkbereichen beziehungsweise Parkbereichen, die für ein Schrägparken ausgelegt sind. Ferner können die zwei Linienabschnitte einen beliebigen Winkel zueinander aufweisen beziehungsweise eine X-Form aufweisen. Es kann aber auch der Fall sein, dass das Eckenelement nur durch ein Linienelement gebildet wird. In diesem Fall weist der Linienabschnitt eine I-Form auf. Hierbei beschreibt das Ende des Linienabschnitts das Ende beziehungsweise die Ecke der Parkflächenmarkierung. Diese unterschiedlichen Typen von Eckenelementen beziehungsweise Linienabschnitten der Parkflächenmarkierung können erfasst werden. Wenn das Eckenelement als Repräsentation in der digitalen Umgebungskarte hinterlegt wird, kann zudem die Form der Linienabschnitte beziehungsweise der Typ des Eckenelements in der Repräsentation enthalten sein. Mit anderen Worten kann also das Eckenelement beschreiben, ob die zumindest zwei Linienabschnitte eine L-Form, eine T-Form, eine X-Form oder eine I-Form aufweisen. Somit können die Eckenelemente präzise in der digitalen Umgebungskarte beschrieben werden.
In einer weiteren Ausführungsform wird eine Orientierung des zumindest einen Linienabschnitts der Parkflächenmarkierung zu einem Koordinatensystem des Fahrzeugs bestimmt. Das Koordinatensystem des Fahrzeugs kann beispielsweise so bestimmt werden, dass der Ursprung des Koordinatensystems dem Mittelpunkt der Hinterachse des Fahrzeugs entspricht. Dabei kann sich eine x-Richtung des Koordinatensystems entlang einer Fahrzeuglängsrichtung erstrecken und eine y-Richtung des Koordinatensystems kann sich entlang einer Fahrzeugquerrichtung erstrecken. Bezüglich der Linienabschnitte des Eckenelements kann eine jeweilige Orientierung zu dem Koordinatensystem des Fahrzeugs bestimmt werden. Beispielsweise können eine primäre Orientierung zu einem ersten Linienabschnitt und eine sekundäre Orientierung zu einem zweiten Linienabschnitt des Eckenelements bestimmt werden. Dabei kann das Eckenelement beziehungsweise die Repräsentation, die in die digitale Umgebungskarte eingetragen wird, zusätzliche Informationen umfassen, welche die Orientierung des zumindest einen Linienabschnitts bezüglich des Fahrzeugkoordinatensystems beschreiben. Somit kann die Orientierung und/oder relative Lage der Parkflächenmarkierung beziehungsweise des Parkbereichs relativ zu dem Fahrzeug bestimmt werden.
Gemäß einer weiteren Ausführungsform werden zu dem zumindest einen Eckenelement eine räumliche Unsicherheit und/oder eine Existenzwahrscheinlichkeit bestimmt. Das jeweilige Eckenelement kann die Position des zumindest einen Linienabschnitts in einem Koordinatensystem, insbesondere dem Fahrzeugkoordinatensystem, beschreiben. Bei einem Eckenelement mit zwei Linienabschnitten, also bei einer L-Form, einer T-Form oder einer X-Form, kann die Position dem Schnittpunkt der beiden Linienabschnitte zugeordnet werden. Bei einer I-Form kann die Position bezüglich des Mittelpunkts des Linienabschnitts bestimmt werden. Bezüglich dieser Position kann eine räumliche Unsicherheit definiert werden. Für die jeweiligen Linienabschnitte des Eckenelements können zudem räumliche Unsicherheiten bestimmt werden. Diese räumliche Unsicherheit kann die Position des Eckenelements beziehungsweise der Linienabschnitte betreffen. Ferner kann die räumliche Unsicherheit für einen Winkel des zumindest einen Linienabschnitts vorgegeben werden. Darüber hinaus kann beispielsweise bezüglich der Abmessungen der Linienabschnitte eine räumliche Unsicherheit definiert werden. Diese räumliche Unsicherheit kann beispielsweise in Abhängigkeit von der Entfernung zwischen der Kamera und der erfassten Ecke der Parkflächenmarkierung definiert werden. Hierbei kann beispielsweise berücksichtigt werden, dass jeweilige Parkflächenmarkierungen beziehungsweise Ecken der Parkflächenmarkierung, die einen geringen Abstand zu der Kamera aufweisen, zuverlässiger beziehungsweise mit einer höheren Positionsgenauigkeit erfasst werden können. Alternativ oder zusätzlich kann eine Existenzwahrscheinlichkeit für die erfassten Eckenelemente bestimmt werden. Diese Existenzwahrscheinlichkeit kann beispielsweise angeben, mit welcher Wahrscheinlichkeit es sich bei dem aus dem Bild extrahierten Merkmal tatsächlich um ein Eckenelement beziehungsweise eine Ecke einer Parkflächenmarkierung handelt. Diese Informationen können in dem Eckenelement beziehungsweise der Repräsentation, die in die digitale Umgebungskarte eingetragen wird, hinterlegt werden. Somit können zusätzlich Informationen bezüglich der erfassten Parkflächenmarkierung in der digitalen Umgebungskarte hinterlegt werden.
In einer weiteren Ausgestaltung kann als das zumindest eine Eckenelement ein Linienabschnitt der Parkflächenmarkierung erkannt werden, welcher einer Grenze des zumindest einen Bilds zugeordnet ist. In dem Bild können zusätzlich Linienabschnitte vorhanden sein, welche an der Grenze beziehungsweise an dem Ende des Bildes abgeschnitten sind. Diese Linienabschnitte am Ende des Bilds beziehungsweise am Rand des Erfassungsbereichs der Kamera können ebenfalls als Eckenelemente erfasst werden. Diese Eckenelemente können dann als uneigentliche Eckenelemente definiert werden. Mit anderen Worten kann diesen Linienabschnitten der Typ „uneigentlich“ oder „improper“ zugeordnet werden. Dieser Typ beschreibt, dass das Eckenelement beziehungsweise der Linienabschnitt das Ende des Bilds beziehungsweise einer Region von Interesse in dem Bild beschreibt. Beispielsweise kann die Kamera einen Bereich hinter diesem Eckenelement nicht erfassen. Somit kann es der Fall sein, dass dieses Eckenelement ein Ende beziehungsweise eine tatsächliche Ecke der Linie darstellt. Es kann aber auch der Fall sein, dass die Linie sich außerhalb des Bilds beziehungsweise des Erfassungsbereichs weiter erstreckt beziehungsweise fortsetzt. Somit können auch Linienabschnitte am Rand des Bilds berücksichtigt werden.
Weiterhin ist vorteilhaft, wenn zum Bestimmen des zumindest einen Linienelements ein Eckenelement als Startpunkt des Linienelements und ein weiteres Eckenelement als Endpunkt des Linienelements bestimmt werden. Die Beschreibung durch den Startpunkt und den Endpunkt stellt ein Minimum für die Beschreibung des Linienelements dar. Für die Definition der Linienelemente können jeweilige Eckenelemente beziehungsweise Ecken der Parkflächenmarkierung als Startpunkt und als Endpunkt herangezogen werden. Somit können die Linienelemente als Repräsentation in der digitalen Umgebungskarte auf einfache Weise definiert werden.
In einer weiteren Ausführungsform wird zum Bestimmen des zumindest einen Linienelements ein Basispunkt bestimmt, wobei eine räumliche Unsicherheit für den Basispunkt und/oder eine Unsicherheit bezüglich einer Orientierung des Linienelements an dem Basispunkt bestimmt wird. Zur Definition des Linienelements kann zudem der Basispunkt verwendet werden. Um diesen Basispunkt kann das Linienelement quasi gedreht werden. Dieser Basispunkt stellt also einen Punkt dar, um den das Linienelement gedreht werden kann. Grundsätzlich kann die Position des Basispunkts beliebig gewählt werden. Beispielsweise kann der Basispunkt auf dem Linienelement definiert werden. Es kann auch vorgesehen sein, dass der Basispunkt nicht zwischen dem Startpunkt und dem Endpunkt gewählt wird. Insbesondere ist vorgesehen, dass der Basispunkt so bestimmt wird, dass dieser eine möglichst geringe Entfernung zu der Kamera aufweist. Auf diese Weise kann eine räumliche Unsicherheit bezüglich einer Orientierung beziehungsweise eines Winkels des Linienelements definiert werden. Wie zuvor im Zusammenhang mit den Positionen der Eckenelemente erläutert wurde, kann auch für den Basispunkt selbst eine räumliche Unsicherheit definiert werden. Ebenso kann für den Startpunkt und für den Zielpunkt eine räumliche Unsicherheit angegeben werden. Somit kann eine räumliche Unsicherheit bezüglich einer Länge des Linienelements definiert werden. Ebenfalls kann es vorgesehen sein, dass für das Linienelement eine Existenzwahrscheinlichkeit definiert wird. Dies ermöglicht eine präzise Beschreibung des Linienelements als Repräsentation in der digitalen Umgebungskarte.
Gemäß einer weiteren Ausführungsform wird zum Bestimmen des zumindest einen Linienelements zumindest ein weiteres Eckenelement als Zwischenpunkt bestimmt. Zwischen dem Startpunkt und dem Endpunkt können ein oder mehrere Zwischenpunkte definiert werden, um das Linienelement zu beschreiben. Als die jeweiligen Zwischenpunkte können ebenfalls Eckenelemente verwendet werden. Somit können quasi mehrere Stützstellen definiert werden, um das Linienelement zu beschreiben. Dies ermöglicht eine präzise Repräsentation der jeweiligen Verbindungslinien der erkannten Parkflächenmarkieru ng.
In einer weiteren Ausgestaltung werden in der digitalen Umgebungskarte Abmessungen des zumindest einen Linienelements angepasst und/oder zumindest zwei erkannte Linienelemente werden miteinander verbunden. Durch die zuvor beschriebene Definition der Linienelemente anhand des Startpunkts und des Zielpunkts sowie gegebenenfalls anhand von Zwischenpunkten wird es ermöglicht, die räumlichen Abmessungen des Linienelements in der digitalen Umgebungskarte anzupassen. Beispielsweise kann eine Länge des Linienelements angepasst werden. Darüber hinaus können in der digitalen Umgebungskarte mehrere erfasste Linienelemente miteinander verbunden werden. Dies kann beispielsweise erfolgen, wenn zwei Linienelemente einen vorbestimmten Mindestabstand zueinander aufweisen und/oder eine Orientierung der jeweiligen Linienelemente im Wesentlichen übereinstimmt. Ferner kann es vorgesehen sein, dass ein Linienelement in zwei oder mehrere Linienelemente aufgeteilt wird. Beispielsweise können die digitale Umgebungskarte beziehungsweise die Linienelemente und Eckenelemente in der digitalen Umgebungskarte fortlaufend aktualisiert werden. Diese Aktualisierung kann auf Grundlage von zeitlich aufeinanderfolgend aufgenommenen Bildern und der darin erkannten Eckenelemente und/oder Linienelemente erfolgen.
Eine erfindungsgemäße Recheneinrichtung für ein Fahrassistenzsystem eines Fahrzeugs ist zum Durchführen eines erfindungsgemäßen Verfahrens sowie der vorteilhaften Ausführungen davon ausgebildet. Die Recheneinrichtung kann durch ein elektronisches Steuergerät, einen digitalen Signalprozessor, einen Rechner oder dergleichen bereitgestellt werden.
Ein erfindungsgemäßes Fahrassistenzsystem umfasst eine erfindungsgemäße Recheneinrichtung sowie zumindest eine Kamera. Bevorzugt kann das Fahrassistenzsystem eine Mehrzahl von Kameras aufweisen, welche verteilt an dem Fahrzeug angeordnet sind. Die Kameras können beispielsweise an einem Frontbereich, einem Heckbereich und an jeweiligen Seitenbereichen des Fahrzeugs angeordnet sein. Anhand der in der Umgebungskarte hinterlegten Eckenelemente und Linienelemente kann dann mittels des Fahrassistenzsystems beziehungsweise der Recheneinrichtung ein Parkbereich für das Fahrzeug erkannt werden. Zudem kann das Fahrassistenzsystem dazu ausgebildet sein, das Fahrzeug zumindest semi-autonom zu dem Parkbereich zu manövrieren. Insbesondere ist es vorgesehen, dass mittels des Fahrassistenzsystems eine Längsführung und eine Querführung des Fahrzeugs übernommen werden.
Ein erfindungsgemäßes Fahrzeug umfasst ein erfindungsgemäßes Fahrassistenzsystem. Das Fahrzeug ist insbesondere als Personenkraftwagen ausgebildet. Es kann auch vorgesehen sein, dass das Fahrzeug als Nutzfahrzeug ausgebildet ist.
Zur Erfindung gehört auch ein Computerprogrammprodukt mit Programmcodemitteln, welche in einem computerlesbaren Medium gespeichert sind, um das erfindungsgemäße Verfahren und die vorteilhaften Ausgestaltungen davon durchzuführen, wenn das Computerprogrammprodukt auf einem Prozessor einer elektronischen Recheneinrichtung abgearbeitet wird.
Ein weiterer Aspekt der Erfindung betrifft ein computerlesbares Medium, insbesondere in Form einer computerlesbaren Diskette, CD, DVD, Speicherkarte, USB-Speichereinheit, oder ähnlichen, in dem Programmcodemittel gespeichert sind, um das erfindungsgemäße Verfahren und die vorteilhaften Ausgestaltungen davon durchzuführen, wenn die Programmcodemittel in einen Speicher einer elektronischen Recheneinrichtung geladen und auf einem Prozessor der elektronischen Recheneinrichtung abgearbeitet werden.
Die mit Bezug auf das erfindungsgemäße Verfahren vorgestellten bevorzugten Ausführungsformen und deren Vorteile gelten entsprechend für die erfindungsgemäße Recheneinrichtung, für das erfindungsgemäße Fahrassistenzsystem, für das erfindungsgemäße Fahrzeug, für das erfindungsgemäße Computerprogrammprodukt sowie für das erfindungsgemäße computerlesbare Medium.
Weitere Merkmale der Erfindung ergeben sich aus den Ansprüchen, den Figuren und der Figurenbeschreibung. Die vorstehend in der Beschreibung genannten Merkmale und Merkmalskombinationen sowie die nachfolgend in der Figurenbeschreibung genannten und/oder in den Figuren alleine gezeigten Merkmale und Merkmalskombinationen sind nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen verwendbar, ohne den Rahmen der Erfindung zu verlassen. Es sind somit auch Ausführungen von der Erfindung als umfasst und offenbart anzusehen, die in den Figuren nicht explizit gezeigt und erläutert sind, jedoch durch separierte Merkmalskombinationen aus den erläuterten Ausführungen hervorgehen und erzeugbar sind. Es sind auch Ausführungen und Merkmalskombinationen als offenbart anzusehen, die somit nicht alle Merkmale eines ursprünglich formulierten unabhängigen Anspruchs aufweisen. Es sind darüber hinaus Ausführungen und Merkmalskombinationen, insbesondere durch die oben dargelegten Ausführungen, als offenbart anzusehen, die über die in den Rückbezügen der Ansprüche dargelegten Merkmalskombinationen hinausgehen oder von diesen abweichen.
Die Erfindung wird nun anhand von bevorzugten Ausführungsbeispielen sowie unter Bezugnahme auf die beigefügten Zeichnungen näher erläutert. Dabei zeigen:

1 ein Fahrzeug mit einem Fahrassistenzsystem, welches eine Mehrzahl von Kameras aufweist;
2 ein schematisches Ablaufdiagramm eines Verfahrens zum Parken des Fahrzeugs in einem erkannten Parkbereich;
3 das Fahrzeug gemäß 1, wobei sich in einem Umgebungsbereich des Fahrzeugs eine Mehrzahl von unterschiedlich ausgestalteten Parkflächenmarkierungen befinden;
4 ein Eckenelement einer Parkflächenmarkierung mit einer T-Form;
5 ein Eckenelement einer Parkflächenmarkierung mit einer L-Form;
6 ein Eckenelement einer Parkflächenmarkierung mit einer T-Form gemäß einer weiteren Ausführungsform;
7 ein Eckenelement einer Parkflächenmarkierung mit einer X-Form;
8 das Fahrzeug, in dessen Umgebungsbereich sich Parkflächenmarkierungen befinden sowie erfasste Eckenelemente der Parkflächenmarkierungen und Erfassungsbereiche der Kameras;
9 ein erfasstes Eckenelement, welches mit einer räumlichen Unsicherheit definiert wird; und
10 ein erfasstes Linienelement, welches mit einem Startpunkt, einem Endpunkt sowie einem Basispunkt definiert wird.

In den Figuren werden gleiche oder funktionsgleiche Elemente mit den gleichen Bezugszeichen versehen.
1 zeigt ein Fahrzeug 1, welches vorliegend als Personenkraftwagen ausgebildet ist, in einer Draufsicht. Das Fahrzeug 1 umfasst ein Fahrassistenzsystem 2, welches dazu eingerichtet ist, einen Fahrer oder Benutzer des Fahrzeugs 1 beim Führen des Fahrzeugs 1 zu unterstützen. Insbesondere dient das Fahrassistenzsystem 2 dazu, einen Fahrer beziehungsweise Benutzer beim Einparken des Fahrzeugs 1 in einem Parkbereich 9 zu unterstützen.
Das Fahrassistenzsystem 2 weist eine elektronische Recheneinrichtung 3 auf, die beispielsweise durch ein elektronisches Steuergerät des Fahrzeugs 1 gebildet sein kann. Darüber hinaus umfasst das Fahrassistenzsystem 2 zumindest eine Kamera 4. In dem vorliegenden Ausführungsbeispiel umfasst das Fahrassistenzsystem 2 vier Kameras 4, die verteilt an dem Fahrzeug 1 angeordnet sind. Vorliegend ist eine der Kameras 4 an einem Frontbereich 7, eine der Kameras 4 an einem Heckbereich 5 und die übrigen zwei Kameras 4 an jeweiligen Seitenbereichen 6 des Fahrzeugs 1 angeordnet. Die Anzahl und Anordnung der Kameras 4 des Fahrassistenzsystems 2 ist vorliegend rein beispielhaft zu verstehen. Die vier Kameras 4 sind bevorzugt baugleich ausgebildet.
Mit den Kameras 4 kann ein Umgebungsbereich 8 des Fahrzeugs 1 erfasst werden. Insbesondere kann eine Bildsequenz oder es können Videodaten mit den Kameras 4 bereitgestellt werden, welche den Umgebungsbereich 8 beschreiben. Diese Bilddaten beziehungsweise Bilder können dann von den jeweiligen Kameras 4 an die Recheneinrichtung 3 übertragen werden. Hierzu sind die Kameras 4 und die Recheneinrichtung 3 zur Datenübertragung beziehungsweise zur Übertragung der Bilder verbunden. Mit der Recheneinrichtung 3 können dann in den Bildern entsprechende Merkmale erkannt werden. Vorliegend ist es vorgesehen, dass mit den Bildern entsprechende Parkflächenmarkierungen 10 erkannt werden.
2 zeigt ein schematisches Ablaufdiagramm eines Verfahrens zum Manövrieren beziehungsweise Parken des Fahrzeugs 1 in einem Parkbereich 9. Dabei werden beispielhaft mit der Kamera 4 entsprechende Bilder bereitgestellt, welche den Umgebungsbereich 8 beschreiben. In den Bildern werden dann die Parkflächenmarkierungen 10 erkannt. Hierzu kann beispielsweise eine entsprechende Merkmalsextraktion durchgeführt werden (Schritt S1). Im Anschluss daran wird in einem Schritt S2 eine digitale Umgebungskarte bereitgestellt, welche den Umgebungsbereich 8 beschreibt. In einem Schritt S3 kann dann das Fahrzeug zu dem Parkbereich 9 manövriert werden, der durch die erkannten Parkflächenmarkierungen 10 begrenzt wird. Dies kann auch als Linienparken bezeichnet werden.
3 zeigt das Fahrzeug 1, in dessen Umgebungsbereich 8 sich eine Mehrzahl von Parkbereichen 9 befindet. Diese Darstellung dient der Verdeutlichung von unterschiedlichen bekannten Parkflächenmarkierungen 10. Auf den Parkbereichen 9 ist beispielhaft jeweils ein Fahrzeug 11 abgestellt. Dabei sind den jeweiligen Parkbereichen 9 unterschiedliche Parkflächenmarkierungen 10 zugeordnet. Die jeweiligen Parkflächenmarkierungen 10 weisen jeweils Ecken 12 auf, welche eine Grenze der jeweiligen Parkflächenmarkierungen 10 darstellen. Zudem weisen die Parkflächenmarkierungen 10 Verbindungslinien 13 auf, welche an die Ecken 12 angrenzen. Hierbei ist zu erkennen, dass die Parkflächenmarkierungen 10 im Bereich der Ecken 12 I-förmig, T-förmig, L-förmig oder X-förmig ausgebildet sein können. Die jeweiligen Verbindungslinien 13 können als durchgehende Linie, als unterbrochene Linie oder als Doppellinie ausgebildet sein. Diese unterschiedlichen Typen von Parkflächenmarkierungen 10 sollen nun erkannt werden.
Hierzu ist zum einen vorgesehen, dass zunächst entsprechende Eckenelemente 14 bestimmt werden, welche entsprechende Linienabschnitte 15, 16 der Parkflächenmarkierungen 10 im Bereich der Ecken 12 beschreiben. In den 4 bis 7 sind unterschiedliche Eckenelemente 14 dargestellt, welche einen ersten Linienabschnitt 15 sowie einen zweiten Linienabschnitt 16 aufweisen. Dabei beschreibt 4 ein Eckenelement 14 mit T-förmigen Linienabschnitten 15, 16 und 5 zeigt ein Eckenelement 14 mit L-förmigen Linienabschnitten 15, 16. 6 zeigt ein Eckenelement 14 mit T-förmigen Linienabschnitten 15, 16 gemäß einer weiteren Ausführungsform. Hierbei weisen die Linienabschnitte 15, 16 einen von 90° verschiedenen Winkel zueinander auf. Derartige Eckenelemente sind beispielsweise bei Parkflächen, welche dem Schrägparken dienen, vorgesehen. Ferner zeigt 7 ein Eckenelement 14 mit X-förmigen Linienabschnitten 15, 16. Hierbei ist es einerseits vorgesehen, dass die Eckenelemente 14 als Repräsentation der Parkflächenmarkierungen 10 in die digitale Umgebungskarte eingetragen werden.
Für die Eckenelemente 14 kann zudem eine Orientierung beziehungsweise entsprechende Winkel α1, α2 bezüglich eines Koordinatensystems des Fahrzeugs 1 bestimmt werden. Hierbei beschreibt ein erster Winkel α1 eine Drehung des ersten Linienabschnitts 15 zu dem Koordinatensystem des Fahrzeugs 1 und der zweite Winkel α2 beschreibt eine Drehung des zweiten Linienabschnitts 16 zum Koordinatensystem des Fahrzeugs 1. Das Koordinatensystem des Fahrzeugs 1 umfasst eine x-Achse und eine y-Achse. Der Ursprung des Koordinatensystems ist dabei beispielhaft einem Mittelpunkt einer Hinterachse des Fahrzeugs 1 zugeordnet. Ferner verläuft die x-Achse entlang einer Längsrichtung des Fahrzeugs 1 und die y-Achse verläuft entlang einer Querrichtung des Fahrzeugs 1 (siehe 1).
Zusätzlich zu der Orientierung für die jeweiligen Eckenelemente 14 eine räumliche Unsicherheit bestimmt werden. Dabei kann eine räumliche Unsicherheit bezüglich des ersten Linienabschnitts 15 sowie des zweiten Linienabschnitts 16 definiert werden. Außerdem kann eine räumliche Unsicherheit bezüglich einer Orientierung beziehungsweise der Winkel α1, α2 definiert werden. Außerdem kann eine räumliche Unsicherheit bezüglich der Position des Eckenelements 14 definiert werden. Diese räumliche Unsicherheit kann durch eine entsprechende Fehlerellipse 17, so wie sie beispielsweise in 8 dargestellt ist, definiert werden.
9 zeigt das Fahrzeug 1 und beispielhaft drei Kameras 4 des Fahrzeugs 1. Hier sind entsprechende Erfassungsbereiche 18 der jeweiligen Kameras 4 dargestellt. Mit den Kameras 4 können Ecken 12 der Parkflächenmarkierung 10 erkannt werden, welche eine T-Form aufweisen. Zudem können Linienabschnitte 19 erfasst werden, welche sich an einer Grenze beziehungsweise an einem Ende des jeweiligen Erfassungsbereichs 18 befinden. Auch diese Linienabschnitte 19 werden als jeweilige Eckenelemente 14 erfasst.
10 zeigt ein Linienelement 20, welches als Repräsentation der Verbindungslinien 13 der Parkflächenmarkierung 10 in die digitale Karte eingetragen wird. Zur Definition des Linienelements 20 werden ein Startpunkt 21 sowie ein Endpunkt 22 definiert. Als Startpunkt 21 und als Endpunkt 22 können entsprechende Eckenelemente 14 verwendet werden. Darüber hinaus wird ein Basispunkt 23 verwendet, um das Linienelement 20 zu definieren. Bezüglich des Basispunkts 23 kann eine räumliche Unsicherheit bezüglich einer ersten Richtung 24 sowie einer zweiten Richtung 25 definiert werden. Ebenfalls kann eine räumliche Unsicherheit bezüglich eines Winkels α definiert werden. In diesem Fall kann auch eine Fehlerellipse zur Definition der räumlichen Unsicherheit herangezogen werden. Darüber hinaus kann ebenso für den Startpunkt 21 sowie den Endpunkt 22 eine räumliche Unsicherheit definiert werden. Insbesondere kann eine longitudinale räumliche Unsicherheit berücksichtigt werden. Dies ist vorliegend durch die Pfeile 26 veranschaulicht.
Unter Bezugnahme auf 9 kann die dort gezeigte Verbindungslinie 13, welche parallel zu der Fahrtrichtung des Fahrzeugs 1 verläuft, durch das linke T-förmige Eckenelement 14 als Startpunkt 21 sowie das T-förmige Eckenelement 14 rechts als Endpunkt 22 definiert werden. Die drei T-förmigen Eckenelemente 14 zwischen dem Startpunkt 21 und dem Endpunkt 22 können dann als Zwischenpunkte zur Definition des Linienelements 20 herangezogen werden.
Die zuvor beschriebenen Eckenelemente 14 sowie die Linienelemente 20 können in die digitale Umgebungskarte eingetragen werden. Anhand der Eckenelemente 14 und der Linienelemente 20 kann dann der Parkbereich 9 für das Fahrzeug 1 erkannt werden. Im Anschluss daran kann dann das Fahrzeug 1 zumindest semi-autonom mittels des Fahrassistenzsystems 2 zu dem erkannten Parkbereich 9 manövriert werden.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

DE 102015209147 A1 [0003]
DE 102012222497 A1 [0004]

Claims

Verfahren zum Erkennen eines Parkbereichs (9) für ein Fahrzeug (1) in einem Umgebungsbereich (8) des Fahrzeugs (1), bei welchem zumindest ein Bild des Umgebungsbereichs (8) von einer Kamera (4) des Fahrzeugs (1) empfangen wird, wobei das zumindest eine Bild eine Parkflächenmarkierung (10) des Parkbereichs (9) beschreibt, in dem zumindest einen Bild Elemente erkannt werden, welche die Parkflächenmarkierung (10) beschreiben, und zum Erkennen des Parkbereichs (9) die erkannten Elemente als Repräsentation in eine digitale Umgebungskarte eingetragen werden, wobei die digitale Umgebungskarte den Umgebungsbereich (8) beschreibt, dadurch gekennzeichnet, dass als die Elemente zumindest ein Eckenelement (14), welches zumindest einen Linienabschnitt (15, 16) der Parkflächenmarkierung (10) in einer Ecke (12) der Parkflächenmarkierung (10) beschreibt, und zumindest ein Linienelement (20), welches eine an eine Ecke (12) angrenzende Verbindungslinie (13) der Parkflächenmarkierung (10) beschreibt, erkannt werden und das zumindest eine erkannte Eckenelement (14) und das zumindest eine erkannte Linienelement (20) als separate Repräsentationen in die digitale Umgebungskarte eingetragen werden.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die Parkfläche (9) anhand des zumindest einen erkannten Eckenelements (14) und des zumindest einen erkannten Linienelements (20) in der digitalen Umgebungskarte erkannt wird.
Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass als das zumindest eine Eckenelement (14) der zumindest eine Linienabschnitt (15, 16) mit einer L-Form, einer T-Form, einer X-Form und/oder einer I-Form erfasst wird und das zumindest eine Eckenelement (14) die Form des zumindest einen Linienabschnitts (15, 16) beschreibt.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass eine Orientierung des zumindest einen Linienabschnitts (15, 16) der Parkflächenmarkierung (10) zu einem Koordinatensystem des Fahrzeugs (10) bestimmt wird.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass zu dem zumindest einen Eckenelement (14) eine räumliche Unsicherheit und/oder eine Existenzwahrscheinlichkeit bestimmt wird.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass als das zumindest einen Eckenelement (14) ein Linienabschnitt (19) der Parkflächenmarkierung (10) erkannt wird, welcher einer Grenze des zumindest einen Bilds zugeordnet ist.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass zum Bestimmen des zumindest einen Linienelements (20) ein Eckenelement (14) als Startpunkt (21) des Linienelements (20) und ein weiteres Eckenelement (14) als Endpunkt (22) des Linienelements (20) bestimmt werden.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass zum Bestimmen des zumindest einen Linienelements (20) ein Basispunkt (23) bestimmt wird, wobei eine räumliche Unsicherheit für den Basispunkt (23) und/oder eine Unsicherheit bezüglich einer Orientierung des Linienelements (20) an dem Basispunkt (23) bestimmt wird.
Verfahren nach Anspruch 7 oder 8, dadurch gekennzeichnet, dass zum Bestimmen des zumindest einen Linienelements (20) zumindest ein weiteres Eckenelement (14) als Zwischenpunkt bestimmt wird.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass in der digitalen Umgebungskarte Abmessungen des zumindest einen Linienelements (20) angepasst werden und/oder zumindest zwei erkannte Linienelemente (20) miteinander verbunden werden.
Recheneinrichtung (3) für ein Fahrassistenzsystem (2) eines Fahrzeugs (1), welche zum Durchführen eines Verfahrens nach einem der vorhergehenden Ansprüche ausgebildet ist.
Fahrassistenzsystem (2) mit einer Recheneinrichtung (3) nach Anspruch 11 und mit zumindest einer Kamera (4).
Computerprogrammprodukt mit Programmcodemitteln, welche in einem computerlesbaren Medium gespeichert sind, um ein Verfahren nach einem der Ansprüche 1 bis 10 durchzuführen, wenn das Computerprogrammprodukt auf einem Prozessor einer elektronischen Recheneinrichtung (3) abgearbeitet wird.
Computerlesbares Medium, insbesondere in Form einer computerlesbaren Diskette, CD, DVD, Speicherkarte, USB-Speichereinheit, oder ähnlichen, in dem Programmcodemittel gespeichert sind, um ein Verfahren nach einem der Ansprüche 1 bis 10 durchzuführen, wenn die Programmcodemittel in einen Speicher einer elektronischen Recheneinrichtung (3) geladen und auf einem Prozessor der elektronischen Recheneinrichtung (3) abgearbeitet werden.