DE102018113559A1 - Verfahren zum Erkennen einer Fahrbahnmarkierung durch Validieren anhand der Linienbreite; Steuereinrichtung; Stellplatzerkennungssystem; sowie Fahrerassistenzsystem - Google Patents

Verfahren zum Erkennen einer Fahrbahnmarkierung durch Validieren anhand der Linienbreite; Steuereinrichtung; Stellplatzerkennungssystem; sowie Fahrerassistenzsystem Download PDF

Info

Publication number
DE102018113559A1
DE102018113559A1 DE102018113559.9A DE102018113559A DE102018113559A1 DE 102018113559 A1 DE102018113559 A1 DE 102018113559A1 DE 102018113559 A DE102018113559 A DE 102018113559A DE 102018113559 A1 DE102018113559 A1 DE 102018113559A1
Authority
DE
Germany
Prior art keywords
lane marking
line width
potential
image
potential lane
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102018113559.9A
Other languages
English (en)
Inventor
Ciaran Hughes
Jose Cazalilla
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Connaught Electronics Ltd
Original Assignee
Connaught Electronics Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Connaught Electronics Ltd filed Critical Connaught Electronics Ltd
Priority to DE102018113559.9A priority Critical patent/DE102018113559A1/de
Publication of DE102018113559A1 publication Critical patent/DE102018113559A1/de
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/586Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of parking space

Abstract

Die Erfindung betrifft ein Verfahren zum Erkennen einer Fahrbahnmarkierung (2) für ein Fahrzeug (1). Um eine zuverlässige und sichere Erkennung von Fahrbahnmarkierungen (2), insbesondere für Fahrerassistenzsysteme und/oder ein Stellplatzerkennungssystem, zu ermöglichen, sind folgende Schritt vorgesehen:- Bereitstellen eines Bildes einer Umgebung (U) des Fahrzeugs (1),- Ermitteln einer potentiellen Fahrbahnmarkierung (4) in dem Bild der Umgebung (U),- Ermitteln einer Ausdehnung der potentiellen Fahrbahnmarkierung (4) quer zu einer Haupterstreckungsrichtung (22) der potentiellen Fahrbahnmarkierung (4) als Linienbreite (20) der potentiellen Fahrbahnmarkierung (4), und- Erkennen der Fahrbahnmarkierung (2) durch Validieren der potentiellen Fahrbahnmarkierung (4) als plausibel anhand deren Linienbreite (20).

Description

  • Die Erfindung betrifft ein Verfahren zum Erkennen einer Fahrbahnmarkierung aus einem Bild einer Umgebung eines Fahrzeugs. Die Erfindung betrifft außerdem eine Steuereinrichtung. Weitere Aspekte der Erfindung betreffen ein Stellplatzerkennungssystem, ein Fahrerassistenzsystem und ein Co mputerprog ram m produ kt.
  • Die Erkennung von Fahrbahnmarkierungen ist von großer Bedeutung für vielerlei unterschiedliche Fahrerassistenzsysteme. Ein Beispiel hierfür ist neben autonomen Fahrsystemen und Spurhalteassistenten beispielsweise ein System zum Erkennen von Stellplätzen beziehungsweise zum Erfassen eines Parkplatzes. Üblicherweise werden Fahrbahnmarkierungen anhand eines Bildes der Umgebung des Fahrzeugs erkannt. Beispielsweise wird das Bild der Umgebung aus einer Kamera des Fahrzeugs empfangen oder aus Rohbildern mehrerer Kameras des Fahrzeugs zusammengesetzt. Anschließend kann durch bekannte Algorithmen zur Bildauswertung die Fahrbahnmarkierung in dem Bild erkannt werden. Beispielsweise werden hierzu Bildgradienten über unterschiedliche Bereiche des Bildes gebildet und dann eine Fahrbahnmarkierung erkannt, wenn der Bildgradient einem vorbestimmten Muster entspricht.
  • Für eine korrekte Funktionsweise des Fahrerassistenzsystems beziehungsweise des Stellplatzerkennungssystems ist es notwendig, dass Fahrbahnmarkierungen zuverlässig und sicher erkannt werden. Durch falsch erkannte Fahrbahnmarkierungen kann die Funktionsfähigkeit eines Fahrerassistenzsystems beziehungsweise des Stellplatzerkennungssystems empfindlich gestört werden. Beispiele für falsch erkannte Fahrbahnmarkierungen sind so genannte falsch positiv erkannte Fahrbahnmarkierungen, welche auch im Deutschen als „false positives“ bezeichnet werden. So genannte falsch positiv erkannte Fahrbahnmarkierungen bezeichnen den Fall, dass in dem Bild der Umgebung eine Fahrbahnmarkierung erkannt wird, obwohl in der Umgebung real keine entsprechende Fahrbahnmarkierung vorhanden ist. Beispielsweise können Schatten von Objekten fälschlicherweise als Fahrbahnmarkierung erkannt werden.
  • Außerdem aus dem Stand der Technik bekannt ist ein Stellplatzerkennungssystem zum Erkennen eines Parkplatzes beziehungsweise eines Stellplatzes auf einem Parkplatz.
  • Insbesondere ist das Stellplatzerkennungssystem dazu ausgebildet, auf einem Parkplatz mit mehreren Stellplätzen Abmessungen, Position und Ausrichtung der Stellplätze zu erkennen. Alternativ oder zusätzlich kann das Stellplatzerkennungssystem dazu ausgebildet sein, einen Einparkvorgang des Fahrzeugs auf dem Stellplatz aktiv (beispielsweise durch Eingreifen in eine Fahrfunktion des Fahrzeugs) oder passiv (beispielsweise durch die Bereitstellung von Fahrhinweisen für einen Fahrer des Fahrzeugs) zu unterstützen.
  • Die vorliegende Anmeldung beschäftigt sich damit, eine zuverlässige und sichere Erkennung von Fahrbahnmarkierungen, insbesondere für Fahrerassistenzsysteme und/oder ein Stellplatzerkennungssystem zu ermöglichen. Konkret hat die vorliegende Erfindung zur Aufgabe, das Erkennen von Fahrbahnmarkierungen robuster gegenüber den so genannten falsch positiven Erkennungsfehlern zu machen.
  • Diese Aufgabe wird erfindungsgemäß gelöst durch die Gegenstände der unabhängigen Patentansprüche. Vorteilhafte Ausführungsformen mit zweckmäßigen Weiterbildungen sind Gegenstand der Unteransprüche.
  • Ein erster Aspekt der Erfindung geht aus von einem Verfahren zum Erkennen einer Fahrbahnmarkierung für ein Fahrzeug. Mit anderen Worten ist das Verfahren für die Anwendung in einem Fahrzeug vorgesehen. Im Zuge des Verfahrens wird zunächst ein Bild einer Umgebung des Fahrzeugs bereitgestellt. In dem Bild der Umgebung wird eine potentielle Fahrbahnmarkierung ermittelt. Insbesondere wird die potentielle Fahrbahnmarkierung gemäß einem beliebigen aus dem Stand der Technik bekannten Verfahren ermittelt. Ein Beispiel hierfür wurde eingangs erläutert. Anschließend wird eine Ausdehnung der potentiellen Fahrbahnmarkierung quer zu einer Haupterstreckungsrichtung der potentiellen Fahrbahnmarkierung als Linienbreite der potentiellen Fahrbahnmarkierung ermittelt. Als Haupterstreckungsrichtung der potentiellen Fahrbahnmarkierung gilt insbesondere die Richtung, in welcher die Fahrbahnmarkierung ihre größte Ausdehnung aufweist. Als weiteres Kriterium kann gelten, dass die Ausdehnung der potentiellen Fahrbahnmarkierung um einen vorbestimmten Faktor größer sein muss als die Ausdehnung der potentiellen Fahrbahnmarkierung in andere Raumrichtungen. In einem weiteren Schritt kann somit vor dem Ermitteln der Ausdehnung der potentiellen Fahrbahnmarkierung quer zu der Haupterstreckungsrichtung zunächst die Haupterstreckungsrichtung ermittelt werden. Beispielsweise wird die Haupterstreckungsrichtung ermittelt, indem überprüft wird, in welche Richtung die Fahrbahnmarkierung ihre größte Ausdehnung hat. Die Haupterstreckungsrichtung kann einen Linienverlauf der Fahrbahnmarkierung repräsentieren.
  • In einem weiteren Schritt wird nun die Fahrbahnmarkierung erkannt. Dies erfolgt durch Validieren der potentiellen Fahrbahnmarkierung anhand deren Linienbreite als plausibel, nur dann wenn sich die Linienbreite entlang der Haupterstreckungsrichtung höchstens um ein vorbestimmtes Maß verändert, wobei eine Mehrzahl an Werten für die Linienbreite entlang der Haupterstreckungsrichtung ermittelt wird, und die potentielle Fahrbahnmarkierung höchstens dann als plausibel validiert wird, wenn einzelne aus der Mehrzahl an Werten für die Linienbreite untereinander höchstens um ein vorbestimmtes Maß voneinander abweichen. Somit beruht die Erfindung auf der Idee, dass die potentielle Fahrbahnmarkierung, welche zunächst mit einem herkömmlichen Verfahren aus dem Bild der Umgebung ermittelt wird, validiert wird, bevor diese als tatsächliche Fahrbahnmarkierung erkannt wird beziehungsweise gilt. Erfindungsgemäß erfolgt diese Validierung der potentiellen Fahrbahnmarkierung anhand deren Linienbreite. Beispielsweise muss die Linienbreite der Fahrbahnmarkierung ein vorbestimmtes Kriterium erfüllen, damit die potentielle Fahrbahnmarkierung als plausibel validiert werden kann. Genügt die Linienbreite der potentiellen Fahrbahnmarkierung nicht dem vorbestimmten Kriterium, so kann die potentielle Fahrbahnmarkierung als falsch positiv erkannte Fahrbahnmarkierung gelten. Im Allgemeinen kann vorgesehen sein, dass die potentielle Fahrbahnmarkierung nur dann als Fahrbahnmarkierung erkannt wird, wenn die potentielle Fahrbahnmarkierung als plausibel validiert wird, wobei die Plausibilität anhand der Linienbreite überprüft wird. Kann die potentielle Fahrbahnmarkierung nicht als plausibel validiert werden beziehungsweise wird diese als unplausibel erkannt, so kann die potentielle Fahrbahnmarkierung als falsch positiv erkannte Fahrbahnmarkierung verworfen werden. Mit anderen Worten werden mittels eines herkömmlichen Verfahrens erkannte potentielle Fahrbahnmarkierungen einer Plausibilitätsprüfung unterzogen, um falsch positiv erkannte potentielle Fahrbahnmarkierungen auszufiltern.
  • Bei diesem Validieren der potentiellen Fahrbahnmarkierung anhand deren Linienbreite ist vorgesehen, dass die potentielle Fahrbahnmarkierung höchstens dann als plausibel validiert wird, wenn sich die Linienbreite entlang der Haupterstreckungsrichtung höchstens um ein vorbestimmtes Maß verändert. Mit anderen Worten wird überprüft, ob die Linienbreite der potentiellen Fahrbahnmarkierung zumindest innerhalb von durch das vorbestimmte Maß vorgegebener Grenzen konstant ist. Auf diese Weise kann dem Umstand Rechnung getragen werden, dass Fahrbahnmarkierungen üblicherweise über ihren Längsverlauf beziehungsweise entlang ihrer Haupterstreckungsrichtung eine konstante Linienbreite aufweisen. Somit kann die potentielle Fahrbahnmarkierung als unplausibel verworfen werden, wenn sich ihre Linienbreite entlang der Haupterstreckungsrichtung mehr als um das vorbestimmte Maß verändert. Dem gegenüber kann die potentielle Fahrbahnmarkierung als plausibel validiert werden, wenn die Veränderung ihrer Linienbreite entlang der Haupterstreckungsrichtung das vorbestimmte Maß nicht überschreitet. Hierdurch ist eine weitere verbesserte Erkennung von falsch positiv ermittelter potentieller Fahrbahnmarkierungen möglich.
  • Bei diesem Validieren der potentiellen Fahrbahnmarkierung anhand deren Linienbreite ist vorgesehen, dass eine Mehrzahl an Werten für die Linienbreite entlang der Haupterstreckungsrichtung ermittelt wird und die potentielle Fahrbahnmarkierung höchstens dann als plausibel validiert wird, wenn einzelne aus der Mehrzahl an Werten für die Linienbreite untereinander höchstens um ein vorbestimmtes Maß voneinander abweichen. Beispielsweise kann entlang der Haupterstreckungsrichtung in periodischen Abständen ein jeweiliger Wert für die Linienbreite als Teil der Mehrzahl an Werten für die Linienbreite ermittelt werden. Anschließend wird überprüft, ob die Mehrzahl an Werten für die Linienbreite untereinander höchstens um das vorbestimmte Maß voneinander abweicht. Auf diese Weise können potentielle Fahrbahnmarkierungen, deren Linienbreite sich entlang der Haupterstreckungsrichtung ermittelt, besonders vorteilhaft als plausibel oder unplausibel erkannt werden.
  • Im Sinne der vorliegenden Anmeldung bezeichnet das Wort „Bild“ insbesondere auch ein Bildsignal, beispielsweise ein digitales oder analoges Bildsignal oder ein Videosignal. Bei dem Bild kann es sich um ein einzelnes Bild, eine Bildfolge oder ein Bewegtbild, insbesondere ein Video, handeln.
  • Im Folgenden werden kurz zwei beispielhafte Verfahren erläutert, mit welchen die Linienbreite der potentiellen Fahrbahnmarkierung ermittelt werden kann: beispielsweise wird in dem Bild der Umgebung senkrecht zu der Haupterstreckungsrichtung ein Bildgradient über die Fahrbahnmarkierung hinweg gebildet. Zwei Maxima des Bildgradienten entlang einer Linie senkrecht zur der Haupterstreckungsrichtung über die potentielle Fahrbahnmarkierung hinweg, können als Randpunkte der potentiellen Fahrbahnmarkierung gelten. Der Abstand zwischen den beiden Maxima entlang einer solchen Linie quer zu der Haupterstreckungsrichtung kann als Linienbreite beziehungsweise als ein Wert für die Linienbreite ermittelt werden. Alternativ kann die Linienbreite anhand eines Binärbildes, welches aus dem Bild der Umgebung erzeugt wird, ermittelt werden. Die Erzeugung des Binärbildes wird im Folgenden noch genauer erläutert. In dem Binärbild können zwei Punkte, welche beide auf einer Linie senkrecht zu der Haupterstreckungsrichtung liegen, und in welchen ein erster Farbton in einen zweiten Farbton übergeht oder umgekehrt, als Randpunkte gelten. Der Abstand zwischen diesen beiden Randpunkten kann als Linienbreite beziehungsweise als Wert für die Linienbreite ermittelt werden.
  • Selbsterklärend muss im Rahmen des vorliegenden Verfahrens nicht eine gesamte Fahrbahnmarkierung beziehungsweise potentielle Fahrbahnmarkierung auf einmal verarbeitet werden. Beispielsweise wird durch das Bild der Umgebung nur ein Teil der Fahrbahnmarkierung abgebildet. Alternativ oder zusätzlich können nur Fahrbahnbereiche in einem bestimmten Bildausschnitt von Interesse sein. Daher ist es möglich, dass das Verfahren nicht für die gesamte Fahrbahnmarkierung sondern nur für Bruchstücke beziehungsweise Teile der Fahrbahnmarkierung durchgeführt wird. Der Einfachheit halber ist im Rahmen der vorliegenden Erfindung jedoch immer von „der Fahrbahnmarkierung“ beziehungsweise „der potentiellen Fahrbahnmarkierung“ die Rede, unerheblich ob hiermit die gesamte Fahrbahnmarkierung oder nur ein Teil der Fahrbahnmarkierung genannt ist.
  • Eine Weiterbildung sieht vor, dass das Bild der Umgebung aus mindestens einem Rohbild zumindest einer Kamera des Fahrzeugs erzeugt wird, wobei eine Perspektive des mindestens einen Rohbilds in eine Vogelperspektive überführt wird. Insbesondere kann die Erzeugung des Bilds der Umgebung anhand der Rohbilder der mehreren Kameras einem so genannten Surround-View-System nachempfunden sein. Die Überführung in die Vogelperspektive ist vorliegend besonders vorteilhaft, da in dieser keine perspektivische Verzerrung der Linienbreite auftritt. Vorteilhafter Weise ist die Vogelperspektive im Rahmen der vorliegenden Erfindung somit senkrecht zu einer Grundebene, beispielsweise einer Fahrbahn, auf welcher das Fahrzeug steht, ausgerichtet.
  • Eine Weiterbildung sieht vor, dass das Bild der Umgebung als Binärbild erzeugt wird. Alternativ oder zusätzlich kann in einem beliebigen Schritt des Verfahrens ein Binärbild aus dem Bild der Umgebung erzeugt werden. Das Binärbild ist insbesondere ein Bild, welches nur zwei unterschiedliche Farbtöne aufweist. Der Begriff „Farbtöne“ ist hierbei breit zu verstehen, insbesondere gelten auch Schwarz und Weiß als Farbtöne im Sinne des Binärbildes. Beim Erzeugen des Binärbildes wird jedem Pixel eines Ausgangsbilds nach einer vorbestimmten Vorschrift entweder ein erster Farbton oder ein zweiter Farbton zugeordnet. Durch geeignete Wahl der Parameter für die Erzeugung des Binärbildes kann eine potentielle Fahrbahnmarkierung in dem Bild der Umgebung beziehungsweise in dem Binärbild besonders gut hervorgehoben werden. Auf diese Weise ist eine erleichterte Ermittlung der Haupterstreckungsrichtung und/oder Ermittlung der Linienbreite möglich. Beispielsweise ist der erste Farbton Weiß und der zweite Farbton Schwarz.
  • Eine Weiterbildung sieht vor, dass die potentielle Fahrbahnmarkierung höchstens dann als plausibel validiert wird, wenn die Linienbreite einen ersten vorbestimmten Breitenwert überschreitet und/oder die Linienbreite einen zweiten vorbestimmten Breitenwert unterschreitet. Mit anderen Worten kann die potentielle Fahrbahnmarkierung zumindest teilweise auf Basis eines einfachen Breitenfilters validiert werden. Der erste vorbestimmte Breitenwert kann beispielsweise einen unteren Grenzwert für die Linienbreite angeben, wobei die potentielle Fahrbahnmarkierung als unplausibel gilt, wenn deren Linienbreite den ersten vorbestimmten Breitenwert unterschreitet. Alternativ oder zusätzlich kann der zweite vorbestimmte Breitenwert eine Obergrenze für die Linienbreite darstellen, wobei die potentielle Fahrbahnmarkierung als unplausibel gilt, wenn deren Linienbreite den zweiten vorbestimmten Breitenwert überschreitet. Mit anderen Worten kann vorgesehen sein, dass nur potentielle Fahrbahnmarkierungen, deren Linienbreite sich in dem Intervall zwischen dem erste und dem zweiten vorbestimmten Breitenwert befindet, als plausibel gelten. Dementsprechend kann vorgesehen sein, dass nur potentielle Fahrbahnmarkierungen, deren Linienbreite sich innerhalb dieses Intervalls befindet, als (tatsächliche) Fahrbahnmarkierungen erkannt werden. Der erste vorbestimmte Breitenwert und/oder der zweite vorbestimmte Breitenwert kann beispielsweise länderspezifisch vorgegeben werden und an übliche Linienbreiten von Fahrbahnmarkierungen in dem entsprechenden Land angepasst sein. Durch diese Art des Breitenfilters ist eine besonders einfache Möglichkeit gegeben, unplausible potentielle Fahrbahnmarkierungen auszufiltern.
  • Ob die Einzelnen aus der Mehrzahl an Werten für die Linienbreite untereinander höchstens um das vorbestimmte Maß voneinander abweichen kann beispielsweise anhand der Varianz der Mehrzahl an Werten für die Linienbreite überprüft werden. Beispielsweise wird eine Varianz der Mehrzahl an Werten für die Linienbreite ermittelt. Das vorbestimmte Maß, um welches die Mehrzahl an Werten für die Linienbreite untereinander höchstens abweichen darf, um als plausibel zu gelten, kann in diesem Fall durch einen vorbestimmten Grenzwert durch die Varianz gegeben sein. Mit anderen Worten wird eine Varianz der Mehrzahl an Werten für die Linienbreite ermittelt, wobei das vorbestimmte Maß durch einen vorbestimmten Grenzwert für die Varianz gegeben ist. In diesem Fall kann die potentielle Fahrbahnmarkierung höchstens dann als plausibel validiert werden, wenn die Varianz der Mehrzahl an Werten für die Linienbreite den vorbestimmten Grenzwert für die Varianz nicht überschreitet. Durch die Varianz ist ein besonders einfaches Maß gegeben, um die Abweichung der Mehrzahl an Werten für die Linienbreite untereinander zu ermitteln.
  • Ist das Bild der Umgebung beziehungsweise sind Ränder der potentiellen Fahrbahnmarkierung in dem Bild der Umgebung stark verrauscht, so kann sich auch im Fall einer konstanten Linienbreite der potentiellen Fahrbahnmarkierung eine hohe Varianz für die Mehrzahl an Werten für die Linienbreite ergeben. Insbesondere im Falle stark verrauschter Bilder ist es daher vorteilhaft, eine Ausgleichsrechnung für die Mehrzahl an Werten für die Linienbreite durchzuführen. Demgemäß ist in einer Weiterbildung vorgesehen, dass eine Ausgleichsgerade an die Mehrzahl an Werten für die Linienbreite angepasst wird. Eine Steigung der Ausgleichsgeraden kann dann als Maß für das Abweichen der Mehrzahl an Werten für die Linienbreite untereinander ermittelt werden. Beispielsweise wird als Basis für die Ausgleichsgerade virtuell ein mathematischer Graph erzeugt, in welchem eine x-Achse den Längsverlauf der potentiellen Fahrbahnmarkierung entlang der Haupterstreckungsrichtung repräsentiert und eine y-Achse die jeweiligen Werte für die Linienbreite repräsentiert. Selbstverständlich ist eine tatsächliche Erzeugung eines solchen mathematischen Graphen nicht nötig, eine gleichartige Auswertung ist auch ohne das Bilden des mathematischen Graphen möglich und daher auch Teil der vorliegenden Erfindung. Die Steigung der Ausgleichsgeraden repräsentiert eine Veränderung der Linienbreite entlang der Haupterstreckungsrichtung der potentiellen Fahrbahnmarkierung. Beispielsweise bedeutet eine Steigung der Ausgleichsgeraden von Null, dass die Linienbreite entlang der Haupterstreckungsrichtung konstant ist. Die Steigung der Ausgleichsgeraden kann gewissermaßen als „Divergenz“ der Fahrbahnmarkierung angesehen werden.
  • Die Ausgleichsgerade kann beispielsweise mit Hilfe der so genannten Methode der kleinsten Quadrate durchgeführt werden. Auf diese Weise repräsentiert die Ausgleichsgerade den Verlauf der einzelnen Werte aus der Mehrzahl an Werten für die Linienbreite besonders gut. Um eine Anfälligkeit der Methode der kleinsten Quadrate gegenüber Pixelfehlern und daraus resultierenden stark abweichenden Ausreissern in der Mehrzahl an Werten für die Linienbreite zu verringern, kann zusätzlich der so genannte RANSAC-Algorithmus angewandt werden. RANSAC steht dabei für random sample consensus, zu Deutsch etwa „Übereinstimmung mit einer zufälligen Stichprobe“. Dabei handelt es sich um ein Verfahren, um Ausreißer und grobe Fehler aus einer Anzahl an Messwerten auszufiltern. Somit kann zum Aufstellen der Ausgleichsgerade zunächst der RANSAC-Algorithmus und anschließend die Methode der kleinsten Quadrate angewandt werden.
  • Für die Steigung der Ausgleichsgeraden kann beispielsweise ein vorbestimmtes Intervall vorgegeben sein. Beispielsweise ist vorgesehen, dass die potentielle Fahrbahnmarkierung höchstens dann als plausibel validiert wird, wenn sich die Steigung der Ausgleichsgeraden innerhalb des vorbestimmten Intervalls befindet. Dementsprechend kann vorgesehen sein, dass die potentielle Fahrbahnmarkierung nur dann als (tatsächliche) Fahrbahnmarkierung erkannt wird, wenn sich die Steigung der für sie gebildeten Ausgleichsgeraden innerhalb des vorbestimmten Intervalls befindet. Demgegenüber kann die potentielle Fahrbahnmarkierung als unplausibel verworfen werden, wenn sich die Steigung der für sie gebildeten Ausgleichsgeraden außerhalb des vorbestimmten Intervalls befindet.
  • Alternativ oder zusätzlich kann gemäß einer anderen Weiterbildung an beiden Flanken der potentiellen Fahrbahnmarkierung entlang der Haupterstreckungsrichtung jeweils eine Mehrzahl an Randpunkten für die potentielle Fahrbahnmarkierung ermittelt werden. Anschließend kann anhand der beiden Mehrzahlen an Randpunkten ermittelt werden, ob sich die Linienbreite entlang der Haupterstreckungsrichtung der potentiellen Fahrbahnmarkierung verändert. Die Randpunkte können analog zu den Werten für die Linienbreite durch Ermitteln des Punktes mit dem größten Bildgradienten senkrecht zu der Haupterstreckungsrichtung ermittelt werden. Alternativ können die Randpunkte, ebenfalls analog zu den Werten für die Linienbreite, durch die Grenze zwischen dem ersten Farbewert und dem zweiten Farbwert in dem Binärbild vorgegeben sein. Insbesondere entspricht der Abstand zweier Randpunkte auf selber Höhe der Haupterstreckungsrichtung einem Wert für die Linienbreite.
  • In weiterer Ausgestaltung kann vorgesehen sein, dass an beiden Flanken der potentiellen Fahrbahnmarkierung eine jeweilige Ausgleichsgerade durch die jeweilige Mehrzahl an Randpunkten für die potentielle Fahrbahnmarkierung gelegt wird und als jeweiliger Rand der Fahrbahnmarkierung angenommen wird. Die beiden Ausgleichsgeraden an den beiden Flanken der potentiellen Fahrbahnmarkierung können dabei analog zu der Ausgleichsgerade, welche an die Mehrzahl an Werten für die Linienbreite angepasst wird, an die jeweiligen Randpunkte der jeweiligen Flanke angepasst werden. Daher wird das Anpassen der Ausgleichsgeraden hier nicht erneut erklärt. Mit anderen Worten wird durch die beiden Ausgleichsgeraden an den Flanken der potentiellen Fahrbahnmarkierung der jeweilige Rand der Fahrbahnmarkierung ermittelt. Auf diese Weise kann der Rand der Fahrbahnmarkierung auch in einem verrauschten Bild oder in einem Bild geringer Auflösung sicher ermittelt werden. Insbesondere kann vorgesehen sein, dass die potentielle Fahrbahnmarkierung höchstens dann als plausibel validiert wird, wenn die beiden Ränder der Fahrbahnmarkierung höchstens um ein vorbestimmtes Maß von einem parallelen Verlauf zueinander abweichen. Mit anderen Worten wird überprüft, ob die Ränder der Fahrbahnmarkierung zumindest annähernd parallel zueinander verlaufen. Ist dies nicht der Fall, so kann die potentielle Fahrbahnmarkierung als unplausibel verworfen werden. Auf diese Weise ist eine alternative Möglichkeit bereitgestellt, mit welcher überprüft werden kann, ob die Linienbreite der potentiellen Fahrbahnmarkierung entlang der Haupterstreckungsrichtung konstant ist.
  • Die Haupterstreckungsrichtung der potentiellen Fahrbahnmarkierung kann mittels eines Skelettierungsverfahrens ermittelt werden. Beispielsweise kann hierzu die potentielle Fahrbahnmarkierung, auch ausschnittsweise, einem Skelettierungsalgorithmus unterworfen werden. Beispiele für Skelettierungsalgorithmen sind beispielsweise die Fuzzy-Skelettierung und die Zhang-Suen-Skelettierung. Ein auf diese Weise erhaltenes Skelett der potentiellen Fahrbahnmarkierung kann als die Haupterstreckungsrichtung definiert werden.
  • Eine Weiterbildung sieht vor, dass das Validieren der potentiellen Fahrbahnmarkierung mithilfe einer Stützvektormaschine erfolgt. Eine Stützvektormaschine wird auch im Deutschen häufig als „Support Vector Maschine“ bezeichnet. In einer solchen Stützvektormaschine können insbesondere mehrere der oben genannten Ausführungsformen kombiniert werden. Beispielsweise kann der Breitenfilter, die Ermittlung der Varianz über die Mehrzahl an Werten für die Linienbreite sowie die Auswertung von Ausgleichsgeraden, entweder für die Werte der Linienbreite und/oder für die Ränder der Fahrbahnmarkierung, miteinander kombiniert werden. Abhängigkeiten zwischen den unterschiedlichen Auswertungsmethoden können durch die Stützvektormaschine auf der Basis von Trainingsdaten automatisch ermittelt werden. Somit kann mittels einer Support Vector Maschine die zuverlässige Erkennung von Fahrbahnmarkierungen noch weiter verbessert werden.
  • Nachdem die Fahrbahnmarkierung als plausibel validiert ist, kann anhand der validierten Fahrbahnmarkierung eine Position eines Stellplatzes in dem Bild der Umgebung erkannt werden. Mit anderen Worten wird die validierte Fahrbahnmarkierung zum Ermitteln der Position eines Stellplatzes herangezogen. Insbesondere können anhand der validierten Fahrbahnmarkierung beziehungsweise mehrerer validierter Fahrbahnmarkierungen für mehrere Stellplätze eines Parkplatzes die jeweiligen Positionen der Stellplätze erkannt werden. Dadurch dass die potentiellen Fahrbahnmarkierungen zunächst validiert werden, ist eine große Zuverlässigkeit für die Erkennung des Stellplatzes gewährleistet.
  • Ein zweiter Aspekt der Erfindung betrifft eine Steuereinrichtung zum Erkennen einer Fahrbahnmarkierung für ein Fahrzeug, mit einer Empfangseinheit zum Empfangen eines Bildes einer Umgebung des Fahrzeugs und einer Recheneinheit zum Ermitteln einer potentiellen Fahrbahnmarkierung in dem Bild der Umgebung, sowie zum Ermitteln einer Ausdehnung der potentiellen Fahrbahnmarkierung quer zu einer Haupterstreckungsrichtung der potentiellen Fahrbahnmarkierung als Linienbreite der potentiellen Fahrbahnmarkierung und zum Erkennen der Fahrbahnmarkierung durch Validieren der potentiellen Fahrbahnmarkierung als plausibel anhand deren Linienbreite. Insbesondere ist die Steuereinrichtung dazu ausgebildet, ein Verfahren zum Erkennen einer Fahrbahnmarkierung nach einer oder mehrere im vorherigen beschriebenen Ausführungsformen auszuführen. Die Steuereinrichtung kann dazu ausgebildet sein, Programmcodemittel eines im Folgenden beschriebenen Computerprogrammprodukts abzuarbeiten.
  • Ein dritter Aspekt der Erfindung betrifft ein Stellplatzerkennungssystem zum Erkennen eines Parkplatzes mit zumindest einer Kamera zum Erfassen eines Bilds der Umgebung sowie einer Steuereinrichtung der oben genannten Art. Das Stellplatzerkennungssystem kann weiterhin dazu ausgebildet sein, einen oder mehrere Stellplätze des Parkplatzes anhand der Fahrbahnmarkierung zu erkennen. Vorzugsweise ist das Stellplatzerkennungssystem weiterhin dazu ausgebildet, zu erkennen, ob erkannte Stellplätze frei oder belegt sind. In weiterer Ausgestaltung kann das Stellplatzerkennungssystem dazu ausgebildet sein, bei einem Einparkvorgang des Fahrzeugs zu assistieren. Zum Assistieren des Einparkvorgangs kann das Stellplatzerkennungssystem beispielsweise eine Fahrfunktion (Lenkung, Gas oder Bremse) des Fahrzeugs steuern und/oder Fahrerhinweise für einen Fahrer des Fahrzeugs ausgeben.
  • Außerdem gehört zu der Erfindung ein Fahrerassistenzsystem zum Erkennen einer Fahrbahnmarkierung, welches dazu ausgebildet ist, ein Verfahren nach einer oder mehrerer der oben beschriebenen Ausführungsformen durchzuführen. Das Fahrerassistenzsystem kann beispielsweise als Spurhalteassistent oder Assistent zum autonomen Steuern eines Fahrzeugs ausgeführt sein. Das erfindungsgemäße Fahrerassistenzsystem kann die erfindungsgemäße Steuereinrichtung umfassen.
  • Außerdem umfasst die Erfindung ein Fahrzeug, insbesondere ein Kraftfahrzeug, mit dem oben genannten Stellplatzerkennungssystem und/oder dem oben genannten Fahrerassistenzsystem. Vorzugsweise ist das Fahrzeug als Kraftwagen, beispielsweise als Personenkraftwagen oder Lastkraftwagen, ausgeführt.
  • Ein weiterer Aspekt der Erfindung betrifft ein Computerprogrammprodukt mit Programmcodemitteln, welche in einem computerlesbaren Medium gespeichert sind, um das Verfahren zum Erkennen einer Fahrbahnmarkierung der oben beschriebenen Art durchzuführen, wenn das Computerprogrammprodukt auf einem Prozessor einer elektronischen Steuereinrichtung abgearbeitet wird. Dementsprechend gehört zur Erfindung außerdem ein computerlesbares Medium, auf welchem ein solches Computerprogrammprodukt gespeichert ist.
  • Vorteilhafte Ausführungsformen und Weiterbildungen des oben genannten Verfahrens gelten analog auch für die erfindungsgemäße Steuereinrichtung, das erfindungsgemäße Computerprogrammprodukt, das erfindungsgemäße Fahrerassistenzsystem und das erfindungsgemäße Stellplatzerkennungssystem weiter und umgekehrt. Aus diesem Grund sind Weiterbildungen und Merkmale sowie deren Vorteile, welche bereits im Rahmen des erfindungsgemäßen Verfahrens offenbart wurden, für die erfindungsgemäßen Steuereinheit und der erfindungsgemäße Kameraeinrichtung an dieser Stelle nicht erneut offenbart.
  • Weitere Merkmale der Erfindung ergeben sich aus den Ansprüchen, den Figuren und der Figurenbeschreibung. Die vorstehend in der Beschreibung genannten Merkmale und Merkmalskombinationen sowie die nachfolgend in der Figurenbeschreibung genannten und/oder in den Figuren alleine gezeigten Merkmale und Merkmalskombinationen sind nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen verwendbar, ohne den Rahmen der Erfindung zu verlassen. Es sind somit auch Ausführungen von der Erfindung als umfasst und offenbart anzusehen, die in den Figuren nicht explizit gezeigt und erläutert sind, jedoch durch separierte Merkmalskombinationen aus den erläuterten Ausführungen hervorgehen und erzeugbar sind. Es sind auch Ausführungen und Merkmalskombinationen als offenbart anzusehen, die somit nicht alle Merkmale eines ursprünglich formulierten unabhängigen Anspruchs aufweisen. Es sind darüber hinaus Ausführungen und Merkmalskombinationen, insbesondere durch die oben dargelegten Ausführungen, als offenbart anzusehen, die über die in den Rückbezügen der Ansprüche dargelegten Merkmalskombinationen hinausgehen oder abweichen.
  • Dabei zeigen:
    • 1 ein Fahrzeug mit einem Stellplatzerkennungssystem und eine Fahrbahnmarkierung in einer schematischen Draufsicht;
    • 2 die Fahrbahnmarkierung aus 1 in einer größeren Ansicht;
    • 3 2 als schematisches Binärbild;
    • 4 einen beispielhaften Verlauf eines Gradienten quer zu einer Haupterstreckungsrichtung der Fahrbahnmarkierung; und
    • 5 eine beispielhafte Ausgleichsgerade über eine Mehrzahl an Werten für die Linienbreite.
  • 1 zeigt in einer schematischen Draufsicht ein Fahrzeug 1 mit einem Stellplatzerkennungssystem 8 und einem Fahrerassistenzsystem 9. Das Stellplatzerkennungssystem 8 umfasst mindestens eine Kamera 3, vorliegend vier Kameras 3. Eine erste der Kameras 3 ist in einem bezogen auf das Fahrzeug 1 vorderen Bereich des Fahrzeugs 1 an diesem angeordnet. Eine zweite der Kameras 3 ist in einem bezogen auf das Fahrzeug 1 hinteren Teil des Fahrzeugs 1 an diesem angeordnet. Beispielsweise kann die erste der Kameras 3 im Bereich eines Kühlergrills oder hinter einer Windschutzscheibe des Fahrzeugs 1 angeordnet sein. Beispielsweise kann die zweite der Kameras 3 an einem Heck beispielsweise im Bereich eines Nummernschildträgers oder eines Kofferraumdeckels des Fahrzeugs 1 angeordnet sein. Eine dritte und eine vierte der Kameras 3 sind an einem jeweiligen Seitenspiegel 10 des Fahrzeugs 1 angeordnet. Vorliegend ist die dritte der Kameras 3 an einem bezogen auf das Fahrzeug 1 linken Außenspiegel des Fahrzeugs 1 angeordnet und die vierte der Kameras 3 auf einem bezogen auf das Fahrzeug 1 rechten Außenspiegel 10 des Fahrzeugs 1 angeordnet. Ein Erfassungsbereich 16 der ersten der Kameras 3 kann bezogen auf das Fahrzeug 1 nach vorne ausgerichtet sein. Ein Erfassungsbereich 17 der zweiten der Kameras 3 kann bezogen auf das Fahrzeug 1 nach hinten ausgerichtet sein. Erfassungsbereiche 18, 19 der dritten und vierten der Kameras 3 können bezogen auf das Fahrzeug 1 seitwärts insbesondere nach links und nach rechts, ausgerichtet sein. Die Erfassungsbereiche 16, 17, 18, 19 sind jeweils Teilbereiche einer Umgebung U des Fahrzeugs 1.
  • In 1 ist außerdem eine Fahrbahnmarkierung 2 in der Umgebung U des Fahrzeugs 1 dargestellt. Durch die Fahrbahnmarkierung 2 und weitere Fahrbahnmarkierungen 29 ist vorliegend ein Stellplatz 28 gekennzeichnet. Bei der Fahrbahnmarkierung 2 und den weiteren Fahrbahnmarkierungen 29 handelt es sich insbesondere um Linien, welche auf einen Fahrbahnbelag aufgemalt sind. Die Linien, welche die Fahrbahnmarkierung 2 und die weiteren Fahrbahnmarkierungen 29 bilden, können beispielsweise weiß oder gelb sein. Das Stellplatzerkennungssystem 8 ist dazu ausgebildet, den Stellplatz 28 anhand der Fahrbahnmarkierungen 2, 29 zu erkennen. Um eine sichere und zuverlässige Erkennung des Stellplatzes 28 zu gewährleisten, ist wiederum eine zuverlässige Erkennung der Fahrbahnmarkierungen 2, 29 nötig. Im Folgenden wird die Erkennung der Fahrbahnmarkierung 2 genauer erläutert.
  • 2 zeigt die Fahrbahnmarkierung 2 bereichsweise vergrößert. Zunächst wird die Fahrbahnmarkierung 2 durch die Kameras 3 erfasst. Aus jeweiligen Rohbildern der Kameras 3 wird ein Bild der Umgebung U des Fahrzeugs 1 erzeugt. In diesem Bild der Umgebung U ist die Umgebung U des Fahrzeugs 1 aus einer Vogelperspektive dargestellt. Somit wird die Fahrbahnmarkierung 2 in dem Bild der Umgebung U senkrecht von oben dargestellt. In der 2 ist außerdem ein Koordinatensystem x, y eingezeichnet, welches in Bezug zu der 4 und der 5 steht.
  • In dem Bild der Umgebung U wird die Fahrbahnmarkierung 2 als potentielle Fahrbahnmarkierung 4 ermittelt. Beispielsweise ist durch die Darstellung der Fahrbahnmarkierung 2 in dem Bild der Umgebung U ein Muster in dem Bild der Umgebung U enthalten, welches einem vorbestimmten Muster für eine potentielle Fahrbahnmarkierung 4 entspricht. Mit anderen Worten kann die potentielle Fahrbahnmarkierung 4 in dem Bild der Umgebung U durch eine Mustererkennung erkannt werden, welche potentielle Fahrbahnmarkierungen 4 anhand eines für Fahrbahnmarkierungen 2, 19 spezifischen Musters erkennt. Beispielsweise wird zum Erkennen der potentiellen Fahrbahnmarkierung 4 ein Bildgradient G in dem Bild der Umgebung ausgewertet. Durch Erkennen des vorbestimmten Musters in dem Bildgradienten G, kann die potentielle Fahrbahnmarkierung 4 erkannt werden.
  • Diese potentielle Fahrbahnmarkierung 4 muss in einem weiteren Schritt als plausibel validiert werden. Vorliegend wird die potentielle Fahrbahnmarkierung 4 anhand ihrer Linienbreite 20 plausibilisiert. Die Linienbreite 20 repräsentiert eine Ausdehnung der potentiellen Fahrbahnmarkierung 4 quer zu ihrer Haupterstreckungsrichtung 22. Somit kann vorgesehen sein, dass zunächst in einem weiteren Schritt die Haupterstreckungsrichtung 22 der potentiellen Fahrbahnmarkierung 4 ermittelt wird. Beispielsweise wird die potentielle Fahrbahnmarkierung 4 mittels eines Skelettierungsverfahrens ermittelt. In diesem Fall kann ein Skelett der potentiellen Fahrbahnmarkierung 4 als die Haupterstreckungsrichtung 22 definiert werden.
  • Anschließend wird die Ausdehnung der potentiellen Fahrbahnmarkierung 4 quer zu der Haupterstreckungsrichtung 22, also die Linienbreite 20, ermittelt. Hierzu kann beispielsweise entlang senkrecht zu der Haupterstreckungsrichtung 22 ausgerichteter Geraden 23 der Bildgradient 6 ausgewertet werden. 4 zeigt diesen Bildgradienten G beispielhaft entlang einer der Geraden 23 in 2. Hierbei werden zwei Extremwerte des Bildgradienten als Randpunkte 24 der potentiellen Fahrbahnmarkierung 4 erfasst. Der Abstand zwischen diesen beiden Randpunkten 24 auf derselben Geraden 23 kann als ein Wert 21 für die Linienbreite erfasst werden. Vorliegend wird eine Mehrzahl an Werten 21 für die Linienbreite 20 erfasst. Wie aus 2 ersichtlich ist, erfolgt dies vorliegend in bestimmten Abständen 34 längs zu der Haupterstreckungsrichtung 22. Mit anderen Worten wird in einem jeweiligen Abstand 34 zueinander ein jeweiliger Wert 21 für die Linienbreite 20 ermittelt. Vorliegend werden beispielhaft Werte in Positionen x1, x2, und x3 entlang der Haupterstreckungsrichtung beziehungsweise entlang der x-Richtung gemäß 2 ermittelt. Die Abstände 34 können zufällig gewählt sein, fest vorgegeben sein oder im Rahmen des Verfahrens vorgebbar sein. Die Abstände 34 können gleich sein oder sich untereinander unterscheiden.
  • Alternativ können die Werte 21 für die Linienbreite beziehungsweise die Randpunkte 24 in einem Binärbild 3 der Umgebung U ermittelt werden. 3 zeigt dasselbe Bild wie 2 umgewandelt in ein Binärbild 32. In dem Binärbild 32 ist jedem Pixel einer von zwei Farbwerten zugeordnet. Beispielsweise können die Farbwerte des Binärbilds 32 schwarz und weiß sein. Beispielsweise kann Bereichen 30 ein erster Farbwert, insbesondere schwarz, zugeordnet werden. Außerdem kann einem Bereich 31 ein zweiter Farbwert, insbesondere weiß, zugeordnet werden. Durch geschickte Wahl der Zuordnungsvorschrift zum Zuordnen der Farbwerte, kann das Binärbild 32 derart erzeugt werden, dass der Bereich 31 die potentielle Fahrbahnmarkierung 4 repräsentiert. Mit anderen Worten kann der Bereich 31 Ausmaße und Position der potentiellen Fahrbahnmarkierung 4 repräsentieren. Die Randpunkte 24 sind dann durch Grenzen zwischen den Bereichen 30 und 31 festgelegt. Anschließend können auch in dem Binärbild 32 Werte 21 für die Linienbreite 20 ermittelt werden, indem der Abstand zwischen zwei Randpunkten 24, welche beide auf einer gemeinsamen Geraden 23 liegen, welche senkrecht zu der Haupterstreckungsrichtung 22 ausgerichtet ist, ermittelt wird.
  • Ränder 26 der potentiellen Fahrbahnmarkierung 4 können ermittelt werden, indem durch die jeweiligen Randpunkte 24 einer Flanke 34 der potentiellen Fahrbahnmarkierung 4 eine jeweilige Ausgleichsgerade gelegt wird. Mit anderen Worten können die Ränder 26 durch Anpassen einer jeweiligen Ausgleichsgeraden an die jeweiligen Randpunkte 24 der Flanken 34 ermittelt werden. In diesem Fall kann die potentielle Fahrbahnmarkierung 4 als unplausibel verworfen werden, wenn die beiden Ränder 26 der potentiellen Fahrbahnmarkierung 4 um mehr als ein vorbestimmtes Maß von einem parallelen Verlauf zueinander abweichen. Mit anderen Worten wird ermittelt, ob die beiden Ränder 26 zumindest annähernd parallel zueinander verlaufen, um die Validierung der potentiellen Fahrbahnmarkierung 4 als plausibel durchzuführen.
  • Eine andere Methode die potentielle Fahrbahnmarkierung 4 als plausibel zu validieren, zeigt 5. Darin sind mehrere Werte 21 für die Linienbreite 20 entlang der x-Achse aus 2 aufgetragen. Die x-Achse verläuft parallel zu der Haupterstreckungsrichtung 22 der potentiellen Fahrbahnmarkierung 4. Gemäß 5 wird an die Werte 21 für die Linienbreite 20 eine Ausgleichsgerade 27 angepasst. Für die Ausgleichsgerade 27 kann dann eine Steigung bestimmt werden. Diese Steigung der Ausgleichsgeraden 27 ist dann ein Maß für eine Änderung der Linienbreite 20 entlang der Haupterstreckungsrichtung 22. Mit anderen Worten bedeutet das, wenn die Steigung der Ausgleichsgeraden 27 Null ist, weist die potentielle Fahrbahnmarkierung 4 eine konstante Linienbreite 20 auf. Beispielsweise ist vorgesehen, dass die potentielle Fahrbahnmarkierung 4 als plausibel validiert und als tatsächliche Fahrbahnmarkierung 2 erkannt wird, wenn die Steigung der Ausgleichsgeraden 27 höchstens um ein vorbestimmtes Maß von Null abweicht. Beispielsweise kann das vorbestimmte Maß durch ein Intervall gegeben sein, innerhalb welchem sich die Steigung der Ausgleichsgeraden 27 befinden darf. Befindet sich die Steigung der Ausgleichsgeraden 27 außerhalb des Intervalls beziehungsweise weist die Steigung der Ausgleichsgeraden 27 mehr als das vorbestimmte Maß von dem Wert Null ab, so kann die potentielle Fahrbahnmarkierung 4 als falsch positiv erkannte Fahrbahnmarkierung verworfen werden.
  • Vorteilhafter Weise können die Ausgleichsgeraden durch die Randpunkte 24, durch welche die Ränder 26 der potentiellen Fahrbahnmarkierung 4 definiert werden, und/oder die Ausgleichsgerade 27 durch eine Kombination aus dem RANSAC-Algorithmus und der Methode der kleinsten Quadrate angepasst werden. Somit können zunächst durch den RANSAC-Algorithmus grobe Ausreißer ermittelt werden, welche stark von den übrigen Werten abweichen. Diese Ausreißer werden dann nicht für die Anpassung der jeweiligen Ausgleichsgeraden nach der Methode der kleinsten Quadrate herangezogen. Derartige Ausreißer können beispielsweise durch ungenau erfassten Randpunkte 24 aufgrund eines verrauschten oder auflösungsarmen Bildes der Umgebung U zustande kommen. Somit wird durch das Aufstellen der Ausgleichsgeraden, insbesondere auf die beschriebene Art und Weise, eine Fehleranfälligkeit gegenüber auflösungsarmen Bildern und Rauschen reduziert.
  • Alternativ oder zusätzlich kann eine Varianz über die Werte 21 für die Linienbreite 20 ermittelt werden. Die Varianz kann dann als Maß gelten, welches eine Abweichung der Mehrzahl an Werten 21 für die Linienbreite 20 untereinander angibt. Beispielsweise kann vorgesehen sein, dass die potentielle Fahrbahnmarkierung 4 als unplausibel verworfen wird, wenn die Varianz größer ist als ein vorbestimmter Grenzwert für die Varianz. Dementsprechend kann vorgesehen sein, dass die potentielle Fahrbahnmarkierung 4 als (tatsächliche) Fahrbahnmarkierung 2 erkannt wird, wenn die Varianz der Werte 21 kleiner ist als der vorbestimmte Grenzwert für die Varianz.
  • Alternativ oder zusätzlich kann vorgesehen sein, dass die Plausibilität der potentiellen Fahrbahnmarkierung 4 anhand eines einfachen Breitenfilters validiert wird. Beispielsweise werden einer oder mehrere Werte 21 für die Linienbreite 20 mit einem ersten vorbestimmten Breitenwert und/oder einem zweiten vorbestimmten Breitenwert verglichen. In diesem Fall kann die potentielle Fahrbahnmarkierung 4 als unplausibel verworfen werden, wenn der jeweilige Wert 21 für die Linienbreite 20 kleiner ist als der erste vorbestimmte Breitenwert oder größer ist als der vorbestimmte Breitenwert. Mit anderen Worten kann die potentielle Fahrbahnmarkierung 4 in diesem Fall höchstens dann als plausibel gelten, wenn der jeweilige Wert 21 für die Linienbreite 20 sich innerhalb eines Intervalls zwischen dem ersten und dem zweiten vorbestimmten Breitenwert befindet.
  • Nun wieder in Bezug auf 1 weist das Fahrzeug 1 eine Steuereinrichtung 5 zum Erkennen der Fahrbahnmarkierung 2 auf. Die Steuereinrichtung 5 weist eine Empfangseinheit 50 zum Empfangen des Bildes der Umgebung U des Fahrzeugs auf. Außerdem weist die Steuereinrichtung 5 eine Recheneinheit 51 zum Ermitteln der potentiellen Fahrbahnmarkierung 4 in dem Bild der Umgebung U auf. Weiterhin ist die Recheneinheit 51 dazu ausgebildet, die Ausdehnung der potentiellen Fahrbahnmarkierung 4 quer zu der Haupterstreckungsrichtung 22 der potentiellen Fahrbahnmarkierung 4 als Linienbreite 20 der potentiellen Fahrbahnmarkierung 4 zu ermitteln. Außerdem ist die Recheneinheit 51 dazu ausgebildet, die Fahrbahnmarkierung 2 durch Validieren der potentiellen Fahrbahnmarkierung 4 anhand der Linienbreite 20 als plausibel zu erkennen. Insbesondere ist die Steuereinrichtung 5 beziehungsweise die Recheneinheit 51 dazu ausgebildet, einige oder mehrere der im Vorherigen erläuterten Verfahrensschritte durchzuführen.
  • Die Steuereinrichtung 5 kann als Teil der Recheneinheit 51 eine so genannte Stützvektormaschine, auch als Support-Vector-Machine bezeichnet, umfassen. Die Stützvektormaschine kann dazu ausgebildet sein, das Erkennen der Fahrbahnmarkierung 2 durch Validieren der potentiellen Fahrbahnmarkierung 4 anhand eines oder mehrerer der oben erläuterten Schritte bzw. Auswertungsmethoden durchzuführen: Auswerten der Varianz der Mehrzahl an Werten 21 für die Linienbreite 20, Auswerten der Randpunkte 24, insbesondere durch Anpassen einer jeweiligen Ausgleichsgeraden zum Definieren der Ränder 26, Anpassen und Auswerten der Ausgleichsgeraden 27 durch die Werte 21 für die Linienbreite 20, sowie das einfache Breitenfiltern mit dem ersten vorgegebenen Breitenwert und/oder dem zweiten vorgegebenen Breitenwert. Diese Stützvektormaschine kann anhand von Trainingsdaten, welche beispielsweise eine Vielzahl von beispielhaften Bildern für die Umgebung U mit beispielhaften Fahrbahnmarkierungen umfassen, angelernt werden. Auf diese Weise können die einzelnen Auswertungsmethoden für sich genommen verfeinert werden und/oder Beziehungen mehrerer Auswertungsmethoden untereinander optimal miteinander verknüpft werden. Mit anderen Worten können die Beziehungen mehrerer Auswertungsmethoden untereinander durch die Stützvektormaschine anhand der Trainingsdaten ermittelt und/oder optimiert werden.

Claims (15)

  1. Verfahren zum Erkennen einer Fahrbahnmarkierung (2) für ein Fahrzeug (1), durch - Bereitstellen eines Bildes einer Umgebung (U) des Fahrzeugs (1), - Ermitteln einer potentiellen Fahrbahnmarkierung (4) in dem Bild der Umgebung (U), - Ermitteln einer Ausdehnung der potentiellen Fahrbahnmarkierung (4) quer zu einer Haupterstreckungsrichtung (22) der potentiellen Fahrbahnmarkierung (4) als Linienbreite (20) der potentiellen Fahrbahnmarkierung (4), und - Erkennen der Fahrbahnmarkierung (2) durch Validieren der potentiellen Fahrbahnmarkierung (4) als plausibel anhand deren Linienbreite (20), nur wenn sich die Linienbreite (20) entlang der Haupterstreckungsrichtung (22) höchstens um ein vorbestimmtes Maß verändert, wobei - eine Mehrzahl an Werten (21) für die Linienbreite (20) entlang der Haupterstreckungsrichtung (22) ermittelt wird, und - die potentielle Fahrbahnmarkierung (4) höchstens dann als plausibel validiert wird, wenn einzelne aus der Mehrzahl an Werten (21) für die Linienbreite (20) untereinander höchstens um ein vorbestimmtes Maß voneinander abweichen.
  2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass das Bild der Umgebung (U) aus mindestens einem Rohbild zumindest einer Kamera (3) des Fahrzeugs (1) erzeugt wird, wobei eine Perspektive des mindestens einen Rohbilds in eine Vogelperspektive überführt wird.
  3. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Bild der Umgebung in ein Binärbild (32) überführt wird.
  4. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die potentielle Fahrbahnmarkierung (4) höchstens dann als plausibel validiert wird, wenn die Linienbreite (20) einen ersten vorbestimmten Breitenwert überschreitet und/oder die Linienbreite (20) einen zweiten vorbestimmten Breitenwert unterschreitet.
  5. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass eine Varianz der Mehrzahl an Werten (21) für die Linienbreite (20) ermittelt wird und das vorbestimmte Maß durch einen vorbestimmten Grenzwert für die Varianz gegeben ist.
  6. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass eine Ausgleichsgerade (27) an die Mehrzahl an Werten (21) für die Linienbreite (20) angepasst wird und eine Steigung der Ausgleichsgeraden (27) als Maß für das Abweichen der Mehrzahl an Werten (21) für die Linienbreite (20) untereinander ermittelt wird.
  7. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass - an beiden Flanken (34) der potentiellen Fahrbahnmarkierung (4) entlang der Haupterstreckungsrichtung (22) jeweils eine Mehrzahl an Randpunkten (24) für die potentielle Fahrbahnmarkierung (4) ermittelt wird, und - anhand der beiden Mehrzahlen an Randpunkten (24) ermittelt wird, ob sich die Linienbreite (20) entlang der Haupterstreckungsrichtung (22) der potentiellen Fahrbahnmarkierung (4) verändert.
  8. Verfahren nach Anspruch 7, dadurch gekennzeichnet, dass an beiden Flanken (34) der potentiellen Fahrbahnmarkierung (4) eine jeweilige Ausgleichsgerade durch die jeweilige Mehrzahl an Randpunkten (24) für die potentielle Fahrbahnmarkierung (4) gelegt wird und als jeweiliger Rand (26) der Fahrbahnmarkierung (2) angenommen wird.
  9. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Haupterstreckungsrichtung (22) der potentiellen Fahrbahnmarkierung (4) mittels eines Skelettierungsverfahrens ermittelt wird.
  10. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Validieren der potentiellen Fahrbahnmarkierung (4) mithilfe einer Stützvektormaschine erfolgt.
  11. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass anhand der validierten Fahrbahnmarkierung (2) eine Position eines Stellplatzes (28) in dem Bild der Umgebung (U) erkannt wird.
  12. Steuereinrichtung (5) zum Erkennen einer Fahrbahnmarkierung (2) für ein Fahrzeug (1), mit - einer Empfangseinheit (50) zum Empfangen eines Bildes einer Umgebung (U) des Fahrzeugs (1), und - einer Recheneinheit (51) zum Ermitteln einer potentiellen Fahrbahnmarkierung (4) in dem Bild der Umgebung (U), sowie zum Ermitteln einer Ausdehnung der potentiellen Fahrbahnmarkierung (4) quer zu einer Haupterstreckungsrichtung (22) der potentiellen Fahrbahnmarkierung (4) als Linienbreite (20) der potentiellen Fahrbahnmarkierung (4) und zum Erkennen der Fahrbahnmarkierung (2) durch Validieren der potentiellen Fahrbahnmarkierung (4) als plausibel anhand deren Linienbreite (20), wenn sich die Linienbreite (20) entlang der Haupterstreckungsrichtung (22) höchstens um ein vorbestimmtes Maß verändert.
  13. Stellplatzerkennungssystem (8) für ein Fahrzeug (1) zum Erkennen eines Parkplatzes, mit - zumindest einer Kamera (3) zum Erfassen eines Bilds der Umgebung (U), und - einer Steuereinrichtung (5) nach Anspruch 12.
  14. Fahrerassistenzsystem (9) zum Erkennen einer Fahrbahnmarkierung (2), welches dazu ausgebildet ist, ein Verfahren nach einem der Ansprüche 1 bis 11 durchzuführen.
  15. Computerprogrammprodukt mit Programmcodemitteln, welche in einem computerlesbaren Medium gespeichert sind, um das Verfahren zum Erkennen einer Fahrbahnmarkierung (2) nach einem der Ansprüche 1 bis 11 durchzuführen, wenn das Computerprogrammprodukt auf einem Prozessor einer elektronischen Steuereinrichtung (5) abgearbeitet wird.
DE102018113559.9A 2018-06-07 2018-06-07 Verfahren zum Erkennen einer Fahrbahnmarkierung durch Validieren anhand der Linienbreite; Steuereinrichtung; Stellplatzerkennungssystem; sowie Fahrerassistenzsystem Pending DE102018113559A1 (de)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102018113559.9A DE102018113559A1 (de) 2018-06-07 2018-06-07 Verfahren zum Erkennen einer Fahrbahnmarkierung durch Validieren anhand der Linienbreite; Steuereinrichtung; Stellplatzerkennungssystem; sowie Fahrerassistenzsystem

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102018113559.9A DE102018113559A1 (de) 2018-06-07 2018-06-07 Verfahren zum Erkennen einer Fahrbahnmarkierung durch Validieren anhand der Linienbreite; Steuereinrichtung; Stellplatzerkennungssystem; sowie Fahrerassistenzsystem

Publications (1)

Publication Number Publication Date
DE102018113559A1 true DE102018113559A1 (de) 2019-12-12

Family

ID=68652003

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102018113559.9A Pending DE102018113559A1 (de) 2018-06-07 2018-06-07 Verfahren zum Erkennen einer Fahrbahnmarkierung durch Validieren anhand der Linienbreite; Steuereinrichtung; Stellplatzerkennungssystem; sowie Fahrerassistenzsystem

Country Status (1)

Country Link
DE (1) DE102018113559A1 (de)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102019102561A1 (de) 2019-02-01 2020-08-06 Connaught Electronics Ltd. Verfahren zum Erkennen einer Pflastermarkierung
DE102019213927A1 (de) * 2019-09-12 2021-03-18 Zf Friedrichshafen Ag Grid-basierte Leitpfosten-Klassifizierung
DE102022208429A1 (de) 2022-08-12 2024-02-15 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren zur Bestimmung einer Fahrspurmarkierung einer Fahrspur für ein Fahrzeug
DE102022122339A1 (de) 2022-09-05 2024-03-07 Bayerische Motoren Werke Aktiengesellschaft Verfahren und Vorrichtung zur Vermessung eines Stellplatzes für ein Kraftfahrzeug

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102019102561A1 (de) 2019-02-01 2020-08-06 Connaught Electronics Ltd. Verfahren zum Erkennen einer Pflastermarkierung
DE102019213927A1 (de) * 2019-09-12 2021-03-18 Zf Friedrichshafen Ag Grid-basierte Leitpfosten-Klassifizierung
DE102022208429A1 (de) 2022-08-12 2024-02-15 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren zur Bestimmung einer Fahrspurmarkierung einer Fahrspur für ein Fahrzeug
DE102022122339A1 (de) 2022-09-05 2024-03-07 Bayerische Motoren Werke Aktiengesellschaft Verfahren und Vorrichtung zur Vermessung eines Stellplatzes für ein Kraftfahrzeug

Similar Documents

Publication Publication Date Title
DE102018113559A1 (de) Verfahren zum Erkennen einer Fahrbahnmarkierung durch Validieren anhand der Linienbreite; Steuereinrichtung; Stellplatzerkennungssystem; sowie Fahrerassistenzsystem
DE102006005512B4 (de) System und Verfahren zur Messung der Entfernung eines vorausfahrenden Fahrzeugs
DE102006057552A1 (de) System und Verfahren zur Messung des Abstands eines vorausfahrenden Fahrzeugs
DE102014209137A1 (de) Verfahren und Vorrichtung zur Kalibrierung eines Kamerasystems eines Kraftfahrzeugs
DE112018000107T5 (de) Fahrzeugkamerakalibrierungsvorrichtung und -Verfahren
DE102004028763A1 (de) Andockassistent
DE102017117593A1 (de) Fahrzeugfahrassistenzvorrichtung
DE102006036402A1 (de) System und Verfahren zur Messung der Entfernung eines vorausfahrenden Fahrzeugs
WO2013178407A1 (de) Verfahren und vorrichtung zur verarbeitung stereoskopischer daten
DE102017103540A1 (de) Ermitteln einer Winkelstellung eines Anhängers ohne Zielmarkierung
EP3430423A1 (de) Verfahren zur verbesserung einer erfassung zumindest eines objekts in einer umgebung eines kraftfahrzeugs durch eine indirekte messung mit sensoren, steuereinrichtung, fahrerassistenzsystem sowie kraftfahrzeug
DE102017123842A1 (de) Fahrspurerfassungsverfahren
DE102015208208A1 (de) Verfahren und Vorrichtung zum Erkennen einer Müdigkeit eines Fahrers eines Fahrzeugs
DE102009007412B4 (de) Verfahren zur Verfolgung wenigstens eines Objekts
DE102008050456B4 (de) Verfahren und Vorrichtung zur Fahrspurerkennung
DE102006007550A1 (de) Vorrichtung und Verfahren zur Erkennung einer Fahrbahnmarkierung für ein Kraftfahrzeug
DE102016105022A1 (de) Verfahren zum Erfassen zumindest eines Objekts in einer Umgebung eines Kraftfahrzeugs durch eine indirekte Messung mit Sensoren, Steuereinrichtung, Fahrerassistenzsystem sowie Kraftfahrzeug
DE102017217140B4 (de) Verfahren und Vorrichtung zur Ansteuerung eines Fahrerassistenzsystems unter Verwendung eines Stereokamerasystems mit einer ersten und einer zweiten Kamera
DE102019208507A1 (de) Verfahren zur Bestimmung eines Überlappungsgrades eines Objektes mit einem Fahrstreifen
DE112017007812T5 (de) Fahrzeugperipheriebildanzeigevorrichtung und Fahrzeugperipheriebildanzeigeverfahren
DE112021002598T5 (de) Bildverarbeitungsvorrichtung
DE102014219428A1 (de) Selbstkalibrierung eines Stereokamerasystems im Auto
DE102014017904A1 (de) Verfahren und Vorrichtung zur Detektion erhabener Objekte und Verfahren zur Unterstützung eines Fahrers beim Führen eines Fahrzeugs
DE102012008030A1 (de) Verfahren und Vorrichtung zur Erfassung eines Fahrbahnrandes für ein Fahrzeug
DE102023002044B3 (de) Verfahren zu einer modellbasierten Fusion verschiedener Sensormodalitäten

Legal Events

Date Code Title Description
R079 Amendment of ipc main class

Free format text: PREVIOUS MAIN CLASS: G06K0009620000

Ipc: G06V0030190000

R163 Identified publications notified