DE102021102922A1

DE102021102922A1 - Vorverarbeiten von Scan-Punkten eines aktiven optischen Sensorsystems und automatisches Steuern eines Kraftfahrzeugs

Info

Publication number: DE102021102922A1
Application number: DE102021102922.8A
Authority: DE
Inventors: Viktor Trusov
Original assignee: Valeo Schalter und Sensoren GmbH
Current assignee: Valeo Schalter und Sensoren GmbH
Priority date: 2021-02-09
Filing date: 2021-02-09
Publication date: 2022-08-11

Abstract

Gemäß einem computerimplementierten Verfahren zum Vorverarbeiten eines Satzes von Scan-Punkten eines aktiven optischen Sensorsystems (4) wird ein jeweiliger Lageindex jedem der Scan-Punkte gemäß dem jeweiligen optischen Detektor (15) zugewiesen, der das entsprechende reflektierte Licht detektiert hat. Für jede der Lagen werden jeweilige Fahrbahnmarkierungspunkte, die Licht entsprechen, welches von einem Punkt auf einer Fahrbahnmarkierung (5) auf einer Fahrbahn (7) in der Umgebung eines Kraftfahrzeugs (1) reflektiert wird, abhängig von einer geometrischen Form einer räumlichen Kurve bestimmt, die durch die Scan-Punkte der jeweiligen Lage definiert ist. Für jede der Lagen wird zumindest ein Segment (25a, 25b, 25c, 25d) bestimmt, welches durch einen oder mehrere aufeinanderfolgende Fahrbahnmarkierungspunkte der jeweiligen Lage gegeben ist. Darauf basierend werden Ausgabedaten zum zumindest teilweise automatischen Steuern des Kraftfahrzeugs (1) erzeugt.

Description

Die vorliegende Erfindung ist auf ein computerimplementiertes Verfahren zum Vorverarbeiten eines Satzes von Scan-Punkten gerichtet, die mittels eines aktiven optischen Sensorsystems erhalten werden, welches an einem Kraftfahrzeug montiert ist, zum zumindest teilweise automatischen Steuern des Kraftfahrzeugs, wobei jeder der Scan-Punkte Licht entspricht, welches von einer Lichtquelle des aktiven optischen Sensorsystems ausgesendet wird, von einem Punkt in einer Umgebung des Kraftfahrzeugs reflektiert wird und von einem von zwei oder mehr optischen Detektoren des aktiven optischen Sensorsystems detektiert wird, und ein jeweiliger Lageindex jedem der Scan-Punkte gemäß dem jeweiligen optischen Detektor zugewiesen wird, von welchem das korrespondierende Licht detektiert worden ist, so dass alle Scan-Punkte, die den gleichen zugewiesenen Lageindex aufweisen, eine Lage von Scan-Punkten bilden. Die Erfindung ist des Weiteren auf ein Verfahren zum zumindest teilweise automatischen Steuern eines Kraftfahrzeugs gerichtet, auf ein elektronisches Fahrzeugführungssystem zum zumindest teilweise automatischen Steuern eines Kraftfahrzeugs sowie auf ein Computerprogrammprodukt.
Die Detektion von Fahrbahnmarkierungen, auch als Straßenmarkierungen bezeichnet, ist wichtig im Kontext teilautomatischen beziehungsweise vollautomatischen Fahrens. Da verschiedene Typen von Fahrbahnmarkierungen unterschiedliche Entscheidungen durch ein Fahrerassistenzsystem, ADAS, oder ein anderes elektronisches Fahrzeugführungssystem erfordern, ist es wichtig, die Fahrbahnmarkierungen auf zuverlässige Weise, zum Beispiel für eine anschließende Klassifizierung oder andere Charakterisierung der Fahrbahnmarkierungen zu detektieren. Bestehende Vorgehensweisen zum Auswerten, Charakterisieren oder Klassifizieren von Fahrbahnmarkierungen, zum Beispiel basierend auf Computer-Vision-Algorithmen, können Lidarpunktwolken auswerten, die eine große Anzahl einzelner Scan-Punkte enthalten. Diese Vorgehensweisen erfordern daher eine bedeutende Menge an Rechenleistung, insbesondere hinsichtlich Rechenzeit und Speichererfordernissen. Es kann daher sein, dass diese Vorgehensweisen nicht für eingebettete Rechensysteme geeignet sind, wie sie gewöhnlich in Kraftfahrzeugen benutzt werden, die tendenziell über begrenzte Rechenressourcen verfügen.
Dokument DE 10 2007 020 791 B4 beschreibt ein Verfahren zum Detektieren von Fahrbahnmarkierungen basierend auf Lidarsensordaten. Zu diesem Zweck werden Daten betreffend eine Fahrbahnmarkierung auf Basis einer Mittellinienposition, Mittellinienform und Fahrspurbreite unter Verwendung eines Kalmanfilters extrahiert.
Es ist daher eine Aufgabe der vorliegenden Erfindung, ein verbessertes Konzept zur Vorverarbeitung von Scan-Punkten bereitzustellen, die mittels eines aktiven optischen Sensorsystems erhalten werden, welches eine zuverlässige Charakterisierung der Fahrbahnmarkierungen erlaubt und Rechenerfordernisse, wie etwa Rechenzeit und/oder Speichererfordernisse, reduziert.
Diese Aufgabe wird durch den jeweiligen Gegenstand der unabhängigen Patentansprüche erreicht. Weitere Ausführungen und bevorzugte Ausführungsbeispiele sind Gegenstand der abhängigen Ansprüche.
Gemäß dem verbesserten Konzept wird ein computerimplementiertes Verfahren zum Vorverarbeiten eines Satzes von Scan-Punkten bereitgestellt, die mittels eines aktiven optischen Sensorsystems erhalten werden. Das aktive optische Sensorsystem ist an einem Kraftfahrzeug montiert und das Vorverarbeiten wird zum zumindest teilweise automatischen Steuern des Kraftfahrzeugs ausgeführt. Jeder der Scan-Punkte des Satzes von Scan-Punkten entspricht Licht, welches von einer Lichtquelle des aktiven optischen Sensorsystems in eine Umgebung des Kraftfahrzeugs ausgesendet wird, dann von einem Punkt in der Umgebung des Kraftfahrzeugs reflektiert wird und dann von einem, insbesondere genau einem, von zwei oder mehr optischen Detektoren des aktiven optischen Sensorsystems detektiert wird. Ein jeweiliger Lageindex wird jedem der Scan-Punkte gemäß dem jeweiligen optischen Detektor der zwei oder mehr optischen Detektoren zugewiesen, von welchen das entsprechende Licht detektiert wurde. Scan-Punkte, die den gleichen zugewiesenen Lageindex aufweisen, insbesondere alle Scan-Punkte, die den gleichen zugewiesenen Lageindex aufweisen, bilden eine Lage von Scan-Punkten. Für jede der Lagen werden jeweilige Fahrbahnmarkierungspunkte abhängig von einer geometrischen Form einer räumlichen Kurve bestimmt, die durch die Scan-Punkte der jeweiligen Lage definiert ist. Dabei entspricht jeder Fahrbahnmarkierungspunkt Licht, das von einem Punkt auf einer von einer oder mehreren Fahrbahnmarkierungen auf einer Fahrbahn in der Umgebung reflektiert wird. Mit anderen Worten ist jeder Fahrbahnmarkierungspunkt durch einen Scan-Punkt der jeweiligen Lage gegeben, welcher Licht entspricht, das von einem Punkt auf einer der einen oder mehreren Fahrbahnmarkierungen reflektiert wird. Für jede der Lagen wird zumindest ein Segment bestimmt, wobei jedes Segment durch einen oder mehrere aufeinanderfolgende Fahrbahnmarkierungspunkte der jeweiligen Lage gegeben ist. Ausgabedaten zum zumindest teilweise automatischen Steuern des Kraftfahrzeugs werden abhängig von den Segmenten, insbesondere abhängig von allen der Segmente, erzeugt.
Folglich kann das Vorverarbeiten des Satzes von Scan-Punkten als ein Filtern des Satzes von Scan-Punkten daraufhin betrachtet werden, ob deren entsprechende Reflexionsquelle eine Fahrbahnmarkierung ist oder ein solches Filtern beinhalten. Insbesondere kann das Vorverarbeiten das Auswählen eines Teilsatzes des Satzes von Scan-Punkten zum zumindest teilweise automatischen Steuern des Kraftfahrzeugs, zum Beispiel nach der weiteren Verarbeitung, beinhalten. Die ausgewählten Scan-Punkte können zum Beispiel den Segmenten entsprechen und/oder können abhängig von den Segmenten bestimmt werden.
Definitionsgemäß weist ein aktives optisches Sensorsystem die Lichtquelle zum Aussenden des Lichts oder jeweiliger Lichtimpulse auf. Zum Beispiel kann die Lichtquelle als ein Laser, insbesondere ein Infrarotlaser, implementiert sein. Des Weiteren weist ein aktives optisches Sensorsystem definitionsgemäß zumindest einen optischen Detektor auf, um reflektierte Anteile ausgesendeten Lichts zu detektieren. Im Falle des verbesserten Konzepts weist das aktive optische Sensorsystem die zwei oder mehr optischen Detektoren zu diesem Zweck auf. Insbesondere ist das aktive optische Sensorsystem dazu eingerichtet, zwei oder mehr Sensorsignale, eines pro optischem Detektor, basierend auf den jeweiligen detektierten Lichtanteilen zu erzeugen sowie die Sensorsignale zu verarbeiten und/oder auszugeben. Das aktive optische Sensorsystem kann zum Beispiel als ein Lidar-System, insbesondere als ein Laserscanner-Lidar-System, ausgestaltet sein.
Hier und im Folgenden kann „Licht“ derart verstanden werden, dass es elektromagnetische Wellen im sichtbaren Spektralbereich, im infraroten Spektralbereich und/oder im ultravioletten Spektralbereich aufweist. Dementsprechend kann auch der Ausdruck „optisch“ als auf Licht gemäß dieser Definition gerichtet verstanden werden.
Das aktive optische Sensorsystem kann zum Beispiel eine Umlenkeinheit aufweisen, die dazu angeordnet und eingerichtet ist, einfallendes Licht, insbesondere das reflektierte Licht, auf den jeweiligen der zwei oder mehr optischen Detektoren umzulenken. Zu diesem Zweck kann die Umlenkeinheit zum Beispiel einen drehbaren Spiegel oder ein Spiegelelement aufweisen, welcher beziehungsweise welches um eine oder zwei Achsen geneigt oder geschwenkt werden kann, um das Licht umzulenken. Das Spiegelelement kann zum Beispiel als ein mikroelektromechanisches System, MEMS, ausgestaltet sein.
Die Umlenkeinheit kann auch dazu angeordnet und eingerichtet sein, das von der Lichtquelle in die Umgebung ausgesendete Licht umzulenken. Abhängig von dem Zustand der Umlenkeinheit, insbesondere abhängig von seiner Winkelposition oder Lage oder Ausrichtung, kann das ausgesendete Licht mit unterschiedlichen horizontalen Winkeln innerhalb einer Emissionsebene ausgesendet werden. Dabei kann die Emissionsebene senkrecht zu einer Normalachse eines vordefinierten Sensorkoordinatensystems des aktiven optischen Sensorsystems sein. Die zwei oder mehr optischen Detektoren können zum Beispiel entlang der Normalachse, beispielsweise nebeneinander, angeordnet sein. Daher können die optischen Detektoren einfallendes Licht aus einem Bereich von Einfallsrichtungen, insbesondere aus unterschiedlichen horizontalen Winkeln, empfangen. Die horizontalen Winkel können auch als azimutale Winkel betrachtet werden. Des Weiteren kann jeder der zwei oder mehr optischen Detektoren einfallendes Licht empfangen, welches auf die Umlenkeinheit mit einem entsprechenden vertikalen Einfallswinkelbereich hinsichtlich der Normalachse auftrifft, definiert durch seine jeweilige geometrische Position hinsichtlich der Umlenkeinheit. Der vertikale Winkel kann als Polarwinkel hinsichtlich der Normalachse betrachtet werden. Folglich entspricht jede der Lagen beziehungsweise jeder der Lageindizes dem jeweiligen vertikalen Einfallswinkelbereich des entsprechenden optischen Detektors. Die Anzahl der Lagen ist daher durch die Anzahl von optischen Detektoren gegeben, die von den zwei oder mehr optischen Detektoren umfasst sind.
Folglich können die zwei oder mehr optischen Detektoren einfallendes Licht von Reflexionspunkten in der Umgebung detektieren und, abhängig von den jeweiligen zwei oder mehr Sensorsignalen, kann das aktive optische Sensorsystem dem detektierten Licht zweidimensionale räumliche Koordinaten entsprechend dem jeweiligen horizontalen Winkel und vertikalen Winkel zuweisen. Des Weiteren kann das aktive optische Sensorsystem dazu ausgestaltet sein, Messungen gemäß dem Lichtlaufzeit-Ansatz, TOF, zum Bestimmen eines Radialabstands des Reflexionspunktes zum aktiven optischen Sensorsystem auszuführen. Auf diese Weise können jedem der reflektierten Lichtanteile dreidimensionale Koordinaten zugewiesen werden. Dabei können zum Beispiel die dreidimensionalen Koordinaten in dreidimensionalen Polarkoordinaten gegeben sein. Offensichtlich können diese Koordinaten jedoch in jedes andere vordefinierte dreidimensionale Koordinatensystem transformiert werden.
Insbesondere können die dreidimensionalen Koordinaten auch in ein zweidimensionales Koordinatensystem projiziert werden, welches zum Beispiel eine zweidimensionale Ebene parallel oder zumindest annähernd parallel zur Fahrbahn definiert. Die zweidimensionale Ebene kann zum Beispiel zumindest annähernd senkrecht zur Normalachse des aktiven optischen Sensorsystems sein. Insbesondere kann jeder Scan-Punkt des Satzes von Scan-Punkten zweidimensionale Koordinaten in dem zweidimensionalen Koordinatensystem aufweisen.
Insbesondere kann der Satz von Scan-Punkten nur Scan-Punkte aufweisen, die den Reflexionen vom Boden in der Umgebung des Kraftfahrzeugs, insbesondere von der Fahrbahn, den Fahrbahnmarkierungen et cetera, entsprechen. Zu diesem Zweck kann eine initiale Punktwolke oder ein initialer Satz von Scan-Punkten, die mittels des aktiven optischen Sensorsystems erzeugt werden, zum Beispiel entsprechend unter Verwendung bekannter Algorithmen gefiltert werden.
Jede der Lagen weist daher eine Reihe von aufeinanderfolgenden Scan-Punkten auf, die gemäß ihres horizontalen Einfallswinkels sortiert sein können. Jede Lage definiert daher eine jeweilige räumliche Kurve und deren geometrische Form wird verwendet, um zu bestimmen, welche Scan-Punkte der jeweiligen Lagen Fahrbahnmarkierungspunkten entsprechen.
Unter Berücksichtigung lediglich der Punkte, die von der Fahrbahnoberfläche reflektiert werden, und unter der Annahme, dass es sich bei der Fahrbahnoberfläche um eine perfekte Ebene handelt, würden theoretisch alle Scan-Punkte auf einer räumlichen Kurve liegen, die durch die Ausführung der Umlenkeinheit definiert ist. Zum Beispiel würden alle Bodenpunkte einer gegebenen Lage auf einem entsprechenden Kreisbogen mit einem von dem Lageindex in dem zweidimensionalen kartesischen Koordinatensystem gegebenen Durchmesser liegen. Aufgrund von Unvollkommenheiten und Abweichungen von den erwähnten Annahmen, ist die geometrische Form der räumlichen Kurve im Allgemeinen nicht vollkommen kreisförmig, insbesondere für die Fahrbahnmarkierungspunkte.
Die Abweichungen können zum Beispiel zumindest teilweise durch einen sogenannten Gangfehler verursacht sein. Reflexionen von einem Punkt in der Umgebung verursachen Signalimpulse in den Ausgabesignalen der jeweiligen optischen Detektoren, die eine zeitabhängige Amplitude aufweisen. Insbesondere da der ausgesendete Lichtimpuls eine endliche Pulsbreite aufweist, erreichen nicht alle detektierten Photonen aus einer gegebenen Reflexion den optischen Detektor gleichzeitig. Daher besteht ein endlicher Zeitunterschied zwischen der Zeit, wenn das erste Photon einer gegebenen Reflexion auf den optischen Detektor auftrifft, und der Zeit, wenn das reflektierte Licht tatsächlich als solches erkannt wird, zum Beispiel wenn eine bestimmte Schwelle von der Amplitude überschritten wird. Zum Beispiel wird ein reflektierter Lichtimpuls nur dann als solcher detektiert, wenn die Amplitude des jeweiligen Detektorsignals einen vordefinierten Schwellenwert überschreitet. Dies kann nützlich sein, um das Signal-zu-Rauschen-Verhältnis der Messung zu verbessern. Insbesondere falls Lawinen-Photodioden, APDs, als optische Detektoren verwendet werden, kann eine solche Vorgehensweise angewendet werden. Des Weiteren können beim Kalibrieren eines aktiven optischen Sensorsystems, wie einem Lidar-Sensorsystem, die ausgesendeten Lichtimpulse in einem Winkel von 90° auf ein Kalibrierziel treffen. Im Falle einer tatsächlichen Reflexion vom Boden, kann es sein, dass dies nicht der Fall ist.
Derartige Auswirkungen und gegebenenfalls Auswirkungen, die durch Datenverarbeitung zum Kompensieren des Gangfehlers verursacht werden, können charakteristische geometrische Formen der räumlichen Kurven bewirken, insbesondere in Bereichen der räumlichen Kurven, die hochreflektiven Zielen, wie etwa Fahrbahnmarkierungen, entsprechen. Die charakteristische Form kann zum Beispiel auch von dem Radialabstand der jeweiligen Reflexionspunkte abhängen. Das verbesserte Konzept macht sich die Tatsache zunutze, dass die Fahrbahnmarkierungspunkte auf solchen charakteristischen geometrischen Kurven liegen, um die entsprechenden Scan-Punkte als Fahrbahnmarkierungspunkte zu charakterisieren.
Insbesondere kann das Bestimmen der Fahrbahnmarkierungspunkte das Identifizieren aller Fahrbahnmarkierungspunkte für jede Lage, insbesondere Lage für Lage, beinhalten. Zum Beispiel können die Scan-Punkte einer gegebenen Lage als Fahrbahnmarkierungspunkte beziehungsweise als Nicht-Fahrbahnmarkierungspunkte klassifiziert werden. Zum Beispiel kann die Klassifizierung das Klassifizieren der Scan-Punkte als Fahrbahnmarkierungspunkte oder Reflexionen vom Asphalt beinhalten. Es sind jedoch auch mehr als zwei Klassen möglich.
Insbesondere werden durch Bestimmen der Fahrbahnmarkierungspunkte Scan-Punkte der jeweiligen Lage bestimmt, die scheinbar oder mit ausreichend hoher Wahrscheinlichkeit den Reflexionen von den Fahrbahnmarkierungen entsprechen.
Des Weiteren entspricht jedes der Segmente aufeinanderfolgenden Fahrbahnmarkierungspunkten der jeweiligen Lage, die von einer spezifischen Fahrbahnmarkierung herrühren der zumindest scheinbar von einer spezifischen Fahrbahnmarkierung herrühren. Daher kann es zum Beispiel genau ein Segment pro Lage und Fahrbahnmarkierung auf der Fahrbahn, welche in dieser Lage detektierbar ist, geben. Die Ausgabedaten können zum Beispiel Informationen oder Daten enthalten, die die Eigenschaften der Segmente und/oder weitere Informationen oder Daten beschreiben, die zum Beispiel basierend auf den Segmenten bestimmt werden können.
Hier und im Folgenden können, sofern nicht anders angegeben, die Verfahrensschritte eines computerimplementierten Verfahrens gemäß dem verbesserten Konzept von einer oder mehreren Recheneinheiten des Kraftfahrzeugs ausgeführt werden. Insbesondere das Bestimmen der Fahrbahnmarkierungspunkte und der Segmente und das Erzeugen der Ausgabedaten kann von der einen oder den mehreren Recheneinheiten ausgeführt werden. Die Zuweisung von Lageindizes zu den Scan-Punkten kann von der einen oder den mehreren Recheneinheiten oder von dem aktiven optischen Sensorsystem selbst ausgeführt werden.
Die Segmente stellen charakteristische Merkmale in dem Satz von Scan-Punkten dar, welche zum Charakterisieren der einen oder mehreren Fahrbahnmarkierungen auf der Fahrbahn besonders geeignet sind. Zum Beispiel können geometrische Eigenschaften der Fahrbahnmarkierungen, wie etwa die geometrische Form oder Breite, die Anzahl paralleler Linien, der Typ der Fahrbahnmarkierung, etwa durchgängig oder unterbrochen, und so weiter bestimmt werden, zum Beispiel unter Verwendung eines Mustererkennungsalgorithmus basierend direkt auf den Ausgabedaten oder nach weiterer Verarbeitung.
Da nur ein Teil des Satzes von Scan-Punkten Fahrbahnmarkierungspunkten entspricht, wird die erforderliche Rechenzeit und der erforderliche Speicherplatz zum Verarbeiten der Ausgabedaten im Vergleich zu Vorgehensweisen, die versuchen, die Fahrbahnmarkierungen abhängig von dem Satz von Scan-Punkten direkt oder abhängig von der unverarbeiteten Lidarpunktwolke zu charakterisieren, stark reduziert.
Da die aus den Ausgabedaten ableitbaren Eigenschaften der Fahrbahnmarkierungen verwendet werden können, um das Kraftfahrzeug vollautomatisch oder teilautomatisch zu steuern, insbesondere zusammen mit weiteren Informationen, die von mehreren weiteren Sensorsystemen des Fahrzeugs gesammelt werden, werden auch die Ausgabedaten und die Segmente zumindest indirekt zum zumindest teilweise automatischen Steuern des Kraftfahrzeugs genutzt.
Ein computerimplementiertes Verfahren zum Vorverarbeiten eines Satzes von Scan-Punkten gemäß dem verbesserten Konzept beinhaltet nicht die Schritte des Erzeugens des Satzes von Scan-Punkten selbst, insbesondere der Schritte, die mittels des aktiven optischen Sensorsystems ausgeführt werden. Jedoch kann ein jeweiliges Verfahren, welches die Erzeugung der Scan-Punkte unter Verwendung des aktiven optischen Sensorsystems einschließt, von jeder Ausführungsform eines computerimplementierten Verfahrens gemäß dem verbesserten Konzept direkt abgeleitet werden.
Gemäß einigen Ausführungen des computerimplementierten Verfahrens gemäß dem verbesserten Konzept wird für jedes der Segmente zumindest ein geometrischer Parameter bestimmt und ein Konfidenzwert betreffend eine Wahrscheinlichkeit, dass das jeweilige Segment tatsächlich eine Fahrbahnmarkierung auf der Fahrbahn repräsentiert, insbesondere eine der einen oder mehreren Fahrbahnmarkierungen auf der Fahrbahn, wird abhängig von dem zumindest einen geometrischen Parameter des jeweiligen Segments bestimmt. Die Ausgabedaten werden abhängig von den Konfidenzwerten der Segmente erzeugt.
Zum Beispiel kann der Konfidenzwert einen Wert von 0 bis 1 annehmen, wobei 1 die größte Wahrscheinlichkeit darstellt, dass das Segment eine Fahrbahnmarkierung repräsentiert, und 0 die geringste Wahrscheinlichkeit darstellt. Offensichtlich ist auch eine andere Wahl möglich.
Zum Beispiel können Reflexionen von Fahrbahnrändern, Gras auf oder neben der Fahrbahn, et cetera zu geometrischen Formen der jeweiligen räumlichen Kurven führen, die denjenigen von Reflexionen von tatsächlichen Fahrbahnmarkierungen verursachten ähnlich sind. Um falsch Negative beim Bestimmen der Fahrbahnmarkierungspunkte zu vermeiden oder mit anderen Worten um das fälschliche Herausfiltern von tatsächlichen Fahrbahnmarkierungspunkten zu vermeiden, kann daher eine gewisse Menge an falsch Positiven beim Bestimmen der Fahrbahnmarkierungspunkte abhängig von der geometrischen Form der räumlichen Kurve akzeptabel sein. Durch anschließendes Bestimmen des Konfidenzwerts kann das Risiko falsch Positiver dann nachträglich reduziert werden, zum Beispiel indem nur Segmente mit ausreichend hohem Konfidenzwert für die Ausgabedaten oder für das Charakterisieren von Fahrbahnmarkierungen berücksichtigt werden.
Der zumindest eine geometrische Parameter für ein Segment kann zum Beispiel einen Polarwinkel eines Zentrums des jeweiligen Segments, einen Winkel, den das Segment mit einer Längsachse des Sensorkoordinatensystems einschließt, einen mittleren Radialabstand der von dem Segment umfassten Scan-Punkte, eine Differenz zwischen einem maximalen und einem minimalen Radialabstand der von dem Segment umfassten Punkte, eine Gesamtanzahl an von dem Segment umfassten Scan-Punkten, eine Länge des jeweiligen Segments und/oder eine Differenz zwischen einer maximalen Echopulsbreite, EPW, und einer minimalen EPW, der Scan-Punkte des jeweiligen Segments aufweisen.
Dabei kann die Längsrichtung des Sensorkoordinatensystems, die auch als x-Achse des Sensorkoordinatensystems bezeichnet werden kann, zum Beispiel senkrecht zur Normalachse sein und kann einem Horizontalwinkel von 0° entsprechen.
Das Zentrum des Segments kann zum Beispiel durch jeweilige Durchschnittswerte der kartesischen Koordinaten der von dem Segment umfassten Scan-Punkte gegeben sein. Mit anderen Worten ist die x-Koordinate des Zentrums durch einen Durchschnittswert der x-Koordinaten aller Scan-Punkte des Segments gegeben und die y-Koordinate des Zentrums ist durch den Durchschnittswert der y-Koordinaten aller Scan-Punkte des Segments gegeben.
Jedes Segment kann derart betrachtet werden, dass es einen initialen Scan-Punkt und einen finalen Scan-Punkt umfasst. Der initiale Scan-Punkt kann zum Beispiel dem Scan-Punkt des Segments mit der kleinsten x-Koordinate entsprechen, und der finale Scan-Punkt kann dem Scan-Punkt mit der größten x-Koordinate entsprechen.
Die Richtung des Segments kann zum Beispiel als ein oder durch einen Vektor definiert sein, der den initialen Scan-Punkt mit dem finalen Scan-Punkt verbindet. Der Winkel zwischen dem Segment und der x-Achse kann dann als der Winkel zwischen der Richtung des Segments und der x-Achse definiert sein.
Die Länge des Segments kann zum Beispiel einem euklidischen Abstand zwischen dem initialen Scan-Punkt und dem finalen Scan-Punkt entsprechen.
Gemäß einigen Ausführungen wird für jedes der Segmente der jeweilige bestimmte Konfidenzwert mit einem vordefinierten Schwellenwert verglichen und die Ausgabedaten werden abhängig von den Ergebnissen der jeweiligen Vergleiche erzeugt.
Zum Beispiel werden nur Segmente mit einem Konfidenzwert, der gleich oder größer ist als der Schwellenwert, für die Erzeugung der Ausgabedaten berücksichtigt. Alternativ kann ein Label oder ein Flag zusammen mit der Beschreibung des Segments in den Ausgabedaten gespeichert werden, wobei das Flag oder das Label anzeigt, ob der jeweilige Konfidenzwert gleich oder größer ist als der Schwellenwert oder nicht. Alternativ kann der Konfidenzwert als Teil der Ausgabedaten gespeichert werden.
Gemäß einigen Ausführungen wird für jedes der Segmente der zumindest eine für das jeweilige Segment bestimmte geometrische Parameter als eine Eingabe einem Klassifikator zugeführt und der jeweilige Konfidenzwert wird als eine Ausgabe des Klassifikators oder abhängig von der Ausgabe des Klassifikators erhalten.
Zum Beispiel kann der Klassifikator ein trainiertes künstliches neuronales Netzwerk aufweisen, insbesondere ein vorwärtsgekoppeltes vollständig verbundenes neuronales Netzwerk. Das trainierte künstliche neuronale Netzwerk kann gemäß herkömmlicher Vorgehensweisen überwachten Trainings trainiert sein.
Gemäß einigen Ausführungen werden für zumindest eines der Segmente einer oder mehrere jeweilige Referenzpunkte bestimmt, wobei jeder Referenzpunkt durch einen Scan-Punkt des jeweiligen Segments gegeben ist und eine Gesamtanzahl an Referenzpunkten des jeweiligen Segments von einem Abstandsmaß des initialen Scan-Punkts und des finalen Scan-Punkts des jeweiligen Segments abhängt. Die Ausgabedaten werden abhängig von den Referenzpunkten mindestens eines der Segmente erzeugt.
Das Abstandsmaß ist nicht notwendigerweise durch einen euklidischen Abstand gegeben. Mit anderen Worten entspricht das Abstandsmaß nicht notwendigerweise der Länge des Segments, wenn dies auch möglich wäre. Das Abstandsmaß kann zum Beispiel einer Differenz in den jeweiligen x-Koordinaten oder Koordinaten in Längsrichtung des initialen Scan-Punkts und des finalen Scan-Punkts entsprechen.
Insbesondere können die Ausgabedaten die Referenzpunkte umfassen und/oder Segmente oder jeweilige Beschreibungen oder Eigenschaften der Referenzpunkte und/oder des Segments.
Durch Berücksichtigung der Referenzpunkte kann die zum Charakterisieren der Fahrbahnmarkierungen durch nachfolgende Algorithmen zu verarbeitende Datenmenge weiter reduziert werden. Daher können Rechenressourcen und Speichererfordernisse weiter reduziert werden. Andererseits kann durch Berücksichtigung der Referenzpunkte zusätzlich zu den Segmenten eine vollständigere und daher zuverlässigere Charakterisierung der Fahrbahnmarkierungen möglich sein. Zum Beispiel können die Referenzpunkte und die Segmente als Basis für unterschiedliche Arten der Charakterisierung der Fahrbahnmarkierungen dienen. Zum Beispiel kann eine geometrische Form der Fahrbahnmarkierung basierend auf den Referenzpunkten bestimmt werden, während eine Breite einer Fahrbahnmarkierung zum Beispiel direkt basierend auf den Segmenten bestimmt werden kann.
Bei Ausführungen, bei denen der Konfidenzwert für die Segmente bestimmt wird, können die Referenzpunkte zum Beispiel für alle Segmente bestimmt werden, die einen Konfidenzwert größer oder gleich dem Schwellenwert haben und/oder nur für derartige Segmente. Bei anderen Ausführungen können die Referenzpunkte für alle Segmente bestimmt werden.
Ein Abstand zwischen benachbarten Referenzpunkten eines gegebenen Segments, zum Beispiel ein Abstand in x-Richtung, kann mindestens gleich einem vordefinierten ersten Abstand sein. Alternativ oder zusätzlich kann es einen weiteren vordefinierten zweiten Abstand geben, der einen Mindestabstand der Referenzpunkte zum initialen Scan-Punkt oder zum finalen Scan-Punkt des jeweiligen Segments, zum Beispiel in x-Richtung, darstellt.
Zum Beispiel kann der finale Scan-Punkt des jeweiligen Segments immer als ein erster Referenzpunkt dieses Segments definiert sein. Ist der Abstand in x-Richtung zwischen dem finalen Scan-Punkt und dem initialen Scan-Punkt geringer als der zweite Abstand, so wird kein weiterer Referenzpunkt für dieses Segment bestimmt. Andernfalls wird ein zweiter Referenzpunkt als derjenige Scan-Punkt bestimmt, der dem ersten Referenzpunkt in x-Richtung am nächsten liegt, der zumindest den ersten Abstand in x-Richtung zum ersten Referenzpunkt aufweist. Ist dann wiederum der Abstand in x-Richtung zwischen dem zweiten Scan-Punkt und dem initialen Scan-Punkt geringer als der zweite Abstand, so wird kein weiterer Referenzpunkt für dieses Segment bestimmt. Andernfalls wird ein dritter Referenzpunkt als der Scan-Punkt bestimmt, der dem zweiten Referenzpunkt in x-Richtung am nächsten liegt, der zumindest den ersten Abstand in x-Richtung zum zweiten Referenzpunkt aufweist. Auf diese Weise wird iterativ vorgegangen bis kein weiterer Referenzpunkt mehr bestimmt wird. Dabei kann jeder bestimmte Referenzpunkt eine kleinere x-Koordinate als der gegebenenfalls zuvor bestimmte Referenzpunkt aufweisen. Folglich ist die Gesamtanzahl der Referenzpunkte eines gegebenen Segments durch den Abstand in x-Richtung zwischen dem finalen Scan-Punkt und dem initialen Scan-Punkt dieses Segments gegeben und die Gesamtanzahl der Referenzpunkte ist gleich oder größer als 1. Alternativ kann das beschriebene iterative Verfahren ausgeführt werden, indem mit dem initialen Scan-Punkt begonnen wird und Referenzpunkte mit größer werdender x-Koordinate bestimmt werden.
Gemäß einigen Ausführungen wird ein Mustererkennungsalgorithmus abhängig von den Ausgabedaten ausgeführt und zumindest ein Parameter, der die eine oder die mehreren Fahrbahnmarkierungen auf der Fahrbahn beschreibt, wird abhängig von einem Ergebnis des Mustererkennungsalgorithmus bestimmt.
Insbesondere kann eine Eingabe für den Mustererkennungsalgorithmus eine Beschreibung der Segmente oder eines Anteils der Segmente mit einem Konfidenzwert größer als oder gleich dem Schwellenwert und/oder eine Beschreibung der Referenzpunkte der Segmente aufweisen.
Gemäß dem verbesserten Konzept wird auch ein Verfahren zum zumindest teilweise automatischen Steuern eines Kraftfahrzeugs bereitgestellt. Dabei wird ein Satz von Scan-Punkten mittels eines aktiven optischen Sensorsystems erzeugt, welches an dem Kraftfahrzeug montiert ist. Jeder der Scan-Punkte entspricht Licht, welches von einer Lichtquelle des Sensorsystems ausgesendet wird, von einem Punkt in der Umgebung des Kraftfahrzeugs reflektiert wird und von einem von zwei oder mehr optischen Detektoren des Sensorsystems detektiert wird. Ein computerimplementiertes Verfahren gemäß einem der vorhergehenden Ansprüche wird von zumindest einer Recheneinheit des Kraftfahrzeugs ausgeführt und das Kraftfahrzeug wird zumindest teilweise automatisch abhängig von den Ausgabedaten gesteuert, insbesondere mittels eines elektronischen Fahrzeugführungssystems des Kraftfahrzeugs.
Das elektronische Fahrzeugführungssystem kann die zumindest eine Recheneinheit oder Teile der zumindest einen Recheneinheit aufweisen. Des Weiteren kann in einigen Ausführungen das elektronische Fahrzeugführungssystem weitere Steuereinheiten und entsprechende Aktoren und/oder weitere Sensoren zum Steuern des Kraftfahrzeugs aufweisen.
Ein elektronisches Fahrzeugführungssystem kann verstanden werden als ein elektronisches System, welches dazu eingerichtet ist, ein Fahrzeug auf vollautomatische oder vollautonome Weise zu führen und insbesondere ohne die Notwendigkeit eines manuellen Eingreifens oder Steuerns durch einen Fahrer oder Nutzer des Fahrzeugs. Das Fahrzeug führt alle erforderlichen Funktionen, wie etwa Lenkmanöver, Abbremsmanöver und/oder Beschleunigungsmanöver sowie Überwachen und Aufzeichnen des Straßenverkehrs und entsprechende Reaktionen automatisch aus. Insbesondere kann das elektronische Fahrzeugführungssystem einen vollautomatischen oder vollautonomen Fahrmodus gemäß Stufe 5 der SAE J3016 Klassifizierung implementieren. Ein elektronisches Fahrzeugführungssystem kann auch als ein Fahrerassistenzsystem, ADAS, implementiert sein, welches einem Fahrer beim teilautomatischen oder teilautonomen Fahren assistiert. Insbesondere kann das elektronische Fahrzeugführungssystem einen teilautomatischen oder teilautonomen Fahrmodus gemäß den Stufen 1 bis 4 der SAE J3016 Klassifizierung implementieren. Hier und im Folgenden bezieht sich SAE J3016 auf den jeweiligen Standard mit Datum Juni 2018.
Gemäß dem verbesserten Konzept wird auch ein elektronisches Fahrzeugführungssystem zum zumindest teilweise automatischen Steuern eines Kraftfahrzeugs bereitgestellt. Das elektronische Fahrzeugführungssystem weist eine Recheneinheit auf, die dazu eingerichtet ist, einen Satz von Scan-Punkten zu empfangen, die mittels eines aktiven optischen Sensorsystems erhalten werden, welches an dem Fahrzeug montiert ist. Dabei entspricht jeder der Scan-Punkte Licht, das von einer Lichtquelle des aktiven optischen Sensorsystems ausgesendet wird, von einem Punkt in einer Umgebung des Kraftfahrzeugs reflektiert wird und von einem der zwei oder mehr optischen Detektoren des aktiven optischen Sensorsystems detektiert wird. Ein jeweiliger Lageindex wird jedem der Scan-Punkte gemäß dem jeweiligen optischen Detektor zugewiesen, von welchem das entsprechende Licht detektiert wurde, so dass Scan-Punkte, die den gleichen zugewiesenen Lageindex aufweisen, eine Lage von Scan-Punkten bilden. Die Recheneinheit ist dazu eingerichtet, für jede der Lagen jeweilige Fahrbahnmarkierungspunkte zu bestimmen, die Licht entsprechen, das von einem Punkt auf einer oder mehreren Fahrbahnmarkierungen auf einer Fahrbahn in der Umgebung reflektiert wird, abhängig von einer geometrischen Form einer räumlichen Kurve, die durch die Scan-Punkte der jeweiligen Lage definiert ist. Die Recheneinheit ist ferner dazu eingerichtet, für jede der Lagen zumindest ein Segment zu bestimmen, wobei jedes Segment durch einen oder mehrere aufeinanderfolgende Fahrbahnmarkierungspunkte der jeweiligen Lage gegeben ist und Ausgabedaten zum zumindest teilweise automatischen Steuern des Kraftfahrzeugs abhängig von den Segmenten zu erzeugen.
Der Lageindex kann zum Beispiel mittels des aktiven optischen Sensorsystems oder von der Recheneinheit den Scan-Punkten zugewiesen werden.
Gemäß einigen Ausführungen des elektronischen Fahrzeugführungssystems gemäß dem verbesserten Konzept weist das elektronische Fahrzeugführungssystem das aktive optische Sensorsystem auf.
Gemäß einigen Ausführungen weist das elektronische Fahrzeugführungssystem das aktive optische Sensorsystem auf und das aktive optische Sensorsystem ist als ein Lidar-System, insbesondere als ein Laserscanner, ausgestaltet.
Gemäß einigen Ausführungen weist das aktive optische Sensorsystem die Umlenkeinheit auf, die dazu angeordnet und eingerichtet ist, einfallendes Licht auf den jeweiligen einen der zwei oder mehr optischen Detektoren umzulenken. Die zwei oder mehr optischen Detektoren sind entlang einer Normalachse eines vordefinierten Sensorkoordinatensystems des aktiven optischen Sensorsystems angeordnet. Jeder der zwei oder mehr optischen Detektoren ist dazu angeordnet, einfallendes Licht zu detektieren, welches mit einem entsprechenden vertikalen Einfallswinkelbereich hinsichtlich der Normalachse auf die Umlenkeinheit auftrifft.
Gemäß einigen Ausführungen ist die Umlenkeinheit dazu eingerichtet und angeordnet, einfallendes Licht zu umzulenken, welches mit einem horizontalen Einfallswinkelbereich hinsichtlich einer Längsachse des Sensorkoordinatensystems auf die Umlenkeinheit auftrifft, wobei die Längsachse senkrecht zur Normalachse ist. Der horizontale Einfallswinkelbereich hängt von einem Zustand der Umlenkeinheit ab.
Gemäß der tatsächlichen Ausführung der Umlenkeinheit und des Lidar-Systems kann der Zustand der Umlenkeinheit zum Beispiel einer Winkelposition eines drehbaren Spiegels der Umlenkeinheit entsprechen.
Gemäß einigen Ausführungen weist die Umlenkeinheit einen Spiegel auf, der um eine Rotationsachse drehbar montiert ist, welche parallel zur Normalachse ist, und der Zustand der Umlenkeinheit entspricht einem Rotationswinkel des Spiegels.
Weitere Ausführungen des elektronischen Fahrzeugführungssystems gemäß dem verbesserten Konzept ergeben sich unmittelbar aus den verschiedenen Ausführungen des computerimplementierten Verfahrens gemäß dem verbesserten Konzept und dem Verfahren zum Steuern des Kraftfahrzeugs gemäß dem verbesserten Konzept und umgekehrt. Insbesondere kann ein elektronisches Fahrzeugführungssystem gemäß dem verbesserten Konzept dazu eingerichtet sein, ein computerimplementiertes Verfahren und/oder ein Verfahren zum Steuern eines Kraftfahrzeugs gemäß dem verbesserten Konzept auszuführen, oder das elektronische Fahrzeugführungssystem führt ein derartiges Verfahren aus.
Gemäß dem verbesserten Konzept wird auch ein Kraftfahrzeug mit einem elektronischen Fahrzeugführungssystem gemäß dem verbesserten Konzept bereitgestellt.
Gemäß dem verbesserten Konzept wird auch ein Befehle beinhaltendes Computerprogramm bereitgestellt. Werden die Befehle beziehungsweise wird das Computerprogramm von einem Computersystem, zum Beispiel von einer Recheneinheit eines elektronischen Fahrzeugführungssystem gemäß dem verbesserten Konzept, ausgeführt, so veranlassen die Befehle das Computersystem dazu, ein computerimplementiertes Verfahren gemäß dem verbesserten Konzept durchzuführen.
Gemäß dem verbesserten Konzept wird auch ein weiteres Befehle beinhaltendes Computerprogramm bereitgestellt. Werden die weiteren Befehle beziehungsweise wird das weitere Computerprogramm von einem elektronischen Fahrzeugführungssystem gemäß dem verbesserten Konzept, insbesondere von der Recheneinheit des elektronischen Fahrzeugführungssystems, ausgeführt, so veranlassen die weiteren Befehle das elektronische Fahrzeugführungssystem dazu, ein Verfahren zum zumindest teilweise automatischen Steuern eines Kraftfahrzeugs gemäß dem verbesserten Konzept durchzuführen.
Gemäß dem verbesserten Konzept wird auch ein computerlesbares Speichermedium bereitgestellt, welches ein Computerprogramm und/oder ein weiteres Computerprogramm gemäß dem verbesserten Konzept speichert.
Das Computerprogramm, das weitere Computerprogramm sowie das computerlesbare Speichermedium können als jeweilige, die Befehle und/oder die weiteren Befehle beinhaltende Computerprogrammprodukte betrachtet werden.
Weitere Merkmale der Erfindung ergeben sich aus den Ansprüchen, den Figuren und der Figurenbeschreibung. Die vorstehend in der Beschreibung genannten Merkmale und Merkmalskombinationen sowie die nachfolgend in der Figurenbeschreibung genannten und/oder in den Figuren alleine gezeigten Merkmale und Merkmalskombinationen können nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen von dem verbesserten Konzept umfasst sein. Es sind somit auch Ausführungen des verbesserten Konzepts umfasst und offenbart, die nicht explizit in den Figuren gezeigt oder erläutert sein können, jedoch durch separierte Merkmalskombinationen aus den erläuterten Ausführungen hervorgehen und erzeugbar sind. Es können auch Ausführungen und Merkmalskombinationen, die nicht alle Merkmale eines ursprünglich formulierten Anspruchs aufweisen, von dem verbesserten Konzept umfasst sein. Darüber hinaus können Ausführungen und Merkmalskombinationen, die über die in den Bezügen der Patentansprüche dargelegten Merkmalskombinationen hinausgehen oder von diesen abweichen, von dem verbesserten Konzept umfasst sein.
In den Zeichnungen zeigen:

1 schematisch ein Kraftfahrzeug mit einer beispielhaften Ausführung eines elektronischen Fahrzeugführungssystems gemäß dem verbesserten Konzept;
2 schematisch einen Teil eines aktiven optischen Sensorsystems einer weiteren beispielhaften Ausführung eines elektronischen Fahrzeugführungssystems gemäß dem verbesserten Konzept;
3 schematisch einen Teil eines aktiven optischen Sensorsystems einer weiteren beispielhaften Ausführung eines elektronischen Fahrzeugführungssystems gemäß dem verbesserten Konzept;
4 schematisch eine Punktwolke eines aktiven optischen Sensorsystems einer weiteren beispielhaften Ausführung eines elektronischen Fahrzeugführungssystems gemäß dem verbesserten Konzept;
5 schematisch einen Satz von Scan-Punkten gemäß einer beispielhaften Ausführung eines Verfahrens gemäß dem verbesserten Konzept;
6 schematisch Segmente gemäß einer weiteren beispielhaften Ausführung eines Verfahrens gemäß dem verbesserten Konzept;
7 schematisch Referenzpunkte gemäß einer weiteren beispielhaften Ausführung eines Verfahrens gemäß dem verbesserten Konzept;
8A, 8B schematisch jeweilige Segmente gemäß einer weiteren beispielhaften Ausführung eines Verfahrens gemäß dem verbesserten Konzept;
9A, 9B schematisch weitere Segmente und weitere Referenzpunkte gemäß einer weiteren beispielhaften Ausführung eines Verfahrens gemäß dem verbesserten Konzept;
10 ein beispielhaftes Flussdiagramm gemäß einer weiteren Ausführung eines Verfahrens gemäß dem verbesserten Konzept; und
11 ein beispielhaftes Flussdiagramm gemäß einer weiteren beispielhaften Ausführung eines Verfahrens gemäß dem verbesserten Konzept.

1 zeigt schematisch ein Kraftfahrzeug 1 mit einer beispielhaften Ausführung eines elektronischen Fahrzeugführungssystems 2 zum zumindest teilweise automatischen Steuern des Kraftfahrzeugs 1 gemäß dem verbesserten Konzept. Das elektronische Fahrzeugführungssystem 2 weist eine Recheneinheit 3 auf und das Kraftfahrzeug 1, insbesondere das elektronische Fahrzeugführungssystem 2, weist ein aktives optisches Sensorsystem 4 auf, welches zum Beispiel als ein Laserscanner-Lidar-System implementiert ist.
Ein Sichtfeld 6 des Sensorsystems 4 befindet sich beispielsweise im Wesentlichen vor dem Kraftfahrzeug 1. In anderen Ausführungen sind jedoch auch andere Orientierungen des Sichtfelds 6 möglich. Das Fahrzeug 1 ist beim Fahren auf einer Fahrbahn 7 mit einer Fahrbahnbegrenzung 8 und Fahrbahnmarkierungen 5 auf der Fahrbahn 7 gezeigt.
In 2 und 3 ist eine beispielhafte Ausführung des Sensorsystems 4 schematisch gezeigt. Das Sensorsystem 4 weist eine Steuereinheit 11 und eine Lichtquelle 9 sowie eine Detektoreinheit 10 auf. Der Einfachheit halber ist der Detektor 10 in 2 nicht gezeigt, während die Lichtquelle 9 in 3 nicht gezeigt ist. Die Lichtquelle 9 kann zum Beispiel einen Laser aufweisen, insbesondere eine Infrarotlaserdiode. Die Detektoreinheit 10 weist zwei oder mehr optische Detektoren 15 auf, zum Beispiel Photodioden, insbesondere Lawinen-Photodioden, APDs. Die optischen Detektoren 15 können in linearer Weise entlang einer Normalachse eines Sensorkoordinatensystems angeordnet sein, wobei die Normalachse z (siehe 4) zum Beispiel senkrecht zur Zeichnungsebene von 1 orientiert sein kann.
Das Sensorsystem 4 kann auch eine Umlenkeinheit 12 aufweisen, die einen drehbaren Spiegel aufweisen kann, wobei die Rotationsachse parallel zur Normalachse z des Sensorkoordinatensystems ist.
Die Lichtquelle 9 ist dazu eingerichtet, Lichtimpulse 13 auszusenden. Der anfänglich gebündelte Laserstrahl kann zum Beispiel defokussiert werden, um einen Strahl mit einem von null verschiedenen Diversionswinkel hervorzubringen. Die Umlenkeinheit 12 definiert die Richtung, in welche das Licht 13 umgelenkt wird. Insbesondere kann das Licht 13 ausgesendet und in das Sichtfeld 6 umgelenkt werden. In 3 ist schematisch gezeigt, wie Anteile 17 von einem Objekt in dem Sichtfeld 6 reflektiert werden, insbesondere von einer Oberfläche der Fahrbahn 7, zum Beispiel den Fahrbahnmarkierungen 5, und zurück zur Umlenkeinheit 12 hin gesendet werden, die die reflektierten Anteile 17 zur Detektionseinheit 10 hin umlenkt, insbesondere auf einen der optischen Detektoren 15.
Das Sensorsystem 4 kann auch eine Fokussierungslinse 18 aufweisen, die die reflektierten Lichtanteile 17 auf den jeweiligen optischen Detektor 15 projiziert. Die optischen Detektoren 15 können das reflektierte einfallende Licht 17 aus einem vordefinierten Bereich sammeln, der durch einen Polarwinkel in dem Sensorkoordinatensystem definiert ist. Die entsprechenden Gebiete 16 des Sichtfeldes 6, die von den jeweiligen optischen Detektoren 15 abgedeckt sind, sind in 3 schematisch gezeigt.
Die Steuereinheit 11 kann zum Beispiel die Lichtquelle 9 steuern und/oder entsprechende Detektorsignale von den optischen Detektoren 15 empfangen. In einigen Ausführungen können alle oder manche Aufgaben der Steuereinheit 11 von der Recheneinheit 3 übernommen werden. Andererseits kann in manchen Ausführungen die Steuereinheit 11 eine oder mehrere Funktionen ausführen, die im Folgenden hinsichtlich der Recheneinheit 3 beschrieben werden.
Die Steuereinheit 11 kann sich die Technik der Lichtlaufzeitmessungen zunutze machen, um den Abstand der entsprechenden Reflexionspunkte zum Sensorsystem 4 zu bestimmen. Auf diese Weise kann eine Punktwolke 19, wie in 4 schematisch dargestellt, erzeugt werden, die aus Messpunkten besteht, die in einem Kugelkoordinatensystem bereitgestellt werden, wobei der Radius der gemessenen Lichtlaufzeit entspricht, der azimutale Winkel oder horizontale Winkel durch den entsprechenden Winkel des Rotationsspiegels der Umlenkeinheit 12 bestimmt ist und der Polarwinkel durch die Position des entsprechenden optischen Detektors 15 definiert ist. Offensichtlich können die Koordinaten der Messpunkte auch in einem kartesischen Sensorkoordinatensystem gegeben sein, das durch die Normalachse z, die Längsachse x und die Querachse y gegeben ist.
Auf diese Weise ist jeder der optischen Detektoren 15 einer entsprechenden Lage von Punkten in der Punktwolke 19 zugeordnet. Lagen, die Reflexionen von der Fahrbahn 7 aufweisen, werden auch als Bodenlagen oder Aufsetzlagen bezeichnet. Die entsprechenden Reflexionspunkte können als Bodenpunkte beziehungsweise Aufsetzpunkte bezeichnet werden. Die Bodenpunkte können insbesondere Scan-Punkte umfassen, die Reflexionen von den Fahrbahnmarkierungen 5 und von anderen Teilen der Fahrbahn 7, wie etwa Asphalt, Pflanzen et cetera entsprechen.
Im Allgemeinen können die Punkte der Punktwolke 19 Bodenpunkte sowie Scan-Punkte einschließen, die von Reflexionen über dem Boden herrühren. Die Punktwolke 19 kann jedoch zum Beispiel derart gefiltert werden, dass sie nur Bodenpunkte aufweist. Des Weiteren können die Punkte der Punktwolke 19 auf die x/y-Ebene des Sensorkoordinatensystems projiziert werden, wie in 5 dargestellt. Folglich ergibt sich ein Satz von Scan-Punkten 20, wobei jeder Scan-Punkt zweidimensionale Koordinaten, insbesondere x-Koordinaten und y-Koordinaten, aufweist.
Die Recheneinheit 3 kann den Satz von Scan-Punkten 20 empfangen oder kann die Punktwolke 19 empfangen und den Satz von Scan-Punkten 20 erzeugen. Insbesondere ist die Recheneinheit 3 dazu eingerichtet, ein computerimplementiertes Verfahren zum Vorverarbeiten des Satzes von Scan-Punkten 20 durchzuführen, um Ausgabedaten zu erzeugen, die zum zumindest teilweise automatischen Steuern des Kraftfahrzeugs 1 gemäß dem verbesserten Konzept geeignet sind.
Insbesondere ist die Recheneinheit 3 dazu eingerichtet, für jede der Lagen jeweilige Fahrbahnmarkierungspunkte zu bestimmen, die Licht entsprechen, das von den Fahrbahnmarkierungen 5 reflektiert wird, abhängig von einer geometrischen Form einer räumlichen Kurve, die durch die Scan-Punkte der jeweiligen Lage definiert ist. Abhängig von den Fahrbahnmarkierungspunkten kann die Recheneinheit 3 ein oder mehrere Segmente 21 (siehe 6) von Fahrbahnmarkierungspunkten für jede der Lagen bestimmen und die Ausgabedaten abhängig von den Segmenten 21 erzeugen.
Die Recheneinheit 3 kann dann Steuersignale abhängig von den Ausgabedaten erzeugen, und die Steuersignale einem oder mehreren Aktoren (nicht gezeigt) des Kraftfahrzeugs 1 oder den jeweiligen Steuereinheiten zuführen, um das Kraftfahrzeug 1 zumindest teilweise automatisch zu steuern, insbesondere um eine Fahrerassistenzfunktion oder eine autonome Fahrfunktion zu realisieren. Zu diesem Zweck kann die Recheneinheit 3 zum Beispiel einen Mustererkennungsalgorithmus abhängig von den Ausgabedaten, zum Beispiel abhängig von den Segmenten, anwenden, um zumindest einen Parameter zu bestimmen, der die Fahrbahnmarkierungen 5 beschreibt, und die Steuersignale basierend auf dem zumindest einen Parameter zu erzeugen.
Weitere Einzelheiten des computerimplementierten Verfahrens gemäß dem verbesserten Konzept werden im Folgenden hinsichtlich verschiedener Ausführungen anhand von 6 bis 11 beschrieben.
6 zeigt schematisch die basierend auf dem Satz von Scan-Punkten 20 von 5 bestimmten Segmente 21. Insbesondere umfassen die Segmente 21 alle Scan-Punkte des Satzes von Scan-Punkten 20, die offenbar Reflexionen von den Fahrbahnmarkierungen 5 innerhalb des Sichtfelds 6 entsprechen. Um die Fahrbahnmarkierungspunkte und folglich die Segmente 21 zu identifizieren, kann die Recheneinheit 3 den Satz von Scan-Punkten 20 Lage für Lage auswerten, um bestimmte charakteristische geometrische Formen der durch die Scan-Punkte definierten Kurven zu extrahieren.
Zum Beispiel kann das Sichtfeld 6 in drei radiale Bereiche unterteilt werden. In einem Nahbereich bildet jede Lage zum Beispiel eine durchgängige Ortskurve von Scan-Punkten, die zu Asphalt und Fahrbahnmarkierungen 5 gehören. Der Nahbereich kann zum Beispiel einem Radialabstand von unter 16 m entsprechen. In einem Mittelbereich können Scan-Punkte der Fahrbahnmarkierungen 5 annähernd die Form der Fahrbahnmarkierungen 5 wiedergeben. Asphalt-Scan-Punkte sind verstreut und die Lagen können durch Rauschen beeinträchtigt sein. Der Mittelbereich kann zum Beispiel einem Radialabstand zwischen 16 m und 25 m entsprechen. In einem Fernbereich können die Fahrbahnmarkierungspunkte zusammenhängende Muster bilden, während es sein kann, dass Asphalt-Scan-Punkte nicht detektiert werden. Der Fernbereich kann zum Beispiel Radialabständen über 25 Metern entsprechen.
In 8A sind eine Fahrbahnmarkierung 5 und die Scan-Punkte eines beispielhaften Teils der Lage im Nahbereich gezeigt. Reflexionspunkte von dem Asphalt 24 liegen annähernd auf einer kreisförmigen Ortskurve 23a, während die Fahrbahnmarkierungspunkte eine Senke von charakteristischer Form über die Breite der Fahrbahnmarkierung 5 zeigen. Die entsprechenden Fahrbahnmarkierungspunkte bilden ein Segment 25a. In 8B ist eine ähnliche Situation für den Fernbereich gezeigt. In diesem Fall sind, wie oben beschrieben, keine Asphalt-Reflexionspunkte auf der theoretischen Ortskurve 23b aufgrund des geringen Reflexionsgrades der Asphaltoberfläche gezeigt. Die Fahrbahnmarkierungspunkte bilden ein weiteres Segment 25b im Bereich der Fahrbahnmarkierung 5.
Die Recheneinheit 3 kann die charakteristische geometrische Form der Segmente 25a, 25b berücksichtigen und optional relative EPW-Werte zwischen aufeinanderfolgenden Scan-Punkten und in der Kette von Scan-Punkten. Diese Parameter erlauben eine zuverlässige Unterscheidung zwischen Scan-Punkten, die von den Fahrbahnmarkierungen 5 verursacht werden, und Scan-Punkten, die von Asphalt oder anderen Teilen des Bodes verursacht werden. Ein Segment ist dann als eine Gruppe aufeinanderfolgender Scan-Punkte oder Fahrbahnmarkierungspunkte definiert.
In einigen Ausführungen bestimmt die Recheneinheit 3 für jedes der Segmente 21 einen oder mehrere Referenzpunkte 22, wie in 7 gezeigt. Zur Veranschaulichung ist ein Segment 25c in 9A gezeigt. Der Scan-Punkt des Segments 25c mit der kleinsten x-Koordinate ist als ein initialer Scan-Punkt 27a des Segments 25c definiert. Analog ist ein finaler Scan-Punkt 26a des Segments 25c durch den Scan-Punkt mit der größten x-Koordinate gegeben. In dem Beispiel von 9A hat das Segment 25c acht Scan-Punkte einschließlich des finalen Scan-Punkts 26a und des initialen Scan-Punkts 27a. Zum Beispiel kann der finale Scan-Punkt 26a als ein erster Referenzpunkt 28a des Segments 25c definiert sein. Dann kann zum Beispiel der nächstliegende Scan-Punkt mit zumindest einem vordefinierten ersten Abstand in x-Richtung zum Referenzpunkt 28a als ein zweiter Referenzpunkt 28b definiert sein, vorausgesetzt der zweite Referenzpunkt 28b hat zumindest einen vordefinierten zweiten Abstand in x-Richtung zum initialen Scan-Punkt 27a. Auf diese Weise ist sichergestellt, dass zwei aufeinanderfolgende Referenzpunkte 28a, 28b immer zumindest den vordefinierten ersten Abstand in x-Richtung zueinander haben und jeder der Referenzpunkte 28a, 28b ist zumindest um den zweiten Abstand in x-Richtung von dem initialen Scan-Punkt 27a entfernt. In dem Beispiel von 9A ergeben sich aus diesem Schema zwei Referenzpunkte 28a, 28b.
Ein weiteres Segment 25d ist schematisch in 9B gezeigt. Hier hat das Segment 25d nur vier Scan-Punkte einschließlich eines initialen Scan-Punkts 27b und eines finalen Scan-Punkts 26b. Der finale Scan-Punkt 26b ist wiederum definitionsgemäß ein Referenzpunkt 28c. Jedoch hat keiner der weiteren Scan-Punkte des Segments 25d einen Abstand zu dem initialen Scan-Punkt 27b in x-Richtung, der gleich oder größer ist als der erste Abstand. Folglich ist der Referenzpunkt 28c der einzige Referenzpunkt des Segments 25d. Die Konvention, wie die Referenzpunkte zu definieren sind, kann in anderen Ausführungen auch anders sein. Es ist jedoch vorteilhaft eine Regel zum Auswählen der Referenzpunkte der Segmente abhängig von ihren Abständen in x-Richtung vorzugeben.
Die Referenzpunkte können zum Beispiel dazu ausgestaltet sein, die jeweiligen inneren Ränder der Fahrbahnmarkierungen 5 jeweils zu repräsentieren. Dabei kann der innere Rand einer Fahrbahnmarkierung 5 als ein Rand der Fahrbahnmarkierung 5 betrachtet werden, der am nächsten zu dem aktiven optischen Sensorsystem 4 ist. Jeder Referenzpunkt entspricht einem Scan-Punkt des Satzes von Scan-Punkten 20, der die oben beschriebenen Bedingungen erfüllt. Referenzpunkte können dem Segment zugeordnet sein oder einen einzigen Scan-Punkt oder vereinzelten Referenzpunkt darstellen.
Per Konstruktion kann ein Referenzpunkt mit zwei weiteren Instanzen verknüpft sein, die zum gleichen Segment gehören, vorausgesetzt diese sind vorhanden, nämlich einem vorhergehenden Referenzpunkt sowie einem nächsten Referenzpunkt. Dabei ist der vorhergehenden Referenzpunkt gegebenenfalls der Referenzpunkt mit der nächsthöheren x-Koordinate, und der nächste Referenzpunkt ist gegebenenfalls derjenige mit der nächstniedrigeren x-Koordinate. Diese Art von Verknüpfung erlaubt es, die Information, dass das Paar von Referenzpunkten zu dem gleichen Straßenmerkmal oder der gleichen Fahrbahnmarkierung 5 gehört, zu bewahren, und kann daher die Anzahl möglicher Kombinationen während eines anschließenden Mustererkennungsschrittes reduzieren. Ein Referenzpunkt kann zum Beispiel die kartesischen Koordinaten des zugrundeliegenden Scan-Punktes, einen Zeiger auf das jeweilige Segment oder einen NULL-Zeiger, im Falle eines vereinzelten Punktes, sowie jeweilige Zeiger auf den vorhergehenden und den nächsten Referenzpunkt aufweisen, soweit diese vorhanden sind.
10 zeigt ein beispielhaft vereinfachtes Flussdiagramm eines computerimplementierten Verfahrens gemäß dem verbesserten Konzept. In Schritt S1 liest die Recheneinheit 3 alle Ketten von Scan-Punkten, die den verschiedenen Lagen entsprechen. In Schritt S2 wird ein Kettenindex auf null initialisiert. In Schritt S3 überprüft die Recheneinheit 3, ob der Kettenindex kleiner ist als eine vordefinierte Maximalzahl. Ist dies der Fall, so fährt das Verfahren in Schritt S4 fort mit dem Auswählen einer der Ketten, die einer bestimmten Lage entspricht. In Schritt S5 werden die Scan-Punkte der derzeitigen Kette als Fahrbahnmarkierungspunkte oder Asphaltpunkte klassifiziert. In Schritt S6 erzeugt die Recheneinheit 3 ein oder mehrere Segmente für die gegenwärtige Kette. Insbesondere wird die derzeitige Kette von Scan-Punkten mit Hinblick darauf analysiert, ob es Scan-Punkte gibt, die mit großer Wahrscheinlichkeit ein Fahrbahnmarkierungssegment anzeigen. Zu diesem Zweck kann ein Schwellenwert, beispielsweise 90%, für die Wahrscheinlichkeit definiert werden, um das Segment entsprechend zu identifizieren. In Schritt S7 kann ein optionales Segmentfiltern wie weiter unten erklärt ausgeführt werden. Im optionalen Schritt S8 kann ein optionaler Markierungspunktextraktionsschritt ausgeführt werden. Zu diesem Zweck können alle Segmente, die Markierungspunkten entsprechen, verworfen werden. In Schritt S9 wird dann der Kettenindex um eins erhöht. Die Schritte S3 bis S6 und wahlweise S7 und S8 werden iterativ wiederholt bis in Schritt S3 festgestellt wird, dass der Kettenindex gleich der vordefinierten Maximalzahl ist.
Für den Segmenterstellungsalgorithmus werden zum Beispiel nur Segmente mit einer Anzahl von Scan-Punkten berücksichtigt, die eine vordefinierte Mindestzahl überschreitet. Ein Segmentobjekt kann für jedes Segment gespeichert werden und kann verschiedene Informationstypen enthalten, wie etwa eine Anordnung der jeweiligen Scan-Punkte des Segments, einen Nutzungsstatus, den jeweiligen Lageindex und/oder geometrische Informationen des Segments. Die geometrischen Informationen können ein Zentrum, eine Richtung und/oder einen Winkel des Segments, die kartesischen Koordinaten des initialen Scan-Punkts, die kartesischen Koordinaten des finalen Scan-Punkts und/oder eine Länge des Segments enthalten. Die Anordnung von Scan-Punkten kann die Koordinaten aller Scan-Punkte des Segments umfassen. Der Nutzungsstatus kann zum Beispiel zwei Werte, beispielsweise „genutzt“ oder „ungenutzt“ aufweisen. Der Nutzungsstatus kann zum Beispiel von nachfolgenden Mustererkennungsalgorithmen genutzt werden, um Mehrfachzuweisungen eines einzigen Segments zu mehreren Merkmalen der Fahrbahnmarkierung 5 zu vermeiden. Standardmäßig ist der Nutzungsstatus auf „ungenutzt“ gesetzt und kann in späteren Schritten zu „genutzt“ geändert werden.
Das Zentrum entspricht einem Punkt mit einer Zentrums-x-Koordinate, die einem Durchschnittswert der x-Koordinaten der Scan-Punkte des Segments entspricht, und einer y-Koordinate, die einem Durchschnittswert der y-Koordinate der Scan-Punkte entspricht.
Die finalen und initialen Scan-Punkte sind als die Endpunkte eines Segments definiert. Wie oben beschrieben ist der initiale Scan-Punkt der Punkt des Segments mit der niedrigsten x-Koordinate, während der finale Scan-Punkt derjenige mit der größten x-Koordinate ist. Die Richtung eines Segments ist als ein Vektor definiert, der den initialen Scan-Punkt mit dem finalen Scan-Punkt verbindet. Die Länge des Segments ist als der euklidische Abstand zwischen dem initialen Scan-Punkt und dem finalen Scan-Punkt definiert. Der Winkel des Segments ist als ein Winkel zwischen der x-Achse und dem Richtungsvektor definiert. Des Weiteren kann das Segment auch einen Toleranzwinkel speichern, der einer empirischen Unsicherheit des Segmentwinkels entspricht.
Der oben erwähnte optionale Segmentfilterungsschritt von Schritt S7 kann zum Beispiel einer Überprüfung entsprechen, ob einzelne Segmente sich aus Rauschen oder Fehldetektion ergeben und daher als Scheinsegmente betrachtet werden können. Der Algorithmus kann derartigen Segmenten ein jeweiliges Flag zuweisen. Zu diesem Zweck kann die Recheneinheit 3 ein trainiertes künstliches neuronales Netzwerk, insbesondere ein vorwärtsgekoppeltes vollständig verbundenes neuronales Netzwerk, auf die Segmente anwenden. Ein beispielhaftes Flussdiagramm ist in 11 schematisch gezeigt. In Schritt T1 werden die Merkmale des Segments wie oben beschrieben berechnet. Insbesondere wird eine Eingabe erzeugt und einer Eingabenormalisierungslage des neuronalen Netzwerks in Schritt T2 zugeführt. Die Eingabe kann zum Beispiel den Winkel des Segments, einen Polarwinkel des Zentrums des Segments, einen Durchschnittsradialabstand der Scan-Punkte des Segments, eine Differenz zwischen Mindest- und Maximalradialabständen der Scan-Punkte des Segments, eine Differenz zwischen Mindest- und Maximal-EPW der Scan-Punkte des Segments, eine Gesamtanzahl von Scan-Punkten des Segments und/oder die Länge des Segments umfassen. In Schritt T2 kann dann die Eingabe durch die Eingabenormalisierungslage normalisiert werden. In Schritt T3 kann die Ausgabe der Eingabenormalisierungslage einer ersten dichten Lage zugeführt werden, die zum Beispiel eine durch RELU() gegebene Aktivierungsfunktion nutzen kann. Die Ausgabe der ersten dichten Lage kann in Schritt T4 einer Stapelnormalisierungslage zugeführt werden. Die Ausgabe der Stapelnormalisierungslage kann in Schritt T5 auf eine zweite dichte Lage angewendet werden, die die gleiche Aktivierungsfunktion hat wie diejenige, welche die erste dichte Lage in Schritt T3 angewendet hat. An die zweite dichte Lage kann sich eine weitere Stapelnormalisierungslage in Schritt T6 anschließen. In Schritt T7 kann eine dritte dichte Lage, die SIGMOID()eine Aktivierungsfunktion benutzt, auf die Ausgabe der weiteren Stapelnormalisierungslage angewendet werden.
In Schritt T8 kann die Recheneinheit 3 eine Ausgabe der dritten dichten Lage mit einem vordefinierten Schwellenwert vergleichen. Ist die Wahrscheinlichkeit, die der Ausgabe der dritten dichten Lage entspricht, geringer als der Schwellenwert, so wird das jeweilige Segment durch entsprechendes Setzen des Flags in Schritt T9 als Scheinsegment definiert. Andernfalls wird es in Schritt T10 als ein reguläres Segment definiert. Zum Beispiel kann für jedes reguläre Segment eine Liste zugehöriger Referenzpunkte erstellt werden.
Die Ausgabe des computerimplementierten Verfahrens gemäß dem verbesserten Konzept, insbesondere der Segmente und/oder der Referenzpunkte, kann als eine Eingabe einem Mustererkennungsalgorithmus zugeführt werden, um charakteristische Merkmale der Fahrbahnmarkierungen 5 zu bestimmen.
Gemäß dem verbesserten Konzept ist, wie insbesondere anhand der Figuren beschrieben, ein Vorverarbeiten von Scan-Punkten eines aktiven optischen Sensorsystems zum zumindest teilweise automatischen Steuern eines Kraftfahrzeugs vorgesehen, welches die Rechenzeit und Speichererfordernisse der Weiterverarbeitung der Scan-Punkte mit Hinsicht auf Fahrbahnmarkierungen reduziert. Zu diesem Zweck können Lagesegmente bestimmt werden, welche Eigenschaften der gesamten Gruppe von Scan-Punkten repräsentieren, die von der Lage umfasst sind, und durch den Mustererkennungsalgorithmus genutzt werden. Des Weiteren kann in einigen Ausführungen eine Darstellung der Messungen, die zu den inneren Rändern der Fahrbahnmarkierungen gehören, insbesondere als Referenzpunkte bezeichnet, und/oder ein Verfahren der Scheinsegmentdetektion angewendet werden.
Insbesondere kann ein Segmentierungsalgorithmus auf die Fahrbahn-Scan-Punkte einer Lidarpunktwolke angewendet werden. Ein Segment kann als eine Gruppe von Scan-Punkten definiert sein, die durch die gleiche Fahrbahnmarkierung verursacht werden und zu der gleichen Lage der Punktwolke gehören. Dies stellt einen Vorverarbeitungsschritt für Mustererkennungsalgorithmen dar, um die Datenmenge zu abstrahieren und zu reduzieren. Jedes Segment trägt Eigenschaften der Gruppe von Punkten, die diese Gruppe repräsentieren. Des Weiteren kann ein optionaler Scheinsegmenterkennungsalgorithmus angewendet werden. Basierend zum Beispiel auf einem vorwärtsgekoppelten vollständig verbundenen neuronalen Netzwerk können Scheinsegmente identifiziert werden. Die Eingabe an das Netzwerk kann die jeweiligen Eigenschaften der Segmente enthalten, und die Ausgabe des Netzwerks kann durch eine Wahrscheinlichkeit, dass das Segment ein Scheinsegment ist, gegeben sein. Des Weitern kann ein optionaler Referenzpunktabstraktionsalgorithmus der segmentierten Punktwolke angewendet werden. Referenzpunkte können von den Fahrbahnmarkierungsscanpunkten herrühren und können sich auf das zugrundeliegende Segment beziehen. Zum Beispiel können Referenzpunkte eine verknüpfte Liste bilden, falls mehr als ein Referenzpunkt sich auf das gleiche Segment bezieht. Zum Beispiel repräsentieren die Referenzpunkte einen inneren Rand der Fahrbahnmarkierung.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

DE 102007020791 B4 [0003]

Claims

Computerimplementiertes Verfahren zum Vorverarbeiten eines Satzes von Scan-Punkten, die mittels eines aktiven optischen Sensorsystems (4) erhalten werden, welches an einem Kraftfahrzeug (1) montiert ist, zum zumindest teilweise automatischen Steuern des Kraftfahrzeugs (1), wobei - jeder der Scan-Punkte Licht (17) entspricht, welches von einer Lichtquelle (9) des aktiven optischen Sensorsystems (4) ausgesendet wird, von einem Punkt in einer Umgebung des Kraftfahrzeugs (1) reflektiert wird und von einem von zwei oder mehr optischen Detektoren (15) des aktiven optischen Sensorsystems (4) detektiert wird; und - ein jeweiliger Lageindex jedem der Scan-Punkte gemäß dem jeweiligen optischen Detektor (15) zugewiesen wird, von welchem das entsprechende Licht detektiert worden ist, so dass Scan-Punkte, die den gleichen zugewiesenen Lageindex aufweisen, eine Lage von Scan-Punkten bilden; dadurch gekennzeichnet, dass - für jede der Lagen jeweilige Fahrbahnmarkierungspunkte, die Licht entsprechen, das von einem Punkt auf einer von einer oder mehreren Fahrbahnmarkierungen (5) auf einer Fahrbahn (7) in der Umgebung reflektiert wird, abhängig von einer geometrischen Form einer räumlichen Kurve bestimmt werden, die durch die Scan-Punkte der jeweiligen Lage definiert ist; - für jede der Lagen zumindest ein Segment (25a, 25b, 25c, 25d) bestimmt wird, wobei jedes Segment (25a, 25b, 25c, 25d) durch einen oder mehrere aufeinanderfolgende Fahrbahnmarkierungspunkte der jeweiligen Lage gegeben ist; und - Ausgabedaten zum zumindest teilweise automatischen Steuern des Kraftfahrzeugs (1) abhängig von den Segmenten (25a, 25b, 25c, 25d) erzeugt werden.
Computerimplementiertes Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass - für jedes der Segmente (25a, 25b, 25c, 25d) zumindest ein geometrischer Parameter bestimmt wird und ein Konfidenzwert betreffend eine Wahrscheinlichkeit, dass das jeweilige Segment (25a, 25b, 25c, 25d) tatsächlich eine Fahrbahnmarkierung (5) auf der Fahrbahn (7) repräsentiert, abhängig von dem zumindest einen geometrischen Parameter des jeweiligen Segments (25a, 25b, 25c, 25d) bestimmt wird; und - die Ausgabedaten abhängig von den Konfidenzwerten der Segmente (25a, 25b, 25c, 25d) erzeugt werden.
Computerimplementiertes Verfahren nach Anspruch 2, dadurch gekennzeichnet, dass - für jedes der Segmente (25a, 25b, 25c, 25d) der jeweilige bestimmte Konfidenzwert mit einem vordefinierten Schwellenwert verglichen wird; und - die Ausgabedaten abhängig von den Ergebnissen der jeweiligen Vergleiche erzeugt werden.
Computerimplementiertes Verfahren nach einem der Ansprüche 2 oder 3, dadurch gekennzeichnet, dass für jedes der Segmente (25a, 25b, 25c, 25d) der für das jeweilige Segment (25a, 25b, 25c, 25d) bestimmte zumindest eine geometrische Parameter, der als eine Eingabe einem Klassifikator zugeführt wird und der jeweilige Konfidenzwert als eine Ausgabe des Klassifikators oder abhängig von der Ausgabe des Klassifikators erhalten wird.
Computerimplementiertes Verfahren nach Anspruch 4, dadurch gekennzeichnet, dass der Klassifikator ein trainiertes künstliches neuronales Netzwerk, insbesondere ein vorwärtsgekoppeltes vollständig verbundenes neuronales Netzwerk, aufweist.
Computerimplementiertes Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass - für jedes von zumindest einem der Segmente (25a, 25b, 25c, 25d) ein oder mehrere jeweilige Referenzpunkte (28a, 28b, 28c) bestimmt werden, wobei jeder Referenzpunkt (28a, 28b, 28c) durch einen Scan-Punkt des jeweiligen Segments (25a, 25b, 25c, 25d) gegeben ist und eine Anzahl von Referenzpunkten (28a, 28b, 28c) des jeweiligen Segments (25a, 25b, 25c, 25d) von einem Abstandsmaß eines initialen Scan-Punktes (27a, 27b) des jeweiligen Segments (25a, 25b, 25c, 25d) und eines finalen Scan-Punktes (26a, 26b) des jeweiligen Segments (25a, 25b, 25c, 25d) des jeweiligen Segments (25a, 25b, 25c, 25d) abhängt; und - die Ausgabedaten abhängig von den Referenzpunkten (28a, 28b, 28c) erzeugt werden.
Computerimplementiertes Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass - ein Mustererkennungsalgorithmus abhängig von den Ausgabedaten ausgeführt wird; und - zumindest ein Parameter, der die eine oder mehreren Fahrbahnmarkierungen (5) auf der Fahrbahn (7) beschreibt, abhängig von einem Ergebnis des Mustererkennungsalgorithmus bestimmt wird.
Computerimplementiertes Verfahren nach einem der Ansprüche 5 oder 6, dadurch gekennzeichnet, dass - ein Mustererkennungsalgorithmus abhängig von den Ausgabedaten ausgeführt wird, wobei eine Eingabe für den Mustererkennungsalgorithmus von den Referenzpunkten (28a, 28b, 28c) abhängt; und - zumindest ein Parameter, der eine Fahrbahnmarkierung (5) auf der Fahrbahn (7) beschreibt, abhängig von einem Ergebnis des Mustererkennungsalgorithmus bestimmt wird.
Verfahren zum zumindest teilweise automatischen Steuern eines Kraftfahrzeugs (1), wobei ein Satz von Scan-Punkten mittels eines aktiven optischen Sensorsystems (4), welches an dem Kraftfahrzeug (1) montiert ist, erzeugt wird und wobei jeder der Scan-Punkte Licht (17) entspricht, welches von einer Lichtquelle (9) des Sensorsystems (4) ausgesendet wird, von einem Punkt in einer Umgebung des Kraftfahrzeugs (1) reflektiert wird und von einem von zwei oder mehr optischen Detektoren (15) des Sensorsystems (4) detektiert wird, dadurch gekennzeichnet, dass - ein computerimplementiertes Verfahren nach einem der vorhergehenden Ansprüche von zumindest einer Recheneinheit (3) des Kraftfahrzeugs (1) ausgeführt wird; und - das Kraftfahrzeug (1) zumindest teilweise automatisch abhängig von den Ausgabedaten gesteuert wird.
Elektronisches Fahrzeugführungssystem (2) zum zumindest teilweise automatischen Steuern eines Kraftfahrzeugs (1), wobei das elektronische Fahrzeugführungssystem (2) eine Recheneinheit (3) aufweist, die dazu eingerichtet ist, einen Satz von Scan-Punkten zu empfangen, die mittels eines aktiven optischen Sensorsystems (4), das an dem Kraftfahrzeug (1) montiert ist, erhalten werden, wobei - jeder der Scan-Punkte Licht (17) entspricht, welches von einer Lichtquelle (9) des aktiven optischen Sensorsystems (4) ausgesendet wird, von einem Punkt in einer Umgebung des Kraftfahrzeugs (1) reflektiert wird und von einem von zwei oder mehr optischen Detektoren (15) des aktiven optischen Sensorsystems (4) detektiert wird; - ein jeweiliger Lageindex jedem der Scan-Punkte gemäß dem jeweiligen optischen Detektor (15) zugewiesen wird, von welchem das entsprechende Licht detektiert worden ist, so dass Scan-Punkte, die den gleichen zugewiesenen Lageindex aufweisen, eine Lage von Scan-Punkten bilden; dadurch gekennzeichnet, dass die Recheneinheit (3) dazu eingerichtet ist, - für jede der Lagen jeweilige Fahrbahnmarkierungspunkte zu bestimmen, die Licht entsprechen, das von einem Punkt auf einer oder mehreren Fahrbahnmarkierungen (5) auf einer Fahrbahn (7) in der Umgebung reflektiert wird, abhängig von einer geometrischen Form einer räumlichen Kurve, die durch die Scan-Punkte der jeweiligen Lage definiert ist; - für jede der Lagen zumindest ein Segment (25a, 25b, 25c, 25d) zu bestimmen, wobei jedes Segment (25a, 25b, 25c, 25d) durch einen oder mehrere aufeinanderfolgende Fahrbahnmarkierungspunkte der jeweiligen Lage gegeben ist; und - Ausgabedaten zum zumindest teilweise automatischen Steuern des Kraftfahrzeugs (1) abhängig von den Segmenten (25a, 25b, 25c, 25d) zu erzeugen.
Elektronisches Fahrzeugführungssystem (2) nach Anspruch 10, dadurch gekennzeichnet, dass das elektronische Fahrzeugführungssystem (2) das aktive optische Sensorsystem (4) aufweist und das aktive optische Sensorsystem (4) als ein Lidar-System, insbesondere als ein Laserscanner, ausgestaltet ist.
Elektronisches Fahrzeugführungssystem (2) nach Anspruch 11, dadurch gekennzeichnet, dass - das aktive optische Sensorsystem (4) eine Umlenkeinheit (12) aufweist, welche dazu angeordnet und eingerichtet ist, einfallendes Licht (17) auf den jeweiligen einen der zwei oder mehr optischen Detektoren (15) umzulenken; - die zwei oder mehr optischen Detektoren (15) entlang einer Normalachse (z) eines vordefinierten Sensorkoordinatensystems des aktiven optischen Sensorsystems (4) angeordnet sind; - jeder der zwei oder mehr optischen Detektoren (15) dazu angeordnet ist, einfallendes Licht (17) zu detektieren, welches auf die Umlenkeinheit (12) mit einem entsprechenden vertikalen Einfallswinkelbereich bezüglich der Normalachse (z) auftrifft.
Elektronisches Fahrzeugführungssystem (2) nach Anspruch 12, dadurch gekennzeichnet, dass - die Umlenkeinheit (12) dazu eingerichtet und angeordnet ist, einfallendes Licht (17) umzulenken, welches auf die Umlenkeinheit (12) mit einem horizontalen Einfallswinkelbereich bezüglich einer Längsachse (x) des Sensorkoordinatensystems auftrifft, wobei die Längsachse (x) senkrecht zur Normalachse (z) ist; und - der horizontale Einfallswinkelbereich von einem Zustand der Umlenkeinheit (12) abhängt.
Elektronisches Fahrzeugführungssystem (2) nach Anspruch 12, dadurch gekennzeichnet, dass - die Umlenkeinheit (12) einen Spiegel aufweist, welcher drehbar um eine Rotationsachse montiert ist, die parallel zur normalen Achse ist (z); und - der Zustand der Umlenkeinheit (12) einem Rotationswinkel des Spiegels entspricht.
Computerprogrammprodukt, welches Befehle beinhaltet, die, - wenn sie von einem Computersystem ausgeführt werden, das Computersystem dazu veranlassen, ein computerimplementiertes Verfahren nach einem der Ansprüche 1 bis 8 durchzuführen; und/oder - wenn sie von einem elektronischen Fahrzeugführungssystem (2) nach einem der Ansprüche 10 bis 14 ausgeführt werden, das elektronische Fahrzeugführungssystem (2) dazu veranlassen, ein Verfahren nach Anspruch 9 durchzuführen.