DE102020120405A1

DE102020120405A1 - Klassifizieren einer Straßenmarkierung

Info

Publication number: DE102020120405A1
Application number: DE102020120405.1A
Authority: DE
Inventors: Diana Lacatus
Original assignee: Valeo Schalter und Sensoren GmbH
Current assignee: Valeo Schalter und Sensoren GmbH
Priority date: 2020-08-03
Filing date: 2020-08-03
Publication date: 2022-02-03

Abstract

Gemäß einem Verfahren zum Klassifizieren einer Straßenmarkierung (4) wird eine Menge von Abtastpunkten (9) durch eine Recheneinheit (8) empfangen. Jeder der Abtastpunkte (9) wird durch eine Recheneinheit (8) einer Zelle eines vordefinierten zweidimensionalen räumlichen Rasters (10) zugeordnet. Durch die Recheneinheit (8) wird eine binäre Matrix (11) erzeugt, wobei jeder Eintrag der binären Matrix (11) entsprechend einer jeweiligen Zelle des Rasters (10) einen vordefinierten ersten Wert aufweist, wenn die jeweilige Zelle leer ist, und einen vordefinierten zweiten Wert aufweist, wenn die jeweilige Zelle belegt ist, und die Straßenmarkierung (4) durch die Recheneinheit (8) in Abhängigkeit von der binären Matrix (11) klassifiziert wird.

Description

Die vorliegende Erfindung betrifft ein Verfahren zum Klassifizieren einer Straßenmarkierung, wobei eine Menge von Abtastpunkten durch eine Recheneinheit empfangen wird, wobei jeder Abtastpunkt der Menge von Abtastpunkten zweidimensionale Koordinaten auf einer Straße enthält. Die Erfindung betrifft ferner ein Verfahren zur mindestens teilweise automatischen Führung eines Kraftfahrzeugs, ein aktives optisches Sensorsystem, ein elektronisches Fahrzeugführungssystem und ein Computerprogrammprodukt.
Die Klassifizierung von Straßenmarkierungen, die auch als Fahrstreifenmarkierungen bezeichnet werden, ist eine wichtige Aufgabe im Zusammenhang mit halb- oder vollautomatisiertem Fahren. Da verschiedene Arten von Straßenmarkierungen verschiedene Entscheidungen durch ein fortgeschrittenes Fahrerassistenzsystem, ADAS, oder ein anderes elektronisches Fahrzeugführungssystem erfordern können, ist es wichtig, die Straßenmarkierungen zuverlässig zu klassifizieren.
Bestehende Ansätze zur Objektklassifikation, zum Beispiel basierend auf Computer-Vision-Algorithmen, werten Kamerabilder, Videos oder Lidar-Punktwolken aus. Diese Ansätze erfordern jedoch eine erhebliche Rechenleistung, insbesondere im Hinblick auf Rechenzeit und Speicherbedarf.
Folglich sind diese Ansätze möglicherweise nicht für eingebettete Computersysteme geeignet, wie sie üblicherweise in Kraftfahrzeugen verwendet werden, die in der Regel über begrenzte Rechenressourcen verfügen.
Es ist daher Gegenstand der vorliegenden Erfindung, ein verbessertes Konzept für die Klassifizierung von Straßenmarkierungen bereitzustellen, die weniger Rechenressourcen, insbesondere weniger Rechenzeit und/oder weniger Speicher benötigen.
Das verbesserte Konzept basiert auf dem Gedanken, eine binäre Matrix basierend auf Abtastpunkten, die die Umgebung, insbesondere eine Straße in der Umgebung, repräsentieren, zu erzeugen und die Klassifizierung der Straßenmarkierung basierend auf der binären Matrix durchzuführen.
Gemäß dem verbesserten Konzept wird ein Verfahren, insbesondere ein computerimplementiertes Verfahren, zum Klassifizieren einer Straßenmarkierung bereitgestellt. Eine Menge von Abtastpunkten wird durch eine Recheneinheit, zum Beispiel eine Recheneinheit eines Kraftfahrzeugs, ein elektronisches Fahrzeugführungssystem und/oder ein aktives optisches Sensorsystem des Fahrzeugs, empfangen. Jeder Abtastpunkt der Menge von Abtastpunkten enthält zweidimensionale Koordinaten auf der Straße. Jeder der Abtastpunkte der Menge der Abtastpunkte wird durch die Recheneinheit einer Zelle, insbesondere genau einer Zelle, eines vordefinierten zweidimensionalen räumlichen Rasters zugeordnet. Eine binäre Matrix wird durch die Recheneinheit erzeugt, wobei jeder Eintrag der binären Matrix einer jeweiligen Zelle des Rasters entspricht. Jeder Eintrag der binären Matrix weist einen vordefinierten ersten Wert auf, wenn die betreffende Zelle leer ist, und einen vordefinierten zweiten Wert auf, wenn die betreffende Zelle, insbesondere durch einen oder mehrere der Abtastpunkte, belegt ist. Die Straßenmarkierung wird durch die Recheneinheit in Abhängigkeit von der binären Matrix klassifiziert.
Das Empfangen der Abtastpunkte durch die Recheneinheit kann zum Beispiel das Empfangen der Menge von Abtastpunkten aus einer Speichervorrichtung der Recheneinheit oder aus einer externen Speichervorrichtung umfassen. Das Empfangen der Menge von Abtastpunkten kann zum Beispiel das Empfangen der Menge von Abtastpunkten aus einer anderen externen Vorrichtung, zum Beispiel einem aktiven optischen Sensorsystem, oder das Empfangen von Rohdaten aus der externen Vorrichtung oder der Speichervorrichtung und das Erzeugen der Menge von Abtastpunkten aus den Rohdaten umfassen. Die Rohdaten können zum Beispiel Punktwolkendaten enthalten, die zum Beispiel durch das aktive optische Sensorsystem erzeugt werden können.
Das aktive optische Sensorsystem kann zum Beispiel als Lidarsystem ausgelegt sein.
Insbesondere kann die Menge von Abtastpunkten zum Beispiel nur solche Abtastpunkte umfassen, die Bodenpunkten oder Bodenreflexionen entsprechen. Mit anderen Worten, jeder der Abtastpunkte entspricht einer tatsächlichen oder scheinbaren Reflexion eines Messsignals, zum Beispiel reflektiertem Licht, von der Straße. Insbesondere umfasst die Menge von Abtastpunkten nur Punkte, die der Straßenmarkierung mit einer Wahrscheinlichkeit, die größer als eine vordefinierte Mindestwahrscheinlichkeit ist, entsprechen.
Andere Abtastpunkte, die durch die Rohdaten oder die Punktwolkendaten umfasst werden, können zum Beispiel herausgefiltert oder entfernt werden, bevor die Menge von Abtastpunkten erzeugt oder der Recheneinheit zur Verfügung gestellt wird. Alternativ kann das Filtern oder Entfernen dieser anderen Punkte durch die Recheneinheit durchgeführt werden.
Das räumliche Raster kann zum Beispiel einer zweidimensionalen Diskretisierung der Straßenoberfläche entsprechen. Mit anderen Worten kann das zweidimensionale räumliche Raster als eine diskrete Annäherung an die Fläche der Straße betrachtet werden.
Abhängig von der Größe der Straßenmarkierung oder dem betrachteten Merkmal der Straßenmarkierung kann die Rastergröße durch G_x × G_y angegeben werden, wobei G_x und G_y in der Größenordnung von 20 bis 200, zum Beispiel in der Größenordnung von 50 bis 150 oder in der Größenordnung von 50 bis 100 liegen. Dabei ist das Raster nicht unbedingt quadratisch. Die Rasterzellen können zum Beispiel rechteckig oder quadratisch sein.
Während die Auflösung der Abtastpunkte zum Beispiel in der Größenordnung von Zentimetern, zum Beispiel in der Größenordnung von 1 cm, liegen kann, kann die Ausdehnung der Rasterzelle zum Beispiel in der Größenordnung von 10 cm oder einigen 10 cm bis 100 oder einigen 100 cm liegen.
Hier und im Folgenden kann eine binäre Matrix als eine Matrix verstanden werden, bei der jeder Eintrag der Matrix entweder den ersten Wert, der zum Beispiel Null sein kann, oder den zweiten Wert, der zum Beispiel Eins sein kann, aufweist.
Mit anderen Worten entspricht der erste Wert, zum Beispiel Null, einer leeren Zelle des Rasters und der zweite Wert, zum Beispiel Eins, einer belegten Zelle des Rasters. Dabei kann eine Zelle des Rasters als belegt angesehen werden, wenn die zweidimensionalen Koordinaten mindestens eines Abtastpunktes aus der Menge der Abtastpunkte innerhalb der Zelle liegen. Andernfalls kann die Zelle als leer angesehen werden.
Das Zuordnen der Abtastpunkte der Menge von Abtastpunkten zum Raster kann als eine Reduzierung der Auflösung betrachtet werden, da die durch die Größe der Rasterzellen definierte Auflösung niedriger als die ursprüngliche Auflösung der Abtastpunkte bzw. der Punktwolkendaten ist.
Insbesondere ist jeder der Abtastpunkte genau einer der Zellen zugeordnet. Falls zwei oder mehr Abtastpunkte derselben Zelle entsprechen, wird die entsprechende Zelle als belegt betrachtet und auf die gleiche Weise behandelt, als befände sich nur ein Abtastpunkt in der betreffenden Zelle.
Das Erzeugen der binären Matrix kann beispielsweise so verstanden werden, dass die binäre Matrix durch die Recheneinheit, zum Beispiel auf der Speichervorrichtung, gespeichert wird.
Wie beschrieben, ermöglicht das Verfahren gemäß dem verbesserten Konzept das Klassifizieren der Straßenmarkierung basierend auf einer im Vergleich zur Menge von Abtastpunkten oder den Punktwolkendaten reduzierten Menge von Informationen, die durch die binäre Matrix repräsentiert wird. Folglich werden weniger Rechenressourcen benötigt, insbesondere können die benötigte Rechenzeit und die benötigten Speicherressourcen reduziert werden.
Da die Straßenmarkierungen in der Regel Objekte mit einer relativ geringen Komplexität sind, hat der Verlust von Informationen keine negativen Auswirkungen auf die Klassifizierung. Mit anderen Worten kann die Menge von Abtastpunkten mehr Informationen enthalten, als für die Klassifizierung tatsächlich erforderlich oder verwendbar sind. Daher verbessert das verbesserte Konzept die Effizienz der Klassifikation.
Der Klassifizierungsschritt selbst, das heißt das Klassifizieren der Straßenmarkierung in Abhängigkeit von der binären Matrix, kann durch Verwendung herkömmlicher Klassifikatoren, Entscheidungsbäume oder Klassifikatoren basierend auf maschinellem Lernen oder künstlichen neuronalen Netzen durchgeführt werden.
Gemäß mehreren Implementierungen des Verfahrens wird die Menge der Abtastpunkte durch Punktwolkendaten eines aktiven optischen Sensorsystems festgelegt oder hängt davon ab. Die Punktwolkendaten entsprechen insbesondere einer oder mehreren Punktwolken oder Teilen davon, die durch ein aktives optisches Sensorsystem erzeugt werden. Die Punktwolkendaten können zum Beispiel dreidimensionale räumliche Informationen umfassen und neben Bodenreflexionen und insbesondere neben Reflexionen von der Straßenmarkierung weitere Punkte aufweisen oder auch nicht.
Gemäß mehreren Implementierungen wird durch die Recheneinheit eine Rauschfilterung der binären Matrix durchgeführt. Die Straßenmarkierung wird durch die Recheneinheit in Abhängigkeit von der rauschgefilterten binären Matrix klassifiziert.
Durch Verwendung der rauschgefilterten binären Matrix als Grundlage für die Klassifizierung können die Ergebnisse der Klassifizierung zuverlässiger sein. Ferner können durch die Rauschfilterung unnötige Informationen, die noch in der binären Matrix enthalten sind, entfernt werden, was ebenfalls zu einer Verringerung der Rechenzeit und des Speicherbedarfs führt.
Gemäß mehreren Implementierungen umfasst die Rauschfilterung für jede Zeile der binären Matrix das Bestimmen einer entsprechenden Zeilenbelegungszahl, die der Anzahl der Einträge in der jeweiligen Zeile mit dem zweiten Wert entspricht. Die Rauschfilterung umfasst ferner das Setzen aller Einträge der jeweiligen Zeile auf den ersten Wert, wenn die Zeilenbelegungszahl kleiner als eine vordefinierte Zeilenschwellenzahl ist.
Mit anderen Worten entspricht die Zeilenbelegungszahl insbesondere dann, wenn der erste Wert Null und der zweite Wert Eins ist, der Anzahl der Nicht-Null-Einträge in der jeweiligen Zeile. Nur Zeilen mit einer Zeilenbelegungszahl, die größer als die Zeilenschwellenzahlen ist, werden beibehalten, alle anderen Zeilen werden auf Null gesetzt.
Auf diese Weise wird der Tatsache Rechnung getragen, dass sich Rauschen in der Regel als einzelne oder spärliche Einträge und nicht als größere, dichtere Häufungen man ifestiert.
Gemäß mehreren Implementierungen umfasst die Rauschfilterung für jede Spalte der binären Matrix das Bestimmen einer entsprechenden Spaltenbelegungszahl, die der Anzahl der Einträge in der jeweiligen Spalte mit dem zweiten Wert entspricht, und das Setzen aller Einträge der jeweiligen Spalte auf den ersten Wert, wenn die Spaltenbelegungszahl kleiner als die vordefinierte Spaltenschwellenzahl ist.
In einigen Implementierungen wird die beschriebene Rauschfilterung für die Zeilen und für die Spalten der binären Matrix durchgeführt. Beispielsweise wird die Rauschfilterung wie beschrieben auf die binäre Matrix für die Zeilen angewendet und die Schritte zur Filterung der Spalten werden auf die resultierende zeilenrauschgefilterte binäre Matrix angewendet oder umgekehrt.
Ferner können die Schritte der zeilenbasierten Rauschfilterung und/oder der spaltenbasierten Rauschfilterung mehr als einmal durchgeführt werden.
Zum Beispiel kann die binäre Matrix basierend auf den Zeilen rauschgefiltert werden, die resultierende Matrix kann basierend auf den Spalten rauschgefiltert werden und die resultierende Matrix kann wiederum basierend auf den Zeilen rauschgefiltert werden. Ebenso sind Implementierungen möglich, die mit der spaltenbasierten Rauschfilterung in der beschriebenen Weise beginnen. Auch Implementierungen mit mehr als drei Zyklen der Rauschfilterung sind möglich.
Die Rauschfilterung basierend auf dem Vergleich der Zeilenbelegungszahl mit dem Zeilenschwellenwert und/oder der Spaltenbelegungszahl mit der Spaltenschwellenzahl ermöglicht einen effektiven Kompromiss zwischen dem zulässigen Rauschen und dem Niveau der gewünschten Details, die beibehalten werden sollen.
Wird zum Beispiel nur eine grobe Klassifizierung gewünscht, können die Schwellenzahlen größer gewählt werden, wobei die Menge der Schwellenwerte stärker reduziert wird. Folglich können die Rechenzeit und der Speicherbedarf weiter reduziert werden.
Werden die Schwellenwerte hingegen relativ klein gewählt, kann eine detailliertere Feinstruktur der binären Matrix beibehalten werden.
Insbesondere kann das Erzeugen der rauschgefilterten Matrix zum Beispiel das Speichern der rauschgefilterten Matrix, zum Beispiel auf der Speichervorrichtung, umfassen.
Gemäß mehreren Implementierungen wird durch die Recheneinheit in Abhängigkeit von der binären Matrix, insbesondere in Abhängigkeit von der rauschgefilterten binären Matrix, eine gleichförmige Matrix erzeugt, indem sie ein kartesisches Produkt einer Matrix in Abhängigkeit von der binären Matrix mit sich selbst berechnet, d. h. durch Berechnen des kartesischen Produkts der Matrix in Abhängigkeit von der binären Matrix mit der Matrix in Abhängigkeit von der binären Matrix. Die Straßenmarkierung wird durch die Recheneinheit in Abhängigkeit von der gleichförmigen Matrix klassifiziert. Die von der binären Matrix abhängige Matrix kann mit der binären Matrix identisch sein oder mit der rauschgefilterten binären Matrix identisch sein.
Durch Verwendung der einheitlichen Matrix als Grundlage für die Klassifizierung kann eine höhere Abstraktionsebene, zum Beispiel in Bezug auf unterschiedliche Perspektiven, die die Straßenmarkierung durch das Sensorsystem betrachtet wird, erreicht werden. Zum Beispiel kann die Straßenmarkierung je nach Perspektive als eine oder mehrere gerade Linien oder eine oder mehrere gekrümmte Linien erscheinen. Solche Unterschiede spiegeln jedoch nicht unbedingt unterschiedliche Arten von Straßenmarkierungen wider. Durch Verwendung des kartesischen Produkts können solche Unterschiede ausgeglichen oder vereinheitlicht werden.
Folglich werden durch die Verwendung der einheitlichen Matrix weniger Informationen für die Klassifikation verwendet, wodurch sich Rechenzeit und Speicherbedarf verringern. Auch der Klassifizierungsschritt kann einfacher werden, da Straßenmarkierungen derselben Art, aber unter verschiedenen Bedingungen oder Perspektiven betrachtet, zu ähnlicheren gleichförmigen Matrizen im Vergleich zu ihren zugrunde liegenden binären Matrizen führen können.
Gemäß mehreren Implementierungen ist der erste Wert gleich Null und der zweite Wert gleich Eins. Die binäre Matrix umfasst N Zeilen und M Spalten. Die gleichförmige Matrix umfasst N Zeilen und M Spalten. Für jeden Eintrag U(i,j) der gleichförmigen Matrix gelten die folgenden Gleichungen: $\begin{array}{l} U (i,j) = 1, wenn \sum_{k=1}^{N} E (i,k) > 0 und \sum_{k = 1}^{M} E (k,j) > 0 und \\ U (i,j) = 0, wenn \sum_{k=1}^{N} E (i,k) > 0 oder \sum_{k = 1}^{M} E (k,j) > 0. \end{array}$
Darin sind E(i,k) und E(k,j) entsprechende Einträge der Matrix abhängig von der binären Matrix. Insbesondere sind E(i,k) und E(k,j) jeweils Einträge der binären Matrix oder der rauschgefilterten binären Matrix. N und M sind ganze Zahlen, und N kann zum Beispiel gleich M sein.
Insbesondere weist die von der binären Matrix abhängige Matrix, zum Beispiel die rauschgefilterte binäre Matrix, N Zeilen und M Spalten auf.
Die obigen Gleichungen können zum Beispiel in Betracht gezogen werden, um das kartesische Produkt der Matrix in Abhängigkeit von der binären Matrix mit sich selbst zu definieren.
Durch Verwendung dieses kartesischen Produkts werden einfache und gleichförmige Muster aus der binären Matrix extrahiert, welche nach wie vor die Art der Straßenmarkierung anzeigen.
Gemäß mehreren Implementierungen wird durch die Recheneinheit eine komprimierte Datenmenge durch Anwenden einer Kompressionstechnik für dünnbesetzte Matrizen auf die gleichförmige Matrix erzeugt. Die Straßenmarkierung wird durch die Recheneinheit in Abhängigkeit von der komprimierten Datenmenge klassifiziert.
Durch den Aufbau und insbesondere durch die Berücksichtigung nur der Reflexionen von der Straßenmarkierung in der Menge von Abtastpunkten können die binäre Matrix und insbesondere die gleichförmige Matrix als dünnbesetzte Matrizen betrachtet werden. Daher wird durch Verwendung der Kompressionstechnik für dünnbesetzte Matrizen der Speicherbedarf weiter reduziert.
Insbesondere berücksichtigt die Kompressionstechnik für dünnbesetzte Matrizen die Dünnbesetzung der gleichförmigen Matrix, um redundante oder unnötige Informationen zu eliminieren.
Insbesondere umfasst das Erzeugen der komprimierten Datenmenge das Speichern der komprimierten Datenmenge auf der Speichervorrichtung.
Gemäß mehreren Implementierungen umfasst das Komprimieren der dünnbesetzten Matrix eine Dictionary-of-Key-Operation, eine List-of-Lists-Operation, eine Koordinatenlisten-Operation, eine Komprimierung dünnbesetzter Zeilen und/oder eine Komprimierung dünnbesetzter Spalten.
Gemäß mehreren Implementierungen umfasst das Komprimieren der dünnbesetzten Matrix das Bestimmen einer Liste von Zeilenindizes, wobei die Zeilenindizes der Liste bestimmen, welche Zeilen der gleichförmigen Matrix mindestens einen Eintrag mit dem zweiten Wert aufweisen, zum Beispiel eine.
Gemäß mehreren Implementierungen umfasst das Komprimieren der dünnbesetzten Matrix das Bestimmen einer Liste von Spaltenindizes, wobei die Spaltenindizes der Liste bestimmen, welche Spalten der gleichförmigen Matrix mindestens einen Eintrag mit dem zweiten Wert aufweisen, insbesondere eine.
Die Liste der Zeilenindizes oder die Liste der Spaltenindizes wird insbesondere auf der Speichervorrichtung gespeichert.
Je nach verwendetem Koordinatensystem kann die Straßenmarkierung allein anhand der Liste der Zeilenindizes oder der Liste der Spaltenindizes nach mehreren Kriterien klassifiziert werden.
Abhängig von einer der Listen kann die Recheneinheit beispielsweise bestimmen, ob die Straßenmarkierung eine durchgehende Straßenmarkierung oder eine unterbrochene Straßenmarkierung ist, die zwei oder mehr durch entsprechende Lücken getrennte Markierungssegmente umfasst.
In Abhängigkeit von der jeweils anderen Liste kann eine Breite der Straßenmarkierung, zum Beispiel eine Vielfachheit der Straßenmarkierung, d. h. ob die Straßenmarkierung einer einzelnen durchgehenden oder unterbrochenen Linie oder zwei oder mehreren parallelen durchgehenden oder unterbrochenen Linien entspricht, bestimmt werden.
Durch Kombinieren beider Listen kann eine besonders detaillierte Klassifizierung erreicht werden.
Durch Verwendung der Liste der Spaltenindizes und/oder der Liste der Zeilenindizes für die Klassifizierung wird eine besonders effiziente Darstellung der relevanten Informationen bezüglich der Straßenmarkierung erreicht. Daher können der Speicherbedarf und der Rechenzeitbedarf weiter reduziert werden.
Basierend auf der Liste der Zeilenindizes kann zum Beispiel eine maximale Lückenbreite zwischen unbelegten Zeilen und/oder eine maximale Länge von Segmenten belegter Zeilen bestimmt werden. Basierend auf der maximalen Lückenlänge oder der maximalen Länge der belegten Zeilen kann die Art der Straßenmarkierung bestimmt oder eingegrenzt werden. Dasselbe gilt entsprechend für die Liste der Spaltenindizes.
Gemäß mehreren Implementierungen wird zum Klassifizieren der Straßenmarkierung in Abhängigkeit von der binären Matrix eine Klasse, insbesondere genau eine Klasse, aus einer vordefinierten Vielzahl von Klassen durch die Recheneinheit der Straßenmarkierung zugeordnet, und zwar in Abhängigkeit von der binären Matrix, insbesondere in Abhängigkeit von der gleichförmigen Matrix, beispielsweise in Abhängigkeit von der Liste der Zeilenindizes und/oder der Liste der Spaltenindizes.
Für die Zuordnung der Klasse zur Straßenmarkierung können herkömmliche Klassifikatoren, Entscheidungsbäume oder Klassifikatoren basierend auf maschinellem Lernen oder künstlichen neuronalen Netzen verwendet werden.
Die der Straßenmarkierung zugeordnete Klasse kann als wertvoller Anhaltspunkt für die mindestens teilweise automatische Führung eines Kraftfahrzeugs verwendet werden, die beispielsweise das aktive optische Sensorsystem umfasst.
Gemäß mehreren Implementierungen wird zum Klassifizieren der Straßenmarkierung in Abhängigkeit von der binären Matrix durch die Recheneinheit in Abhängigkeit von der binären Matrix ein der zugenordneten Klasse entsprechender Vertrauenswert bestimmt.
Der Vertrauenswert entspricht einer Wahrscheinlichkeit, dass die zugeordnete Klasse korrekt ist.
Gemäß mehreren Implementierungen wird die Klasse der Straßenmarkierung in Abhängigkeit von einer räumlichen Kontinuität der Straßenmarkierung zugeordnet.
Die Kontinuität der Straßenmarkierung kann zum Beispiel einer Straßenmarkierung entsprechen, die eine durchgehende Straßenmarkierung ist, d. h. eine Straßenmarkierung, die mindestens eine Linie umfasst, die über eine vordefinierte Strecke ununterbrochen ist, oder eine unterbrochene Straßenmarkierung.
Im Falle einer unterbrochenen Linie kann ein Merkmal der Straßenmarkierung ein Verhältnis der Segmentlänge zur Lückenlänge zwischen den Segmenten umfassen.
Gemäß mehreren Implementierungen wird die Klasse der Straßenmarkierung in Abhängigkeit von einer Vielfachheit der Straßenmarkierung zugeordnet.
Die Vielfachheit der Straßenmarkierung kann als die Anzahl der parallelen oder im Wesentlichen parallelen durchgehenden oder unterbrochenen Linien verstanden werden, die die Straßenmarkierung umfasst.
Insbesondere kann die Vielfachheit gleich eins sein, entsprechend Straßenmarkierungen, die eine einzige durchgehende oder unterbrochene Linie umfassen, oder zwei entsprechend einer doppellinigen Straßenmarkierung.
Die doppellinige Straßenmarkierung kann zwei durchgehende parallele Linien oder zwei unterbrochene durchgehende Linien oder eine durchgehende Linie und eine unterbrochene Linie umfassen.
Weitere Merkmale von Straßenmarkierungen, gemäß denen die Klassifizierung durchgeführt werden kann, können eine Breite von einer oder mehreren Linien der Straßenmarkierung und so weiter umfassen.
Auf diese Weise können wichtige Informationen für die Entscheidungsfindung beim halb- oder vollautomatisierten Fahren bereitgestellt werden.
Gemäß mehreren Implementierungen werden die Punktwolkendaten durch die Recheneinheit aus einem aktiven optischen Sensorsystem, zum Beispiel aus einem Lidarsystem, empfangen. Die Punktwolkendaten werden durch die Recheneinheit gefiltert, um die Menge der Abtastpunkte zu erhalten.
Insbesondere kann das Empfangen der Punktwolkendaten und das Erzeugen der Menge von Abtastpunkten das Empfangen der Menge von Abtastpunkten durch die Recheneinheit umfassen oder diesem entsprechen.
Gemäß mehreren Implementierungen umfasst das Filtern der Punktwolkendaten das Entfernen von Nicht-Bodenpunkten aus den Punktwolkendaten.
Gemäß mehreren Implementierungen umfasst das Filtern das Extrahieren eines oder mehrerer Straßenmarkierungsmerkmale aus den Punktwolkendaten.
Gemäß mehreren Implementierungen wird die Recheneinheit dazu verwendet, basierend auf den Punktwolkendaten eine Zwischenmenge von Abtastpunkten zu erzeugen und die Menge der Abtastpunkte basierend auf der Zwischenmenge der Abtastpunkte zu erzeugen.
Beispielsweise kann die Recheneinheit die Zwischenmenge der Abtastpunkte skalieren und/oder übersetzen, um die Menge der Abtastpunkte zu erhalten.
Mit anderen Worten kann die Menge der Abtastpunkte der Zwischenmenge von Abtastpunkten bis zu einem oder mehreren linearen Operationen entsprechen.
Gemäß mehrerer Implementierungen werden die Punktwolkendaten durch das aktive optische Sensorsystem erzeugt. Mit anderen Worten kann der Schritt des Erzeugens der Punktwolkendaten durch das aktive optische Sensorsystem durch das Verfahren gemäß dem verbesserten Konzept erfolgen oder einen Schritt vor dem Verfahren gemäß dem verbesserten Konzept darstellen.
Gemäß dem verbesserten Konzept wird auch ein Verfahren zur mindestens teilweise automatischen Führung eines Kraftfahrzeugs bereitgestellt. Zu diesem Zweck wird eine Straßenmarkierung in einer Umgebung des Kraftfahrzeugs durch ein Verfahren zum Klassifizieren einer Straßenmarkierung gemäß dem verbesserten Konzept klassifiziert. Abhängig von einem Ergebnis der Klassifizierung, insbesondere in Abhängigkeit von der der Straßenmarkierung zugeordneten Klasse, werden insbesondere durch eine Recheneinheit des Kraftfahrzeugs ein oder mehrere Steuersignale zur mindestens teilweise automatischen Führung des Kraftfahrzeugs erzeugt.
Unter einem elektronischen Fahrzeugführungssystem kann ein elektronisches System verstanden werden, das dazu ausgelegt ist, ein Fahrzeug vollautomatisiert oder vollständig autonom zu führen, insbesondere ohne dass ein manueller Eingriff oder eine manuelle Steuerung durch einen Fahrer oder Benutzer des Fahrzeugs nötig ist. Das Fahrzeug führt die erforderlichen Lenkmanöver, Bremsmanöver und/oder Beschleunigungsmanöver usw. automatisch durch. Insbesondere kann das elektronische Fahrzeugführungssystem einen vollautomatischen oder vollständig autonomen Fahrmodus gemäß Stufe 5 der SAE J3016-Klassifizierung implementieren. Ein elektronisches Fahrzeugführungssystem kann auch als fortgeschrittenes Fahrerassistenzsystem, ADAS, implementiert werden, das den Fahrer beim teilautomatischen oder teilautonomen Fahren unterstützt. Insbesondere kann das elektronische Fahrzeugführungssystem einen teilweise automatischen oder teilweise autonomen Fahrmodus gemäß den Stufen 1 bis 4 der SAE J3016-Klassifizierung implementieren. Hier und im Folgenden bezieht sich SAE J3016 auf die entsprechende Norm vom Juni 2018.
Das mindestens teilweise automatische Führen des Fahrzeugs kann daher das Führen des Fahrzeugs gemäß Stufe 5 der SAE J3016-Klassifizierung in einem vollautomatischen oder vollständig autonomen Fahrmodus umfassen. Das mindestens teilweise automatische Führen des Fahrzeugs kann auch das Führen des Fahrzeugs gemäß einem teilautomatischen oder teilautonomen Fahrmodus gemäß den Stufen 1 bis 4 der SAE J3016-Klassifizierung umfassen.
Gemäß dem verbesserten Konzept wird auch ein aktives optisches Sensorsystem, insbesondere für ein Kraftfahrzeug, bereitgestellt. Das aktive optische Sensorsystem umfasst eine Sensoreinheit, die dazu ausgelegt ist, Punktwolkendaten zu erzeugen, die eine Umgebung der Sensoreinheit, die Umgebung einschließlich einer Straßenmarkierung auf einer Straße darstellen. Das aktive optische Sensorsystem umfasst eine Recheneinheit, die dazu ausgelegt ist, in Abhängigkeit von den Punktwolkendaten eine Menge von Abtastpunkten zu erzeugen, wobei jeder Abtastpunkt der Menge von Abtastpunkten zweidimensionale Koordinaten auf der Straße enthält. Die Recheneinheit ist dazu ausgelegt, jeden der Abtastpunkte aus der Menge der Abtastpunkte einer Zelle eines vordefinierten zweidimensionalen räumlichen Rasters zuzuordnen und eine binäre Matrix zu erzeugen. Jeder Eintrag der binären Matrix entspricht einer entsprechenden Zelle des Rasters, jeder Eintrag der binären Matrix weist einen vordefinierten ersten Wert auf, wenn die entsprechende Zelle leer ist, und jeder Eintrag der binären Matrix weist einen vordefinierten zweiten Wert auf, wenn die entsprechende Zelle belegt ist. Die Recheneinheit ist dazu ausgelegt, die Straßenmarkierung in Abhängigkeit von der binären Matrix zu klassifizieren.
Per Definition umfasst ein aktives optisches Sensorsystem eine Lichtquelle zum Aussenden von Licht bzw. Lichtimpulsen. Die Lichtquelle kann zum Beispiel als Laser, insbesondere als Infrarotlaser, implementiert sein. Ferner umfasst ein aktives optisches Sensorsystem per Definition mindestens einen optischen Detektor, um reflektierte Teile des ausgesandten Lichts zu erkennen. Insbesondere ist das aktive optische Sensorsystem dazu ausgelegt, ein oder mehrere Sensorsignale basierend auf den erkannten Lichtanteilen zu erzeugen und die Sensorsignale zu verarbeiten und/oder auszugeben.
Gemäß mehreren Implementierungen des aktiven optischen Sensorsystems ist das aktive optische Sensorsystem als Lidarsystem ausgelegt.
Gemäß dem verbesserten Konzept wird auch ein elektronisches Fahrzeugführungssystem bereitgestellt. Das elektronische Fahrzeugführungssystem umfasst ein aktives optisches Sensorsystem gemäß dem verbesserten Konzept und eine Recheneinheit. Die Recheneinheit ist dazu ausgelegt, in Abhängigkeit von einem Klassifizierungsergebnis ein oder mehrere Steuersignale zur mindestens teilweisen automatischen Führung des Kraftfahrzeugs zu erzeugen.
Weitere Implementierungen des aktiven optischen Sensorsystems gemäß dem verbesserten Konzept folgen direkt aus den verschiedenen Implementierungen der Verfahren gemäß dem verbesserten Konzept und umgekehrt. Insbesondere kann ein aktives optisches Sensorsystem gemäß dem verbesserten Konzept dazu ausgelegt sein, ein Verfahren zum Klassifizieren einer Straßenmarkierung gemäß dem verbesserten Konzept zu programmieren oder auszulegen oder ein solches Verfahren durchzuführen.
Ferner kann ein elektronisches Fahrzeugführungssystem gemäß dem verbesserten Konzept dazu programmiert oder ausgelegt sein, ein Verfahren zur mindestens teilweisen automatischen Führung eines Kraftfahrzeugs gemäß dem verbesserten Konzept auszuführen.
Gemäß dem verbesserten Konzept wird auch ein erstes Computerprogramm bereitgestellt, das erste Computeranweisungen umfasst. Wenn die ersten Anweisungen bzw. das erste Computerprogramm über ein Computersystem ausgeführt werden, veranlassen die ersten Anweisungen das Computersystem, ein Verfahren zum Klassifizieren einer Straßenmarkierung gemäß dem verbesserten Konzept auszuführen.
Gemäß dem verbesserten Konzept wird auch ein zweites Computerprogramm bereitgestellt, das zweite Computeranweisungen umfasst. Wenn die zweiten Anweisungen bzw. das zweite Computerprogramm über ein aktives optisches Sensorsystem gemäß dem verbesserten Konzept ausgeführt werden, veranlassen die zweiten Anweisungen das aktive optische Sensorsystem, ein Verfahren zum Klassifizieren einer Straßenmarkierung gemäß dem verbesserten Konzept auszuführen.
Gemäß dem verbesserten Konzept wird auch ein drittes Computerprogramm bereitgestellt, das dritte Computeranweisungen umfasst. Wenn die dritten Anweisungen bzw. das dritte Computerprogramm durch ein elektronisches Fahrzeugführungssystem gemäß dem verbesserten Konzept ausgeführt werden, veranlassen die dritten Anweisungen das elektronische Fahrzeugleitsystem, ein Verfahren zur mindestens teilweisen automatischen Steuerung eines Kraftfahrzeugs gemäß dem verbesserten Konzept durchzuführen.
Gemäß dem verbesserten Konzept wird auch ein computerlesbares Speichermedium bereitgestellt, das ein erstes Computerprogramm und/oder ein zweites Computerprogramm und/oder ein drittes Computerprogramm gemäß dem verbesserten Konzept speichert.
Sowohl die Computerprogramme als auch das computerlesbare Speichermedium können als jeweilige Computerprogrammprodukte betrachtet werden, die jeweils die ersten und/oder die zweiten und/oder die dritten Computeranweisungen umfassen.
Weitere Merkmale der Erfindung werden aus den Ansprüchen, den Figuren und der Beschreibung der Figuren ersichtlich. Die oben in der Beschreibung genannten Merkmale und Merkmalskombinationen sowie die unten in der Beschreibung der Figuren genannten und/oder in den Figuren allein dargestellten Merkmale und Merkmalskombinationen können nicht nur durch das verbesserte Konzept in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen abgedeckt werden. Somit werden Implementierungen des verbesserten Konzepts abgedeckt und offengelegt, die möglicherweise nicht explizit in den Abbildungen gezeigt oder erklärt werden, jedoch durch getrennte Merkmalskombinationen aus den erklärten Implementierungen entstehen und erzeugt werden können. Implementierungen und Merkmalskombinationen, die nicht alle Merkmale eines ursprünglich formulierten Anspruchs aufweisen, können durch das verbesserte Konzept mit einbezogen werden. Darüber hinaus können Implementierungen und Merkmalskombinationen, die über die in den Beziehungen der Ansprüche festgelegten Merkmalskombinationen hinausgehen oder von diesen abweichen, durch das verbesserte Konzept mit einbezogen werden.
Die Figuren zeigen folgende Veranschaulichungen:

1 zeigt schematisch ein Kraftfahrzeug mit einem elektronischen Fahrzeugführungssystem gemäß dem verbesserten Konzept;
2 zeigt schematisch einen Teil einer beispielhaften Implementierung eines aktiven optischen Sensorsystems gemäß dem verbesserten Konzept;
3 zeigt schematisch einen Teil einer weiteren beispielhaften Implementierung eines aktiven optischen Sensorsystems gemäß dem verbesserten Konzept;
4 zeigt Punktwolkendaten gemäß einer beispielhaften Implementierung eines Verfahrens gemäß dem verbesserten Konzept;
5 zeigt verarbeitete Punktwolkendaten gemäß einer weiteren beispielhaften Implementierung eines Verfahrens gemäß dem verbesserten Konzept;
6 zeigt verarbeitete Punktwolkendaten gemäß einer weiteren beispielhaften Implementierung eines Verfahrens gemäß dem verbesserten Konzept;
7 zeigt eine Menge von Abtastpunkten gemäß einer weiteren beispielhaften Implementierung eines Verfahrens gemäß dem verbesserten Konzept;
8 zeigt eine binäre Matrix gemäß einer weiteren beispielhaften Implementierung gemäß dem verbesserten Konzept;
9 zeigt eine rauschgefilterte binäre Matrix gemäß einer weiteren beispielhaften Implementierung eines Verfahrens gemäß dem verbesserten Konzept;
10 zeigt eine rauschgefilterte binäre Matrix gemäß einer weiteren beispielhaften Implementierung eines Verfahrens gemäß dem verbesserten Konzept;
11 zeigt eine gleichförmige binäre Matrix gemäß einer weiteren beispielhaften Implementierung eines Verfahrens gemäß dem verbesserten Konzept;
12 zeigt eine gleichförmige binäre Matrix gemäß einer weiteren beispielhaften Implementierung eines Verfahrens gemäß dem verbesserten Konzept und eine entsprechende Straßenmarkierung;
13 zeigt eine gleichförmige binäre Matrix gemäß einer weiteren beispielhaften Implementierung eines Verfahrens gemäß dem verbesserten Konzept und eine entsprechende Straßenmarkierung;
14 zeigt eine gleichförmige binäre Matrix gemäß einer weiteren beispielhaften Implementierung eines Verfahrens gemäß dem verbesserten Konzept und eine entsprechende Straßenmarkierung; und
15 zeigt eine gleichförmige binäre Matrix gemäß einer weiteren beispielhaften Implementierung eines Verfahrens gemäß dem verbesserten Konzept und eine entsprechende Straßenmarkierung.

In 1 ist ein Kraftfahrzeug 13 dargestellt, das eine beispielhafte Implementierung eines elektronischen Fahrzeugfürungssystems 1 gemäß dem verbesserten Konzept umfasst. Das Fahrzeug 13 befindet sich auf einer Straße mit einer Straßenmarkierung 4.
Das elektronische Fahrzeugführungssystem 1 umfasst ein aktives optisches Sensorsystem 2 gemäß dem verbesserten Konzept, wobei dieses zum Beispiel als Lidarsystem implementiert sein kann. Die Straßenmarkierung 4 liegt mindestens teilweise in einem Sichtfeld des Sensorsystems 2.
Das Fahrzeugführungssystem 1 kann zum Beispiel eine Steuereinheit 3 umfassen, die mit dem Sensorsystem 2 gekoppelt ist. Das Sensorsystem 2 kann jedoch in Bezug auf eine Steuereinheit 3 die im Folgenden beschriebenen Aufgaben übernehmen oder umgekehrt.
Das aktive optische Sensorsystem 2 ist dazu ausgelegt, ein Verfahren zum Klassifizieren einer Straßenmarkierung gemäß dem verbesserten Konzept auszulegen. Insbesondere kann das Sensorsystem 2 der Straßenmarkierung 4 eine einer Vielzahl vordefinierter Klassen zuordnen.
Die Steuereinheit 3 kann je nach zugeordneter Klasse ein oder mehrere Steuersignale zur mindestens teilweisen automatischen Führung des Kraftfahrzeugs 13 erzeugen.
Das Kraftfahrzeug 13 kann dann zum Beispiel durch die Steuereinheit 3 und, soweit nötig, durch entsprechende Aktoren, mindestens teilweise automatisch basierend auf dem einen oder den mehreren Steuersignalen, gesteuert werden.
Die Funktion des aktiven optischen Sensorsystems 2 wird im Folgenden in Bezug auf die Figuren 2 bis 15 näher erläutert.
In 2 und 3 ist eine beispielhafte Implementierung des Sensorsystems 2 schematisch dargestellt. Das Sensorsystem 2 umfasst eine Recheneinheit 8 und eine Sensoreinheit mit einem Lichtsender 5 und einer optischen Detektoreinheit 6. Der Lichtsender 5 kann zum Beispiel einen Laser umfassen, zum Beispiel eine Infrarotlaserdiode. Die Detektoreinheit 6 umfasst einen oder mehrere optische Detektoren 18, zum Beispiel Fotodioden, insbesondere Lawinenfotodioden, APDs, die zum Beispiel linear angeordnet sind.
Der Einfachheit halber ist die Detektoreinheit 6 in 2 nicht dargestellt, wobei auch der Lichtsender 5 in 3 nicht dargestellt ist.
Die Sensoreinheit kann auch eine Ablenkeinheit 16 umfassen, die zum Beispiel einen drehbaren Spiegel umfasst, wobei die Drehachse parallel zu einer z-Achse des Sensorkoordinatensystems des Sensorsystems 2 liegt. Die x- und y-Achse des Sensorkoordinatensystems sind in 2 und 3 dargestellt. Die z-Achse kann rechtwinklig zur x-Achse und zur y-Achse liegen.
Insbesondere sind die verschiedenen optischen Detektoren 18 entlang einer Linie parallel zu den Drehachsen bzw. zur z-Achse angeordnet.
Der Lichtsender 5 ist zum Aussenden von Lichtimpulsen 14 ausgelegt. Der anfänglich gebündelte Laserstrahl kann zum Beispiel defokussiert werden, um einen Strahl mit einem Ablenkungswinkel ungleich Null zu erzeugen. Die Ablenkeinheit 16 definiert die Richtung, in der das Licht 14 abgelenkt wird. In der Situation von 2 und 3 wird das Licht 14 in Richtung der Straßenmarkierung 4 emittiert.
In 3 ist schematisch dargestellt, wie Anteile 15 des Lichts 14 durch die Straßenmarkierung 4 reflektiert und zur Sensoreinheit, insbesondere zur Ablenkeinheit 16, zurückgesandt werden, welche die reflektierten Anteile 15 zur Detektionseinheit 6, insbesondere zu einem oder mehreren der optischen Detektoren 18, umlenkt.
Die Sensoreinheit kann auch eine Fokussierungslinse 17 umfassen, wobei die reflektierten Lichtanteile 15 auf die optischen Detektoren 18 projiziert werden. Die optischen Detektoren 18 können das reflektierte Licht 15 sammeln und in entsprechende elektrische Signale umwandeln.
Da die optischen Detektoren 18 parallel zur z-Achse ausgerichtet sind, sammelt jeder der optischen Detektoren 18 Licht, das von einem vordefinierten Bereich reflektiert wird, der durch einen Polarwinkel im Sensorkoordinatensystem definiert ist. Die entsprechenden Bereiche 19 der Straßenmarkierung 4, die von den jeweiligen optischen Detektoren 18 abgedeckt werden, sind in 3 schematisch dargestellt.
Die Recheneinheit 8 kann die Technik der Laufzeitmessung nutzen, um den Abstand der entsprechenden Reflexionspunkte vom Sensorsystem 2 zu bestimmen. Auf diese Weise kann eine Punktwolke 7, wie in 4 schematisch dargestellt, erzeugt werden, die aus Messpunkten besteht, die in einem Kugelkoordinatensystem vorgesehen sind, wobei der Radius der gemessenen Laufzeit entspricht, der Azimuthwinkel durch den entsprechenden Winkel des drehbaren Spiegels bestimmt wird und der Polarwinkel durch die Position des entsprechenden optischen Detektors 18 bestimmt wird.
Auf diese Weise entspricht jeder der optischen Detektoren 18 einer entsprechenden Schicht von Punkten in der Punktwolke 7. Schichten, die Reflexionen von der Straße umfassen, werden auch als Bodenschichten oder Aufsetzschichten bezeichnet. Die entsprechenden Reflexionspunkte können als Bodenpunkte bzw. Aufsetzpunkte bezeichnet werden.
In der Punktwolke 7 von 4 sind sowohl Bodenpunkte als auch Reflexionspunkte von Objekten über dem Boden enthalten. Insbesondere sind auch Reflexionspunkte entsprechend den Reflexionen der Straßenmarkierungen 4 enthalten.
Gemäß dem verbesserten Konzept kann zum Beispiel die Punktwolke 7 gefiltert werden, indem nur Punkte ausgewählt werden, die mit einem gewissen vordefinierten Vertrauensgrad als vom Boden reflektierte Punkte betrachtet werden können. Ferner kann ein Algorithmus zur Merkmalsextraktion durch die Recheneinheit 8 angewendet werden, um Merkmale aus der Punktwolke 7 zu extrahieren, die zu einer Straßenmarkierung 4 gehören. Zu diesem Zweck kann zum Beispiel ein Ausbreitungsmodell mit einer Polynomnäherung zweiter Ordnung an die Straßenmarkierung 4 verwendet werden. Dabei können mehrere bekannte Ansätze zum Identifizieren von Bodenpunkten in der Punktwolke 7 angewendet werden, wobei eine jeweilige Echoimpulsbreite der Reflexionspunkte, ihre Höhe über dem Boden oder andere Parameter berücksichtigt werden können. Es kann auch eine Bodenpunktklassifikation basierend auf einem künstlichen neuronalen Netz angewendet werden.
Das Ergebnis der Filterung und Merkmalsextraktion ist in 5 schematisch dargestellt. Dabei kann davon ausgegangen werden, dass 5 die Punkte 9" entsprechend der Straßenmarkierung 4 mit einem gewissen Mindestvertrauensgrad zeigt. Die Auflösung der Punkte in der Punktwolke 7 und auch der Punkte 9" in 5 kann in der Größenordnung von einem oder wenigen Zentimetern liegen.
Die Recheneinheit 8 kann zum Beispiel die Punkte 9" in ein festes zweidimensionales Koordinatensystem übersetzen, wie in 6 dargestellt. Die übersetzten Punkte sind durch 9' gekennzeichnet. Die Übersetzung kann zum Beispiel so durchgeführt werden, dass die minimale x-Koordinate der Punkte 9' und die minimale y-Koordinate der Punkte 9' jeweils gleich Null sind.
Dann können zum Beispiel die Punkte 9' in Abhängigkeit von einem jeweiligen Verhältnis des Sichtfeldes des Sensorsystems 2 in x- bzw. y-Richtung skaliert werden. Das Ergebnis der Skalierung ist eine Menge von Abtastpunkten 9, wie in 7 schematisch dargestellt.
Im gezeigten Beispiel kann der Bereich auf der x-Achse in 6 von 0 bis 80 m und der Bereich auf der y-Achse zum Beispiel von 0 bis 1,5 m betragen. Nach der Skalierung kann die effektive x-Achse zum Beispiel von 0 bis 80 dimensionslose Einheiten laufen, während die effektive y-Achse ebenfalls von 0 bis 80 dimensionslose Einheiten läuft.
Es wird darauf hingewiesen, dass die Schritte der Übersetzung und Skalierung optional sind.
Dann kann die Recheneinheit 8 eine binäre Matrix 11 erzeugen, die schematisch in 8 basierend auf der Menge der Abtastpunkte 9 dargestellt ist.
Zu diesem Zweck kann die Recheneinheit 8 dem jeweiligen Sichtfeld ein zweidimensionales regelmäßiges Raster 10 überlagern und jeder Zelle des Rasters 10, in der sich keiner der Abtastpunkte 9 in dieser Zelle befindet, einen ersten Wert, zum Beispiel Null, und jeder der Zellen, die einen oder mehrere Abtastpunkte 9 enthalten, einen zweiten Wert, zum Beispiel 1, zuweisen. Auf diese Weise wird die Auflösung effektiv auf 1 reduziert.
Im vorliegenden Beispiel von 8 ist die binäre Matrix 11 nun eine 80-x-80-Matrix. Jeder Eintrag der Matrix 11 ist zum Beispiel gleich Null, wenn die entsprechende Zelle des Rasters 10 leer ist, und gleich Eins, wenn die entsprechende Zelle des Rasters 10 belegt ist. Die jeweiligen Zellen in 8 bis 15 entsprechen Matrixeinträgen, wobei belegte Zellen dem jeweiligen Matrixeintrag gleich Eins entsprechen und die anderen Zellen Matrixeinträgen gleich Null entsprechen.
Basierend auf der Matrixdarstellung kann zum Beispiel durch die Recheneinheit 8 eine Rauschfilterung angewendet werden. Zu diesem Zweck kann die Recheneinheit 8 zum Beispiel die Anzahl der belegten Zellen für jede Spalte der binären Matrix 11 zählen. Wenn eine Spalte weniger als eine vordefinierte Anzahl, zum Beispiel drei im gezeigten Beispiel, an belegten Zellen aufweist, werden alle Zellen in dieser Spalte auf leer gesetzt. Das Ergebnis ist in 9 als teilweise rauschgefilterte binäre Matrix 11' dargestellt.
Dann kann zum Beispiel die Anzahl der belegten Zellen in einer Zeile der Matrix 11' gezählt werden. Wenn eine Zeile weniger als eine vordefinierte Anzahl, zum Beispiel fünf im vorliegenden Beispiel, an belegten Zellen aufweist, werden alle Zellen in dieser Zeile auf leer gesetzt. Das Ergebnis ist in 10 als rauschgefilterte binäre Matrix 11' dargestellt.
Dann kann die Recheneinheit 8 eine gleichförmige Matrix 12 basierend auf der rauschgefilterten Matrix 11" gemäß den folgenden Gleichungen bestimmen: $\begin{array}{l} U (i,j) = 1, wenn \sum_{k=1}^{80} E (i,k) > 0 und \sum_{k = 1}^{80} E (k,j) > 0 und \\ U (i,j) = 0, wenn \sum_{k=1}^{80} E (i,k) > 0 oder \sum_{k = 1}^{80} E (k,j) > 0. \end{array}$
Dabei ist U(i,j) ein Eintrag der gleichförmigen Matrix 12, und E(i,k) und E(k,j) sind entsprechende Einträge der rauschgefilterten Matrix 11". Das Ergebnis für die gleichförmige Matrix 12 ist in 11 schematisch dargestellt, wobei ein gefüllter Eintrag U(i,j) = 1 und ein leerer Eintrag U(i,j) = 0 entspricht.
Durch Bestimmen der gleichförmigen Matrix 12 werden Muster erzeugt, die effizient verarbeitet werden können und die die Besonderheiten der Art der Straßenmarkierung 4 erfassen können. Die rauschgefilterten Matrizen 11', 11" können Lücken innerhalb der jeweiligen Häufungen und Abweichungen zwischen den Häufungen umfassen. Diese erhöhte Komplexität kann durch Berechnen der gleichförmigen Matrix 12 beseitigt werden. Die gleichförmige Matrix 12 kann als Grundlage zum Klassifizieren der Straßenmarkierung 4 durch die Recheneinheit 8 verwendet werden.
Die gleichförmige Matrix 12 kann jedoch zur weiteren Effizienzsteigerung und zur weiteren Speichereinsparung weiter komprimiert werden. Zu diesem Zweck kann ausgenutzt werden, dass die gleichförmige Matrix 12 in der Regel eine dünnbesetzte Matrix ist.
Eine mögliche Operation zum Komprimieren einer dünnbesetzten Matrix speichert eine Liste der Indizes aller belegten Zeilen der gleichförmigen Matrix 12. Somit würden im vorliegenden Fall zum Beispiel statt 80 x 80 Objekte nur 80 Objekte gespeichert werden.
Mit der Liste der belegten Zeilenindizes können aussagekräftige Merkmale zur Unterscheidung zwischen verschiedenen Arten von Straßenmarkierungen extrahiert werden. Beispielsweise können die Längen der Lücken zwischen den besetzten Segmenten und die Längen der besetzten Segmente Hinweise auf die Art der Straßenmarkierung geben.
Um die maximale Lücke zwischen den Segmenten zu extrahieren, kann sie durch die Liste der Zeilenindizes iteriert werden, wobei die Werte der nachfolgenden Elemente subtrahiert und die maximale Differenz gespeichert wird. Um die maximale Länge eines Segments zu extrahieren, kann durch die Liste der Zeilenindizes iteriert werden, wobei die aufeinanderfolgenden Zeilenindizes gezählt und der maximale Wert gespeichert wird.
Mit dieser vereinfachten Darstellung können Merkmale wie Kontinuität oder Unterbrechungen der Fahrstreifenmarkierung 4 identifiziert werden.
Um Merkmale wie die maximale Breite eines belegten Segments zu extrahieren, die zum Beispiel mit der Breite der Straßenmarkierung 4 korreliert sein kann, kann eine Liste von belegten Spaltenindizes gespeichert werden.
Die gleichförmige Matrix 12 oder ihre komprimierte Darstellung kann zur Unterscheidung verschiedener Arten von Straßenmarkierungen verwendet werden. Die gleichförmige Matrix 12 oder ihre komprimierte Darstellung kann auch als Eingabe für Klassifikatoren für maschinelles Lernen oder tiefes Lernen verwendet werden. Alternativ können Entscheidungsbäume entwickelt werden, die auf bestimmte Merkmale der gleichförmigen Matrix 12 abzielen, zum Beispiel auf die Länge der Lücken zwischen den Segmenten.
Zusätzlich kann die gleichförmige Matrix 12 dazu verwendet werden, eine Vertrauenswürdigkeit der Klassifikation abzuleiten, basierend zum Beispiel auf der Gesamtzahl der belegten Zellen oder auf der maximalen Anzahl belegter Zeilen usw.
In 12 sind eine durchgehende Straßenmarkierung 4a und die entsprechende gleichförmige Matrix 12 schematisch dargestellt. Solche Markierungen 4a können zum Beispiel an den Seiten von Autobahnen zu finden sein, wobei ihre Breite zum Beispiel von 15 cm bis 30 cm variieren kann.
In 13 sind eine unterbrochene Straßenmarkierung 4b und die entsprechende gleichförmige Matrix 12b schematisch dargestellt.
Es gibt verschiedene Arten von unterbrochenen Straßenmarkierungen, die sich zum Beispiel durch das Verhältnis von Segment zu Lücke und/oder durch die Breite der Fahrstreifenmarkierung und/oder durch die Länge der Segmente unterscheiden können. Die Straßenmarkierung 4b in 13 kann zum Beispiel ein Verhältnis Segment zu Lücke von etwa 1 : 2 aufweisen, die normalerweise zwei Fahrstreifen trennt und durch ein Fahrzeug überquert werden kann.
Andere Straßenmarkierungen mit einem Verhältnis Segment zu Lücke von etwa 1 : 1 können zum Beispiel Autobahnein- oder -ausfahrten von Verbindungsstraßen abgrenzen.
In 14 sind eine doppelte Straßenmarkierung 4c und eine entsprechende gleichförmige Matrix 12c dargestellt.
In 15 ist eine weitere doppelte Straßenmarkierung 4d mit einer entsprechenden gleichförmigen Matrix 12d dargestellt.
Doppelte Straßenmarkierungen 4c, 4d finden sich gewöhnlich auf Autobahnen, die zwei getrennte Straßen begrenzen. Sie können eine Kombination aus einer durchgehenden und einer unterbrochenen Straßenmarkierung, wie in 15, oder aus zwei unterbrochenen Straßenmarkierungen, wie in 14, oder aus zwei durchgehenden Straßenmarkierungen sein.
Die verschiedenen Beispiele der Fahrstreifenmarkierungen 4a bis 4d und viele andere können durch Verwendung einer gleichförmigen Matrix 12, 12a, 12b, 12c, 12d gemäß dem verbesserten Konzept, wie oben beschrieben, unterschieden werden.
Wie beschrieben, ermöglicht das verbesserte Konzept die Klassifizierung von Straßenmarkierungen mit reduziertem Rechenaufwand, insbesondere mit reduziertem Rechenzeit- und Speicherbedarf, und ermöglicht somit die Klassifizierung durch eingebettete Systeme.

Claims

Verfahren zum Klassifizieren einer Straßenmarkierung (4), wobei eine Menge von Abtastpunkten (9) durch eine Recheneinheit (8) empfangen wird, wobei jeder Abtastpunkt der Menge von Abtastpunkten (9) zweidimensionale Koordinaten auf einer Straße enthält, dadurch gekennzeichnet, dass - jeder der Abtastpunkte (9) durch die Recheneinheit (8) einer Zelle eines vordefinierten zweidimensionalen räumlichen Rasters (10) zugeordnet wird; - eine binäre Matrix (11) durch die Recheneinheit (8) erzeugt wird, wobei jeder Eintrag der binären Matrix (11) - einer jeweiligen Zelle des Rasters (10) entspricht; - einen vordefinierten ersten Wert aufweist, wenn die betreffende Zelle leer ist; und - einen vordefinierten zweiten Wert aufweist, wenn die betreffende Zelle belegt ist; und - die Straßenmarkierung (4) durch die Recheneinheit (8) in Abhängigkeit von der binären Matrix (11) klassifiziert wird.
Verfahren gemäß Anspruch 1, dadurch gekennzeichnet, dass eine Rauschfilterung der binären Matrix (11) durch die Recheneinheit (8) durchgeführt wird und die Straßenmarkierung (4) in Abhängigkeit von der geräuschgefilterten binären Matrix (11', 11") klassifiziert wird.
Verfahren gemäß Anspruch 2, dadurch gekennzeichnet, dass - die Rauschfilterung für jede Zeile der binären Matrix (11) beinhaltet: - Bestimmen einer jeweiligen Zeilenbelegungszahl, die der Anzahl der Einträge in der jeweiligen Zeile, die den zweiten Wert aufweist, entspricht; und - Setzen aller Einträge der jeweiligen Zeile auf den ersten Wert, wenn die Zeilenbelegungszahl kleiner als eine vordefinierte Zeilenschwellenzahl ist; und/oder - die Rauschfilterung für jede Spalte der binären Matrix (11) aufweist: - Bestimmen einer jeweiligen Spaltenbelegungszahl, die der Anzahl der Einträge in der jeweiligen Spalte, die den zweiten Wert aufweist, entspricht; und - Setzen aller Einträge der jeweiligen Spalte auf den ersten Wert, wenn die Spaltenbelegungszahl kleiner als eine vordefinierte Spaltenschwellenzahl ist.
Verfahren gemäß einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass - eine gleichförmige Matrix (12) durch die Recheneinheit (8) erzeugt wird, indem sie ein kartesisches Produkt einer von der binären Matrix abhängigen Matrix mit sich selbst berechnet; und - die Straßenmarkierung (4) in Abhängigkeit von der gleichförmigen Matrix (12) klassifiziert wird.
Verfahren gemäß Anspruch 4, dadurch gekennzeichnet, dass - der erste Wert 0 ist und der zweite Wert 1 ist; - die binäre Matrix (11) N Zeilen und M Spalten umfasst; - die gleichförmige Matrix (12) N Zeilen und M Spalten umfasst, wobei für jeden Eintrag U(i,j) der gleichförmigen Matrix gilt, dass $\begin{array}{l} -U (i,j) = 1, wenn \sum_{k=1}^{N} E (i,k) > 0 und \sum_{k = 1}^{M} E (k,j) > 0; und \\ -U (i,j) = 0, wenn \sum_{k=1}^{N} E (i,k) > 0 oder \sum_{k = 1}^{M} E (k,j) > 0, \end{array}$
wobei E(i,k) ein entsprechender Eintrag der Matrix in Abhängigkeit von der binären Matrix ist.
Verfahren gemäß einem der Ansprüche 4 oder 5, dadurch gekennzeichnet, dass - durch die Recheneinheit (8) eine komprimierte Datenmenge durch Anwenden einer Kompressionstechnik für dünnbesetzte Matrizen auf die gleichförmige Matrix (12) erzeugt wird; und - die Straßenmarkierung (4) in Abhängigkeit von der komprimierten Datenmenge klassifiziert wird.
Verfahren gemäß Anspruch 6, dadurch gekennzeichnet, dass - das Komprimieren der dünnbesetzten Matrix das Bestimmen einer Liste von Zeilenindizes umfasst, die angeben, welche Zeilen der gleichförmigen Matrix (12) mindestens einen Eintrag mit dem zweiten Wert aufweisen; und/oder - das Komprimieren der dünnbesetzten Matrix das Bestimmen einer Liste von Spaltenindizes umfasst, die angeben, welche Spalten der gleichförmigen Matrix (12) mindestens einen Eintrag mit dem zweiten Wert aufweisen.
Verfahren gemäß einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass zum Klassifizieren der Straßenmarkierung (4) in Abhängigkeit von der binären Matrix (11) der Straßenmarkierung (4) in Abhängigkeit von der binären Matrix (11) eine Klasse aus einer vordefinierten Vielzahl von Klassen zugeordnet wird.
Verfahren gemäß Anspruch 8, dadurch gekennzeichnet, dass die Klasse der Straßenmarkierung (4) zugeordnet wird abhängig von: - einer räumlichen Kontinuität der Straßenmarkierung (4); und/oder - einer Vielfachheit der Straßenmarkierung (4).
Verfahren gemäß einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass - Punktwolkendaten (7) durch die Recheneinheit (8) aus einem aktiven optischen Sensorsystem (2) empfangen werden; und - die Punktwolkendaten (7) durch die Recheneinheit (8) gefiltert werden, um die Menge der Abtastpunkte (9) zu erhalten.
Verfahren gemäß Anspruch 10, dadurch gekennzeichnet, dass die Punktwolkendaten (7) durch das aktive optische Sensorsystem (2) erzeugt werden.
Verfahren zur mindestens teilweise automatischen Führung eines Kraftfahrzeugs (13), dadurch gekennzeichnet, dass - eine Straßenmarkierung (4) in einer Umgebung des Kraftfahrzeugs (13) durch Anwendung eines Verfahrens gemäß einem der vorhergehenden Ansprüche klassifiziert wird; - in Abhängigkeit von einem Ergebnis der Klassifizierung ein oder mehrere Steuersignale zur mindestens teilweise automatischen Führung des Kraftfahrzeugs (13) erzeugt werden.
Aktives optisches Sensorsystem, umfassend - eine Sensoreinheit (5, 6), die dazu ausgelegt ist, Punktwolkendaten (7) zu erzeugen, die eine Umgebung der Sensoreinheit (5, 6) darstellen, wobei die Umgebung eine Straßenmarkierung (4) auf einer Straße aufweist; und - eine Recheneinheit (8), die dazu ausgelegt ist, in Abhängigkeit von den Punktwolkendaten (7) eine Menge von Abtastpunkten (9) zu erzeugen, wobei jeder Abtastpunkt der Menge von Abtastpunkten (9) zweidimensionale Koordinaten auf der Straße enthält, dadurch gekennzeichnet, dass die Recheneinheit (8) dazu ausgelegt ist, - jeden der Abtastpunkte einer Zelle eines vordefinierten zweidimensionalen räumlichen Rasters (10) zuzuordnen; - eine binäre Matrix (11) zu erzeugen, wobei jeder Eintrag der binären Matrix (11) - einer jeweiligen Zelle des Rasters (10) entspricht; - einen vordefinierten ersten Wert aufweist, wenn die betreffende Zelle leer ist; und - einen vordefinierten zweiten Wert aufweist, wenn die betreffende Zelle belegt ist; und - die Straßenmarkierung (4) in Abhängigkeit von der binären Matrix (11) zu klassifizieren.
Elektronisches Fahrzeugführungssystem, dadurch gekennzeichnet, dass das elektronische Fahrzeugführungssystem (1) umfasst: - ein aktives optisches Sensorsystem (2) gemäß Anspruch 13; und - eine Steuereinheit (3), die dazu ausgelegt ist, ein oder mehrere Steuersignale zur mindestens teilweise automatischen Führung des Kraftfahrzeugs (13) in Abhängigkeit von einem Ergebnis der Klassifizierung zu erzeugen.
Computerprogrammprodukt, das Computeranweisungen umfasst, das - wenn es durch ein Computersystem ausgeführt wird, bewirkt, dass das Computersystem ein Verfahren gemäß einem der Ansprüche 1 bis 10 ausführt; und/oder - wenn es durch ein aktives optisches Sensorsystem (2) gemäß Anspruch 13 ausgeführt wird, bewirkt, dass das aktive optische Sensorsystem (2) ein Verfahren gemäß einem der Ansprüche 1 bis 11 ausführt; und/oder - wenn es durch ein elektronisches Fahrzeugführungssystem (1) gemäß Anspruch 14 ausgeführt wird, bewirkt, dass das elektronische Fahrzeugführungssystem (1) ein Verfahren gemäß Anspruch 12 ausführt.