DE102021110101A1 - Computerimplementiertes Verfahren zum Detektieren von Fahrbahnmarkierungen, Computerprogramm, computerlesbares Speichermedium und Fahrerassistenzsystem - Google Patents

Abstract

Die Erfindung betrifft ein computerimplementiertes Verfahren zum Verarbeiten eines mittels eines aktiven optischen Sensorsystems (4) eines Fahrzeugs (1) gewonnenen und als zu mindestens einer Fahrbahnmarkierung (5) gehörig klassifizierten Satzes von Scanpunkten (20), wobei der Satz von Scanpunkten (20) in Form von mehrere Segmente (21) bildenden Scanpunktgruppen bereitgestellt wird, jedes der mehreren Segmente (21) mindestens einen der Scanpunkte umfasst, jedes der mehreren Segmente (21) einer bestimmten Lage (L1, L2, L3, L4, L5, L6, L7, L8) zugeordnet ist, die einen bestimmten Polarwinkelbereich in Bezug auf einen Ursprung eines definierten Koordinatensystems definiert. Jedes der Segmente (21) umfasst mindestens einen Referenzpunkt (22), der einer der Scanpunkte des jeweiligen Segments (21) ist, für jeden der Referenzpunkte (22) wird eine Verbindung (30) zu mindestens einem anderen der Referenzpunkte (22) zumindest unter der ersten Bedingung hergestellt, dass die beiden Referenzpunkte (22), für die die Verbindung (30) hergestellt wird, mindestens ein erstes geometrisches Kompatibilitätskriterium erfüllen, es wird mindestens ein Pfad der mindestens einen Fahrspurmarkierung (5) in Abhängigkeit von den erzeugten Verbindungen (30) ermittelt, und ein Signal in Abhängigkeit von dem mindestens einen ermittelten Pfad der mindestens einen Fahrspurmarkierung (5) zur Steuerung mindestens einer Komponente des Fahrzeugs (1) ausgegeben.

Description

• Die Erfindung betrifft ein computerimplementiertes Verfahren zum Verarbeiten eines Satzes von Scanpunkten, die mittels eines aktiven optischen Sensorsystems eines Kraftfahrzeugs erhalten und als zu mindestens einer Fahrbahnmarkierung gehörend klassifiziert wurden. Dabei wird der Satz von Scanpunkten in Form von Scanpunktgruppen bereitgestellt, die mehrere Segmente bilden, wobei jedes der Segmente mindestens einen der Scanpunkte umfasst und jedes der mehreren Segmente einer bestimmten Lage zugeordnet ist, die einen bestimmten Polarwinkelbereich in Bezug auf einen Ursprung eines definierten Koordinatensystems definiert. Die Erfindung betrifft auch ein Computerprogramm, ein computerlesbares Speichermedium und ein Fahrerassistenzsystem für ein Kraftfahrzeug.
• Fahrbahnmarkierungen auf Straßen können mittels eines aktiven optischen Sensorsystems eines Kraftfahrzeugs detektiert werden, zum Beispiel eines Lidarsensors. Solch ein Sensorsystem weist üblicherweise eine Sendeeinheit zum Aussenden eines Laserstrahls und eine Detektionseinheit zur Detektion des reflektierten Laserstrahls oder zumindest Teilen davon auf. Jede detektierte Reflexion, die auch als Echo bezeichnet wird, stellt einen Scanpunkt bereit, wobei alle detektierten Scanpunkte in Form einer Punktewolke dargestellt werden können. Um eine räumliche Auflösung der Detektion bereitzustellen, gibt es viele Möglichkeiten. Eine davon besteht darin, zum Beispiel einen Laserstrahl bereitzustellen, welcher einen bestimmten horizontalen Winkelbereich, der auch als Azimutwinkelbereich bezeichnet wird, schnell durch Ablenken des emittierten Laserstrahls mittels eines rotierenden Spiegels der Sendeeinheit des Sensorsystems scannt. Der Laserstrahl, der zu einem bestimmten Zeitpunkt ausgesandt wird, korrespondiert daher zu einem bestimmten Azimutwinkelbereich, der einer aktuellen Position des rotierenden Spiegels zugeordnet ist. Darüber hinaus kann der Laserstrahl in Form eines vertikal aufgeweiteten Laserstrahls ausgesandt werden, wobei die räumliche Auflösung in der vertikalen Richtung, nämlich die Winkelauflösung in Bezug zu einem Gesamtpolarwinkelbereich in der vertikalen Richtung, durch ein korrespondierendes Detektionssystem bereitgestellt werden kann, welches mehrere Detektorelemente aufweisen kann, wobei jedes einem bestimmten Polarwinkelbereich in der vertikalen Richtung zugeordnet ist. So ist jedes Licht, welches von einem ersten Detektorelement dieses Detektors empfangen wird, daher einem bestimmten Polarwinkelbereich des Gesamtpolarwinkelbereichs zugeordnet. Somit ist letztendlich jeder erhaltene Scanpunkt einem bestimmten Polarwinkelbereich, Azimutwinkelbereich und einer Entfernung zugeordnet, die auf Basis der Laufzeit zwischen dem Aussenden des Laserstrahls und dem Empfang des Echos bestimmt wird. Im Rahmen der Erfindung werden die verschiedenen Polarwinkelbereiche, die in Summe den Gesamtdetektionsbereich in der vertikalen Richtung bilden, auch als Lagen bezeichnet. Im oben beschriebenen Beispiel werden die Scanpunkte einer bestimmten Lage dann zu den Echos korrespondieren, die von einem bestimmten Detektionselement der Detektionseinheit des Sensorsystems empfangen werden.
• Fahrbahnmarkierungen auf einer Straße unterscheiden sich von der normalen Straßenoberfläche mit Bezug auf mindestens eine Eigenschaft, wie die Geometrie im Falle von erhabenen Fahrbahnmarkierungen, wie sogenannte Botts' Dots, oder Farbe und Reflektivität. Diese Unterschiede können verwendet werden, um Fahrbahnmarkierungen innerhalb einer gegebenen Punktewolke zu detektieren.
• Die Detektion von Fahrbahnmarkierungen, die auch als Straßenmarkierungen bezeichnet werden, ist wichtig im Kontext des halbautomatischen oder vollautomatischen Fahrens. Da unterschiedliche Arten von Straßenmarkierungen unterschiedliche Entscheidungen durch ein fortgeschrittenes Fahrerassistenzsystem (ADAS) erfordern können, oder ein anderes elektronisches Fahrzeugführungssystem, ist es wichtig, die Fahrbahnmarkierungen auf eine zuverlässige Art und Weise zu detektieren, zum Beispiel für eine nachfolgende Klassifikation oder andere Charakterisierung der Fahrbahnmarkierungen. Existierende Ansätze zum Auswerten, Charakterisieren oder Klassifizieren von Fahrbahnmarkierungen, zum Beispiel basierend auf Computer-Vision-Algorithmen, können Lidarpunktewolken einschließlich einer riesigen Anzahl einzelner Scanpunkte wie oben beschrieben auswerten. Daher erfordern diese Ansätze eine erhebliche Menge an Rechenleistung, insbesondere im Hinblick auf Rechenzeit und Speicherbedarf. Deshalb sind diese Ansätze vermutlich nicht für eingebettete Computersysteme geeignet, wie diese typischerweise in Kraftfahrzeugen verwendet werden, die zu limitierten rechnerischen Ressourcen neigen.
• Ein weiteres Problem mit der Detektion von Fahrbahnmarkierungen besteht darin, dass Fahrbahnmarkierungen nicht immer die einfache Form einer kontinuierlichen, geraden Linie haben, sondern auch die Form einer unterbrochenen, gestrichelten Linie, die auch gekrümmt sein kann. Manchmal teilen sich Fahrbahnmarkierungen in zwei separate Fahrbahnmarkierungen auf, wie im Falle einer Autobahnausfahrt oder in anderen Situationen. Existierende Ansätze separieren üblicherweise Fahrbahnmarkierungen wie im Falle einer Autobahnausfahrt oder in anderen Situationen. Existierende Ansätze erlauben üblicherweise keine verlässliche Bestimmung solcher anspruchsvolleren Formen von Fahrbahnmarkierungen.
• Das Dokument DE 2007 020 791 B4 beschreibt ein Verfahren zum Detektieren von Fahrbahnmarkierungen basierend auf Lidarsensordaten. Zu diesem Zweck werden Daten, die eine Fahrbahnmarkierung betreffen, auf der Basis einer mittleren Linienposition, mittleren Linienform und Linienbreite unter Verwendung eines Kalmanfilters extrahiert.
• Das Dokument EP 1 557 691 B1 beschreibt ein Verfahren zum Detektieren von Fahrbahnmarkierungen. Dabei können Scanpunkte, die zu Fahrbahnmarkierungen gehören, in unterschiedlichen Lagen auf Basis von verschiedenen Kriterien identifiziert werden. Scanpunkte, die zu anderen Straßenoberflächenbereichen gehören, können daher herausgefiltert werden. Die verbleibenden Scanpunkte formen gehäufte Gruppen, die in einer Richtung senkrecht zur Fahrtrichtung verteilt sind. Aus jeder Gruppe kann ein Spitzenwert identifiziert werden und dann werden gerade Linien durch die Spitzenwerte gefiltert, wodurch mögliche Kandidaten für eine Fahrbahnmarkierung geformt werden. Die so identifizierten Fahrbahnmarkierungen können einer weiteren Klassifikation oder Filterung unterzogen werden. Solch eine Filterung basiert auf Plausibilitätskriterien, wie dass gerade Linien nur zu einer Fahrbahnmarkierung im Falle, dass diese sich näherungsweise parallel zueinander erstrecken oder einen Mindestabstand zueinander von mindestens zwei Metern aufweisen, korrespondieren können.
• Auch gemäß diesem beschriebenen Verfahren können nur Fahrbahnmarkierungen, die sich im Wesentlichen als gerade Linien erstrecken, identifiziert werden, aber keine Fahrbahnmarkierungen mit anspruchsvolleren Formen.
• Daher ist es eine Aufgabe der vorliegenden Erfindung, ein computerimplementiertes Verfahren, ein Computerprogramm, ein computerlesbares Speichermedium und ein Fahrerassistenzsystem bereitzustellen, die eine verlässliche Charakterisierung von Fahrbahnmarkierungen ermöglichen, und die es ermöglichen, die Rechenanforderungen, solche wie Rechenzeit und/oder Speicherbedarf, zu reduzieren.
• Diese Aufgabe wird gelöst durch die jeweiligen Gegenstände der unabhängigen Ansprüche. Vorteilhafte Ausgestaltungen der Erfindung sind Gegenstand der abhängigen Ansprüche, der Beschreibung und der Figuren.
• Erfindungsgemäß wird ein computerimplementiertes Verfahren zum Verarbeiten eines Satzes von Scanpunkten bereitgestellt, die mittels eines aktiven optischen Sensorsystems eines Kraftfahrzeugs erhalten und als zu mindestens einer Fahrbahnmarkierung gehörend klassifiziert wurden, wobei der Satz von Scanpunkten in Form von Scanpunktgruppen bereitgestellt wird, die mehrere Segmente bilden, wobei jedes der Segmente mindestens einen der Scanpunkte umfasst, und jedes der mehreren Segmente einer bestimmten Lage zugeordnet ist, die einen bestimmten Polarwinkelbereich in Bezug auf einen Ursprung eines definierten Koordinatensystems definiert. Die Scanpunkte des gleichen Segments können bereits als von der gleichen Fahrbahnmarkierung in der Umgebung des Kraftfahrzeugs stammend klassifiziert worden sein. Darüber hinaus weist gemäß der Erfindung jedes der Segmente mindestens einen Referenzpunkt auf, welcher einen der Scanpunkte des jeweiligen Segments darstellt, und für jeden der Referenzpunkte wird eine Verbindung zu mindestens einem weiteren der Referenzpunkte zumindest unter der ersten Bedingung erzeugt, dass die zwei Referenzpunkte, für welche die Verbindung erzeugt wird, mindestens ein erstes geometrisches Kompatibilitätskriterium erfüllen, und mindestens ein Pfad der mindestens einen Fahrbahnmarkierung wird in Abhängigkeit von den erzeugten Verbindungen bestimmt, und zum Steuern mindestens einer Komponente des Kraftfahrzeugs wird ein Signal wird in Abhängigkeit von dem mindestens einen bestimmten Pfad der mindestens einen Fahrbahnmarkierung ausgegeben.
• Für jede Lage, die im Folgenden auch Detektionslage genannt wird, können Segmente von Scanpunkten bereitgestellt werden, die bereits als von Fahrbahnmarkierungen stammend klassifiziert wurden, insbesondere stammen die Scanpunkte des gleichen Segments von der gleichen Fahrbahnmarkierung. Diese Bestimmung und Klassifikation kann innerhalb eines Vorverarbeitungsschritts zum Vorverarbeiten des Satzes von Scanpunkten durchgeführt werden. Solch eine Vorverarbeitung kann optional auch Teil des computerimplementierten Verfahrens sein. Jedoch muss solch eine Vorverarbeitung nicht notwendigerweise Teil des computerimplementierten Verfahrens gemäß der Erfindung sein. Die Erfindung ermöglicht es nun in einer sehr vorteilhaften Weise, eine sehr anspruchsvolle Assoziierung von Segmenten, zum Beispiel unterschiedlicher Lagen, durchzuführen, die zur gleichen Fahrbahnmarkierung gehören. Dies ist durch die Tatsache bedingt, dass die Segmente oder Referenzpunkte daraus miteinander verbunden werden, wobei sie mindestens ein erstes geometrisches Kompatibilitätskriterium erfüllen. Die Verbindung von solchen zwei Referenzpunkten kann die Form einer geraden Linie annehmen. Nichtsdestoweniger ist es möglich, drei solche Referenzpunkte mittels zweier gerader Linien zu verbinden, die einen Winkel miteinander einschließen. Dies erlaubt es vorteilhafterweise, anspruchsvollere Formen von Fahrbahnmarkierungen zu rekonstruieren, zum Beispiel also Fahrbahnmarkierungen, die eine starke Krümmung aufweisen, oder Fahrbahnmarkierungen, die sich im Falle einer Autobahnausfahrt in zwei separate Fahrbahnmarkierungen aufteilen oder sonstiges.
• Des Weiteren können mittels einer solchen Verarbeitung von Scanpunkten die Rechenanforderungen enorm reduziert werden. Dies ist der Tatsache geschuldet, dass vor allem nicht eine gesamte 3D-Punktewolke als Ganzes Gegenstand eines Mustererkennungsalgorithmus ist. Stattdessen kann die gesamte Aufgabe der Fahrbahnmarkierungserkennung in einen Vorverarbeitungsschritt und einen Hauptverarbeitungsschritt aufgeteilt werden, wobei im Vorverarbeitungsschritt eine Klassifikation von Scanpunkten Lage für Lage durchgeführt werden kann, und danach im Hauptverarbeitungsschritt gemäß der Erfindung die resultierenden Segmente von Scanpunkten der verschiedenen Lagen, die eine gemeinsame Fahrbahnmarkierung bilden, assoziiert werden können. So ist es möglich, Fahrbahnmarkierungen als einen Satz von assoziierten Messungen zu detektieren, die später angepasst werden können, um eine gewünschte Parametrisierung zu erhalten. Die Assoziierung kann auf den geometrischen Eigenschaften der detektierten Segmente basierend und zum Beispiel auf Wertungen basierend durchgeführt werden, die Wahrscheinlichkeiten dafür angeben, dass Paare von Fahrbahnmarkierungssegmenten zur gleichen Fahrbahnmarkierung gehören, wie dies später detaillierter erklärt wird. Weiterhin können Rechenresourcen eingespart werden, indem nur manche der Scanpunkte als Referenzpunkte ausgewählt werden. Jedoch stellt dies lediglich eine bevorzugte Option dar und ist für die Durchführung des Verfahrens nicht erforderlich. Somit kann also im Allgemeinen jeder einzelne Scanpunkt eines Segments einen Referenzpunkt darstellen. In diesem Fall gibt es so viele Referenzpunkte wie Scanpunkte innerhalb eines Segments und Referenzpunkt ist nur ein Synonym für Scanpunkt. Gemäß einer bevorzugten Ausgestaltung der Erfindung werden nur einer oder nur manche der Scanpunkte als Referenzpunkte eines Segments ausgewählt. Zum Beispiel kann für kleine Segmente, zum Beispiel mit Bezug auf eine Segmentlänge in einer ersten Richtung, nur ein einzelner Scanpunkt innerhalb des Segments als ein Referenzpunkt ausgewählt werden. Für größere Segmente, zum Beispiel mit Bezug auf die Länge eines solchen Segments mit Bezug auf die erste Richtung, können mehrere Scanpunkte dieses Segments als Referenzpunkte ausgewählt werden, die dann vorzugsweise über das Segment in der ersten Richtung verteilt sind. Dadurch kann die Geometrie des jeweiligen Segments durch die einzelnen ausgewählten Referenzpunkte weiterhin repräsentiert werden. Mit anderen Worten gehen keine Informationen über die geometrischen Eigenschaften des einzelnen Segments durch das Auswählen von Referenzpunkten verloren, und gleichzeitig können Rechenanforderungen reduziert werden, da die Anzahl an Scanpunkten, die zu verarbeiten ist, enorm reduziert werden kann.
• Einer der größten Vorteile der Erfindung ist es jedoch, dass durch das Erzeugen von Verbindungen zwischen den Referenzpunkten im Falle, dass die Referenzpunkte einige geometrischen Kompatibilitätskriterien erfüllen, auf diese Weise ein gerichteter Graph unter Verwendung der Referenzpunkte als Knoten und der Verbindungen als Kanten erzeugt werden kann.
• Daher stellt es eine weitere sehr vorteilhafte Ausgestaltung der Erfindung dar, wenn die Referenzpunkte, die durch die Verbindungen verbunden sind, Knoten eines gerichteten Graphen definieren, und die Verbindungen der Referenzpunkte Kanten des gerichteten Graphen definieren, insbesondere wobei eine Richtung jeder Kante in Abhängigkeit von einem Abstand der jeweiligen Knoten, die durch die jeweilige Kante verbunden sind, vom Koordinatenursprung mit Bezug auf mindestens eine definierte Achse des Koordinatensystems definiert wird. Die Erzeugung eines solchen gerichteten Graphen hat den Vorteil, dass ein solcher gerichtete Graph einfach Gegenstand nachfolgender Filterungsverfahren sein kann, die insbesondere mittels künstlicher neuronaler Netzwerke bereitgestellt werden können, wie Mustererkennung unter Verwendung eines neuronalen Hopfield-Netzwerks oder unter Verwendung eines gewichteten zellularen Automaten für die Detektion des längsten Pfads, wie im Folgenden detaillierter beschrieben wird. Zum Beispiel ist es möglich, dass jede Kante als ein Neuron in einem solchen künstlichen neuronalen Netzwerk fungieren kann. Daher erlaubt die Erstellung eines gerichteten Graphen weitere sehr effiziente Verarbeitungsschritte, um Fahrbahnmarkierungen in einer sehr verlässlichen Art und Weise zu bestimmen.
• Die Richtung der Kanten kann entweder von Nah zu Fern oder von Fern zu Nah mit Bezug auf den definierten Koordinatenursprung festgelegt sein, insbesondere mit Bezug auf eine definierte gerichtete Achse durch den Koordinatenursprung. Das Koordinatensystem kann zum Beispiel so definiert sein, dass der Koordinatenursprung an der Position des aktiven optischen Sensorsystems gewählt ist, welches an einem Kraftfahrzeug angeordnet ist, und eine x-Achse dieses Koordinatensystems sich in Kraftfahrzeuglängsrichtung erstreckt, insbesondere in Fahrtrichtung des Kraftfahrzeugs, wenn das Kraftfahrzeug vorwärts fährt. Dann kann die Richtung der Kanten mit Bezug auf die x-Komponente ihres Abstands zum Koordinatenursprung definiert sein. Somit kann, wenn eine Verbindung zwischen zwei Referenzen hergestellt wird, die Richtung dieser Verbindung dann von diesem Referenzpunkt, der die kleinere x-Koordinate hat, zum Referenzpunkt mit der größeren x-Koordinate definiert sein. Dies würde zu der von-Nahzu-Fern-Definition der Richtung der Kanten korrespondieren. Korrespondierend würde eine von-Fern-zu-Nah-Definition der Richtung bedeuten, dass eine Kante vom Referenzpunkt mit einer größeren x-Koordinate zum Referenzpunkt mit der kleineren x-Koordinate gerichtet wäre. Dadurch wird die Richtung der Kanten global für alle Verbindungen entweder in Richtung von Fern zu Nah oder in Richtung von Nah zu Fern definiert.
• Gemäß einer weiteren vorteilhaften Ausgestaltung der Erfindung umfasst die erste Bedingung, dass die zwei Referenzpunkte, für welche die Verbindung erzeugt wird, einen ersten Satz einer Vielzahl von ersten Kompatibilitätskriterien erfüllen. Dies ist sehr vorteilhaft, da eine Vielzahl an geometrischen Eigenschaften berücksichtigt werden muss, um sinnvolle Kandidaten für Fahrbahnmarkierungen bereitzustellen. Solche ersten Kompatibilitätskriterien können beispielsweise umfassen, dass ein Abstand zwischen Knoten innerhalb definierter Grenzen liegt, insbesondere mit Bezug auf die x-Richtung wie oben definiert oder im Allgemeinen mit Bezug auf eine erste definierte Richtung. Ein weiteres erstes Kriterium kann sein, dass die Referenzpunkte, da sie nicht zum selben Segment gehören, entweder einen Anfang oder ein Ende des Segments repräsentieren sollen. Der Anfang und das Ende eines Segments können jeweils als der erste und letzte Scanpunkt innerhalb dieses Segments mit Bezug auf die definierte erste Richtung definiert sein. Gemäß einer sehr vorteilhaften Ausgestaltung der Erfindung umfasst eines der ersten Kompatibilitätskriterien, dass ein Winkel einer Kante mit Bezug auf die erste Richtung einen ersten definierten maximalen Winkelgrenzwert nicht überschreitet, wobei insbesondere dieser maximale Winkelgrenzwert in Abhängigkeit von einer maximal erlaubten Krümmung und Gierwinkel der detektierten Fahrbahnmarkierungen bestimmt wird. Diese Werte, nämlich die Neigung und der Gierwinkel, können auf der Basis von Fahrbahnmarkierungen bestimmt werden, die in Zeitschritten zuvor detektiert wurden. Dies ist sehr vorteilhaft, insbesondere im Falle von stark gekrümmten Straßen oder Fahrbahnen, die korrespondierend stark gekrümmte Fahrbahnmarkierungen aufweisen. Dies erlaubt insbesondere auch eine zuverlässige Detektion von sich verzweigenden Fahrbahnmarkierungen. Im Falle, dass Referenzpunkte zu dem gleichen Segment gehören, kann eines der ersten Kompatibilitätskriterien darin bestehen, dass nur der erste und letzte Referenzpunkt eines Segments kombiniert werden können, das heißt mittels einer Verbindung, die eine Kante darstellt, verbunden werden können. Dies hat den Vorteil, dass eine finale Anzahl an Kanten reduziert werden kann. Da Scanpunkte innerhalb eines gleichen Segments ohnehin zur gleichen Fahrbahnmarkierung gehören, da dies bereits in der oben beschriebenen Vorverarbeitung bestimmt wurde, ist es nicht notwendig, mehrere Verbindungen zwischen Referenzpunkten innerhalb des gleichen Segments bereitzustellen und solche Zwischenverbindungen nachfolgenden Filterschritten auszusetzen. Referenzpunkte des gleichen Segments gehören offensichtlich als Voraussetzung zur gleichen Fahrbahnmarkierung.
• Gemäß einer weiteren sehr vorteilhaften Ausgestaltung der Erfindung wird ein erster Konfidenzwert bezüglich einer Wahrscheinlichkeit, dass die jeweiligen zwei Segmente, zu denen die zwei Referenzpunkte gehören, zu derselben Fahrbahnmarkierung gehören, bestimmt, und ein weiteres der ersten Kompatibilitätskriterien umfasst, dass der erste Konfidenzwert größer als ein vorgegebener erster Grenzwert ist. Solch ein Konfidenzwert kann wiederum auf der Basis von geometrischen Eigenschaften der jeweiligen Segmente berechnet werden. Insbesondere wird solch ein erster Konfidenzwert, der die Wahrscheinlichkeit selbst darstellen kann, vorzugsweise mittels eines neuronalen Segment-Combinator-Netzwerks bereitgestellt. Solch ein Segmentnetzwerk kann latente Merkmale zweier Segmente verwenden, um die Wahrscheinlichkeit dafür vorherzusagen, dass diese zwei Segmente zur gleichen Fahrbahnmarkierung gehören. Um diese latenten Merkmale bereitzustellen, kann das neuronale Segment-Combinator-Netzwerk mit bestimmten Parametern der zwei Segmente als Eingangsdaten gefüttert werden. Vorzugsweise stellen diese Parameter die x- und y-Koordinaten des Mittelpunkts der jeweiligen Segmente dar und die x- und y-Koordinaten der jeweiligen Startpunkte und Endpunkte der jeweiligen Segmente. Die y-Koordinaten beziehen sich hier auf die y-Achse, die vorzugsweise senkrecht zur x-Achse steht und sich, wenn die Erfindung oder ihre Ausführungsformen in einem Kraftfahrzeug verwendet werden, parallel zur Kraftfahrzeugquerachse erstreckt. Daher würde die verbleibende z-Achse zur Kraftfahrzeughochachse korrespondieren. Somit kann das neuronale Segment-Combinator-Netzwerk aus zwei Teilen bestehen, nämlich dem neuronalen, latentes-Segmentmerkmals-Netzwerk, welches einen Vektor latenter Merkmalen für jedes der Segmente im bereitgestellten Paar von Segmenten herleitet, wobei dieses gleiche Netzwerk für jedes der Segmente ausgeführt wird, und den Wahrscheinlichkeitsvorhersager, welcher latente Merkmale der Segmente kombiniert und die Wahrscheinlichkeit dafür ermittelt, dass die Segmente zur gleichen Fahrbahnmarkierung gehören. Letztendlich gibt das neuronale Segment-Combinator-Netzwerk eine einzelne Zahl aus, nämlich den ersten Konfidenzwert, der als Wahrscheinlichkeit dafür interpretiert werden kann, dass ein Paar von Segmenten zur gleichen Fahrbahnmarkierung gehört. Der erste Grenzwert kann zum Beispiel als 0,65 gewählt werden, wobei ein Wert von 0 bedeutet, dass zwei Segmente sicher nicht zur gleichen Fahrbahnmarkierung gehören, und ein Wert von 1 bedeuten würde, dass zwei Segmente sicher zur gleichen Fahrbahnmarkierung gehören.
• Gemäß einer weiteren vorteilhaften Ausgestaltung der Erfindung wird vor der Bestimmung des mindestens einen Pfads der mindestens einen Fahrbahnmarkierung eine erste Filterung der Verbindungen durchgeführt, um die Anzahl der Verbindungen zu reduzieren, die nach mindestens einem Gültigkeitskriterium ungültig sind. Dies hat den großen Vorteil, dass die Anzahl an Verbindungen weiter reduziert werden kann. Auch kann eine solche Filterung mittels eines neuronalen Netzwerks durchgeführt werden, was später detaillierter beschrieben wird. Eine solche Filterung kann zum Beispiel durchgeführt werden, um ungültige Verbindungen, zum Beispiel Überschneidungen oder Verzweigungen, zu filtern.
• Gemäß einer weiteren vorteilhaften Ausgestaltung der Erfindung umfasst ein weiteres der ersten Kompatibilitätskriterien, dass die Referenzpunkte, für die Verbindungen erstellt werden, zu Segmenten gehören, die derselben Lage oder benachbarten Lagen zugeordnet sind. Daher werden nur Verbindungen erzeugt, die Segmente betreffen, die sehr nah beieinander sind. Jedoch soll dies nicht implizieren, dass Verbindungen zwischen Segmenten, die voneinander weit entfernt sind, überhaupt nicht berücksichtigt werden sollen. Im Gegenteil, diese sollen ebenfalls berücksichtigt werden, jedoch kann die Erzeugung von Verbindungen und die Filterung von Verbindungen gemäß einem zweistufigen Verfahren ausgeführt werden. In einem ersten Schritt werden Verbindungen zwischen kompatiblen Referenzpunkten von nahen Segmenten erzeugt und gefiltert, und im zweiten Schritt können Verbindungen zwischen Referenzpunkten von Segmenten, die weiter weg sind, erzeugt und gefiltert werden. Ein solches zweistufiges Verfahren hat sich als viel effizienter erwiesen, insbesondere mit Bezug auf die Genauigkeit der Ergebnisse und mit Bezug auf das Einsparen von Rechenzeit. Weiterhin erlaubt dies, einen zumindest teilweise unterschiedlichen Satz an Kompatibilitätskriterien für nahe Segmente und für weiter voneinander entfernte Segmente zu definieren, was letztendlich zu viel besseren Filterergebnissen führt.
• Daher ist es eine weitere sehr vorteilhafte Ausgestaltung der Erfindung, dass nach der ersten Filterung von Verbindungen für jeden der Referenzpunkte eine Verbindung zu mindestens einem anderen der Referenzpunkte zumindest unter der zweiten Bedingung erzeugt wird, dass die beiden Referenzpunkte, für die die Verbindung erzeugt wird, einen zweiten Satz mehrerer zweiter Kompatibilitätskriterien erfüllen, wobei eines der mehreren zweiten Kompatibilitätskriterien umfasst, dass die Referenzpunkte für die Verbindungen erzeugt werden, zu Segmenten gehören, die nicht derselben Lage oder benachbarten Lagen zugeordnet sind. Somit kann, wie bereits beschrieben, für Referenzpunkte, die zu Segmenten gehören, die weiter voneinander entfernt sind und daher nicht zur gleichen Lage oder auch nicht zu benachbarten Lagen gehören, ein separater zweiter Satz an Kompatibilitätskriterien definiert werden, gemäß welchen Verbindungen zwischen solchen Referenzpunkten hergestellt werden können oder nicht. Auch die so erzeugten zweiten Verbindungen können wiederum einer weiteren Filterung unterzogen werden.
• Daher stellt es eine weitere vorteilhafte Ausgestaltung der Erfindung dar, dass vor der Bestimmung des mindestens einen Pfads der mindestens einen Fahrbahnmarkierung und nach der Erzeugung der Verbindungen nach der ersten Filterung eine zweite Filterung der Verbindungen durchgeführt wird, um die Anzahl der Verbindungen zu reduzieren, die gemäß mindestens einem zweiten Gültigkeitskriterium ungültig sind. Das Gültigkeitskriterium kann das gleiche wie das erste Gültigkeitskriterium sein oder ein anderes. Auch hier können mittels der zweiten Filterung ungültige Verbindungen, wie sich überschneidende Verbindungen oder Verzweigungen oder andere, gefiltert werden.
• Dabei ist es vorteilhaft, wenn die erste und/oder zweite Filterung mittels eines neuronalen Hopfield-Netzwerks durchgeführt wird. Dies erlaubt ein sehr verlässliches und effizientes Filtern. Darüber hinaus erlaubt es die Erzeugung eines gerichteten Graphen, wie oben beschrieben, die Neuronen eines solchen neuronalen Hopfield-Netzwerks mit jeweiligen Kanten zwischen den Knoten zu identifizieren. Dies wiederum ermöglicht eine sehr leichte und effiziente Implementierung eines solchen neuronalen Hopfield-Netzwerks für die Verwendung zur Mustererkennung, um Fahrbahnmarkierungen zu detektieren.
• Daher ist es eine weitere vorteilhafte Ausgestaltung der Erfindung, wenn die Kanten Neuronen des neuronalen Hopfield-Netzwerks darstellen, wobei eine Energiefunktion definiert ist, die durch Aktualisieren von Gewichten für die jeweiligen Kanten zu minimieren ist, wobei die Gewichte so definiert sind, dass sich kreuzende Kanten den Wert der Energiefunktion erhöhen würden, insbesondere unter anderen Kriterien. Vorteilhafterweise kann das neuronale Hopfield-Netzwerk zur Mustererkennung verwendet werden. Die Basisanwendung des neuronalen Netzwerks zur Mustererkennung wird auch im Denby-Peterson-Verfahren verwendet. Dabei besteht die Hauptidee darin, dass ein Paar von 2D-Messungen mit Indizes i und j als ein Neuron S_ij des neuronalen Hopfield-Netzwerks aufgefasst werden kann, und korrespondierende Gewichte können definiert werden, die gleichzeitig als Neuronenaktualisierungsvorschrift verwendet werden können. Jedoch wird in dieser elementaren Ausbildung keine Überschneidungsbestrafung berücksichtigt. Solch eine Überschneidungsbestrafung ist jedoch zur Detektion von Fahrbahnmarkierungen vorteilhaft. Daher können die Gewichte und die korrespondierenden Aktualisierungsvorschriften derart definiert werden, dass sich schneidende Kanten den Gesamtwert der Energiefunktion erhöhen würden. Auf diese Art können Kanten, die sich gegenseitig schneiden, deaktiviert werden.
• Gemäß einer weiteren vorteilhaften Ausgestaltung der Erfindung wird ein zweiter Konfidenzwert betreffend eine Wahrscheinlichkeit, dass ein Triplett verbundener Referenzpunkte zur gleichen Fahrbahnmarkierung gehört, für jedes Triplett verbundener Referenzpunkte ermittelt, und die Gewichte werden in Abhängigkeit von den jeweiligen zweiten Konfidenzwerten bestimmt. Dadurch kann die Wechselwirkung zwischen zwei Kanten, die daher drei Knoten verbinden, modelliert werden. Im Falle, dass einer dieser Knoten nicht zur gleichen Fahrbahnmarkierung gehört wie die anderen beiden Knoten, kann dann zum Beispiel die jeweilige Kante, die den „fremden“ Knoten mit den anderen beiden Knoten verbindet, deaktiviert werden. Solch ein zweiter Konfidenzwert, der zum Beispiel die Wahrscheinlichkeit dafür darstellen kann, dass das Triplett von verbundenen Referenzpunkten zur gleichen Fahrbahnmarkierung gehört, kann zum Beispiel mittels eines neuronalen Triplett-Combinator-Netzwerks bereitgestellt werden. Das neuronale Triplett-Combinator-Netzwerk kann dem neuronalen Segment-Combinator-Netzwerk, welches oben beschrieben wurde, ähnlich sein, mit leichten Modifikationen in den latenten Knotenmerkmals- und Wahrscheinlichkeitsvorhersager-Teilen. Das neuronale Triplett-Combinator-Netzwerk kann als Eingangsdaten wieder die x- und y-Koordinaten der Mittelpunkte, Startpunkte und Endpunkte von jeweilige zugrundeliegenden Segmenten verwenden, daraus latente Merkmale der jeweiligen Segmente vorhersagen und letztendlich eine Wahrscheinlichkeit basierend auf den extrahierten latenten Merkmalen dafür ausgeben, ob die drei Knoten oder Referenzpunkte zur gleichen Fahrbahnmarkierung gehören oder nicht. Im Falle, dass der zweite Konfidenzwert unterhalb des jeweiligen zweiten Grenzwerts liegt, zum Beispiel wiederum 0,65, kann dann das korrespondierende Gewicht oder der Gewichtsanteil gleich 0 gesetzt werden.
• Gemäß einer weiteren vorteilhaften Ausgestaltung der Erfindung wird der mindestens eine Pfad der mindestens einen Fahrbahnmarkierung als längster Pfad von durchgängig verbundenen Referenzpunkten ausgehend von einem definierten Startpunkt ermittelt, insbesondere unter Verwendung eines gewichteten zellularen Automaten.
• Vorteilhafterweise kann ein zellularer Automat verwendet werden, um das Problem des Auffindens des längsten Pfads zu lösen. Dies ist besonders vorteilhaft im Fall, dass für ein und dieselbe Fahrbahnmarkierung mehrere sich verzweigende verbindende Linien gefunden wurden. Angewandt auf den Graphen kann ein zellularer Automat das Problem des Auffindens des längsten Pfads innerhalb des Graphen lösen. Im aktuellen Kontext ordnet der zellulare Automat die Gewichte den Kanten basierend auf dem vorbestimmten Satz von Regeln der Systementwicklung zu. Es kann zwei Schritte im zellularen Automatenalgorithmus für die Merkmalsextraktion geben: Vorwärtspfad und Rückwärtspfad. Während des Vorwärtspfads ordnet der zellulare Automat Gewichte den Zellen gemäß den Entwicklungsregeln zu, während der zellulare Automat während des Rückwärtspfads die Pfade innerhalb des Graphen basierend auf den zuvor zugeordneten Gewichten einsammelt. Daher stellt ein zellularer Automat eine sehr vorteilhafte und effiziente Weise bereit, um Fahrbahnmarkierungskandidaten zu finden, wenn er auf die Kanten des gefilterten Graphen von Segmenten angewandt wird.
• Letztendlich können extrahierte Kantenpfade als Fahrbahnmarkierungskandidaten gespeichert werden. Dabei können die Referenzen, die zu den eingesammelten Kanten gehören, ebenso gespeichert werden, wie die Segmente, die den gespeicherten Referenzpunkten zugeordnet sind. Die Ausgabe des Fahrbahnmarkierungsextraktionsalgorithmus ist letztendlich die Liste der Fahrbahnmarkierungskandidaten, wobei jeder dieser aus einem Array von Segmenten und einem Array von Referenzpunkten besteht.
• Die Erfindung betrifft auch ein Computerprogramm aufweisend Anweisungen, die, wenn sie von einem Computersystem ausgeführt werden, das Computersystem dazu veranlassen, ein erfindungsgemäßes computerimplementiertes Verfahren oder einer seiner Ausführungsformen auszuführen.
• Ein Computerprogramm ist eine Sammlung von Anweisungen zum Ausführen einer speziellen Aufgabe, die zur Lösung einer speziellen Klasse von Problemen entworfen ist. Die Anweisungen eines Programms sind entworfen, um von einem Computer ausgeführt zu werden, und es ist erforderlich, dass ein Computer in der Lage ist, Programme auszuführen, damit er funktioniert.
• Darüber hinaus betrifft die Erfindung auch ein computerlesbares Speichermedium, auf welchem ein Computerprogramm gemäß der Erfindung oder eines ihrer Ausgestaltungen gespeichert ist.
• Daten speichern ist das Aufzeichnen (Speichern) von Informationen (Daten) auf einem Speichermedium. Das Aufzeichnen wird praktisch durch jede Energieform erreicht. Elektronische Datenspeicher erfordern elektrische Energie, um Daten zu speichern und abzurufen.
• Weiterhin betrifft die Erfindung ein Fahrerassistenzsystem für ein Kraftfahrzeug, welches ein computerlesbares Speichermedium gemäß der Erfindung oder einer ihrer Ausgestaltungen aufweist. Weiterhin soll auch ein Kraftfahrzeug mit einem solchen Fahrerassistenzsystem als zur Erfindung gehörend angesehen werden.
• Weitere Merkmale der Erfindung ergeben sich aus den Ansprüchen, den Figuren und der Figurenbeschreibung. Die vorstehend in der Beschreibung genannten Merkmale und Merkmalskombinationen sowie die nachfolgend in der Figurenbeschreibung genannten und/oder in den Figuren alleine gezeigten Merkmale und Merkmalskombinationen sind nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen verwendbar, ohne den Rahmen der Erfindung zu verlassen. Es sind somit auch Ausführungen von der Erfindung als umfasst und offenbart anzusehen, die in den Figuren nicht explizit gezeigt und erläutert sind, jedoch durch separierte Merkmalskombinationen aus den erläuterten Ausführungen hervorgehen und erzeugbar sind. Es sind auch Ausführungen und Merkmalskombinationen als offenbart anzusehen, die somit nicht alle Merkmale eines ursprünglich formulierten unabhängigen Anspruchs aufweisen. Es sind darüber hinaus Ausführungen und Merkmalskombinationen, insbesondere durch die oben dargelegten Ausführungen, als offenbart anzusehen, die über die in den Rückbezügen der Ansprüche dargelegten Merkmalskombinationen hinausgehen oder abweichen.
• Diese zeigen in:
• 1 eine schematische Darstellung eines Kraftfahrzeugs mit einer beispielhaften Ausführung eines Fahrerassistenzsystems, zum Beispiel in Form eines elektronischen Fahrzeugführungssystems, gemäß einem Ausführungsbeispiel der Erfindung;
• 2 eine schematische Darstellung eines Teils eines aktiven einer weiteren beispielhaften Umsetzung eines Fahrerassistenzsystems gemäß einem Ausführungsbeispiel der Erfindung;
• 3 ein Teil eines aktiven optischen Sensorsystems einer weiteren beispielhaften Umsetzung eines Fahrerassistenzsystems gemäß einem Ausführungsbeispiel der Erfindung;
• 4 eine Punktewolke eines aktiven optischen Sensorsystems einer weiteren beispielhaften Umsetzung eines Fahrerassistenzsystems gemäß einem Ausführungsbeispiel der Erfindung;
• 5 einen Satz von Scanpunkten gemäß einer beispielhaften Umsetzung eines Verfahrens gemäß einem Ausführungsbeispiel der Erfindung;
• 6 Segmente von Scanpunkten gemäß einer weiteren beispielhaften Umsetzung eines Verfahrens gemäß einem Ausführungsbeispiel der Erfindung;
• 7 Referenzpunkte von Segmenten gemäß einer weiteren beispielhaften Umsetzung eines Verfahrens gemäß einem Ausführungsbeispiel der Erfindung;
• 8 eine schematische Darstellung eines Aktivitätsdiagramms eines Fahrbahndetektionsalgorithmus gemäß einem Ausführungsbeispiel der Erfindung;
• 9 eine schematische Darstellung eines Beispiels eines gerichteten Graphen mit mehreren Knoten und Kanten, wie dieser in Beispielen gemäß der Erfindung verwendet wird;
• 10 eine schematische Darstellung von zwei gerichteten Graphen, um übliche Bezeichnungen bezüglich gerichteter Graphen zu erklären;
• 11 eine schematische Darstellung von zwei Segmenten mit Referenzpunkten, die durch eine Kante eines gerichteten Graphen miteinander verbunden sind, um geometrische Parameter von Kanten eines solchen gerichteten Graphen gemäß einem Ausführungsbeispiel der Erfindung zu illustrieren;
• 12 eine schematische Darstellung eines Diagramms des neuronalen Segment-Combinator-Netzwerks, das zum Filtern von Verbindungen gemäß einem Ausführungsbeispiel der Erfindung verwendet wird;
• 13 eine schematische Darstellung eines Graphen von Referenzpunkten, erzeugt aus den initialen Referenzpunkten vor dem Filtern, gemäß einem Ausführungsbeispiel der Erfindung;
• 14 eine schematische Darstellung des Graphen der Referenzpunkte nach der Filterung mittels eines neuronalen Hopfield-Netzwerks gemäß einem Ausführungsbeispiel der Erfindung;
• 15 eine schematische Darstellung einer distanzbasierten Gewichtsfunktion, die im neuronalen Hopfield-Netzwerk gemäß einem Ausführungsbeispiel der Erfindung verwendet wird;
• 16 eine schematische Darstellung einer winkelbasierten Gewichtsfunktion, die im neuronalen Hopfield-Netzwerk gemäß einem weiteren Ausführungsbeispiel der Erfindung verwendet wird;
• 17 eine schematische Darstellung eines Diagramms des neuronalen Triplett-Combinator-Netzwerks, das zum Filtern im neuronalen Hopfield-Netzwerk gemäß einem Ausführungsbeispiel der Erfindung verwendet wird; und
• 18 eine schematische Darstellung einer Bestimmung des längsten Pfads von Verbindungen unter Verwendung eines zellularen Automaten gemäß einem Ausführungsbeispiel der Erfindung.
• 1 zeigt schematisch ein Kraftfahrzeug 1 mit einer beispielhaften Ausführung eines Fahrerassistenzsystems, in diesem Fall eines elektronischen Fahrzeugführungssystems 2 zum zumindest teilweise automatischen Steuern des Kraftfahrzeugs 1 gemäß einem Ausführungsbeispiel der Erfindung. Das elektronische Fahrzeugführungssystem 2 weist eine Recheneinheit 3 auf und das Kraftfahrzeug 1, insbesondere das elektronische Fahrzeugführungssystem 2, weist ein aktives optisches Sensorsystem 4 auf, welches zum Beispiel als ein Laserscanner-Lidar-System implementiert ist.
• Ein Sichtfeld 6 des Sensorsystems 4 befindet sich beispielsweise im Wesentlichen vor dem Kraftfahrzeug 1. In anderen Ausführungen sind jedoch auch andere Orientierungen des Sichtfelds 6 möglich. Das Fahrzeug 1 ist beim Fahren auf einer Fahrbahn 7 mit einer Fahrbahnbegrenzung 8 und Fahrbahnmarkierungen 5 auf der Fahrbahn 7 gezeigt.
• In 2 und 3 ist eine beispielhafte Ausführung des Sensorsystems 4 schematisch gezeigt. Das Sensorsystem 4 weist eine Steuereinheit 11 und eine Lichtquelle 9 sowie eine Detektoreinheit 10 auf. Der Einfachheit halber ist der Detektor 10 in 2 nicht gezeigt, während die Lichtquelle 9 in 3 nicht gezeigt ist. Die Lichtquelle 9 kann zum Beispiel einen Laser aufweisen, insbesondere eine Infrarotlaserdiode. Die Detektoreinheit 10 weist zwei oder mehr optische Detektoren 15 auf, zum Beispiel Photodioden, insbesondere Lawinen-Photodioden, APDs. Die optischen Detektoren 15 können in linearer Weise entlang einer Normalachse eines Sensorkoordinatensystems angeordnet sein, wobei die Normalachse z (siehe 4) zum Beispiel senkrecht zur Zeichnungsebene von 1 orientiert sein kann.
• Das Sensorsystem 4 kann auch eine Umlenkeinheit 12 aufweisen, die einen drehbaren Spiegel aufweisen kann, wobei die Rotationsachse parallel zur Normalachse z des Sensorkoordinatensystems ist.
• Die Lichtquelle 9 ist dazu eingerichtet, Lichtimpulse 13 auszusenden. Der anfänglich gebündelte Laserstrahl kann zum Beispiel defokussiert werden, um einen Strahl mit einem von null verschiedenen Diversionswinkel hervorzubringen. Die Umlenkeinheit 12 definiert die Richtung, in welche das Licht 13 umgelenkt wird. Insbesondere kann das Licht 13 ausgesendet und in das Sichtfeld 6 umgelenkt werden. In 3 ist schematisch gezeigt, wie Anteile 17 von einem Objekt in dem Sichtfeld 6 reflektiert werden, insbesondere von einer Oberfläche der Fahrbahn 7, zum Beispiel den Fahrbahnmarkierungen 5, und zurück zur Umlenkeinheit 12 hin gesendet werden, die die reflektierten Anteile 17 zur Detektionseinheit 10 hin umlenkt, insbesondere auf einen der optischen Detektoren 15.
• Das Sensorsystem 4 kann auch eine Fokussierungslinse 18 aufweisen, die die reflektierten Lichtanteile 17 auf den jeweiligen optischen Detektor 15 projiziert. Die optischen Detektoren 15 können das reflektierte einfallende Licht 17 aus einem vordefinierten Bereich sammeln, der durch einen Polarwinkel in dem Sensorkoordinatensystem definiert ist. Die entsprechenden Gebiete 16 des Sichtfeldes 6, die von den jeweiligen optischen Detektoren 15 abgedeckt sind, sind in 3 schematisch gezeigt.
• Die Steuereinheit 11 kann zum Beispiel die Lichtquelle 9 steuern und/oder entsprechende Detektorsignale von den optischen Detektoren 15 empfangen. In einigen Ausführungen können alle oder manche Aufgaben der Steuereinheit 11 von der Recheneinheit 3 übernommen werden. Andererseits kann in manchen Ausführungen die Steuereinheit 11 eine oder mehrere Funktionen ausführen, die im Folgenden hinsichtlich der Recheneinheit 3 beschrieben werden.
• Die Steuereinheit 11 kann sich die Technik der Lichtlaufzeitmessungen zunutze machen, um den Abstand der entsprechenden Reflexionspunkte zum Sensorsystem 4 zu bestimmen. Auf diese Weise kann eine Punktwolke 19, wie in 4 schematisch dargestellt, erzeugt werden, die aus Messpunkten besteht, die in einem Kugelkoordinatensystem bereitgestellt werden, wobei der Radius der gemessenen Lichtlaufzeit entspricht, der Azimutwinkel oder horizontale Winkel durch den entsprechenden Winkel des Rotationsspiegels der Umlenkeinheit 12 bestimmt ist und der Polarwinkel durch die Position des entsprechenden optischen Detektors 15 definiert ist. Offensichtlich können die Koordinaten der Messpunkte auch in einem kartesischen Sensorkoordinatensystem gegeben sein, das durch die Normalachse z, die Längsachse x und die Querachse y gegeben ist.
• Auf diese Weise ist jeder der optischen Detektoren 15 einer entsprechenden Lage von Punkten in der Punktwolke 19 zugeordnet, wobei jede Lage zu einem jeweiligen Winkelbereich, insbesondere Polarwinkelbereich, korrespondiert. Ein Beispiel von verschiedenen Lagen L1, L2, L3, L4, L5, L6, L7, L8 von Scanpunkten ist ebenfalls in 5 gezeigt. Lagen, die Reflexionen von der Fahrbahn 7 aufweisen, werden auch als Bodenlagen oder Aufsetzlagen bezeichnet. Die entsprechenden Reflexionspunkte können als Bodenpunkte beziehungsweise Aufsetzpunkte bezeichnet werden. Die Bodenpunkte können insbesondere Scanpunkte umfassen, die Reflexionen von den Fahrbahnmarkierungen 5 und von anderen Teilen der Fahrbahn 7, wie etwa Asphalt, Pflanzen et cetera entsprechen.
• Im Allgemeinen können die Punkte der Punktwolke 19 Bodenpunkte sowie Scanpunkte einschließen, die von Reflexionen über dem Boden herrühren. Die Punktwolke 19 kann jedoch zum Beispiel derart gefiltert werden, dass sie nur Bodenpunkte aufweist. Des Weiteren können die Punkte der Punktwolke 19 auf die x/y-Ebene des Sensorkoordinatensystems projiziert werden, wie ebenfalls in 5 dargestellt. Folglich ergibt sich ein Satz von Scanpunkten 20, wobei jeder Scanpunkt zweidimensionale Koordinaten, insbesondere x-Koordinaten und y-Koordinaten, aufweist.
• Die Recheneinheit 3 kann den Satz von Scanpunkten 20 empfangen oder kann die Punktwolke 19 empfangen und den Satz von Scanpunkten 20 erzeugen. Insbesondere ist die Recheneinheit 3 dazu eingerichtet, ein computerimplementiertes Verfahren zum Vorverarbeiten des Satzes von Scanpunkten 20 durchzuführen, um Ausgabedaten zu erzeugen, die zum zumindest teilweise automatischen Steuern des Kraftfahrzeugs 1 gemäß einem Ausführungsbeispiel der Erfindung geeignet sind.
• Insbesondere ist die Recheneinheit 3 dazu eingerichtet, für jede der Lagen L1, L2, L3, L4, L5, L6, L7, L8 jeweilige Fahrbahnmarkierungspunkte zu bestimmen, die Licht entsprechen, das von den Fahrbahnmarkierungen 5 reflektiert wird, abhängig von einer geometrischen Form einer räumlichen Kurve, die durch die Scanpunkte der jeweiligen Lage L1, L2, L3, L4, L5, L6, L7, L8 definiert ist. Abhängig von den Fahrbahnmarkierungspunkten kann die Recheneinheit 3 ein oder mehrere Segmente 21 (siehe 6) von Fahrbahnmarkierungspunkten für jede der Lagen L1, L2, L3, L4, L5, L6, L7, L8 bestimmen und die Ausgabedaten abhängig von den Segmenten 21 erzeugen.
• Die Recheneinheit 3 kann dann Steuersignale abhängig von den Ausgabedaten erzeugen, und die Steuersignale einem oder mehreren Aktoren (nicht gezeigt) des Kraftfahrzeugs 1 oder den jeweiligen Steuereinheiten zuführen, um das Kraftfahrzeug 1 zumindest teilweise automatisch zu steuern, insbesondere um eine Fahrerassistenzfunktion oder eine autonome Fahrfunktion zu realisieren. Zu diesem Zweck kann die Recheneinheit 3 zum Beispiel einen Mustererkennungsalgorithmus, wie später erläutert, abhängig von den Ausgabedaten, zum Beispiel abhängig von den Segmenten, anwenden, um zumindest einen Parameter zu bestimmen, der die Fahrbahnmarkierungen 5 beschreibt, und die Steuersignale basierend auf dem zumindest einen Parameter zu erzeugen.
• 6 zeigt schematisch die basierend auf dem Satz von Scanpunkten 20 von 5 bestimmten Segmente 21. Insbesondere umfassen die Segmente 21 alle Scanpunkte des Satzes von Scanpunkten 20, die offenbar Reflexionen von den Fahrbahnmarkierungen 5 innerhalb des Sichtfelds 6 entsprechen. Um die Fahrbahnmarkierungspunkte und folglich die Segmente 21 zu identifizieren, kann die Recheneinheit 3 den Satz von Scanpunkten 20 Lage für Lage auswerten, um bestimmte charakteristische geometrische Formen der durch die Scanpunkte definierten Kurven zu extrahieren. Ein Segment ist dann als eine Gruppe aufeinanderfolgender Scanpunkte oder Fahrbahnmarkierungspunkte definiert, die zur gleichen Fahrbahnmarkierung 5 gehören.
• In einigen Ausführungen bestimmt die Recheneinheit 3 für jedes der Segmente 21 einen oder mehrere Referenzpunkte 22, wie in 7 gezeigt. Grundsätzlich kann jeder Scanpunkt ein solcher Referenzpunkt 22 sein. Vorzugsweise werden nur einer oder manche der Scanpunkte eines gemeinsamen Segments 21 als Referenzpunkt 22 gewählt.
• Dies kann beispielsweise wie folgt erfolgen: Der Scanpunkt des Segments 21 mit der kleinsten x-Koordinate ist als ein initialer Scanpunkt des Segments 21 definiert. Analog ist ein finaler Scanpunkt des Segments 21 durch den Scanpunkt mit der größten x-Koordinate gegeben. Zum Beispiel kann der finale Scanpunkt als ein erster Referenzpunkt 22 des Segments 21 definiert sein. Dann kann zum Beispiel der nächstliegende Scanpunkt mit zumindest einem vordefinierten ersten Abstand in x-Richtung zum Referenzpunkt 22 als ein zweiter Referenzpunkt 22 definiert sein, vorausgesetzt der zweite Referenzpunkt 22 hat zumindest einen vordefinierten zweiten Abstand in x-Richtung zum initialen Scanpunkt. Auf diese Weise ist sichergestellt, dass zwei aufeinanderfolgende Referenzpunkte 22 immer zumindest den vordefinierten ersten Abstand in x-Richtung zueinander haben und jeder der Referenzpunkte 22 ist zumindest um den zweiten Abstand in x-Richtung von dem initialen Scanpunkt entfernt. Folglich weisen, wie in 7 gesehen werden kann, kleine Segmente 21 nur einen einzigen Referenzpunkt 22 auf, wie die unteren Segmente 22 in 7, und große Segmente in x-Richtung, wie die oberen Segmente 22 in 7, weisen mehrere Referenzpunkte 22 auf, die über die jeweiligen Segmente 22 in x-Richtung verteilt sind und miteinander verbunden sind, wie durch die Verbindungslinien zwischen den Referenzpunkten 22 in 7 illustriert.
• Diese letztendlich in der Vorverarbeitung bestimmten Segmente 21 und Scanpunkte 20 oder Referenzpunkte 22 daraus können dann einer weiteren Verarbeitung für die Fahrbahnmarkierungsdetektion, wie im Folgenden beschrieben, unterzogen werden.
• 8 zeigt eine schematische Darstellung eines Aktivitätsdiagramms eines Fahrbahnmarkierungsdetektionsalgorithmus gemäß einem Ausführungsbeispiel der Erfindung. Wie beschrieben, werden extrahierte Segmente 21 und Referenzpunkte 22 als Eingabe für den Merkmalsextraktionsalgorithmus verwendet. Der Algorithmus verwendet vorzugsweise ein neuronales Hopfield-Netzwerk, um die Anzahl an aktiven Kanten im Graphen, wie dieser später detaillierter definiert wird, zu reduzieren, zusammen mit einem gewichteten zellularen Automaten, um Merkmale zu sammeln. Der gerichtete Graph 24 (vergleiche zum Beispiel 9) wird verwendet, um die Relationen und ihre Gewichte zwischen den Segmenten 21 zu speichern. Der gerichtete Graph 24 besteht im Wesentlichen aus Knoten 29, die mittels gerichteter Verbindungen 30 verbunden sind, die Kanten 30 genannt werden. Ein solcher gerichteter Graph 24 kann auf der Basis der oben beschriebenen Segmente 21 und den Referenzpunkten 22 erstellt werden, indem die Referenzpunkte 22 als Knoten 29 eines solchen gerichteten Graphen 24 definiert werden und indem gemäß vorbestimmter Kriterien Verbindungen zwischen diesen Referenzpunkten 22 hergestellt werden, die Kanten 30 des gerichteten Graphen 24 darstellen. Die Richtung eines solchen Graphen 24 kann zum Beispiel in oder gegen x-Richtung gemäß dem oben definierten Koordinatensystem festgelegt werden.
• Das Aktivitätsdiagramm, welches in 8 dargestellt ist, startet am Anfangspunkt 23. Weiterhin wird der gerichtete Graph 24 im Diagramm durch Knoten 29 und Kanten 30, wie zuvor festgelegt, definiert. Die Segmente 21, die Referenzpunkte 22, die letztendlich ausgegebenen Fahrbahnmarkierungskandidaten 25 und eine Stufe 26, die später definiert wird, werden als Objekte dieses Diagramms illustriert. Darüber hinaus bedeuten die mit U bezeichneten Verbindungen Aktualisierung, die mit R Bezeichneten Lesen, die mit S Bezeichneten Speichern und die mit W Bezeichneten Schreiben. Das Gleiche gilt für die später erläuterten Aktivitätsdiagramme in 13 und 18.
• Der erste Schritt S1 kann ein Reset sein, um den gerichteten Graphen 24 zu aktualisieren. Im nächsten Schritt S2 werden Knoten 29 des gerichteten Graphen 24 erzeugt. Zum Erzeugen der Knoten 29 werden Segmente 21 und die Referenzpunkte 22 eingelesen, grundsätzlich kann jeder Referenzpunkt 22 einen Knoten 29 initiieren. Dabei werden nur Referenzpunkte 22 mit einem zugrundeliegenden gültigen Segment 21 berücksichtigt. Die kartesischen Koordinaten der Referenzpunkte 22 können als die Positionen der jeweiligen Knoten 29 übernommen werden. Insbesondere werden alle Knoten 29, die mit einer gültigen Flagge erzeugt sind, als wahr gesetzt.
• Danach werden die Kanten 30 in einer iterativen Art und Weise erzeugt. Diese Iterationssequenz ist in 8 mit 27 bezeichnet. Die Kantenerzeugung umfasst zwei Stufen st, nämlich Stufe 1 und Stufe 2. In Schritt S3 ist die erste Iteration gleich der Stufe 1. Danach, in Schritt S4, werden die Kanten 30 erzeugt, was später detaillierter mit Bezug auf 12 erklärt wird. Dabei werden in Stufe 1 hauptsächlich Knoten 29, die dem gleichen Segment 21 oder Segmenten 21 der gleichen oder benachbarten Lagen L1, L2, L3, L4, L5, L6, L7, L8 angehören, verbunden, um Kanten 30 zu erzeugen.
• Danach werden in Schritt S5 die erzeugten Kanten 30 gefiltert, indem ein neuronales Hopfield-Netzwerk ausgeführt wird. Dann wird die Stufe st in Schritt S6 um 1 erhöht. In Schritt S7 wird überprüft, ob die Stufenanzahl st bereits größer als 2 ist. Falls nicht, werden wiederum in Schritt S4 Kanten 30 erzeugt und die erzeugten Kanten 30 wieder in Schritt S5 gefiltert. Dabei fokussiert sich die Kantenerzeugung in Schritt S4 auf Verbindungen zwischen Referenzpunkten 22 von Segmenten 21, die nicht zu gleichen oder benachbarten Lagen L1, L2, L3, L4, L5, L6, L7, L8 gehören. Somit sind die Hauptschritte, die durch diese iterative Sequenz 27 umgesetzt sind, eine graphbasierte Sequenzassoziierung, die das neuronale Segmentpaar-Kombinations-Netzwerk verwendet, um gültige Kombinationen zu detektieren, wie später erläutert, und eine aktive (gültige) Kantenreduktion (Filterung) mittels eines neuronalen Hopfield-Netzwerk-Algorithmus und eines Segment-Triplett-Kombinations-Netzwerks, um ungültige Verbindungen zu eliminieren, was ebenfalls später detaillierter erklärt wird. Danach werden in Schritt S8 Kandidaten für Fahrbahnmarkierungen 5 erzeugt, indem ein zellularer Automatenalgorithmus ausgeführt wird. Diese Kandidaten werden dann in Schritt S9 eingesammelt und in Schritt S10 angepasst und letztendlich in Form der finalen Kandidaten 25 ausgegeben. Der Endpunkt dieses Aktivitätsdiagramms ist mit 28 bezeichnet.
• Im Folgenden werden die einzelnen Schritte dieses beschriebenen Verfahrens detaillierter erläutert. Zuerst soll mittels 9, 10 und 11 die Erzeugung des gerichteten Graphen 24 und seiner Elemente illustriert und erklärt werden. Dabei zeigt 9 eine schematische Darstellung eines Beispiels eines solchen gerichteten Graphen 24, der vielzählige Knoten 29 und Kanten 30 aufweist, von welchen aus Gründen der Einfachheit nur einige mit einem Bezugszeichen versehen sind. Auf der rechten Seite von 9 ist ein einfacher Graph mit zwei Knoten 29a und 29b dargestellt, wobei die Kante 30 vom ersten Knoten 29a zum zweiten Knoten 29b gerichtet ist. Der erste Knoten 29a wird daher „Knoten von“ genannt und der zweite Knoten 29 wird „Knoten zu“ genannt.
• 10 illustriert zwei Graphen 24 und die Zeit der Zuordnung t. Die Kanten 30 des oberen Graphen werden „zuvor aus“ auf der linken Seite und „nächste aus“ auf der rechten Seite genannt, wobei die Kanten 30 des unteren Graphen 24 „zuvor hinein“ auf der linken Seite und „nächste hinein“ auf der rechten Seite genannt werden.
• 11 zeigt eine schematische Darstellung von zwei Segmenten 21a, 21b, von denen jedes einen oder mehrere Referenzpunkte 22 aufweist. Zwei dieser Referenzpunkte 22 von den verschiedenen Segmenten 21a, 21b sind mittels einer Kante 30 verbunden und stellen daher Knoten 29 dar. Ein Winkel dieser Kante 30 mit Bezug auf die x-Achse ist als α definiert. Mit anderen Worten wird der Winkel α der Kante 30 als ein Winkel α zwischen der x-Achse und der Richtung der Kante 30 berechnet. Die Richtung der Kante 30 ist der Vektor, der die Mittelpunkte der Segmente 21a, 21b oder Endreferenzpunkte 22 wie in diesem Fall verbindet. Weiterhin ist der Einfallswinkel zwischen dem Segment 21a, 21b und der Kante 30 β_from/to ein Winkel zwischen dem Kantenrichtungsvektor und dem Segmentrichtungsvektor (zum Beispiel eine mittlere Richtung der Verbindungslinien, die die Referenzpunkte 22 verbinden).
• Darüber hinaus kann ein maximal erlaubter Winkel α der Kante definiert und berechnet werden als: $${\mathrm{\alpha }}_{\text{max}}=2{\text{a}}_{\text{max}}{\text{ x}}_{\text{from}}+{\text{b}}_{\text{max}}$$

  

  wobei amax und bmax die maximal erlaubte Krümmung und den maximal erlaubten Gierwinkel der detektierten Fahrbahnmarkierungen 5 darstellen.
• Wie in 8 gezeigt und zuvor beschrieben, wird nun der Kantenerzeugungsalgorithmus, insbesondere die iterative Sequenz 27, detaillierter beschrieben. Wie in 8 dargestellt, wird der Kantenerzeugungsalgorithmus mehrere Male mit unterschiedlichen Werten der ihm zugeführten Stufenvariablen st ausgeführt. Der Wert der Stufe st fungiert als eine Flagge und steuert, welches Set von Kompatibilitätskriterien verwendet wird, um die Knoten 29 zu kombinieren. Zwei Stufen st sind konzipiert mit dem folgenden Fokus auf der Knotenkombination:
• Stufe 1: In dieser ersten Stufe werden Knoten 29 verbunden, die dem gleichen Segment 21 angehören oder die den Segmenten 21 in benachbarten Lagen L1, L2, L3, L4, L5, L6, L7, L8 oder dergleichen Lage L1, L2, L3, L4, L5, L6, L7, L8 angehören.
• Stufe 2: In Stufe 2 werden Knoten 29 verbunden mit einem Lagentunterschied größer als 1. Hierbei werden Kanten übersprungen, die Knoten 29 verbinden, die bereits aus der ersten Stufe 1 gültige Verbindungen besitzen.
• Die Kompatibilitätskriterien gemäß der ersten Stufe können wie folgt definiert werden, wobei Knoten 29 als kompatibel angesehen werden, wenn die folgenden Kriterien erfüllt sind: Wenn Referenzpunkte dem gleichen Segment 21 angehören, dann werden die ersten und zweiten Referenzpunkte des Segments 21 kombiniert, das heißt durch eine Kante 30 verbunden. Falls Referenzpunkte unterschiedlichen Segmenten 21 angehören, werden die Knoten 29 nur kombiniert, wenn die folgenden Kriterien erfüllt sind:
• - Referenzpunkte 22 sollen entweder den Anfang oder das Ende eines Segments 21 repräsentieren;
• - der Winkel α der Kante 30 darf α_max wie zuvor definiert nicht überschreiten;
• - der Abstand zwischen Knoten soll innerhalb definierter Grenzen liegen;
• - der Unterschied zwischen dem Lagenindex des Segments 21 soll weniger als 2 betragen;
• - die Segmentkombinationswahrscheinlichkeit, die vom Segment-Combinator-Netzwerk SCN (vergleiche 12) wie im Folgenden beschrieben ausgegeben wird, soll einen vorbestimmten Grenzwert, zum Beispiel 0,65, überschreiten.
• In Stufe 2 werden die Knoten als kompatibel erachtet, falls die folgenden zweiten Kriterien erfüllt sind: Falls die Referenzpunkte 22 dem gleichen Segment 21 angehören, dann sind die Knoten 29 inkompatibel, und wenn die Referenzpunkte 22 unterschiedlichen Segmenten 21 angehören, werden die Knoten 29 nur kombiniert, wenn die folgenden Kriterien erfüllt sind:
• - Die Referenzpunkte 22 sollen entweder den Anfang oder das Ende eines Segments 21 repräsentieren;
• - „Knoten zu“ sollen keine als gültig markierten „Kanten hinein“ besitzen;
• - „Knoten von“ sollen keine als gültig markierten „Kanten aus“ besitzen;
• - der Winkel α der Kante 30 darf α_max nicht überschreiten;
• - der Abstand zwischen Knoten 29 soll innerhalb der vordefinierten Grenzen liegen;
• - der Unterschied zwischen dem Schichtindex von dem Segment 21 soll größer als 1 sein;
• - die Segmentkombinationswahrscheinlichkeit, die vom Segment-Combinator-Netzwerk SCN ausgegeben wird, soll einen vorbestimmten Grenzwert, zum Beispiel 0,65, überschreiten.
• Wenn die Kompatibilitätskriterien erst einmal erfüllt sind, wird die Kante 30 zwischen dem Knoten 29, nämlich „Knoten von“ und „Knoten zu“ erzeugt.
• Die oben erwähnten Auswahlkriterien der Kanten 30 werden verwendet, um die Kombinatorik zu reduzieren, indem Paare von Segmenten 21 verworfen werden, die nicht zueinander passen oder nicht mit einem Fahrbahnmarkierungsdetektionsmodell kompatibel sind, und daher potentiell nicht zum selben Merkmal gehören können.
• Ein Beispiel des erzeugten Graphen 24 von Referenzpunkten 22 ist in 13 dargestellt. Der Grapherzeugungsalgorithmus, der zuvor beschrieben wurde, impliziert ein Fahrbahnmarkierungsdetektionsmodell in vielerlei Hinsicht. Erzeugte Kanten 30 sind mit geometrischen Randbedingungen von Fahrbahnmarkierungen konform. Referenzpunkte 22, die Zeiger zu den vorhergehenden und zu den nächsten Referenzpunkten 22 haben, werden spezifisch mit diesen verbunden - Wiedergabe der Segmentform oder Merkmalsform innerhalb des Graphen. Jeder der Referenzpunkte 22 repräsentiert eine innere Kante der Fahrbahnmarkierung 5.
• Nun soll das Segment-Combinator-Netzwerk SCN mit Bezug auf 12 erklärt werden. Dabei zeigt 12 eine schematische Darstellung eines Diagramms eines solchen neuronalen Segment-Combinator-Netzwerks SCN. Das Segment-Combinator-Netzwerk SCN ist ein vollständig verbundenes neuronales Feed-Forward-Netzwerk mit zwei Eingängen. Die Eingänge stellen zwei Segmente 21 dar, nämlich in diesem Beispiel ein erstes Segment 21a und ein zweites Segment 21b, insbesondere Parameter dieser Segmente 21a, 21b, zum Beispiel wie unten definiert. Der Startpunkt ist mit 31 bezeichnet. Das Netzwerk SCN besteht aus zwei Teilen, nämlich einem ersten Teil 32, welches das neuronale, latente Segmentmerkmals-Netzwerk darstellt, welches Vektoren von latenten Merkmalen 33a, 33b für jedes der Segmente 21a, 21b und das bereitgestellte Segmentpaar 21a, 21b herleitet. Dabei wird das gleiche Netzwerk für jedes der Segmente 21a, 21b ausgeführt. Der zweite Teil ist der Wahrscheinlichkeitsvorhersager 34. Das neuronale Netzwerk 34 des Wahrscheinlichkeitsvorhersagers kombiniert latente Merkmale 33a, 33b der Segmente 21a, 21b und ermittelt eine Wahrscheinlichkeit B, dass die Segmente 21a, 21b zur gleichen Fahrbahnmarkierung 5 gehören.
• Die Eingänge des Netzwerks SCN sind die folgenden Parameter der jeweiligen Segmente 21a, 21b:
• - x-Koordinate des Mittelpunkts;
• - y-Koordinate des Mittelpunkts;
• - x-Koordinate des Startpunkts;
• - y-Koordinate des Startpunkts;
• - x-Koordinate des Endpunkts;
• - y-Koordinate des Endpunkts.
• Das Netzwerk SCN gibt eine einzelne Zahl aus, die als eine Wahrscheinlichkeit P interpretiert werden kann, dass ein Paar von Segmenten 21a, 21b zur gleichen Fahrbahnmarkierung 5 gehört. Der Endpunkt dieses Aktivitätsdiagramms ist mit 35 bezeichnet.
• Im Folgenden soll das neuronale Hopfield-Netzwerk für die Filterung der Verbindungen, das heißt die erzeugten Kanten, detaillierter erklärt werden 30. Eine der möglichen Anwendungen des neuronalen Hopfield-Netzwerks für eine Mustererkennung wurde von Denby und Peterson beschrieben und wird daher Denby-Peterson-Verfahren genannt. Die Hauptidee besteht darin, dass ein Paar von 2D-Messungen mit den Indizes i und j als ein Neuron S_ij des neuronalen Hopfield-Netzwerks angesehen werden kann. Das Verbindungsgewicht w_ij wird berechnet als: $$w_{ij,ki}=\{\begin{array}{ll}-\frac{{\text{cos}}^{\text{m}}{\theta }_{ijk}}{d_{ij}+d_{kl}}\hfill & fallsj=k\hfill \\ \mathrm{0,}\hfill & fallsj\ne k\hfill \end{array}$$

  

  wobei θ_ijk der Winkel zwischen den Neuronen ij und kl ist, d_ij die Länge des Neurons ist, und m ein konfigurierbarer Parameter. Die vorgeschlagene Energiefunktion E ist: $$E=-\frac{1}{2}{\displaystyle \sum {\text{w}}_{ij,kl}{\text{ S}}_{ij}{S}_{kl}}+\frac{1}{2}\alpha \left({\displaystyle \sum _{i\ne j}{S}_{ij}{S}_{il}}+{\displaystyle \sum _{k\ne i}{S}_{ij}{S}_{kj}}\right)+\frac{1}{2\delta }{\left({\displaystyle \sum S_{ij}-N}\right)}^2$$

  

  wobei α eine Lagrange-Multiplikator ist, der vor dem Term steht, der zur Verzweigungsstrafe der Energiefunktion korrespondiert, und δ ein Lagrange-Multiplikator ist, der vor dem Bestrafungsterm für die Anzahl an aktiven Neuronen steht, N ist die Gesamtanzahl an 2D-Messungen. Diese Energiefunktion beschreibt eine Neuronen-Neuronen-Wechselwirkung, die geradlinige Muster von 2D-Messungen bevorzugt und Überschneidungen zwischen Messungen unterdrückt, die sehr wahrscheinlich zu unterschiedlichen Mustern gehören.
• Unter Anwendung der Näherung der Meanfield-Theorie auf das oben beschriebene Netzwerk kann man die folgende Neuronenaktualisierungsvorschrift erhalten: $$V_{ij}=\frac{1}{2}\left(1+\text{tanh}\left(\frac{1}{2T}\left({\displaystyle \sum w_{ij,kl}{V}_{kl}-\alpha }\left({\displaystyle \sum _{i\ne j}{V}_{ij}+}{\displaystyle \sum _{i\ne i}{V}_{ij}+}\right)-\delta {({\displaystyle \sum V_{mn}-N}}^2\right)\right)\right)$$

  

  wobei T die Temperatur darstellt oder im Allgemeinen einen Parameter, der bestimmt, wie schnell das Netzwerk konvergiert. Die Aktualisierung wird durchgeführt, bis das Netzwerk konvergiert. Ein Konvergenzkriterium ist: $${\displaystyle \sum _{ij}\frac{V_{ij}\left(t+1\right)-V_{ij}\left(t\right)}{N}}<\Delta E$$

  

  wobei ΔE der vorbestimmte Grenzwert ist.
• Die oben beschriebene Technik, nämlich das Denby-Peterson-Verfahren, kann angewandt werden, um das Straßenmerkmalsdetektionsproblem zu lösen. Jede Kante 30 e_ij im Graphen 24, die Knoten 29 verbindet, die Referenzpunkte 22, i („von“) und j („zu“), darstellen können als Neuronen des neuronalen Hopfield-Netzwerks angesehen werden, mit der Aktualisierungsvorschrift: $$\begin{array}{l}{V}_{ij}=\frac{1}{2}(1+\text{tanh}(\frac{1}{2T}("\text{interaction}"+\alpha "\text{bifurcation}"+\beta "interaction"\\ -\delta "globalinhibition")))\end{array}$$

  
• Der neue Term „Intersection“ wird hinzugefügt, welcher gebraucht wird, um aktive Neuronen vor einer geometrischen Überschneidung zu bewahren.
• Das Gewicht der Kanten wird als eine Aktivierung der korrespondierenden Neuronen verwendet und entsprechend aktualisiert.
• Nun soll die Definition des Verbindungsgewichts für die „Interaction“ bereitgestellt werden: Für jede Kante e_ij mit Knoten i und j, die jeweils als „von“ und „zu“ fungieren, hat der Wechselwirkungsteil der Energiefunktion E die Form: $$\text{interaction}={\displaystyle \sum _k{w}_{ijk}{V}_{jk}}+{\displaystyle \sum _i{w}_{lij}{V}_{li}}$$

  

  wobei V_jk das Gewicht einer Kante e_jk ist (der Knoten j fungiert als „von“ für die Kante e_jk), V_li ist das Gewicht einer Kante e_li (der Knoten i fungiert als „zu“ für die Kante e_li). Für ein Paar an Kanten e_ij und e_jk ist das Gewicht w_ijk definiert als: $$w_{ijk}=\{\begin{array}{ll}\text{cos}\frac{m}{w_{dist}{w}_{\theta }{\theta }_{ijk}},\hfill & fallspro{b}_{ijk}\ge \mathrm{0,65}\hfill \\ \mathrm{0,}\hfill & fallspro{b}_{ijk}<\mathrm{0,65}\hfill \end{array}$$

  

  $$w_{dist}=\frac{1}{2}\left(1+\text{tanh}\left(k_{dist}\left(1-\frac{d_{ij}+d_{jk}}{d_n}\right)\right)\right)$$

  

  $$w_{\theta }=\frac{1}{2}\left(1+\frac{1}{2}\left(1+\text{tanh}\left(k_{\theta }\right)\left(cos{\theta }_{max}-cos{\theta }_{ijk})\right)\right)\right)$$

  

  wobei k_dist, ke Skalierungsparameter sind, d_ij, d_jk die Längen der jeweiligen Kanten e_ij und e_jk darstellen, d_n der Abstandsnormalisierungsfaktor ist, θ_ijk der Winkel zwischen den Kanten e_ij und e_jk ist, θ_max der maximal erlaubte Winkel zwischen den Kanten ist, m der vordefinierte Parameter ist, prop_ijk die Wahrscheinlichkeit ist, dass Knoten i, j, k zur gleichen Fahrbahnmarkierung 5 gehören, prop_ijk wird vom neuronalen Triplett-
• Combinator-Netzwerk TCN berechnet, welches unten beschrieben ist. Beispiele der Gewichtsfunktionen sind jeweils in 15 und 16 dargestellt.
• 17 zeigt eine schematische Darstellung des neuronalen Triplett-Combinator-Netzwerks TCN. Das neuronale Triplett-Combinator-Netzwerk TCN ist dem Segment-Combinator-Netzwerk SCN ähnlich mit leichten Modifikationen in den Teilen für die latenten Knotenmerkmale und des Wahrscheinlichkeitsvorhersagers. Eine Architektur des Netzwerks ist in 17 illustriert. Der Startpunkt ist mit 36 bezeichnet. Das neuronale Triplett-Combinator-Netzwerk TCN umfasst ein neuronales latentes Knotenmerkmalsnetzwerk 37 und einen Wahrscheinlichkeitsvorhersager 38. Die Eingänge des Netzwerks TCN sind die folgenden Parameter der Knoten 29, insbesondere von drei Knoten 29a, 29b, 29c:
• - x-Koordinate des Mittelpunkts des zugrundeliegenden Segments;
• - y-Koordinate des Mittelpunkts des zugrundeliegenden Segments;
• - x-Koordinate des Startpunkts des zugrundeliegenden Segments;
• - y-Koordinate des Startpunkts des zugrundeliegenden Segments;
• - x-Koordinate des Endpunkts des zugrundeliegenden Segments;
• - y-Koordinate des Endpunkts des zugrundeliegenden Segments.
• Das zugrundeliegende Segment bedeutet das Segment, von welchem der Referenzpunkt stammt, der den Knoten 29a, 29b, 29c des Graphen 24 erzeugt hat.
• Das neuronale latente Knotenmerkmalsnetzwerk 37 erzeugt jeweilige latente Merkmale 39a, 39b, 39c auf der Basis von welchen der Wahrscheinlichkeitsvorhersager 38 die Wahrscheinlichkeit P2 bereitstellt, dass ein Triplett von Knoten 29a, 29b, 29c zur gleichen Fahrbahnmarkierung 5 gehört. Insbesondere gibt das Netzwerk TCN eine einzelne Zahl aus, die als diese Wahrscheinlichkeit P2 interpretiert werden kann. Das Aktivitätsende ist mit 40 bezeichnet.
• Die Verzweigungsbestrafung stellt sicher, dass für jeweilige Knoten 29 im Graphen 24 nur eine Kante 30 (Neuron) „hinein“ und nur eine Kante „aus“ aktiv sein kann. Der Verzweigungsteil der Aktualisierungsfunktion für eine Kante e_ij hat die Form: $$"\text{bifurcation}"={\displaystyle \sum _{i\ne j}{V}_{il}+{\displaystyle \sum _{k\ne i}{V}_{kj}}}$$

  
• Die Überschneidungsbestrafung zwingt die Neuronen, die sich geometrisch überschneiden, sich gegenseitig außer Kraft zu setzen. Mit anderen Worten stellt dieser Term sicher, dass nur eines der überschneidenden Neuronen aktiviert wird. Für eine Kante e_ij hat die Überschneidungsbestrafung die Form: $$"\text{intersection}"={\displaystyle \sum _{\begin{array}{l}i\ne k\\ l\ne j\end{array}}{\lambda }_{ij,kl}{V}_{kl}}$$

  

  $${\lambda }_{ij,kl}=\{\begin{array}{cc}\mathrm{1,}& falls{e}_{ij}und{e}_{kl}sichschneiden\\ 0.& falls{e}_{ij}und{e}_{kl}nichtschneiden\end{array}$$

  
• Kanten e_ij und e_kl werden als sich schneidend betrachtet, wenn die folgenden Bedingungen erfüllt sind: 0 < t < 1 und 0 < u < 1 mit: $$t=\frac{\left(x_1-x_3\right)\left(y_3-y_4\right)-\left(y_1-y_3\right)\left(x_3-x_4\right)}{\left(x_1-x_2\right)\left(y_3-y_4\right)-\left(y_1-y_3\right)\left(x_3-x_4\right)}$$

  

  $$u=\frac{\left(x_1-x_2\right)\left(y_1-y_4\right)-\left(y_1-y_2\right)\left(x_1-x_3\right)}{\left(x_1-x_2\right)\left(y_3-y_4\right)-\left(y_1-y_3\right)\left(x_3-x_4\right)}$$

  

  wobei (x₁, y₁), (x₂, y₂) Koordinaten des Start- und Endpunkts der Kanten e_ij und (x₃, y₃), (x₄, y₄) Koordinaten des Start- und Endpunkts der Kante e_kl darstellen.
• Der letzte Term in der Aktualisierungsfunktion, der „global inhibition“ genannt wird, gleicht die Anzahl an aktiven Kanten 30 an die Gesamtzahl N von Knoten 29 an.
• Weiterhin werden die Initialisierung und die Aktualisierung des Netzwerks beschrieben. Der Graph 24 der Referenzpunkte 22 wird als Eingang des Netzwerks genommen. Kanten 30 im Graphen 24, die eine gültige Flagge haben, werden als Neuronen des neuronalen Hopfield-Netzwerks betrachtet. Kanten mit ungültiger Flagge werden verworfen.
• Neuronen des Netzwerks werden mit einem Zufallswert initialisiert, der aus der gleichmäßigen Verteilung des Bereichs [0;1] gezogen wird. Die Starttemperatur T muss hoch angesetzt werden. In jedem Aktualisierungszyklus werden Neuronen in einer zufälligen Reihenfolge asynchron aktualisiert: Jedes Neuron wird nur einmal aktualisiert. Der aktualisierte Zustand des Neurons kann im gleichen Zyklus von wechselwirkenden Neuronen verwendet werden. Weiterhin wird die Neuronenaktualisierungsreihenfolge in jedem Zyklus zufällig erzeugt.
• Die Aktualisierung wird durchgeführt, bis die Bedingung für eine minimale ΔE erfüllt ist. Nachdem das Netzwerk konvergiert ist, wird die Temperatur T erniedrigt, und die Netzwerkaktualisierung wird erneut durchgeführt. Der Algorithmus endet, wenn die vorbestimmte niedrigste Temperatur T erreicht ist.
• Ein Beispiel der Denby-Peterson-basierten Mustererkennung ist in 14 illustriert. 14 zeigt schematisch die aktiven Neuronen 30, die die Verbindungen darstellen, die als zusammenhängende gerade Linien gezeichnet sind, während inaktive Kanten 30' als gestrichelte Linien illustriert sind. Es ist klar ersichtlich, dass das Netzwerk geradlinige Muster von Neuronen fördert.
• Nach der Ausführung werden Aktivierungswerte der Neuronen als Gewichte den korrespondierenden Kanten zugeordnet. Kanten mit einem Gewicht kleiner als 0,5 oder einem anderen definierbaren Grenzwert werden einer ungültigen Flagge zugeordnet, die angibt, dass diese Kante durch das neuronale Hopfield-Netzwerk verworfen wurde. Das neuronale Hopfield-Netzwerk wird zweimal ausgeführt, wie bereits erklärt, und jedes Mal werden die Graphkanten aktualisiert.
• Im Folgenden soll die Detektion des längsten Pfads unter Verwendung eines zellularen Automaten erklärt werden. Dabei zeigt 19 ein Beispiel des ungewichteten zellularen Automaten. Ein zellularer Automat kann verwendet werden, um das Problem des Auffindens des längsten Pfads zu lösen. Das Problem kann in Form der Graphentheorie formuliert werden, was gerichtete azyklische Graphen impliziert, wobei der Zustand der Zelle die Anzahl der Zellen im längsten Pfad darstellt, der ausgehend von dieser Zelle konstruiert werden kann. Um die Analogien zu illustrieren, werden die Zellen mit 29' des Graphen bezeichnet, wie die Strukturen in 18, die daher mit 24' bezeichnet sind. Das Problem des Auffindens des längsten Pfads wird in zwei Schritten gelöst, die den Vorwärtspfad FP und den Rückwärtspfad BP darstellen.
• Im Vorwärtspfad FP läuft der zellulare Automat über alle Knoten 29' im Graphen 24', die auch als Zellen 29' bezeichnet werden, und ordnet jedem der Knoten 29' Gewichte 41 zu. Die Zustandszuordnung oder Aktualisierungsvorschrift kann wie folgt definiert werden: Der Ausgangszustand ist 1, welcher auf der linken Seite in 19 dargestellt ist. Dann werden die Zustände synchron aktualisiert. Während des Aktualisierungsschritts wird der Zustand von Knoten 29', die mindestens einen Nachbarn mit dem gleichen Gewicht 41 besitzen, um 1 erhöht. Die Aktualisierung wird ausgeführt, bis das System den stabilen Zustand erreicht, der in 19 auf der rechten Seite des Vorwärtspfads FP dargestellt ist. Somit wird initial allen Knoten 29' das Gewicht von 1 zugeordnet und die Knoten 29' werden den oben erwähnten Regeln folgend aktualisiert.
• Dann folgt der Rückwärtspfad BP. Der Rückwärtspfad BP wird dann zum Auffinden des längsten Pfads verwendet. Dabei startet dieser vom Knoten 29' mit dem höchsten zugeordneten Zustand. Dann werden die Nachbarn mit einem Zustand, der um 1 gegenüber dem Zustand 29' des aktuellen Knotens 29' verringert ist, aufgegriffen. Dies wird wiederholt, bis der Knoten 29' mit dem Gewicht 1 erreicht ist. Die kontinuierliche Kette von Knoten 29 mit Gewichten 41 von 6 bis 1 korrespondiert zum längsten Pfad, der innerhalb des Graphen 24 gefunden wurde. Die Anwendung des gewichteten zellularen Automaten kann für die Merkmalsextraktion und Sammlung verwendet werden. Angewandt auf den Graphen 24 kann der zellulare Automat das Problem des Auffindens des längsten Pfads innerhalb des Graphen 24 lösen. Innerhalb des aktuellen Kontexts ordnet der zellulare Automat die Gewichte 41 den Kanten 30 basierend auf dem vorbestimmten Set von Regeln der Systementwicklung zu. Es gibt zwei Schritte im zellularen Automatenalgorithmus für die Merkmalsextraktion: Vorwärts- und Rückwärtspfade. Während des Vorwärtspfads ordnet der zellulare Automat Gewichte 41 den Zellen gemäß den Entwicklungsregeln zu, während während des Rückwärtspfads der zellulare Automat die Pfade innerhalb des Graphen 24 basierend auf den zuvor zugeordneten Gewichten einsammelt.
• Die Entwicklungsregeln für den Vorwärtspfad können wie folgt definiert werden: Kanten des gerichteten Graphen 24 werden als Zellen im zellularen Automaten angesehen. Initial wird jeder Zelle das Gewicht der zugrundeliegenden Kante zugeordnet. Das Gewicht der Zelle wird nur aktualisiert, wenn alle Zellen in Richtung „zu“ bereits aktualisiert wurden oder keine Zellen zur Verfügung stehen.
• Die Aktualisierungs-Entwicklungs-Regel impliziert eine rekursive Gewichtszuordnung. Diese wird unter Verwendung eines Stapels von Zellen (Kanten) wie folgt umgesetzt: Nimm die erste Zelle, nämlich eine Kante, und schieb sie zum Stapel, führe eine pseudorekursive Zellenaktualisierung von nicht leeren Stapeln aus und zieh dabei die Zelle, nämlich die Kante, aus dem Stapel und untersuche die Kante: Falls die Kante keine Fortsetzung hat, das heißt keine „Kanten aus“ für den „Knoten zu“, dann ordne ein Standardgewicht zu und markiere die Zelle als aktualisiert. Falls die Kante eine Fortsetzung hat, überprüfe dann, dass jede Fortsetzung aktualisiert ist. Falls nicht, schiebe jede nicht aktualisierte Zelle zum Stapel und schiebe die untersuchte Zelle. Falls ja, aktualisiere das Gewicht der Zelle und markiere sie als aktualisiert.
• Dies wird wiederholt, bis der Zellstapel leer ist und bis alle Zellen, nämlich die Kanten, als aktualisiert markiert sind und einem Gewicht zugeordnet sind.
• Die Gewichtsaktualisierungsformel kann wie folgt definiert sein: $$W_i=\underset{k=1:n}{\text{max}}\left(W_i^{\text{'}}+W_k\right)$$

  

  wobei W'_i das initiale Gewicht der untersuchten Zelle darstellt, W'_k das Gewicht der k-ten Fortsetzung ist, angenommen die Kante e hat n Fortsetzungen, und W_i das Gewicht darstellt, welches der Zelle nach der Aktualisierung zugeordnet ist.
• Mit dieser Gewichtsdefinition gibt der zellulare Automat Kanten, die längere Pfade formen können, ein höheres Gewicht (angenommen W'_i → 1).
• Im Rückwärtspfad werden alle Zellen initial als nicht verwendet markiert und gemäß dem zugeordneten Gewicht in einer absteigenden Reihenfolge gespeichert. Der längste Pfad kann gemäß der folgenden Regel konstruiert werden (im aktuellen Kontext bezieht sich der längste Pfad auf das höchste akkumulierte Gewicht der konstruierenden Zellen):
• Nimm die nächste unbenutzte Zelle mit dem höchsten Gewicht als erste Zelle (Samen) im Pfad, untersuche alle möglichen Fortsetzungen (falls es welche gibt) der aktuellen Kante durch Überspringen verwendeter Kanten, überspringe Kanten, in welchen Segmente „zu“ als verwendet markiert sind und finde die Kante, die das höchste Gewicht hat: Falls eine solche Kante existiert, addiere sie zum Pfad und wiederhole Schritt 2, nämlich das Überprüfen von allen möglichen Fortsetzungen der aktuellen Kante. Falls keine geeignete Kante gefunden wurde, dann markiere alle Kanten im Pfad als verwendet und speichere den Pfad als Merkmalskandidat und wiederhole den Algorithmus mit der nächsten Kante, bis alle Kanten durch sind.
• Zusammenfassend kann der graphbasierte Fahrbahnmarkierungsdetektionsalgorithmus wie folgt ausgeführt werden: Ein Array von Referenzpunkten kann als Eingang genommen werden und ein gerichteter Graph kann als Ausgang erzeugt werden. Ein neuronales Hopfield-Netzwerk wird auf dem Graphen von Referenzpunkten ausgeführt. Dabei werden Aktivierungen der Neuronen als Gewichte der Kanten kopiert und für inaktive Neuronen wird die korrespondierende Kante als ungültig gesetzt. Ein zellularer Automat wird auf dem Graphen ausgeführt. Dabei werden nur Kanten ohne Markierung „ungültig“ berücksichtigt. Zum Schluss werden extrahierte Kantenpfade als Fahrspurmarkierungskandidaten gespeichert. Die Ausgabe des Fahrspurmarkierungsextraktionsalgorithmus ist eine Liste von Fahrspurmarkierungskandidaten, jeder von ihnen bestehend aus einem Array von Segmenten und einem Array von Referenzpunkten.
• ZITATE ENTHALTEN IN DER BESCHREIBUNG
• Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
• Zitierte Patentliteratur
• DE 2007020791 B4 [0006]
• EP 1557691 B1 [0007]

Claims (15)

1. Computerimplementiertes Verfahren zum Verarbeiten eines Satzes von Scanpunkten (20), die von einem optischen Sensorsystem (4) eines Kraftfahrzeugs (1) erhalten wurden und als zu einer Fahrbahnmarkierung gehörend klassifiziert wurden, wobei - der Satz von Scanpunkten (20) in Form von Scanpunktgruppen bereitgestellt wird, die mehrere Segmente (21) bilden, wobei jedes der Segmente (21) mindestens einen der Scanpunkte umfasst, - jedes der mehreren Segmente (21) einer bestimmten Lage (L1, L2, L3, L4, L5, L6, L7, L8) zugeordnet ist, die einen bestimmten Polarwinkelbereich in Bezug auf einen Ursprung eines definierten Koordinatensystems definiert, dadurch gekennzeichnet, dass - jedes der mehreren Segmente (21) mindestens einen Referenzpunkt (22) aufweist, der einer der Scanpunkte (20) des jeweiligen Segments (21) ist, - für jeden der Referenzpunkte (22) eine Verbindung (30) zu mindestens einem anderen der Referenzpunkte (22) zumindest unter der ersten Bedingung erzeugt wird, dass die beiden Referenzpunkte (22), für die die Verbindung (30) erzeugt wird, mindestens ein erstes geometrisches Kompatibilitätskriterium erfüllen; und - mindestens ein Pfad der mindestens einen Fahrbahnmarkierung (5) in Abhängigkeit von den erzeugten Verbindungen (30) bestimmt wird; und - in Abhängigkeit von dem mindestens einen bestimmten Pfad der mindestens einen Fahrbahnmarkierung (5) ein Signal zur Steuerung mindestens einer Komponente des Fahrzeugs (1) ausgegeben wird.
2. Computerimplementiertes Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die Referenzpunkte (22), die durch die Verbindungen (30) verbundenen sind, Knoten (29) eines gerichteten Graphen (24) definieren, und die Verbindungen (30) der Referenzpunkte (22) Kanten (30) des gerichteten Graphen (24) definieren, insbesondere wobei eine Richtung jeder Kante (30) in Abhängigkeit von einem Abstand der jeweiligen Knoten (29), die durch die jeweilige Kante (30) verbunden sind, vom Koordinatenursprung bezüglich mindestens einer definierten Achse des Koordinatensystems definiert wird.
3. Computerimplementiertes Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die erste Bedingung umfasst, dass die zwei Referenzpunkte (22), für die die Verbindung (30) erzeugt wird, einen ersten Satz einer Vielzahl von ersten Kompatibilitätskriterien erfüllen.
4. Computerimplementiertes Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass ein erster Konfidenzwert (P) bezüglich einer Wahrscheinlichkeit (P), dass die jeweiligen zwei Segmente (21), zu denen die zwei Referenzpunkte (22) gehören, zu derselben Fahrbahnmarkierung (5) gehören, bestimmt wird, und ein weiteres der ersten Kompatibilitätskriterien umfasst, dass der erste Konfidenzwert (P) größer als ein vorgegebener erster Grenzwert ist.
5. Computerimplementiertes Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass vor der Bestimmung des mindestens einen Pfades der mindestens einen Fahrbahnmarkierung (5) eine erste Filterung der Verbindungen (30) durchgeführt wird, um die Anzahl der Verbindungen (30) zu reduzieren, die nach mindestens einem Gültigkeitskriterium ungültig sind.
6. Computerimplementiertes Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass ein weiteres der ersten Kompatibilitätskriterien umfasst, dass die Referenzpunkte (22), für die Verbindungen (30) erstellt werden, zu Segmenten (21) gehören, die derselben Lage (L1, L2, L3, L4, L5, L6, L7, L8) oder benachbarten Lagen (L1, L2, L3, L4, L5, L6, L7, L8) zugeordnet sind.
7. Computerimplementiertes Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass nach der ersten Filterung von Verbindungen (30) für jeden der Referenzpunkte (22) eine Verbindung (30) zu mindestens einem anderen der Referenzpunkte (22) zumindest unter der zweiten Bedingung erzeugt wird, dass die beiden Referenzpunkte (22), für die die Verbindung (30) erzeugt wird, einen zweiten Satz mehrerer zweiter Kompatibilitätskriterien erfüllen, wobei eines der mehreren zweiten Kompatibilitätskriterien umfasst, dass die Referenzpunkte (22), für die Verbindungen (30) erzeugt werden, zu Segmenten (21) gehören, die nicht derselben Lage (L1, L2, L3, L4, L5, L6, L7, L8) oder benachbarten Lagen (L1, L2, L3, L4, L5, L6, L7, L8) zugeordnet sind.
8. Computerimplementiertes Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass vor der Bestimmung des mindestens einen Pfades der mindestens einen Fahrbahnmarkierung (5) und nach der Erzeugung der Verbindungen (30) nach der ersten Filterung eine zweite Filterung der Verbindungen (30) durchgeführt wird, um die Anzahl der Verbindungen (30) zu reduzieren, die gemäß mindestens einem zweiten Gültigkeitskriterium ungültig sind.
9. Computerimplementiertes Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die erste und/oder zweite Filterung wird mittels eines neuronalen Hopfield-Netzwerks durchgeführt.
10. Computerimplementiertes Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Kanten (30) Neuronen des neuronalen Hopfield-Netzwerks darstellen, wobei eine Energiefunktion definiert ist, die durch Aktualisieren von Gewichten für die jeweiligen Kanten (30) zu minimieren ist, wobei die Gewichte so definiert sind, dass sich kreuzende Kanten (30) den Wert der Energiefunktion erhöhen würden.
11. Computerimplementiertes Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass ein zweiter Konfidenzwert (P2) betreffend eine Wahrscheinlichkeit (P2), dass ein Triplett verbundener Referenzpunkte (22) zur gleichen Fahrbahnmarkierung (5) gehört, für jedes Triplett verbundener Referenzpunkte (22) ermittelt wird, und die Gewichte in Abhängigkeit von den jeweiligen zweiten Konfidenzwerten (P2) bestimmt werden.
12. Computerimplementiertes Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass der mindestens eine Pfad der mindestens einen Fahrbahnmarkierung (5) als längster Pfad von durchgängig verbundenen Referenzpunkten (22) ausgehend von einem definierten Startpunkt ermittelt wird, insbesondere unter Verwendung eines gewichteten zellularen Automaten.
13. Computerprogramm aufweisend Anweisungen, die, wenn sich von einem Computersystem (3) ausgeführt werden, das Computersystem(3) dazu veranlassen, eine computerimplementiertes Verfahren nach einem der vorhergehenden Ansprüche auszuführen.
14. Computerlesbares Speichermedium auf welchem ein Computerprogramm nach Anspruch 13 gespeichert ist.
15. Fahrerassistenzsystem (2) für ein Kraftfahrzeug (1), aufweisend ein computerlesbares Speichermedium nach Anspruch 14.

Images