DE102017108248A1

DE102017108248A1 - Strassenmerkmalserkennung mit einem fahrzeugkamerasystem

Info

Publication number: DE102017108248A1
Application number: DE102017108248.4A
Authority: DE
Inventors: Guangyu J. Zou; Jinsong Wang; Upali P. Mudalige; Shuqing Zeng
Original assignee: GM Global Technology Operations LLC
Current assignee: GM Global Technology Operations LLC
Priority date: 2016-04-19
Filing date: 2017-04-19
Publication date: 2017-10-19

Abstract

Es werden Beispiele für Techniken zur Straßenmerkmalserkennung unter Verwendung eines Fahrzeugkamerasystems offenbart. Gemäß einer beispielhaften Realisierung schließt ein computerimplementiertes Verfahren ein, dass durch eine Verarbeitungseinrichtung ein Bild, welches von einer mit einem Fahrzeug auf einer Straße verbundenen Kamera stammt, empfangen wird. Das computerimplementierte Verfahren schließt weiterhin ein, dass durch die Verarbeitungseinrichtung eine zumindest teilweise auf dem Bild basierende Draufsicht auf die Straße erzeugt wird. Das computerimplementierte Verfahren schließt weiterhin ein, dass durch die Verarbeitungseinrichtung zumindest teilweise auf der Draufsicht auf die Straße basierend Fahrspurbegrenzungen einer Fahrspur der Straße detektiert werden. Das computerimplementierte Verfahren schließt weiterhin ein, dass durch die Verarbeitungseinrichtung unter Verwendung von maschinellem Lernen ein Straßenmerkmal innerhalb der Fahrspurbegrenzungen der Fahrspur der Straße detektiert wird.

Description

QUERVERWEIS AUF VERWANDTE ANMELDUNG
Diese Anmeldung beansprucht den Nutzen der vorläufigen U.S.-Patentanmeldung mit der Serien-Nr. 62/324,606, mit dem Titel ”SURROUND VIEW CAMERA SYSTEM FOR MULTIPLE ROAD-FEATURE DETECTION” (RUNDUMSICHTKAMERASYSTEM FÜR MEHRFACH-STRASSENMERKMALSERKENNUNG), eingereicht am 19. April 2016, deren Offenbarung hiermit in ihrer Gesamtheit durch Bezugnahme hierin miteingeschlossen ist.
EINLEITUNG
Die vorliegende Offenbarung betrifft allgemein Fahrzeugkameras und im Spezielleren ein Rundumsichtkamerasystem zum Detektieren, Klassifizieren und Verfolgen von Straßenmerkmalen.
Ein Fahrzeug, wie etwa ein Automobil, ein Motorrad, ein Boot oder jedes beliebige andere Kraftfahrzeug, kann mit einer oder mehreren Kameras ausgestattet werden, um einem Fahrer, einem anderen Insassen des Fahrzeugs oder dem fahrzeugeigenen Wahrnehmungssystem Außenansichten des Fahrzeugs bereitzustellen. Beispielsweise kann ein Fahrzeug Frontkameras, Seitenkameras und Rücksichtkameras einschließen. Fahrzeuge mit Kameras an allen Seiten können ein Rundumsichtkamerasystem implementieren, welches eine ”Vogelperspektiv”-Ansicht oder ”Draufsicht” auf das Fahrzeug und dessen Umgebung bereitstellt. Bilder der Kameras können dem Fahrer oder einem anderen Insassen des Fahrzeugs auf einem Display im Fahrzeuginneren, etwa auf dem Armaturenbrett, der Mittelkonsole, dem Head-up-Display usw., dargeboten werden. Überdies können Bilder von den Kameras von dem fahrzeugeigenen, rechnergestützten Wahrnehmungssystem dazu verwendet werden, um Gegenstände und Straßenmerkmale, die sich außerhalb des Fahrzeugs befinden, zu detektieren.
ZUSAMMENFASSUNG
Gemäß einer beispielhaften Ausführungsform schließt ein computerimplementiertes Verfahren zur Straßenmerkmalserkennung ein, dass durch eine Verarbeitungseinrichtung ein Bild, welches von einem mit einem Fahrzeug auf einer Straße verbundenen Kamerasystem stammt, empfangen wird. Das computerimplementierte Verfahren schließt weiterhin ein, dass durch die Verarbeitungseinrichtung eine zumindest teilweise auf dem Bild basierende Draufsicht auf die Straße erzeugt wird. Das computerimplementierte Verfahren schließt weiterhin ein, dass durch die Verarbeitungseinrichtung zumindest teilweise auf der Draufsicht auf die Straße basierend Fahrspurbegrenzungen einer Fahrspur der Straße detektiert werden. Das computerimplementierte Verfahren schließt weiterhin ein, dass durch die Verarbeitungseinrichtung unter Verwendung von maschinellem Lernen ein Straßenmerkmal innerhalb der Fahrspurbegrenzungen der Fahrspur der Straße detektiert wird.
Bei manchen Beispielen verwendet das maschinelle Lernen ein sogenanntes faltendes neuronales Netzwerk (Convolutional Neural Network). Bei manchen Beispielen verwendet das maschinelle Lernen ein künstliches neuronales Netzwerk. Bei manchen Beispielen schließt das Detektieren der Straßenmerkmale innerhalb der Fahrspurbegrenzungen weiterhin ein, dass eine Merkmalsextraktion durchgeführt wird, um unter Verwendung eines neuronalen Netzwerks Straßenmerkmale aus der Draufsicht zu extrahieren, und dass eine Klassifizierung des Straßenmerkmals unter Verwendung des neuronalen Netzwerks durchgeführt wird. Bei manchen Beispielen sind die Fahrspurbegrenzungen durch eine Fahrspurmarkierung, einen Seitenstreifen oder einen Bordstein definiert. Bei manchen Beispielen schließt das Detektieren der Fahrspurbegrenzungen weiterhin ein, dass auf der Draufsicht Merkmalsprimitive detektiert werden, dass eine Cluster-Bündelung der Merkmalsprimitive auf der Draufsicht durchgeführt wird, dass eine Kurvenanpassung der Merkmalsprimitive auf der Draufsicht durchgeführt wird, und dass eine Kurvenkonsolidierung der Merkmalsprimitive auf der Draufsicht durchgeführt wird. Bei manchen Beispielen schließt die Kamera ein Fischaugenobjektiv ein. Bei manchen Beispielen handelt es sich bei dem Straßenmerkmal um eine Tempolimitanzeige oder eine Fahrradspuranzeige oder eine Bahnübergangsanzeige oder eine Schulbereichsanzeige oder eine Richtungsanzeige. Ein beispielhaftes Verfahren kann weiterhin einschließen, dass das detektierte Straßenmerkmal einer Straßenmerkmalsdatenbank hinzugefügt wird, wobei auf die Straßenmerkmalsdatenbank auch von anderen Fahrzeugen aus zugegriffen werden kann.
Gemäß einer anderen beispielhaften Ausführungsform umfasst ein System zur Klassifizierung der Fahrbahnrauheit einer Straße eine Mehrzahl von mit einem Fahrzeug verbundenen Kameras. Das System umfasst außerdem einen Speicher mit computerlesbaren Befehlen und eine Verarbeitungseinrichtung zur Ausführung der computerlesbaren Befehle im Hinblick auf die Durchführung eines Verfahrens. Bei manchen Beispielen schließt das Verfahren ein, dass durch eine Verarbeitungseinrichtung ein Bild von einer jeden aus der Mehrzahl von Kameras empfangen wird. Das Verfahren schließt weiterhin ein, dass für eine jede aus der Mehrzahl von Kameras durch die Verarbeitungseinrichtung eine zumindest teilweise auf dem Bild basierende Draufsicht auf die Straße erzeugt wird, dass durch die Verarbeitungseinrichtung zumindest teilweise auf der Draufsicht auf die Straße basierend Fahrspurbegrenzungen einer Fahrspur der Straße detektiert werden, und dass durch die Verarbeitungseinrichtung unter Verwendung von maschinellem Lernen ein Straßenmerkmal innerhalb der Fahrspurbegrenzungen der Fahrspur der Straße detektiert wird. Das Verfahren schließt weiterhin ein, dass durch die Verarbeitungseinrichtung die Straßenmerkmale von einer jeden aus der Mehrzahl von Kameras miteinander verschmolzen werden.
Ein beispielhaftes Verfahren kann überdies einschließen, dass für eine jede aus der Mehrzahl von Kameras eine Zeitsynchronisierung durchgeführt wird. Ein beispielhaftes Verfahren kann überdies einschließen, dass die Zeitsynchronisierung auf das Verschmelzen der Straßenmerkmale von einer jeden aus der Mehrzahl von Kameras angewendet wird. Ein beispielhaftes Verfahren kann überdies einschließen, dass Sensordaten von einem mit dem Automobil verbundenen Sensor empfangen werden. Gemäß manchen Beispielen umfasst das Verschmelzen der Straßenmerkmale von einer jeden aus der Mehrzahl von Kameras weiterhin, dass die Straßenmerkmale von einer jeden aus der Mehrzahl von Kameras mit den Sensordaten verschmolzen werden. Gemäß manchen Beispielen werden die Sensordaten durch einen mit dem Fahrzeug verbundenen, optischen Abstands- und Geschwindigkeitssensor (LIDAR-Sensor) generiert. Gemäß manchen Beispielen werden die Sensordaten durch eine mit dem Fahrzeug verbundene Fernbereichskamera generiert. Gemäß manchen Beispielen handelt es sich bei den Sensordaten um Daten eines globalen Positionierungssystems.
Gemäß einer weiteren beispielhaften Ausführungsform schließt ein Computerprogrammprodukt zur Straßenmerkmalserkennung ein computerlesbares Speichermedium mit darin integrierten Programmbefehlen ein, wobei das computerlesbare Speichermedium für sich kein vorübergehendes Signal darstellt, wobei die Programmbefehle durch eine Verarbeitungseinrichtung ausführbar sind, um zu bewirken, dass die Verarbeitungseinrichtung ein Verfahren ausführt. Bei manchen Beispielen schließt das Verfahren ein, dass durch eine Verarbeitungseinrichtung ein Bild, welches von einer mit einem Fahrzeug auf einer Straße verbundenen Kamera stammt, empfangen wird. Das Verfahren schließt weiterhin mit ein, dass durch die Verarbeitungseinrichtung zumindest teilweise auf dem Bild basierend eine Draufsicht auf die Straße erzeugt wird. Das Verfahren schließt weiterhin ein, dass durch die Verarbeitungseinrichtung zumindest teilweise auf der Draufsicht auf die Straße basierend Fahrspurbegrenzungen einer Fahrspur der Straße detektiert werden. Das Verfahren schließt weiterhin ein, dass durch die Verarbeitungseinrichtung unter Verwendung von maschinellem Lernen ein Straßenmerkmal innerhalb der Fahrspurbegrenzungen der Fahrspur der Straße detektiert wird.
Bei manchen Beispielen verwendet das maschinelle Lernen ein sogenanntes faltendes neuronales Netzwerk (Convolutional Neural Network). Bei manchen Beispielen verwendet das maschinelle Lernen ein künstliches neuronales Netzwerk. Bei manchen Beispielen schließt das Detektieren der Straßenmerkmale innerhalb der Fahrspurbegrenzungen weiterhin ein, dass eine Merkmalsextraktion durchgeführt wird, um unter Verwendung eines neuronalen Netzwerks Straßenmerkmale aus der Draufsicht zu extrahieren, und dass eine Klassifizierung des Straßenmerkmals unter Verwendung des neuronalen Netzwerks durchgeführt wird. Bei manchen Beispielen sind die Fahrspurbegrenzungen durch eine Fahrspurmarkierung, einen Seitenstreifen oder einen Bordstein definiert. Die obigen Merkmale und Vorteile sowie andere Merkmale und Vorteile der Offenbarung erschließen sich mit größerer Deutlichkeit aus der nachfolgenden, detaillierten Beschreibung in Verbindung mit den beigefügten Zeichnungen.
KURZBESCHREIBUNG DER ZEICHNUNGEN
Andere Merkmale, Vorteile und Details werden in lediglich beispielhafter Weise in der nachfolgenden detaillierten Beschreibung ersichtlich, wobei sich die detaillierte Beschreibung auf die Zeichnungen bezieht, in denen:
1 ein Fahrzeug mit einem Verarbeitungssystem zur Straßenmerkmalserkennung gemäß manchen Aspekten der vorliegenden Offenbarung abbildet;
2 das Verarbeitungssystem aus 1 gemäß manchen Aspekten der vorliegenden Offenbarung abbildet;
3 die Bildverarbeitung von Bildern in Verbindung mit der Fahrspurbegrenzungserkennung gemäß manchen Aspekten der vorliegenden Offenbarung abbildet;
4A und 4B neuronale Netzwerke, die beim Detektieren von Straßenmerkmalen gemäß manchen Aspekten der vorliegenden Offenbarung zum Einsatz kommen, abbilden;
5 ein Ablaufdiagramm eines Verfahrens zur Straßenmerkmalserkennung gemäß manchen Aspekten der vorliegenden Offenbarung abbildet;
6 ein Ablaufdiagramm eines Verfahrens zur Straßenmerkmalserkennung gemäß manchen Aspekten der vorliegenden Offenbarung abbildet; und
7 ein Blockdiagramm eines Verarbeitungssystems zur Implementierung der hier beschriebenen Techniken gemäß manchen Aspekten der vorliegenden Offenbarung abbildet.
DETAILLIERTE BESCHREIBUNG
Die nachfolgende Beschreibung ist rein beispielhafter Natur und es soll dadurch die vorliegende Offenbarung, deren Anwendung oder deren Nutzungsbereiche nicht eingeschränkt werden. Es versteht sich, dass einander entsprechende Bezugszahlen über die Zeichnungen hinweg gleiche oder entsprechende Teile und Merkmale angeben. Der hier verwendete Begriff 'Modul' betrifft Verarbeitungsschaltungen, welche einschließen können: eine anwendungsspezifische integrierte Schaltung (ASIC), eine elektronische Schaltung, einen Prozessor (gemeinsam genutzt, fest zugeordnet, oder Gruppe) mit Speicher, der ein oder mehrere Software- oder Firmware-Programme ausführt, eine kombinatorische logische Schaltung und/oder andere geeignete Komponenten, welche die beschriebene Funktionalität bereitstellen.
Die hier beschriebenen technischen Lösungen stellen eine Straßenmerkmalserkennung unter Verwendung einer Kamera eines Fahrzeugs bereit. Beispielsweise nutzen die vorliegenden Techniken ein Rundumsichtkamerasystem eines Fahrzeugs, um Straßenmerkmale in dessen Nahbereich auf zuverlässige Weise und in Echtzeit zu detektieren, zu verfolgen und zu klassifizieren. Solche Straßenmerkmale schließen Fahrspurmarkierungen, Verkehrslenkungsanzeigen, Bordsteine, Seitenstreifen und dergleichen ein, die sich auf der Straßenoberfläche oder um diese herum befinden. Zur Detektion von Straßenmerkmalen implementieren die vorliegenden Techniken ein Deep-Learning-Netzwerk, um die Detektion und Klassifizierung mehrerer Straßenmerkmale parallel in nur einem Schritt und in Echtzeit zu ermöglichen. Gemäß manchen Beispielen können die Straßenmerkmale mit anderen, fahrzeugeigenen Sensoren/Daten (z. B. Fernbereichssensoren, andere Kameras, LIDAR-Sensoren, Karten usw.) verschmolzen werden, um die Detektions- und Klassifizierungsgenauigkeit und -zuverlässigkeit zu verbessern. Gemäß zusätzlichen Beispielen können die Straßenmerkmale für Self-Mapping- und Crowdsourcing-Zwecke verwendet werden, um eine Straßenmerkmalsdatenbank zu erzeugen und/oder zu aktualisieren.
Verarbeitungsressourcen stellen bei der Detektion mehrerer Straßenmerkmale aus Bildern/Daten einer hochauflösenden Kamera eine Herausforderung dar. Bestehende Ansätze zur Straßenmerkmalserkennung verwenden mehrere Algorithmen anstelle eines Deep-Learning-Verfahrens, um Straßenmerkmale zu detektieren. Solche bestehenden Ansätze sind hardware-/prozessorintensiv, zeitaufwändig und ineffizient.
Beispielhafte Ausführungsformen der Offenbarung schließen verschiedene technische Merkmale, technische Wirkungen und/oder technologische Verbesserungen ein bzw. bringen diese hervor. Beispielhafte Ausführungsformen der Offenbarung stellen Straßenmerkmalserkennung unter Einsatz von maschinellem Lernen bereit, um rechenspezifische Ineffizienz- und Genauigkeitsprobleme bei der derzeit praktizierten Straßenmerkmalserkennung anzugehen. Im Spezielleren werden durch die hier beschriebenen Ausführungsformen Straßenmerkmale detektiert, indem basierend auf einem Bild, das von einer Kamera stammt, mit einem Fahrzeug auf der Straße verbunden ist, eine Draufsicht auf eine Straße erzeugt wird, indem basierend auf der Draufsicht auf die Straße Fahrspurbegrenzungen einer Fahrspur der Straße detektiert werden, und indem (z. B. unter Verwendung von Deep Learning) ein Straßenmerkmal innerhalb der Fahrspurbegrenzungen der Fahrspur der Straße detektiert werden. Diese Aspekte der Offenbarung stellen technische Merkmale dar, aus denen sich der technische Effekt einer Reduzierung von Rechenlast, Energieverbrauch, Hardwarekosten und Zeit insgesamt ergibt.
Demgemäß kann durch die vorliegenden Techniken die Funktionsweise des Verarbeitungssystems, das, wie hier beschrieben, zum Detektieren von Straßenmerkmalen verwendet wird, verbessert werden. Als Folge dieser technischen Merkmale und technischen Wirkungen stellen die hier beschriebenen Techniken eine Verbesserung im Vergleich zu bestehenden Straßenmerkmalserkennungstechniken dar. Es ist festzustellen, dass die oben genannten Beispiele von technischen Merkmalen, technischen Wirkungen und technologischen Verbesserungen von beispielhaften Ausführungsformen der Offenbarung lediglich veranschaulichender Natur sind und die Erfindung sich nicht darin erschöpft.
In 1 ist ein Fahrzeug 100 mit einem Verarbeitungssystem 110 zur Straßenmerkmalserkennung gemäß manchen Aspekten der vorliegenden Offenbarung abgebildet. Zusätzlich zu dem Verarbeitungssystem 110 schließt das Fahrzeug 100 ein Display 120, eine Sensor-Suite 122 und Kameras 130a, 130b, 130c, 130d (hier kollektiv als ”Kameras 130” bezeichnet) ein. Bei dem Fahrzeug 100 kann es sich um ein Automobil, einen Lastkraftwagen, einen Transporter, einen Bus, ein Motorrad, ein Boot, ein Flugzeug oder um ein anderes geeignetes Fahrzeug 100 handeln.
Die Kameras 130 erfassen Bilder der Außenumgebung des Fahrzeugs 100. Eine jede der Kameras 130 hat ein Sichtfeld (field-of-view, FOV) 131a, 131b, 131c, 131d (hier kollektiv als ”FOV 131” bezeichnet). Das Sichtfeld (FOV) ist der durch eine Kamera beobachtbare Bereich. Beispielsweise weist die Kamera 130a ein Sichtfeld oder FOV 131a, die Kamera 131b ein Sichtfeld oder FOV 131b, die Kamera 130c ein Sichtfeld oder FOV 131c, und die Kamera 131d ein Sichtfeld oder FOV 131d auf. Die erfassten Bilder können dem gesamten Sichtfeld oder FOV für die betreffende Kamera oder nur einem Abschnitt des Sichtfeldes oder FOV der Kamera entsprechen.
Gemäß manchen Aspekten der vorliegenden Offenbarung sind hier zwar vier Kameras 130a–130d gezeigt, es kann jedoch auch eine andere Anzahl von Kameras (z. B. 2 Kameras, 3 Kameras, 5 Kameras, 8 Kameras, 9 Kameras usw.) implementiert sein. Die erfassten Bilder können auf dem Display 120 angezeigt werden, um dem Fahrer/Bediener oder einem anderen Insassen des Fahrzeugs 100 Außenansichten des Fahrzeugs 100 bereitzustellen. Die erfassten Bilder können auf dem Display 120 als Livebilder, Standbilder oder als eine Kombination daraus angezeigt werden. Bei dem Display 120 kann es sich um einen Vollanzeigespiegel (Full Display Mirror, FDM) handeln, der in der Lage ist, Bilder von einer oder von mehreren der Kameras 130 anzuzeigen. Der Vollanzeigespiegel (FDM) kann in einem Betriebsmodus ein herkömmlicher Spiegel sein oder in einem anderen Betriebsmodus ein Display 120 zum Anzeigen digitaler Bilder sein.
Es ist festzustellen, dass es sich bei dem erfassten Bild bzw. den erfassten Bildern um ein Bild aus einer der Kameras 130a–130d und/oder um eine Kombination von Bildern von mehr als einer der Kameras 130a–130d handeln kann. Gemäß manchen Ausführungsformen der vorliegenden Offenbarung können die erfassten Bilder von den Kameras 130 zu einer Draufsicht oder ”Vogelperspektivansicht” kombiniert werden, die eine Rundumsicht um das Fahrzeug 100 herum bereitstellt. Es ist festzustellen, dass die Kamerabilder auch auf beliebigen anderen fahrzeugeigenen Displays, wie beispielsweise einem Center-Stack-Display, angezeigt werden können und dass die Kamerabilder beliebigen anderen Fahrzeuginnen- oder -außenkameras stammen können.
Wie hier beschrieben, empfängt das Verarbeitungssystem 110 ein Bild von einer Kamera, die mit einem auf einer Straße befindlichen Fahrzeug verbunden ist, erzeugt es eine zumindest teilweise auf dem Bild basierende Draufsicht auf die Straße, detektiert es zumindest teilweise basierend auf der Draufsicht auf die Straße Fahrspurbegrenzungen einer Fahrspur der Straße, und detektiert es unter Verwendung von maschinellem Lernen und/oder Computer-Bildverarbeitungstechniken ein Straßenmerkmal innerhalb der Fahrspurbegrenzungen der Fahrspur der Straße. Das Verarbeitungssystem 110 wird nun in Bezug auf 2 eingehender beschrieben. Das Verarbeitungssystem 110 kann auch Sensordaten von der Sensor-Suite 122 empfangen, bei der es sich um einen optischen Abstands- und Geschwindigkeitssensor (LIDAR-Sensor) und/oder eine Fernbereichskamera und/oder ein globales Positionierungssystem (GPS) handeln kann. Diese Sensordaten können dazu verwendet werden, die Straßenmerkmalserkennung zu verbessern.
Im Besonderen ist in 2 das Verarbeitungssystem 110 aus 1 gemäß manchen Aspekten der vorliegenden Offenbarung abgebildet. Das Verarbeitungssystem 110 schließt eine Verarbeitungseinrichtung 202, einen Speicher 204, eine Funktionseinheit 212 zur Draufsichterzeugung (nachfolgend ”Draufsichterzeugungseinheit” genannt), eine Funktionseinheit zur Fahrspurbegrenzungserkennung 214 (nachfolgend ”Fahrspurbegrenzungsdetektionseinheit” genannt) und eine Funktionseinheit 216 zur Straßenmerkmalserkennung (nachfolgend ”Straßenmerkmalsdetektionseinheit” genannt). 2 wird hier in Bezug auf das Fahrzeug 100 aus 1 beschrieben. 2 wird außerdem in Bezug auf 3 beschrieben, in welcher die Bildverarbeitung von Bildern 302, 304, 306, 308, 310, 312 in Verbindung mit der Fahrspurbegrenzungserkennung gemäß manchen Aspekten der vorliegenden Offenbarung abgebildet ist.
Die verschiedenen unter Bezugnahme auf 2 beschriebenen Komponenten, Module, Funktionseinheiten usw. können als auf einem computerlesbaren Speichermedium gespeicherte Befehle, als Hardwaremodule, als Spezialhardware (z. B. als anwendungsspezifische Hardware, als anwendungsspezifische Schaltkreise (ASICs), als eingebettete Controller, als festverdrahtete Schaltkreise usw.) oder als eine Kombination bzw. als Kombinationen von diesen implementiert sein.
Bei manchen Beispielen kann/können die hier beschriebene(n) Funktionseinheit(en) in einer Kombination aus Hardware und Programmierung bestehen. Bei der Programmierung kann es sich um prozessorausführbare, auf einem physischen Medium abgespeicherte Befehle handeln und die Hardware kann die Verarbeitungseinrichtung 202 zur Ausführung dieser Befehle einschließen. Somit können auf einem Systemspeicher (z. B. dem Speicher 204) Programmbefehle gespeichert sein, die, wenn sie durch die Verarbeitungseinrichtung 202 ausgeführt werden, die hier beschriebenen Funktionseinheiten implementieren. Es können auch andere Funktionseinheiten verwendet werden, um andere Merkmale und Funktionalitäten einzuschließen, die hier in anderen Beispielen beschrieben sind.
Alternativ oder zusätzlich dazu kann das Verarbeitungssystem 110 fest zugeordnete Hardware, wie beispielsweise einen oder mehrere integrierte Schaltungen, ASICs, anwendungsspezifische Spezialprozessoren (ASSPs), feldprogrammierbare Gate-Arrays (FPGAs) oder eine beliebige Kombination aus den vorangegangenen Beispielen von fest zugeordneter Hardware einschließen, um die hier beschriebenen Techniken auszuführen.
Die Draufsichterzeugungseinheit 212 empfängt ein Bild (z. B. das Originalbild 302) des Fahrzeugs 100 von einer Kamera (z. B. von einer der Kameras 130). Das Bild schließt einen Abschnitt einer Straße, auf welcher das Fahrzeug 100 positioniert ist und/oder entlang welcher sich das Fahrzeug 100 fortbewegt. Die Draufsichterzeugungseinheit 212 erzeugt eine zumindest teilweise auf dem Bild basierende Draufsicht auf die Straße. Das heißt, die Draufsichterzeugungseinheit 212 verwendet das Bild, um daraus eine Draufsicht auf die Straße zu erzeugen, so als ob sich der Blickpunkt der Kamera direkt über der Straße befinden würde und man auf die Straße herabblicken würde. Ein Beispiel einer Draufsicht (z. B. einer Top-Down-Sicht 304) ist in 3 abgebildet.
Gemäß manchen Aspekten der vorliegenden Offenbarung verwendet die Draufsichterzeugungseinheit 212 Bildverarbeitungstechniken einer Fischaugenkamera, um die Draufsicht aus einem mit einer Fischaugenkamera (d. h. einer Kamera mit einem Fischaugenobjektiv) erfassten Bild zu erzeugen. Im Fall der Verwendung einer Fischaugenkamera kann die Draufsichterzeugungseinheit 212 dafür kalibriert werden, die durch das Fischaugenobjektiv verursachte, radiale Verzerrung zu kompensieren.
Nach dem Erzeugen der Draufsicht detektiert die Fahrspurbegrenzungsdetektionseinheit 214 basierend auf der Draufsicht auf die Straße Fahrspurbegrenzungen einer Fahrspur der Straße. Fahrspuren können durch Fahrspurmarkierungen, Bordsteine, Seitenstreifen oder andere visuelle Anzeigen begrenzt sein, die eine Fahrspur, innerhalb derer sich ein Fahrzeug fortbewegen muss, anzeigen. Die Fahrspurbegrenzungsdetektionseinheit 214 kann Fahrspurbegrenzungen detektieren, indem sie Merkmalsprimitive (Punkte, Segmente usw.) auf der Draufsicht detektiert (vgl. z. B. die Fahrspurbegrenzungserkennung 306), indem sie eine Cluster-Bündelung der Merkmalsprimitive auf der Draufsicht durchführt (siehe z. B. die Cluster-Bündelung von Merkmalsprimitiven in 308), indem sie eine Kurvenanpassung der Merkmalsprimitive auf der Draufsicht durchführt (siehe z. B. die Kurvenanpassung 310), und indem sie eine Kurvenkonsolidierung der Merkmalsprimitive aus der Draufsicht durchführt (siehe z. B. die Kurvenkonsolidierung 312). Das Detektieren von Fahrspurbegrenzungen ermöglicht das Detektieren von Straßenmerkmalen innerhalb der Fahrspurbegrenzungen. Insbesondere das Endbild (z. B. die Kurvenkonsolidierung 312, auch ”Begrenzungsbild 312” genannt) wird dazu verwendet, um Straßenmerkmale zu detektieren, obwohl die Straßenmerkmale gemäß manchen Aspekten der vorliegenden Offenbarung auch unter Verwendung anderer Bilder detektiert werden können.
Nachdem die Fahrspurbegrenzungen der Fahrspur detektiert sind, verwendet die Straßenmerkmalsdetektionseinheit 216 die Fahrspurbegrenzungen, um unter Heranziehung von maschinellem Lernen und/oder Computer-Bildverarbeitungstechniken Straßenmerkmale innerhalb der Fahrspurbegrenzungen der Fahrspur der Straße zu detektieren. Die Straßenmerkmalsdetektionseinheit 216 führt innerhalb der durch die Fahrspurbegrenzungen definierten Draufsicht eine Suche durch, um Straßenmerkmale zu detektieren. Die Straßenmerkmalsdetektionseinheit 216 kann gleichermaßen eine Art des Straßenmerkmals (z. B. Pfeil geradeaus, Pfeil linksabbiegen, usw.) wie auch einen Ort des Straßenmerkmals (z. B. Pfeil voraus, Fahrradspur links, usw.) bestimmen.
Die Straßenmerkmale können in einer Straßenmerkmalsdatenbank (z. B. in der Straßenmerkmalsdatenbank 218) vordefiniert sein. Als Beispiele für Straßenmerkmale sind unter anderem eine Tempolimitanzeige, eine Fahrradspuranzeige, eine Bahnübergangsanzeige, eine Schulbereichsanzeige und eine Richtungsanzeige (z. B. Pfeil linksabbiegen, Pfeil geradeaus, Pfeil rechtsabbiegen, Pfeil geradeaus und linksabbiegen, Pfeil geradeaus und rechtsabbiegen, usw.) und dergleichen zu nennen. Die Straßenmerkmalsdatenbank 218 kann aktualisiert werden, wenn Straßenmerkmale detektiert werden, und es kann auch durch andere Fahrzeuge auf die Straßenmerkmalsdatenbank 218 zugegriffen werden, etwa von einer Cloud-Computing-Umgebung aus über ein Netzwerk oder direkt von dem Fahrzeug 100 aus (z. B. unter Verwendung von dedizierter Nahbereichskommunikation (dedicated short-range communications, DSRC). Dies ermöglicht die Gewinnung von Straßenmerkmalen über Crowd-Sourcing.
Zum Detektieren von Straßenmerkmalen verwendet die Straßenmerkmalsdetektionseinheit 216 maschinelles Lernen und/oder Computer-Bildverarbeitungstechniken. Im Spezielleren kann die Straßenmerkmalsdetektionseinheit 216 Verfahren der regelbasierten Entscheidungsfindung und des Schlussfolgerns mit Mitteln der Künstlichen Intelligenz (KI) einbeziehen und verwenden, um die verschiedenen hier beschriebenen Operationen auszuführen. Der Begriff ”maschinelles Lernen” beschreibt grob gesprochen eine Funktion elektronischer Systeme, welche aufbauend auf Daten einen Lernprozess vollziehen. Ein System, eine Funktionseinheit oder ein Modul für maschinelles Lernen kann einen trainierbaren Algorithmus für maschinelles Lernen einschließen, der darauf trainiert werden kann, beispielsweise in einer externen Cloud-Umgebung, Funktionsbeziehungen zwischen Eingangsdaten und Ausgangsdaten zu lernen, die derzeit unbekannt sind, und das daraus resultierende Modell kann durch die Straßenmerkmalsdetektionseinheit 216 dazu benutzt werden, Straßenmerkmale zu detektieren.
In einer oder in mehreren Ausführungsformen können Funktionen des maschinellen Lernens mit einem Künstlichen Neuronalen Netzwerk (KNN) implementiert werden, welches die Fähigkeit aufweist, darauf trainierbar zu sein, eine aktuell unbekannte Funktion auszuführen. Auf dem Gebiet des maschinellen Lernens und der Kognitionswissenschaften stellen KNNs eine Familie von statistischen Lernmodellen dar, die den biologischen neuronalen Netzwerken von Lebewesen, und im Besonderen dem Gehirn, nachempfunden sind. KNNs können dafür verwendet werden, Systeme und Funktionen, die auf einer großen Anzahl von Eingangswerten aufbauen, zu schätzen oder durch Näherungen zu ermitteln. Gemäß einer anderen Ausführungsform kann die Funktionalität maschinellen Lernens auch unter Verwendung eines faltenden neuronalen Netzwerks (Convolutional Neural Network, CNN) implementiert sein. Bei einem CNN handelt es sich um eine Art von Feed-Forward KNN. Maschinelles Lernen kann unter Verwendung einer beliebigen, geeigneten Art von neuronalem Netzwerk implementiert werden.
KNNs können als sogenannte ”neuromorphische” Systeme von miteinander verbundenen Prozessorelementen verkörpert sein, welche als stimulierte ”Neuronen” agieren und untereinander ”Nachrichten” in Form von elektronischen Signalen austauschen. Ähnlich der sogenannten ”synaptischen Plastizität” von Neurotransmitterverbindungen, welche Nachrichten zwischen biologischen Neuronen übermitteln, sind die Verbindungen in KNNs, welche elektronische Nachrichten zwischen simulierten Neuronen übertragen, mit numerischen Gewichtungen ausgestattet, welche der Stärke bzw. Schwäche einer bestimmten Verbindung entsprechen. Diese Gewichtungen können basierend auf Erfahrungen angepasst und eingestellt werden, wodurch KNNs sich an Eingangswerte anpassen können und somit lernfähig sind. Beispielsweise ist ein KNN zur Handschrifterkennung durch einen Satz von Eingabeneuronen definiert, welche durch die Pixel eines Eingabebildes aktiviert werden. Nachdem sie durch eine durch den Netzwerkdesigner festgelegte Funktion gewichtet und umgewandelt worden sind, werden die Aktivierungswerte dieser Eingabeneuronen anschließend an nachgelagerte Neuronen, die oft auch als ”verborgene” Neuronen bezeichnet werden, weitergereicht. Dieser Vorgang wird so lange wiederholt, bis ein Ausgabeneuron aktiviert wird. Durch das aktivierte Ausgabeneuron wird bestimmt, welcher Buchstabe erkannt worden ist.
In 4A und 4B sind neuronale Netzwerke 400A, 400B abgebildet, die beim Detektieren von Straßenmerkmalen gemäß manchen Aspekten der vorliegenden Offenbarung zum Einsatz kommen. Wie in 4A abgebildet, kann die Straßenmerkmalsdetektionseinheit 216 Straßenmerkmale detektieren, indem sie eine Merkmalsextraktion 402 durchführt, um unter Verwendung eines neuronalen Netzwerks Straßenmerkmale zu extrahieren, und anschließend unter Verwendung des neuronalen Netzwerks eine Klassifizierung 404 durchzuführen. In 4 ist die Merkmalsextraktion 402 und die Klassifizierung 404 eingehender als Beispiel unter Verwendung eines faltenden neuronalen Netzwerks abgebildet.
Als Eingabedaten für die Merkmalsextraktion dient das Begrenzungsbild 312, welches das Ergebnis der in 3 abgebildeten und durch die Draufsichterzeugungseinheit 212 und die Fahrspurbegrenzungsdetektionseinheit 214 durchgeführten Bildverarbeitung darstellt. Die Merkmalsextraktion 402 verwendet ein neuronales Netzwerk wie weiter oben beschrieben, um beispielsweise unter Verwendung von Merkmalskarten Straßenmerkmale zu extrahieren. Die Merkmalsextraktion 402 gibt die Straßenmerkmale an die Klassifizierung 404 aus, welche die Klassifizierung der Straßenmerkmale beispielsweise basierend auf den in der Straßenmerkmalsdatenbank 218 gespeicherten Straßenmerkmalen vornimmt. Die Klassifizierung 404 gibt die Straßenmerkmale 406a, 406b, 406c, 406d, usw. aus, bei denen es sich um eine Tempolimitanzeige, eine Fahrradspuranzeige, eine Bahnübergangsanzeige, eine Schulbereichsanzeige, eine Richtungsanzeige oder um ein anderes Straßenmerkmal handeln kann.
Es ist festzustellen, dass die Straßenmerkmalsdetektionseinheit 216 unter Verwendung der Merkmalserkennung 402 und Klassifizierung 404 imstande ist, mehrere Straßenmerkmale (z. B. die Straßenmerkmale 406a, 406b, 406e, 406d usw.) parallel und in einem einzigen Schritt in Echtzeit zu detektieren. Durch den Einsatz von maschinellem Lernen können rechenspezifische Ineffizienz- und Genauigkeitsprobleme bei der derzeit praktizierten Straßenmerkmalserkennung reduziert werden.
In 5 ist ein Ablaufdiagramm eines Verfahrens 500 zur Straßenmerkmalserkennung gemäß manchen Aspekten der vorliegenden Offenbarung abgebildet. Das Verfahren 500 kann beispielsweise durch das Verarbeitungssystem 110 aus 1 und 2, durch das Verarbeitungssystem 700 aus 7 oder durch ein anderes geeignetes Verarbeitungssystem oder eine geeignete Verarbeitungsvorrichtung implementiert sein.
In Block 502 empfängt das Verarbeitungssystem 110 ein Bild von einer mit einem Fahrzeug auf einer Straße verbundenen Kamera. In Block 504 erzeugt die Draufsichterzeugungseinheit 212 eine zumindest teilweise auf dem Bild basierende Draufsicht auf die Straße.
In Block 506 detektiert die Fahrspurbegrenzungsdetektionseinheit 214 zumindest teilweise basierend auf der Draufsicht auf die Straße Fahrspurbegrenzungen einer Fahrspur der Straße. Die Fahrspurbegrenzungsdetektionseinheit ist imstande, Fahrspurbegrenzungen wie die in Bezug auf 3 beschriebenen und abgebildeten zu detektieren.
In Block 508 detektiert die Straßenmerkmalsdetektionseinheit 216 unter Verwendung von maschinellem Lernen (z. B. eines faltenden neuronalen Netzwerks, eines künstlichen neuronalen Netzwerks usw.) ein Straßenmerkmal innerhalb der Fahrspurbegrenzungen der Fahrspur der Straße. Die Straßenmerkmalsdetektionseinheit 216 kann unter Verwendung eines neuronalen Netzwerks eine Merkmalsextraktion aus der Draufsicht (innerhalb der Fahrspurbegrenzungen) durchführen und anschließend eine Klassifizierung der Straßenmerkmale durchführen (z. B. bestimmen, um welche Art von Straßenmerkmal es sich handelt).
Es können außerdem zusätzliche Prozesse enthalten sein und es versteht sich, dass die in 5 abgebildete Prozesse nur veranschaulichenden Charakter haben und dass andere Prozesse hinzugenommen werden können oder bestehende Prozesse entfernt, abgeändert oder neu angeordnet werden können, ohne dass dadurch von dem Umfang und dem Geist der vorliegenden Offenbarung abgewichen wird.
In 6 ist ein Ablaufdiagramm eines Verfahrens 600 zur Straßenmerkmalserkennung gemäß manchen Aspekten der vorliegenden Offenbarung abgebildet. Das Verfahren 600 kann beispielsweise durch das Verarbeitungssystem 110 aus 1 und 2, durch das Verarbeitungssystem 700 aus 7 oder durch ein anderes geeignetes Verarbeitungssystem oder eine andere Verarbeitungsvorrichtung implementiert sein. Im Besonderen ermöglicht das Verfahren 600 das Koordinieren einer Mehrkameraverschmelzung von aus einer Mehrzahl von Kameras (z. B. den Kameras 130a, 130b, 130c, 130d) stammenden Bildern.
In Block 602 empfängt das Verarbeitungssystem 110 ein Bild von einer jeden der Kameras 130. In Block 604 wird für eine jede der Kameras 130 wie folgt vorgegangen: die Draufsichterzeugungseinheit 212 erzeugt basierend auf dem Bild eine Draufsicht auf die Straße; die Fahrspurbegrenzungsdetektionseinheit 214 detektiert basierend auf der Draufsicht die Fahrspurbegrenzungen einer Fahrspur der Straße; und die Straßenmerkmalsdetektionseinheit 216 detektiert unter Verwendung von maschinellem Lernen ein Straßenmerkmal innerhalb der Fahrspurbegrenzungen der Fahrspur der Straße. Die Straßenmerkmalsdetektionseinheit ist imstande, mehrere Straßenmerkmale zu detektieren.
In Block 606 verschmilzt eine Verschmelzungseinheit (nicht gezeigt) zunächst die Fahrspurbegrenzungsdaten aus einer jeden der Kameras und verschmilzt anschließend basierend auf den konsolidierten Fahrspurdaten die Straßenmerkmale aus einer jeden der Kameras. Durch das Verschmelzen der Straßenmerkmale von einer jeden der Kameras wird ein kontinuierliches und präzises Detektieren von Straßenmerkmalen bereitgestellt, indem die Orte der Straßenmerkmale vorhergesagt werden, wenn ein Straßenmerkmal von dem Sichtfeld (FOV) einer Kamera in das Sichtfeld (FOV) einer anderen Kamera übertritt, wenn ein Straßenmerkmal in dem Sichtfeld (FOV) einer oder mehrerer Kameras teilweise verdeckt ist und so weiter.
Das Verschmelzen kann außerdem das Verschmelzen von Daten, die von Sensoren (z. B. der Sensor-Suite 122) in dem Fahrzeug 100 stammen, einschließen. Beispielsweise kann das Verfahren 600 einschließen, dass Sensordaten von der Sensor-Suite 122 empfangen werden. Bei dem Sensor kann es sich um einen Fernbereichssensor, eine andere Kamera, einen LIDAR-Sensor, ein GPS und dergleichen, sowie um geeignete Kombinationen daraus handeln. Demgemäß kann das Verschmelzen der von einer jeden aus der Mehrzahl von Kameras stammenden Straßenmerkmale weiterhin einschließen, dass die Straßenmerkmale von einer jeden aus der Mehrzahl von Kameras mit den Sensordaten verschmolzen werden. Außerdem kann ein Zeitsignal an die Kameras 130, die Verschmelzungseinheit und die Sensor-Suite 122 angelegt werden, um eine Zeitsynchronisierung der Kameras 130, der Verschmelzungseinheit und der Sensor-Suite 122 zu bewirken. Dadurch wird es ermöglicht, dass die Straßenmerkmalserkennung Feedback und Kontextinformationen bereitstellt, wodurch die Rundumsichtkameras (z. B. die Kameras 130) bei der Durchführung der hier beschriebenen Bildverarbeitung unterstützt werden.
Es können außerdem zusätzliche Prozesse enthalten sein und es versteht sich, dass die in 6 abgebildete Prozesse nur Veranschaulichungen darstellen und dass andere Prozesse hinzugenommen werden können oder bestehende Prozesse entfernt, abgeändert oder neu angeordnet werden können, ohne dass dadurch von dem Umfang und dem Geist der vorliegenden Offenbarung abgewichen wird.
Es versteht sich, dass die vorliegende Offenbarung gemeinsam mit jeder beliebigen aktuell bekannten oder später zu entwickelnden anderen Art von Rechenumgebung implementiert werden kann. In 7 ist beispielsweise ein Blockdiagramm eines Verarbeitungssystems 700 zur Implementierung der hier beschriebenen Techniken abgebildet. Bei manchen Beispielen weist das Verarbeitungssystem 700 eine oder mehrere zentrale Recheneinheiten (Prozessoren) 21a, 21b, 21c usw. auf (die hier kollektiv oder generisch als Prozessor(en) 21 und/oder als Verarbeitungseinrichtung(en)) bezeichnet werden. In manchen Aspekten der vorliegenden Offenbarung kann ein jeder Prozessor 21 einen Mikroprozessor eines Computers mit reduziertem Befehlsvorrat (RISC-Mikroprozessor) einschließen. Die Prozessoren 21 sind mit einem Systemspeicher (z. B. einem Direktzugriffsspeicher (RAM) 24) und mit verschiedenen anderen Komponenten über einen Systembus 33 gekoppelt. Der Festwertspeicher (ROM) 22 ist mit einem Systembus 33 gekoppelt und kann ein Basisdatenaustauschsystem (BIOS) einschließen, das bestimmte Basisfunktionen des Verarbeitungssystems 700 steuert.
Weiterhin veranschaulicht sind ein Eingabe-/Ausgabeadapter (E/A-Adapter) 27 und ein Netzwerkadapter 26, die mit dem Systembus 33 gekoppelt sind. Bei dem E/A-Adapter 27 kann es sich um einen SCSI-Adapter ('Small Computer System Interface'-Adapter) handeln, der mit einer Festplatte 23 und/oder einem anderen Speicherlaufwerk 25 oder mit irgendeinem anderen, ähnlichen Bauteil in Verbindung steht. Der E/A-Adapter 27, die Festplatte 23 und die Aufbewahrungseinrichtung 25 werden hier kollektiv als Massenspeicher 34 bezeichnet. Das Betriebssystem 40 zur Ausführung auf dem Verarbeitungssystem 700 kann in dem Massenspeicher 34 abgespeichert sein. Ein Netzwerkadapter 26 verbindet den Systembus 33 mit einem externen Netzwerk 36, wodurch es dem Verarbeitungssystem 700 ermöglicht wird, mit anderen solchen Systemen zu kommunizieren.
Ein Display (z. B. ein Anzeigemonitor) 35 ist mit dem Systembus 33 durch den Display-Adapter 32, welcher eine Grafikkarte zur Leistungsverbesserung für Grafik und allgemeine rechenintensive Anwendungen einschließen kann, und durch einen Video-Controller verbunden. Gemäß einem Aspekt der vorliegenden Offenbarung können die Adapter 26, 27 und/oder 32 mit einem oder mehreren E/A-Bussen verbunden sein, die ihrerseits über eine Zwischenbusbrücke (nicht gezeigt) mit dem Systembus 33 verbunden sind. Als geeignete E/A-Busse zur Verbindung von Peripheriegeräten wie beispielsweise Festplattencontrollern, Netzwerkadaptern und Grafikadaptern sind typischerweise herkömmliche Protokolle wie etwa PCI (Peripheral Component Interconnect) zu nennen. Zusätzliche Eingabe-/Ausgabegeräte sind über den Benutzerschnittstellenadapter 28 und den Display-Adapter 32 als mit dem Systembus 33 verbunden gezeigt. Eine Tastatur 29, eine Maus 30 und ein Lautsprecher 31 können jeweils mit dem Systembus 33 über einen Benutzerschnittstellenadapter 28 verbunden sein, welcher beispielsweise einen Super E/A-Chip einschließen kann, der mehrere Geräteadapter zu einem einzelnen, integrierten Schaltkreis zusammenfassen kann.
Gemäß manchen Aspekten der vorliegenden Offenbarung schließt das Verarbeitungssystem 700 einen Grafikprozessor 37 ein. Bei dem Grafikprozessor 37 handelt es sich um einen elektronischen Schaltkreis, der speziell dafür ausgelegt ist, den Speicher zu beeinflussen und zu verändern, um die Erzeugung von Bildern in einem Rahmenpuffer für die Ausgabe an ein Display zu beschleunigen. Der Grafikprozessor 37 ist allgemein sehr effizient beim Beeinflussen der Computergrafik und der Bildbearbeitung und weist eine hochgradig parallele Struktur auf, die ihn für die Bearbeitung von Algorithmen, bei denen die Bearbeitung von großen Datenblöcken parallel erfolgt, effizienter macht als Universal-CPUs.
Somit schließt das hier konfigurierte Verarbeitungssystem 700 Rechenkapazität in Form der Prozessoren 21, Speichervermögen, das den Systemspeicher (z. B. RAM 24) und Massenspeicher 34 einschließt, Eingabemittel wie die Tastatur 29 und die Maus 30, und Ausgabevermögen mittels des Lautsprechers 31 und des Displays 35 ein. Gemäß manchen Aspekten der vorliegenden Offenbarung dient ein Teil des Systemspeichers (z. B. des RAM 24) und des Massenspeichers 34 gemeinsam dem Abspeichern eines Betriebssystems für die Koordinierung der Funktionen der verschiedenen in dem Verarbeitungssystem 700 gezeigten Bauteile.
Die Beschreibungen der verschiedenen Beispiele der vorliegenden Offenbarung wurden zu Zwecken der Veranschaulichung gegeben, sie sollen jedoch die offenbarten Ausführungsformen nicht erschöpfend behandeln oder einschränken. Zahlreiche Modifikationen und Varianten sind für den Fachmann offensichtlich, ohne dass dadurch von dem Umfang und dem Geist der beschriebenen Techniken abgewichen wird. Die hier verwendete Terminologie wurde in einer Weise gewählt, die es am besten erlaubt, die Grundprinzipien der vorliegenden Techniken zu erklären, die praktische Anwendung oder die technischen Verbesserungen im Vergleich mit marktüblichen Techniken herauszustreichen oder andere Fachleute in die Lage zu versetzen, die hier offenbarten Techniken zu verstehen.
Die obige Offenbarung ist zwar unter Bezugnahme auf eine beispielhafte Ausführungsform beschrieben worden, es versteht sich jedoch für den Fachmann, dass verschiedene Veränderungen vorgenommen werden können und dass Teile davon durch äquivalente Elemente ersetzt werden können, ohne dass dadurch von ihrem Umfang abgewichen wird. Außerdem können zahlreiche Abänderungen vorgenommen werden, um eine bestimmte Situation oder ein Material an die Lehre der Offenbarung anzupassen, ohne dass dadurch von dem grundsätzlichen Umfang derselben abgewichen wird. Die vorliegenden Techniken sollen daher nicht auf die im Speziellen offenbarten Ausführungsformen beschränkt sein, sondern sollen alle Ausführungsformen umfassen, die in den Umfang der Anmeldung fallen.

Claims

Computerimplementiertes Verfahren zur Straßenmerkmalserkennung, wobei das Verfahren umfasst: dass durch eine Verarbeitungseinrichtung ein Bild, welches von einem mit einem Fahrzeug auf einer Straße verbundenen Kamerasystem stammt, empfangen wird; dass durch die Verarbeitungseinrichtung zumindest teilweise auf dem Bild basierend eine Draufsicht auf die Straße erzeugt wird; dass durch die Verarbeitungseinrichtung zumindest teilweise auf der Draufsicht auf die Straße basierend Fahrspurbegrenzungen einer Fahrspur der Straße detektiert werden; und dass durch die Verarbeitungseinrichtung unter Verwendung von maschinellem Lernen ein Straßenmerkmal innerhalb der Fahrspurbegrenzungen der Fahrspur der Straße detektiert wird.
Computerimplementiertes Verfahren nach Anspruch 1, wobei das maschinelle Lernen ein sogenanntes faltendes neuronales Netzwerk (Convolutional Neural Network) verwendet.
Computerimplementiertes Verfahren nach Anspruch 1, wobei das maschinelle Lernen ein künstliches neuronales Netzwerk verwendet.
Computerimplementiertes Verfahren nach Anspruch 1, wobei das Detektieren des Straßenmerkmals innerhalb der Fahrspurbegrenzungen weiterhin umfasst: dass eine Merkmalsextraktion durchgeführt wird, um unter Verwendung eines neuronalen Netzwerks Straßenmerkmale aus der Draufsicht zu extrahieren, und dass eine Klassifizierung des Straßenmerkmals unter Verwendung des neuronalen Netzwerks durchgeführt wird.
Computerimplementiertes Verfahren nach Anspruch 1, wobei die Fahrspurbegrenzungen durch eine Fahrspurmarkierung, einen Seitenstreifen oder einen Bordstein definiert sind.
Computerimplementiertes Verfahren nach Anspruch 1, wobei das Detektieren der Fahrspurbegrenzungen weiterhin umfasst: dass Merkmalsprimitive auf der Draufsicht detektiert werden; dass eine Cluster-Bündelung der Merkmalsprimitiven auf der Draufsicht durchgeführt wird; dass eine Kurvenanpassung der Merkmalsprimitive auf der Draufsicht durchgeführt wird; und dass eine Kurvenkonsolidierung der Merkmalsprimitive auf der Draufsicht durchgeführt wird.
Computerimplementiertes Verfahren nach Anspruch 1, wobei die Kamera ein Fischaugenobjektiv umfasst.
Computerimplementiertes Verfahren nach Anspruch 1, wobei das Straßenmerkmal aus der Gruppe bestehend aus einer Tempolimitanzeige, einer Fahrradspuranzeige, einer Bahnübergangsanzeige, einer Schulbereichsanzeige und einer Richtungsanzeige ausgewählt wird.
Computerimplementiertes Verfahren nach Anspruch 1, wobei das Verfahren weiterhin umfasst, dass das detektierte Straßenmerkmal einer Straßenmerkmalsdatenbank hinzugefügt wird, wobei auf die Straßenmerkmalsdatenbank auch von anderen Fahrzeugen aus zugegriffen werden kann.
System zur Straßenmerkmalserkennung, wobei das System umfasst: eine Mehrzahl von mit einem Fahrzeug verbundenen Kameras; einen Speicher umfassend computerlesbare Befehle; und eine Verarbeitungseinrichtung zur Ausführung der computerlesbaren Befehle im Hinblick auf die Durchführung eines Verfahrens, wobei das Verfahren umfasst: dass durch eine Verarbeitungseinrichtung ein Bild von einer jeden aus der Mehrzahl von Kameras empfangen wird; dass für eine jede aus der Mehrzahl von Kameras, durch die Verarbeitungseinrichtung zumindest teilweise auf dem Bild basierend eine Draufsicht auf die Straße erzeugt wird, durch die Verarbeitungseinrichtung zumindest teilweise auf der Draufsicht auf die Straße basierend Fahrspurbegrenzungen einer Fahrspur der Straße detektiert werden, und durch die Verarbeitungseinrichtung unter Verwendung von maschinellem Lernen ein Straßenmerkmal innerhalb der Fahrspurbegrenzungen der Fahrspur der Straße detektiert wird; und dass durch die Verarbeitungseinrichtung die Straßenmerkmale von einer jeden aus der Mehrzahl von Kameras miteinander verschmolzen werden.