DE102021117223A1

DE102021117223A1 - Bestimmen eines Freiraums auf einer Straße in einem Umfeld eines Fahrzeugs

Info

Publication number: DE102021117223A1
Application number: DE102021117223.3A
Authority: DE
Inventors: Nagarjan Balmukundan; Prashanth Viswanath; Jephy Rapheal; Catherine Enright
Original assignee: Connaught Electronics Ltd
Current assignee: Connaught Electronics Ltd
Priority date: 2021-07-05
Filing date: 2021-07-05
Publication date: 2023-01-05

Abstract

Gemäß einem computerimplementierten Verfahren zum Bestimmen eines Freiraums auf einer Straße wird ein semantischer Segmentierungsalgorithmus auf Bilddaten (5) angewendet und ein Binärbild (6a, 6b, 6c, 6d) wird in Abhängigkeit von einem Ergebnis des Segmentierungsalgorithmus erzeugt, wobei jedes Pixel des Binärbildes (6a, 6b, 6c, 6d) entweder als frei oder als belegt klassifiziert wird. Ein vorbestimmtes zweidimensionales Raster (10) mit einer Vielzahl von Rasterzellen wird mit dem Binärbild (6a, 6b, 6c, 6d) überlagert, so dass jede der Rasterzellen einem jeweiligen Satz von Pixeln zugeordnet wird. Eine Teilmenge der Rasterzellen wird in Abhängigkeit von den jeweiligen Klassifikationen des Satzes von Pixeln, die der jeweiligen Rasterzelle zugeordnet sind, als frei oder belegt als Grenzzellen identifiziert. Eine Darstellung des Freiraums (11) wird auf der Basis der Grenzzellen bestimmt.

Description

Die vorliegende Erfindung ist auf ein computerimplementiertes Verfahren zum Bestimmen eines Freiraums auf einer Straße in einem Umfeld eines Fahrzeugs gerichtet, wobei ein semantischer Segmentierungsalgorithmus auf Bilddaten angewendet wird, die ein Umfeld des Fahrzeugs darstellen. Die Erfindung ist ferner auf ein Verfahren zum wenigstens teilweise automatischen Führen eines Fahrzeugs, auf ein elektronisches Fahrzeugführungssystem und computerprogrammierte Produkte gerichtet.
Für teilweise automatische Fahrfunktionen, beispielsweise fortschrittliche Fahrerassistenzsysteme, ADAS, sowie für autonome Fahranwendungen wird das Umfeld des Fahrzeugs mittels Umfeldsensorsystemen, insbesondere Kameras, Lidarsensoren, Radarsensoren, Ultraschallsensoren und so weiter, überwacht. Um das Fahrzeug automatisch oder teilweise automatisch zu steuern, muss für viele Funktionen der befahrbare Freiraum im Umfeld des Fahrzeugs bekannt sein. Insbesondere muss der Freiraum im dreidimensionalen Koordinatensystem der realen Welt oder mit anderen Worten im Fahrzeugkoordinatensystem bestimmt werden.
Semantische Segmentierungsalgorithmen oder andere Algorithmen zum computerbasierten Sehen, wie zum Beispiel Objektdetektion, Objektverfolgung und so weiter, verwenden Umfeldsensordaten, um relevante Informationen zu extrahieren, die zum Bestimmen des Freiraums verwendet werden können. Die durch die Umfeldsensorsysteme erfassten Daten liegen jedoch in den jeweiligen Sensorkoordinatensystemen oder in jeweiligen Bildkoordinatensystemen vor. Eine einfache Methode, um den Freiraum im dreidimensionalen Fahrzeugkoordinatensystem zu erhalten, bestünde darin, den Freiraum in den Sensorkoordinatensystemen beziehungsweise Bildkoordinatensystemen zu bestimmen und jedes Pixel, jeden Bildpunkt oder Messpunkt in das dreidimensionale Fahrzeugkoordinatensystem zu transformieren. Diese Methode erfordert jedoch eine enorme Menge an Rechenressourcen, die begrenzt sind, insbesondere im Zusammenhang mit eingebetteten Systemen, wie üblicherweise im Kraftfahrzeugzusammenhang verwendet. Selbst wenn die erforderlichen Operationen online ausgeführt werden könnten, würden die Echtzeitanforderungen im komplexen System des automatischen oder halbautomatischen Fahrens nicht erfüllt werden, da neben dem Bestimmen des Freiraums für jeden Sensorframe mehrere andere Rechenaufgaben parallel durchgeführt werden müssen.
Es ist eine Aufgabe der vorliegenden Erfindung, den Rechenaufwand zu verringern, der erforderlich ist, um den Freiraum im Umfeld eines Fahrzeugs zur Verwendung beim automatischen oder halbautomatischen Führen des Fahrzeugs zu bestimmen.
Diese Aufgabe wird durch den jeweiligen Gegenstand der unabhängigen Ansprüche erreicht. Weitere Implementierungen und bevorzugte Ausführungsformen sind ein Gegenstand der abhängigen Ansprüche.
Die Erfindung basiert auf der Idee, von einer semantischen Segmentierung der Bilddaten auszugehen, ein Binärbild zu erzeugen, das den Freiraum von nicht-befahrbaren oder potentiell nicht-befahrbaren Bereichen im Umfeld trennt, und eine Darstellung für den Freiraum in Abhängigkeit von einer Überlagerung des Binärbildes mit einem vorbestimmten Raster zu erhalten. In dieser Weise wird die Menge an erforderlichen Projektionen zwischen dem Fahrzeugkoordinatensystem und dem Koordinatensystem, in dem die Bilddaten erhalten werden, verringert, was die Rechenanforderungen verringert.
Gemäß einem ersten Aspekt der Erfindung wird ein computerimplementiertes Verfahren zum Bestimmen eines Freiraums auf einer Straße in einem Umfeld eines Fahrzeugs bereitgestellt. Dabei wird ein semantischer Segmentierungsalgorithmus auf Bilddaten angewendet, die ein Umfeld des Fahrzeugs darstellen, und ein Binärbild wird in Abhängigkeit von einem Ergebnis des semantischen Segmentierungsalgorithmus erzeugt, wobei jedes Pixel des Binärbildes entweder als frei oder als belegt klassifiziert wird. Ein vorbestimmtes zweidimensionales Raster mit einer Vielzahl von Rasterzellen wird mit dem Binärbild überlagert, so dass jede der Rasterzellen einem jeweiligen Satz von Pixeln des Binärbildes zugeordnet wird. Eine Teilmenge der Rasterzellen wird in Abhängigkeit von den jeweiligen Klassifikationen des Satzes von Pixeln, die der jeweiligen Rasterzelle zugeordnet sind, als frei oder belegt als Grenzzellen identifiziert. Eine Darstellung des Freiraums wird auf der Basis der Grenzzellen bestimmt.
Hier und im Folgenden können alle Verfahrensschritte eines computerimplementierten Verfahrens durch ein Computersystem oder eine Recheneinheit, insbesondere des Fahrzeugs, ausgeführt werden, wenn nichts anders angegeben ist. Das computerimplementierte Verfahren kann auch durch Verfahrensschritte erweitert werden, die durch andere Einheiten als ein Computersystem oder eine Recheneinheit ausgeführt werden. Das resultierende Verfahren kann dann als Verfahren, das ein computerimplementiertes Verfahren enthält, betrachtet werden.
Die Recheneinheit, die die Verfahrensschritte des computerimplementierten Verfahrens gemäß der Erfindung ausführen kann, kann beispielsweise von einem elektronischen Steuergerät, ECU, des Fahrzeugs enthalten sein oder die Recheneinheit weist eines oder mehrere ECUs des Fahrzeugs auf.
Hier und im Folgenden bezieht sich der Ausdruck „Freiraum“ auf einen Bereich, der für das Fahrzeug potentiell befahrbar ist, gegeben in Koordinaten eines dreidimensionalen Fahrzeugkoordinatensystems, sofern nicht anders angegeben. Der Freiraum kann daher als Bereich um das Fahrzeug betrachtet werden, der auf der Basis der am Fahrzeug eingesetzten Wahrnehmungssensoren als frei von Hindernissen bestätigt wurde. Dabei ist das Fahrzeugkoordinatensystem starr mit dem Fahrzeug verbunden und kann beispielsweise durch eine Längsachse des Fahrzeugs, eine Querachse des Fahrzeugs, die zu der Längsachse senkrecht ist, und eine Normalachse des Fahrzeugs, die zu beiden, der Längsachse und der Querachse, senkrecht ist, definiert sein. Dabei kann die Normalachse beispielsweise ungefähr zu einer Straßenoberfläche, auf der das Fahrzeug gegenwärtig positioniert ist, senkrecht sein. Die Längsachse kann einer Fahrtrichtung des Fahrzeugs entsprechen, falls das Fahrzeug mit einem Lenkwinkel von null gefahren wird. Offensichtlich sind andere Konventionen ebenso möglich.
Die Bilddaten werden beispielsweise mittels eines Umfeldsensorsystems des Fahrzeugs, wie beispielsweise einer Kamera oder eines Lidarsystems, insbesondere eines Flash-Lidarsystems, erzeugt. Insbesondere entsprechen die Bilddaten einem zweidimensionalen Bild, beispielsweise einem Kamerabild oder Lidarbild, in jeweiligen zweidimensionalen Bildkoordinaten. Andererseits kann ein dreidimensionales Sensorkoordinatensystem, das starr mit dem Umfeldsensorsystem verbunden ist, dem Umfeldsensorsystem zugeordnet sein. Das Fahrzeugkoordinatensystem und das Sensorkoordinatensystem können in einigen Fällen identisch oder bis auf eine Translationsverschiebung identisch sein. Im Allgemeinen stehen jedoch das Fahrzeugkoordinatensystem und das Sensorkoordinatensystem durch eine Translationsverschiebung sowie eine dreidimensionale Drehung miteinander in Beziehung. Mit anderen Worten, das Sensorkoordinatensystem weist eine feste und vordefinierte Pose innerhalb des Fahrzeugkoordinatensystems auf. Die Pose kann auch als extrinsische Kalibrierungsdaten des Umfeldsensorsystems betrachtet werden.
Andererseits definiert die tatsächliche Implementierung des Umfeldsensorsystems, wie das Umfeld oder die Objekte in dem Umfeld in die Bilddaten umgewandelt werden. Mit anderen Worten, das Umfeldsensorsystem weist intrinsische Kalibrierungsdaten auf, die einen Punkt in dem Sensorkoordinatensystem in einer vordefinierten Weise mit exakt einem Punkt im Bildkoordinatensystem verbinden. Betrachtet man ein Kamerabild als Bilddaten, weist die Kamera im Allgemeinen eine Linseneinheit mit einer vordefinierten Abbildungsfunktion auf. Die Abbildungsfunktion definiert die Abbildung eines Punkts im Sensorkoordinatensystem auf das Bildkoordinatensystem. Die Abbildungsfunktion kann daher auch als intrinsische Kalibrierungsdaten der Kamera betrachtet werden. In analoger Weise können auch Flash-Lidarsysteme oder andere Umfeldsensorsysteme durch jeweilige intrinsische Kalibrierungsdaten beschrieben werden.
Der semantische Segmentierungsalgorithmus stellt eine Klassifikation der Bilddaten auf Pixelebene bereit. Mit anderen Worten, für jedes Pixel der Bilddaten wird eine jeweilige semantische Klasse durch den semantischen Segmentierungsalgorithmus zugewiesen, wobei die semantische Klasse die Art von Objekt definiert, zu der das jeweilige Pixel gehört. Eine Vielzahl von vordefinierten semantischen Klassen auf Pixelebene kann beispielsweise bereitgestellt werden und der semantische Segmentierungsalgorithmus bestimmt eine Wahrscheinlichkeit oder einen Konfidenzwert für jedes der Pixel und jede der semantischen Klassen. Die semantische Klasse, die die maximale Wahrscheinlichkeit für ein Pixel erzielt, kann dann als diesem Pixel zugewiesen betrachtet werden. Semantische Segmentierungsalgorithmen sind bekannt und können beispielsweise auf der Anwendung eines trainierten künstlichen neuronalen Netzwerks basieren. Das Ergebnis des semantischen Segmentierungsalgorithmus kann daher auch als semantisch segmentiertes Bild betrachtet werden, das im Folgenden auch als segmentiertes Bild bezeichnet wird. Das segmentierte Bild speichert die zugewiesene semantische Klasse auf Pixelebene für jedes der Pixel der Bilddaten.
Im Allgemeinen basiert der semantische Segmentierungsalgorithmus auf einer Vielzahl von verschiedenen semantischen Klassen, beispielsweise Straßenoberflächen, Bodenmarkierungen, Ego-Fahrzeug, Bäume, andere Fahrzeuge, Fußgänger, Hohlräume und so weiter. Das Binärbild basiert andererseits auf nur zwei Klassen auf Pixelebene, nämlich „frei“ und „belegt“. Die entsprechenden Pixel, die als frei beziehungsweise belegt klassifiziert werden, können im Folgenden auch als freie Pixel beziehungsweise belegte Pixel bezeichnet werden. Daher kann das Binärbild gewissermaßen auch als semantisch segmentiertes Bild betrachtet werden, jedoch mit nur zwei semantischen Klassen, nämlich „frei“ und „belegt“. Um das Binärbild aus dem Ergebnis des semantischen Segmentierungsalgorithmus zu erhalten, können die semantischen Klassen der semantischen Segmentierungsalgorithmen dementsprechend in einer vordefinierten Weise gruppiert werden, so dass alle Pixel, die potentiell ein Hindernis für das Fahrzeug darstellen könnten, als belegt klassifiziert werden, und alle Pixel, die befahrbaren Teilen im Umfeld des Fahrzeugs entsprechen, als frei klassifiziert werden. Die freien Pixel können beispielsweise auch als Straßenpixel betrachtet werden und die belegten Pixel können auch als Nicht-Straßen-Pixel betrachtet werden. Die Straßenpixel können jedoch dann nicht nur der Asphaltoberfläche der Straße, sondern beispielsweise auch Fahrspurmarkierungen, Markierungsknöpfen und anderen befahrbaren Objekten, insbesondere auf der Oberfläche der Straße, entsprechen.
Im Spezialfall, in dem der semantische Segmentierungsalgorithmus nur zwei semantische Klassen verwendet, die freien Pixeln und belegten Pixeln entsprechen, folgt das Binärbild direkt aus dem Ergebnis des semantischen Segmentierungsalgorithmus. Im Allgemeinen muss jedoch das Ergebnis des semantischen Segmentierungsalgorithmus in der beschriebenen Weise verarbeitet werden, um das Binärbild zu erhalten.
Das zweidimensionale Raster ist insbesondere ein Raster in der zweidimensionalen Bildebene der Bilddaten oder mit anderen Worten im Bildkoordinatensystem. Das Raster ist nicht notwendigerweise, und im Allgemeinen nicht, ein regelmäßiges Gitter, sondern besteht aus einer Vielzahl von Rasterzellen, die in Kombination den Bildbereich der Bilddaten im zweidimensionalen Bildkoordinatensystem bedecken. Das Raster kann beispielsweise durch eine Vielzahl von Punkten im Bildkoordinatensystem in Kombination mit einer Regel, wie diese Punkte verbunden werden müssen, um die Rasterzellen zu bilden, eindeutig definiert sein. Die Punkte können beispielsweise durch gerade Linien verbunden werden, um die Rasterzellen zu bilden, oder mit anderen Worten, die Rasterzellen können Polygonen entsprechen. Ein radiales Raster oder ein anderer Typ von Raster kann jedoch auch verwendet werden. Durch Definieren des Rasters in den zweidimensionalen Bildkoordinaten ist seine Darstellung im dreidimensionalen Fahrzeugkoordinatensystem durch die Kalibrierungsdaten, insbesondere durch die intrinsischen und extrinsischen Kalibrierungsdaten, des Umfeldsensorsystems gegeben. Insbesondere kann in Abhängigkeit von den Kalibrierungsdaten das Raster auf ein initiales Raster im Fahrzeugkoordinatensystem abgebildet werden, das auf einer zweidimensionalen Mannigfaltigkeit, insbesondere einer Ebene, im Fahrzeugkoordinatensystem liegt. Die Ebene des initialen Rasters ist insbesondere ungefähr durch die Straßenoberfläche im Umfeld des Fahrzeugs gegeben oder, mit anderen Worten, ist zur Normalachse des Fahrzeugkoordinatensystems senkrecht.
Umgekehrt kann das initiale Raster in Abhängigkeit von den Kalibrierungsdaten auf das Raster in den zweidimensionalen Bildkoordinaten abgebildet werden. Dabei kann die Abbildung auf die Abbildung der vordefinierten Rasterpunkte begrenzt sein, wie vorstehend beschrieben. Die Anzahl von Rasterpunkten und die resultierende Größe der Rasterzellen definieren eine Auflösung und daher den erforderlichen Rechenaufwand. Insbesondere ist die Anzahl von Rasterzellen und auch die Anzahl von Rasterpunkten kleiner als eine Anzahl von Bildpixeln der Bilddaten beziehungsweise des Binärbildes. Während die Anzahl von Pixeln des Binärbildes beispielsweise in der Größenordnung von Millionen liegen kann, kann die Anzahl von Rasterpunkten in Abhängigkeit von der gewünschten Auflösung in der Größenordnung von Hunderten oder einigen Tausend liegen.
Die Grenzzellen sind eine Teilmenge der Rasterzellen des zweidimensionalen Rasters im Bildkoordinatensystem, die als eine Grenze zwischen dem Freiraum im Bildkoordinatensystem und einem jeweiligen belegten Raum darstellend oder annähernd betrachtet werden können. Um die Grenzzellen zu identifizieren, können verschiedene Verfahren angewendet werden, wobei einige von ihnen im Folgenden beschrieben werden. Sobald die Grenzzellen identifiziert sind, können sie jedoch direkt verwendet werden, um die Darstellung des Freiraums in dem Fahrzeugkoordinatensystem zu erhalten, da die Grenzzellen jeweiligen Zellen des initialen Rasters über die Kalibrierungsdaten eindeutig zugeordnet sind. Insbesondere kann die Darstellung des Freiraums durch jeweilige initiale Grenzzellen des initialen Rasters gegeben sein oder diese aufweisen, wobei jede Grenzzelle einer initialen Grenzzelle entspricht und mit dieser über die Kalibrierungsdaten verbunden ist. In einigen Implementierungen kann jedoch die Information, die durch die initialen Grenzzellen dargestellt wird, auch weiter verarbeitet werden, um die Darstellung des Freiraums zu erhalten.
Die beschriebenen Schritte des computerimplementierten Verfahrens gemäß der Erfindung können beispielsweise wiederholt für jedes Einzelbild (englisch: Frame) des Umfeldsensorsystems, beispielsweise für jedes Kameraeinzelbild, ausgeführt werden. Mit anderen Worten, die Darstellung des Freiraums wird in diesem Fall für jedes Einzelbild erhalten. Ferner kann das computerimplementierte Verfahren auch die Schritte, die mit Bezug auf die Bilddaten beschrieben sind, für jeweilige weitere Sätze von Bilddaten aufweisen, die durch eines oder mehrere weitere Umfeldsensorsysteme des Fahrzeugs, insbesondere weitere Kameras des Fahrzeugs, erzeugt werden. Wenigstens einige der beschriebenen Schritte des computerimplementierten Verfahrens können für die Bilddaten und die weiteren Sätze von Bilddaten zusammen ausgeführt werden. Im Allgemeinen weist jedoch jedes Umfeldsensorsystem des Fahrzeugs wenigstens eine unterschiedliche Pose in dem Fahrzeugkoordinatensystem und daher unterschiedliche Kalibrierungsdaten auf, so dass die jeweiligen Schritte separat ausgeführt werden.
Wenn nicht anders angegeben, bezieht sich daher im Folgenden der Freiraum auf den Freiraum um das Fahrzeug, soweit er durch das dem Umfeldsensorsystem entsprechende Blickfeld abgedeckt ist. Die Analysen der verschiedenen Bilddatensätze können kombiniert werden, um eine vollständige Darstellung des Freiraums um das Fahrzeug zu erhalten.
Gemäß dem computerimplementierten Verfahren gemäß der Erfindung ist es nicht erforderlich, die Bilddaten, das Ergebnis des semantischen Segmentierungsalgorithmus oder das Binärbild von dem Bildkoordinatensystem in das Fahrzeugkoordinatensystem zu transformieren, was eine enorme Menge an Rechenressourcen für jedes Einzelbild erfordern würde. Durch Betrachten des Binärbildes in Kombination mit dem zweidimensionalen Raster wird das Verfahren hinsichtlich der erforderlichen Rechenressourcen oder Rechenzeit skalierbar. Tatsächlich muss nicht einmal das ganze zweidimensionale Raster von dem Bildkoordinatensystem in das Fahrzeugkoordinatensystem transformiert werden, sondern es kann ausreichen, die Grenzzellen oder die jeweiligen Rasterpunkte, die den Grenzzellen entsprechen, vom zweidimensionalen Bildkoordinatensystem in das Fahrzeugkoordinatensystem zu transformieren. In dieser Weise können die erforderlichen Rechenressourcen durch die Erfindung erheblich verringert werden.
Das computerimplementierte Verfahren gemäß der Erfindung weist auch zahlreiche Vorteile gegenüber dem Abschätzen des Freiraums unter Verwendung von Segmentierung in einer Top-Down Bilddarstellung auf, die beispielsweise unter Verwendung einer inversen perspektivischen Abbildung auf ein Kamerabild erhalten wird. Insbesondere leidet die Erfindung nicht unter Pixeldichteartefakten und erfordert nicht die Verwendung von erzeugenden gegnerischen Netzwerken, GAN, die Projektion zu verfeinern. In dieser Weise werden Laufzeit und Ressourcen für die Bildabbildung auf die Draufsicht eingespart. Erhöhte Annotationskosten von Trainingsdaten werden ebenfalls vermieden.
Dadurch dass effektiv der Hauptteil der Rechenschritte in dem zweidimensionalen Bildkoordinatensystem ausgeführt wird, kann die vorliegende Erfindung von jedem segmentierten Pixel Gebrauch machen, das durch den semantischen Segmentierungsalgorithmus abgeleitet wird. Daher werden dichte Informationen, die durch den semantischen Segmentierungsalgorithmus ausgegeben werden, bewahrt und können für die Freiraumbestimmung verwendet werden. Die Erfindung beseitigt den Bedarf an einem separaten Grenzextraktionsblock für die semantische Segmentierung, um auf die Bodenebene zu projizieren und den enthaltenen Bereich abzuklären, um den Freiraum abzuschätzen.
Das computerimplementierte Verfahren gemäß der Erfindung ist besonders laufzeitfreundlich, skalierbar und erweiterbar. Die jeweiligen Schritte können beispielsweise einem existierenden künstlichen neuronalen Netzwerk oder einem anderen semantischen Segmentierungsalgorithmus als Nachverarbeitungsblock beigefügt werden, der nur Universal-CPU-Verarbeitungsroutinen erfordert. Das Verfahren ist hinsichtlich beliebiger Darstellungen des Freiraums flexibel. Radiale Raster vom Fächersektortyp sowie polygonale Raster können gleichermaßen verwendet werden.
Die Verwendung des Binärbildes ermöglicht auch viele Kompressionsoptionen, um das Binärbild zu speichern und auf dieses zuzugreifen, wie zum Beispiel Längencodierung oder Bitpacken der Daten auf Byteebene. Dies kann den Speicherzugriff beschleunigen, wenn die Grenzzellen bestimmt werden, und bietet auch Möglichkeiten für eine kostengünstige Protokollierung und Speicherung des Ergebnisses, beispielsweise zur Offline-Analyse.
Es wird angemerkt, dass für jede Implementierung des computerimplementierten Verfahrens gemäß der Erfindung ein entsprechendes Verfahren zum Bestimmen des Freiraums, das kein rein computerimplementiertes Verfahren ist, sich durch Hinzufügen eines Verfahrensschritts zu dem computerimplementierten Verfahren, gemäß dem die Bilddaten durch das Umfeldsensorsystem erzeugt werden, ergibt.
Gemäß mehreren Implementierungen des computerimplementierten Verfahrens enthält das Anwenden des semantischen Segmentierungsalgorithmus auf die Bilddaten das Erzeugen des segmentierten Bildes als Ergebnis des semantischen Segmentierungsalgorithmus, wobei jedes Pixel des segmentierten Bildes als zu einer von drei oder mehr, insbesondere exakt einer der drei oder mehr, vordefinierten semantischen Klassen gehörend klassifiziert wird. Zum Erzeugen eines Binärbildes werden alle Pixel des segmentierten Bildes, die gemäß dem semantischen Segmentierungsalgorithmus als zu einer Klasse einer ersten Teilmenge der semantischen Klassen gehörend klassifiziert werden, als frei klassifiziert, und alle Pixel des segmentierten Bildes, die gemäß dem semantischen Segmentierungsalgorithmus als zu einer Klasse einer zweiten Teilmenge der semantischen Klassen gehörend klassifiziert werden, werden als belegt klassifiziert.
Mit anderen Worten, die semantischen Klassen werden in die erste Teilmenge und die zweite Teilmenge unterteilt, wobei die erste Teilmenge freien Pixeln entspricht und die zweite Teilmenge belegten Pixeln entspricht.
Insbesondere sind die erste Teilmenge und die zweite Teilmenge der semantischen Klassen voneinander verschieden und überlappen nicht. Dies bedeutet, dass jede der semantischen Klassen entweder ein Teil der ersten Teilmenge oder ein Teil der zweiten Teilmenge ist.
Die erste Teilmenge kann beispielsweise eine Straßenoberflächen- oder Asphaltklasse, eine Fahrspurmarkierungs- oder Bodenmarkierungsklasse, eine Katzenaugenklasse, eine Markierungspunktklasse und so weiter aufweisen. Mit anderen Worten, alle Objekte, die Klassen der ersten Teilmenge zugeordnet sind, sind für das Fahrzeug potentiell befahrbar. Die zweite Teilmenge der semantischen Klassen kann beispielsweise alle Klassen der semantischen Klassen aufweisen, die nicht in der ersten Teilmenge enthalten sind. Diese Klassen können beispielsweise Klassen hinsichtlich Randsteinen oder Bordsteinen, der Ego-Fahrzeug-Karosserie, Straßenkanten, anderen Fahrzeugen, Fußgängern, Bäumen, Hohlräumen und so weiter aufweisen.
Gemäß mehreren Implementierungen entspricht jede Klasse der ersten Teilmenge einer Klasse für eine Straßenoberfläche oder einer Klasse für ein Objekt auf der Straßenoberfläche, das für das Fahrzeug befahrbar ist.
Gemäß mehreren Implementierungen wird das vorbestimmte Raster durch Abbilden des vordefinierten zweidimensionalen initialen Rasters, das im dreidimensionalen Fahrzeugkoordinatensystem definiert ist, von dem Fahrzeugkoordinatensystem in das zweidimensionale Bildkoordinatensystem in Abhängigkeit von den vordefinierten Sensorkalibrierungsdaten, insbesondere des Umfeldsensorsystems, bestimmt.
Wie vorstehend beschrieben, entsprechen die Sensorkalibrierungsdaten Sensorkalibrierungsdaten desjenigen Umfeldsensorsystems, das die Bilddaten erzeugt hat. Insbesondere enthalten die Sensorkalibrierungsdaten die intrinsischen Kalibrierungsdaten und die extrinsischen Kalibrierungsdaten. Die extrinsischen Kalibrierungsdaten sind durch eine Pose des Sensorkoordinatensystems des Umfeldsensorsystems innerhalb des Fahrzeugkoordinatensystems gegeben und das intrinsische Koordinatensystem verbindet das Bildkoordinatensystem mit dem Sensorkoordinatensystem. Insbesondere hängen die intrinsischen Kalibrierungsdaten von einer Abbildungsfunktion des Umfeldsensorsystems, insbesondere einer Linseneinheit des Umfeldsensorsystems, ab.
Gemäß mehreren Implementierungen liegt das initiale Raster innerhalb einer Ebene, die zur Normalachse des Fahrzeugs senkrecht ist.
Gemäß mehreren Implementierungen enthält das Erzeugen der Darstellung des Freiraums das Zuordnen von jeder der Grenzzellen des Rasters zu einer jeweiligen initialen Rasterzelle, insbesondere zu exakt einer jeweiligen initialen Rasterzelle, des initialen Rasters.
Insbesondere werden zum Erzeugen der Darstellung des Freiraums die Grenzzellen des Rasters oder jeweilige Rasterpunkte der Grenzzelle des Rasters von dem Bildkoordinatensystem in Abhängigkeit von den Sensorkalibrierungsdaten auf das Fahrzeugkoordinatensystem abgebildet.
Gemäß mehreren Implementierungen wird das Raster zum Bestimmen der Grenzzellen entlang einer vordefinierten Rasterzellentrajektorie abgetastet. Wenn einer ersten Rasterzelle entlang der Rasterzellentrajektorie nur freie Pixel zugeordnet werden und einer zweiten Rasterzelle zugeordnet wird, die der ersten Rasterzelle entlang der Rasterzellentrajektorie folgt, wenigstens ein belegtes Pixel wird die erste Rasterzelle oder die zweite Rasterzelle als eine der Grenzzellen identifiziert.
In alternativen Implementierungen wird, wenn einer ersten Rasterzelle entlang der Rasterzellentrajektorie nur belegte Pixel zugeordnet werden und einer zweiten Rasterzelle, die der ersten Rasterzelle entlang der Rasterzellentrajektorie folgt, wenigstens ein freies Pixel zugeordnet wird, die erste Rasterzelle oder die zweite Rasterzelle als eine der Grenzzellen identifiziert.
Die Rasterzellentrajektorie kann als Teilmenge von aufeinanderfolgenden Rasterzellen des Rasters betrachtet werden, die in einer vordefinierten Reihenfolge einander folgen, und wobei jedes Paar von aufeinander folgenden Rasterzellen zueinander benachbart ist.
Mit anderen Worten, das Abtasten des Rasters entlang der vordefinierten Rasterzellentrajektorie kann als Analysieren der Rasterzellen der Rasterzellentrajektorie, wie beschrieben, nacheinander gemäß der vordefinierten Reihenfolge verstanden werden. Wenn beispielsweise eine Grenzzelle in der beschriebenen Weise entlang der Rasterzellentrajektorie identifiziert wird, kann die Abtastung entlang der Rasterzellentrajektorie gestoppt werden.
Insbesondere kann eine Vielzahl von weiteren Rasterzellentrajektorien in derselben Weise behandelt werden, so dass potentiell für jede Rasterzellentrajektorie eine jeweilige Grenzzelle bestimmt werden kann.
Die Form und Anzahl der Rasterzellentrajektorie und weiterer Rasterzellentrajektorien hängen von der Wahl des Rasters beziehungsweise des initialen Rasters, insbesondere von der Form der Rasterzellen und der Auflösung des Rasters, ab.
Beispielsweise kann ein radiales initiales Raster verwendet werden, das sich radial vom jeweiligen Umfeldsensorsystem erstreckt und das Blickfeld des Umfeldsensorsystems in Sektoren, die jeweilige Winkelblickfelder definieren, und Blöcke, die als konzentrische Bögen verstanden werden können, unterteilt. Polygonale initiale Raster oder dergleichen können jedoch auch verwendet werden.
Gemäß mehreren Implementierungen weist der Satz von Pixeln, die der jeweiligen Grenzzelle zugeordnet sind, für jede der Grenzzellen ein belegtes Pixel auf und das Binärbild weist ein freies Pixel benachbart zu dem belegten Pixel auf. Das zu dem belegten Pixel der Grenzzelle benachbarte freie Pixel kann von derselben Grenzzelle oder von einer benachbarten Rasterzelle enthalten sein.
Alternativ weist der Satz von Pixeln, die der jeweiligen Grenzzelle zugeordnet sind, ein freies Pixel auf und das Binärbild weist ein belegtes Pixel benachbart zu dem freien Pixel auf. Das zu dem freien Pixel der Grenzzelle benachbarte belegte Pixel kann von der Grenzzelle oder von einer benachbarten Rasterzelle enthalten sein.
Mit anderen Worten, zum Identifizieren der Grenzzellen werden alle Rasterzellen identifiziert, für die die vorstehend beschriebene Bedingung gilt. Solche Implementierungen können beispielsweise als Alternativen zu Implementierungen betrachtet werden, bei denen das Raster entlang der vordefinierten Rasterzellentrajektorie abgetastet wird, wie vorstehend beschrieben.
Gemäß einem zweiten Aspekt der Erfindung wird ein Verfahren zum wenigstens teilweise automatischen Führen eines Fahrzeugs bereitgestellt. Dabei werden Bilddaten, die ein Umfeld des Fahrzeugs darstellen, durch ein Umfeldsensorsystem des Fahrzeugs erzeugt. Ein computerimplementiertes Verfahren gemäß dem ersten Aspekt der Erfindung wird verwendet, um eine Darstellung eines Freiraums im Umfeld, insbesondere durch eine Recheneinheit des Fahrzeugs, zu bestimmen. Das Fahrzeug wird in Abhängigkeit von der Darstellung des Freiraums, insbesondere durch eine Steuereinheit des Fahrzeugs oder der Recheneinheit, wenigstens teilweise automatisch geführt.
Insbesondere kann zum wenigstens teilweise automatischen Führen des Fahrzeugs die Steuereinheit eines oder mehrere Steuersignale zum Steuern von einem oder mehreren Aktuatoren des Fahrzeugs erzeugen, um die automatische oder teilweise automatische Führung des Fahrzeugs zu implementieren.
Das Verfahren zum Führen eines Fahrzeugs gemäß der Erfindung kann beispielsweise mittels eines elektronischen Fahrzeugführungssystems des Fahrzeugs ausgeführt werden, das die Recheneinheit und die Steuereinheit und beispielsweise das Umfeldsensorsystem aufweist.
Unter einem elektronischen Fahrzeugführungssystem kann ein elektronisches System verstanden werden, das dazu eingerichtet ist, das Kraftfahrzeug vollautomatisch oder vollautonom zu führen oder zu steuern, insbesondere ohne dass ein Eingriff in eine Steuerung durch einen Fahrer oder Benutzer erforderlich ist. Das Kraftfahrzeug beziehungsweise das elektronische Fahrzeugführungssystem führt dabei alle erforderlichen Funktionen, wie gegebenenfalls erforderliche Lenk-, Brems- und/oder Beschleunigungsmanöver, die Beobachtung und Erfassung des Straßenverkehrs sowie die damit verbundenen erforderlichen Reaktionen selbsttätig und vollautomatisch durch. Insbesondere kann das elektronische Fahrzeugführungssystem zur Implementierung eines vollautomatischen oder vollautonomen Fahrmodus des Kraftfahrzeugs nach Stufe 5 der Klassifizierung gemäß SAE J3016 dienen. Unter einem elektronischen Fahrzeugführungssystem kann auch ein Fahrerassistenzsystem (englisch: „advanced driver assistance system“, ADAS) verstanden werden, welches den Fahrer bei einer teilweise automatisierten oder teilautonomen Fahrt des Kraftfahrzeugs unterstützt. Insbesondere kann das elektronische Fahrzeugführungssystem zur Implementierung eines teilweise automatisierten oder teilautonomen Fahrmodus des Kraftfahrzeugs nach einer der Stufen 1 bis 4 gemäß der SAE J3016-Klassifizierung dienen. Hier und im Folgenden bezieht sich „SAE J3016“ auf die entsprechende Norm in der Version vom Juni 2018.
Gemäß einem dritten Aspekt der Erfindung wird ein elektronisches Fahrzeugführungssystem für ein Fahrzeug bereitgestellt. Das elektronische Fahrzeugführungssystem weist ein Umfeldsensorsystem auf, das dazu eingerichtet ist, Bilddaten zu erzeugen, die ein Umfeld des Fahrzeugs darstellen. Das elektronische Fahrzeugführungssystem weist eine Steuereinheit auf, die dazu eingerichtet ist, Steuersignale zum wenigstens teilweise automatischen Führen des Fahrzeugs in Abhängigkeit von einer Darstellung des Freiraums im Umfeld zu erzeugen. Das elektronische Fahrzeugführungssystem weist eine Recheneinheit auf, die dazu eingerichtet ist, ein computerimplementiertes Verfahren gemäß dem ersten Aspekt der Erfindung auszuführen, um die Darstellung des Freiraums zu bestimmen.
Die Recheneinheit kann die Steuereinheit enthalten oder umgekehrt. In alternativen Implementierungen sind die Steuereinheit und die Recheneinheit voneinander separat implementiert.
Gemäß mehreren Implementierungen des elektronischen Fahrzeugführungssystems gemäß der Erfindung ist die Recheneinheit dazu eingerichtet, eine Implementierung des computerimplementierten Verfahrens gemäß dem ersten Aspekt der Erfindung auszuführen, wobei das vorbestimmte Raster durch Abbilden des vordefinierten zweidimensionalen initialen Rasters von dem Fahrzeugkoordinatensystem in das Bildkoordinatensystem in Abhängigkeit von den Sensorkalibrierungsdaten bestimmt wird. Das elektronische Fahrzeugführungssystem weist eine Speichereinheit auf, die die Sensorkalibrierungsdaten speichert. Die Sensorkalibrierungsdaten weisen extrinsische Kalibrierungsdaten des Umfeldsensorsystems auf, die das Fahrzeugkoordinatensystem mit dem Sensorkoordinatensystem in Beziehung setzen, das starr mit einer Komponente des Umfeldsensorsystems verbunden ist, insbesondere wenn das Umfeldsensorsystem am Fahrzeug montiert ist.
Gemäß mehreren Implementierungen weisen die Sensorkalibrierungsdaten intrinsische Kalibrierungsdaten des Umfeldsensorsystems auf, die das Sensorkoordinatensystem mit dem Bildkoordinatensystem in Beziehung setzen.
Weitere Implementierungen des elektronischen Fahrzeugführungssystems folgen direkt aus den verschiedenen Implementierungen des computerimplementierten Verfahrens zum Bestimmen des Freiraums gemäß dem ersten Aspekt der Erfindung und aus den verschiedenen Implementierungen des Verfahrens zum wenigstens teilweise automatischen Führen eines Fahrzeugs gemäß dem zweiten Aspekt der Erfindung und jeweils umgekehrt.
Gemäß einem vierten Aspekt der Erfindung wird ein Fahrzeug, insbesondere ein Kraftfahrzeug, mit einem elektronischen Fahrzeugführungssystem gemäß dem dritten Aspekt der Erfindung bereitgestellt.
Gemäß einem fünften Aspekt der Erfindung wird ein Computerprogramm mit Befehlen bereitgestellt. Wenn die Befehle durch ein Computersystem, insbesondere durch eine Recheneinheit eines elektronischen Fahrzeugführungssystems gemäß dem dritten Aspekt der Erfindung, ausgeführt werden, bewirken die Befehle, dass das Computersystem ein computerimplementiertes Verfahren gemäß dem ersten Aspekt der Erfindung ausführt.
Gemäß einem sechsten Aspekt der Erfindung wird ein weiteres Computerprogramm mit weiteren Befehlen bereitgestellt. Wenn die weiteren Befehle durch ein elektronisches Fahrzeugführungssystem gemäß dem dritten Aspekt der Erfindung, insbesondere durch die Recheneinheit des elektronischen Fahrzeugführungssystems, ausgeführt werden, bewirken die weiteren Befehle, dass das Fahrzeugführungssystem ein Verfahren zum wenigstens teilweise automatischen Führen eines Fahrzeugs gemäß dem zweiten Aspekt der Erfindung ausführt.
Gemäß einem siebten Aspekt der Erfindung wird ein computerlesbares Speichermedium, das ein Computerprogramm gemäß dem fünften Aspekt der Erfindung und/oder ein weiteres Computerprogramm gemäß dem sechsten Aspekt der Erfindung speichert, bereitgestellt.
Das Computerprogramm, das weitere Computerprogramm und das computerlesbare Speichermedium können als jeweilige Computerprogrammprodukte mit den Befehlen beziehungsweise den weiteren Befehlen betrachtet werden.
Weitere Merkmale der Erfindung ergeben sich aus den Ansprüchen, den Figuren und der Figurenbeschreibung. Die vorstehend in der Beschreibung genannten Merkmale und Merkmalskombinationen sowie die nachfolgend in der Figurenbeschreibung genannten und/oder in den Figuren gezeigten Merkmale und Merkmalskombinationen können nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen von der Erfindung umfasst sein. Es sind insbesondere auch Ausführungen und Merkmalskombinationen von der Erfindung umfasst, die nicht alle Merkmale eines ursprünglich formulierten Anspruchs aufweisen. Es sind darüber hinaus Ausführungen und Merkmalskombinationen von der Erfindung umfasst, die über die in den Rückbezügen der Ansprüche dargelegten Merkmalskombinationen hinausgehen oder von diesen abweichen.
In den Figuren zeigen

1 schematisch ein Fahrzeug mit einer beispielhaften Implementierung eines elektronischen Fahrzeugführungssystems gemäß der Erfindung sowie beispielhafte Darstellungen von segmentierten Bildern;
2 ein Ablaufdiagramm einer beispielhaften Implementierung eines computerimplementierten Verfahrens gemäß der Erfindung;
3 eine schematische Darstellung von Binärbildern;
4 eine schematische Darstellung eines initialen Rasters in einem Fahrzeugkoordinatensystem;
5 eine schematische Darstellung von Binärbildern, die mit jeweiligen Rastern überlagert sind;
6 schematische Darstellungen von segmentierten Bildern, die mit jeweiligen Rastern überlagert sind; und
7 eine schematische Darstellung eines Freiraums in einem Umfeld eines Fahrzeugs.

1 zeigt eine schematische Darstellung eines Fahrzeugs 1, insbesondere eines Kraftfahrzeugs, mit einer beispielhaften Implementierung eines elektronischen Fahrzeugführungssystems 2 gemäß der Erfindung.
Das elektronische Fahrzeugführungssystem 2 weist wenigstens ein Umfeldsensorsystem auf, in dem gezeigten Beispiel wenigstens eine Kamera 3a, 3b, 3c, 3d, insbesondere eine Frontkamera 3a, eine Heckkamera 3b, eine linke Kamera 3c und eine rechte Kamera 3d, die an verschiedenen Positionen an dem Fahrzeug 1 montiert sind und verschiedene Blickfelder aufweisen. Das elektronische Fahrzeugführungssystem 2 weist ferner eine Recheneinheit 4 auf, die mit den Kameras 3a, 3b, 3c, 3d verbunden ist und dazu eingerichtet ist, ein computerimplementiertes Verfahren zum Bestimmen eines Freiraums auf einer Straße im Umfeld des Fahrzeugs 1 gemäß der Erfindung auszuführen.
2 zeigt ein schematisches Ablaufdiagramm einer beispielhaften Implementierung eines solchen computerimplementierten Verfahrens gemäß der Erfindung.
Im Folgenden werden das computerimplementierte Verfahren und die Funktionalität des elektronischen Fahrzeugführungssystems 2 mit Bezug auf 1 bis 7 genauer erläutert.
Jede der Kameras 3a, 3b, 3c, 3d erzeugt ein jeweiliges Bild 5 für ein gegebenes Kameraeinzelbild. In Schritt S1 des Verfahrens werden die Bilder 5 durch die Recheneinheit 4 empfangen und in Schritt S2 wendet die Recheneinheit 4 einen semantischen Segmentierungsalgorithmus auf die einzelnen Bilder 5 an. Der semantische Segmentierungsalgorithmus kann beispielsweise auf einem trainierten künstlichen neuronalen Netzwerk basieren, kann insbesondere ein faltendes neuronales Netzwerk, CNN, mit einem Encodermodul und einem Decodermodul zur semantischen Segmentierung aufweisen. Als Ergebnis wird für jede der Kameras 3a, 3b, 3c, 3d oder, mit anderen Worten, für jedes der Bilder 5, ein jeweiliges segmentiertes Bild 7a, 7b, 7c, 7d erhalten, wie schematisch in 1 gezeigt. Ein segmentiertes Bild 7a, 7b, 7c, 7d weist eine semantische Klasse für jedes Pixel des jeweiligen zugrundeliegenden Bildes 5 auf, wobei die semantische Klasse einem jeweiligen Pixel zugeordnet wird und ein Objekt oder einen Typ von Objekt, zu dem das jeweilige Pixel gehört, angibt. Die semantischen Klassen können beispielsweise eine Straßenoberflächenklasse, eine Bodenmarkierungsklasse, eine Katzenaugenklasse, eine Bordsteinklasse, eine Hohlraumklasse, eine Eigenfahrzeugkarosserieklasse, eine Fußgängerklasse und so weiter aufweisen. In 1 sind drei der semantischen Klassen 8a, 8b, 8c mittels verschiedener Schraffuren angedeutet. Eine erste Klasse 8a kann beispielsweise einer Straßenoberflächenklasse entsprechen, eine zweite Klasse 8b kann einer Fahrspurmarkierungsklasse entsprechen und eine dritte Klasse 8c kann einer Bordsteinklasse entsprechen.
In Schritt S3 erzeugt die Recheneinheit 4 ein jeweiliges Binärbild 6a, 6b, 6c, 6d für jedes der segmentierten Bilder 7a, 7b, 7c, 7d, wie schematisch in 3 gezeigt. Dabei wird jedes Pixel des jeweiligen Binärbildes 6a, 6b, 6c, 6d als freies Pixel, in 3 als weiße Bereiche gezeigt, oder als belegtes Pixel, in 3 als schraffierte Bereiche gezeigt, klassifiziert. Um die Binärbilder 6a, 6b, 6c, 6d zu erhalten, wird jede der semantischen Klassen des semantischen Segmentierungsalgorithmus entweder als frei oder als belegt oder, mit anderen Worten, als befahrbarer Straßenteil oder als nicht-befahrbar oder Nicht-Straße betrachtet. In dem vorstehend beschriebenen Beispiel können die erste Klasse 8a und die zweite Klasse 8b beispielsweise als frei betrachtet werden, während die dritte Klasse 8c als belegt betrachtet werden kann. Im Allgemeinen können jedoch mehr als eine oder zwei semantische Klassen gruppiert werden, um die Binärbilder 6a, 6b, 6c, 6d zu erhalten.
In einigen Implementierungen können die in den Binärbildern 6a, 6b, 6c und 6d enthaltenen Informationen Bit-gepackt werden, so dass sich jedes Bit auf ein Pixel des jeweiligen segmentierten Bildes bezieht, wobei beispielsweise ein Bitwert von null einem belegten Pixel entspricht und ein Bitwert von eins einem freien Pixel entspricht oder umgekehrt. In dieser Weise können die relevanten Informationen der Binärbilder 6a, 6b, 6c, 6d effizient von dem künstlichen neuronalen Netzwerk für die semantische Segmentierung, insbesondere von dem Decodermodul für die semantische Segmentierung, zu einem weiteren Softwaremodul zum Ausführen eines anschließenden Schritts des computerimplementierten Verfahrens übertragen werden.
In Schritt S5 wird ein vorbestimmtes zweidimensionales Raster 10 mit einer Vielzahl von Rasterzellen mit dem jeweiligen Binärbild 6a, 6b, 6c, 6d überlagert, so dass jede der Rasterzellen einem jeweiligen Satz von Pixeln des jeweiligen Binärbildes 6a, 6b, 6c, 6d zugeordnet wird, wie schematisch in 5 gezeigt.
Das Raster 10 kann beispielsweise von einem vordefinierten initialen Raster 9 in einem Fahrzeugkoordinatensystem x, y, z erhalten werden, wie in 4 gezeigt. Dabei entspricht die x-Achse des Fahrzeugkoordinatensystems einer Längsachse des Fahrzeugs 1, die y-Achse des Fahrzeugkoordinatensystems entspricht einer Querachse des Fahrzeugs 1 und die z-Achse des Fahrzeugkoordinatensystems entspricht einer Normalachse des Fahrzeugs 1. Das initiale Raster 9 ist insbesondere ein Raster in einer zweidimensionalen Ebene, die zur z-Achse senkrecht ist. Für das Muster des initialen Rasters 9 sind verschiedene Alternativen möglich. In 4 ist ein radiales Rastermuster gezeigt, das sich radial in der x-y-Ebene von der Position der jeweiligen Kamera 3a, 3b, 3c, 3d erstreckt. Das initiale Raster 9 unterteilt die durch die jeweilige Kamera 3a, 3b, 3c, 3d gesehenen Bereiche in Sektoren, die das Winkelblickfeld gleichmäßig unterteilen, und Blöcke, mit anderen Worten, konzentrische Bögen, die jeden Sektor auf der Basis des zunehmenden radialen Abstandes von der jeweiligen Kamera 3a, 3b, 3c, 3d unterteilen.
Um das zweidimensionale Raster 10 in dem Bildkoordinatensystem zu erhalten, kann die Recheneinheit 4 in Schritt S4 des Verfahrens das initiale Raster 9 gemäß den Kalibrierungsdaten der jeweiligen Kamera 3a, 3b, 3c, 3d in das jeweilige Bildkoordinatensystem transformieren. Es wird angemerkt, dass die Transformation des initialen Rasters 9 in das Raster 10 nur einmal durchgeführt werden muss und die Transformation über alle Kameraeinzelbilder gültig bleibt, vorausgesetzt, dass sich die extrinsischen und intrinsischen Kalibrierungsdaten nicht ändern.
Sobald das Raster 10 mit den Binärbildern 6a, 6b, 6c, 6d überlagert ist, kann die Rasterbelegung des Rasters 10 durch Analysieren, wo die belegten Pixel und die freien Pixel mit Bezug auf die Rasterzellen des Rasters 10 liegen, bestimmt werden. Details dieser Analyse hängen von den Charakteristiken des verwendeten initialen Rasters 9 beziehungsweise des Rasters 10 ab. Für das radiale Raster von 4 und das mit Bezug auf 5 beschriebene entsprechende Beispiel wird das untere Ende von jedem der Binärbilder 6a, 6b, 6c, 6d als am nächsten zum Fahrzeug 1 liegend erachtet. Daher kann jedes Binärbild 6a, 6b, 6c, 6d gemäß den Rasterzellen des Rasters 10 von unten nach oben mit jeweils entlang einer Abtastlinie abgetastet werden. Für eine gegebene Abtastlinie werden die Inhalte des jeweiligen Binärbildes 6a, 6b, 6c, 6d für jedes Sektorintervall analysiert, das durch die Sektorlinienschnittpunkte mit der jeweiligen Abtastlinie gegeben ist. Das erste Auftreten eines belegten Pixels in einem gegebenen Sektorintervall kann eine Grenze des Freiraums für diesen Sektor bestimmen.
Folglich können belegte und freie Rasterzellen des Rasters 10 bestimmt werden, wie in 6 schematisch gezeigt, wobei in den jeweiligen analysierten Bildern 7a', 7b', 7c', 7d' die belegten Rasterzellen schraffiert sind.
In Schritt S6 des Verfahrens werden die jeweiligen Freiraumbegrenzungspunkte, mit anderen Worten, die ersten belegten Pixel jedes Sektors des Rasters 10 in das Fahrzeugkoordinatensystem zurück transformiert. Folglich kann eine Darstellung 11 des Freiraums im Fahrzeugkoordinatensystem erhalten werden, wie schematisch in 7 gezeigt. Die umrandeten dreieckigen Bereiche in 7 stellen den Freiraum im Fahrzeugkoordinatensystem dar.
Wie beschrieben, insbesondere mit Bezug auf die Figuren, ermöglicht es die Erfindung, den Freiraum, der dem Bereich um das Fahrzeug entspricht, der ohne Kollisionen als befahrbar betrachtet wird, im dreidimensionalen Fahrzeugkoordinatensystem zu berechnen, was für autonome oder halbautonome Fahr- und/oder Parkanwendungen wichtig ist. Die Ausgabe eines semantischen Segmentierungsalgorithmus im Bildkoordinatensystem stellt von Natur aus diese Informationen nicht bereit. Die Erfindung ermöglicht es, den tatsächlichen Freiraum effizient zu bestimmen, um Echtzeitanforderungen zu erfüllen, so dass das Verfahren online ausgeführt werden kann, um automatische Manövrierentscheidungen zu treffen. Durch die Erfindung ist nur eine verringerte Anzahl von Projektionen zwischen dem Bildkoordinatensystem und dem Fahrzeugkoordinatensystem erforderlich, aber die Genauigkeit von Informationen wird dennoch aufrechterhalten. Insbesondere kann ein Rastermuster in der Bodenebene des Fahrzeugkoordinatensystems definiert werden. Die Schnittpunkte des Rasters können als Keimpunkte betrachtet werden, die nicht mehrere Male berechnet werden müssen, und können als vordefinierte Werte gespeichert werden. Während der semantische Segmentierungsalgorithmus ein segmentiertes Mehrklassenbild ausgibt, können mehrere Klassen gruppiert oder geclustert werden, um binäre Informationen hinsichtlich freier und belegter Bereiche zu erhalten.
Da die verwendete Rastergröße die Auflösung der Darstellung des Freiraums sowie den Rechenaufwand bestimmt, stellt die Erfindung eine skalierbare Lösung bereit, die an die verfügbaren Verarbeitungsressourcen angepasst werden kann.

Claims

Computerimplementiertes Verfahren zum Bestimmen eines Freiraums auf einer Straße in einem Umfeld eines Fahrzeugs (1), wobei ein semantischer Segmentierungsalgorithmus auf Bilddaten (5) angewendet wird, die das Umfeld des Fahrzeugs (1) abbilden, dadurch gekennzeichnet, dass - ein Binärbild (6a, 6b, 6c, 6d) in Abhängigkeit von einem Ergebnis des semantischen Segmentierungsalgorithmus erzeugt wird, wobei jedes Pixel des Binärbildes (6a, 6b, 6c, 6d) entweder als frei oder als belegt klassifiziert wird; - ein vorbestimmtes zweidimensionales Raster (10) mit einer Vielzahl von Rasterzellen mit dem Binärbild (6a, 6b, 6c, 6d) überlagert wird, so dass jede der Rasterzellen einem jeweiligen Satz von Pixeln des Binärbildes (6a, 6b, 6c, 6d) zugeordnet wird; - eine Teilmenge der Rasterzellen in Abhängigkeit von den jeweiligen Klassifikationen des Satzes von Pixeln, die der jeweiligen Rasterzelle zugeordnet sind, als frei oder belegt als Grenzzellen identifiziert wird; - eine Darstellung des Freiraums (11) basierend auf den Grenzzellen bestimmt wird.
Computerimplementiertes Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass - das Anwenden des semantischen Segmentierungsalgorithmus auf die Bilddaten (5) das Erzeugen eines segmentierten Bildes (7a, 7b, 7c, 7d) als Ergebnis des semantischen Segmentierungsalgorithmus enthält, wobei jedes Pixel des segmentierten Bildes (7a, 7b, 7c, 7d) als zu einer von drei oder mehr vordefinierten semantischen Klassen (8a, 8b, 8c) gehörend klassifiziert wird; und - zum Erzeugen des Binärbildes (6a, 6b, 6c, 6d) alle Pixel des segmentierten Bildes (7a, 7b, 7c, 7d), die als zu einer Klasse einer ersten Teilmenge (8a, 8b) der semantischen Klassen (8a, 8b, 8c) gehörend klassifiziert werden, als frei klassifiziert werden und alle Pixel des segmentierten Bildes (7a, 7b, 7c, 7d), die als zu einer Klasse einer zweiten Teilmenge (8c) der semantischen Klassen (8a, 8b, 8c) gehörend klassifiziert werden, als belegt klassifiziert werden.
Computerimplementiertes Verfahren nach Anspruch 2, dadurch gekennzeichnet, dass jede Klasse der ersten Teilmenge (8a, 8b) einer Klasse für eine Straßenoberfläche oder einer Klasse für ein Objekt auf der Straßenoberfläche, das durch das Fahrzeug (1) befahrbar ist, entspricht.
Computerimplementiertes Verfahren nach einem der Ansprüche 2 oder 3, dadurch gekennzeichnet, dass die zweite Teilmenge (8c) alle semantischen Klassen (8a, 8b, 8c) aufweist, die nicht von der ersten Teilmenge (8a, 8b) enthalten sind.
Computerimplementiertes Verfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass das vorbestimmte Raster (10) durch Abbilden eines vordefinierten zweidimensionalen initialen Rasters (9), das in einem dreidimensionalen Fahrzeugkoordinatensystem definiert ist, von dem Fahrzeugkoordinatensystem in ein zweidimensionales Bildkoordinatensystem in Abhängigkeit von vordefinierten Sensorkalibrierungsdaten bestimmt wird.
Computerimplementiertes Verfahren nach Anspruch 5, dadurch gekennzeichnet, dass das initiale Raster (9) innerhalb einer Ebene liegt, die zu einer Normalachse des Fahrzeugs (1) senkrecht ist.
Computerimplementiertes Verfahren nach einem der Ansprüche 5 oder 6, dadurch gekennzeichnet, dass das Erzeugen der Darstellung des Freiraums (11) ein Zuordnen von jeder der Grenzzellen des Rasters (10) zu einer jeweiligen initialen Rasterzelle des initialen Rasters (9) enthält.
Computerimplementiertes Verfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass - das Raster (10) entlang einer vordefinierten Rasterzellentrajektorie abgetastet wird; und - wenn einer ersten Rasterzelle entlang der Rasterzellentrajektorie nur freie Pixel zugeordnet werden und einer zweiten Rasterzelle, die der ersten Rasterzelle entlang der Rasterzellentrajektorie folgt, ein belegtes Pixel zugeordnet wird, die erste Rasterzelle oder die zweite Rasterzelle als eine der Grenzzellen identifiziert wird; oder - wenn einer ersten Rasterzelle entlang der Rasterzellentrajektorie nur belegte Pixel zugeordnet werden und einer zweiten Rasterzelle, die der ersten Rasterzelle entlang der Rasterzellentrajektorie folgt, ein freies Pixel zugeordnet wird, die erste Rasterzelle oder die zweite Rasterzelle als eine der Grenzzellen identifiziert wird.
Computerimplementiertes Verfahren nach einem der Ansprüche 1 bis 7, dadurch gekennzeichnet, dass - für jede der Grenzzellen der Satz von Pixeln, die der jeweiligen Grenzzelle zugeordnet sind, ein belegtes Pixel aufweist und das Binärbild (6a, 6b, 6c, 6d) ein zu dem belegten Pixel benachbartes freies Pixel aufweist; oder - für jede der Grenzzellen der Satz von Pixeln, die der jeweiligen Grenzzelle zugeordnet sind, ein freies Pixel aufweist und das Binärbild (6a, 6b, 6c, 6d) ein zu dem freien Pixel benachbartes belegtes Pixel aufweist.
Verfahren zum wenigstens teilweise automatischen Führen eines Fahrzeugs (1), wobei - Bilddaten (5), die ein Umfeld des Fahrzeugs (1) darstellen, durch ein Umfeldsensorsystem (3a, 3b, 3c, 3d) des Fahrzeugs (1) erzeugt werden; und - das Fahrzeug (1) in Abhängigkeit von einer Darstellung des Freiraums (11) in dem Umfeld wenigstens teilweise automatisch geführt wird; dadurch gekennzeichnet, dass - ein computerimplementiertes Verfahren nach einem der vorangehenden Ansprüche verwendet wird, um die Darstellung des Freiraums (11) zu bestimmen.
Elektronisches Fahrzeugführungssystem (2) aufweisend - ein Umfeldsensorsystem (3a, 3b, 3c, 3d), das dazu eingerichtet ist, Bilddaten (5) zu erzeugen, die ein Umfeld eines Fahrzeugs (1) darstellen; und - eine Steuereinheit, das dazu eingerichtet ist, Steuersignale zum wenigstens teilweise automatischen Führen des Fahrzeugs (1) in Abhängigkeit von einer Darstellung des Freiraums (11) im Umfeld zu erzeugen; dadurch gekennzeichnet, dass - das elektronische Fahrzeugführungssystem (2) eine Recheneinheit (4) aufweist, die dazu eingerichtet ist, ein computerimplementiertes Verfahren nach einem der Ansprüche 1 bis 9 auszuführen, um die Darstellung des Freiraums (11) zu bestimmen.
Elektronisches Fahrzeugführungssystem (2) nach Anspruch 11, dadurch gekennzeichnet, dass - die Recheneinheit (4) dazu eingerichtet ist, ein computerimplementiertes Verfahren nach einem der Ansprüche 5 bis 7 auszuführen, um die Darstellung des Freiraums (11) zu bestimmen; - das elektronische Fahrzeugführungssystem (2) eine Speichereinheit aufweist, die die Sensorkalibrierungsdaten speichert; und - die Sensorkalibrierungsdaten extrinsische Kalibrierungsdaten des Umfeldsensorsystems (3a, 3b, 3c, 3d) aufweisen, die das Fahrzeugkoordinatensystem mit einem Sensorkoordinatensystem in Beziehung setzen, das mit einer Komponente des Umfeldsensorsystems (3a, 3b, 3c, 3d) starr verbunden ist.
Elektronisches Fahrzeugführungssystem (2) nach Anspruch 12, dadurch gekennzeichnet, dass die Sensorkalibrierungsdaten intrinsische Kalibrierungsdaten des Umfeldsensorsystems (3a, 3b, 3c, 3d) enthalten, die das Sensorkoordinatensystem mit dem Bildkoordinatensystem in Beziehung setzen.
Computerprogrammprodukt mit Befehlen, die, wenn sie durch ein Computersystem ausgeführt werden, bewirken, dass das Computersystem ein computerimplementiertes Verfahren nach einem der Ansprüche 1 bis 9 ausführt.
Computerprogrammprodukt mit Befehlen, die, wenn sie durch ein elektronisches Fahrzeugführungssystem (2) nach einem der Ansprüche 11 bis 13 ausgeführt werden, bewirken, dass das elektronische Fahrzeugführungssystem (2) ein Verfahren nach Anspruch 10 ausführt.