-
Die vorliegende Erfindung ist auf ein computerimplementiertes Vorverarbeitungsverfahren für einen Klassifizierungsalgorithmus gerichtet, wobei ein Eingangsbild erhalten wird, das eine Vielzahl von Bildpunkten enthält, und jeder Bildpunkt durch eine Bildpunktfarbe charakterisiert ist. Die Erfindung ist ferner auf ein computerimplementiertes Trainingsverfahren zum Trainieren eines maschinell trainierbaren Klassifizierungsalgorithmus mit einem faltenden neuronalen Netzwerk, auf ein Verfahren zur Klassifizierung eines Eingangsbilds, auf ein Verfahren zum wenigstens teilweise automatischen Führen eines Kraftfahrzeugs, auf ein elektronisches Fahrzeugführungssystem für ein Kraftfahrzeug, auf ein Computerprogramm und auf ein computerlesbares Speichermedium gerichtet.
-
Klassifizierungsalgorithmen, insbesondere Klassifizierungsalgorithmen basierend auf Algorithmen zur automatischen visuellen Wahrnehmung oder Algorithmen zum computerbasierten Sehen, können im Zusammenhang mit Fahrerassistenzsystemen, ADAS (englisch: „advanced drivers assistence systems“), oder anderen elektronischen Fahrzeugführungssystemen für teilweise oder vollständig autonome Fahrfunktionen eines Kraftfahrzeugs verwendet werden. Solche Klassifizierungsalgorithmen können beispielsweise Bildklassifizierungsalgorithmen, die einem Kamerabild eine jeweilige Bildklasse zuweisen, Objektdetektionsalgorithmen, die jeweilige Begrenzungsboxen für Objekte und entsprechende Objektklassen für Objekte in einem Kamerabild identifizieren, Algorithmen zur semantischen oder Instanzen Segmentierung, die jedem Bildpunkt eines Kamerabilds gemäß dem jeweiligen Objekt, zu dem der Bildpunkt gehört, eine jeweilige Klasse auf Bildpunktebene zuweisen, oder andere Klassifizierungsalgorithmen beinhalten. Ein Verschmutzungsklassifizierungsalgorithmus kann beispielsweise ein Kamerabild oder bestimmte Teile eines Kamerabilds demgemäß klassifizieren, ob das Kamerabild oder der Teil des Kamerabilds einer Verschmutzung unterliegt oder nicht. Der Typ der Verschmutzung, wie zum Beispiel eine opake Verschmutzung oder eine transparente Verschmutzung, kann im Rahmen der Klassifizierung beispielsweise ebenfalls bestimmt werden.
-
Abhängig von der tatsächlichen Implementierung des Klassifizierungsalgorithmus können elektronische Fahrzeugführungssysteme von Kraftfahrzeugen die Ausgabe des Klassifizierungsalgorithmus verwenden, um das Fahrzeug wenigstens teilweise automatisch zu führen, beispielsweise durch Beeinflussen einer Quersteuerung oder Längssteuerung des Kraftfahrzeugs. Die Zuverlässigkeit der wenigstens teilweise automatischen Führung des Fahrzeugs und folglich die Sicherheit für das Fahrzeug und seine Benutzer sowie anderer Straßenbenutzer können von der Zuverlässigkeit und/oder Genauigkeit des Klassifizierungsalgorithmus abhängen.
-
Aus verschiedenen Gründen kann es vorkommen, dass das Kamerabild oder die Eingabe für den Klassifizierungsalgorithmus Bereiche enthält, die potentiell einen unerwünschten Effekt auf den Klassifizierungsalgorithmus haben können in dem Sinne, dass sie zu falschen Vorhersagen oder Klassifizierungen führen können. Solche Bereiche können beispielsweise Bereichen entsprechen, die für die Klassifizierungsaufgabe eigentlich nicht von Relevanz sind, aber, da der Klassifizierungsalgorithmus üblicherweise das ganze Eingangsbild analysiert, trotzdem einen Effekt auf die Klassifizierung haben. Komponenten des Kraftfahrzeugs selbst können beispielsweise auf dem Kamerabild dargestellt sein und können zu solchen Effekten führen. Ferner kann das initiale Kamerabild transformiert oder normalisiert werden, bevor es in den Klassifizierungsalgorithmus eingegeben wird, beispielsweise um Verzerrungen zu kompensieren, die durch die Abbildung der realen Welt auf das initiale Kamerabild mittels des Kameraobjektivs verursacht werden. Wenn beispielsweise Fischaugenkameras verwendet werden, kann das initiale Bild normalisiert werden, um jeweilige Verzerrungen im Zusammenhang mit dem sehr großen Blickfeld von solchen Kameras zu kompensieren.
-
Es ist ein Ziel der vorliegenden Erfindung, die Zuverlässigkeit eines Klassifizierungsalgorithmus und/oder die Genauigkeit der Ausgabe eines Klassifizierungsalgorithmus, insbesondere eines Klassifizierungsalgorithmus für die Verwendung in Kraftfahrzeuganwendungen, zu steigern.
-
Dieses Ziel wird durch den jeweiligen Gegenstand der unabhängigen Ansprüche erreicht. Weitere Implementierungen und bevorzugte Ausführungsformen sind Gegenstand der abhängigen Ansprüche.
-
Die Erfindung basiert auf der Idee, einen Bereich im Eingangsbild, der potentiell einen unerwünschten Effekt auf den Klassifizierungsalgorithmus hat, unter Verwendung einer vordefinieren Vorschrift zu identifizieren, und die Bildpunktfarbwerte dieses Bereichs auf eine vordefinierte Maskierungsfarbe zu setzen, die eine gesättigte Farbe ist und insbesondere nicht Weiß, Grau oder Schwarz ist. Da es sehr unwahrscheinlich ist, dass zusammenhängende Bereiche von gesättigten Farben in einer realen Umgebung in Kraftfahrzeuganwendungen zu beobachten sind, kann eine Fehlinterpretation des Bereichs durch den Klassifizierungsalgorithmus in dieser Weise vermieden werden.
-
Gemäß einem Aspekt der Erfindung wird ein computerimplementiertes Vorverarbeitungsverfahren für einen Klassifizierungsalgorithmus bereitgestellt. Dabei wird ein Eingangsbild erhalten, wobei das Eingangsbild eine Vielzahl von Bildpunkten enthält und jeder Bildpunkt durch eine Bildpunktfarbe charakterisiert ist. Ein Bereich des Eingangsbilds, der potentiell einen unerwünschten Effekt auf den Klassifizierungsalgorithmus hat, wird gemäß einer vordefinierten Vorschrift bestimmt. Ein vorverarbeitetes Eingangsbild wird basierend auf dem Eingangsbild erzeugt, wobei das Erzeugen des vorverarbeiteten Eingangsbilds beinhaltet, für jeden Bildpunkt, der dem bestimmten Bereich entspricht, die jeweilige Bildpunktfarbe auf eine vordefinierte Maskierungsfarbe zu setzen, welche eine gesättigte Farbe ist.
-
Der Klassifizierungsalgorithmus ist insbesondere ein Algorithmus zur visuellen Wahrnehmung, auch als Algorithmus zum computerbasierten Sehen bezeichnet. Insbesondere beinhaltet der Klassifizierungsalgorithmus ein künstliches neuronales Netzwerk, beispielsweise ein faltendes neuronales Netzwerk, CNN. Der Klassifizierungsalgorithmus kann beispielsweise als Bildklassifizierungsalgorithmus ausgestaltet sein, der dazu ausgelegt ist, dem Eingangsbild als Ganzes eine Klasse zuzuweisen. Der Klassifizierungsalgorithmus kann auch als Objektdetektionsalgorithmus ausgestaltet sein, der dazu ausgelegt ist, einem oder mehreren Objekten im Bild jeweilige Objektklassen zuzuweisen und optional den Objekten jeweilige Begrenzungsboxen zuzuweisen. Der Klassifizierungsalgorithmus kann auch als Algorithmus zur semantischen Segmentierung ausgestaltet sein, der dazu ausgelegt ist, jedem Bildpunkt des vorverarbeiteten Eingangsbilds eine jeweilige Klasse auf Bildpunktebene zuzuweisen, wobei die verschiedenen Klassen auf Bildpunktebene beispielsweise den verschiedenen Typen von Objekten entsprechen. Der Klassifizierungsalgorithmus kann auch dazu ausgestaltet sein, bestimmte vordefinierte Teile oder Zellen des Eingangsbilds durch Zuweisen einer entsprechenden Klasse zu jedem der Teile oder Zellen zu klassifizieren. Der Klassifizierungsalgorithmus kann beispielsweise das vorverarbeitete Eingangsbild in eine Vielzahl von Spalten und Zeilen unterteilen, was zu einer entsprechenden Vielzahl von rechteckigen Zellen des Eingangsbilds führt. Dann kann der Klassifizierungsalgorithmus, insbesondere das CNN, jede der rechteckigen Zellen individuell klassifizieren.
-
In einigen Implementierungen ist der Klassifizierungsalgorithmus dazu ausgestaltet, das vorverarbeitete Eingangsbild in die Vielzahl von rechteckigen Zellen zu unterteilen und jeder der rechteckigen Zellen eine Verschmutzungsklasse zuzuweisen. Die Verschmutzungsklasse ist eine von zwei oder mehr vordefinierten Verschmutzungsklassen, die eine Klasse, die dem Fall entspricht, dass die jeweilige Zelle keine Verschmutzung zeigt, und wenigstens eine Klasse, die der Situation entspricht, in der die jeweilige Zelle eine Verschmutzung zeigt, enthalten. Beispielsweise können verschiedene Grade oder Typen von Verschmutzung unterschieden werden. Die Klassen können beispielsweise eine Klasse für eine transparente Verschmutzung und eine Klasse für eine opake Verschmutzung enthalten.
-
Das Eingangsbild kann beispielsweise durch eine Kamera erzeugt werden oder kann, mit anderen Worten, von der Kamera erhalten werden. In diesem Fall entspricht das Eingangsbild einem initialen Bild, wie es durch die Kamera erzeugt wurde. Alternativ kann das Eingangsbild basierend auf dem durch die Kamera erzeugten initialen Bild erzeugt werden. Das Erzeugen des Eingangsbilds basierend auf dem initialen Bild kann in einigen Implementierungen ein Teil des computerimplementierten Vorverarbeitungsverfahrens sein.
-
Wenn nicht anders angegeben, können alle Schritte eines computerimplementierten Vorverarbeitungsverfahrens gemäß der Erfindung durch wenigstens eine Recheneinheit, beispielsweise wenigstens eine Recheneinheit eines Kraftfahrzeugs, ausgeführt werden, wobei die Kamera beispielsweise am Kraftfahrzeug montiert sein kann, um eine Umgebung des Kraftfahrzeugs erfassen zu können. Für jede Implementierung eines computerimplementierten Vorverarbeitungsverfahrens gemäß der Erfindung wird jedoch eine entsprechende Implementierung eines Vorverarbeitungsverfahrens für einen Klassifizierungsalgorithmus, das nicht rein computerimplementiert ist, leicht durch Hinzufügen des Schritts der Erzeugung des initialen Bilds mittels der Kamera erhalten.
-
Das Eingangsbild und insbesondere das initiale Bild sind in einem jeweiligen Farbkodierungsmodell, beispielsweise einem RGB-Modell, einem YUV-Modell und so weiter, gegeben. Folglich ist jeder Bildpunkt durch jeweilige Farbkanäle oder Werte für die Farbkanäle gemäß dem Farbkodierungsmodell charakterisiert. Die Werte der Farbkanäle des entsprechenden Farbkodierungsmodells definieren die jeweilige Bildpunktfarbe des Bildpunkts.
-
Der Bereich, der potentiell einen unerwünschten Effekt auf den Klassifizierungsalgorithmus hat, entspricht einer zusammenhängenden Vielzahl von Bildpunkten. Der Bereich, der potentiell einen unerwünschten Effekt auf den Klassifizierungsalgorithmus hat, kann derart verstanden werden, dass von vornherein bekannt ist, dass der Bereich zu falschen oder unzuverlässigen Vorhersagen oder Ausgaben des Klassifizierungsalgorithmus führen kann. Die Definition dieses Bereichs ist im Allgemeinen jedoch kein Teil des computerimplementierten Vorverarbeitungsverfahrens, sondern wird durch die vordefinierte Vorschrift kodiert. Mit anderen Worten, bevor das computerimplementierte Vorverarbeitungsverfahren ausgeführt wird, ist bekannt, wo sich der Bereich im Eingangsbild und gegebenenfalls im initialen Bild befindet. Die vordefinierte Vorschrift kann beispielsweise die jeweiligen Positionen aller Bildpunkte definieren, die dem Bereich entsprechen. Die vordefinierte Vorschrift kann beispielsweise in Form einer Maske, insbesondere einer Bildmaske, beispielsweise einer binären Maske, die den Bereich vom Rest des Eingangsbilds trennt, oder mittels einer Umsetzungstabelle oder mittels einer geometrischen Beschreibung des Bereichs gegeben sein.
-
Der Bereich kann beispielsweise im entsprechenden Blickfeld einer Kamera statisch sein. Wenn die Kamera beispielsweise an einem Kraftfahrzeug montiert ist, kann eine Komponente des Kraftfahrzeugs innerhalb des Blickfeldes der Kamera liegen. Sobald die Kameraposition und -orientierung in Bezug auf das Kraftfahrzeug bekannt sind, ist auch der Teil des Eingangsbilds, der der Komponente des Kraftfahrzeugs entspricht, definiert und ändert sich im Allgemeinen nicht mehr. Der Bereich kann beispielsweise dem Teil im Eingangsbild oder initialen Bild entsprechen, der durch die jeweilige Komponente des Kraftfahrzeugs belegt ist.
-
Alternativ kann der Bereich einem anderen Bereich entsprechen, der keine Informationen hinsichtlich der Umgebung der Kamera trägt. Wenn beispielsweise das initiale Bild normalisiert wird, um Verzerrungen zu entfernen, kann es unmöglich sein, bestimmte Bereiche im Eingangsbild wieder auf das initiale Bild abzubilden. Insbesondere wenn Weitwinkelkameras wie zum Beispiel Fischaugenkameras oder andere nicht-geradlinige Kameras verwendet werden, kann dies der Fall sein. Entsprechende Bereiche können auch als Bleed-Bereiche oder Bleeding-Bereiche bezeichnet werden. In diesem Fall können die Bleed-Bereiche beispielsweise den Bereich bilden, der potentiell einen unerwünschten Effekt auf den Klassifizierungsalgorithmus hat. Die Position dieser Bereiche ist durch die intrinsischen Kameraparameter, insbesondere eine Abbildungsfunktion der Kamera, festgelegt.
-
Folglich ist ein Ergebnis des computerimplementierten Vorverarbeitungsverfahrens durch das vorverarbeitete Eingangsbild gegeben, das aus dem Bereich, der mit der Maskierungsfarbe innerhalb des Bereichs gefüllt ist, und den Informationen, die im initialen Bild für andere Bereiche enthalten sind, besteht. Optional kann das Eingangsbild natürlich zusätzliche Bereiche aufweisen, die potentiell einen unerwünschten Effekt auf den Klassifizierungsalgorithmus haben. Diese zusätzlichen Bereiche können in derselben Weise, wie für den Bereich beschrieben, behandelt werden. Alternativ kann der Bereich, der potentiell einen unerwünschten Effekt auf den Klassifizierungsalgorithmus hat, als einen oder mehrere zusammenhängende Teile des Eingangsbilds enthaltend betrachtet werden.
-
Hier und im Folgenden kann eine gesättigte Farbe als Farbe verstanden werden, die nicht ungesättigt oder entsättigt ist. Entsättigte Farben sind Weiß, Schwarz und alle Schattierungen von reinem Grau. Mit anderen Worten, in Anbetracht eines RGB-Farbkodierungsmodells sind alle Farben, die denselben Wert für den roten Farbkanal, den grünen Farbkanal und den blauen Farbkanal aufweisen, entweder Schwarz, Weiß oder Grau und daher entsättigte Farben. Alle anderen Farben sind vorliegenden Verständnis gesättigte Farben gemäß.
-
Indem alle Bildpunkte in dem Bereich auf dieselbe gesättigte Maskierungsfarbe gesetzt werden, ist er für den Klassifizierungsalgorithmus als künstlicher Bereich deutlich erkennbar, und daher kann die Wahrscheinlichkeit für Fehlinterpretationen durch den Klassifizierungsalgorithmus verringert werden. In Anbetracht des vorstehend beschriebenen Beispiels des Verschmutzungsklassifizierungsalgorithmus kann die Wahrscheinlichkeit, dass der Klassifizierungsalgorithmus den, insbesondere homogen, auf die gesättigte Maskierungsfarbe gesetzten Bereich als Verschmutzung identifiziert, signifikant verringert werden. In dieser Weise können falsch positive Verschmutzungsdetektionen vermieden werden.
-
Mit anderen Worten, das computerimplementierte Vorverarbeitungsverfahren gemäß der Erfindung maskiert Bereiche im Eingangsbild, die durch den Klassifizierungsalgorithmus nicht berücksichtigt werden sollen, indem die Bildpunktfarben alle auf dieselbe gesättigte Maskierungsfarbe gesetzt werden.
-
Gemäß mehreren Implementierungen wird das initiale Bild von einer Kamera, insbesondere der Kamera des Kraftfahrzeugs, erhalten, wobei das initiale Bild die Umgebung der Kamera, insbesondere des Kraftfahrzeugs, darstellt. Das Eingangsbild wird basierend auf dem initialen Bild, insbesondere durch die wenigstens eine Recheneinheit, erzeugt.
-
Gemäß mehreren Implementierungen wird das Eingangsbild basierend auf dem initialen Bild durch Normalisieren des initialen Bilds abhängig von vordefinierten intrinsischen Kalibrierungsdaten der Kamera erzeugt.
-
Die intrinsischen Kalibrierungsdaten können beispielsweise der Abbildungsfunktion der Kamera entsprechen oder von dieser abhängen. Insbesondere ist die Kamera eine nicht-geradlinige Kamera, beispielsweise eine Fischaugenkamera, und weist eine nicht-geradlinige Abbildungsfunktion auf. Das Normalisieren des initialen Bilds kann dann als Transformieren des initialen Bilds verstanden werden, so dass Effekte der Nicht-Geradlinigkeit der Abbildungsfunktion verringert oder entfernt werden oder mit anderen Worten das normalisierte initiale Bild erscheint, als ob es durch eine geradlinige Kamera erzeugt worden wäre.
-
Der Bereich des initialen Bilds, der potentiell einen unerwünschten Effekt auf den Klassifizierungsalgorithmus hat, entspricht beispielsweise einem Teil des Eingangsbilds, für den keine Information in dem initialen Bild enthalten ist.
-
Da nicht-geradlinige Kameras, insbesondere Fischaugenkameras, im Vergleich zu geradlinigen Kameras ein besonders großes Blickfeld aufweisen können, kann die Normalisierung des initialen Bilds bestimmte Bereiche, die auch als Bleed-Bereiche bezeichnet werden, in das normalisierte initiale Bild einführen, die aufgrund der rechteckigen Form des Bilds vorhanden sind, die unter der Normalisierung aufrechterhalten wird. Mit anderen Worten, das initiale Bild sowie das normalisierte initiale Bild beziehungsweise das Eingangsbild entsprechen jeweils einer rechteckigen Anordnung von Bildpunkten. Die Normalisierung des initialen Bilds im Fall einer nicht-geradlinigen Abbildungsfunktion bildet jedoch die ursprünglich rechteckige Form auf eine andere geometrische Figur ab, die im Allgemeinen nicht rechteckig ist. Die Bereiche zwischen der Grenze des Rechtecks des Eingangsbilds und der Figur, die durch Normalisieren des initialen Bilds erhalten wird, enthalten jedoch keine Informationen hinsichtlich der Umgebung der Kamera und werden üblicherweise mit Schwarz gefüllt.
-
Gemäß der jeweiligen Implementierung der Erfindung werden jedoch diese Bereiche auf die Maskierungsfarbe gesetzt oder durch die Maskierungsfarbe ersetzt. In dieser Weise können Fehlinterpretationen der Bleed-Bereiche, beispielsweise mit Verschmutzung im Bild, vermieden werden, da nicht erwartet wird, dass eine tatsächliche Verschmutzung eine homogene gesättigte Farbe aufweist, und der Klassifizierungsalgorithmus kann dies unterscheiden oder erkennen.
-
In anderen Implementierungen entspricht der Bereich des Eingangsbilds, der potentiell einen unerwünschten Effekt auf den Klassifizierungsalgorithmus hat, einem Teil des initialen Bilds, der die Komponente des Kraftfahrzeugs darstellt.
-
Die Komponente des Kraftfahrzeugs kann irgendein Teil sein, der zum Fahrzeug gehört, wie zum Beispiel ein Teil einer Motorhaube oder einer Windschutzscheibe des Fahrzeugs. Die Komponente kann beispielsweise in Bezug auf das Blickfeld der Kamera statisch sein.
-
Solche Bereiche enthalten auch keine relevanten Informationen für den Klassifizierungsalgorithmus, da sie in jedem Kamerabild gleich sind. Daher können sie einen unerwünschten Effekt auf den Klassifizierungsalgorithmus durch Steigern der Laufzeit des Klassifizierungsalgorithmus oder der Speicheranforderungen oder durch Verursachen von Fehlinterpretationen mit anderen tatsächlichen Objekten in der Umgebung des Kraftfahrzeugs haben. Indem die entsprechenden Bereiche auf die gesättigte Maskierungsfarbe gesetzt werden, können auch solche unerwünschten Effekte vermieden werden.
-
Auch in solchen Implementierungen kann das Eingangsbild auch direkt durch das initiale Bild gegeben sein oder kann basierend auf dem initialen Bild beispielsweise durch Normalisieren des initialen Bilds erzeugt werden, wie vorstehend beschrieben.
-
Gemäß mehreren Implementierungen ist die Maskierungsfarbe in einem RGB-Farbkodierungsmodell durch ein Tripel [R, G, B] gegeben, wobei R einen Beitrag eines roten Farbkanals zur Maskierungsfarbe bezeichnet, G einen Beitrag eines grünen Farbkanals zur Maskierungsfarbe bezeichnet und B einen Beitrag eines blauen Farbkanals zur Maskierungsfarbe bezeichnet. Dabei unterscheidet sich B von G und/oder R unterscheidet sich von B und/oder G unterscheidet sich von B.
-
Mit anderen Worten, R, G und B sind nicht alle gleich oder, mit noch anderen Worten, die Maskierungsfarbe ist nicht Grau, nicht Weiß und nicht Schwarz.
-
Die Maskierungsfarbe kann in irgendeinem beliebigen Farbraum gegeben oder beschrieben sein und transformiert sich entsprechend in jedes andere Farbkodierungsmodell. Hier wird RGB nur zum Zwecke der Definition verwendet, da eine entsättigte und gesättigte Farbe im Verständnis der vorliegenden Offenbarung in der Weise, wie erläutert, definiert sein kann. Die Werte für R, G und B oder andere Farbkanalwerte gemäß einem anderen Farbkodierungsmodell können im Bereich von null bis zu einem entsprechenden Maximalwert abhängig von der tatsächlichen Wahl des Farbkodierungsmodells liegen. In Anbetracht eines RGB888-Modells können die Werte beispielsweise im Bereich von null bis 255 liegen.
-
Gemäß mehreren Implementierungen sind R und B gleich null und G ist größer als null. Mit anderen Worten, die Maskierungsfarbe kann eine grüne Farbe sein. Vorzugsweise ist G größer als 0,5*Gmax, wobei Gmax einen Maximalwert für den grünen Farbkanal bezeichnet.
-
Wieder in Anbetracht des RGB888-Farbraums wäre beispielsweise Gmax 255 und G wäre vorzugsweise größer als 127,5.
-
Eine homogene gesättigte grüne Farbe weist eine sehr geringe Wahrscheinlichkeit auf, dass sie in einer natürlichen Umgebung eines Kraftfahrzeugs vorkommt, und ist daher für die Maskierungsfarbe besonders geeignet. Je größer der Wert für G ist, desto weniger wahrscheinlich ist ein Auftreten einer solchen homogenen Farbe in der Umgebung. Es wurde festgestellt, dass 0,5*Gmax einen geeigneten Schwellenwert für die Wahl der Maskierungsfarbe darstellt.
-
Gemäß mehreren Implementierungen sind R und G gleich null und B ist größer als null. Mit anderen Worten, die Maskierungsfarbe kann eine blaue Farbe sein. Vorzugsweise ist B größer als 0,5*Bmax, wobei Bmax einen Maximalwert für den blauen Farbkanal bezeichnet.
-
Gemäß mehreren Implementierungen sind G und B gleich null und R ist größer als null. Mit anderen Worten, die Maskierungsfarbe kann eine rote Farbe sein. Vorzugsweise ist R größer als 0,5*Rmax, wobei Rmax einen Maximalwert für den roten Farbkanal bezeichnet.
-
Falls der Klassifizierungsalgorithmus ein maschinell trainierbarer Klassifizierungsalgorithmus ist, der beispielsweise ein CNN beinhaltet, kann das computerimplementierte Vorverarbeitungsverfahren in der Trainingsphase des Klassifizierungsalgorithmus sowie während der Einsatz- oder Online-Phase des Klassifizierungsalgorithmus, nachdem sein Training vollendet ist, verwendet werden. Wenn er während des Trainings verwendet wird, können die Trainingsbilder dementsprechend mit der gesättigten Maskierungsfarbe maskiert werden, um zu veranlassen, dass der Klassifizierungsalgorithmus oder das CNN den Unterschied zwischen dem künstlich maskierten Bereich und dem tatsächlichen Inhalt des Bilds, beispielsweise einer Verschmutzung, lernt.
-
Gemäß einem weiteren Aspekt der Erfindung wird ein computerimplementiertes Trainingsverfahren zum Trainieren eines maschinell trainierbaren Klassifizierungsalgorithmus mit einem faltenden neuronalen Netzwerk bereitgestellt. Dabei wird eine Vielzahl von Trainingsbildern, insbesondere annotierten Trainingsbildern, bereitgestellt und das CNN wird basierend auf der Vielzahl von Trainingsbildern trainiert. Für jedes Trainingsbild der Vielzahl von Trainingsbildern wird dabei ein computerimplementiertes Verfahren für die Vorverarbeitung gemäß der Erfindung ausgeführt, wobei zum Ausführen des computerimplementierten Vorverarbeitungsverfahrens das Eingangsbild dem jeweiligen Trainingsbild entspricht. Das Training des Klassifizierungsalgorithmus beinhaltet das Anwenden des CNN auf jedes der vorverarbeiteten Trainingsbilder.
-
Insbesondere besteht das Training des Klassifizierungsalgorithmus aus Trainieren des CNN oder beinhaltet das Trainieren des CNN. Dazu können herkömmliche Methoden verwendet werden, die auf überwachtem Training des CNN basierend auf den annotierten Trainingsbildern basieren können. Insbesondere beinhaltet das Training des Klassifizierungsalgorithmus das Berechnen einer Verlustfunktion abhängig von einer Ausgabe des Anwendens des CNN auf das vorverarbeitete Trainingsbild und abhängig von der Annotation des Trainingsbilds oder mit anderen Worten der Ground Truth, und das Minimieren der Verlustfunktion. In dieser Weise lernt das CNN, den Bereich, der auf die gesättigte Maskierungsfarbe gesetzt wird, von relevantem Inhalt des Bilds zu unterscheiden.
-
Gemäß einem weiteren Aspekt der Erfindung wird ein Verfahren zur Klassifizierung eines Eingangsbilds bereitgestellt. Dabei wird ein initiales Bild durch eine Kamera, insbesondere eine Kamera eines Kraftfahrzeugs, erzeugt, wobei das initiale Bild eine Umgebung der Kamera, insbesondere des Kraftfahrzeugs, darstellt. Das zu klassifizierende Eingangsbild entspricht dem initialen Bild oder das Eingangsbild wird basierend auf dem initialen Bild, insbesondere mittels wenigstens einer Recheneinheit, erzeugt. Ein computerimplementiertes Vorverarbeitungsverfahren gemäß der Erfindung wird ausgeführt und ein CNN des Klassifizierungsalgorithmus wird auf das vorverarbeitete Eingangsbild angewendet. Dabei kann eine Ausgabe oder ein Ergebnis des Anwendens des CNN auf das vorverarbeitete Eingangsbild als Ergebnis des Verfahrens zur Klassifizierung des Eingangsbilds betrachtet werden.
-
Insbesondere kann der Klassifizierungsalgorithmus als Verschmutzungsklassifizierungsalgorithmus, als Objektdetektionsalgorithmus, als Bildklassifizierungsalgorithmus oder als Algorithmus zur semantischen Segmentierung ausgestaltet sein, wie vorstehend weitergehend beschrieben.
-
Insbesondere werden oder wurden der Klassifizierungsalgorithmus beziehungsweise das CNN mittels eines computerimplementierten Trainingsverfahrens gemäß der Erfindung trainiert, wenn ein Verfahren zur Klassifizierung eines Eingangsbilds gemäß der Erfindung ausgeführt wird.
-
Gemäß einem weiteren Aspekt der Erfindung wird ein Verfahren zum wenigstens teilweise automatischen Führen eines Kraftfahrzeugs bereitgestellt. Dabei wird ein Verfahren zur Klassifizierung eines Eingangsbilds gemäß der Erfindung, insbesondere mittels wenigstens einer Recheneinheit und einer Kamera des Kraftfahrzeug, ausgeführt, wobei die Kamera am Kraftfahrzeug montiert ist und das initiale Bild eine Umgebung des Kraftfahrzeug darstellt. Wenigstens ein Steuersignal zum wenigstens teilweise automatischen Führen des Kraftfahrzeugs wird durch die wenigstens eine Recheneinheit abhängig von einem Ergebnis des Anwendens des CNN auf das vorverarbeitete Eingangsbild erzeugt.
-
Das wenigstens eine Steuersignal kann beispielsweise einem oder mehreren Aktuatoren des Kraftfahrzeugs zum Implementieren der wenigstens teilweise automatischen Führung des Kraftfahrzeugs, beispielsweise zum Ausführen oder Unterstützen einer Längs- und/oder seitlichen Steuerung des Kraftfahrzeugs, bereitgestellt werden.
-
Gemäß einem weiteren Aspekt der Erfindung wird ein elektronisches Fahrzeugführungssystem für ein Kraftfahrzeug bereitgestellt. Das elektronische Fahrzeugführungssystem beinhaltet eine Kamera für das Kraftfahrzeug, insbesondere zum Montieren an dem Kraftfahrzeug, wobei die Kamera dazu eingerichtet ist, ein initiales Bild abhängig von einer Umgebung der Kamera, insbesondere des Kraftfahrzeugs, zu erzeugen. Das elektronische Fahrzeugführungssystem beinhaltet wenigstens eine Recheneinheit für das Kraftfahrzeug, wobei die wenigstens eine Recheneinheit dazu eingerichtet ist, ein Eingangsbild basierend auf dem initialen Bild zu erzeugen oder das initiale Bild von der Kamera als Eingangsbild zu erhalten. Die wenigstens eine Recheneinheit ist dazu eingerichtet, ein computerimplementiertes Vorverarbeitungsverfahren gemäß der Erfindung auszuführen und ein CNN des Klassifizierungsalgorithmus auf das vorverarbeitete Eingangsbild anzuwenden. Die wenigstens eine Recheneinheit ist ferner dazu eingerichtet, wenigstens ein Steuersignal zum wenigstens teilweise automatischen Führen des Kraftfahrzeugs abhängig von einem Ergebnis des Anwendens des CNN auf das vorverarbeitete Eingangsbild zu erzeugen.
-
Gemäß einem weiteren Aspekt der Erfindung wird ein erstes Computerprogramm bereitgestellt. Das erste Computerprogramm beinhaltet erste Befehle, die, wenn sie durch ein Computersystem ausgeführt werden, bewirken, dass das Computersystem ein computerimplementiertes Vorverarbeitungsverfahren gemäß der Erfindung oder ein computerimplementiertes Trainingsverfahren gemäß der Erfindung durchführt. Das Computersystem kann als Universalcomputersystem betrachtet werden.
-
Gemäß einem weiteren Aspekt der Erfindung wird ein zweites Computerprogramm mit zweiten Befehlen bereitgestellt. Wenn die zweiten Befehle durch ein elektronisches Fahrzeugführungssystem gemäß der Erfindung ausgeführt werden, bewirken die zweiten Befehle, dass das elektronische Fahrzeugführungssystem ein Verfahren zum wenigstens teilweise automatischen Führen eines Kraftfahrzeugs gemäß der Erfindung durchführt.
-
Gemäß einem weiteren Aspekt der Erfindung wird ein computerlesbares Speichermedium, das ein erstes und/oder ein zweites Computerprogramm gemäß der Erfindung speichert, bereitgestellt.
-
Algorithmen zum computerbasierten Sehen, die auch als Algorithmen zum maschinellen Sehen oder Algorithmen für die automatische visuelle Wahrnehmung bezeichnet werden können, können als Computeralgorithmen zum automatischen Durchführen einer visuellen Wahrnehmungsaufgabe betrachtet werden. Eine visuelle Wahrnehmungsaufgabe, die auch als Aufgabe zum computerbasierten Sehen bezeichnet wird, kann beispielsweise als Aufgabe zum Extrahieren visueller Informationen aus Bilddaten verstanden werden. Insbesondere kann die visuelle Wahrnehmungsaufgabe im Prinzip durch einen Menschen durchgeführt werden, der ein Bild, das den Bilddaten entspricht, visuell wahrnehmen kann. Im vorliegenden Zusammenhang werden jedoch visuelle Wahrnehmungsaufgaben automatisch ohne Erfordernis der Unterstützung eines Menschen durchgeführt.
-
Ein Algorithmus zum computerbasierten Sehen kann beispielsweise als Bildverarbeitungsalgorithmus oder Algorithmus für die Bildanalyse verstanden werden, der unter Verwendung von Maschinenlernen trainiert ist und beispielsweise auf einem künstlichen neuronalen Netzwerk, insbesondere einem CNN, basieren kann.
-
Die Ausgabe eines Wahrnehmungsalgorithmus hängt von der speziellen zugrundeliegenden Wahrnehmungsaufgabe ab. Eine Ausgabe eines Objektdetektionsalgorithmus kann beispielsweise einen oder mehrere Begrenzungsboxen beinhalten, die einen räumlichen Ort und wahlweise die Orientierung von einem oder mehreren jeweiligen Objekten in der Umgebung und/oder entsprechende Objektklassen für das eine oder die mehreren Objekte definieren. Ein Algorithmus zur semantischen Segmentierung, der auf ein Kamerabild angewendet wird, kann eine Bildpunktniveauklasse für jeden Bildpunkt des Kamerabilds beinhalten. Analog kann ein Algorithmus zur semantischen Segmentierung, der auf eine Punktwolke angewendet wird, eine entsprechende Punktniveauklasse für jeden der Punkte beinhalten. Die Bildpunktniveauklassen oder Punktniveauklassen können beispielsweise einen Typ von Objekt, zu dem der jeweilige Bildpunkt oder Punkt gehört, definieren.
-
Eine nicht-gnomonische oder nicht-geradlinige Kamera kann als Kamera mit einer nichtgnomonischen oder nicht-geradlinigen Objektiveinheit verstanden werden. Eine nicht-gnomonische oder nicht-geradlinige Objektiveinheit kann als Objektiveinheit, also eine oder mehre Linsen, verstanden werden, die eine nicht-gnomonische, das heißt nicht-geradlinige, Abbildungsfunktion haben, die auch als kurvilineare Abbildungsfunktion bezeichnet wird. Insbesondere stellen Fischaugenkameras nicht-gnomonische oder nicht-geradlinige Kameras dar.
-
Die Abbildungsfunktion der Objektiveinheit kann als Funktion r(θ) verstanden werden, die einen Winkel θ von der Mittelachse einer radialen Verzerrung der Objektiveinheit auf eine radiale Verschiebung r aus dem Bildzentrum abbildet. Die Funktion hängt parametrisch von der Brennweite f der Objektiveinheit ab.
-
Eine gnomonische oder geradlinige Objektiveinheit weist beispielsweise eine gnomonische Abbildungsfunktion, insbesondere r(θ) = ftan(θ), auf. Mit anderen Worten, eine geradlinige Objektiveinheit bildet gerade Linien in der realen Welt auf gerade Linien im Bild, wenigstens bis auf Linsenfehler, ab.
-
Eine nicht-geradlinige oder gekrümmte Objektiveinheit bildet gerade Linien im Allgemeinen nicht auf gerade Linien im Bild ab. Insbesondere kann die Abbildungsfunktion einer nicht-geradlinigen Kamera stereographisch, abstandsgleich, raumwinkelgleich oder orthographisch sein. Abbildungsfunktionen von nicht-geradlinigen Objektiveinheiten können auch wenigstens ungefähr durch Polynomfunktionen gegeben sein.
-
Eine Recheneinheit kann insbesondere als Datenverarbeitungsvorrichtung verstanden werden. Die Recheneinheit kann daher insbesondere Daten verarbeiten, um Rechenoperationen durchzuführen. Dies kann auch Operationen beinhalten, um indizierte Zugriffe auf eine Datenstruktur, beispielsweise eine Nachschlagetabelle, LUT, durchzuführen.
-
Insbesondere kann die Recheneinheit einen oder mehrere Computer, einen oder mehrere Mikrocontroller und/oder einen oder mehrere integrierte Schaltkreise, beispielsweise einen oder mehrere anwendungsspezifische integrierte Schaltkreise, ASIC, ein oder mehrere feldprogrammierbare Gate-Arrays, FPGA, und/oder ein oder mehrere Einchipsysteme, SoC, beinhalten. Die Recheneinheit kann auch einen oder mehrere Prozessoren, beispielsweise einen oder mehrere Mikroprozessoren, eine oder mehrere zentrale Prozessoreinheiten, CPU, eine oder mehrere Graphikprozessoreinheiten, GPU, und/oder einen oder mehrere Signalprozessoren, insbesondere einen oder mehrere Digitalsignalprozessoren, DSP, beinhalten. Die Recheneinheit kann auch einen physikalischen oder einen virtuellen Cluster von Computern oder anderen der Einheiten beinhalten.
-
In verschiedenen Ausführungsformen beinhaltet die Recheneinheit eine oder mehrere Hardware- und/oder Software-Schnittstellen und/oder eine oder mehrere Speichereinheiten.
-
Eine Speichereinheit kann als flüchtiger Datenspeicher, beispielsweise dynamischer Direktzugriffsspeicher, DRAM, oder statischer Direktzugriffsspeicher, SRAM, oder als nichtflüchtiger Datenspeicher, beispielsweise Festwertspeicher, ROM, programmierbarer Festwertspeicher, PROM, löschbarer Festwertspeicher, EPROM, elektrisch löschbarer Festwertspeicher, EEPROM, Flash-Speicher oder Flash-EEPROM, ferroelektrischer Direktzugriffsspeicher, FRAM, magnetoresistiver Direktzugriffsspeicher, MRAM, oder Phasenänderungsdirektzugriffsspeicher, PCRAM, implementiert sein.
-
Wenn im Zusammenhang mit der vorliegenden Offenbarung erwähnt ist, dass die wenigstens eine Recheneinheit dazu ausgelegt, dazu eingerichtet oder dazu gestaltet und so weiter ist, eine bestimmte Funktion durchzuführen oder zu realisieren, einen bestimmten Effekt zu erreichen oder einem bestimmten Zweck zu dienen, kann dies derart verstanden werden, dass die Komponente darüber hinaus, dass sie für diese Funktion, diesen Effekt oder diesen Zweck im Prinzip oder theoretisch verwendbar oder geeignet ist, durch eine entsprechende Anpassung, Programmierung, physikalische Gestaltung und so weiter konkret und tatsächlich in der Lage ist, die Funktion auszuführen oder zu realisieren, den Effekt zu erreichen oder dem Zweck zu dienen.
-
Ein elektronisches Fahrzeugführungssystem kann als elektronisches System verstanden werden, das dazu eingerichtet ist, ein Fahrzeug in einer vollständig automatisierten oder einer vollständig autonomen Weise zu führen, und insbesondere ohne dass ein manueller Eingriff oder eine manuelle Steuerung durch einen Fahrer oder Benutzer des Fahrzeugs erforderlich ist. Das Fahrzeug führt alle erforderlichen Funktionen wie zum Beispiel Lenkmanöver, Verzögerungsmanöver und/oder Beschleunigungsmanöver sowie Überwachung und Aufzeichnung des Straßenverkehrs und entsprechende Reaktionen automatisch aus. Insbesondere kann das elektronische Fahrzeugführungssystem einen vollständig automatischen oder vollständig autonomen Fahrmodus gemäß der Ebene 5 der Klassifikation SAE J3016 implementieren. Ein elektronisches Fahrzeugführungssystem kann auch als fortschrittliches Fahrerassistenzsystem, ADAS, implementiert sein, das einen Fahrer zum teilweise automatischen oder teilweise autonomen Fahren unterstützt. Insbesondere kann das elektronische Fahrzeugführungssystem einen teilweise automatischen oder teilweise autonomen Fahrmodus gemäß den Ebenen 1 bis 4 der Klassifikation SAE J3016 implementieren. Hier und im Folgenden bezieht sich SAE J3016 auf den jeweiligen Standard mit Datum vom Juni 2018.
-
Das wenigstens teilweise automatische Führen des Fahrzeugs kann daher das Führen des Fahrzeugs gemäß einem vollständig automatischen oder vollständig autonomen Fahrmodus gemäß der Ebene 5 der Klassifikation SAE J3016 beinhalten. Das wenigstens teilweise automatische Führen des Fahrzeugs kann auch das Führen des Fahrzeugs gemäß einem teilweise automatischen oder teilweise autonomen Fahrmodus gemäß den Ebenen 1 bis 4 der Klassifikation SAE J3016 beinhalten.
-
Weitere Merkmale der Erfindung sind aus den Ansprüchen, den Figuren und der Figurenbeschreibung ersichtlich. Die vorstehend in der Beschreibung erwähnten Merkmale und Merkmalskombinationen sowie die nachstehend in der Figurenbeschreibung erwähnten und/oder in den Figuren gezeigten Merkmale und Merkmalskombinationen können von der Erfindung nicht nur in der jeweiligen angegebenen Kombination, sondern auch in anderen Kombinationen enthalten sein. Insbesondere sind Ausführungsformen und Merkmalskombinationen, die nicht alle Merkmale eines ursprünglich formulierten Anspruchs aufweisen, auch von der Erfindung enthalten. Überdies sind Ausführungsformen und Merkmalskombinationen, die über die in den Rezitationen der Ansprüche dargelegten Merkmalskombinationen hinausgehen oder von diesen abweichen, von der Erfindung enthalten.
-
In den Figuren zeigen:
- 1 schematisch ein Kraftfahrzeug mit einer beispielhaften Implementierung eines elektronischen Fahrzeugführungssystem gemäß der Erfindung;
- 2 schematisch ein Eingangsbild; und
- 3 ein vorverarbeitetes Eingangsbild gemäß einer beispielhaften Implementierung eines computerimplementierten Vorverarbeitungsverfahrens gemäß der Erfindung.
-
1 zeigt ein Kraftfahrzeug 1 mit einem elektronischen Fahrzeugführungssystem 8 gemäß der Erfindung. Das elektronische Fahrzeugführungssystem 8 beinhaltet eine Kamera 2, insbesondere eine Außenkamera, für das Kraftfahrzeug 1 sowie eine Recheneinheit 3, die beispielsweise ein elektronisches Steuergerät, ECU, des Kraftfahrzeugs 1 sein kann oder von einem ECU enthalten sein kann.
-
Das elektronische Fahrzeugführungssystem 8 ist dazu eingerichtet, ein Verfahren zum wenigstens teilweise automatischen Führen des Kraftfahrzeugs 1 gemäß der Erfindung auszuführen. Dazu speichert die Recheneinheit 3 einen Klassifizierungsalgorithmus, der ein faltendes neuronales Netzwerk, CNN, beinhaltet, sowie einen Vorverarbeitungsalgorithmus, um ein computerimplementiertes Vorverarbeitungsverfahren gemäß der Erfindung auszuführen.
-
Die Kamera 2, die beispielsweise eine Fischaugenkamera ist, kann ein initiales Bild erzeugen, das eine Umgebung der Kamera 2 beziehungsweise des Kraftfahrzeugs 1 darstellt. Die Recheneinheit 3 kann das initiale Bild normalisieren, um Verzerrungen im initialen Bild, die durch die nicht-geradlinige Abbildungsfunktion der Kamera 2 verursacht werden, zu verringern oder zu entfernen. Dies hat insbesondere den Vorteil, dass das normalisierte Bild universell für verschiedene Zwecke, beispielsweise für verschiedene Typen von Klassifizierungsalgorithmen, und/oder damit es für einen Benutzer des Kraftfahrzeugs 1 angezeigt wird, verwendet werden kann.
-
Das normalisierte initiale Bild stellt ein Eingangsbild 4 dar, wie schematisch in 2 gezeigt. Aufgrund der Normalisierung enthalten bestimmte Bereiche 6 im Eingangsbild 4 keine Informationen hinsichtlich der Umgebung der Kamera 2, da sie sich aus der geometrischem Modifikation des Blickfeldes mittels der Normalisierung ergeben. Ferner kann das Eingangsbild 4 Bereiche 7 enthalten, in denen sich eine Verschmutzung auf der Kamera 2, insbesondere einer Linse der Kamera 2, auf das Eingangsbild 4 auswirkt. Der Klassifizierungsalgorithmus kann beispielsweise dazu gestaltet sein, die Verschmutzung im Eingangsbild 4 zu detektieren und/oder zu klassifizieren.
-
Das computerimplementierte Vorverarbeitungsverfahren gemäß der Erfindung kann erreichen, dass der Klassifizierungsalgorithmus die Bereiche 6 nicht als Verschmutzung betrachtet. Dazu kann die Recheneinheit 3 die Bereiche 6 homogen durch eine einzelne Maskierungsfarbe ersetzen, die eine gesättigte Farbe ist. Das vorverarbeitete Eingangsbild 5 ist in 3 schematisch gezeigt, wobei die Bereiche 6 auf die Maskierungsfarbe gesetzt wurden. Vorzugsweise kann eine gesättigte grüne Farbe, wie zum Beispiel [0, 135, 0] in einem RGB-Farbmodell, als Maskierungsfarbe verwendet werden. Eine solche Farbe weist ein Aussehen auf, das von einer Verschmutzung signifikant verschieden ist und auch von dem anderen Inhalt oder Objekten, die in einer natürlichen Umgebung erwartet werden, signifikant verschieden ist. Daher kann der Klassifizierungsalgorithmus diese Bereiche 6 von einer realen Verschmutzung und den entsprechenden Bereichen 7 unterscheiden.
-
Der Klassifizierungsalgorithmus kann dann auf das vorverarbeitete Eingangsbild 5 angewendet werden. Der Klassifizierungsalgorithmus kann das vorverarbeitete Eingangsbild 5 in eine Vielzahl von rechteckigen Zellen unterteilen, die durch eine Anzahl von Spalten und eine Anzahl von Reihen gegeben sind, wie durch gestrichelte horizontale und vertikale Linien in 2 beziehungsweise 3 angegeben. Das CNN des Klassifizierungsalgorithmus kann dann auf jede der Zellen individuell angewendet werden, um die Zelle beispielsweise als nicht verschmutzt, durch eine transparente Verschmutzung verschmutzt oder durch eine opake Verschmutzung verschmutzt zu klassifizieren.
-
Das initiale Bild und das Eingangsbild 4 sowie das vorverarbeitete Eingangsbild 5 sind nicht notwendigerweise in einem RGB-Farbmodell gegeben, sondern können auch in irgendeinem anderen Farbkodierungsmodell, wie zum Beispiel einem YUV420-Farbmodell, gegeben sein. Bei YUV420 entspricht das vorstehend erwähnte gesättigte Grün [0, 135, 0] im RGB-Modell Y = U = V = 0. Mit anderen Worten, die Bereiche 6 weisen keine Energie auf, wenn das vorverarbeitete Eingangsbild 5 in das CNN eingespeist wird. Das CNN wird in diesen Bereichen 6 nicht aktiviert.
