-
Die vorliegende Erfindung ist auf ein Verfahren zum Erzeugen eines Eingangsbilds für einen Algorithmus zur Computer-Vision gerichtet, wobei ein initiales Bild, das eine Umgebung eines Fahrzeugs abbildet, von einem Kamerasystem des Fahrzeugs erzeugt wird. Die Erfindung ist des Weiteren auf ein Verfahren zur automatischen visuellen Wahrnehmung gerichtet, wobei ein Algorithmus zur Computer-Vision von einer Recheneinheit eines Fahrzeugs auf ein Eingangsbild angewendet wird, sowie auf ein Verfahren zum zumindest teilweise automatischen Führen eines Fahrzeugs. Die Erfindung ist des Weiteren auf ein elektronisches Fahrzeugführungssystem, auf ein Computerprogramm und auf ein computerlesbares Speichermedium gerichtet.
-
Algorithmen zur Computer-Vision, wie zum Beispiel Objektdetektionsalgorithmen, Objektverfolgungsalgorithmen oder Algorithmen zur semantischen Segmentierung, können im Kontext automatischer oder teilautomatischer Fahrfunktionen, insbesondere beim autonomen Fahren und bei Fahrerassistenzsystemen, ADAS (englisch: „Advanced Driver Assistance Systems“), verwendet werden. Zu diesem Zweck werden Sensorausgaben der Fahrzeugsensoren, wie Kameras oder Lidar-Systeme, online während des Normalbetriebs des Fahrzeugs von einer oder mehr Recheneinheiten des Fahrzeugs analysiert.
-
Algorithmen zur Computer-Vision basieren häufig auf maschinentrainierbaren Modellen, wie künstlichen neuronalen Netzwerken, insbesondere faltenden neuronalen Netzwerken, CNN (englisch: „Convolutional Neural Networks“). Bei einer herkömmlichen Herangehensweise zum Trainieren derartiger Modelle wird ein großer Satz von Trainingsdaten, insbesondere Trainingsbilder, die eine Umgebung des Fahrzeugs darstellen, bereitgestellt und zum Beispiel derart annotiert, dass sie als Referenz oder Ground Truth zum Trainieren des Modells dienen. Folglich kann die Vielfalt der Merkmale oder die Verteilung der Trainingsdaten einen bedeutenden Einfluss auf die Einzelheiten des trainierten Models und die anschließende Leistung des Modells nach dem Training haben.
-
Ein Problem, das sich in diesem Zusammenhang ergeben kann, ist, dass die Umgebungsbedingungen, wie etwa Wetterverhältnisse, in dem Trainingsdatensatz nicht notwendigerweise die gleichen sind wie während des Prototypentests oder während des Einsatzes der Modelle online im Fahrzeug. Im Kontext automatischen oder teilautomatischen Fahrens kann insbesondere die Erscheinung des Himmels in der Umgebung des Fahrzeugs die Leistungsfähigkeit des Modells beeinflussen, obwohl der Algorithmus zur visuellen Wahrnehmung im Allgemeinen keine detaillierte Klassifizierung des Himmels anstrebt. Eine einfache Herangehensweise zur Bewältigung dieses Problems besteht darin, die Menge an Trainingsdatensätzen enorm zu vergrößern, um so viele Wetterverhältnisse oder Umweltbedingungen wie möglich während der Trainingsphase einzuschließen. Dies bringt jedoch aufgrund des erhöhten Aufwands zum Trainieren und Annotieren der Trainingsdaten auch wesentliche Nachteile mit sich.
-
Die
US2016/0328613A1 verfolgt eine Herangehensweise, bei der das Modell anhand einer Multi-Task-Formulierung des Problems angepasst wird.
-
Eine Aufgabe der vorliegenden Erfindung ist es, ein Eingangsbild für einen Algorithmus zur Computer-Vision bereitzustellen, so dass eine größere Vielfalt an Umwelteinflüssen gehandhabt werden kann, ohne den Algorithmus zur Computer-Vision selbst zu modifizieren.
-
Diese Aufgabe wird durch den jeweiligen Gegenstand der unabhängigen Ansprüche gelöst. Weitere Ausführungen und bevorzugte Ausführungsbeispiele sind Gegenstand der abhängigen Ansprüche.
-
Die Erfindung beruht auf dem Gedanken, einen Himmel darstellenden Bereich in einem initialen Bild, das von einem Kamerasystem des Fahrzeugs erzeugt wird, durch einen entsprechenden Teil eines vorgegebenen Standard-Himmel-Bilds zu ersetzen.
-
Gemäß einem Aspekt der Erfindung wird ein Verfahren zum Erzeugen eines Eingangsbilds für einen Algorithmus zur Computer-Vision bereitgestellt. Ein initiales Bild, welches eine Umgebung eines Fahrzeugs darstellt, wird von einem Kamerasystem des Fahrzeugs erzeugt. Das Eingangsbild wird erzeugt, indem ein Himmel darstellender Bereich in dem initialen Bild oder mit anderen Worten ein Himmel darstellender Bildbereich in dem initialen Bild, von einer Recheneinheit des Fahrzeugs durch einen entsprechenden Teil eines vorgegebenen Standard-Himmel-Bilds ersetzt wird.
-
Ein Algorithmus zur Computer-Vision, der auch als Algorithmus zum maschinellen Sehen oder Algorithmus zur automatischen visuellen Wahrnehmung bezeichnet werden kann, kann als ein Computer-Algorithmus zur automatischen Ausführung einer visuellen Wahrnehmungsaufgabe betrachtet werden. Unter einer visuellen Wahrnehmungsaufgabe kann zum Beispiel eine Aufgabe zur Extraktion von Informationen aus Bilddaten verstanden werden. Insbesondere kann die visuelle Wahrnehmungsaufgabe prinzipiell von einem Menschen ausgeführt werden, der dazu in der Lage ist, ein den Bilddaten entsprechendes Bild visuell wahrzunehmen. Im Zusammenhang der Erfindung werden visuelle Wahrnehmungsaufgaben jedoch automatisch, insbesondere durch die Recheneinheit ausgeführt, ohne dass die Unterstützung eines Menschen erforderlich ist.
-
Zum Beispiel kann der Algorithmus zur Computer-Vision als ein Algorithmus zur Bildbearbeitung oder ein Algorithmus zur Bildanalyse verstanden werden, der durch maschinelles Lernen trainiert wurde und zum Beispiel auf einem künstlichen neuronalen Netzwerk, insbesondere einem faltenden neuronalen Netzwerk, CNN, basieren kann. Zum Beispiel kann der Algorithmus zur Computer-Vision einen Objektdetektionsalgorithmus, einen Objektverfolgungsalgorithmus, einen Klassifizierungsalgorithmus und/oder einen Segmentierungsalgorithmus, zum Beispiel einen Algorithmus zur semantischen Segmentierung, umfassen.
-
Der Algorithmus zur Computer-Vision kann insbesondere ein bekannter Algorithmus zur visuellen Wahrnehmung sein, der ein Kamerabild als Eingabe handhaben kann. Erfindungsgemäß wird das initiale Bild des Kamerasystems wie beschrieben modifiziert, um das Eingangsbild zu erzeugen und der Algorithmus zur Computer-Vision kann dann auf das Eingangsbild angewendet werden anstatt auf das initiale Bild angewendet zu werden, zum Beispiel zum Testen, Validieren oder während des Einsatzes des Algorithmus zur Computer-Vision.
-
Der Himmel darstellende Bereich in dem initialen Bild kann als einer oder mehrere Teilbereiche von Bildpixeln in dem initialen Bild verstanden werden, die den Himmel in der Umgebung des Fahrzeugs zumindest mit einer gewissen Mindestwahrscheinlichkeit darstellen. Mit anderen Worten, falls das initiale Bild den Himmel darstellt, so beinhaltet der Himmel darstellende Bereich die entsprechenden Pixel.
-
Der Himmel darstellende Bereich kann zum Beispiel von der Recheneinheit identifiziert werden, indem ein Satz von vordefinierten Regeln oder Filtern, zum Beispiel betreffend eine Farbe, Kanten, Formen oder Grenzen, auf die Pixel des initialen Bilds angewendet werden. Alternativ oder zusätzlich, kann auch ein weiterer Algorithmus zur Computer-Vision angewendet werden, um den Himmel darstellenden Bereich zu identifizieren oder ihn entsprechend zu ersetzen. Das Identifizieren des Himmel darstellenden Bereichs und das Ersetzen des Himmel darstellenden Bereichs durch den entsprechenden Teil des Standard-Himmel-Bilds kann als eine Vorbearbeitung für den Algorithmus zur Computer-Vision verstanden werden. Der Teil des vorgegebenen Standard-Himmel-Bilds, der dem Himmel darstellenden Bereich in dem initialen Bild entspricht, beinhaltet die jeweiligen zu ersetzenden Bildpixel.
-
Mittels der Erfindung wird das Eingangsbild für den Algorithmus zur Computer-Vision als eine modifizierte Version des initialen Bilds bereitgestellt, wobei der Himmel darstellende Bereich durch den entsprechenden Teil des Standard-Himmel-Bilds ersetzt worden ist. Folglich muss zum Trainieren des Algorithmus zur Computer-Vision eine reduzierte Vielfalt der Wetter- oder Himmelsverhältnisse in dem Trainingsdatensatz berücksichtigt werden, ohne die Genauigkeit des Algorithmus zur Computer-Vision zu beeinträchtigen und ohne den Algorithmus zur Computer-Vision selbst zu modifizieren. Indem der Himmel darstellende Bereich wie beschrieben ersetzt wird, wird die Vielfalt der Eingangsbilder speziell hinsichtlich des Himmels reduziert, was die Robustheit und die Genauigkeit des Algorithmus zur Computer-Vision im Falle von Situationen steigert, die während des Trainings nicht aufgetreten sind.
-
Den Algorithmus zur Computer-Vision an alle relevanten Situationen der realen Welt, insbesondere hinsichtlich des Himmels anzupassen, ist eine extrem anspruchsvolle Aufgabe und kann sogar unmöglich sein. Die allgemeine Diskrepanz zwischen Situationen, die der Algorithmus zur Computer-Vision handhaben kann oder für die er konzipiert ist und der realen Welt wird mittels der Erfindung wirksam reduziert, insbesondere online während der Fahrt des Fahrzeugs. Eine Veränderung der Wetterverhältnisse, wie etwa ein Übergang von sonnigem Wetter mit blauem Himmel zu bewölktem Wetter, hat daher weniger starke Auswirkungen auf die Genauigkeit des Algorithmus zur Computer-Vision.
-
Insbesondere wird mittels des Verfahrens die Kameraausgabe, oder mit anderen Worten die Eingabe des Algorithmus zur Computer-Vision, auf geeignete Weise transformiert, ohne die Wahrnehmungsinformationen zu beeinträchtigen. Es wird gewissermaßen die Wahrnehmung der realen Welt in Echtzeit modifiziert, ohne die in der Wahrnehmung enthaltenen Informationen wesentlich zu beeinträchtigen. Mit anderen Worten wird die Wahrnehmung der realen Welt an den Algorithmus zur Computer-Vision angepasst, anstatt eine größere Menge Daten der realen Welt zu erfassen. Die interessantesten in der Wahrnehmung enthaltenen Informationen, wie Objekte, Verkehrsteilnehmer, Straßenverläufe et cetera, werden nicht beeinträchtigt und die Genauigkeit der Prädiktion des Algorithmus zur Computer-Vision wird durch Bereitstellen des Eingangsbilds verbessert.
-
Gemäß einigen Ausführungen des erfindungsgemäßen Verfahrens zum Erzeugen eines Eingangsbilds wird für jedes einer Vielzahl von Referenzbildern ein Himmel darstellender Referenzbereich in dem jeweiligen Referenzbild identifiziert und das Standard-Himmel-Bild wird durch Mitteln der Himmel darstellenden Referenzbereiche, insbesondere aller identifizierter Himmel darstellender Bereiche, erzeugt. Das Identifizieren der Himmel darstellenden Bereiche und das Mitteln dieser kann zum Beispiel von einer weiteren Recheneinheit, insbesondere offline, ausgeführt werden, mit anderen Worten von einer weiteren Recheneinheit, die extern zum Fahrzeug ist.
-
Die Referenzbilder können verschiedene Umgebungen des Fahrzeugs beziehungsweise eines oder mehrerer weiterer Fahrzeuge darstellen. Mit anderen Worten stellen die Referenzbilder Umgebungen dar, die im Prinzip mit der Umgebung des Fahrzeugs vergleichbar sind, die von dem initialen Bild dargestellt wird. Insbesondere können die Himmel darstellenden Bereiche in gleicher Weise identifiziert werden wie der Himmel darstellende Bereich in dem Eingangsbild identifiziert wird. Es können jedoch auch andere Herangehensweisen online beziehungsweise offline angewendet werden.
-
Die Vielzahl der Referenzbilder kann zum Beispiel von einem Satz von Trainingsbilder enthalten sein, der dazu verwendet wird, den Algorithmus zur Computer-Vision zu trainieren. Es kann jedoch auch ein anderer Bilddatenbestand als Basis für die Referenzbilder verwendet werden.
-
In alternativen Ausführungen wird das Standard-Himmel-Bild als ein synthetisches Bild erzeugt, das zum Beispiel den Himmel als einen mehr oder weniger monochromen Bereich darstellen kann.
-
Gemäß einigen Ausführungen wird zumindest ein Bildbearbeitungsfilter von der Recheneinheit auf das initiale Bild angewendet, um den Himmel darstellenden Bereich zu identifizieren.
-
Insbesondere wird der Himmel darstellende Bereich zunächst identifiziert und dann wird der identifizierte Himmel darstellende Bereich von der Recheneinheit durch den entsprechenden Teil des Standard-Himmel-Bilds ersetzt.
-
Dabei kann unter dem zumindest einen Bildbearbeitungsfilter ein entsprechender Software-Algorithmus oder Computer-Algorithmus verstanden werden. Somit ist eine besonders effiziente Weise der Bestimmung des Himmel darstellenden Bereichs, ohne wesentliche Rechenleistung zu benötigen, implementiert, was im Kontext eingebetteter Computersysteme, wie sie gewöhnlich in Fahrzeugen verwendet werden, besonders vorteilhaft sein kann.
-
Gemäß einigen Ausführungen weist der zumindest eine Bildbearbeitungsfilter einen Farbfilter und/oder einen Kantendetektionsfilter, auch als Grenzdetektionsfilter bezeichnet, auf.
-
Es hat sich gezeigt, dass diese Filtertypen sich besonders für das zuverlässige und genaue Identifizieren des Himmel darstellenden Bereichs eignen.
-
Gemäß einigen Ausführungen wird ein Generatormodul eines trainierten generativen adversen Netzwerks, GAN (englisch: Generative Adversarial Network) auf das Eingangsbild angewendet, um den Himmel darstellenden Bereich zu identifizieren.
-
Das GAN ist insbesondere vorab trainiert worden, um von dem initialen Bild ein Bild ohne Himmel zu prädizieren. Dabei können bekannte GAN-Architekturen verwendet werden. Es ist jedoch anzumerken, dass das GAN nicht Teil des Algorithmus zur Computer-Vision ist. Unter Verwendung des GAN in beschriebener Weise, kann eine besonders genaue Prädiktion des Himmel darstellenden Bereichs erreicht werden.
-
Gemäß einem weiteren Aspekt der Erfindung wird ein Verfahren zur automatischen visuellen Wahrnehmung bereitgestellt. Dabei wird ein Algorithmus zur Computer-Vision von einer Recheneinheit eines Fahrzeugs auf ein Eingangsbild angewendet, wobei das Eingangsbild unter Verwendung eines erfindungsgemäßen Verfahrens zum Erzeugen eines Eingangsbilds für einen Algorithmus zur Computer-Vision, insbesondere von dem Kamerasystem und der Recheneinheit des Fahrzeugs, erzeugt wird.
-
Insbesondere wird als ein Ergebnis des Algorithmus zur Computer-Vision eine jeweilige Ausgabe erzeugt, die von der tatsächlichen Implementierung des Algorithmus zur Computer-Vision abhängt. Die Ausgabe kann zum Beispiel Begrenzungsboxen für Objekte, Objektklassen, Bildklassen, semantische Segmentierungsklassen auf Pixelebene und so weiter einschließen.
-
Gemäß einem weiteren Aspekt der Erfindung wird ein Verfahren zum zumindest teilweise automatischen Führen eines Fahrzeugs bereitgestellt. Zu diesem Zweck wird ein erfindungsgemäßes Verfahren zur automatischen visuellen Wahrnehmung ausgeführt und werden Steuersignale zum zumindest teilweise automatischen Führen des Fahrzeugs abhängig von einem Ergebnis des Algorithmus zur Computer-Vision beziehungsweise abhängig von der Ausgabe des Algorithmus zur Computer-Vision, insbesondere von einer Steuereinheit des Fahrzeugs oder der Recheneinheit des Fahrzeugs, erzeugt.
-
Die Steuersignale können zum Beispiel an einen oder mehrere jeweilige Aktuatoren des Fahrzeugs zum automatischen oder teilweise automatischen Führen des Fahrzeugs, etwa zur Quersteuerung und/oder Längssteuerung des Fahrzeugs, bereitgestellt werden.
-
Das Verfahren zum zumindest teilweise automatischen Führen des Fahrzeugs kann zum Beispiel von einem elektronischen Fahrzeugführungssystem ausgeführt werden, welches insbesondere die Recheneinheit und das Kamerasystem aufweist.
-
Unter einem elektronischen Fahrzeugführungssystem kann ein elektronisches System verstanden werden, welches dazu eingerichtet ist, ein Fahrzeug vollautomatisch oder vollautonom zu führen und insbesondere ohne die Notwendigkeit manuellen Eingreifens oder Steuerns durch einen Fahrer oder Benutzer des Fahrzeugs. Das Fahrzeug führt alle erforderlichen Funktionen, wie etwa Lenkmanöver, Bremsmanöver und/oder Beschleunigungsmanöver sowie Beobachtung und Erfassung des Straßenverkehrs und entsprechende Reaktionen, automatisch aus. Insbesondere kann das elektronische Fahrzeugführungssystem einen vollautomatischen oder vollautonomen Fahrmodus nach Stufe 5 gemäß der SAE J3016-Klassifizierung implementieren. Ein elektronisches Fahrzeugführungssystem kann auch als ein Fahrerassistenzsystem, ADAS, zur Unterstützung eines Fahrers beim teilautomatischen oder teilautonomen Fahren implementiert sein. Insbesondere kann das elektronische Fahrzeugführungssystem einen teilautomatischen oder teilautonomen Fahrmodus nach den Stufen 1 bis 4 gemäß der SAE J3016-Klassifizierung implementieren. Hier und im Folgenden bezieht sich „SAE J3016“ auf die jeweilige Norm in der Version von Juni 2018.
-
Zumindest teilweise automatisches Führen des Fahrzeugs kann daher Führen des Fahrzeugs gemäß einem vollautomatischen oder vollautonomen Fahrmodus nach Stufe 5 gemäß der SAE J3016 Klassifizierung einschließen. Zumindest teilweise automatisches Führen des Fahrzeugs kann auch Führen des Fahrzeugs gemäß einem teilautomatischen oder teilautonomen Fahrmodus nach den Stufen 1 bis 4 gemäß der SAE J3016 Klassifizierung einschließen.
-
Gemäß einem weiteren Aspekt der Erfindung wird ein elektronisches Fahrzeugführungssystem für ein Fahrzeug bereitgestellt. Das elektronische Fahrzeugführungssystem weist eine Recheneinheit sowie ein Kamerasystem auf, wobei das Kamerasystem insbesondere zur Montage an dem Fahrzeug eingerichtet ist. Das Kamerasystem ist dazu eingerichtet, ein initiales Bild zu erzeugen, das eine Umgebung des Fahrzeugs darstellt, insbesondere wenn es an dem Fahrzeug montiert ist. Die Recheneinheit ist dazu eingerichtet, ein Eingangsbild für einen Algorithmus zur Computer-Vision zu erzeugen, indem ein Himmel darstellender Bereich in dem initialen Bild durch einen entsprechenden Teil eines vorgegebenen Standard-Himmel-Bilds ersetzt wird.
-
Das elektronische Fahrzeugführungssystem, zum Beispiel die Recheneinheit, kann zum Beispiel eine Speichereinheit aufweisen, die das Standard-Himmel-Bild speichert.
-
Gemäß einigen Ausführungen des elektronischen Fahrzeugführungssystems ist die Recheneinheit dazu eingerichtet, den Algorithmus zur Computer-Vision auf das Eingangsbild anzuwenden. Das elektronische Fahrzeugführungssystem, insbesondere die Recheneinheit, weist eine Steuereinheit auf, die dazu eingerichtet ist, Steuersignale zum zumindest teilweise automatischen Führen des Fahrzeugs abhängig von einem Ergebnis oder einer Ausgabe des Algorithmus zur Computer-Vision zu erzeugen.
-
Die Recheneinheit kann eine oder mehrere Rechenuntereinheiten aufweisen, die auch räumlich verteilt sein können. Zum Beispiel können eine oder mehrere elektronische Steuergeräte, ECUs (englisch: Electronic Control Units), des Fahrzeugs die Recheneinheit oder eine oder mehrere Rechenuntereinheiten aufweisen.
-
Weitere Ausführungen des erfindungsgemäßen elektronischen Fahrzeugführungssystems ergeben sich aus den verschiedenen Ausführungen des Verfahrens zum Erzeugen eines Eingangsbilds, des Verfahrens zur automatischen visuellen Wahrnehmung sowie des Verfahrens zum zumindest teilweise automatischen Führen eines Fahrzeugs gemäß der Erfindung sowie jeweils umgekehrt. Insbesondere kann ein erfindungsgemäßes elektronisches Fahrzeugführungssystem dazu eingerichtet sein, ein erfindungsgemäßes Verfahren auszuführen oder führt ein derartiges Verfahren aus.
-
Gemäß einem weiteren Aspekt der Erfindung wird ein Computerprogramm, welches Befehle beinhaltet, bereitgestellt. Wenn das Computerprogramm beziehungsweise die Befehle von einem erfindungsgemäßen elektronischen Fahrzeugführungssystem ausgeführt werden, insbesondere von der Recheneinheit des elektronischen Fahrzeugführungssystems, veranlassen die Befehle das elektronische Fahrzeugführungssystem dazu, ein Verfahren zum Erzeugen einer Eingabe für einen Algorithmus zur Computer-Vision, ein Verfahren zur automatischen visuellen Wahrnehmung oder ein Verfahren zum zumindest teilweise automatischen Führen eines Fahrzeugs gemäß der Erfindung auszuführen.
-
Gemäß einem weiteren Aspekt der Erfindung wird ein computerlesbares Speichermedium, welches ein erfindungsgemäßes Computerprogramm speichert, bereitgestellt.
-
Weitere Merkmale der Erfindung ergeben sich aus den Ansprüchen, den Figuren sowie der Figurenbeschreibung. Die oben in der Beschreibung erwähnten Merkmale und Merkmalskombinationen sowie die unten in der Figurenbeschreibung erwähnten und/oder in den Figuren gezeigten Merkmale und Merkmalskombinationen können von der Erfindung nicht nur in der jeweiligen genannten Kombination umfasst sein, sondern auch in anderen Kombination. Insbesondere sind auch Ausführungsbeispiele und Merkmalskombinationen, die nicht alle Merkmale eines ursprünglich formulierten Anspruchs aufweisen, von der Erfindung umfasst. Des Weiteren sind Ausführungsbeispiele und Merkmalskombinationen von der Erfindung umfasst, die über die in den Rückbezügen der Ansprüche dargelegten Merkmalskombinationen hinausgehen oder von diesen abweichen.
-
Die Figuren zeigen in:
- 1 schematisch ein Fahrzeug mit einer beispielhaften Ausführung eines erfindungsgemäßen elektronischen Fahrzeugführungssystems,
- 2 schematisch ein Flussdiagramm einer beispielhaften Ausführung eines erfindungsgemäßen Verfahrens zum Erzeugen eines Eingangsbilds für einen Algorithmus zur Computer-Vision, und
- 3 schematisch Schritte zum Erzeugen eines Standard-Himmel-Bilds.
-
1 zeigt schematisch ein Kraftfahrzeug 1 mit einer beispielhaften Ausführung eines elektronischen Fahrzeugführungssystems 2 gemäß der Erfindung.
-
Das elektronische Fahrzeugführungssystem 2 weist eine Recheneinheit 3 und ein Kamerasystem 4 auf, das eine oder mehrere Kameras enthalten kann, die an dem Fahrzeug 1 montiert sind. Das Kamerasystem 4 ist dazu eingerichtet, ein initiales Bild 5 (siehe 2) zu erzeugen, welches eine Umgebung des Fahrzeugs 1 darstellt. Die Recheneinheit 3 ist des Weiteren dazu eingerichtet, ein Eingangsbild 7 für einen Algorithmus zur Computer-Vision zu erzeugen, indem ein Himmel darstellender Bereich 8 in dem initialen Bild 5 durch einen entsprechenden Teil 10 eines vorgegebenen Standard-Himmel-Bilds 13 ersetzt wird (siehe 2 und 3).
-
Die Recheneinrichtung 3 kann zum Beispiel eine Steuereinheit (nicht gezeigt) aufweisen, die dazu eingerichtet ist, Steuersignale zu erzeugen, die jeweiligen Aktuatoren (nicht gezeigt) zum zumindest teilweise automatischen Führen oder Lenken oder Steuern des Fahrzeugs 1 abhängig von dem Ergebnis des Algorithmus zur Computer-Vision bereitgestellt werden können.
-
Zum Erzeugen des Eingangsbilds 7 kann das elektronische Fahrzeugführungssystem 2 zum Beispiel ein erfindungsgemäßes Verfahren ausführen, wie schematisch in dem Flussdiagramm von 2 gezeigt.
-
In Schritt S1 erzeugt das Kamerasystem 4 das initiale Bild 5. In dem Beispiel von 2 zeigt das initiale Bild 5 eine Straße, Bäume sowie einen Himmel darstellenden Bereich 8, der zum Beispiel ein Wolkenhimmelbereich sein kann. In Schritt S2 kann die Recheneinheit 3 den Himmel darstellenden Bereich 8 identifizieren, indem jeweilige Bildbearbeitungsfilter, zum Beispiel Farbfilter oder Grenzfilter, auf das initiale Bild 5 angewendet werden. Der entsprechende Bereich 9 wird als schattierter Bereich in einem jeweils modifizierten Bild 6 in 2 gezeigt.
-
In Schritt S3 ersetzt die Recheneinheit 3 den Bereich 9, der dem Himmel darstellenden Bereich 8 in dem initialen Bild 5 entspricht, durch einen entsprechenden Teil 10 eines vorgegebenen Standard-Himmel-Bilds 13. In dem Beispiel von 2 kann der entsprechende Teil 10 zum Beispiel einem klaren Himmel ohne wesentliches Wolkenaufkommen und mit einem relativ hohen Homogenitätsgrad hinsichtlich Helligkeit und Farbe entsprechen.
-
In 3 sind für einige Ausführungen des Verfahrens beispielhafte Schritte gezeigt, wie das Standard-Himmel-Bild 13, insbesondere offline, erzeugt werden kann.
-
Eine Vielzahl von Referenzbildern 11 a, 11b, 11c wird bereitgestellt, die zum Beispiel in einem Satz von Trainingsbildern enthalten sein können, der zum Trainieren des Algorithmus zur Computer-Vision verwendet worden ist. Für jedes der Referenzbilder 11a, 11b, 11c wird ein jeweiliger Himmel darstellender Referenzbereich 12a, 12b, 12c, wie für das initiale Bild 5 beschrieben, bestimmt. Die Himmel darstellenden Referenzbereiche 12a, 12b, 12c oder die entsprechend maskierten Bilder werden dann gemittelt, um das Standard-Himmel-Bild 13 zu erzeugen.
-
Wie insbesondere hinsichtlich der Figuren beschrieben, liefert die Erfindung eine Herangehensweise, um die Robustheit oder Genauigkeit der Algorithmen zur Computer-Vision zu steigern, indem angepasste Eingangsbilder erzeugt werden, so dass der Algorithmus zur Computer-Vision bisher nicht aufgetretene Situationen online handhaben kann während das Fahrzeug betrieben wird, ohne den Algorithmus zur Computer-Vision selbst zu modifizieren.
-
Zu diesem Zweck können die Sensor-Ausgaben, die Eingaben für den Algorithmus zur Computer-Vision sind, transformiert werden, ohne die Wahrnehmungsinformationen negativ zu beeinträchtigen. Insbesondere werden Wetterschwankungen berücksichtigt, die den Himmel, insbesondere seine Helligkeit, Homogenität, Farbe, et cetera beeinflussen. Der Himmel darstellende Bereich wird modifiziert, um ihn an bereits bekannte Wetterverhältnisse anzugleichen, die in den Trainingsdaten gegeben sind.
-
Die Herangehensweise kann auch auf andere mit Wetterverhältnissen in Verbindung stehende Transformationen, wie Helligkeit, Beleuchtung, Gamma, et cetera ausgedehnt werden, um Ergebnisse bei einer online Anwendung während der Fahrt zu verbessern. Die Herangehensweise kann auch auf andere Sensortypen, wie zum Beispiel Lidar-Sensoren, angewendet werden.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
