-
Die Erfindung betrifft ein Bildbearbeitungsverfahren, insbesondere zur Erzeugung realistischer Darstellungen von Lichtquellen zum Entwickeln und Testen bildbasierter Fahrerassistenzsysteme.
-
Stand der Technik
-
Fahrerassistenzsysteme (FAS, Advanced Driver Assistance Systems - ADAS) sind autonom oder teilautonom in die laterale oder longitudinale Fahrzeugsteuerung eingreifende Zusatzeinrichtungen von Kraftfahrzeugen, die Sicherheits- oder Komfortfunktionen zur Unterstützung des Fahrers in bestimmten Situationen ausführen. Diese Funktionen müssen u. a. aufgrund der funktionalen Sicherheit geprüft bzw. getestet werden. Dies kann im Fahrzeug in der realen Welt unter echten Bedingungen sowie teilweise oder vollständig mittels Simulationen erfolgen. In der Realität ist allerdings Herstellen reproduzierbarer Testergebnisse nur mit großem Aufwand möglich. Das Abarbeiten eines vollständigen Testkatalogs, der unterschiedliche Wetterbedingungen, Straßenführungen und spezifische Umgebungskomponenten umfasst, ist sehr zeitaufwändig und kostenintensiv.
-
Daher werden simulierte Testverfahren mit simulierten Testdaten durchgeführt. Simulierte bzw. synthetische Testdaten können als reale Elemente in der realen Welt erzeugt werden, beispielsweise mittels Dummys für verschiedene Verkehrsteilnehmer oder mittels Straßenmarkierungen oder Straßenschildern modellhaft erzeugter Umgebungsbedingungen. Die simulierten Testdaten können auch virtuell erzeugt und dargeboten werden. Dies geschieht häufig bei Tests der Integration einzelner Subsysteme (Software, Hardware, Benutzerinteraktion) innerhalb eines Gesamtsystems oder beim Testen von Grenzfällen, die in der realen Welt zu aufwändig oder zu risikoreich durchzuführen sind. Virtuelle Testdaten werden zum Stimulieren der Wahrnehmungsebene des zu testenden Systems verwendet, um eine erwartete Systemausgabe zu erzeugen, anhand derer die Wahrnehmungsverarbeitungskomponenten, beispielsweise die Bildverarbeitungskomponenten, der zu testenden Steuereinheit getestet werden.
-
Es ist bekannt, bildbasierte Simulationen einer Testumgebung zu erzeugen. Werden optische Bilder aus simulierten Objekten oder Szenen generiert (Bildsynthese), spricht man auch von Rendern. Dies erfolgt blickpunktabhängig, also abhängig von Position, Blickrichtung und Blickwinkel eines virtuellen Beobachters, aus dessen Sicht die Szene dargestellt werden soll. Dabei sind unter anderem die Verdeckungen und das materialabhängige Aussehen der Objekte, sowie die Lichtverteilung innerhalb der Szene zu berechnen. Ein enormer Fortschritt bei der Wiedergabetreue bildbasierter Simulationen wurde vor allem durch die Computerspieleindustrie erzielt. Diese Verfahren ermöglichen zunehmend das Erzeugen von Testfällen mittels rein synthetischer bzw. virtueller Simulationen.
-
Allerdings weisen die bekannten bildbasierten Simulationen eine unrealistische Darstellung von Lichtquellen ab einer gewissen Entfernung der Lichtquelle vom (virtuellen) Beobachter auf. Eine Evaluation von Nacht-Wahrnehmungsmodulen von Fahrerassistenzsystemen ist mittels dieser Simulationsumgebungen nicht durchführbar. Auch sind sie damit ungeeignet als Trainingsdaten für KI-basierte Verfahren. Dies sind Algorithmen gestützte Verfahren, die Methoden der Künstlichen Intelligenz nutzen, um beispielsweise Objekte zu detektieren und in vorausfahrende oder entgegenkommende Fahrzeuge zu klassifizieren. Derartige Klassifikationsverfahren, die z. B. mittels maschinellem Lernen umgesetzt werden können, nehmen einen wachsenden Stellenwert bei der Entwicklung von Fahrerassistenzsystemen und Umfelderfassungsmitteln bzw. deren zugrundeliegenden Algorithmen ein. Ein wesentlicher Schritt bei dieser Entwicklung ist das Anlernen und Trainieren dieser Klassifikatoren. Die dafür notwendigen Daten müssen aber eine gewisse Mindestgüte aufweisen.
-
Zum Erzeugen weicher Übergänge zwischen Kanten und zum Verhindern unerwünschter Effekte (Aliasing) in Bilddaten ist Supersampling bekannt. Supersampling oder auch Postfiltering wird angewandt, wenn die Bildbeschreibung nur an einzelnen Punkten ausgewertet werden kann. Dazu werden zur Berechnung der Farbe eines jeden Pixels mehrere Abtastwerte herangezogen, die mittels eines Rekonstruktionsfilters gewichtet werden. Die die Kante darstellenden Pixel werden dabei in höherer Auflösung gerendert. Die anschließende Verringerung der Auflösung auf die Zielauflösung des darzustellenden Bildes erfolgt dann unter Berücksichtigung der zusätzlichen Pixelinformationen. Im Ergebnis erfolgt eine Darstellung der Kante, die oben genannte Effekte verhindert bzw. reduziert (Kantenglättung).
-
EP 0 751 688 B1 beschreibt das Simulieren eines Bloom-Effektes für ausgewählte Bildelemente (Pixel) von Videodaten, die einen Wert oberhalb der Sättigungsschwelle besitzen. Dabei werden für die benachbarten Bildelemente der gesättigten Pixel neue Werte durch Inkrementieren der Werte der Videodaten abgeleitet. Bild-Highlights werden größer dargestellt und erscheinen daher heller. Zur gezielten Erzeugung von Trainingsdaten mit realistischen Lichteffekten ist dieses Verfahren ungeeignet, da entfernte Lichtquellen aufgrund der Auflösung eines Umfelderfassungsmittels durch wenige Pixel repräsentiert werden. Wird der Bloom-Effekt nach
EP 0 751 688 B1 auf eine durch wenige (gesättigte) Pixel repräsentierte Lichtquelle angewandt, wird die Lichtquelle lediglich größer und heller und damit nicht realistisch dargestellt.
-
Die
DE 10 2015 115 232 A1 beschreibt ein verbessertes Anti-Aliasing durch räumliches und/oder zeitliches Variieren von Sample-Mustern. Dabei werden verschiedene Sample-Muster für benachbarte Pixel in einem Bild oder zwischen Bildern erzeugt. Für ein bestimmtes Pixel wird ein Sample-Muster aus einer Tabelle ausgewählt und zur Erzeugung einer Abdeckinformation für das Pixel genutzt. Diese wird eingesetzt, um ein Bild zu erzeugen. Anschließend kann das Bild noch gefiltert werden, um die durch die Sample-Stellen verursachten Artefakte zu entfernen. Die Qualität der gerenderten Bilddaten kann verbessert werden, weil die eigentlichen Abdeckungsdaten in höherer Qualität gerendert werden. Dies kann allerdings Artefakte erzeugen, die wieder aufwändig und unter Verlust von Bildinformation gefiltert werden müssen. Außerdem können keine neuen Informationen in das Bild eingebracht werden, da die Abdeckinformationen pixelbezogen sind, ein Lichteffekt aber objektbezogen ist.
-
Die
DE 10 2018 100 192 A1 offenbart eine Erzeugung von Trainingsdaten zur automatischen Leckerkennung bei Fahrzeugen. Ein maschineller Lernalgorithmus wird zur Erkennung eines Fluidlecks mit Ankunfts- und Abfahrtsbildern eines von dem Fahrzeug befahrenen Parkplatzes trainiert. Diese Bilder werden durch Rendern eines dreidimensionalen Modells oder durch Hinzufügen von simulierten Fluidflecken zu zweidimensionalen Bildern erlangt. Um das Training zu verbessern, können die simulierten Ankunfts- und Abfahrtbilder in fotorealistischer Auflösung gerendert werden. Trainingsdaten zum Anlernen eines maschinellen Lernalgorithmus unterliegen anderen Anforderungen als Trainingsdaten zum Testen von Fahrerassistenzsystemen. Während mittels ersterer Trainingsdaten mit hoher Auflösung ein genaueres Trainieren eines Klassifikationsalgorithmus ermöglichtwerden kann, müssen letztere Trainingsdaten der Auflösung des zu testenden Systems angepasst werden. Werden die Trainingsdaten entsprechend der
DE 10 2018 100 192 A1 in Zielauflösung erzeugt, können wiederum keine zusätzlichen Informationen, z.B. in Form von realistischen Lichteffekten, hinzugefügt werden.
-
Aufgabe der Erfindung
-
Aufgabe vorliegender Erfindung ist das realistischere Darstellen von Lichtquellen in gerenderten Bilddaten, vorzugsweise als Trainings- und Testdaten für bildbasierte Fahrerassistenzsysteme.
-
Darstellung und Vorteile der Erfindung
-
Die Aufgabe wird durch ein Verfahren zur Erzeugung bildbasierter Trainings- und Testdaten zum Entwickeln und Testen bildbasierter Fahrerassistenzsysteme oder bildbasierter Umfelderfassungsmittel entsprechend den Maßnahmen des unabhängigen Anspruchs 1 gelöst. Vorteilhafte Ausgestaltungen und Weiterbildungen der Erfindung sind Gegenstand der Unteransprüche.
-
Bildbasierte Trainings- und Testdaten beziehen sich vorzugsweise auf videobasierte bzw. bewegtbildbasierte Daten, also das Darstellen mehrerer Bilddaten im Zeitablauf in einer festgelegten Bildwechselrate, beispielsweise angegeben als frames per second (fps - Bilder pro Sekunde).
-
Die bildbasierten Trainings- und Testdaten werden zum Entwickeln und Testen bildbasierter Fahrerassistenzsysteme oder bildbasierter Umfelderfassungsmittel verwendet. Sie können auch zum Anlernen eines Klassifikationsmodells herangezogen werden. Dies umfasst auch KI-basierte Verfahren, wie maschinelles Lernen.
-
Bildbasierte Fahrerassistenzsysteme können hinsichtlich der direkten Auswertung der erfassten Bildinformationen oder darauf basierender Reaktionen des Algorithmus der jeweiligen Assistenzfunktion getestet werden, wobei die Datenerfassung durch die Umfelderfassungsmittel ebenfalls getestet werden kann. Dies kann für einzelne Subsysteme, wie einzelne Hardwarekomponenten, Softwaremodule oder für das Zusammenspiel mehrerer Subsysteme für jede Phase des Entwicklungsprozesses erfolgen. Bildbasierte Fahrerassistenzsysteme nutzen mindestens teilweise Bilddaten bildbasierter Umfelderfassungsmittel und können weitere, nicht bildbasierte Umfelddaten, wie nicht sichtbare elektromagnetische, akustische oder über eine Daten- bzw. Kommunikationsschnittstelle von außerhalb des Fahrzeugs empfangene Umfelddaten verarbeiten (Sensordatenfusion).
-
Umfelddaten sind Informationen über die Umwelt und die darin befindlichen Objekte. Umfelddaten können unterschiedlich erfasst werden. Optische Informationen können mittels bildbasierter Umfelderfassungsmittel, wie Kameras, erfasst werden. Um dieses bildbasierte Umfelderfassungsmittel oder ein die durch dieses erfasste Umfelddaten verarbeitendes Fahrerassistenzsystem zu testen, bedarf es bildbasierter Testdaten. Bildbasierte Umfelderfassungsmittel können die Sensorrohdaten, z. B. Sättigungsgrade von Photodioden im Zeitablauf, direkt weiterleiten, diese zur Darstellung von Bilddaten oder die Bilddaten zu Objektlisten verarbeiten.
-
Umfelderfassungsmittel, im Folgenden synonym auch als Sensoren oder Umfeldsensoren bezeichnet, sind grundsätzlich bekannt. Sie funktionieren nach unterschiedlichen Prinzipien, nämlich elektromagnetisch, optisch oder akustisch. Elektromagnetische Sensoren senden elektromagnetische Strahlen aus und empfangen deren Reflexionen an Objekten. Diese können je nach Frequenzbereich unterschiedliche Entfernungen abdecken. Beispiele hierfür sind ein Short-Range-Radar und ein Long-Range-Radar. Optische Sensoren arbeiten ebenfalls mit elektromagnetischen Strahlen. Diese weisen aber eine Frequenz im sichtbaren Spektrum des Lichts oder daran angrenzend (Ultraviolettes Licht, Infrarotstrahlung) auf. Optische Sensoren, also bildbasierte Umfelderfassungsmittel, können passiv arbeiten, also lediglich Licht erfassen, oder aktiv arbeiten, indem sie Licht aussenden und dessen Reflexionen empfangen. Passive optische Sensoren sind z. B. (Video-)Kameras oder Infrarot-Kameras. Letztere können aber auch aktiv betrieben werden, genau wie Lidar- oder Laser-Geräte. Akustische Sensoren, deren Funktionsprinzip auf Schallwellen basiert, umfassen bei Landfahrzeugen beispielsweise Ultraschall-Sensoren. Bei Wasserfahrzeugen können Sonar-Anlagen zum Einsatz kommen. Eine Sonderform bildet die Umfelderfassung auf Kommunikationsbasis, bei der das Umfeld nicht selbst erfasst wird, sondern von Dritten erfasste Umfelddaten als Informationen übertragen werden. Das Übertragen von Informationen kann beispielsweise mittels V2X-Kommunikation (Vehicle to X) direkt oder indirekt über weitere Dritte erfolgen. Dabei wird größtenteils der auf elektromagnetischer Strahlung basierende Kommunikationskanal entsprechend der IEEE 802.11-Familie genutzt. Jedoch sind auch optische Kommunikationsübertragungsverfahren bekannt.
-
Im ersten Schritt des erfindungsgemäßen Verfahrens erfolgt die Erstellung von Basisdaten einer Szene von Objekten in einer Umgebung. Als Basisdaten der Szene wird eine zwei- oder dreidimensionale geometrische Beschreibung der Szene verstanden, die die Testumgebung mit Umfeld und vorhandenen Objekten repräsentiert. Jede Szene entspricht dabei einem Testszenario entsprechend dem definierten Testkatalog. Die Basisdaten einer Szene sind im Zeitablauf definiert. Eine Szene besteht damit aus einer Abfolge statischer Positionierung der Objekte innerhalb des Umfelds mit den jeweiligen geforderten Objekteigenschaften. Die Szene ist also ein virtuelles räumliches Modell, das Objekte und deren Materialeigenschaften, objektbezogene und nicht objektbezogene Lichtquellen sowie die Position und die Blickrichtung des virtuellen Beobachters definiert. Die geometrische Beschreibung der Szene kann computergestützt erfolgen und durch klassische Datenformate, wie HTML, SVG, DWG, IPT, STP oder andere vektor- oder rastergraphikbasierte Formate umgesetzt werden.
-
Die Erstellung des vollständigen Testkatalogs, der möglichst alle zu testenden Eigenschaften des zu testenden Systems umfasst, dabei aber möglichst kurzgehalten wird, um den gesamten Testaufwand zu minimieren, kann anhand bekannter Methoden, wie der statistischen Versuchsplanung, erfolgen. Der Testkatalog wird in vorliegender Erfindung als gegeben vorausgesetzt.
-
Im nächsten Schritt erfolgt das Rendern der Basisdaten der Szene zu Bilddaten in einer Auflösung, die dem Mehrfachen der Auflösung des zu testenden Umfelderfassungsmittels entspricht. Die Bilddaten können als Einzelbilder oder als Bilder im Zeitablauf (Video) erzeugt werden. Als Rendern im Sinne der vorliegenden Erfindung wird das Erzeugen einer graphischen Darstellung der Basisdaten der Szene verstanden. Dies erfolgt vorzugsweise in Abhängigkeit des virtuellen Blickpunktes des zu testenden Fahrerassistenzsystems oder des zu testenden Umfelderfassungsmittels sowie der Verdeckungen der Objekte und der Oberflächeneigenschaften der Objekte und des Umfelds und der Lichtverteilung innerhalb der Szene, wobei der virtuelle Blickpunkt anhängig ist von der Position und der virtuellen Blickrichtung und des virtuellen Blickwinkels des zu testenden Fahrerassistenzsystems oder des zu testenden Umfelderfassungsmittels.
-
Je nach Blickpunkt des zu testenden Fahrerassistenzsystems oder des zu testenden Umfelderfassungsmittels, im Folgenden auch als virtueller Beobachter bezeichnet, verdecken die Objekte sich gegenseitig sowie das Umfeld. Dabei können auch teilweise transparente Objekte, wie Glasscheiben, berücksichtigt werden. Die Oberflächeneigenschaften sind in den Basisdaten festgelegt und umfassen die materialabhängige Farbe der Objekte und des Umfeldes und das von den Objekten und dem Umfeld ausgesendete und/oder reflektierte Licht.
-
Die Oberflächeneigenschaften werden mittels der an sich bekannten Methoden Mapping und Shading dargestellt. Die Lichtverteilung des ausgesendeten und/oder reflektierten Lichts innerhalb der Szene besteht aus einer blickpunktabhängigen Lichtverteilung, die auch als Raytracing bezeichnet wird, und einer blickpunktunabhängigen Lichtverteilung, auch Radiosity bzw. Radiosität genannt. Diese umfassen aktive Lichtemissionen der Objekte sowie Lichtreflexionen an Objekten der dem Umfeld.
-
Die Auflösung eines Bildes kann als Anzahl von Bildpunkten, auch Pixel genannt, auf einer normierten Strecke als Punktdichte beschrieben werden, beispielsweise als Bildpunkte pro Zoll (dpi - dots per inch; ppi - pixel per inch). Die Bildauflösung kann auch als Anzahl von Bildpunktzeilen und Bildpunktspalten definiert sein, wobei auch das Seitenverhältnis festgelegt wird.
-
Die Auflösung im Sinne der vorliegenden Erfindung ist wiedergabebezogen. Die Wiedergabe der Bilddaten erfolgt in Form von Testdaten. Diese sind je nach Präsentationsart unterschiedlich. Zum Testen bildbasierter Umfelderfassungsmittel oder bildbasierter Fahrerassistenzsysteme können die Bilddaten dem zu testenden System als Repräsentation des realen Umfeldes zugeführt werden, beispielsweise in Form eines auf einer Leinwand dargestellten oder eines auf die Linse einer Kamera projizierten Videos. Die Bilddaten können auch als Bilddatenstrom direkt an das zu testende Fahrerassistenzsystem oder das zu testende Umfelderfassungsmittel übermittelt werden, indem die Auslesewerte von Photodioden in Form von simulierten Rohdaten an die Auswerteeinheit des Umfelderfassungsmittels oder die von dem Umfelderfassungsmittel verarbeiteten Bilddaten simuliert an das Fahrerassistenzsystem gesendet bzw. eingespeist werden. Eine mehrfach höhere Auflösung bedeutet, dass die Auflösung der gerenderten Bilddaten eine höhere Auflösung aufweist als für die Erfassung durch das Fahrerassistenzsystem oder das Umfelderfassungsmittel technisch notwendig ist.
-
Im nächsten Schritt erfolgt das Erzeugen von Lichteffekten für wenigstens eine in der Szene vorhandene Lichtquelle in den Bilddaten. Lichtquellen können stationären Objekten, wie Straßenbeleuchtungen, oder beweglichen Objekten, wie Fahrzeugscheinwerfern, vorzugsweise entgegenkommender Fahrzeuge, zugeordnet sein. Die Lichteffekte werden an die in den Basisdaten definierten Eigenschaften der Lichtquelle, wie Strahlungsintensität, Größe und Form, angepasst. So können in der Realität vorhandene Lichteffekte simuliert und dargestellt werden. Die Erzeugung des Lichteffekts ist dabei von der Auflösung des gerenderten Bildes abhängig, da die lichttechnischen Effekte erst im Zusammenspiel von Lichtquelle und Empfangsoptik entstehen.
-
Lichteffekte können optische Effekte sein, die ein Beobachter wahrnehmen würde. Diese Wahrnehmung kann durch technische Elemente (Linse) oder verarbeitungsbedingte Effekte (Aliasing) verursacht werden. Technisch verursachte Lichteffekte können beispielsweise Verzerrungen, Beugungs- oder Brechungseffekte an (Kamera-)Linsen oder (Kamera-)Blenden sein. Diese werden ebenfalls in der höheren Auflösung den in höherer Auflösung gerenderten Bilddaten überlagert.
-
Im nächsten Schritt erfolgt das Erzeugen der Testdaten mittels Reduzierung der Auflösung der Bilddaten mit den Lichteffekten auf die Auflösung des zu testenden Umfelderfassungmittels. Dies kann durch an sich bekanntes Umrechnen, Komprimieren bzw. Herunterskalieren von Bilddaten erfolgen, bei denen verschiedene Interpolations- oder Resamplingverfahren eingesetzt werden können.
-
Erfindungsgemäß vorteilhaft wird dabei das Ziel erreicht, das Wahrnehmungssystem möglichst realistisch zu stimulieren. Würden die Lichteffekte auf Basis der Auflösung des zu testenden Systems ermittelt, wäre der Effekt nicht realistisch genug, da die neu hinzugefügten bzw. überlagernden Bildinformationen keine hinreichende Basis in den gerenderten Bilddaten aufweisen. Durch die geringere Auflösung fehlen nämlich Bildinformationen, die nachträglich nicht erzeugt werden können. So kann dabei beispielsweise bei der Klassifikation von Fahrzeugscheinwerfern die Vorwärtsreflexion des Scheinwerferlichts auf einem Untergrund berücksichtigt werden, die sonst auflösungsbedingt nicht vorhanden wäre. Besonders vorteilhaft können dabei Nachtsicht-Wahrnehmungssysteme getestet werden. Dies ermöglicht eine spezifische Auslegung von Testszenen, die besonders kritische Grenzfälle abdecken können. Der zusätzliche rechentechnische Aufwand, Bilddaten in höherer Auflösung zu rendern als eigentlich notwendig, den der Fachmann nicht betreiben würde, wird damit anhand der Vorteile überkompensiert. Je realistischer Bilddaten zum Testen erzeugt werden können, desto geringer fällt der Testaufwand aus, weil eine spezifischere Testgestaltung ermöglicht wird. Dadurch wird nicht nur ein effizientes Durchführen von Tests bewirkt, sondern auch das Ermöglichen von Tests immer komplexer werdender Fahrerassistenzsysteme, deren Entwicklung ganz konkret vom Problem der Validierung abhängt.
-
In einer vorteilhaften Ausführungsform des erfindungsgemäßen Verfahrens wird als Lichteffekt ein Airy-Disk und/oder Airy-Ring Effekt mittels eines zweidimensionalen Bloom Effekts erzeugt. Dies ermöglicht eine relativ unaufwändige Erzeugung des Lichteffekts, unter anderem durch die Nutzung bekannter Grafik-Engines. Eine Grafik-Engine (wörtlich „Grafik-Maschine“, freier etwa: „Grafiktriebwerk“ oder „Grafikmodul“) ist ein Teil eines Computerprogramms oder einer Computer-Hardware, eine sogenannte Engine, die für die Darstellung von Computergrafik zuständig ist. Der Airy-Disc Effekt kann damit ohne Zusatzaufwand als 2D-Bloom post processing Effekt erzeugt werden.
-
In einer weiteren vorteilhaften Ausgestaltung wird als Lichteffekt eine chromatische Aberration erzeugt. Dies ist ein Abbildungsfehler optischer Linsen, der durch wellenlängenabhängig unterschiedliche Lichtbrechung in der Linse hervorgerufen wird. Die jeweilige laterale und longitudinale chromatische Aberration ist abhängig von den Eigenschaften des zu testenden Systems und kann bei der Erstellung des Testkatalogs oder nachträglich bei der Erzeugung des Lichteffekts berücksichtigt und für jedes Testsystem experimentell ermittelt oder simuliert werden. Dadurch werden noch realistischere Testdaten erzeugt.
-
In einer weiteren vorteilhaften Ausgestaltung wird als Lichteffekt ein durch Lichtstrahlen der Lichtquelle hervorgerufener Lichteffekt mittels Volumetric Fog, Volumetric Lighting und/oder Strahlenbüschel (Crespuscular Rays) erzeugt. Dies berücksichtigt vorteilhafter Weise das Streuen und Reflektieren von Lichtstrahlen in bzw. an der Atmosphäre (Luftmoleküle, Feststoffpartikel), was wiederum zu einer noch realistischeren Darstellung einer Szene führt.
-
In einer besonders vorteilhaften Ausgestaltung der Erfindung setzt sich der Lichteffekt der Lichtquelle aus mehreren Komponenten zusammen, wobei mindestens ein Lichteffekt für die Projektionsfläche der Lichtquelle an sich, ein Lichteffekt für die direkte Lichtausstrahlung der Lichtquelle und ein Lichteffekt für die indirekte Lichtausstrahlung erzeugt werden.
-
Die Projektionsfläche der Lichtquelle ist die sichtbar wahrgenommene Fläche, von der aus direkt Licht emittiert wird. Bei Straßenbeleuchtungen kann die Fläche kreisförmig dargestellt werden, weil die beispielsweise von einer punktförmigen Leuchte ausgesandten Lichtstrahlen von der Umhausung gleichmäßig in alle Richtungen gebeugt bzw. gestreut werden. Scheinwerfer von Fahrzeugen können beispielsweise rechteckige oder vieleckige Geometrien aufweisen, da mittlerweile mehrere punktförmige Lichtquellen, z. B. Leuchtdioden, verwendet werden und die Form der Scheinwerferabdeckung, die die emittierten Lichtstrahlen beugen und in die definierte Richtung weiterleiten, vielfältigen Designkriterien unterworfen sind. Die Projektionsfläche kann Lichteffekte wie den Airy-Disk Effekt hervorrufen.
-
Die direkte Lichtausstrahlung der Lichtquelle in Form eines Spotlights ruft Lichteffekte hervor, die unmittelbar auf die Lichtstrahlen bzw. die Lichtausbreitung verursacht werden. Dazu zählen vor allem Effekte durch die Streuung oder Reflexion des Lichtes in bzw. an der Atmosphäre und der darin enthaltenen Partikel. Derartige Lichteffekte können auch ohne direkte Sichtbarkeit der Lichtquelle vorkommen.
-
Lichteffekte für indirekte Lichtausstrahlung, wie Reflexionen von Lichtquellen an Reflexionsflächen, wie reflektiertes Scheinwerferlicht auf der Straße, können sowohl Lichteffekte der o.g. Projektionsfläche als auch der indirekten Lichtausstrahlung aufweisen. Diese können in Abhängigkeit der Reflexionseigenschaften der Reflexionsfläche, z. B. trockene oder nasse Straße, erzeugt werden.
-
Dies ist besonders vorteilhaft für die möglichst realistische Darstellung von Lichtquellen, insbesondere aber nicht ausschließlich für die Darstellung von Scheinwerfern entgegenkommender Fahrzeuge, wobei die Lichtquellen an sich entsprechend der Lichtausbreitung, wie Ausstrahlrichtung, Ausstrahlwinkel oder entfernungsabhängige Lichtintensität, definiert sein können. Ganz besonders vorteilhaft kann dabei die Wahrnehmung von Nachtsichtsystemen getestet werden.
-
Ein weiterer Aspekt vorliegender Erfindung ist das Testen bildbasierter Fahrerassistenzsysteme oder bildbasierter Umfelderfassungsmittel mittels entsprechend der Erfindung erzeugter Testdaten. Dies ermöglicht das Ausnutzen des technischen Effekts der möglichst realistisch erzeugten Testdaten, in dem daraus Test- oder auch Trainingsdaten zum Testen oder Trainieren, also Anlernen, der Systeme erzeugt werden.
-
Ausführungsbeispiel
-
Weitere Merkmale, Anwendungsmöglichkeiten und Vorteile der Erfindung ergeben sich aus der nachfolgenden Beschreibung von Ausführungsbeispielen der Erfindung unter Bezugnahme auf die schematisch dargestellten Zeichnungen. Diese dienen lediglich zum Verständnis der Erfindung und haben keinerlei limitierende Wirkung auf den Erfindungsgegenstand, wie er in den Patentansprüchen dargelegt ist.
-
Hierbei zeigen:
- 1 die Darstellung mehrerer Komponenten der Lichtausstrahlung eines Fahrzeugscheinwerfers und
- 2 die Darstellung von Scheinwerfern eines entgegenkommenden Fahrzeugs in unterschiedlichen Entfernungen bzw. Auflösungen und die erzeugbaren Lichteffekte.
-
1 zeigt ein Fahrzeug 1 mit einem Schweinwerfer 2. Dieser weist eine sichtbare Fläche (Projektionsfläche 21), eine direkte Lichtausstrahlung 22 (Spotlight) und eine indirekte Lichtausstrahlung 23, die auf einem Untergrund 3 (Straßenoberfläche) reflektiert wird, auf. Für jede dieser drei Lichtquellen können Lichteffekte erzeugt werden. Für die Projektionsfläche 21 können ein Airy-Disk und ein Airy-Ring-Effekt erzeugt werden. Die direkte Lichtausstrahlung 22 kann sichtbar gemacht werden mittels simulierter Reflexion der Strahlen an der Atmosphäre. Die indirekte Lichtstrahlung 23 weist ebenfalls eine Projektionsfläche der Reflexion 25 sowie reflektierte Lichtstrahlen 24 auf. Für die Reflexionsfläche 25 können, wie für die Projektionsfläche 21, Airy-Disk oder Airy-Ring-Effekte erzeugt werden. Die reflektierte Lichtstrahlung 24 kann wie die direkte Lichtausstrahlung 22 mittels Volumetric Fog bzw. Volumetric Lighting sichtbar gemacht werden, weist dabei aber eine deutlich geringere Intensität auf.
-
2 verdeutlicht die erfindungsgemäße Wirkung. Die drei Spalten zeigen Lichtquellen in jeweils unterschiedlichen Entfernungen. Die Entfernungen werden aus Sicht der Kamera eines Fahrerassistenzsystems dargestellt. Dabei zeigt sich auch, dass die Entfernung der Lichtquelle vom zu testenden Fahrzeug die Auflösung des erfassten Bildes bestimmt.
-
Die erste Zeile (1) zeigt eine Aufnahme, die mit einer Referenzkamera in der realen Welt erzeugt wurde. Die zweite Zeile (2) stellt mittels des erfindungsgemäßen Verfahrens erzeugte Bilddaten dar. Die Situation wurde mit dreifacher Auflösung gerendert, dann wurden die Lichteffekte aufgebracht und anschließend wurde das Bild herunterskaliert. Die dritte Zeile (3) repräsentiert die Simulation eines entgegenkommenden Fahrzeugs einer weit verbreiteten Simulationsumgebung zum Entwickeln, Trainieren und Validieren autonomer Fahrsysteme (CARLA). Ab einer Entfernung von 200m wird nahezu kein Scheinwerferlicht mehr erzeugt. Bei einer Entfernung von 150m wird das Scheinwerferlicht dargestellt, wobei sogar bereits Vorwärtsreflexionen berücksichtigt werden. Diese Darstellung weicht aber stark von der Realität in Zeile (1) ab. Dies betrifft nicht nur die Lichtverteilung zwischen direktem und reflektiertem Scheinwerferlicht, sondern auch deren Helligkeit.
-
2 veranschaulicht damit den wesentlichen Effekt der Erfindung besonders deutlich. Die hohe Güte bzw. Realitätstreue der erzeugten Bilddaten ermöglicht es, synthetische Testdaten für Nachtsichtsysteme zu erzeugen und somit die Tests viel früher in der Entwicklung derartiger Systeme durchzuführen. Darüber hinaus sind diese Bilddaten eben auch zum Trainieren von Klassifikationsverfahren geeignet, die beispielsweise erkannte Lichtquellen in entgegenkommende und vorausfahrende Fahrzeuge klassifizieren sollen. Letztlich unterstützt das erfindungsgemäße Verfahren kürzere Entwicklungszyklen bei gleichzeitiger, wesentlicher Kostenreduktion beim Trainieren und Testen von Fahrerassistenzsystemen und Umfelderfassungsmitteln.
-
Bezugszeichenliste
-
- 1
- Fahrzeug
- 2
- Scheinwerfer
- 21
- Projektionsfläche
- 22
- direkte Lichtausstrahlung
- 23
- indirekte Lichtstrahlung
- 24
- reflektierte Lichtstrahlung
- 25
- Projektionsfläche der Reflexion
- 3
- Untergrund
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- EP 0751688 B1 [0007]
- DE 102015115232 A1 [0008]
- DE 102018100192 A1 [0009]
