DE102019209061B3

DE102019209061B3 - Bildverarbeitungseinrichtung zur Verbesserung einer Nachtsicht, Verfahren und Computerprogramm

Info

Publication number: DE102019209061B3
Application number: DE102019209061.3A
Authority: DE
Inventors: Tobias Mindel
Original assignee: ZF Friedrichshafen AG
Current assignee: ZF Friedrichshafen AG
Priority date: 2019-06-24
Filing date: 2019-06-24
Publication date: 2020-09-03
Anticipated expiration: 2039-06-25

Abstract

Die Erfindung betrifft eine Bildverarbeitungseinrichtung (3) zur Verbesserung einer Nachtsicht eines Fahrers für ein Fahrzeug (1) umfassendeine erste Detektionseinheit (4) zur Erfassung eines ersten Umgebungsbildes (14) im Infrarotbereich von einem ersten Fahrzeugumgebungsbereich,sowie eine zweite Detektionseinheit (5) zur Erfassung eines zweiten Umgebungsbildes (15) mit realen Farben im sichtbaren Bereich von einem zweiten Fahrzeugumgebungsbereich, wobei die erste Detektionseinheit (4) und die zweite Detektionseinheit (5) derart angeordnet sind, dass sich das zweite Umgebungsbild (15) zumindest teilweise mit dem ersten Umgebungsbild (14) in einem Bildüberlappungsbereich (13) überlappt,sowie eine Bildverarbeitungseinheit (6), zur Verarbeitung des ersten Umgebungsbildes (14) und des zweiten Umgebungsbildes (15),wobeidie zweite Detektionseinheit (5) einen Infrarot-Sperrfilter zur Filterung der Infrarotstrahlung aufweist unddie Bildverarbeitungseinheit (6) dazu ausgestaltet ist, mittels eines Generativen Modells ein Tagbild (18) von zumindest dem Bildüberlappungsbereich (13) zu erzeugen.Ferner betrifft die Erfindung ein Verfahren und Computerprogramm.

Description

Die Erfindung betrifft eine Bildverarbeitungseinrichtung zur Verbesserung einer Nachtsicht eines Fahrers für ein Fahrzeug, umfassend eine erste Detektionseinheit zur Erfassung eines ersten Umgebungsbildes im Infrarotbereich von einem ersten Fahrzeugumgebungsbereich, sowie eine zweite Detektionseinheit, zur Erfassung eines zweiten Umgebungsbildes mit realen Farben im sichtbaren Bereich von einem zweiten Fahrzeugumgebungsbereich, wobei die erste Detektionseinheit und die zweite Detektionseinheit derart angeordnet sind, dass sich das zweite Umgebungsbild zumindest teilweise mit dem ersten Umgebungsbild in einem Bildüberlappungsbereich überlappt, sowie eine Bildverarbeitungseinheit, zur Verarbeitung des ersten Umgebungsbildes und des zweiten Umgebungsbildes. Ferner betrifft die Erfindung ein Verfahren und ein Computerprogramm.
Um die Sicht von Fahrern in der Nacht zu unterstützen, wurden in den letzten Jahren bei vielen Fahrzeugen Anzeigeeinheiten entwickelt, welche eine verbesserte Nachtsicht ermöglichen. Hierfür wurden Nachtsichtsysteme entwickelt, bei denen Beleuchtungsvorrichtungen Infrarotstrahlung in Richtung der Straße aussenden. Durch die zurückgeworfene reflektierte Infrarotstrahlung können Objekte erkannt werden. Da jedoch die Infrarotsensorik lediglich einfarbige Bilddarstellungen ermöglicht, welche typischerweise Graustufenbilder sind, ist die Bilddarstellung aufgrund fehlender Farbinformationen unrealistisch und für den Fahrer infolgedessen die Straßenverkehrssituation schwierig zu erkennen. Auch dazu geschaltete Farbsensoren erfassen eine Nachtsicht im Wesentlichen in grau oder in dunklen Farben, sodass diese nur unwesentlich zur verbesserten Darstellung beitragen.
Die DE 60 2004 012353 T2 offenbart ein Verfahren und ein System zum Erkennen einer Straßenszene bei Nacht für Kraftfahrzeuge, mit wenigstens einer Projektionsvorrichtung, die ein Infrarotlicht in Richtung der Straßenszene aussendet, und einem ersten Sensor zum Erfassen eines ersten Bildes der Straßenszene, wobei der erste Sensor ein Farbsensor ist, der im Wesentlichen Strahlung im sichtbaren Bereich erfasst, wobei das System ferner umfasst: einen zweiten Monochromsensor zum Erfassen eines zweiten Infrarotbildes der Straßenszene, wobei das erste Bild ein Bild mit realen Farben im sichtbaren Bereich ist, und das zweite Bild ein monochromes Bild im Infrarotbereich ist, ein Bildverarbeitungsmittel zum Kombinieren des ersten Bildes mit dem zweiten Bild, wobei für ein und dasselbe vorbestimmte, zu erfassende Objekt die Empfindlichkeit des ersten Sensors wenigstens zehnmal geringer ist als die des zweiten Sensors, so dass das Nachtsichtsystem so ausgebildet ist, dass das von dem Farbsensor erfasste Bild keinen durch eine Blendung des ersten Sensors verursachten Lichthof aufweist.
Die DE 103 48 109 A1 offenbart ein Verfahren zur Sichtbarmachung einer Fahrzeugumgebung, insbesondere zur Erfassung und Darstellung der vor einem Fahrer liegenden Verkehrssituation mit einem Nachtsichtinformationssystem, bei dem weitgehend orts- und zeitgleiche Videobilder aus unterschiedlichen Spektralbereichen fusioniert werden, und bei dem bei der Fusion der Videobilder die unterschiedlichen Spektralbereiche mit Wichtungsfaktoren versehen werden.
Ausgehend vom Stand der Technik ist es eine Aufgabe der Erfindung Mittel anzugeben, die den Fahrer insbesondere während einer Nachtfahrt unterstützen.
Diese Aufgabe wird durch eine Bildverarbeitungseinrichtung mit den Merkmalen des Anspruchs 1 sowie ein Verfahren mit den Merkmalen des Anspruchs 11 gelöst. Ferner wird die Aufgabe gelöst durch ein Computerprogramm mit den Merkmalen des Anspruchs 14.
In den Unteransprüchen sind weitere vorteilhafte Maßnahmen aufgelistet, die beliebig geeignet miteinander kombiniert werden können, um weitere Vorteile zu erzielen.
Die Aufgabe wird gelöst durch eine Bildverarbeitungseinrichtung zur Verbesserung einer Nachtsicht eines Fahrers für ein Fahrzeug, umfassend eine erste Detektionseinheit zur Erfassung eines ersten Umgebungsbildes im Infrarotbereich von einem ersten Fahrzeugumgebungsbereich, sowie eine zweite Detektionseinheit zur Erfassung eines zweiten Umgebungsbildes mit realen Farben im sichtbaren Bereich von einem zweiten Fahrzeugumgebungsbereich, wobei die erste Detektionseinheit und die zweite Detektionseinheit derart angeordnet sind, dass sich das zweite Umgebungsbild zumindest teilweise mit dem ersten Umgebungsbild in einem Bildüberlappungsbereich überlappt, eine Bildverarbeitungseinheit, zur Verarbeitung des ersten Umgebungsbildes und des zweiten Umgebungsbildes, und wobei die zweite Detektionseinheit einen Infrarot-Sperrfilter zur Filterung der Infrarotstrahlung aufweist und die Bildverarbeitungseinheit dazu ausgestaltet ist, mittels eines Generativen Modells ein Tagbild von zumindest dem Bildüberlappungsbereich zu erzeugen.
Ein Tagbild ist das Farbbild einer Szene, dass der Fahrer bei Tageslicht sieht. Insbesondere ist das Tagbild ein rekonstruiertes Tagbild. Ein rekonstruiertes Tagbild ist ein rekonstruiertes Bild des Straßenverkehrs etc., dass der Fahrer bei Tageslicht sehen würde. Mittels der Erfindung werden quasi aus den Nachtbildern diejenigen Bilder hergestellt, die der Fahrer bei Tag sehen würde.
Vorzugsweise wird der komplette Bildüberlappungsbereich als Tagbild dargestellt. Insbesondere bevorzugt wird der fusionierte Bildüberlappungsbereich, bestehend aus fusioniertem ersten und zweiten Umgebungsbild als Tagbild dargestellt.
Die erste Detektionseinheit als auch die zweite Detektionseinheit sind vorzugsweise als Sensoren oder Sensorsystem ausgestaltet.
Dabei ist die erste Detektionseinheit zur Erfassung eines ersten Umgebungsbildes eines ersten Fahrzeugumgebungsbereichs im Infrarotbereich ausgestaltet. Vorzugsweise ist die erste Detektionseinheit als ein oder mehrere Infrarotsensoren (IR-Sensor) ausgestaltet.
Vorzugsweise ist die zweite Detektionseinheit als ein Bildsensor zur Aufnahme eines Bildes mit realen Farben im sichtbaren Bereich ausgebildet.
Ein Generatives Modell ist hier vorzugsweise als ein Generative Adversarial Networks (GANs) ausgebildet. Generative Adversarial Networks stellen eine Gruppe von Algorithmen zum unüberwachtem Lernen dar. Unüberwachtes Lernen bezeichnet maschinelles Lernen ohne im Voraus bekannte Zielwerte sowie ohne Belohnung durch die Umwelt. Ein solcher Algorithmus eignet sich besonders gut zu Bildertransformation.
Erfindungsgemäß wurde erkannt, dass für eine realistische Umwandlung von Nachtbildern in Tagbildern durch ein Generatives Modell eine erste Detektionseinheit mit einem ersten Umgebungsbild und eine zweite Detektionseinheit mit einem zweiten Umgebungsbild benötigt wird. Dabei wurde erkannt, dass die erste Detektionseinheit zur Detektion von Infrarotstrahlung ausgestaltet sein muss, vorzugsweise als ein IR (Infrarot)-Sensor, wodurch die erste Detektionseinheit eine hohe Nachtsichtfähigkeit mit hoher Kontrastfähigkeit besitzt, jedoch eine schlechte Farbwiedergabe aufweist.
Erfindungsgemäß wurde weiter erkannt, dass die zweite Detektionseinheit Aufnahmen mit realen Farben im sichtbaren Bereich liefern muss, so dass diese die schlechte Farbwiedergabe der ersten Detektionseinheit durch eine sehr gute Farbwiedergabe desselben oder nahezu desselben Umgebungsbildes kompensiert. Eine solche zweite Detektionseinheit verfügt jedoch über eine geringe Kontrastfähigkeit, welche jedoch durch die erste Detektionseinheit ausgeglichen wird. Es wurde erkannt, dass diese Kombination aus der ersten Detektionseinheit mit der zweiten Detektionseinheit die jeweiligen Nachteile der ersten Detektionseinheit kompensiert und vice versa. Dabei ist eine wesentliche Erkenntnis, dass eine Umwandlung von Infrarotbildern, das heißt ein durch beispielsweise einen IR-Sensor aufgenommenes Umgebungsbild, die reale Farbdarstellung verfälschen kann und es nicht möglich ist, dies durch Bildumwandlungsverfahren zu kompensieren. Erfindungsgemäß weist daher die zweite Detektionseinheit einen Infrarot-Sperrfilter auf, so dass keine Photonen aus dem Infrarotspektrum auf die zweite Detektionseinheit treffen können und die realen Farben verfälschen können.
Erfindungsgemäß wurde erkannt, dass es erst durch eine Fusion des ersten Umgebungsbildes im Infrarotbereich mit dem zweiten Umgebungsbild mit realen Farben im sichtbaren Bereich zu einem Bildüberlappungsbereich und einer anschließenden Anwendung des Generativen Modells auf diesen Bildüberlappungsbereich möglich ist, ein realistisches Tagbild des vorhandenen Nachtbildes zu rekonstruieren. Es wurde erkannt, dass um, diese Fusion zu optimieren und ein optimales Ergebnis zu erzielen, die zweite Detektionseinheit einen Infrarot-Sperrfilter aufweisen muss.
Erst durch den erfindungsgemäßen Infrarot-Sperrfilter kann die realitätsnahe Farbwiedergabe erhöht werden und die fehlende Farbdarstellung der ersten Detektionseinheit kompensiert werden. Durch eine Kombination dieser beiden Umgebungsbilder und der Anwendung des Generativen Modells, ist es nun möglich den Bildüberlappungsbereich als rekonstruiertes Tagbild darzustellen.
Insbesondere in der Nacht kann somit eine erhebliche Verbesserung der erfassten Umgebung erreicht werden. Durch ein rekonstruiertes Tagbild zumindest des Bildüberlappungsbereiches und beispielsweise Darstellung des Tagbildes auf einer Anzeigeeinheit kann der Fahrer die Verkehrssituation realistisch und schnell einschätzen.
Durch die Erfindung ist es möglich ein Tagbild zumindest des Bildüberlappungsbereiches in Echtzeit zu erzeugen.
Vorzugsweise ist das erste Umgebungsbild als ein Nachtbild des ersten Fahrzeugumgebungsbereiches und das zweite Umgebungsbild als ein Nachtbild des zweiten Fahrzeugumgebungsbereiches ausgestaltet. Dabei bedeutet Nachtbild, dass die Bildaufnahme bei Nacht oder Dämmerung oder Dunkelheit vorgenommen wird.
Vorzugsweise sind die erste Detektionseinheit und die zweite Detektionseinheit im Wesentlichen baugleich ausgeführt. Dabei bedeutet baugleich, dass zwar die erste Detektionseinheit zur Aufnahme von Infrarotstrahlung und die zweite Detektionseinheit zur Aufnahme von sichtbarem Licht und mit einem Infrarot-Sperrfilter ausgebildet ist, ansonsten aber eine baugleiche Art vorliegt. Beispielsweise können beide Detektionseinheiten als CCD-Sensor (charge-coupled device)-Bildsensoren, oder als farbsensible Sensoren zur Aufnahme von IR-Strahlung und sichtbarer Strahlung, oder als Siliziumsensoren, oder als CMOS (Active Pixel Sensor) -Sensor etc. ausgestaltet sein.
Vorzugsweise ist das Generative Modell als Generative Adversarial Networks (GANs) mit einem multimodalen Generator und mit einem Diskriminator, ausgestaltet, wobei das Generative Adversarial Networks vorzugsweise zwei künstliche neuronale Netze umfasst, wobei die zwei künstlichen neuronalen Netze im Gegenspiel zueinander agieren und so voneinander lernen. Das erste neuronale Netz wird als Generator bezeichnet, welches die Eingaben umwandelt, das zweite neuronale Netz, der Diskriminator, bewertet die umgewandelten Eingaben.
GANs besteht damit vorzugsweise aus zwei neuronalen künstlichen Netzen: Dem Generator, welcher versucht, möglichst realitätsgetreue Daten zu generieren, und dem Diskriminator, welcher das Ziel hat, die vom Generator künstlich erzeugten Daten von realen Bildern zu unterscheiden.
Vorzugsweise weist der multimodale Generator eine Extraktionszwischenschicht, einen multimodalen Encoder, eine Fusionszwischenschicht und einen multimodalen Decoder auf.
Vorzugsweise ist der multimodale Generator derart ausgestaltet, dass die Extraktionszwischenschicht aus dem Bildüberlappungsbereich gleiche Merkmale extrahiert, die Fusionszwischenschicht die gleichen Merkmale fusioniert, welche anschließend dem Encoder zur Transformation in latente Variablen zugeführt werden, wobei die latente Variablen dem Decoder zur Transformation in das Tagbild zugeführt werden.
Dabei bedeutet gleich, dass die Merkmale identisch oder nahezu identisch sind. Typischerweise bildet der Encoder die Eingaben in einer Vorwärtstransformation als latente Variablen auf den gewünschten Ergebnisraum ab, die dem Decoder anschließend zu einer Rückwärtstransformation zugeführt werden. Das Ziel des Generators ist es zu lernen, Ergebnisse nach einer bestimmten Verteilung zu erzeugen. Der Diskriminator wird hingegen darauf trainiert, die Ergebnisse des Generators von den Daten aus der echten, vorgegebenen Verteilung zu unterscheiden. Die Zielfunktion des Generators besteht dann darin, Ergebnisse zu erzeugen, die der Diskriminator nicht unterscheiden kann. Dadurch soll sich die erzeugte Verteilung nach und nach der echten Verteilung angleichen.
Weiterhin vorzugsweise ist eine Projektionsvorrichtung, als aktive Infrarotbeleuchtung, zum Aussenden von Infrarotstrahlung in den ersten Fahrzeugumgebungsbereich vorgesehen, wobei die Infrarotstrahlung an Objekten in dem ersten Fahrzeugumgebungsbereich reflektiert wird. Die erste Detektionseinheit ist zum Erfassen der an Objekten reflektierten Infrarotstrahlung ausgestaltet. Dadurch kann das Tagbild im Ergebnis verbessert werden. Die Projektionsvorrichtung kann zum Beispiel als eine oder mehrere Glühlampen, eine oder mehrere im Infrarotbereich arbeitenden Leuchtdioden oder eine oder mehreren Laserdioden ausgestaltet sein oder diese umfassen.
Vorzugsweise ist eine Anzeigeeinheit zur Darstellung zumindest des Bildüberlappungsbereiches für den Fahrer vorgesehen. Dies kann vorzugsweise ein Head-Up-Display sein.
Vorzugsweise sind die erste Detektionseinheit und die zweite Detektionseinheit derart angeordnet, dass das zweite Umgebungsbild im Wesentlichen identisch mit dem ersten Umgebungsbild ist. Im Wesentlichen heißt hier, dass sich das zweite Umgebungsbild mit dem ersten Umgebungsbild nahezu überlappt. Dadurch lässt sich ein hinreichend, zur Unterstützung des Fahrers bei einer Nachtfahrt, großes Tagbild erzeugen.
Die Aufgabe wird ferner gelöst durch ein Verfahren für ein Fahrzeug zur Verbesserung einer Nachtsicht eines Fahrers mit den Schritten:

- Erfassen eines ersten Umgebungsbildes eines ersten Fahrzeugumgebungsbereichs im Infrarotbereich mit einer ersten Detektionseinheit,
- Erfassen eines zweiten Umgebungsbildes eines zweiten Fahrzeugumgebungsbereichs mit realen Farben im sichtbaren Bereich mit einer zweiten Detektionseinheit, welche einen Infrarot-Sperrfilter zur Filterung der Infrarotstrahlung aufweist, wobei die erste Detektionseinheit und die zweite Detektionseinheit derart angeordnet sind, dass sich das zweite Umgebungsbild zumindest teilweise mit dem ersten Umgebungsbild in einem Bildüberlappungsbereich überlappt,
- Zuführen des ersten Umgebungsbildes und des zweiten Umgebungsbildes zu einer Bildverarbeitungseinheit zur Verarbeitung,
- Erzeugen eines Tagbildes von zumindest dem Bildüberlappungsbereich mittels eines Generativen Modells durch die Bildverarbeitungseinheit.

Insbesondere ist das Verfahren zur Durchführung auf der erfindungsgemäßen Bildverarbeitungseinrichtung ausgestaltet. Die Vorteile der Bildverarbeitungseinrichtung können auch auf das Verfahren übertragen werden.
Weiterhin bevorzugt wird das Generative Modell als Generative Adversarial Networks mit einem multimodalen Generator, welcher eine Extraktionszwischenschicht, einen multimodalen Encoder, eine Fusionszwischenschicht und einen multimodalen Decoder aufweist, und mit einem Diskriminator ausgebildet.
Durch Verwendung eines solchen Verfahrens kann das Tagbild in Echtzeit erzeugt werden.
Bevorzugt umfasst das Verfahren die Schritte:

- Extrahieren von gleichen Merkmalen aus dem Bildüberlappungsbereich durch eine Extraktionszwischenschicht und zuführen der gleichen Merkmale zu der Fusionszwischenschicht,
- Fusionieren der gleichen Merkmale durch die Fusionszwischenschicht zu einem fusionierten Merkmal und zuführen des fusionierten Merkmals zu dem Encoder,
- Umwandeln des fusionierten Merkmals in latente Variablen durch vorwärtstransformieren des fusionierten Merkmals durch den Encoder,
- Zuführen der latenten Variablen zu dem Decoder und rückwärtstransformieren der latenten Variablen durch den Decoder in das Tagbild.

Dabei bedeutet gleiche Merkmale, dass die Merkmale identisch oder nahezu identisch sind.
Ferner wird die Aufgabe gelöst durch ein Computerprogramm, umfassend Befehle, die bewirken, dass die wie oben beschriebene Bildverarbeitungseinrichtung das obige Verfahren aufweist.
Das erfindungsgemäße Computerprogramm kann beispielsweise über ein Netz wie das Internet, und/oder ein lokales Netz an dafür vorgesehene Fahrzeuge, welche eine solche Bildverarbeitungseinrichtung aufweisen, verteilt werden. Ferner kann es als Update in Werkstätten in Fahrzeuge eingespielt werden. Das erfindungsgemäße Computerprogramm kann beispielsweise auf einem computerlesbaren Speichermedium gespeichert sein, z. B. einem berührbaren, magnetischen, elektrischen, elektromagnetischen, optischen und/oder andersartigen Speichermedium oder als Datenträgersignal ausgebildet sein.
Weitere Merkmale, Eigenschaften und Vorteile der vorliegenden Erfindung ergeben sich aus der nachfolgenden Beschreibung unter Bezugnahme auf die beiliegenden Figuren. Darin zeigen schematisch:

1: das Verfahren in einer ersten Ausgestaltung,
2: eine erfindungsgemäße Bildverarbeitungseinrichtung,
3: die Bildverarbeitungseinheit im Detail,
4: ein Fahrzeug während einer Nachtfahrt mit einer ersten Detektionseinheit und einer zweiten Detektionseinheit,
5: schematisch das Verfahren mit der Bildverarbeitungseinrichtung.

Obwohl die Erfindung im Detail durch die bevorzugten Ausführungsbeispiele näher illustriert und beschrieben wurde, ist die Erfindung nicht durch die offenbarten Beispiele eingeschränkt. Variationen hiervon können vom Fachmann abgeleitet werden, ohne den Schutzumfang der Erfindung, wie er durch die nachfolgenden Patentansprüche definiert wird, zu verlassen.
1 zeigt das erfindungsgemäße Verfahren für ein Fahrzeug 1 (2) zur Verbesserung einer Nachtsicht eines Fahrers in einer ersten Ausgestaltung.
In einem ersten Schritt S1 wird eine erste Detektionseinheit 4 (2) zur Erfassung eines ersten Umgebungsbildes 14 (4) eines ersten Fahrzeugumgebungsbereichs im Infrarotbereich zur Verfügung gestellt. Die erste Detektionseinheit 4 (2) ist dabei bevorzugt als Infrarotsensor (IR-Sensor) oder als ein System bestehend aus Infrarotsensoren ausgebildet. Ein solcher Infrarot-Sensor kann als passiver Infrarotsensor, welcher keine Infrarotstrahlung aussendet oder aktiver Infrarot-Sensor, welcher selbst Infrarotstrahlung aussendet, ausgebildet sein. Vorzugsweise ist der Infrarot-Sensor als Infrarot-Bildsensor ausgebildet. Vorzugsweise ist die erste Detektionseinheit 4 (2) fest am Fahrzeug 1 (2) angeordnet und nimmt als Fahrzeugumgebungsbereich den vor dem Fahrer liegenden Frontbereichsansicht/Voraussichtbereich als erstes Umgebungsbild 14 (4) auf.
Durch die Ausbildung als Infrarot-Sensor weist die erste Detektionseinheit 4 (2) eine hohe Nachtsichtfähigkeit auf, jedoch aber eine schlechte Farbwiedergabe.
Es kann zudem eine Projektionsvorrichtung (nicht gezeigt) zum Aussenden von Infrarotstrahlung in den ersten Fahrzeugumgebungsbereich vorgesehen sein, wobei die Infrarotstrahlung an Objekten in dem Fahrzeugumgebungsbereich reflektiert wird und von der ersten Detektionseinheit 4 (2) erfasst werden kann. Dadurch kann die Nachtsichtfähigkeit der ersten Detektionseinheit 4 (2) erhöht werden. Es kann somit ein verbessertes erstes Umgebungsbild 14 (4) erzielt werden.
Ferner wird eine zweite Detektionseinheit 5 (2) zur Verfügung gestellt, welche dazu ausgebildet ist, einen zweiten Fahrzeugumgebungsbereich als zweites Umgebungsbild 15 (4) mit realen Farben im sichtbaren Bereich zu erzeugen. Die zweite Detektionseinheit 5 (2) kann als Bildsensor, insbesondere als farbsensibler Sensor, ausgebildet sein.
Bildsensoren können dabei zur Erfassung von sichtbarem Licht als auch zur Erfassung von Infrarotstrahlung ausgebildet sein. Solche Sensoren sind beispielsweise Siliziumsensoren, welche ein relativ geringes Bildrauschen aufweisen. Ferner können die Sensoren als CCD (charge-coupled device) Sensor oder CMOS (Active Pixel Sensor) ausgebildet sein.
Dabei weist die zweite Detektionseinheit 5 (2) einen Infrarot-Sperrfilter zur Filterung der Infrarotstrahlung auf. Dieser ist bevorzugt in der zweiten Detektionseinheit 5 (2) integriert und vermeidet das Einfallen von Infrarotstrahlung. Der Infrarot-Sperrfilter wird auch Infrarot-Cut-Filter genannt. Damit werden störende Einflüsse der Infrarotstrahlung bei der Aufnahme vermieden. Störende Einflüsse können beispielsweise zur Unschärfe oder zur Farbverfälschung führen. Ein solcher Infrarot-Sperrfilter kann als Interferenzfilter ausgebildet sein. Weist ein Sensor keinen Infrarot-Sperrfilter auf, so treffen Photonen aus dem Infrarot-Spektrum auf den Sensor und verfälschen so die realen Farben. Dies kann nicht, durch beispielsweise Algorithmik, kompensiert werden.
Somit kann durch den Infrarot-Sperrfilter die realitätsnahe Farbwiedergabe erhöht werden, allerdings verschlechtert sich dadurch der Kontrast des zweiten Umgebungsbildes 15 (4) und weist einen sehr hohen Schwarz-Anteil bei Nacht auf.
Durch die Verwendung der ersten Detektionseinheit 4 (2) und der zweiten Detektionseinheit 5 (2) zur Aufnahme im Wesentlichen des gleichen Umgebungsbildes 14, 15 (4) und anschließender Fusion dieser Umgebungsbilder 14,15 (4) zu einem Bildüberlappungsbereich 13 (4) werden die Fehler/Schwachstellen der jeweiligen Detektionseinheit kompensiert. So kompensiert die erste Detektionseinheit 4 (2) die schlechte Nachtsichtfähigkeit der zweiten Detektionseinheit 5 (2) durch eine sehr gute Nachtsichtfähigkeit. Ferner kompensiert die zweite Detektionseinheit 5 (2), dass die erste Detektionseinheit 4 (2) keine farbliche Wiedergabe eines Umgebungsbildes liefern kann. Die zweite Detektionseinheit 5 (2) hat hierfür eine sehr gute Farbwiedergabe, welche zur Bestimmung der realen Farben der Objekte herangezogen wird. Um diese Farbwiedergabe nicht zu verfälschen, weist die zweite Detektionseinheit 5 (2) den Infrarot-Sperrfilter auf.
Um im Wesentlichen das gleiche Umgebungsbild zu erzeugen und eine anschließende Fusion zu vereinfachen, sind die erste Detektionseinheit 4 (2) und die zweite Detektionseinheit 5 (2) baugleich, beispielsweise als baugleicher CMOS (Active Pixel Sensor) -Sensor, ausgeführt.
Ferner sind die erste Detektionseinheit 4 (2) und die zweite Detektionseinheit 5 (2) so am Fahrzeug 1 (2) angeordnet, dass diese die gleiche Fahrzeugumgebung aufnehmen.
Anschließend wird in einem zweiten Schritt S2 eine Bildverarbeitungseinheit 6 ( 3) mit einem Generative Adversarial Networks zur Verfügung gestellt. Ein Generative Adversarial Networks (GANS) besteht aus zwei künstlichen neuronalen Netzen, welche gegeneinander arbeiten. Dabei umfasst das erste künstliche neuronale Netz einen multimodalen Generator und das zweite künstliche neuronale Netz einen Diskriminator.
Der Generator versucht dabei möglichst realitätsgetreue Daten zu generieren. Der Diskriminator hat als Ziel, die vom Generator künstlich erzeugten Daten von realen Bildern zu unterscheiden. Im Laufe des Trainings erzeugt der Generator zunehmend bessere Bilddaten, um den Diskriminator zu einer Fehlentscheidung zu bringen. Dieser dagegen lernt echte Bilder von künstlichen Bildern immer sicherer zu unterscheiden, wodurch der Generator gezwungen ist, zunehmend geeignetere Bilder zu generieren.
Der Generator umfasst eine Extraktionszwischenschicht und eine Fusionszwischenschicht sowie einen Encoder und einen Decoder.
Dem Generator wird das erste Umgebungsbild 14 (4) und das zweite Umgebungsbild 15 (4) zugeführt. Die Extraktionszwischenschicht extrahiert gleiche oder nahezu identische Merkmale aus dem Bildüberlappungsbereich 13 (4), welche anschließend durch die Fusionszwischenschicht zu einem fusionierten Merkmal fusioniert werden.
In einem dritten Schritt S3 werden die fusionierten Merkmale dem Encoder zugeführt. Mittels einer Vorwärtstransformation werden die fusionierten Merkmale in einen latenten Raum als latente Variablen Z durch den Encoder transformiert.
In einem vierten Schritt S4 werden die vom Encoder generierten latenten Variablen Z dem Decoder zugeführt. Dieser rekonstruiert aus den latenten Variablen Z mittels einer Rückwärtstransformation das Tagbild.
Die Rückwärtstransformation und die Vorwärtstransformation wird unter Verwendung des Diskriminators erlernt. Um diese Transformationen zu erlernen, wird ein gegnerischer Diskriminator verwendet. Dieser ist darauf trainiert, reale Bilder von den generierten Bildern unter Verwendung einer Verlustfunktion zu unterscheiden. Nach Erlernen der Transformationen kann mithilfe des Generative Adversarial Networks ein rekonstruiertes Tagbild von zumindest dem Bildüberlappungsbereich 13 (4) erstellt werden.
In einem fünften Schritt S5 wird das rekonstruierte Tagbild auf eine Anzeigeeinheit, insbesondere einem Head-Up Display 12 (3), dem Fahrer angezeigt.
2 zeigt ein Fahrzeug 1 mit einem Fahrerassistenzsystem 2, welches eine erfindungsgemäße Bildverarbeitungseinrichtung 3 zur Verbesserung einer Nachtsicht eines Fahrers für das Fahrzeug 1 aufweist. Die Bildverarbeitungseinrichtung 3 weist die erste Detektionseinheit 4 zur Erfassung des ersten Umgebungsbildes 14 (4) des ersten Fahrzeugumgebungsbereichs, welche hier die Voraussicht ist, im Infrarotbereich auf. Die erste Detektionseinheit 4 ist vorzugsweise als Infrarotsensor ausgestaltet.
Ferner umfasst die Bildverarbeitungseinrichtung 3 die am Fahrzeug 1 angeordnete zweite Detektionseinheit 5, die eine Erfassung des zweiten Umgebungsbildes 15 (4) ermöglicht, wobei das zweite Umgebungsbild 15 (4) nahezu identisch mit dem ersten Umgebungsbild 14 (4) ist. Die zweite Detektionseinheit 5 erfasst das zweite Umgebungsbild 15 (4) mit realen Farben im sichtbaren Bereich. Ferner umfasst die zweite Detektionseinheit 5 einen Infrarot-Sperrfilter, auch Infrarot-Cut-Filter genannt, der das Einfallen von Infrarotstrahlung vermeidet. Damit werden störende Einflüsse der Infrarotstrahlung auf die Abbildungsqualität der zweiten Detektionseinheit 5 vermieden. Somit können Farbverfälschungen vermieden werden.
Ferner umfasst die Bildverarbeitungseinrichtung 3 eine Bildverarbeitungseinheit 6, zur Verarbeitung des ersten Umgebungsbildes 14 (4) und des zweiten Umgebungsbildes 15 (4) mittels GANs. Dabei kann lediglich der Bildüberlappungsbereich 13 (4) des ersten Umgebungsbildes 14 (4) und des zweiten Umgebungsbildes 15 (4) oder das fusionierte erste Umgebungsbild (4) und zweite Umgebungsbild 15 (4) als rekonstruiertes Tagbild 18 (5) angezeigt werden. Weiterhin umfasst das Fahrzeug 1 eine Anzeigeeinheit, vorzugsweise ein Head-Up-Display 12 (3). Das Head-Up-Display 12 (3) ist dazu ausgebildet, das rekonstruierte Tagbild 18 (5) anzuzeigen.
In 3 ist eine solche Bildverarbeitungseinheit 6 beispielshaft gezeigt. Die Bildverarbeitungseinheit 6 weist einen Mikrocomputer 7 auf, der gemäß einem vorgegebenen Programm betrieben wird. Der Mikrocomputer 7 weist eine Zentralverarbeitungseinheit (CPU) 8 auf, die verschiedene Arten des Verarbeitens und Steuerns gemäß einem vorgegebenen Programm durchführt, ein ROM 9, das ein Nur-Lese-Speicher ist, in dem Programme für die CPU 8 gespeichert sind, und ein RAM 10, das ein lesbarer/schreibbarer Speicher ist, in dem verschiedene Arten von Daten gespeichert sind. Auf dem ROM 9 kann zur Ausführung auf der CPU 8 das GANs gespeichert sein.
Die Bildverarbeitungseinheit 6 weist ferner eine Schnittstelle 11 auf, die mit dem Mikrocomputer 7 gekoppelt ist. Die Schnittstelle 11 ist zudem mit der ersten Detektionseinheit 4 und der zweiten Detektionseinheit 5 gekoppelt, zum Transfer des ersten Umgebungsbildes 14 (4) und zweiten Umgebungsbildes 15 (4) sowie gegebenenfalls weiterer Daten an den Mikrocomputer 7. Ferner ist die Schnittstelle 11 mit dem Head-Up-Display 12 zum Transfer des rekonstruierten Tagbildes 18 (5) sowie gegebenenfalls weiterer Daten an das Head-Up-Display 12, gekoppelt. Das Head-Up-Display 12 ist dazu ausgebildet, das rekonstruierte Tagbild 18 (5) darzustellen.
4 zeigt das Fahrzeug 1 während einer Nachtfahrt mit der ersten Detektionseinheit 4 und der zweiten Detektionseinheit 5. Die erste Detektionseinheit 4 nimmt dabei das erste Umgebungsbild 14 auf und die zweite Detektionseinheit 5 das zweite Umgebungsbild 15. Dabei überlappen sich das erste Umgebungsbild 14 und das zweite Umgebungsbild 15 in einem Bildüberlappungsbereich 13. Die Bildverarbeitungseinrichtung 3 (2) ist dazu ausgebildet, zumindest diesen Bildüberlappungsbereich 13 in ein rekonstruiertes Tagbild 18 (5) umzuwandeln. Das rekonstruierte Tagbild 18 (5) kann auf dem Head-Up-Display 12 dargestellt werden. Ferner kann die Bildverarbeitungseinrichtung 3 auch dazu ausgestaltet sein, das erste Umgebungsbild 14 und das zweite Umgebungsbild 15 zu fusionieren, und das fusionierte Umgebungsbild als rekonstruiertes Tagbild 18 (5) anzuzeigen. Dabei ist das erste Umgebungsbild 14 und das zweite Umgebungsbild 15 als Voraussicht/Frontbereichsansicht des Fahrzeugs 1 ausgebildet.
5 zeigt schematisch den Generator der Bildverarbeitungseinrichtung 3 (2). Hier wurde durch die erste Detektionseinheit 4 (2) ein Infrarotbild 16 aufgenommen, welches eine Fahrzeugumgebung bei einer Nachtfahrt zeigt. Ferner wurde ein Farbbild 17 mit der zweiten Detektionseinheit 5 (2) aufgenommen, welches die Fahrzeugumgebung bei Nacht zeigt. Das Infrarotbild 16 und das Farbbild 17 werden nun der Bildverarbeitungseinrichtung 3 (2) mit dem Generative Adversarial Networks mit dem trainierten Generator zugeführt. Die Extraktionszwischenschicht des Generators extrahiert gleiche oder nahezu identische Merkmale aus dem Bildüberlappungsbereich 13 (4), welche anschließend durch die Fusionszwischenschicht zu einem fusionierten Merkmal fusioniert werden. Die fusionierten Merkmale werden dem Encoder zugeführt. Mittels einer Vorwärtstransformation werden die Merkmale in einen latenten Raum als latente Variablen Z transformiert. Die vom Encoder generierten latenten Variablen Z werden dem Decoder zugeführt. Dieser rekonstruiert mittels einer Rückwärtstransformation das Tagbild 18.
Die Bildverarbeitungseinrichtung 3 (2) mit dem Generative Adversarial Networks transformiert somit das Infrarotbild 16 und das Farbbild 17 in das Tagbild 18. Das Tagbild 18 wird nun auf dem Head-Up-Display 12 (3) angezeigt.
Mit der hohen Infrarotempfindlichkeit der ersten Detektionseinheit 4 (2) und der detailgetreuen Farbwiedergabe der zweiten Detektionseinheit 5 (2) ist es durch die Bildverarbeitungseinrichtung 3 (2) möglich, eine Nachtsicht darzustellen, die die Nacht zum Tag macht. Die erste Detektionseinheit 4 (2) als auch die zweite Detektionseinheit 5 (2) können auch derart ausgestaltet sein, dass diese ein 360° Surround View liefern, welche mittels der Bildverarbeitungseinrichtung 3 (2) als Tag- 360° Surround View transformiert wird.
Durch die Bildverarbeitungseinrichtung 3 (2) lässt sich die Anzeige des Nachtbildes wesentlich verbessern und steigert somit die Sicherheit bei Nachtfahrten. Der Fahrer sieht die Nacht wie am Tag.
Bezugszeichenliste

1: Fahrzeug
2: Fahrerassistenzsystem
3: Bildverarbeitungseinrichtung
4: erste Detektionseinheit
5: zweite Detektionseinheit
6: Bildverarbeitungseinheit
7: Mikrocomputer
8: Zentralverarbeitungseinheit
9: ROM
10: RAM
11: Schnittstelle
12: Head-Up-Display
13: Bildüberlappungsbereich
14: erstes Umgebungsbild
15: zweites Umgebungsbild
16: Infrarotbild
17: Farbbild
18: Tagbild
S1,...,S5: Verfahrensschritte

Claims

Bildverarbeitungseinrichtung (3) zur Verbesserung einer Nachtsicht eines Fahrers für ein Fahrzeug (1) umfassend eine erste Detektionseinheit (4) zur Erfassung eines ersten Umgebungsbildes (14) im Infrarotbereich von einem ersten Fahrzeugumgebungsbereich, sowie eine zweite Detektionseinheit (5) zur Erfassung eines zweiten Umgebungsbildes (15) mit realen Farben im sichtbaren Bereich von einem zweiten Fahrzeugumgebungsbereich, wobei die erste Detektionseinheit (4) und die zweite Detektionseinheit (5) derart angeordnet sind, dass sich das zweite Umgebungsbild (15) zumindest teilweise mit dem ersten Umgebungsbild (14) in einem Bildüberlappungsbereich (13) überlappt, sowie eine Bildverarbeitungseinheit (6), zur Verarbeitung des ersten Umgebungsbildes (14) und des zweiten Umgebungsbildes (15), dadurch gekennzeichnet, dass die zweite Detektionseinheit (5) einen Infrarot-Sperrfilter zur Filterung der Infrarotstrahlung aufweist und die Bildverarbeitungseinheit (6) dazu ausgestaltet ist, mittels eines Generativen Modells ein Tagbild (18) von zumindest dem Bildüberlappungsbereich (13) zu erzeugen.
Bildverarbeitungseinrichtung (3) nach Anspruch 1, dadurch gekennzeichnet, dass das erste Umgebungsbild (14) als ein Nachtbild des ersten Fahrzeugumgebungsbereiches und das zweite Umgebungsbild (15) als ein Nachtbild des zweiten Fahrzeugumgebungsbereiches ausgestaltet ist.
Bildverarbeitungseinrichtung (3) nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass die erste Detektionseinheit (4) und die zweite Detektionseinheit (5) baugleich ausgeführt sind.
Bildverarbeitungseinrichtung (3) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Generative Modell als Generative Adversarial Networks (GANs) mit einem multimodalen Generator und mit einem Diskriminator ausgestaltet ist.
Bildverarbeitungseinrichtung (3) nach Anspruch 4, dadurch gekennzeichnet, dass der multimodale Generator als ein erstes künstliches neuronales Netz und der Diskriminator als ein zweites künstliches neuronales Netz ausgebildet ist.
Bildverarbeitungseinrichtung (3) nach Anspruch 4 oder 5, dadurch gekennzeichnet, dass der multimodale Generator eine Extraktionszwischenschicht, einen multimodalen Encoder, eine Fusionszwischenschicht und einen multimodalen Decoder aufweist.
Bildverarbeitungseinrichtung (3) nach Anspruch 6, dadurch gekennzeichnet, dass der multimodale Generator derart ausgestaltet ist, dass die Extraktionszwischenschicht aus dem Bildüberlappungsbereich (13) gleiche Merkmale extrahiert, die Fusionszwischenschicht die gleichen Merkmale fusioniert, welche anschließend dem Encoder zur Transformation in latente Variablen (Z) zugeführt werden, und welche dem Decoder zur Transformation in das Tagbild (18) zugeführt werden.
Bildverarbeitungseinrichtung (3) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass eine Projektionsvorrichtung zum Aussenden von Infrarotstrahlung in den ersten Fahrzeugumgebungsbereich vorgesehen ist, wobei die Infrarotstrahlung an Objekten in dem ersten Fahrzeugumgebungsbereich reflektiert wird, wobei die erste Detektionseinheit (4) zum Erfassen der an den Objekten reflektierten Infrarotstrahlung ausgestaltet ist.
Bildverarbeitungseinrichtung (3) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass eine Anzeigeeinheit zur Darstellung zumindest des Bildüberlappungsbereiches (13) vorgesehen ist.
Bildverarbeitungseinrichtung (3) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die erste Detektionseinheit (4) und die zweite Detektionseinheit (5) derart angeordnet sind, dass das zweite Umgebungsbild (15) identisch mit dem ersten Umgebungsbild (14) ist.
Verfahren für ein Fahrzeug (1) zur Verbesserung einer Nachtsicht eines Fahrers gekennzeichnet durch die Schritte: - Erfassen eines ersten Umgebungsbildes (14) eines ersten Fahrzeugumgebungsbereichs im Infrarotbereich mit einer ersten Detektionseinheit (4), - Erfassen eines zweiten Umgebungsbildes (15) eines zweiten Fahrzeugumgebungsbereichs mit realen Farben im sichtbaren Bereich mit einer zweiten Detektionseinheit (5), welche einen Infrarot-Sperrfilter zur Filterung der Infrarotstrahlung aufweist, wobei die erste Detektionseinheit (4) und die zweite Detektionseinheit (5) derart angeordnet sind, dass sich das zweite Umgebungsbild (15) zumindest teilweise mit dem ersten Umgebungsbild (14) in einem Bildüberlappungsbereich (13) überlappt, - Zuführen des ersten Umgebungsbildes (14) und des zweiten Umgebungsbildes zu einer Bildverarbeitungseinheit (6) zur Verarbeitung, - Erzeugen eines Tagbildes (18) von zumindest dem Bildüberlappungsbereich (13) mittels eines Generativen Modells durch die Bildverarbeitungseinheit (6).
Verfahren nach Anspruch 11, dadurch gekennzeichnet, dass das Generative Modell als Generative Adversarial Networks mit einem multimodalen Generator, welcher eine Extraktionszwischenschicht, einen multimodalen Encoder, eine Fusionszwischenschicht und einen multimodalen Decoder aufweist, und mit einem Diskriminator ausgebildet wird.
Verfahren nach Anspruch 12, gekennzeichnet durch die Schritte: - Extrahieren von gleichen Merkmalen aus dem Bildüberlappungsbereich (13) durch eine Extraktionszwischenschicht und zuführen der gleichen Merkmale zu der Fusionszwischenschicht, - Fusionieren der gleichen Merkmale durch die Fusionszwischenschicht zu einem fusionierten Merkmal und zuführen des fusionierten Merkmals zu dem Encoder, - Umwandeln des fusionierten Merkmals in latente Variablen (Z) durch vorwärtstransformieren des fusionierten Merkmals durch den Encoder, - Zuführen der latenten Variablen (Z) zu dem Decoder und rückwärtstransformieren der latenten Variablen (Z) durch den Decoder in das Tagbild (18).
Computerprogramm, umfassend Befehle, die bewirken, dass die Bildverarbeitungseinrichtung (3) nach einem der Ansprüche 1 bis 10 das Verfahren nach einem der Ansprüche 11 bis 13 aufweist.