DE102018216806A1

DE102018216806A1 - Konzept zum Aufbereiten von Infrarotbildern

Info

Publication number: DE102018216806A1
Application number: DE102018216806.7A
Authority: DE
Inventors: Sven Klomp; Wolfgang Theimer; Torsten Büschenfeld; Sebastian GEHRLING; Christian Jördens
Original assignee: Volkswagen AG
Current assignee: Volkswagen AG
Priority date: 2018-09-28
Filing date: 2018-09-28
Publication date: 2020-04-02
Also published as: WO2020064521A1; CN112740264A

Abstract

Ein Verfahren, eine Vorrichtung und ein computerlesbares Speichermedium mit Instruktionen zum Verarbeiten eines Infrarotbildes sowie ein Verfahren und ein computerlesbares Speichermedium mit Instruktionen zum Trainieren eines neuronalen Netzes. In einem ersten Schritt (10) wird ein Infrarotbild einer Infrarotkamera eingelesen. Durch Anwenden eines neuronalen Netzes auf das Infrarotbild wird dann ein Ausgangsbild generiert (11). Das neuronale Netz wurde für diese Anwendung zum Filtern von Schatten oder zum Verringern von Beleuchtungseffekten trainiert. Das Ausgangsbild wird schließlich für eine weitere Nutzung ausgegeben (12).

Description

Die vorliegende Erfindung betrifft ein Verfahren, eine Vorrichtung und ein computerlesbares Speichermedium mit Instruktionen zum Verarbeiten eines Infrarotbildes sowie ein Kraftfahrzeug, das ein solches Verfahren oder eine solche Vorrichtung nutzt. Die Erfindung betrifft weiterhin ein Verfahren und ein computerlesbares Speichermedium mit Instruktionen zum Trainieren eines neuronalen Netzes sowie ein neuronales Netz, das mit einem solchen Verfahren trainiert wurde.
Videokonferenzsysteme wurden bereits zu Zeiten von ISDN (Integrated Services Digital Network; Integriertes Sprach- und Datennetz) umgesetzt. Jedoch erfahren solche Systeme erst mit dem Ausbau der Mobilfunkkapazität eine weitere Verbreitung auf mobilen Endgeräten, wie z.B. Smartphones. Auch im PC-Umfeld setzen sich derartige Systeme immer mehr durch, insbesondere im Geschäftssektor. All diese Systeme haben üblicherweise eine Farbkamera, welche den Nutzer frontal aufnimmt.
Derzeit halten Kameras auch in Kraftfahrzeugen zur Innenraumüberwachung Einzug, beispielsweise um den Fahrer aufzunehmen. Der Hauptanwendungsfall einer solchen Kamera ist das automatische Fahren, wo überprüft wird, ob der Fahrer die Fahraufgabe wieder übernehmen kann. Ist eine solche Kamera im Kraftfahrzeug vorhanden, wäre es vorteilhaft, diese Kamera auch für Anwendungen der Videotelefonie zu nutzen. Insbesondere während der automatischen Fahrt ist dies für den Fahrer ein sehr interessanter Anwendungsfall. Jedoch sind die sogenannten Fahrerbeobachtungskameras darauf ausgelegt, auch im Dunkeln zu funktionieren. Um den Fahrer nicht zu blenden, wird eine Beleuchtung im Nahinfrarotbereich bei einer Wellenlänge von ca. 940nm genutzt, welche für das menschliche Auge nicht sichtbar ist. Die Kamera ist entsprechend speziell auf diese Wellenlänge ausgelegt.
Durch die Aufnahme im Nahinfrarotbereich sowie die aktive Beleuchtung von unten auf das Gesicht ist das Bild für Videokonferenzen jedoch weniger geeignet. Es entsteht eine Art „Geistergesicht“ mit einem ungewohnten und unnatürlich wirkenden Schattenbild. Die Augenhöhlen, die sonst meist abgedunkelt sind, erscheinen dabei besonders hell, während der Nasenrücken ungewohnt abgedunkelt ist. Das resultierende Erscheinungsbild ist aus Kundensicht unerwünscht.
Ein weiterer Nachteil besteht darin, dass entsprechende Kameras nur Graustufenbilder liefern, wo hingegen vom Kunden für die Videotelefonie ein Farbbild erwartet wird. Weiterhin wird das Gesicht aufgrund der Einbauposition der Kamera von unten aufgenommen und es besteht kein Blickkontakt zwischen Fahrer und Kamera.
Die genannten Probleme lassen sich aktuell nur durch den Verbau einer zusätzlichen Farbkamera kompensieren, welche gerade auf den Fahrer ausgerichtet ist. Dadurch entstehen jedoch erhebliche Zusatzkosten. Auch die Bereitstellung des zusätzlichen Bauraums stellt ein Problem beim Design des Fahrzeuginnenraumes dar.
Unveränderte Infrarotbilder können dem Kunden lediglich für Spezialanwendungen wie E-Call zugemutet werden. Es ist daher wünschenswert, die verfügbaren Infrarotbilder aufzubereiten und für weitere Anwendungen nutzbar zu machen, insbesondere für die Videotelefonie.
In diesem Zusammenhang beschreibt CN 105023269 A ein Verfahren zum Kolorieren von Infrarotbildern einer Infrarotkamera eines Fahrzeugs. Zunächst werden Infrarotbilder im Fahrzeug gesammelt, um mit diesen einen Klassifikator zu trainieren. Nach erfolgtem Training wird ein zu kolorierendes Infrarotbild an den Klassifikator übergeben, der jeden Pixel klassifiziert und eine Ergebniskarte generiert. Die Ergebniskarte wird in Superpixel segmentiert und für jeden Superpixel wird ein Ergebnishistogramm erstellt. Das vorherrschende Klassifikationsattribut wird jeweils dem gesamten Superpixel zugewiesen, um eine optimierte Ergebniskarte zu generieren. Schließlich wird zunächst ein RGB-Bild der gleichen Größe wie das zu kolorierende Infrarotbild erzeugt und dann der Farbraum des RGB-Bildes in den HSV-Farbraum konvertiert. Auf Basis der optimierten Ergebniskarte und der Grauwerte des Infrarotbildes werden dann die Werte der Pixel des in den HSV-Farbraum konvertierten Bildes festgelegt.
DE 10 2006 044 864 A1 beschreibt ein Verfahren zur rechnergestützten Bildverarbeitung in einem Nachtsichtsystem eines Kraftfahrzeugs. Ein Erfassungsmittel erfasst ein Nachtsichtbild von einer Umgebung des Kraftfahrzeugs. Weitere Erfassungsmittel erfassen Parameter der Umgebung des Kraftfahrzeugs. Aus den Parametern der Umgebung werden Bildbereiche des Nachtsichtbildes ermittelt, welche jeweils mit einer Bildinhaltskategorie verknüpft sind. Für jede Bildinhaltskategorie sind ein oder mehrere Bildaufbereitungskriterien definiert. Das erfasste Nachtsichtbild wird dann zur Anzeige auf einem Anzeigemittel aufbereitet. Dabei erfolgt die Aufbereitung des Nachtsichtbildes in Abhängigkeit von des oder den Bildaufbereitungskriterien der Bildinhaltskategorie des jeweiligen Bildbereichs. Das aufbereitete Nachtsichtbild wird schließlich auf dem Anzeigemittel wiedergegeben.
US 6,792,136 B1 beschreibt ein Verfahren, um aus Infrarotbildern einer überwachten Szene hochauflösende Farbbilder zu erzeugen. Die aufgenommenen Infrarotbilder werden analysiert, um festzustellen, ob ein Objekt, z.B. ein Gesicht, im Bild erkennbar ist. Ist ein Objekt erkennbar, werden die Objekteigenschaften mit einer Vielzahl von gespeicherten Objekteigenschaften verglichen. Wenn es eine Übereinstimmung gibt, werden die Farbeigenschaften des Objekts ermittelt und das Objekt auf der Grundlage von in einer Datenbank gespeicherten Eigenschaftsinformationen eingefärbt. Wenn es keine Übereinstimmung oder kein identifizierbares Objekt gibt und die Objektfarbe nicht identifiziert werden kann, wird das Bild analysiert, um festzustellen, ob ein Muster, wie z.B. Kleidung, innerhalb des Bildes erkennbar ist. Ist ein Muster erkennbar, werden die Farbeigenschaften des Musters ermittelt und das Muster entsprechend der Infrarot-Reflexionscharakterisierung in Verbindung mit den gespeicherten Musterinformationen eingefärbt. Wenn kein Muster erkennbar ist, werden die nicht gemusterten und nicht mit Merkmalen versehenen Teile des Bildes entsprechend der Infrarot-Reflexionscharakterisierung eingefärbt.
Es ist eine Aufgabe der Erfindung, ein verbessertes Konzept zum Aufbereiten von Infrarotbildern bereitzustellen.
Diese Aufgabe wird durch Verfahren mit den Merkmalen des Anspruchs 1 oder 7, durch ein computerlesbares Speichermedium mit Instruktionen gemäß Anspruch 10, durch eine Vorrichtung mit den Merkmalen des Anspruchs 11 und durch ein neuronales Netz mit den Merkmalen des Anspruchs 12 gelöst. Bevorzugte Ausgestaltungen der Erfindung sind Gegenstand der abhängigen Ansprüche.
Gemäß einem ersten Aspekt der Erfindung umfasst ein Verfahren zum Verarbeiten eines Infrarotbildes die Schritte:

- Einlesen eines Infrarotbildes einer Infrarotkamera;
- Generieren eines Ausgangsbildes durch Anwenden eines neuronalen Netzes auf das Infrarotbild, wobei das neuronale Netz zum Filtern von Schatten oder zum Verringern von Beleuchtungseffekten trainiert wurde; und
- Ausgeben des Ausgangsbildes.

Entsprechend enthält ein computerlesbares Speichermedium Instruktionen, die bei Ausführung durch einen Computer den Computer zur Ausführung der folgenden Schritte zum Verarbeiten eines Infrarotbildes veranlassen:

Der Begriff Computer ist dabei breit zu verstehen. Insbesondere umfasst er auch Workstations, Steuergeräte und andere prozessorbasierte Datenverarbeitungsvorrichtungen.
Analog weist eine Vorrichtung zum Verarbeiten eines Infrarotbildes auf:

- ein Eingangsmodul zum Einlesen eines Infrarotbildes einer Infrarotkamera;
- eine Bildverarbeitungseinheit zum Generieren eines Ausgangsbildes durch Anwenden eines neuronalen Netzes auf das Infrarotbild, wobei das neuronale Netz zum Filtern von Schatten oder von zum Verringern von Beleuchtungseffekten trainiert wurde; und
- einen Ausgang zum Ausgeben des Ausgangsbildes.

Die erfindungsgemäße Lösung basiert auf der Idee, Infrarotbilder eines Nutzers, insbesondere eines Fahrers eines Kraftfahrzeuges, als Eingangsdaten zu nehmen und mit Hilfe eines neuronalen Netzes verbesserte Ausgangsbilder zu berechnen, die dann für weitere Anwendungen genutzt werden können. Die Verbesserung kann dabei darin bestehen, dass die Einflüsse durch eine unnatürliche Beleuchtung verringert werden oder Schatten gefiltert werden. Auf dem Gebiet des maschinellen Lernens haben sich in den letzten Jahren große Fortschritte ergeben. Durch immer performantere Computer ist es möglich, auch komplexe neuronale Netze anzulernen und anzuwenden. Mit diesen lassen sich auch schwierige Aufgaben der Bildverarbeitung umsetzen. Ein Beispiel für eine komplexe Bildverarbeitung durch neuronale Netze ist beispielsweise in [1] beschrieben. Dort werden zwei unterschiedliche Bilder genutzt, um daraus ein neues Bild zu generieren. Das eine Eingangsbild gibt dabei den Inhalt des zu generierenden Bildes vor. Das zweite Eingangsbild gibt die Struktur bzw. Textur sowie die Farbgebung vor. Durch die erfindungsgemäße Lösung kann auf eine zusätzliche Kamera verzichtet werden, was einerseits eine Kosteneinsparung bewirkt und andererseits eine effiziente Nutzung des verfügbaren Bauraums ermöglicht.
Gemäß einem Aspekt der Erfindung wurde das neuronale Netz zusätzlich zum Ändern einer Perspektive des Infrarotbildes trainiert. Durch eine Umrechnung der Perspektive kann erreicht werden, dass das Ausgangsbild so wirkt, als ob die Person im Bild frontal in die Kamera blickt. Dies führt zu einer deutlichen Steigerung der wahrgenommenen Natürlichkeit der Darstellung.
Gemäß einem Aspekt der Erfindung ist das Ausgangsbild ein Graustufenbild. Alternativ dazu ist das Ausgangsbild ein Farbbild. In diesem Fall wurde das neuronale Netz zusätzlich zum Kolorieren des Infrarotbildes trainiert. Im Falles eines Graustufenbildes ist das Ausgangsbild zwar immer noch kein Farbbild, jedoch wird eine wesentlich natürlichere Optik erzielt. Wenn durch das neuronale Netz auch Farbe zu dem Bild hinzugefügt wird, verbessert dies die Optik noch einmal deutlich.
Gemäß einem Aspekt der Erfindung kann das neuronale Netz für das Kolorieren des Infrarotbildes auf ein Farbbild eines Nutzers zugreifen. Alternativ dazu kann der Nutzer für das Kolorieren des Infrarotbildes zwischen zwei oder mehr neuronalen Netzen wählen. Das Ergebnis der Verarbeitung entspricht nicht unmittelbar der Realität, es wird vielmehr der lediglich der Stil der angelernten Darstellung imitiert. Daher können die Farben im Ausgangsbild von den realen Farben abweichen. Während dies bei der Kleidung des Nutzers unkritisch ist, sind Abweichungen zum Beispiel bei der Haarfarbe eher störend. Diesem Problem lässt sich auf zwei Arten begegnen. Zum einen kann das neuronale Netz auch so angelernt werden, dass dem System zusätzlich noch ein Farbfoto vom aktuellen Nutzer bereitgestellt wird. Anhand dieses Bildes kann das System Entscheidungen zu Farben treffen. Alternativ ist es möglich, dass unterschiedliche neuronale Netze angelernt werden, welche unterschiedliche Personenmerkmale berücksichtigen. Der Nutzer kann in dem Fall das neuronale Netz auswählen, welches ihn am besten repräsentiert.
Gemäß einem Aspekt der Erfindung ist das Infrarotbild Teil eines Infrarotvideos und das Ausgangsbild ist Teil eines Ausgangsvideos. Die beschriebene Lösung ist in der Anwendung nicht auf Standbilder beschränkt. Sie lässt sich ebenso auf bewegte Bilder bzw. Bildsequenzen anwenden. Auf diese Weise können die Infrarotbilder der Infrarotkamera auch für Anwendungen genutzt werden, die auf Videodaten basieren.
Gemäß einem Aspekt der Erfindung wird das Ausgangsbild für eine Bildtelefonie genutzt. Auf diese Weise kann eine bereits vorhandene Infrarotkamera für eine zusätzliche Anwendung genutzt werden, die für den Kunden einen erheblichen Mehrwert bietet.
Besonders vorteilhaft wird ein erfindungsgemäßes Verfahren oder eine erfindungsgemäße Vorrichtung in einem Fahrzeug, insbesondere einem Kraftfahrzeug, eingesetzt.
Gemäß einem weiteren Aspekt der Erfindung umfasst ein Verfahren zum Trainieren eines neuronalen Netzes die Schritte:

- Einlesen von Infrarotbildern einer Infrarotkamera;
- Einlesen von Bildern einer Zusatzkamera; und
- Trainieren des neuronalen Netzes, wobei die Infrarotbilder der Infrarotkamera als Eingangsbilder und die Bilder der Zusatzkamera als Ausgangsbilder dienen.

Entsprechend enthält ein computerlesbares Speichermedium Instruktionen, die bei Ausführung durch einen Computer den Computer zur Ausführung der folgenden Schritte zum Trainieren eines neuronalen Netzes veranlassen:

Der Begriff Computer ist dabei breit zu verstehen. Insbesondere umfasst er auch Workstations, Steuergeräte und andere prozessorbasierte Datenverarbeitungsvorrichtungen.
Eine Herausforderung beim maschinellen Lernen besteht darin, ausreichend Trainingsdaten bereitzustellen. Für diesen Anwendungsfall kann zur Erzeugung von Trainingsdaten eine zweite Kamera genutzt werden. Diese zweite Kamera wird lediglich für die Trainingsphase benötigt, später kann sie entfallen. Die zweite Kamera nimmt den Nutzer im Bereich des sichtbaren Lichts unter guten Beleuchtungsverhältnissen auf. Nun werden diverse Probanden mit diesem Aufbau aufgenommen. Die Bilddaten aus beiden Kameras werden dann zum Anlernen des neuronalen Netzes genutzt. Auf diese Weise lassen sich recht einfach die erforderlichen Trainingsdaten generieren.
Gemäß einem Aspekt der Erfindung weisen die Bilder der Zusatzkamera eine ähnliche Perspektive wie die Infrarotbilder der Infrarotkamera oder eine bevorzugte Zielperspektive auf. Der insbesondere in einem Kraftfahrzeug auftretende Umstand, dass der Nutzer von unten aufgenommen wird und auch nicht in die Kamera schaut, lässt sich auf zwei Arten berücksichtigen. Eine erste Möglichkeit besteht darin, das neuronale Netz so zu trainieren, dass es auch die Perspektive mit anpasst. Dazu wird die zweite Kamera zur Erzeugung der Trainingsdaten nicht neben der Infrarotkamera positioniert, sondern frontal zum Nutzer ausgerichtet. Somit lernt das neuronale Netz implizit die bevorzugte Perspektive. Bei einer zweiten Möglichkeit erfolgt die perspektivische Umrechnung in einem zweiten Schritt in klassischer Weise, wie z.B. in der Fotobearbeitung üblich, durch eine vertikale oder horizontale Verzerrung des Bildes. Dazu liefert die Infrarotkamera die 3D-Lage des Kopfes sowie die Kopforientierung. Hierbei ist es auch möglich, durch Veränderung des Helligkeitsgradienten im Bild die unnatürliche Beleuchtungssituation von unten zu retuschieren.
Gemäß einem Aspekt der Erfindung sind die Bilder der Zusatzkamera Graustufenbilder oder Farbbilder. Je nach Anwendungsfall, d.h. je nachdem, ob als Ausgangsbilder Graustufenbilder oder Farbbilder ausgegeben werden sollen, kann ein Graustufenbild oder ein Farbbild durch die Zusatzkamera aufgenommen werden. Das Training kann so auf einfache Weise an die Erfordernisse der zukünftigen Anwendung angepasst werden.
Vorzugsweise wird ein neuronales Netz zur Anwendung auf ein Infrarotbild mit einem erfindungsgemäßen Verfahren trainiert. Ein so trainiertes neuronales Netz ist besonders gut für die Verarbeitung von Infrarotbildern einer Infrarotkamera in einem Kraftfahrzeug geeignet.
Weitere Merkmale der vorliegenden Erfindung werden aus der nachfolgenden Beschreibung und den angehängten Ansprüchen in Verbindung mit den Figuren ersichtlich.

1 zeigt schematisch ein Verfahren zum Verarbeiten eines Infrarotbildes;
2 zeigt eine erste Ausführungsform einer Vorrichtung zum Verarbeiten eines Infrarotbildes;
3 zeigt eine zweite Ausführungsform einer Vorrichtung zum Verarbeiten eines Infrarotbildes;
4 stellt schematisch ein Kraftfahrzeug dar, in dem eine erfindungsgemäße Lösung realisiert ist;
5 zeigt schematisch ein Verfahren zum Trainieren eines neuronalen Netzes;
6 zeigt schematisch eine in einem Kraftfahrzeug angeordnete Infrarotkamera;
7 zeigt schematisch eine Architektur eines Aufbaus zum Anwenden eines neuronalen Netzes in einem Kraftfahrzeug; und
8 zeigt schematisch eine Architektur eines Aufbaus zum Anlernen eines neuronalen Netzes.

Zum besseren Verständnis der Prinzipien der vorliegenden Erfindung werden nachfolgend Ausführungsformen der Erfindung anhand der Figuren detaillierter erläutert. Es versteht sich, dass sich die Erfindung nicht auf diese Ausführungsformen beschränkt und dass die beschriebenen Merkmale auch kombiniert oder modifiziert werden können, ohne den Schutzbereich der Erfindung zu verlassen, wie er in den angehängten Ansprüchen definiert ist.
1 zeigt schematisch ein Verfahren zum Verarbeiten eines Infrarotbildes. In einem ersten Schritt 10 wird ein Infrarotbild einer Infrarotkamera eingelesen. Das Infrarotbild kann Teil eines Infrarotvideos sein. Durch Anwenden eines neuronalen Netzes auf das Infrarotbild wird dann ein Ausgangsbild generiert 11. Das neuronale Netz wurde für diese Anwendung zum Filtern von Schatten oder zum Verringern von Beleuchtungseffekten trainiert. Zusätzlich kann das neuronale Netz zum Ändern einer Perspektive des Infrarotbildes oder zum Kolorieren des Infrarotbildes trainiert worden sein. Für das Kolorieren des Infrarotbildes kann das neuronale Netz vorzugsweise auf ein Farbbild eines Nutzers zugreifen. Alternativ dazu kann der Nutzer für das Kolorieren des Infrarotbildes zwischen zwei oder mehr neuronalen Netzen wählen. Das Ausgangsbild wird schließlich für eine weitere Nutzung ausgegeben 12, z.B. für eine Bildtelefonie. Das Ausgangsbild kann dabei insbesondere ein Graustufenbild oder ein Farbbild sein. Zudem kann es Teil eines Ausgangsvideos sein.
2 zeigt eine vereinfachte schematische Darstellung einer ersten Ausführungsform einer Vorrichtung 20 zum Verarbeiten eines Infrarotbildes. Die Vorrichtung 20 hat einen Eingang 21, über den durch ein Eingangsmodul 22 insbesondere ein Infrarotbild einer Infrarotkamera 41 eingelesen werden kann. Das Infrarotbild kann Teil eines Infrarotvideos sein. Eine Bildverarbeitungseinheit 23 generiert ein Ausgangsbild durch Anwenden eines neuronalen Netzes auf das Infrarotbild. Das neuronale Netz wurde für diese Anwendung zum Filtern von Schatten oder zum Verringern von Beleuchtungseffekten trainiert. Zusätzlich kann das neuronale Netz zum Ändern einer Perspektive des Infrarotbildes oder zum Kolorieren des Infrarotbildes trainiert worden sein. Für das Kolorieren des Infrarotbildes kann das neuronale Netz vorzugsweise auf ein Farbbild eines Nutzers zugreifen, das z.B. in einem Speicher 25 der Vorrichtung 20 abgelegt sein kann oder über den Eingang 21 empfangen wird. Alternativ kann der Nutzer für das Kolorieren des Infrarotbildes zwischen zwei oder mehr neuronalen Netzen wählen. Über einen Ausgang 26 der Vorrichtung 20 wird das Ausgangsbild für eine weitere Nutzung bereitgestellt, z.B. für eine Bildtelefonie. Das Ausgangsbild kann dabei insbesondere ein Graustufenbild oder ein Farbbild sein. Zudem kann es Teil eines Ausgangsvideos sein.
Das Eingangsmodul 22 und die Bildverarbeitungseinheit 23 können von einer Kontrolleinheit 24 gesteuert werden. Über eine Benutzerschnittstelle 27 können gegebenenfalls Einstellungen des Eingangsmoduls 22, der Bildverarbeitungseinheit 23 oder der Kontrolleinheit 24 geändert werden. Die in der Vorrichtung 20 anfallenden Daten können bei Bedarf im Speicher 25 abgelegt werden, beispielsweise für eine spätere Auswertung oder für eine Nutzung durch die Komponenten der Vorrichtung 20. Das Eingangsmodul 22, die Bildverarbeitungseinheit 23 sowie die Kontrolleinheit 24 können als dedizierte Hardware realisiert sein, beispielsweise als integrierte Schaltungen. Natürlich können sie aber auch teilweise oder vollständig kombiniert oder als Software implementiert werden, die auf einem geeigneten Prozessor läuft, beispielsweise auf einer GPU oder einer CPU. Der Eingang 21 und der Ausgang 26 können als getrennte Schnittstellen oder als eine kombinierte bidirektionale Schnittstelle implementiert sein.
3 zeigt eine vereinfachte schematische Darstellung einer zweiten Ausführungsform einer Vorrichtung 30 zum Verarbeiten eines Infrarotbildes. Die Vorrichtung 30 weist einen Prozessor 32 und einen Speicher 31 auf. Beispielsweise handelt es sich bei der Vorrichtung 30 um einen Computer oder ein Steuergerät. Im Speicher 31 sind Instruktionen abgelegt, die die Vorrichtung 30 bei Ausführung durch den Prozessor 32 veranlassen, die Schritte gemäß einem der beschriebenen Verfahren auszuführen. Die im Speicher 31 abgelegten Instruktionen verkörpern somit ein durch den Prozessor 32 ausführbares Programm, welches das erfindungsgemäße Verfahren realisiert. Die Vorrichtung 30 hat einen Eingang 33 zum Empfangen von Informationen, insbesondere von Bildern einer Infrarotkamera. Vom Prozessor 32 generierte Daten werden über einen Ausgang 34 bereitgestellt. Darüber hinaus können sie im Speicher 31 abgelegt werden. Der Eingang 33 und der Ausgang 34 können zu einer bidirektionalen Schnittstelle zusammengefasst sein.
Der Prozessor 32 kann eine oder mehrere Prozessoreinheiten umfassen, beispielsweise Mikroprozessoren, digitale Signalprozessoren oder Kombinationen daraus.
Die Speicher 25, 31 der beschriebenen Ausführungsformen können sowohl volatile als auch nichtvolatile Speicherbereiche aufweisen und unterschiedlichste Speichergeräte und Speichermedien umfassen, beispielsweise Festplatten, optische Speichermedien oder Halbleiterspeicher.
4 stellt schematisch ein Kraftfahrzeug 40 dar, in dem eine erfindungsgemäße Lösung realisiert ist. Im Kraftfahrzeug 40 ist eine Infrarotkamera 41 verbaut, beispielsweise in der Armaturentafel im Bereich des Lenkrades 42. Eine Vorrichtung 20 zum Verarbeiten eines Infrarotbildes verarbeitet die von der Infrarotkamera 41 aufgenommenen Infrarotbilder und stellt die resultierenden Ausgangsbilder für eine weitere Nutzung bereit. In 4 ist die Vorrichtung 20 eine eigenständige Komponente, sie kann aber auch in einem Steuergerät 43 der Infrarotkamera 41 verbaut sein. Eine weitere Komponente des Kraftfahrzeugs 40 ist eine Datenübertragungseinheit 44, über die u.a. eine Verbindung zu einem Dienstanbieter aufgebaut werden kann, z.B. für die Videotelefonie. Zur Speicherung von Daten ist ein Speicher 45 vorhanden. Der Datenaustausch zwischen den verschiedenen Komponenten des Kraftfahrzeugs 40 erfolgt über ein Netzwerk 46.
5 zeigt schematisch ein Verfahren zum Trainieren eines neuronalen Netzes. In einem ersten Schritt 70 werden Infrarotbilder einer Infrarotkamera eingelesen. Außerdem werden Bilder einer Zusatzkamera eingelesen 71. Die Bilder der Zusatzkamera weisen vorzugsweise eine ähnliche Perspektive wie die Infrarotbilder der Infrarotkamera oder eine bevorzugte Zielperspektive auf. Bei den Bildern der Zusatzkamera kann es sich insbesondere um Graustufenbilder oder Farbbilder handeln. Auf Basis der Bilder und der Infrarotbilder wird ein neuronales Netz trainiert 72. Dabei dienen die Infrarotbilder der Infrarotkamera als Eingangsbilder und die Bilder der Zusatzkamera als Ausgangsbilder.
Nachfolgend sollen bevorzugte Ausführungsformen der Erfindung anhand der 6 bis 8 am Beispiel der Nutzung in einem Kraftfahrzeug beschrieben werden. Selbstverständlich sind auch andere Nutzungen möglich.
6 zeigt schematisch eine in einem Kraftfahrzeug angeordnete Infrarotkamera 41. Die Infrarotkamera 41 ist in diesem Beispiel in der Armaturentafel im Bereich des Lenkrades 42 verbaut. Für eine ausreichende Ausleuchtung des Sichtbereichs der Infrarotkamera 41 sind rechts und links neben der Infrarotkamera 41 Infrarotlichtquellen 47 verbaut. Aufgrund der Positionierung der Infrarotkamera 41 sowie der aktiven Beleuchtung von unten auf das Gesicht durch die Infrarotlichtquellen 47 weisen die aufgenommenen Bilder eine ungewohnte Perspektive sowie ein ungewohntes und unnatürlich wirkendes Schattenbild auf.
7 zeigt schematisch eine Architektur eines Aufbaus zum Anwenden eines neuronalen Netzes in einem Kraftfahrzeug. Dem Aufbau liegt die Idee zugrunde, ein trainiertes neuronales Netz 51 zu verwenden, welches aus einem Eingangsbild bzw. Eingangsvideo ein verbessertes Ausgangsbild 52 bzw. Ausgangsvideo erzeugt. Dabei können beispielsweise sogenannte Generative Adversarial Networks (GANs, zu Deutsch etwa „erzeugende gegnerische Netzwerke“) genutzt werden, welche ein plausibles Bild erzeugen [2]. Insbesondere soll für die Videotelefonie aus einem Infrarotbild 50 als Eingangsbild ein Farbbild als Ausgangsbild 52 erzeugt werden. Im gezeigten Beispiel liefert eine Infrarotkamera 41 im Infrarot (IR) oder Nahinfrarot (NIR) aufgenommene Bilddaten oder Videodaten. Bei den Ausgangsdaten handelt es sich hier um ein RGB-Bilddaten oder RGB-Videodaten.
Dabei ist zu beachten, dass das Ergebnis nicht unmittelbar der Realität entspricht, sondern lediglich der Stil der angelernten Darstellung imitiert wird. Der Algorithmus könnte demnach in diesem Anwendungsfall ein Bild des Fahrers in einem blauen Pullover erzeugen, obwohl dieser einen roten Pullover trägt. Stärker würde sich eine Abweichung von der Realität zum Beispiel bei der Haarfarbe auswirken.
Diesem Problem lässt sich auf zwei Arten begegnen. Zum einen können unterschiedliche neuronale Netze 51 angelernt werden, welche unterschiedliche Personenmerkmale berücksichtigen. Der Fahrer kann in dem Fall das neuronale Netz 51 auswählen, welches ihn am besten repräsentiert. Zum anderen kann das neuronale Netz auch so angelernt werden, dass dem System zusätzlich noch ein Farbfoto 53 vom aktuellen Fahrer bereitgestellt wird. Anhand dieses Bildes kann das System Entscheidungen zu Farben treffen. Das Farbfoto 53 kann beispielsweise per Smartphone 54 aufgenommen werden und mittels Car-Net ins Kraftfahrzeug transferiert werden.
8 zeigt schematisch eine Architektur eines Aufbaus zum Anlernen eines neuronalen Netzes 51. Eine Herausforderung beim maschinellen Lernen ist es, ausreichend Trainingsdaten zur Verfügung zu stellen. Für diesen Anwendungsfall kann zur Erzeugung von Trainingsdaten eine Zusatzkamera 61 in das Fahrzeug eingebaut werden. Natürlich ist diese zweite Kamera 61 lediglich in der Entwicklungsphase notwendig, Serienfahrzeuge kommen ohne diese aus. Die Zusatzkamera 61 nimmt den Fahrer aus einer ähnlichen Perspektive wie die eingebaute Infrarotkamera 40 auf. Die Bilder 60 der Zusatzkamera 61 sind in diesem Fall im Bereich des sichtbaren Lichts unter guten Beleuchtungsverhältnissen aufgenommen. Je nach Anwendungsfall können Graustufenbilder oder Farbbilder aufgenommen werden. Im gezeigten Beispiel liefert die Zusatzkamera 61 RGB-Bilddaten oder RGB-Videodaten. Nun werden diverse Probanden mit diesem Aufbau aufgenommen. Die Bilddaten der beiden Kameras 41, 61 werden dann in einer Trainingsstufe 62 zum Anlernen des neuronalen Netzes 51 genutzt.
Dem Umstand, dass der Fahrer von unten aufgenommen wird und auch nicht in die Kamera 41, 61 schaut, lässt sich auf zwei Arten begegnen. Zum einen ist es möglich, das neuronale Netz 51 so zu trainieren, dass es auch die Perspektive mit anpasst. Dazu wird die Zusatzkamera 61 zur Erzeugung der Trainingsdaten nicht neben der Infrarotkamera 41 positioniert, sondern frontal zum Fahrer ausgerichtet. Somit lernt das neuronale Netz 51 implizit die bevorzugte Perspektive. Zum anderen kann die perspektivische Umrechnung in einem zweiten Schritt in klassischer Weise durch vertikale oder horizontale Verzerrung des Bildes erfolgen, wie dies in der Fotobearbeitung üblich ist. Dazu liefert die Infrarotkamera 41 die 3D-Lage des Kopfes sowie die Kopforientierung. Hierbei ist es auch möglich, durch Veränderung des Helligkeitsgradienten im Bild die unnatürliche Beleuchtungssituation von unten zu retuschieren.
Referenzen

[1] Gatys et al.: „Image Style Transfer Using Convolutional Neural Networks", 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Seiten 2414-2423.
[2] Zhu et al.: „Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks", 2017 IEEE International Conference on Computer Vision (ICCV), Seiten 2242-2251.

Bezugszeichenliste

10: Einlesen eines Infrarotbildes
11: Generieren eines Ausgangsbildes durch Anwenden eines neuronalen Netzes auf das Infrarotbild
12: Ausgeben des Ausgangsbildes
20: Vorrichtung
21: Eingang
22: Eingangsmodul
23: Bildverarbeitungseinheit
24: Kontrolleinheit
25: Speicher
26: Ausgang
27: Benutzerschnittstelle
30: Vorrichtung
31: Speicher
32: Prozessor
33: Eingang
34: Ausgang
40: Kraftfahrzeug
41: Infrarotkamera
42: Lenkrad
43: Steuergerät
44: Datenübertragungseinheit
45: Speicher
46: Netzwerk
47: Infrarotlichtquelle
50: Infrarotbild
51: Neuronales Netz
52: Ausgangsbild
53: Farbfoto
54: Smartphone
60: Bild
61: Zusatzkamera
62: Trainingsstufe
70: Einlesen von Infrarotbildern einer Infrarotkamera
71: Einlesen von Bildern einer Zusatzkamera
72: Trainieren des neuronalen Netzes mit den eingelesenen Bildern und Infrarotbildern

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

CN 105023269 A [0008]
DE 102006044864 A1 [0009]
US 6792136 B1 [0010]

Zitierte Nicht-Patentliteratur

Gatys et al.: „Image Style Transfer Using Convolutional Neural Networks“, 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Seiten 2414-2423 [0047]
Zhu et al.: „Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks“, 2017 IEEE International Conference on Computer Vision (ICCV), Seiten 2242-2251 [0047]

Claims

Verfahren zum Verarbeiten eines Infrarotbildes (50), mit den Schritten: - Einlesen (10) eines Infrarotbildes (50) einer Infrarotkamera (41); - Generieren (11) eines Ausgangsbildes (52) durch Anwenden eines neuronalen Netzes (51) auf das Infrarotbild (50), wobei das neuronale Netz (51) zum Filtern von Schatten oder zum Verringern von Beleuchtungseffekten trainiert wurde; und - Ausgeben (12) des Ausgangsbildes (52).
Verfahren gemäß Anspruch 1, wobei das neuronale Netz (51) zusätzlich zum Ändern einer Perspektive des Infrarotbildes (50) trainiert wurde.
Verfahren gemäß Anspruch 1 oder 2, wobei das Ausgangsbild (52) ein Graustufenbild ist oder das neuronale Netz (51) zusätzlich zum Kolorieren des Infrarotbildes (50) trainiert wurde und das Ausgangsbild (52) ein Farbbild ist.
Verfahren gemäß Anspruch 3, wobei das neuronale Netz (51) für das Kolorieren des Infrarotbildes (50) auf ein Farbbild (53) eines Nutzers zugreifen kann oder der Nutzer für das Kolorieren des Infrarotbildes (50) zwischen zwei oder mehr neuronalen Netzen (51) wählen kann.
Verfahren gemäß einem der vorherigen Ansprüche, wobei das Infrarotbild (50) Teil eines Infrarotvideos ist und das Ausgangsbild (52) Teil eines Ausgangsvideos ist.
Verfahren gemäß einem der vorherigen Ansprüche, wobei das Ausgangsbild (52) für eine Bildtelefonie genutzt wird.
Verfahren zum Trainieren eines neuronalen Netzes (51), mit den Schritten: - Einlesen (70) von Infrarotbildern (50) einer Infrarotkamera (41); - Einlesen (71) von Bildern (60) einer Zusatzkamera (61); und - Trainieren (72) des neuronalen Netzes (51), wobei die Infrarotbilder (50) der Infrarotkamera (41) als Eingangsbilder und die Bilder (60) der Zusatzkamera (61) als Ausgangsbilder dienen.
Verfahren gemäß Anspruch 7, wobei die Bilder (60) der Zusatzkamera (61) eine ähnliche Perspektive wie die Infrarotbilder (50) der Infrarotkamera (41) oder eine bevorzugte Zielperspektive aufweisen.
Verfahren gemäß Anspruch 7 oder 8, wobei die Bilder (60) der Zusatzkamera (61) Graustufenbilder oder Farbbilder sind.
Computerlesbares Speichermedium mit Instruktionen, die bei Ausführung durch einen Computer den Computer zur Ausführung der Schritte eines Verfahrens gemäß einem der Ansprüche 1 bis 6 zum Verarbeiten eines Infrarotbildes (50) oder der Schritte eines Verfahrens gemäß einem der Ansprüche 7 bis 9 zum Trainieren eines neuronalen Netzes (51) veranlassen.
Vorrichtung zum Verarbeiten eines Infrarotbildes (50), mit: - einem Eingangsmodul (22) zum Einlesen (10) eines Infrarotbildes (50) einer Infrarotkamera (41); - einer Bildverarbeitungseinheit (23) zum Generieren (11) eines Ausgangsbildes (52) durch Anwenden eines neuronalen Netzes (51) auf das Infrarotbild (50), wobei das neuronale Netz (51) zum Filtern von Schatten oder von zum Verringern von Beleuchtungseffekten trainiert wurde; und - einem Ausgang (26) zum Ausgeben (12) des Ausgangsbildes (52).
Neuronales Netz (51) zur Anwendung auf ein Infrarotbild (50), dadurch gekennzeichnet, dass das neuronale Netz mit einem Verfahren gemäß einem der Ansprüche 7 bis 9 trainiert wurde.
Kraftfahrzeug (40), dadurch gekennzeichnet, dass das Kraftfahrzeug (40) zumindest eine Vorrichtung (20) gemäß Anspruch 11 aufweist oder eingerichtet ist, ein Verfahren gemäß einem der Ansprüche 1 bis 6 zum Verarbeiten eines Infrarotbildes (50) auszuführen.