-
Die Erfindung betrifft ein computerimplementiertes Verfahren zur Bereitstellung eines Bildstroms, insbesondere für eine Videokonferenz in einem Fahrzeug. Ferner betrifft die Erfindung ein computerimplementiertes Verfahren zum Trainieren eines künstlichen neuronalen Netzes, ein computerlesbares Speichermedium, ein Kamerasystem und ein Fahrzeug.
-
Videokonferenzen sind heutzutage sowohl im beruflichen Alltag als auch im privaten Bereich nicht mehr wegzudenken. Üblicherweise nehmen sich die Teilnehmer dabei frontal mit einer Kamera sowie mit einem Mikrofon auf, sodass sie synchron über Bild- und Tonaustausch miteinander kommunizieren können.
-
Zunehmend besteht das Verlangen danach, Videokonferenzen auch von unterwegs, beispielsweise als Beifahrer während einer Autofahrt, durchzuführen. Allerdings ist die Qualität eines Bildstroms, der in einem Fahrzeug während der Fahrt aufgenommen wird, oftmals stark eingeschränkt. Eine Ursache hierfür sind insbesondere die schwierigen und wechselnden Lichtverhältnisse im Fahrzeug. So kann starke Sonneneinstrahlung durch ein Fenster für eine Überbelichtung gewisser Bildbereiche sorgen, beispielsweise im Gesicht der aufgenommenen Person. Andererseits können bei einer Tunnelfahrt Bildbereiche aufgrund mangelnder Lichtverhältnisse unterbelichtet sein. Beide Situationen können zudem in kurzer Zeit aufeinander folgen, beispielweise bei der Ausfahrt aus einem Tunnel auf eine Straße mit frontaler Sonneneinstrahlung. Ein anderes Beispiel für einen solchen Wechsel der Lichtverhältnisse ist eine Alleefahrt, wo sich die aufgenommene Person durch die Fortbewegung des Fahrzeugs entlang der Allee abwechselnd in der direkten Sonneneinstrahlung oder im Schatten eines Baumes befinden kann. Darüber hinaus können weitere Artefakte im aufgenommenen Bildstrom auftreten, beispielsweise unerwünschte Lichtreflexionen durch externe Lichtquellen in der Umgebung des Fahrzeugs.
-
Mit den Fortschritten im Bereich der künstlichen Intelligenz (KI) der letzten Jahre bzw. Jahrzehnte haben KI-basierte Algorithmen enormen Einfluss auf die digitale Bildbearbeitung und Bildverarbeitung genommen. Insbesondere werden faltende neuronale Netzwerke (engl. „convolutional neural networks“) für verschiedene Aufgaben, z.B. im Bereich der Bilderkennung, eingesetzt.
-
Eine spezielle Form von künstlichen neuronalen Netzen sind Autoencoder. Autoencoder sind aus mindestens drei Schichten aufgebaut, die zumindest eine Eingabeschicht, eine Encoding-Schicht und eine Ausgabeschicht umfassen, wobei die Encoding-Schicht signifikant kleiner als die Eingabeschicht ist. Klassischerweise werden Autoencoder darauf trainiert, in einer ersten Phase (Encoding) eine kompakte Repräsentation der Informationen der Eingabeschicht zu lernen und in einer zweiten Phase (Decoding) die Eingabedaten allein aus der Repräsentation zu rekonstruieren. Somit können Autoencoder insbesondere auch darauf trainiert werden, wesentliche Merkmale aus den Eingabedaten zu extrahieren. Aufgrund dieser Tatsache können Autoencoder auch zum Generieren von neuen Daten verwendet werden, anstatt zum Approximieren der Daten aus der Eingabeschicht. Beispielsweise können Autoencoder eingesetzt werden, um (historische) Schwarz-Weiß-Bilder zu kolorieren. Ebenfalls können Autoencoder zur Rauschunterdrückung (engl. „denoising“) von Bilddaten eingesetzt werden.
-
Ausgehend vom Stand der Technik besteht eine Aufgabe der vorliegenden Erfindung darin, ein Verfahren zur Bereitstellung eines Bildstroms anzugeben. Dabei soll das Verfahren einen optimierten Bildstrom bereitstellen, insbesondere ausgehend von einem Bildstrom, der bei einer Videokonferenz in einem Fahrzeug aufgezeichnet wird. Ferner ist es Aufgabe der vorliegenden Erfindung, eine entsprechende Vorrichtung anzugeben. Darüber hinaus ist es Aufgabe der vorliegenden Erfindung, ein Verfahren zum Trainieren eines künstlichen neuronalen Netzes anzugeben, insbesondere zum Erzeugen eines Austauschbildes für einen optimierten Bildstrom.
-
Diese Aufgabe wird durch ein Verfahren nach Anspruch 1 gelöst.
-
Insbesondere wird die Aufgabe durch ein computerimplementiertes Verfahren zur Bereitstellung eines Bildstroms, insbesondere für eine Videokonferenz in einem Fahrzeug, gelöst. Dabei umfasst das Verfahren die folgenden Schritte:
- - Empfangen, insbesondere von einem Farbsensor-Array, eines Farb-Bildstroms, der eine Vielzahl von Farbbildern aufweist, die vorzugsweise im gleichen Blickwinkel aufgenommen sind;
- - Empfangen, insbesondere von einem Infrarotsensor-Array, eines Infrarot-Bildstroms, der eine Vielzahl von Infrarotbildern aufweist, die vorzugsweise im gleichen Blickwinkel aufgenommen sind;
- - Analysieren mindestens einer Auswahl der empfangenen Farbbilder;
- - Detektieren mindestens eines Artefakts in einem ersten Farbbild des Farb-Bildstroms;
- - Ermitteln mindestens eines Referenz-Farbbildes des Farb-Bildstroms, vorzugsweise unter Berücksichtigung eines Aufnahmezeitpunktes des ersten Farbbildes;
- - Auswählen mindestens eines Referenz-Infrarotbildes des Infrarot-Bildstroms, vorzugsweise unter Berücksichtigung des Aufnahmezeitpunktes des ersten Farbbildes;
- - Erzeugen mindestens eines Austauschbildes unter Verwendung des Referenz-Farbbildes und des Referenz-Infrarotbildes;
- - Bereitstellen eines Ausgabebildstroms basierend auf einer Vielzahl der empfangenen Farbbilder und dem mindestens einen Austauschbild.
-
Ein wesentlicher Gedanke der Erfindung besteht darin, dass zwei Bildströme, nämlich ein Farb-Bildstrom und ein Infrarot-Bildstrom, empfangen werden. Dabei gibt der Farb-Bildstrom eine geordnete Sequenz von Farbbildern an und der Infrarot-Bildstrom gibt eine geordnete Sequenz von Infrarotbildern an. Es wird bevorzugt, dass die Vielzahl von Farbbildern und die Vielzahl von Infrarotbildern im gleichen Blickwinkel aufgenommen sind, wie es beispielsweise bei der Aufnahme durch eine einzelne stationäre Kamera der Fall ist.
-
Vorzugsweise wird der jeweilige Bildstrom von einem Farb-Sensorarray bzw. einem Infrarot-Sensorarray empfangen. Unter einem Sensorarray kann im Kontext dieser Erfindung eine Vielzahl von, vorzugsweise angeordneten, Sensoren verstanden werden. Alternativ können beide Bildströme von einem RGB-IR-Sensorarray empfangen werden, über dessen Sensoren sowohl Farbbilder als auch Infrarotbilder aufgenommen werden können.
-
Von den beiden genannten Bildströmen stellt der Farb-Bildstrom eine Grundlage für den erzeugten Ausgabebildstrom dar, da die Farbbilder die Farbinformationen enthalten, die für eine realistische Darstellung des aufgenommenen Objektes erforderlich sind. Im Gegensatz zu Farbbildern fehlt es Infrarotbildern zwar an den Farbinformationen, allerdings sind Infrarotbilder robuster gegenüber unerwünschten Einflüssen durch Beleuchtung mit Sonnenlicht. Aufgrund der spektralen Verteilung des Sonnenlichts gilt dies insbesondere im Bereich 940nm. Insofern bietet das zusätzliche Empfangen des Infrarot-Bildstroms den Vorteil, dass Zusatzinformationen erhalten werden, die robuster gegenüber relevanten Störeinflüssen sind. Darüber hinaus existieren spezielle Verfahren, die eine Unterdrückung des Sonnenlichts im Verhältnis zu aktiver Beleuchtung aufgrund der spektralen Eigenschaften des Sonnenlichts ermöglichen.
-
Gemäß dem beschriebenen Verfahren wird zumindest eine Auswahl der empfangenen Farbbilder analysiert, insbesondere im Hinblick auf Artefakte. Unter einem Artefakt kann im Kontext dieser Erfindung eine Bildstörung, beispielsweise ein Schlagschatten, eine Überbelichtung, eine Unterbelichtung und/oder eine unerwünschte Reflexion verstanden werden.
-
Ausgelöst durch das Detektieren mindestens eines Artefakts in einem ersten Farbbild des Farb-Bildstroms wird in dem Verfahren mindestens ein Referenz-Farbbild des Farb-Bildstroms ermittelt. Vorzugsweise findet das Ermitteln unter Berücksichtigung des Aufnahmezeitpunktes des ersten Farbbildes, in dem das Artefakt detektiert wurde, statt.
-
An dieser Stelle sei darauf hingewiesen, dass der Aufnahmezeitpunkt eines Bildes im Kontext dieser Erfindung keine absolute Zeitangabe sein muss, sondern auch lediglich durch die relative Position des Bildes im jeweiligen Bildstrom gegeben sein kann.
-
Ferner wird gemäß dem Verfahren ein Referenz-Infrarotbild des Infrarot-Bildstroms ausgewählt, vorzugsweise ebenfalls unter Berücksichtigung des Aufnahmezeitpunktes des ersten Farbbildes.
-
Gemäß dem eingangs erläuterten Gedanken der Erfindung können das Referenz-Farbbild und das Infrarot-Farbbild insbesondere so gewählt bzw. ermittelt werden, dass die folgenden Bedingungen gelten:
- (a) das Referenz-Infrarotbild weist, bis auf die fehlenden Farbinformationen, eine hohe Ähnlichkeit (insbesondere hinsichtlich Konturenverläufe) zu dem ersten Farbbild auf;
- (b) das Referenz-Farbbild enthält realistische Farbinformationen des ersten Farbbildes, wenn dieses das Artefakt nicht aufweisen würde.
-
Unter Verwendung des Referenz-Farbbildes und des Referenz-Infrarotbildes wird gemäß dem Verfahren mindestens ein Austauschbild erzeugt. Dies kann insbesondere das Kolorieren des Referenz-Infrarotbildes unter Verwendung der Farbinformationen des Referenz-Farbbildes umfassen. So kann ein Austauschbild erhalten werden, das sowohl hinsichtlich der Farbinformation als auch der Kantenverläufe eine hohe Ähnlichkeit zu dem ersten Farbbild hat und zudem das Artefakt nicht aufweist.
-
Schließlich stellt das Verfahren einen Ausgabebildstrom bereit, der auf einer Vielzahl der empfangenen Farbbilder des Farbbild-Bildstroms und dem mindestens einen erzeugten Austauschbild basiert.
-
In einer Ausführungsform sind der Farb-Bildstrom und der Infrarot-Bildstrom in einem Kombinations-Bildstrom enthalten. Der Kombinations-Bildstrom weist vorzugsweise abwechselnd die Farbbilder des Farb-Bildstroms und die Infrarotbilder des Infrarot-Bildstroms auf, sodass zu jedem Farbbild ein Infrarotbild existiert, welches im Wesentlichen zeitgleich zu dem Farbbild aufgenommen ist.
-
Unter „im Wesentlichen zeitgleich“ kann im Kontext dieser Erfindung zeitgleich oder ein zeitlicher Versatz von unter 1 Sekunde, bevorzugt unter 300ms, insbesondere weniger als 25ms verstanden werden.
-
Bevorzugt weist der Kombinations-Bildstrom eine Bildfrequenz von 40 Hz oder mehr auf, sodass die beiden enthaltenen Bildströme (Farb-Bildstrom und Infrarot-Bildstrom) jeweils eine Bildfrequenz von 20 Hz oder mehr aufweisen und so isoliert betrachtet von einem menschlichen Betrachter als ruckelfreie Bildströme wahrgenommen werden.
-
Ein Vorteil dieser Ausführungsform besteht insbesondere darin, dass der Kombinations-Bildstrom einen Farb-Bildstrom enthält sowie einen Infrarot-Bildstrom, wobei beide Bildströme in nur geringem zeitlichen Versatz zueinander verlaufen. Insbesondere existiert für jedes Farbbild ein korrespondierendes Infrarotbild, welches im Wesentlichen zeitgleich zu dem Farbbild aufgenommen ist. In dem beschriebenen Verfahren können so Referenzbilder, insbesondere das Farb-Referenzbild und das Infrarot-Referenzbild, für das erste Farbbild ermittelt werden, die aufgrund der geringen zeitlichen Distanz eine hohe Ähnlichkeit zum ersten Farbbild aufweisen. Derartige Referenzbilder bilden eine gute Grundlage für das Erzeugen des Austauschbildes, sodass ein Austauschbild erzeugt werden kann, das eine hohe Ähnlichkeit zum ersten Farbbild aufweist. Somit kann ein qualitativ hochwertiger Ausgabebildstrom bereitgestellt werden.
-
In einer Ausführungsform umfasst das Analysieren der Auswahl der Farbbilder eine Histogramm-Analyse und/oder Kantenerkennung und/oder Kontrastumfang-Analyse.
-
Mit den genannten Analysen können verschiedene Arten von Artefakten detektiert werden. So kann eine Über- oder Unterbelichtung am Histogramm eines Farbbildes erkannt werden. Eine Kantenerkennung kann zur Detektion eines Schlagschattens oder einer unerwünschten Reflexion genutzt werden.
-
In einer Ausführungsform umfasst das Analysieren der Auswahl der Farbbilder ferner das Berechnen eines Qualitätswertes. Insbesondere kann bei dem Berechnen des Qualitätswertes ein (numerisches) Ergebnis einer Histogramm-Analyse, einer Kantenerkennung und/oder einer Kontrastumfang-Analyse verwendet werden.
-
Der Qualitätswert kann somit insbesondere eine ausreichende Sättigung, die Abwesenheit von Bildstörungen, einen ausreichenden Kontrast etc. der jeweils analysierten Farbbilder ausdrücken. Somit kann der Qualitätswert ein Indikator für die Eignung eines Farbbildes sein, als Referenz-Farbbild zu dienen.
-
Die beschriebene Ausführungsform erlaubt es insbesondere, Qualitätswerte für eine Reihe von Farbbildern zu berechnen und zu speichern, ohne, dass bereits ein erstes Farbbild mit Artefakt vorliegt. Sobald ein Artefakt in einem ersten Farbbild detektiert wurde, kann das anschließende Ermitteln des mindestens einen Referenz-Farbbildes auch unter Berücksichtigung der zuvor berechneten Qualitätswerte erfolgen. Somit kann das Referenz-Farbbild effizient erfolgen.
-
In einer Ausführungsform erfolgt das Ermitteln des mindestens einen Referenz-Farbbildes derart, dass das mindestens eine ermittelte Referenz-Farbbild mindestens eine der folgenden Bedingungen erfüllt:
- - der Aufnahmezeitpunkt des Referenz-Farbbildes liegt maximal k Sekunden vor dem Aufnahmezeitpunkt des ersten Farbbildes, wobei insbesondere k kleiner als 5, bevorzugt kleiner als 1 ist;
- - das Referenz-Farbbild erfüllt ein Qualitätskriterium;
- - ein Distanzwert zwischen dem Referenz-Farbbild und dem ersten Farbbild ist nicht größer als ein Schwellenwert;
- - das Referenz-Farbbild weist das Artefakt nicht oder nur teilweise auf.
-
Diese Bedingungen formulieren unterschiedliche Kriterien, anhand derer die Eignung eines Farbbildes als Referenz-Farbbild algorithmisch festgestellt werden kann.
-
Die erste Bedingung ist auf die Überlegung zurückzuführen, dass sich Objekte in ihrer Ausrichtung zur Kamera in kurzer Zeit häufig nur wenig verändern. Somit kann sich ein Farbbild, das nah am Aufnahmezeitpunkt des ersten Farbbildes aufgenommen wurde, gut als Referenz-Farbbild eignen, da es eine hohe Ähnlichkeit aufweist. Insbesondere kann als Referenz-Farbbild das jüngste Farbbild im Farb-Bildstrom gewählt werden, welches kein Artefakt aufweist.
-
Die Grenze von k Sekunden kann abhängig von weiteren Parametern des Verfahrens und/oder benutzerdefiniert gewählt werden.
-
Die zweite Bedingung erlaubt die Betrachtung eines Qualitätskriteriums, das insbesondere darin bestehen kann, dass ein Qualitätswert wie vorgehend beschrieben einen vorgegebenen Schwellenwert nicht überschreitet oder unterschreitet.
-
Gemäß der dritten Bedingung kann ein Ähnlichkeitswert zur Ermittlung des Referenz-Farbbildes herangezogen werden, der den Grad einer Ähnlichkeit zwischen einem Farbbild und dem ersten Farbbild ausdrückt. Insbesondere kann der Ähnlichkeitswert auf einer Metrik basieren, welche die Ähnlichkeit beider Bilder in Bezug auf die Kopforientierung und/oder die Mimik einer abgebildeten Person beschreibt.
-
Gemäß der vierten Bedingung kann ein (zusätzliches) Kriterium, dass das Farbbild das Artefakt nicht bzw. nur teilweise aufweist.
-
In einer Ausführungsform umfasst das Erzeugen des Austauschbildes die Verwendung eines Autoencoders. Insbesondere kann der Autoencoder zum Kolorieren des mindestens einen Referenz-Infrarotbildes eingesetzt werden.
-
Autoencoder können gezielt auf das Kolorieren von Bildern ohne Farbinformationen trainiert werden, insbesondere auf das Kolorieren von Graustufen- oder Infrarotbildern. Gemäß der beschriebenen Ausführungsform kann somit der Autoencoder dazu eingesetzt werden, eine kolorierte Version des Referenz-Infrarotbildes als Austauschbild zu erzeugen. Das Referenz-Infrarotbild weist dabei bevorzugt, bis auf die fehlenden Farbinformationen, eine hohe Ähnlichkeit zum ersten Farbbild auf, welches das Artefakt aufweist. Insbesondere kann sich die Ähnlichkeit auf Kantenverläufe beziehen. Als Zusatzinformation wird dem Autoencoder das Referenz-Farbbild übergeben, welches unter Umständen eine geringere Ähnlichkeit zu dem ersten Farbbild aufweist, bevorzugt aber geeignete Farbinformationen. Eine solche Verwendung eines Autoencoders bietet somit den Vorteil, dass qualitativ hochwertige und realistische Austauschbilder erzeugt werden können.
-
In einer Ausführungsform umfasst der Ausgabebildstrom eine Vielzahl der empfangenen Farbbilder und das mindestens eine Austauschbild. Insbesondere kann der Ausgabebildstrom das mindestens eine Austauschbild an einer Position umfassen, die der Position des ersten Farbbildes im Farb-Bildstrom entspricht, und ansonsten identisch zum Farb-Bildstrom sein. Mit anderen Worten, es wird das erste Farbbild (welches das Artefakt aufweist) gezielt durch das Austauschbild ersetzt, sodass beim Betrachter der Eindruck entsteht, das Artefakt sei retuschiert worden.
-
Optional wird mindestens eine Operation zur Bildbearbeitung auf mindestens ein Bild des Ausgabebildstroms vor und/oder nach Bereitstellung des Ausgabebildstroms angewandt. Insbesondere kann mindestens ein Farbbild bearbeitet werden, welches im Ausgabebildstrom vor oder nach dem Austauschbild angeordnet ist, um den Übergang von/zu dem Austauschbild zu optimieren. So kann die Qualität des bereitgestellten Ausgabebildstroms weiter erhöht werden.
-
In einer Ausführungsform wird in einem Fall, in dem in dem Analysieren der Auswahl der empfangenen Farbbilder kein Artefakt detektiert wird, der Farb-Bildstrom als Ausgabebildstrom bereitgestellt.
-
Die Aufgabe wird ferner durch ein computerimplementiertes Verfahren zum Erzeugen eines Trainingsdatensatzes, insbesondere zum Trainieren eines künstlichen neuronalen Netzes, nach Anspruch 9 gelöst. Das Verfahren umfasst die folgenden Schritte:
- - Empfangen eines Eingabe-Infrarotbildes und einer Sequenz von Farbbildern, umfassend ein Ausgabe-Farbbild, das im Wesentlichen zeitgleich zu dem Eingabe-Infrarotbild aufgenommen ist;
- - Erzeugen eines Eingabe-Farbbildes, welches dem Eingabe-Infrarotbild zugeordnet ist, insbesondere unter Verwendung der Farbbilder;
- - Erzeugen eines Trainingsdatensatzes, wobei ein Eingabevektor des der Trainingsdatensatzes ein Paar aus dem Eingabe-Infrarotbild und das Eingabe-Farbbild enthält und ein Ausgabevektor des Trainingsdatensatzes das Ausgabe-Farbbild enthält.
-
Trainingsdatensätze, die durch dieses Verfahren erzeugt werden, eignen sich insbesondere zum Trainieren eines Autoencoders, wie er im Zusammenhang mit der entsprechenden Ausführungsform des Verfahrens zur Bereitstellung eines Bildstroms beschrieben wurde.
-
Da das Eingabe-Infrarotbild und das Ausgabe-Farbbild im Wesentlichen zeitgleich aufgenommen sind, kann das Ausgabe-Farbbild als kolorierte Variante des Eingabe-Infrarotbildes aufgefasst werden. Umgekehrt kann das Eingabe-Infrarotbild als Variante des Ausgabe-Farbbildes aufgefasst werden, bei dem die Farbinformationen fehlen.
-
Derartige Trainingsdatensätze können daher in einem überwachten Lernverfahren zum Einsatz kommen, bei dem der Autoencoder darauf trainiert wird, das Eingabe-Infrarotbild unter Verwendung des Eingabe-Farbbildes so zu kolorieren, dass das Ergebnis dem Ausgangs-Farbbild nahekommt.
-
Der Eingabevektor des Trainingsdatensatzes enthält dabei ein Infrarotbild und ein Farbbild, genau, wie bei der Verwendung des Autoencoders in der oben beschriebenen Ausführungsform des Verfahrens zur Bereitstellung eines Bildstroms. Der Ausgabevektor, der das Ausgabe-Farbbild enthält, kann als Kontrollergebnis in dem überwachten Lernverfahren verwendet werden.
-
In einer Ausführungsform umfasst das Erzeugen des Eingabe-Farbbildes mindestens einen der folgenden Schritte:
- - Ermitteln eines Farbbildes der Sequenz, wobei die Aufnahmezeitpunkte des Farbbildes und des Ausgabe-Farbbildes einen Versatz von mindestens x und/oder höchstens y Millisekunden aufweisen, wobei x insbesondere mindestens 10 ist und wobei y insbesondere höchstens 1000 ist; und optional
- - Bearbeiten des ermittelten Farbbildes, insbesondere sodass das ermittelte Farbbild mindestens ein Artefakt aufweist;
-
Gemäß dieser Ausführungsform kann das Eingabe-Farbbild, welches dem Eingabe-Infrarotbild zugeordnet ist, also derart erzeugt werden, dass (a) ein zeitlicher Versatz der Aufnahmezeitpunkte in einem Bereich von [x,y] Millisekunden besteht und optional (b) das Referenz-Farbbild darüber hinaus modifiziert ist, beispielsweise ein Artefakt aufweist. Durch (a) wird gerade die Situation bei der Verwendung des Autoencoders in dem Verfahren zum Bereitstellen eines Bildstroms simuliert, bei der das Referenz-Farbbild ein im Farb-Bildstrom zurückliegendes Farbbild sein kann, also einen zeitlichen Versatz zu dem Referenz-Infrarotbild aufweist. Optional kann durch (b) das künstliche neuronale Netz zusätzlich darauf trainiert werden, das beschriebene Kolorieren selbst auf Grundlage eines ferner modifizierten Eingabe-Farbbildes durchzuführen, welches z.B. ein Artefakt aufweist.
-
In einer weiteren Ausführungsform umfasst das Erzeugen des Eingabe-Farbbildes eine geometrische Transformation, insbesondere Translation und/oder Stauchung, des Ausgabe-Farbbildes.
-
Der oben bereits beschriebene zeitliche Versatz des Referenz-Farbbildes zum Referenz-Infrarotbild (bzw. zum ersten Farbbild, welches das Artefakt aufweist), kann insbesondere dazu führen, dass ein abgebildetes Objekt (bzw. Bereiche davon) durch eine veränderte Kameraposition translatiert und/oder gestaucht erscheinen. Somit können sich das Referenz-Infrarotbild und das Referenz-Farbbild nicht nur in den (fehlenden) Farbinformationen unterscheiden, sondern auch in ihrem Konturenverlauf.
-
Derartige Situationen werden durch die geometrische Transformation gemäß der beschriebenen Ausführungsform simuliert. Durch diese Ausführungsform können somit Trainingsdatensätze erzeugt werden, mit denen die Robustheit des künstlichen neuronalen Netzes gegenüber Unterschieden der Referenzbilder gesteigert werden kann.
-
Die Aufgabe wird ferner durch ein computerimplementiertes Verfahren zum Trainieren eines künstlichen neuronalen Netzes, insbesondere eines Autoencoders, zum Erzeugen eines Austauschbildes nach Anspruch 12 gelöst. Das Trainingsverfahren umfasst die folgenden Schritte:
- - Erzeugen einer Vielzahl von Trainingsdatensätzen, insbesondere durch ein Verfahren wie vorstehend beschrieben, wobei jeder Trainingsdatensatz in einem Eingabevektor ein Eingabe-Farbbild und ein Eingabe-Infrarotbild aufweist und in einem Ausgabevektor ein Ausgabe-Farbbild aufweist;
- - Ausführen eines Trainingsverfahrens, insbesondere eines Backpropagation-Verfahrens, für das künstliche neuronale Netz, unter Verwendung der Vielzahl von Trainingsdatensätzen.
-
In Verbindung mit dem zuvor beschriebenen Verfahren zur Erzeugung von Trainingsdatensätzen ergeben sich die dort beschriebenen Vorteile. Insbesondere wird das künstliche neuronale Netz auf das Kolorieren von Infrarotbildern mittels Referenz-Farbbildern trainiert, wobei die Robustheit des künstlichen neuronalen Netzes gegenüber zeitlichem Versatz und/oder geometrischer Transformation der Eingaben optimiert wird.
-
Die Aufgabe wird ferner durch ein computerlesbares Speichermedium nach Anspruch 13 gelöst. Das Speichermedium enthält Instruktionen, die mindestens einen Prozessor dazu veranlassen, ein Verfahren nach einem der vorangegangenen Ansprüche zu implementieren, wenn die Instruktionen durch den mindestens einen Prozessor ausgeführt werden.
-
Es ergeben sich ähnliche vorteilhafte Wirkungen wie bereits in Verbindung mit dem Verfahren zur Bereitstellung eines Bildstroms beschrieben.
-
Die Aufgabe wird ferner durch ein Kamerasystem zur Bereitstellung eines Bildstroms, insbesondere für eine Videokonferenz in einem Fahrzeug, nach Anspruch 14 gelöst. Das Kamerasystem weist eine Kamera mit einem RGB-IR-Sensorarray und eine Verarbeitungseinheit auf. Vorzugsweise ist die Kamera im Inneren des Fahrzeugs angeordnet und so ausgerichtet, dass sie mindestens eine im Fahrzeug befindliche Person aufnehmen kann. Die Kamera ist dazu ausgebildet, jeweils abwechselnd eine Vielzahl von Farbbildern und eine Vielzahl von Infrarotbildern aufzunehmen und einen Kombinations-Bildstrom an die Verarbeitungseinheit bereitzustellen, bevorzugt über einen Fahrzeugbus, wobei der Kombinations-Bildstrom jeweils abwechselnd ein Farbbild und ein Infrarotbild aufweist. Die Verarbeitungseinheit ist dazu ausgebildet, mindestens einen, bevorzugt alle, der folgenden Schritte auszuführen:
- - Extrahieren eines Farb-Bildstroms, der die Farbbilder aufweist, aus dem Kombinations-Bildstrom;
- - Extrahieren eines IR-Bildstroms, der die Infrarotbilder aufweist, aus dem Kombinations-Bildstrom;
- - Analysieren mindestens einer Auswahl der Farbbilder;
- - Detektieren mindestens eines Artefakts in einem ersten Farbbild des Farb-Bildstroms;
- - Ermitteln mindestens eines Referenz-Farbbildes des Farb-Bildstroms, vorzugsweise unter Berücksichtigung eines Aufnahmezeitpunktes des ersten Farbbildes;
- - Auswählen mindestens eines Referenz-Infrarotbildes des Infrarot-Bildstroms, vorzugsweise unter Berücksichtigung des Aufnahmezeitpunktes des ersten Farbbildes;
- - Erzeugen mindestens eines Austauschbildes unter Verwendung des Referenz-Farbbildes und des Referenz-Infrarotbildes;
- - Bereitstellen eines Ausgabebildstroms, insbesondere über den Fahrzeugbus, basierend auf einer Vielzahl der empfangenen Farbbilder und dem mindestens einen Austauschbild.
-
Es ergeben sich ähnliche vorteilhafte Wirkungen wie bereits in Verbindung mit dem Verfahren zur Bereitstellung eines Bildstroms beschrieben.
-
Ferner wird die Aufgabe durch ein Fahrzeug nach Anspruch 15 gelöst, welches ein Kamerasystem wie vorstehend beschrieben aufweist. Bevorzugt weist das Fahrzeug ferner eine Infrarot-Beleuchtungsquelle auf, die dazu ausgelegt ist, einen Innenraum des Fahrzeugs, vorzugsweise den Fahrer-, Beifahrer- und/oder Passagierbereich, mit Infrarotstrahlung zu beleuchten.
-
Es ergeben sich ähnliche vorteilhafte Wirkungen wie bereits in Verbindung mit dem Verfahren zur Bereitstellung eines Bildstroms und dem Kamerasystem beschrieben.
-
Es versteht sich von selbst, dass die Merkmale und die damit jeweils erzielbaren Vorteile, die in Bezug auf das erfindungsgemäße Verfahren beschrieben wurden, auf die erfindungsgemäßen Vorrichtungen anwendbar bzw. übertragbar sind und umgekehrt. Konkret sind die Komponenten der Vorrichtungen im Kontext der vorliegenden Beschreibung der Erfindung dazu ausgebildet, die erfindungsgemäßen Verfahrensschritte durchzuführen. Ebenso sind die Funktionen der oben beschriebenen Komponenten der erfindungsgemäßen Vorrichtungen als Verfahrensschritte des erfindungsgemäßen Verfahrens anwendbar.
-
Nachfolgend wird die Erfindung anhand von Ausführungsbeispielen beschrieben, die anhand der Figuren näher erläutert werden. Hierbei zeigen:
- 1: eine schematische Darstellung des Verfahrens zur Bereitstellung eines Bildstroms gemäß einem Ausführungsbeispiel;
- 2: ein Erzeugen eines Austauschbildes unter Verwendung eines Referenz-Farbbildes und eines Referenz-Infrarotbildes;
- 3: ein Fahrzeug mit einem Kamerasystem;
- 4: eine Verarbeitungseinheit gemäß einem alternativen Ausführungsbeispiel.
-
In der nachfolgenden Beschreibung werden für gleiche und gleich wirkende Teile dieselben Bezugsziffern verwendet.
-
In 1 ist der Ablauf des Verfahrens zur Bereitstellung eines Bildstroms anhand eines Ausführungsbeispiels schematisch dargestellt. Dabei entspricht die Anordnung von links nach rechts der Elemente (d.h. Bilder) in den Bildströmen B, C, IR und C' deren zeitlicher Abfolge im jeweiligen Bildstrom von früh (links) bis spät (rechts).
-
Gemäß dem dargestellten Ausführungsbeispiel wird ein Kombinations-Bildstrom B mit 2n Bildern empfangen, wovon n Farbbilder und n Infrarotbilder sind. In dem Kombinations-Bildstrom B sind die Farbbilder C1, C2, ..., Cn und die Infrarotbilder IR1, IR2, ..., IRn jeweils abwechselnd angeordnet. Der Kombinations-Bildstrom B gibt somit den Farb-Bildstrom C mit den Farbbildern C1, C2, ..., Cs, Ct, ..., Cn an sowie den Infrarot-Bildstrom IR mit den Infrarotbildern IR1, IR2, ..., IRs, IRt, ..., IRn an.
-
Gemäß dem gezeigten Ausführungsbeispiel werden die Farbbilder C1, C2, ..., Cs, Ct analysiert, wobei in dem Farbbild Ct erstmalig ein Artefakt 1 detektiert wird und die Farbbilder C1,C2,...,Cs mit früherem Aufnahmezeitpunkt kein Artefakt aufweisen.
-
Daraufhin ermittelt das Verfahren das Referenz-Farbbild Cs, welches vor dem Aufnahmezeitpunkt t des Farbbildes Ct aufgenommen wurde. Dies kann beispielsweise so erfolgen, dass unter allen Farbbildern mit früherem Aufnahmezeitpunkt das letzte (d.h. das mit dem spätesten Aufnahmezeitpunkt) ermittelt wird, welches das Artefakt 1 nicht aufweist.
-
Da die Farbbilder C1,...,Cn und die Infrarotbilder IR1,...,IRn Teil des Kombinations-Bildstroms B sind, der wie oben beschrieben angeordnet ist, existiert zu jedem Farbbild ein Infrarotbild mit im Wesentlichen gleichem Aufnahmezeitpunkt. Vor diesem Hintergrund wählt das Verfahren das Referenz-Infrarotbild IRt für das Farbbild Ct aus.
-
Eine Detailansicht der Farbbilder Ct, des Referenz-Farbbildes Cs und des Referenz-Infrarotbildes IRt ist in 2 angegeben.
-
In einem nächsten Schritt erfolgt das Erzeugen des Austauschbildes C't für das Farbbild Ct. Dieser Schritt erfolgt durch den Autoencoder 10, dessen künstliches neuronales Netz darauf trainiert ist, Infrarotbilder unter Verwendung von Referenz-Farbbildern zu kolorieren. Im beschriebenen Ausführungsbeispiel wird dem Autoencoder 10 das Referenz-Farbbild Cs sowie das Referenz-Infrarotbild IRt geliefert. Der Autoencoder 10 erzeugt daraufhin aus Austauschbild C't.
-
Anschließend erzeugt das Verfahren den Ausgabebildstrom C', indem der Farb-Bildstrom C zunächst kopiert wird und das Farbbild Ct, welches das Artefakt aufweist, durch das erzeugte Austauschbild C't ersetzt wird. An dieser Stelle kann eine weitere Bildbearbeitung einzelner Bilder des Ausgabebildstroms C' erfolgen. Der so erzeugte Ausgabebildstrom C' wird für eine weitere Verwendung, beispielsweise für eine Videokonferenz, bereitgestellt.
-
2 zeigt eine Detailansicht der Bilder Ct, Cs, IRt und C't aus 1.
-
Insbesondere zeigt 2 das Farbbild Ct des Farb-Bildstroms C, welches das Artefakt 1 aufweist. In 2 ist das Artefakt lediglich beispielhaft in Form eines Sterns dargestellt, allerdings kann das Artefakt 1 eine beliebige Form annehmen. Insbesondere kann das Artefakt 1 ein über- oder unterbelichteter Bildbereich, eine unerwünschte Reflexion oder sonstige Bildstörung sein, die sich über einen Teil der Bildfläche des Farbbildes Ct erstreckt.
-
Das ermittelte Referenz-Farbbild Cs aus dem Farb-Bildstrom C, das in 2 links neben dem Farbbild Ct angeordnet ist, weist das Artefakt 1 nicht auf. Außerdem hat das Referenz-Farbbild Cs eine ausreichende Farbsättigung. Im Vergleich zu dem Farbbild Ct fällt aber auf, dass die abgebildete Person in einer anderen Haltung zur Kamera und vor einem anderen Hintergrund abgebildet ist.
-
Ferner zeigt 2 das Referenz-Infrarotbild IRt, wobei die Infrarot-Intensitätswerte als Graustufen dargestellt sind. Verglichen mit dem Farbbild Ct fehlen dem Referenz-Infrarotbild IRt die Farbinformationen. Die die Konturenverläufe des Farbbildes Ct und des Referenz-Infrarotbildes IRt sind identisch, da beide Bilder im Wesentlichen zeitgleich aufgenommen wurden.
-
Wie bereits im Zusammenhang mit 1 beschrieben, erzeugt der Autoencoder 10 das Austauschbild C't für das Farbbild Ct unter Verwendung des Referenz-Farbbildes Cs und des Referenz-Infrarotbildes IRt. Wie in 2 dargestellt unterscheidet sich das Austauschbild C't von dem Farbbild Ct lediglich dadurch, dass das Artefakt 1 fehlt. Mit anderen Worten ist das Austauschbild C't eine Variante des Farbbildes Ct, bei der das Artefakt 1 entfernt bzw. retuschiert wurde.
-
3 zeigt den Innenraum eines Fahrzeug 20, in dem ein erfindungsgemäßes Kamerasystem installiert ist. Das Kamerasystem weist eine RGB-IR-Kamera 30 auf, die so auf den Beifahrersitz des Fahrzeugs 20 gerichtet ist, dass die Person auf dem Beifahrersitz frontal aufgenommen werden kann, beispielsweise für eine Videokonferenz während der Fahrt. Die RGB-IR-Kamera 30 weist ein RGB-IR-Sensorarray auf und ist dazu ausgebildet, jeweils abwechselnd Farbbilder und Infrarotbilder bei einer Bildfrequenz von 40 Hz aufzunehmen und den entsprechenden Kombinations-Bildstrom an die Verarbeitungseinheit 40 bereitzustellen.
-
Die Verarbeitungseinheit 40 ist dazu ausgebildet, ein Verfahren zur Bereitstellung eines Bildstroms zu implementieren, insbesondere so, wie es oben beispielhaft im Zusammenhang mit 1 näher erläutert wird.
-
Darüber hinaus ist im Innenraum des Fahrzeugs 20 eine Infrarot-Beleuchtungsquelle 50 so angeordnet, dass sie zumindest einen Teil des Erfassungsbereichs der RGB-IR-Kamera 30 mit Infrarotstrahlung beleuchtet, also insbesondere eine Person auf dem Beifahrersitz. Damit wird für eine bessere Ausleuchtung der abgebildeten Person für die Infrarotbilder gesorgt, die von der RGB-IR-Kamera 30 aufgenommen werden.
-
4 zeigt den Aufbau einer Verarbeitungseinheit 40 gemäß einem alternativen Ausführungsbeispiel.
-
In dem gezeigten Ausführungsbeispiel liefert das RGB-IR-Sensorarray 31 Sensordaten, welche das Farbbild Ct sowie das Infrarot-Referenzbild IRt beschreiben.
-
Der Artefakt-Detektor 100 empfängt das Farbbild Ct und ermittelt ein Auswertungsergebnis res, welches anzeigt, ob das Farbbild Ct ein Artefakt aufweist. Das Auswertungsergebnis kann zusätzlich weitere Informationen zu dem Artefakt und/oder Qualitätswerte des Farbbildes Ct enthalten. Das Auswertungsergebnis res wird an die Entscheidungseinheit 110 weitergeleitet.
-
Die Entscheidungseinheit 110 entscheidet auf der Grundlage des empfangenen Auswertungsergebnisses res, ob ein Austausch bzw. eine Nachbearbeitung des Farbbildes Ct zur Bereitstellung des Ausgabebildstroms erforderlich ist. Hierzu kann die Entscheidungseinheit 110 prüfen, ob gemäß dem Auswertungsergebnis res ein Artefakt im Farbbild Ct vorliegt und falls ja, die Erzeugung eines Austauschbildes veranlassen. Alternativ oder zusätzlich kann die Entscheidungseinheit 110 prüfen, ob ein Qualitätswert des Farbbildes Ct einen vorgegebenen Schwellenwert unterschreitet. Entscheidet die Entscheidungseinheit 110, dass kein Austausch des Farbbildes Ct erforderlich ist, wird das Farbbild Ct der Ausgabeeinheit 130 unverändert bereitgestellt. Andernfalls wird das Farbbild Ct an die Referenzeinheit 120 weitergeleitet.
-
Die Referenzeinheit 120 empfängt das Farbbild Ct, das ein Artefakt aufweist, und ermittelt das Referenz-Farbbild Cs. Hierzu weist die Referenzeinheit 120 einen internen Speicher auf, welcher eine Vielzahl von Farbbildern enthält. Insbesondere können die gespeicherten Farbbilder Qualitätskriterien, wie ausreichende Farbsättigung, Abwesenheit von Artefakten usw., erfüllen. Das Ermitteln des Referenz-Farbbildes Cs für das Farbbild Ct kann insbesondere eine Ähnlichkeitsanalyse eines gespeicherten Farbbildes mit dem Farbbild Ct umfassen.
-
Der Autoencoder 10 empfängt das Referenz-Farbbild Cs von der Referenzeinheit sowie das Referenz-Infrarotbild IRt von dem RGB-IR-Sensorarray 31. Der Autoencoder 10 erzeugt auf dieser Grundlage das Austauschbild C't, welches an die Ausgabeeinheit 130 weitergeleitet wird. Das Erzeugen des Austauschbildes C't durch den Autoencoder 10 kann insbesondere so erfolgen, wie es bereits im Zusammenhang mit den vorherigen Ausführungsbeispielen beschrieben wurde.
-
Die Ausgabeeinheit 130 empfängt somit - in Abhängigkeit von dem Auswertungsergebnis res - entweder das Farbbild Ct oder das entsprechende Austauschbild C't und gibt dies zur Bereitstellung eines ggf. verbesserten Bildstroms aus.
-
In den oben beschriebenen Ausführungsbeispielen wird stets ein Original-Farbbild des Farb-Bildstroms bzw. ein Original-Infrarotbild des Infrarot-Bildstroms als Referenz-Farbbild bzw. Referenz-Infrarotbild verwendet. Selbstverständlich müssen die Original-Bilder nicht unverändert als Referenz-Bilder verwendet werden, sondern können zuvor einer Bildbearbeitung, insbesondere zur Optimierung, unterzogen werden. Auch kann ein Referenz-Farbbild bzw. Referenz-Infrarotbild aus jeweils mehreren entsprechenden Bildern erzeugt werden.
-
Darüber hinaus kann ein Autoencoder dahingehend modifiziert werden, mehrere Referenz-Farbbilder bzw. Referenz-Infrarotbilder als Eingabe zu empfangen, um die Qualität des erzeugten Austauschbildes weiter zu steigern.
-
Anders als im Ausführungsbeispiel der 1 beschrieben muss das Analysieren von Farbbildern nicht für jedes Element des Farb-Bildstroms durchgeführt werden, wobei in diesen Fällen das entsprechende Farbbild unverändert für den Ausgabebildstrom verwendet wird. Beispielsweise kann das Analysieren periodisch für jedes k-te Bild, wobei keine natürliche Zahl größer oder gleich Eins ist, oder zu vorgegebenen Zeitpunkten durchgeführt werden. Ferner kann das Analysieren durch ein externes Ereignis ausgelöst werden.
-
Für die Erfindung ist es ferner unerheblich, ob die Farbbilder und die Infrarotbilder von einem RGB-Sensorarray und einem Infrarot-Sensorarray empfangen werden, oder ob ein Sensorarray verwendet wird, bei dem jeder Sensor zusätzlich zu RGB-Intensitätswerten auch Infrarot-Intensitätswerte detektieren kann.
-
Im Ausführungsbeispiel der 3 umfasst das Kamerasystem eine einzelne Kamera mit einem RGB-IR-Sensorarray. Erfindungsgemäß ist aber auch ein Kamerasystem denkbar, welches mehrere Kameras umfasst, wobei jede Kamera dazu ausgebildet ist, einen Farb-Bildstrom und/oder einen Infrarot-Bildstrom an die Verarbeitungseinheit bereitzustellen. Beispielsweise kann ein solches Kamerasystem eine Farbbild-Kamera und eine Infrarotbild-Kamera umfassen, die nah beieinander angeordnet sind, sodass beide Kameras im Wesentlichen den gleichen Erfassungsbereich haben.
-
An dieser Stelle sei darauf hingewiesen, dass alle oben beschriebenen Teile jeweils für sich - auch ohne im jeweiligen Zusammenhang zusätzlich beschriebene Merkmale, selbst wenn diese nicht explizit als optionale Merkmale im jeweiligen Zusammenhang individuell kenntlich gemacht worden sind, z. B. durch Verwendung von: insbesondere, vorzugsweise, beispielsweise, z. B., ggf. , runden Klammern, etc. - und in Kombination oder jeglicher Unterkombination als eigenständige Ausgestaltungen bzw. Weiterbildungen der Erfindung, wie sie insbesondere in der Beschreibungseinleitung sowie den Ansprüchen definiert ist, anzusehen sind. Abweichungen hiervon sind möglich. Konkret sei darauf hingewiesen, dass das Wort insbesondere oder runde Klammern keine im jeweiligen Kontext zwingende Merkmale kennzeichnen.
-
Bezugszeichenliste
-
- 1
- Artefakt
- 10
- Autoencoder
- 20
- Fahrzeug
- 30
- RGB-IR-Kamera
- 31
- RGB-IR-Sensorarray
- 40
- Verarbeitungseinheit
- 50
- Infrarot-Beleuchtungsquelle
- 100
- Artefakt-Detektor
- 110
- Entscheidungseinheit
- 120
- Referenzeinheit
- 130
- Ausgabeeinheit
- B
- Kombinations-Bildstrom
- C
- Farb-Bildstrom
- C1,...,Cn
- Farbbild
- Cs
- Referenz-Farbbild
- Ct
- erstes Farbbild (welches ein Artefakt aufweist)
- C'
- Ausgabebildstrom
- C't
- Austauschbild
- IR
- Infrarot-Bildstrom
- IR1,...,IRn
- Infrarotbild
- IRt
- Referenz-Infrarotbild
- res
- Auswertungsergebnis
- t
- Aufnahmezeitpunkt
