DE102020215122A1

DE102020215122A1 - Verfahren zum Trainieren eines künstlichen neuronalen Netzes, Bildverarbeitungssystem und Verwendung

Info

Publication number: DE102020215122A1
Application number: DE102020215122.9A
Authority: DE
Inventors: Christian Scharfenberger; Michelle Karg
Original assignee: Continental Automotive GmbH
Current assignee: Continental Automotive Technologies GmbH
Priority date: 2020-12-01
Filing date: 2020-12-01
Publication date: 2022-06-02
Also published as: WO2022117165A1

Abstract

Die Erfindung betrifft ein Verfahren zum Trainieren eines künstlichen neuronalen Netzes zur Umwandlung eines Eingangsbildes (6) in ein Ausgangsbild (7), wobei das Eingangsbild (6) als Nachtaufnahme zumindest eines Fahrzeuginsassen ausgebildet ist umfassend der Schritte:- Bereitstellen eines künstlichen neuronalen Netzes,- Trainieren des künstlichen neuronalen Netzes basierend auf Eingangsbildern (6), welche als Nachtaufnahme zumindest eines Fahrzeuginsassen ausgebildet sind, anhand von Ausgangsbildern (7), welche zumindest einen vordefinierten Bereich des zumindest einen Fahrzeuginsassen in voller Ausleuchtung oder Tageslicht umfassen, so dass durch den in voller Ausleuchtung oder Tageslicht aufgehellten Bereich eine Extraktion vorgegebener Fahrzeuginsassenmerkmale ermöglicht wird, durch folgende Schritte:◯ Bestimmung der vordefinierten Bereiche und individuelle Ermittlung eines Aufhellungsgrades für die bestimmten Bereiche,◯ Anwendung des künstlichen neuronalen Netzes auf die Eingangsbilder unter Verwendung des ermittelten Aufhellungsgrades für die bestimmten Bereiche;◯ Ausgabe von Ausgangsbilder durch das künstliche neuronale Netz.Ferner betrifft die Erfindung eine Bildverarbeitungssystem mit einem solchen Verfahren.

Description

Die Erfindung betrifft ein Verfahren zum Trainieren eines künstlichen neuronalen Netzes zur Umwandlung eines Eingangsbildes in ein Ausgangsbild, wobei das Eingangsbild als Nachtaufnahme zumindest eines Fahrzeuginsassen ausgebildet ist. Ferner betrifft die Erfindung ein Bildverarbeitungssystem mit einem solchen Verfahren.
Heutige Fahrzeuge sind mit Innenraumkameras ausgestattet, die insbesondere den Fahrer überwachen sollen. Dabei spielt die Erkennung der Kopfpose oder der Körperhaltung und Gesichtserkennung eine wichtige Rolle, da aus ihr Merkmale wie die Aufmerksamkeit, die Müdigkeit, die Blickrichtung und weitere Eigenschaften des Zustandes des Fahrers abgeleitet werden können. Diese Informationen werden einem System im Fahrzeug zugespielt, welches bei einer gegebenen Notwendigkeit wie fehlender Aufmerksamkeit entweder eine Warnung an den Fahrer erzeugt, oder selber eine gewisse Aktion unternimmt.
Diese Systeme zur Fahrerüberwachung durch Erkennung der Kopfpose oder der Körperhaltung mit Hilfe von Innenraumkameras zeigen eine sehr gute Performance bei Tageslicht. Unterstützt werden diese Systeme durch zusätzliche Beleuchtung im Fahrzeuginnenraum, die beispielsweise den Kopfbereich des Fahrers ausleuchten. Damit wird insbesondere die Erkennung bei Nacht unterstützt.
Die DE 10 2005 023 697 A1 zeigt eine Einrichtung zur Steuerung der Innenbeleuchtung eines Kraftfahrzeugs, wobei im Kraftfahrzeug mindestens ein Sensor angeordnet ist, welcher die Blickrichtung von Fahrzeuginsassen erfasst, wobei ein Steuergerät unter Anwendung von Ausgangsgrößen des mindestens einen Sensors Steuersignale für im Kraftfahrzeug befindliche Beleuchtungselemente erzeugt.
Es ist daher eine Aufgabe der Erfindung Mittel anzugeben, welche zur verbesserten und vereinfachten Fahrzeuginsassenüberwachung bei Nacht führen.
Die Aufgabe wird gelöst durch ein Verfahren mit den Merkmalen des Anspruchs 1. Ferner wird die Aufgabe gelöst durch ein solches Bildsystem mit den Merkmalen des Anspruchs 14 und eine Verwendung mit den Merkmalen des Anspruchs 18.
Die Aufgabe wird gelöst durch ein Verfahren zum Trainieren eines künstlichen neuronalen Netzes zur Umwandlung eines Eingangsbildes in ein Ausgangsbild, wobei das Eingangsbild als Nachtaufnahme zumindest eines Fahrzeuginsassen ausgebildet ist, umfassend der folgenden Schritte:

- Bereitstellen eines künstlichen neuronalen Netzes,
- Trainieren des künstlichen neuronalen Netzes basierend auf Eingangsbildern, welche als Nachtaufnahme zumindest eines Fahrzeuginsassen ausgebildet sind, und anhand von Ausgangsbildern, welche zumindest einen vordefinierten Bereich des zumindest einen Fahrzeuginsassen in voller Ausleuchtung oder Tageslicht umfassen, so dass durch den in voller Ausleuchtung oder Tageslicht aufgehellten Bereich eine Extraktion vorgegebener Fahrzeuginsassenmerkmale ermöglicht wird, mit den Schritten:
- - Bestimmung der vordefinierten Bereiche und individuelle Ermittlung eines Aufhellungsgrades für die bestimmten Bereiche,
- - Anwendung des künstlichen neuronalen Netzes auf die Eingangsbilder unter Verwendung des ermittelten Aufhellungsgrades für die bestimmten Bereiche;
- - Ausgabe von Ausgangsbilder durch das künstliche neuronale Netz, welche zumindest den einen vordefinierten Bereich des zumindest einen Fahrzeuginsassen in voller Ausleuchtung oder Tageslicht umfassen, so dass durch den in voller Ausleuchtung oder Tageslicht aufgehellten Bereich eine Extraktion vorgegebener Fahrzeuginsassenmerkmale ermöglicht wird.

Ferner wird die Aufgabe gelöst durch ein Bildverarbeitungssystem zur Umwandlung eines Eingangsbildes in ein Ausgangsbild, wobei das Eingangsbild als Nachtaufnahme zumindest eines Fahrzeuginsassen ausgebildet ist, umfassend eines nach einem wie oben beschriebenen Verfahren trainierten künstlichen neuronalen Netzes, wobei das Bildverarbeitungssystem dazu ausgelegt ist, eine Umwandlung des Eingangsbildes in ein Ausgangsbild, welches zumindest einen vordefinierten Bereich des zumindest einen Fahrzeuginsassen in voller Ausleuchtung oder Tageslicht aufweist, unter Verwendung des trainierten künstlichen neuronalen Netzes vorzunehmen, so dass durch den in voller Ausleuchtung oder Tageslicht aufgehellten Bereich eine Extraktion vorgegebener Fahrzeuginsassenmerkmale ermöglicht ist.
Erfindungsgemäß wurde erkannt, dass ein vollständiges Ausleuchten bei Nacht eines Fahrzeuginnenraums eines Fahrzeuges eine hohe Anzahl an Leuchtquellen notwendig ist, welche neben kritischen Designeinschränkungen zu erheblichen Mehrkosten im Fahrzeug führen können.
Es wurde erkannt, dass die heutigen Kamerasysteme durch Weitwinkeloptiken eine breite Überwachung eines großen Bereiches im Fahrzeuginnenraum ermöglichen, welches somit zu einem erheblichen Mehraufwand bei der Ausstattung mit einer geeigneten Beleuchtung führen kann. Ferner kann die Synchronisation von Kameras und Beleuchtung bei steigender Auflösung zu einem signifikanten Kostenanstieg führen. Bei längerem Einschalten der Beleuchtung kann es zudem zu einer hohen Wärme- und Verlustleistung bei der Verwendung einer Vielzahl von Beleuchtungselementen kommen. Auch wurde erkannt, dass bei der Verwendung von IR-basierter Beleuchtung entweder spezielle IR-Kameras , oder Farbkameras notwendig sind, die sensitiv im infraroten Bereich sind. Dies kann den Anwendungsbereich der Kamera deutlich einschränken.
Hier setzt die Erfindung an und gibt als Lösung ein Verfahren zum Trainieren eines künstlichen neuronalen Netzes sowie ein Bildverarbeitungssystem mit einem solchen trainierten künstlichen neuronalen Netz an.
Mittels des erfindungsgemäßen Verfahrens und des erfindungsgemäßen Bildverarbeitungssystems ist ein trainiertes künstliches neuronales Netz vorhanden, welches aus einer Nachtaufnahme eines Fahrers oder anderen Fahrzeuginsassen ein Tagbild erstellt oder zumindest diejenigen Bereiche aufhellt oder in Tageslicht darstellt, die für eine Extraktion der gewünschten Fahrzeuginsassenmerkmale notwendig sind.
Dabei können solche Bereiche beispielsweise das Gesicht sein, wenn beispielsweise eine Blickerfassung zur Bestimmung der Aufmerksamkeit/Müdigkeit des Fahrzeuginsassen ermittelt werden soll.
Unter einem Bild in Tageslicht kann eine Aufnahme verstanden werden, welche einer Aufnahme bei Tageslicht aufgenommen entspricht.
Die aufzuhellenden oder in Tageslicht darzustellenden Bereiche können beispielsweise vorab oder dynamisch im Betrieb des Systems festgelegt werden.
Unter Bilder oder Aufnahmen sind entsprechende Bilddaten gemeint, welche mit zumindest einem Sensor erzeugt werden.
Durch das erfindungsgemäße Verfahren und das erfindungsgemäße Bildverarbeitungssystem ist es möglich ohne zusätzliche Beleuchtung vereinfacht eine gute Aufwertung von schwach oder unzureichend ausgeleuchteten Bereichen zu erzielen.
Während des Trainings werden dazu vorzugsweise Bildpaare mit unterschiedlicher Belichtungszeit aufgenommen. Diese Bildpaare werden herangezogen, um das künstliche neuronale Netz derart zu trainieren, dass es länger belichtete Ausgangsbilder basierend auf kürzer belichteten Eingangsbildern rekonstruieren kann. Diese Ausgangsbilder ähneln anschließend Aufnahmen bei Tageslicht und es können weitere Algorithmen zur detaillierten Erkennung von Fahrzeuginsassenmerkmalen auf den Gesichtern oder der Posen auf diesen Ausgangsbilder angewandt werden.
Durch die Erfindung ist es möglich, Bereiche von Interesse auch ohne zusätzliche Beleuchtung trotz Dunkelheit und fehlenden Farbinformationen in eine Darstellung umzurechnen, welche einer Aufnahme bei voller Ausleuchtung oder Tageslicht entspricht.
Durch das erfindungsgemäße Verfahren und das erfindungsgemäße Bildverarbeitungssystem wird eine effiziente Methode zur Verbesserung der Bildqualität bei unzureichender Beleuchtung angegeben. Durch das erfindungsgemäße Verfahren und das erfindungsgemäße Bildverarbeitungssystem wird eine deutliche Verbesserung der Bildqualität bei der Anzeige von Nachtaufnahmen erzielt, ohne die Innenraumbeleuchtung eines Fahrzeugs zu erhöhen. Es wird daher keine zusätzliche Beleuchtung benötigt, welche die Innenraumbereiche aufhellt. Insbesondere ist dies gerade bei der Verwendung von Weitwinkelkameras, welche üblicherweise im Fahrzeuginnenraum eines Fahrzeugs verwendet werden, von Vorteil.
Das derart aufgehellte oder in Tageslicht generierte Ausgangsbild kann zur Extraktion der gewünschten Fahrzeuginsassenmerkmale an eine Verarbeitungseinheit weitergeleitet werden. Mithilfe der so gewonnenen Fahrzeuginsassenmerkmale können verschiedene Anwendungen ausgeführt werden, beispielsweise ein Warnton ausgegeben werden, wenn beispielsweise eine erhöhte Müdigkeit/verminderte Aufmerksamkeit festgestellt worden ist. Alternativ oder zusätzlich kann das Ausgangsbild auf einer Anzeigeeinheit im Fahrzeug dem Fahrzeuginsassen angezeigt werden, beispielsweise über ein Head-Up-Display.
Durch die Erfindung ist es möglich, ein sehr dunkles Eingangsbild mit wenig Kontrast und Farbinformationen in eine beispielsweise Taghelle oder zumindest genügend aufgehellte Repräsentation umzuwandeln bzw. zumindest Bereiche von Interesse des Bildes Taghell oder zumindest genügend aufgehellt umzuwandeln. Vorzugsweise lagert das Bildverarbeitungssystem einer Detektions- oder Anzeigeeinheit vor, zur Anzeige des bearbeiteten Ausgangsbildes oder zur Weiterverarbeitung des Ausgangsbildes. Die Detektions- oder Anzeigeeinheit kann jedoch auch in dem Bildverarbeitungssystem integriert sein.
Vorzugsweise werden vorhandene Schichten des künstlichen neuronalen Netzwerkes mit Schichten für Extraktionsfunktionen geteilt, sodass Fahrzeuginsassenmerkmale automatisch zur Verfügung stehen. Weiterhin vorzugsweise kann das Training hierfür gemeinsam stattfinden.
Vorzugsweise werden die Bereiche unter Verwendung semantischer Segmentierung des Innenraums extrahiert. Darüber hinaus kann die Aufhellung verschiedener Bereiche im Eingangsbild zu einem unterschiedlichen Grad erfolgen, z.B., bei zusätzlicher Ausleuchtung einzelner Bereiche im Innenraum, beispielsweise durch etwa Leselampe oder Licht von außen oder etwa bei besonders dunklen Bereichen im Innenraum, z.B., durch Schatten.
In bevorzugter Ausgestaltung umfasst der zumindest eine vordefinierte Bereich das Gesicht des zumindest einen Fahrzeuginsassen. Dadurch können besonders gut Fahrzeuginsassenmerkmale wie die Blickrichtung / Bewegung der Augenlider aus den aufgehellten oder in Tageslicht umgewandelten Gesichtsbildes extrahiert werden. Bei Erkennung von Müdigkeit können beispielsweise Warntöne ausgegeben werden oder andere Maßnahmen ergriffen werden.
Dadurch kann die Sicherheit enorm erhöht werden, insbesondere bei Nachtfahrten, die mit erhöhter Müdigkeit einhergehen. Die Fahrzeuginsassenmerkmale können beispielsweise von einer angeschlossenen Auswerteeinheit extrahiert und bewertet werden, ohne den Fahrzeuginnenraum des Fahrzeugs zu stark und für beispielsweise den Fahrer für die Aufnahme des Eingangsbildes störend zu erhellen. Dies verbessert ebenfalls das trainierte künstliche neuronale Netz aufweisende Bildverarbeitungssystem.
Weiterhin bevorzugt umfasst der zumindest eine vordefinierte Bereich zumindest die Kopfpose des Fahrzeuginsassen. Diese ist ebenfalls besonders wichtig zum Erkennen von Müdigkeit /Aufmerksamkeit während einer Nachtfahrt. Dies verbessert ebenfalls das trainierte künstliche neuronale Netz aufweisende Bildverarbeitungssystem.
Vorzugsweise umfasst der zumindest eine vordefinierte Bereich zumindest die Körperhaltung des Fahrzeuginsassen. Aus einer Körperhaltung kann beispielsweise der Fahraufmerksamkeitspegel des Fahrzeuginsassen geschätzt werden. Auch kann bei einer unausgeglichenen Haltung oder gar gefährlichen Haltung ein Warnton ausgegeben werden. Dies verbessert ebenfalls das trainierte künstliche neuronale Netz aufweisende Bildverarbeitungssystem.
Weiterhin vorzugsweise ist das künstliche neuronale Netz als CNN (Convolutional Neural Network) ausgestaltet. Dieses faltende neuronale Netz eignet sich besonders für eine Bildverarbeitung. Dies verbessert ebenfalls das trainierte künstliche neuronale Netz aufweisende Bildverarbeitungssystem.
Bei einem solchen künstlichen neuronalen Netz können die Parameter für komplexe Szenen automatisch erlernt werden, indem hierbei die Verbesserungen lokal und adaptiv auf verschiedene Bildbereiche (Personen im Innenraum) angewendet werden. Ferner kann ein solches künstliches neuronales Netz die Rechenzeit reduziert, da das CNN mit CNNs für eine anschließende Extraktion leicht kombinierbar ist. Bei dieser Kombination werden die Fahrzeuginsassenmerkmale im künstlichen neuronalen Netz verbessert, sodass die Extraktionsfunktionen auf Merkmalen arbeiten, welche die niedrigere Ausleuchtung bei Nacht kompensieren können.
Weiterhin vorzugsweise wird das künstliche neuronale Netz dahingehend trainiert, zur Umwandlung Informationen aus besser ausgeleuchteten Bildbereichen des Eingangsbildes heranzuziehen, um das Ausgangsbild zu generieren. Dies bedeutet, dass bei Vorhandensein von Beleuchtung im Fahrzeuginnenraum Informationen aus den besser beleuchteten Bereichen genutzt werden, um die Umrechnung für die unbeleuchteten Bereiche weiter zu verbessern. Dadurch wird das Ausgangsbild verbessert. Dies verbessert ebenfalls das trainierte künstliche neuronale Netz aufweisende Bildverarbeitungssystem.
Vorzugsweise sind mehrere Eingangsbilder bereitgestellt, zur Umwandlung in zumindest ein Ausgangsbild, wobei das künstliche neuronale Netz derart trainiert wird, dass zur Umwandlung eines ersten Eingangsbildes Informationen aus besser ausgeleuchteten Bildbereichen eines zweiten Eingangsbildes herangezogen werden, um den zumindest einen vordefinierten Bereich des zumindest einen Fahrzeuginsassen in voller Ausleuchtung oder Tageslicht als Ausgangsbild zu generieren. Hier wird das Netz dann weniger mit Einzelbildern für jede Kamera individuell trainiert, sondern als Gesamtsystem bestehend aus mehreren Kamerasystemen. Dadurch kann ein künstliches neuronales Netz auf die Gegebenheiten der einzelnen Innenräume angepasst werden und ein verbessertes Ergebnis erzielt werden. Dies verbessert ebenfalls das trainierte künstliche neuronale Netz aufweisende Bildverarbeitungssystem.
Vorzugsweise sind Informationen, zum Ausgleich fehlender Farb- und/oder Kontrast und/oder Helligkeitsinformationen bereitgestellt, wobei das künstliche neuronale Netz dazu trainiert wird, die Umwandlung unter Verwendung der bereitgestellten Farb- und /oder Kontrastinformationen zu generieren. Dies bedeutet, dass Helligkeitswerte bzw. Luminanzwerte und/oder Farbinformationen und/oder Kontrastinformationen bereitgestellt werden, mit denen das künstliche neuronale Netz eine verbesserte Umwandlung erzielt.
Vorzugsweise wird der Aufhellungsgrad stufenweise erlernt.
Somit kann das Verfahren die Bereiche mit Personen im Bild um einen Faktor d aufhellen, wobei dieser Faktor d dynamisch an die vorherrschenden Lichtverhältnisse angepasst werden kann. Insbesondere kann der Faktor d für die einzelnen Bildbereiche, z.B., Fahrer oder Insassen im Rückraum, separat angepasst werden, so dass lokal auf unterschiedliche Beleuchtungsverhältnisse im Innenraum eingegangen werden kann.
In weiterer Ausgestaltung wird das künstliche neuronale Netz trainiert eine Gammakorrektur und/oder einen Weißabgleich und/oder eine Histogrammäqualisation nachzubilden. Dazu wird dem künstlichen neuronalen Netz ein Datensatz bestehend aus „dunklen Eingangsbildern (Nachtaufnahmen)“ und den dazugehörigen „taghellen“ oder „ausgeleuchteten Bildern“ zur Verfügung gestellt. Je nach Art des Trainings wird das künstliche neuronale Netz dazu konfiguriert, Verfahren wie Weißabgleich, Gammakorrektur und Histogrammäqualisation in einer optimalen Weise nachzubilden. Dabei versteht man unter Weißabgleich im Wesentlichen die Anpassung an die Farbtemperatur des Lichts.
Unter Gammakorrektur wird eine in der Bildverarbeitung oft verwendete Korrekturfunktion verstanden, welche beispielsweise die Helligkeitsinformation von Bildpunkten verändert. Die Histogrammäqualisation ist ein Verfahren zur Kontrastverbesserung in Grauwertbildern, das über eine bloße Kontrastverstärkung hinausgeht.
Auf diese Art lassen sich sehr dunkle Eingangsbilder in entsprechende Ausgangsbilder umwandeln, welche für eine merkmalsbasierte Erkennung oder eine Betrachtung vorteilhaft ist.
Vorzugsweise werden Bildqualitätsinformationen bereitgestellt, wobei das künstliche neuronale Netz dazu trainiert wird, die Umwandlung unter Verwendung der bereitgestellten Bildqualitätsinformationen zu generieren. Dadurch kann das Netz dahingehend trainiert werden, Ausgangsbilder zu erzeugen, welche für beispielsweise Computer Vision und Human Vision optimierte Bilddaten berechnet. Unter Computer Vision / Human Vision wird der Versuch verstanden, dabei die von Kameras aufgenommenen Bilder auf unterschiedlichste Art und Weise zu verarbeiten und zu analysieren, um deren Inhalt zu verstehen oder geometrische Informationen zu extrahieren.
Durch ein solch verbessertes künstliches neuronales Netz kann im Bildverarbeitungssystem ein verbessertes Ausgangsbild erzeugt werden. Vorzugsweise wird das künstliche neuronale Netz dazu trainiert, das Eingangsbild in ein vollständig ausgeleuchtetes oder in Tageslicht dargestelltes Ausgangsbild umzuwandeln.
Vorzugsweise sind ein oder mehrere Bildsensoren zur Aufnahme des zumindest einen Fahrzeuginsassen vorgesehen. Die Bildsensoren können als Kameras ausgestaltet sein. Dadurch wird eine gute Abdeckung des Fahrzeuginnenraums erzielt.
Weiterhin vorzugsweise ist der eine oder mehrere Bildsensor als Weitwinkelkamera ausgebildet. Dadurch kann mit wenigen Kameras eine gute Abdeckung erzielt werden.
Ferner wird die Aufgabe gelöst durch eine Verwendung des wie oben beschriebenen Bildverarbeitungssystems in einem Fahrzeuginnenraum eines Fahrzeugs zur Überwachung zumindest eines Fahrzeuginsassen.
Weitere Eigenschaften und Vorteile der vorliegenden Erfindung ergeben sich aus der nachfolgenden Beschreibung unter Bezugnahme auf die beiliegenden Figuren.
Darin zeigen schematisch:

1: ein erfindungsgemäßes Verfahren schematisch, und
2: ein erfindungsgemäßes Bildverarbeitungssystem schematisch in einem Fahrzeuginnenraum, und
3: ein von einem Fahrer mittels eines erfindungsgemäßen Bildverarbeitungssystems aufgenommenen Eingangsbild (links) und umgewandelten Ausgangsbild (rechts).

1 zeigt ein Trainieren eines erfindungsgemäßen neuronalen Netzes schematisch. Dieses erhält in einem ersten Schritt S1 als Eingangsbilder 6 (3) Nachtaufnahmen aus dem Fahrzeuginnenraum eines Fahrzeugs 1 (2), welche zumindest einen Fahrzeuginsassen, beispielsweise den Fahrer zeigt. Das Eingangsbild 6 (3) wird vorzugsweise von Bildsensoren, wie Weitwinkelkameras erzeugt.
Das künstliche neuronale Netz ist dabei vorzugsweise als CNN Convolutional Neural Network) ausgestaltet. Dieses faltendes neuronale Netz eignet sich besonders für eine maschinelle Bildverarbeitung. Ein solches Netz weist beispielsweise mehrere Ebenen auf.
Anschließend wird das künstliche neuronale Netz in einem Schritt S6 dahingehend trainiert, die Nachtaufnahme in ein aufgehelltes Ausgangsbild oder Tagbild (Nachtaufnahme in Tageslicht) umzuwandeln. Dazu werden mehrere Nachtaufnahmen mit verschiedenen Kontraststufen/Farbinformationen und dazugehörigen gewünschten Ausgangsbildern 7 (3) während des Trainings verwendet. Vorzugsweise wird das gesamte Eingangsbild 6 (3) umgewandelt.
Das künstliche neuronale Netz kann aber auch dahingehend trainiert werden, lediglich verschiedene Bereiche aus dem Eingangsbild 6 (3) aufzuhellen oder in ein Tagbild umzuwandeln. Dies können besonders das Gesicht, die Kopfpose und die Haltung sein. So kann aus diesen Fahrzeuginsassenmerkmalen besonders auf einen physischen Zustand (Müdigkeit, Unkonzentriertheit etc.) geschlossen werden, beispielsweise durch Extraktion der Blickrichtung, der Bewegung der Augenlider etc. und ggf. geeignete Maßnahmen bei schlechten physischen Zustand getroffen werden. Dadurch kann eine sicherere Fahrt garantiert werden. Diese Bereiche können beispielsweise unter Verwendung semantischer Segmentierung des Innenraums extrahiert werden. Darüber hinaus kann die Aufhellung verschiedener Bereiche im Eingangsbild zu einem unterschiedlichen Grad erfolgen, z.B., bei zusätzlicher Ausleuchtung einzelner Bereiche im Innenraum (durch etwa Leselampe oder Licht von außen) oder etwa bei besonders dunklen Bereichen im Innenraum, z.B., durch Schatten.
Ferner kann als zusätzlicher Schritt S2 das künstliche neuronale Netz dahingehend trainiert werden, bei Vorhandensein von Beleuchtung im Fahrzeuginnenraum zur Umwandlung Informationen aus besser ausgeleuchteten Bildbereichen des Eingangsbildes 6 (3) heranzuziehen, um das Ausgangsbild zu generieren.
Dadurch kann die Umwandlung für die unbeleuchteten Bereiche weiter verbessert werden, und ein besseres Ausgangsbild erzielt werden.
Während des Trainings werden dazu vorzugsweise Bildpaare mit unterschiedlicher Belichtungszeit aufgenommen. Diese Bildpaare werden herangezogen, um das künstliche neuronale Netz derart zu trainieren, dass es länger belichtete Ausgangsbilder basierend auf kürzer belichteten Eingangsbildern rekonstruieren kann. Diese Ausgangsbilder ähneln anschließend Aufnahmen bei Tageslicht und es können weitere Algorithmen zur detaillierten Erkennung von Fahrzeuginsassenmerkmalen auf den Gesichtern oder der Posen auf diesen Ausgangsbilder angewandt werden.
Ferner kann als zusätzlicher Schritt S3 das künstliche neuronale Netz dahingehend trainiert werden, die Umwandlung unter Verwendung von bereitgestellten Farb- und/ oder Kontrastinformationen zu generieren. Dazu werden in der Netzwerkstruktur gespeicherte Informationen genutzt, um fehlende Farb- oder Kontrastinformationen im Ausgangsbild automatisch zu ergänzen. Dadurch könnten beispielsweise Verfahren wie Gammakorrektur und/oder Weißabgleich und/oder Histogrammäqualisation in einer optimierten Weise nachgebildet werden. Auf diese Art lassen sich sehr dunkle Bilder in eine Darstellung umwandeln, welche für eine merkmalsbasierte Erkennung oder eine Betrachtung vorteilhaft sind.
In einem zusätzlichen Schritt S4 wird das künstliche neuronale Netz trainiert eine Gammakorrektur und/oder Weißabgleich und/oder Histogrammäqualisation nachzubilden. Dazu wird das künstliche neuronale Netz anhand eines Datensatzes bestehend aus „dunklen Eingangsbildern (Nachtaufnahmen)“ und den dazugehörigen „taghellen“ oder „ausgeleuchteten Bildern“ trainiert. Je nach Art des Trainings wird das künstliche neuronale Netz dazu konfiguriert Verfahren wie Gammakorrektur und Histogrammäqualisation etc. nachzubilden.
Auf diese Art lassen sich sehr dunkle Eingangsbilder 6 (3) in Ausgangsbilder 7 (3) umwandeln, welche für eine merkmalsbasierte Erkennung oder eine Betrachtung vorteilhaft sind.
Ferner kann in einem zusätzlichen weiteren Schritt S5 das künstliche neuronale Netz dahingehend trainiert werden, die Umwandlung unter Verwendung von Informationen zur Bildqualität zu generieren. Dazu werden in der Netzwerkstruktur vorhandene, hinsichtlich Bildqualität, gespeicherte Informationen genutzt, um ein besseres Ausgangsbild zu erzielen. Dadurch wird das Ausgangsbild beispielsweise dahingehend optimiert, dass es für Computer Vision und Human Vision optimierte Bilddaten berechnet.
Die Schritte S2-S5 können jeweils einzeln zusätzlich oder in beliebiger Kombination in das Verfahren einfließen.
2 zeigt ein Fahrzeug 1 mit dem erfindungsgemäßen Bildverarbeitungssystem 2, welches ein mit dem erfindungsgemäßen Verfahren trainiertes künstliches neuronales Netz 3 aufweist. Das Fahrzeug 1 weist einen Fahrzeuginnenraum 4 auf, welcher Innenraumkameras 5 zur Aufnahme der Fahrzeuginsassen aufweist. Die Innenraumkameras 5 können insbesondere Weitwinkelkameras sein. In einem solchen Fall wird das künstliche neuronale Netz 3 weniger mit Einzelbildern für jede Innenraumkamera 5 individuell trainiert, sondern als Gesamtsystem bestehend aus den mehreren Innenraumkameras 5.
Das Bildverarbeitungssystem 2 kann als eine hardwarebasierten Bildvorverarbeitungsstufe in einer ISP (Image Signal Processor) der ISP, integriert sein. Das Bildverarbeitungssystem 2 kann im ISP die entsprechende Umwandlung vornehmen und beispielsweise die aufbereiteten Informationen mit den Originaldaten möglichen Detektions- oder Anzeigefunktionen zur Verfügung stellen. Durch das erfindungsgemäße Bildverarbeitungssystem 2 wird ein System zur Verbesserung der Bildqualität bei unzureichender Beleuchtung angegeben. Ferner wird durch das erfindungsgemäße Bildverarbeitungssystem 2 eine Verbesserung der Bildqualität bei der Anzeige oder Verarbeitung von Nachtaufnahmen, ohne dass eine zusätzliche Beleuchtung benötigt wird, welche den Fahrzeuginnenraum 4 aufhellt, erzielt. Gerade bei der Verwendung von Weitwinkelkameras ist dies von besonderem Vorteil. Mittels des erfindungsgemäßen Bildverarbeitungssystems 2, welches das erfindungsgemäße trainierte künstliche neuronale Netz 3 aufweist, können somit Bilddatenströme für Anwendungen im Fahrzeuginnenraum 4 generiert werden. Anhand der zumindest deutlich aufgehellten Bereiche von Interesse, wie Gesicht des Fahrzeuginsassen, können Merkmale extrahiert werden und einer Weiterverarbeitungseinheit zugeführt werden. Diese kann dann beispielsweise diese Merkmale analysieren und Maßnahmen bei Abweichung von Sollwerten durchführen.
Durch das erfindungsgemäße Bildverarbeitungssystem 2 können die Nachtaufnahmen der zugrundeliegenden Innenraumkameras 5 ohne zusätzliche Beleuchtung trotz Dunkelheit und fehlenden Farbinformationen schnell, kostengünstig und ohne störende zusätzliche Innenraumbeleuchtung in eine Darstellung umgewandelt werden, welche einer Aufnahme bei voller Ausleuchtung oder Tageslicht entspricht.
Das erfindungsgemäße Bildverarbeitungssystem 2 ermöglicht ohne zusätzliche Beleuchtung mittels des trainierten neuronalen Netzes 3 eine gute Ausleuchtung von schwach oder unzureichend ausgeleuchteten Bereichen.
3 zeigt ein Eingangsbild 6 welches mittels dem erfindungsgemäßen Bildverarbeitungssystem 2 und dem erfindungsgemäß trainierten künstlichen neuronalen Netz 3 umgewandelt wurde. Dabei ist das trainierte künstliche neuronale Netz 3 hier als CNN ausgebildet. Mittels des Bildverarbeitungssystems 2 und dem erfindungsgemäß trainierten künstlichen neuronalen Netz 3 kann aus einem dunklen Eingangsbild 6 ein deutlich verbessertes Ausgangsbild 7 beispielsweise für die Erkennung der Kopfpose oder Körperhaltung erzeugt werden.
Bezugszeichenliste

1: Fahrzeug
2: Bildverarbeitungssystem
3: trainiertes künstliches neuronales Netz
4: Fahrzeuginnenraum
5: Innenraumkamera
6: Eingangsbild
7: Ausgangsbild

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

DE 102005023697 A1 [0004]

Claims

Verfahren zum Trainieren eines künstlichen neuronalen Netzes zur Umwandlung eines Eingangsbildes (6) in ein Ausgangsbild (7), wobei das Eingangsbild (6) als Nachtaufnahme zumindest eines Fahrzeuginsassen ausgebildet ist, gekennzeichnet durch: - Bereitstellen eines künstlichen neuronalen Netzes, - Trainieren des künstlichen neuronalen Netzes basierend auf Eingangsbildern (6), welche als Nachtaufnahme zumindest eines Fahrzeuginsassen ausgebildet sind, anhand von Ausgangsbildern (7), welche zumindest einen vordefinierten Bereich des zumindest einen Fahrzeuginsassen in voller Ausleuchtung oder Tageslicht umfassen, so dass durch den in voller Ausleuchtung oder Tageslicht aufgehellten Bereich eine Extraktion vorgegebener Fahrzeuginsassenmerkmale ermöglicht wird, durch folgende Schritte: ◯ Bestimmung der vordefinierten Bereiche und individuelle Ermittlung eines Aufhellungsgrades für die bestimmten Bereiche, ◯ Anwendung des künstlichen neuronalen Netzes auf die Eingangsbilder (6) unter Verwendung des ermittelten Aufhellungsgrades für die bestimmten Bereiche; ◯ Ausgabe von Ausgangsbilder (7) durch das künstliche neuronale Netz, welche zumindest den einen vordefinierten Bereich des zumindest einen Fahrzeuginsassen in voller Ausleuchtung oder Tageslicht umfassen, so dass durch die in voller Ausleuchtung oder Tageslicht aufgehellten Bereiche eine Extraktion vorgegebener Fahrzeuginsassenmerkmale ermöglicht wird.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass der zumindest eine vordefinierte Bereich ein Gesicht des zumindest einen Fahrzeuginsassen umfasst.
Verfahren nach einem der vorhergehenden Ansprüche, d dadurch gekennzeichnet, dass der zumindest eine vordefinierte Bereich zumindest eine Kopfpose des Fahrzeuginsassen umfasst.
Verfahren nach einem der vorhergehenden Ansprüche, dad dadurch gekennzeichnet, dass der zumindest eine vordefinierte Bereich zumindest eine Körperhaltung des Fahrzeuginsassen umfasst.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass vorhandene Schichten des künstlichen neuronalen Netzwerkes mit Schichten für Extraktionsfunktionen geteilt werden, sodass Fahrzeuginsassenmerkmale automatisch zur Verfügung stehen.
Verfahren nach einem der vorhergehenden Ansprüche, dad dadurch gekennzeichnet, dass das künstliche neuronale Netz dahingehend trainiert wird, zur Umwandlung Informationen aus besser ausgeleuchteten Bildbereichen des Eingangsbildes (6) heranzuziehen, um das Ausgangsbild (7) zu generieren.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das künstliche neuronale Netz trainiert wird eine Gammakorrektur und/oder einen Weißabgleich und/oder eine Histogrammäqualisation nachzubilden.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass mehrere Eingangsbilder (6) bereitgestellt sind zur Umwandlung in zumindest ein Ausgangsbild (7), wobei das künstliche neuronale Netz derart trainiert wird, dass zur Umwandlung eines ersten Eingangsbildes (6) Informationen aus besser ausgeleuchteten Bildbereichen eines zweiten Eingangsbildes (6) herangezogen werden, um den zumindest einen vordefinierten Bereich des zumindest einen Fahrzeuginsassen in voller Ausleuchtung oder Tageslicht als Ausgangsbild (7) zu generieren.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass Informationen, zum Ausgleich fehlender Farb- und/oder Kontrastinformationen bereitgestellt sind, und das künstliche neuronale Netz dazu trainiert wird, die Umwandlung unter Verwendung der bereitgestellten Farb- und /oder Kontrastinformationen zu generieren.
. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass der Aufhellungsgrad stufenweise erlernt wird.
. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Bereiche unter Verwendung wie semantischer Segmentierung des Innenraums extrahiert werden.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass Bildqualitätsinformationen bereitgestellt werden, und das künstliche neuronale Netz dazu trainiert wird, die Umwandlung unter Verwendung der bereitgestellten Bildqualitätsinformationen zu generieren.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das künstliche neuronale Netz dazu trainiert wird, das Eingangsbild (6) in ein vollständig ausgeleuchtetes oder in Tageslicht dargestelltes Ausgangsbild (7) umzuwandeln.
Bildverarbeitungssystem (2) zur Umwandlung eines Eingangsbildes (6) in ein Ausgangsbild (7), wobei das Eingangsbild (6) als Nachtaufnahme zumindest eines Fahrzeuginsassen ausgebildet ist, umfassend eines nach einem Verfahren nach einem der vorhergehenden Ansprüche trainierten künstlichen neuronalen Netzes (3), wobei das Bildverarbeitungssystem (2) dazu ausgelegt ist, eine Umwandlung des Eingangsbildes (6) in ein Ausgangsbild (7), welches zumindest einen vordefinierten Bereich des zumindest einen Fahrzeuginsassen in voller Ausleuchtung oder Tageslicht aufweist, unter Verwendung des trainierten künstlichen neuronalen Netzes vorzunehmen, so dass durch den in voller Ausleuchtung oder Tageslicht aufgehellten Bereich eine Extraktion vorgegebener Fahrzeuginsassenmerkmale ermöglicht ist.
Bildverarbeitungssystem (2) nach Anspruch 14, dadurch gekennzeichnet, dass ein oder mehrere Bildsensoren zur Aufnahme des zumindest einen Fahrzeuginsassen vorgesehen sind.
Bildverarbeitungssystem (2) nach Anspruch 15, dadurch gekennzeichnet, dass der eine oder mehrere Bildsensor als Weitwinkelkamera ausgebildet ist.
Bildverarbeitungssystem (2) nach einem der vorhergehenden Ansprüche 14 bis 16, dadurch gekennzeichnet, dass das Bildverarbeitungssystem (2) dazu ausgebildet ist, aus dem zumindest einen ausgeleuchteten oder in Tageslicht dargestellten Bereich die vorgegebenen Fahrzeuginsassenmerkmale zu extrahieren.
Verwendung des Bildverarbeitungssystems (2) nach einem der vorhergehenden Ansprüche 14 bis 17 in einem Fahrzeuginnenraum (4) eines Fahrzeugs (1) zur Überwachung zumindest eines Fahrzeuginsassen.