DE102017206247A1

DE102017206247A1 - Verfahren zur prädiktiven Belichtungssteuerung einer Fahrzeugkamera

Info

Publication number: DE102017206247A1
Application number: DE102017206247.9A
Authority: DE
Inventors: Robert Thiel; Christian Brendler; Karsten Breuer; Boris Werthessen; Mark Sollweck
Original assignee: Conti Temic Microelectronic GmbH
Current assignee: Continental Autonomous Mobility Germany GmbH
Priority date: 2017-04-11
Filing date: 2017-04-11
Publication date: 2018-10-11

Abstract

Die Erfindung betrifft ein Verfahren zur prädiktiven Belichtungssteuerung einer Fahrzeugkamera. Das Verfahren umfasst ein Bereitstellen einer Kamera, welche an einem Fahrzeug angeordnet ist, und ein Aufnehmen wenigstens eines Bilds (8) von einer äußeren Umgebung des Fahrzeugs mittels der Kamera. Ein Schattenbereich (11) wird innerhalb des wenigstens einen Bildes (8) erkannt, und es wird ein verbleibender Zeitraum bestimmt, bis das Fahrzeug mit der Kamera voraussichtlich in den Schattenbereich (11) eintreten wird. Weiterhin wird eine erforderliche Änderung eines Belichtungswerts ermittelt, um eine Verdunklung auszugleichen, welche auftritt, wenn sich das Fahrzeug mit der Kamera innerhalb des Schattenbereichs (11) befindet.

Description

Die Erfindung betrifft ein Verfahren zur prädiktiven Belichtungssteuerung einer Fahrzeugkamera.
Heutige Fahrerassistenzsysteme umfassen typischerweise eine oder mehrere Kameras, welche an einem Fahrzeug montiert sind und das Umfeld des Fahrzeugs erfassen können. Während der Aufnahme der Bilder ist die Helligkeitsdynamik vor allem bei Sonnenschein sehr groß. Aktuelle Kamerasensoren können die volle Dynamik nicht abbilden und müssen daher über eine Belichtungssteuerung an die jeweilige Situation angepasst werden. Im Schatten wird dabei typischerweise länger belichtet oder das Rohsignal wird mehr verstärkt als in einem helleren Bereich, z.B. in der Sonne. Auf diese Weise wird ermöglicht, dass die Bilder jeweils die maximale Information tragen können.
Üblicherweise funktioniert die Belichtungssteuerung derart, dass das aktuelle aufgezeichnete Bild ausgewertet wird, und je nachdem ob das Bild zu hell oder zu dunkel ist, das nächste Bild der Sequenz kürzer oder länger belichtet wird, sodass die Belichtung dann wieder passend gewählt ist. Üblicherweise ist dabei noch eine zeitliche Filterung aktiv, sodass es bei einer Einfahrt des Fahrzeugs in einen Schattenbereich mehrere Bilder (ungefähr bis 200 ms) dauern kann, bis die Bilder zur neuen Lichtsituation ideal belichtet sind.
Bei einem Wechsel zwischen direktem Sonnenlicht und einem Schattenbereich (und umgekehrt) gibt es kurze Zeitabschnitte (100 ms bis 200 ms), innerhalb derer die Bilder nicht ideal belichtet sind, und somit die auf diesen Bildern rechnenden Algorithmen keine ideale Performance liefern können. Das kann z.B. zu Ausfällen in der Objekterkennung, Verkehrszeichenerkennung oder Spurerkennung führen.
Es ist die Aufgabe der vorliegenden Erfindung, ein Verfahren zur Belichtungssteuerung einer Fahrzeugkamera bereitzustellen, welches die vorstehend genannten Nachteile überwindet.
Die Aufgabe wird gelöst durch die Gegenstände der unabhängigen Patentansprüche. Vorteilhafte Ausführungsformen sind Gegenstand der abhängigen Ansprüche, der folgenden Beschreibung sowie der Figuren.
Gemäß einem ersten Aspekt der Erfindung wird ein Verfahren zur prädiktiven bzw. vorhersagenden Belichtungssteuerung einer Fahrzeugkamera bereitgestellt.
Das Verfahren umfasst ein Bereitstellen einer Kamera, welche an einem Fahrzeug angeordnet ist und ein Aufnehmen wenigstens eines Bilds von einer äußeren Umgebung des Fahrzeugs mittels der Kamera. Innerhalb des wenigstens einen Bilds wird ein Schattenbereich erkannt und es erfolgt ein Bestimmen eines verbleibenden Zeitraums, bis das Fahrzeug mit der Kamera voraussichtlich in den Schattenbereich eintreten wird. Weiterhin wird eine erforderliche Änderung eines Belichtungswerts bestimmt, um eine Verdunklung auszugleichen, welche auftritt, wenn sich das Fahrzeug mit der Kamera innerhalb des Schattenbereichs befindet.
Das wenigstens eine Bild enthält die äußere Umgebung des Fahrzeugs, in welcher sich das Fahrzeug potentiell fortbewegt. Insbesondere kann ein Vorausbereich des Fahrzeugs von der Kamera erfasst und in dem Bild aufgenommen werden. In dem Vorausbereich kann ein Schattenbereich erkannt werden. Zur Erkennung des Schattenbereichs können bekannte Methoden zur Erkennung von Schatten in digitalen Bildern angewandt werden.
Die Erfindung macht sich zu Nutze, dass große Bereiche von Schatten bzw. Schlagschatten auf der Straße typischerweise zu einer veränderten Belichtung des Kamerasensors führen, wenn dieser in den Schattenbereich aus einer helleren Umgebung wechselt.
Je nachdem, wie weit der erkannte Schattenbereich von dem Fahrzeug bzw. von der Kamera entfernt ist, und wie sich das Fahrzeug fortbewegt (insbesondere Fahrrichtung, Geschwindigkeit, Beschleunigung, Abbremsen etc.), kann eine verbleibende Zeit bis zum Eintreten in den Schattenbereich berechnet werden. Basierend auf der berechneten verbleibenden Zeit und einer Referenzzeit bzw. einer aktuellen Uhrzeit kann ein Zeitpunkt bestimmt werden, zu welchem das Fahrzeug voraussichtlich in den Schattenbereich einfahren wird.
Die bestimmte erforderliche Änderung des Belichtungswerts kann zu dem bestimmten Zeitpunkt automatisch eingestellt werden, zu welchem das Fahrzeug voraussichtlich in den Schattenbereich einfahren wird, z.B. mittels der Bildverarbeitungseinheit. Dadurch kann sichergestellt werden, dass der Belichtungswert bereits beim Eintritt des Fahrzeugs in den erkannten Schattenbereich derart eingestellt ist, dass die Verdunklung ausgeglichen wird, welche auftritt, wenn sich das Fahrzeug mit der Kamera innerhalb des Schattenbereichs befindet.
Das Verfahren gemäß dem ersten Aspekt der Erfindung kombiniert die Erkennung von Schlagschatten, die Bestimmung der Zeit bis zum Eintreten in diesen Bereich, die Beleuchtungsänderung und die Belichtungssteuerung des Sensors zu einem prädiktiven bzw. einem vorhersagenden Verfahren. Somit kann die Belichtungssteuerung in Licht-Schatten-Wechselsituationen robuster gestaltet werden.
Das Verfahren gemäß dem ersten Aspekt der Erfindung kann weiterhin beispielsweise in Dashcams, Surround-View-Systemen, Videokameras oder Smartphones eingesetzt werden.
Gemäß einer Ausführungsform ist vorgesehen, dass die erforderliche Änderung des Belichtungswerts bestimmt wird, indem innerhalb des wenigstens einen Bilds lokale Helligkeitsunterschiede zwischen dem erkannten Schattenbereich und nicht abgeschatteten Bereichen außerhalb des erkannten Schattenbereichs ermittelt werden.
Weiterhin können Bewegungswerte des Fahrzeugs ermittelt werden, und basierend auf den ermittelten Bewegungswerten der verbleibende Zeitraum bestimmt werden, bis das Fahrzeug mit der Kamera voraussichtlich in den Schattenbereich eintreten wird. Diese Art der Berechnung des verbleibenden Zeitraums ist besonders effizient, da Bewegungswerte wie Geschwindigkeit und Richtung des Fahrzeugs typischerweise ohnehin ermittelt und für das Verfahren gemäß der vorliegenden Erfindung ohne oder zumindest mit besonders geringem Mehraufwand genutzt werden können.
Gemäß einer weiteren Ausführungsform ist vorgesehen, dass der erkannte Schattenbereich innerhalb mehrerer zeitlich nacheinander aufgenommener Bilder skaliert wird, wobei die Bilder mittels der Kamera von der äußeren Umgebung des Fahrzeugs aufgenommen werden, und basierend auf dem Ergebnis dieser Skalierung des Schattenbereichs über die Zeit der verbleibende Zeitraum bestimmt wird, bis das Fahrzeug mit der Kamera voraussichtlich in den Schattenbereich eintreten wird.
Gemäß einem zweiten Aspekt der Erfindung wird eine Vorrichtung zur prädiktiven bzw. vorhersagenden Belichtungssteuerung bereitgestellt. Die Vorrichtung umfasst eine Kamera und eine Bildverarbeitungseinheit, wobei die Vorrichtung mittels der Kamera und der Bildverarbeitungseinheit dazu eingerichtet ist, ein Verfahren gemäß dem ersten Aspekt der Erfindung durchzuführen.
Gemäß einem dritten Aspekt der Erfindung wird ein Fahrzeug bereitgestellt, welches eine Vorrichtung gemäß dem zweiten Aspekt der Erfindung umfasst. Bei dem Fahrzeug handelt es sich beispielsweise um ein Kraftfahrzeug, wie Auto, Bus oder Lastkraftwagen.
Gemäß einem vierten Aspekt der Erfindung wird ein Programmelement bereitgestellt, das, wenn es auf einem Prozessor ausgeführt wird, den Prozessor anleitet, die Verfahrensschritte des Verfahrens gemäß dem ersten Aspekt der Erfindung durchzuführen, wobei alle Verfahrensschritte durchgeführt werden, welche nach dem Bereitstellen der Kamera erfolgen, welche an dem Fahrzeug angeordnet ist.
Gemäß einem fünften Aspekt der Erfindung wird ein computerlesbares Medium bereitgestellt, auf dem ein Programmelement gespeichert ist, das, wenn es auf einem Prozessor ausgeführt wird, den Prozessor anleitet, die Verfahrensschritte des Verfahrens gemäß dem ersten Aspekt der Erfindung durchzuführen, wobei alle Verfahrensschritte durchgeführt werden, welche nach dem Bereitstellen der Kamera erfolgen, welche an dem Fahrzeug angeordnet ist.
Im Folgenden werden Ausführungsbeispiele der Erfindung anhand der schematischen Zeichnung näher erläutert. Hierbei zeigt

1 eine Seitenansicht eines Kraftfahrzeugs mit einem Ausführungsbeispiel einer erfindungsgemäßen Vorrichtung und
2 ein von einer Kamera der Vorrichtung nach 1 aufgenommenes Bild, welches einen Schlagschatten auf einer Straße zeigt, auf welches sich das Fahrzeug nach 1 bewegt.

1 zeigt ein Fahrzeug 1 in Form eines Automobils. Das Fahrzeug 1 umfasst eine Vorrichtung 2 zur prädiktiven Belichtungssteuerung einer Fahrzeugkamera, wobei die Vorrichtung 2 wiederum einen bilderzeugenden Sensor in Form einer Kamera 3 und eine Bildverarbeitungseinheit 4 umfasst. Die Bildverarbeitungseinheit 4 kann insbesondere software-implementiert sein. In dem gezeigten Ausführungsbeispiel kann eine software-implementierte Bildverarbeitungseinheit 4 beispielsweise auf einer Speichereinheit der Kamera 3 hinterlegt sein.
Die Kamera 3 ist in einem Innenraum 5 des Fahrzeugs 1 angeordnet, und zwar insbesondere in einem Bereich hinter einer Windschutzscheibe 6 des Fahrzeugs 1. Mittels der Kamera 3 können durch die Windschutzscheibe 6 eine oder mehrere Außenaufnahmen bzw. Bilder von einer äußeren Umgebung 7 des Fahrzeugs 1, insbesondere in einer Vorausrichtung des Fahrzeugs 1, aufgenommen werden, wobei im Falle mehrerer Außenaufnahmen die Außenaufnahmen zeitlich aufeinanderfolgend gemacht werden können.
Fig. 2 zeigt beispielhaft ein Bild 8, welches von der Kamera 2 aufgenommen werden kann. Das Bild 8 zeigt einen Vorausbereich in der äußeren Umgebung 7 des Fahrzeugs 1 und enthält insbesondere eine Straße 9, auf welcher sich das Fahrzeug 1 in seiner Vorwärtsrichtung bewegt, ein Objekt in Form eines Hauses 10 seitlich neben der Straße 9 sowie einen Schatten 11, welcher durch das Haus 10 insbesondere auf die Straße 9 geworfen wird.
Die Vorrichtung 2 ist dazu eingerichtet, den Schatten 11 innerhalb des Bilds 8 zu erkennen, z.B. durch bekannte Methoden, welche von der Bildverarbeitungseinheit 4 angewandt werden können. In dem gezeigten Ausführungsbeispiel bewegt sich das Fahrzeug 1 auf der Straße 9 in Richtung des Schattens 11. Dabei fährt das Fahrzeug 1 beispielsweise mit einer Geschwindigkeit v, welche durch das Fahrzeug 1 in bekannter Art und Weise ermittelt werden kann. Mittels bekannter Bildverarbeitungsmethoden kann beispielsweise die Bildverarbeitungseinheit 4 eine Distanz berechnen, um welche der Schatten 11 von dem Fahrzeug 1 momentan beabstandet ist.
Basierend auf der berechneten Distanz und der Bewegung (Richtung und Geschwindigkeit) des Fahrzeugs 1 kann damit die verbleibende Zeit berechnet werden, nach Ablauf derer das Fahrzeug 1 mit der Kamera 3 in den Bereich des Schattens 11 eintreten wird. Sofern die aktuelle Uhrzeit bekannt ist, kann basierend auf dieser aktuellen Uhrzeit und der berechneten verbleibenden Zeit bis zum Eintritt in dem Bereich des Schattens 11 der Zeitpunkt errechnet werden, zudem das Fahrzeug 1 mit der Kamera 3 in dem Bereich des Schattens eintreten wird. Alternativ können die verbleibende Zeit und der vorstehend beschriebene Zeitpunkt, zu dem das Fahrzeug 1 mit der Kamera 3 in den Bereich des Schattens eintreten wird, auch basierend auf einer Skalierung des Schattenbereichs 11 über die Zeit erfolgen. Dabei kann der erkannte Schattenbereich 11 innerhalb mehrerer zeitlich nacheinander aufgenommener Bilder skaliert werden, wobei die Bilder mittels der Kamera 3 von der äußeren Umgebung 7 des Fahrzeugs 1 aufgenommen werden. Basierend auf dem Ergebnis dieser Skalierung über die Zeit kann dann der verbleibende Zeitraum bestimmt werden, bis das Fahrzeug 1 mit der Kamera 3 voraussichtlich in den Schattenbereich 11 eintreten wird.
In dem Bereich des Schattens 11 herrscht eine geringere Helligkeit vor als in einem Bereich, welcher nicht beschattet ist. Über die Differenz der Helligkeit in dem Bereich des Schattens 11 und in dem Bereich, welcher nicht beschattet ist, lässt sich eine erforderliche Änderung des Belichtungswerts bestimmen, sodass bei Eintritt des Fahrzeugs 1 mit der Kamera 3 in den Bereich des Schattens 11 der Belichtungswert entsprechend erhöht werden kann, um die geringere Helligkeit in dem Bereich des Schattens 11 auszugleichen. Auf diese Weise kann der Kamerasensor 3 prädiktiv beim Eintreten in den Bereich des Schattens 11 korrekt eingestellt bzw. belichtet werden. Dadurch können die Kameraalgorithmen stabiler laufen.

Claims

Verfahren zur prädiktiven Belichtungssteuerung einer Fahrzeugkamera (3), das Verfahren umfassend die Schritte: - Bereitstellen einer Kamera (3), welche an einem Fahrzeug (1) angeordnet ist, - Aufnehmen wenigstens eines Bilds (8) von einer äußeren Umgebung (7) des Fahrzeugs (1) mittels der Kamera (3), - Erkennen eines Schattenbereichs (11) innerhalb des wenigstens einen Bilds (8), - Bestimmen eines verbleibenden Zeitraums, bis das Fahrzeug (1) mit der Kamera (3) voraussichtlich in den Schattenbereich (11) eintreten wird, und - Bestimmen einer erforderlichen Änderung eines Belichtungswerts, um eine Verdunklung auszugleichen, welche auftritt, wenn sich das Fahrzeug (1) mit der Kamera (3) innerhalb des Schattenbereichs (11) befindet.
Verfahren nach Anspruch 1, wobei die erforderliche Änderung des Belichtungswerts bestimmt wird, indem innerhalb des wenigstens einen Bilds (8) lokale Helligkeitsunterschiede zwischen dem erkannten Schattenbereich (11) und nicht abgeschatteten Bereichen außerhalb des erkannten Schattenbereichs (11) ermittelt werden.
Verfahren nach einem der vorstehenden Ansprüche, wobei Bewegungswerte des Fahrzeugs (1) ermittelt werden, und basierend auf den ermittelten Bewegungswerten der verbleibende Zeitraum bestimmt wird, bis das Fahrzeug (1) mit der Kamera (3) voraussichtlich in den Schattenbereich (11) eintreten wird.
Verfahren nach einem der vorstehenden Ansprüche, wobei der erkannte Schattenbereich (11) innerhalb mehrerer zeitlich nacheinander aufgenommener Bilder skaliert wird, wobei die Bilder mittels der Kamera (3) von der äußeren Umgebung (7) des Fahrzeugs (1) aufgenommen werden, und basierend auf dem Ergebnis dieser Skalierung über die Zeit der verbleibende Zeitraum bestimmt wird, bis das Fahrzeug (1) mit der Kamera (3) voraussichtlich in den Schattenbereich (11) eintreten wird.
Vorrichtung (2) zur prädiktiven Belichtungssteuerung einer Fahrzeugkamera (3), die Vorrichtung (2) umfassend eine Kamera (3) für ein Fahrzeug (1) und eine Bildverarbeitungseinheit (4), wobei die Vorrichtung (2) mittels der Kamera (3) und der Bildverarbeitungseinheit (4) dazu eingerichtet ist, die Schritte eines Verfahrens gemäß einem der vorstehenden Ansprüche durchzuführen.
Fahrzeug (1) umfassend eine Vorrichtung (2) nach Anspruch 5.
Programmelement, das, wenn es auf einem Prozessor ausgeführt wird, den Prozessor anleitet, die Verfahrensschritte gemäß einem der Ansprüche 1 bis 4 durchzuführen.
Computerlesbares Medium, auf dem ein Programmelement gespeichert ist, das, wenn es auf einem Prozessor ausgeführt wird, den Prozessor anleitet, die Verfahrensschritte gemäß einem der Ansprüche 1 bis 4 durchzuführen.