-
Die
Erfindung betrifft eine Vorrichtung, ein Verfahren und ein Computerprogramm
zur Einstellung von Belichtungsparametern einer Kamera, wobei sich
die Kamera vorzugsweise in einem Kraftfahrzeug befindet.
-
Die
Einstellung wenigstens eines Belichtungsparameters wenigstens einer
Kamera dient zur Umsetzung der aufgenommenen Szene in ein Bild mit
möglichst
hohem Kontrast ohne Übersteuerung des
Bildes. Dies erfolgt durch Einstellung wenigstens eines Belichtungsparameters
der Kamera an die momentan gemessenen Belichtungsverhältnisse
der aufgenommenen Szene. Im Allgemeinen wird die Einstellung der
Belichtungsparameter in Abhängigkeit
von Bildsignalen des Gesamtbildes durchgeführt. Aus der
EP 1 074 430 A sind eine
Methode und eine Vorrichtung zur Belichtungseinstellung einer Kamera bekannt.
Es wird vorgeschlagen, wenigstens ein Objekt im Bild zu erkennen
und die Helligkeit des Bildes in Abhängigkeit der Helligkeit des
Hintergrundes des wenigstens einen erkannten Objektes einzustellen. In
einem Ausführungsbeispiel
wird diese objektbasierte Einstellung der Belichtung im Kontext
eines Fahrerassistenzsystems zur Spurverlassenswarnung in einem
Kraftfahrzeug beschrieben. Die Objekte sind in diesem Ausführungsbeispiel
Fahrbahnmarkierungen, die sich durch ihre hellere Färbung von dem
dunkleren Hintergrund der Straße
abheben. Ein Bildverarbeitungsalgorithmus selektiert Bildbereiche, in
denen Fahrbahnmarkierungen detektiert wurden, und bestimmt aus Bildbereichen
den hellsten Grauwert des Straßenhintergrundes.
Dieser Grauwert wird mit einem vorher festgelegten Zielgrauwert verglichen
und das Belichtungsverhalten der Kamera bei einer zu großen Abweichung
entsprechend angepasst.
-
Vorteile der
Erfindung
-
Die
nachfolgend beschriebene Vorrichtung zur Einstellung wenigstens
eines Belichtungsparameter wenigstens einer Kamera, insbesondere
in einem Kraftfahrzeug, mit den Merkmalen des unabhängigen Patentanspruchs,
hat den Vorteil, die Belichtungsregelung der Kamera an die Bedürfnisse von
Fahrerassistenzsystemen und/oder autonomen Kraftfahrzeugführungssysteme,
beispielsweise dem Spurverlassenswarner (lane departure warning)
basierend auf der Spurerkennung, angepasst ist. Vorteilhaft ist
hierbei, dass durch die Erkennung des tatsächlichen Horizonts, der Bereich
des Bildes, in dem sich die Sonne befindet, erkannt wird und bei
der Bildverarbeitung ausgelassen wird und nur für Kamerafunktionen, wie die
Spurerkennung, notwendige Bildbereiche betrachtet werden. Mit Hilfe
der Erkennung des Horizonts im Bild wird der Bereich festgelegt,
der für
die Spurerkennung relevant ist. Dadurch wird die Kameraregelung
auf diesen Bereich angepasst und die Blendung der Kamera durch direkte Sonnenstrahlung
wird vermieden.
-
Besonders
vorteilhaft ist, dass die Vorrichtung gewährleistet, dass der erste Bildbereich,
der zur Einstellung der Belichtungsparameter eingesetzt wird, unterhalb
der den realen Horizont repräsentierenden
Linie ist, da hierdurch schnell und einfach Bildbereiche identifizierbar
sind, die für
die Belichtungseinstellung wichtig sind, während andere Bereiche, wie
der Himmel und die Sonne ausgeklammert werden.
-
Vorteilhaft
ist eine Vorrichtung, welche die Linie in Abhängigkeit von wenigstens einem
Teil wenigstens einer Bildspalte des Bildes ermittelt, da an diese
Vorrichtung besonders geringe Anforderungen an die Rechenkapazität gestellt
sind und die Vorrichtung hierdurch preisgünstig herstellbar ist.
-
Eine
Vorrichtung, welche die Linie durch Bestimmung von Kanten ermittelt,
hat den Vorteil, dass auf bewährte
Bildverarbeitungsverfahren zur Kantendetektion zurückgegriffen
werden kann. Dies führt dazu,
dass diese Vorrichtung die Linie besonders robust und sicher ermittelt.
-
Vorteilhaft
ist ferner eine Vorrichtung, die eine Oberflächenanalyse durchführt und
in Abhängigkeit
der Oberflächenanalyse
die Linie ermittelt, da durch die mehrfache Nutzung der Ergebnisse
der Oberflächenanalyse
zur Einstellung der Belichtungsparameter und beispielsweise zur
Spurermittelung im Rahmen einer Vorrichtung zur Spurerkennung, die Vorrichtung
kostengünstige
herstellbar ist.
-
Die
vorstehend beschriebenen Vorteile der Vorrichtung gelten entsprechend
für das
Verfahren zur Einstellung wenigstens eines Belichtungsparameters
wenigstens einer Kamera.
-
Besonders
vorteilhaft ist ein Computerprogramm mit Programmcode-Mitteln, um
alle Schritte oder zumindest die wesentlichen Schritte des beschriebenen
Verfahrens durchzuführen,
wenn das Programm auf einem Computer ausgeführt wird. Die Verwendung eines
Computerprogramms ermöglicht die
schnelle und kostengünstige
Anpassung des Verfahrens, beispielsweise durch Anpassung an verschiedene
Belichtungsparameter der Kamera.
-
Weitere
Vorteile ergeben sich aus der nachfolgenden Beschreibung von Ausführungsbeispielen mit
Bezug auf die Figuren und aus den abhängigen Patentansprüchen.
-
Zeichnung
-
Die
Erfindung wird nachstehend anhand der in der Zeichnung dargestellten
Ausführungsformen näher erläutert.
-
Es
zeigen:
-
1 eine Übersichtszeichnung,
-
2 ein
Bild der Kamera eines ersten Ausführungsbeispiels,
-
3 ein
Bild der Kamera eines zweiten Ausführungsbeispiels,
-
4 ein
Ablaufdiagramm des Verfahrens.
-
Beschreibung von Ausführungsbeispielen
-
Nachfolgend
werden eine Vorrichtung, ein Verfahren und ein Computerprogramm
zur Einstellung wenigstens eines Belichtungsparameters wenigstens
einer Kamera, insbesondere in einem Kraftfahrzeug, beschrieben.
Der Belichtungsparameter wird in Abhängigkeit eines Bildbereiches
eingestellt, wobei der Bildbereich in Abhängigkeit des Horizonts ermittelt
wird. Als Belichtungsparameter der Kamera wird der Gain und/oder
der Offset und/oder die Integrationszeit und/oder die Blende verwendet.
-
1 zeigt
eine Übersichtszeichnung
der Ausführungsbeispiele,
bestehend aus einer Kamera 10 und einer Verarbeitungseinheit 12.
In den Ausführungsbeispielen
ist die Kamera 10 im Bereich des Innenrückspiegels eines Kraftfahrzeuges
montiert. Die Kamera 10 ist so ausgerichtet, dass ihr Bilderfassungsbereich
die Umgebung des Kraftfahrzeuges in Fahrtrichtung abdeckt. Alternativ
oder zusätzlich
ist in verschiedenen Varianten wenigstens eine Kamera 10 zur
Erfassung des rückwärtigen Fahrraumes,
beispielsweise in den Außenspiegeln
und/oder in der Stoßstange
angeordnet. Als Kameras 10 werden im bevorzugten Ausführungsbeispiel
CCD-Kameras und/oder CMOS-Kameras eingesetzt. Die Kamera 10 übermittelt
Bildsignale der erfassten Szene über die
Signalleitung 14 an die Verarbeitungseinheit 12. Die
Verarbeitungseinheit 12 erzeugt auf der Signalleitung 16 Signale
zur Einstellung der Belichtungsparameter der Kamera 10,
wobei die Signale zur Einstellung der Belichtungsparameter von der
Verarbeitungseinheit 12 zur Kamera 10 übertragen
werden. Die Übertragung
auf den Signalleitungen 14, 16 erfolgt elektrisch
und/oder optisch. Alternativ oder zusätzlich ist auch eine Übertragung
per Funk möglich. Die
Verarbeitungseinheit 12 realisiert das in 4 dargestellt
Verfahren mit den Verfahrensschritten 20, 22, 24, 26,
die im bevorzugten Ausführungsbeispiel als
Programme, Programmteile oder Programmschritte wenigstens eines
Mikroprozessors ausgestaltet sind.
-
2 zeigt
ein Bild 40 der Kamera eines ersten Ausführungsbeispiels.
In diesem ersten Ausführungsbeispiel
ist die Kamera in einem Kraftfahrzeug montiert, wobei sich das Kraftfahrzeug
auf einer Fahrbahn 48 befindet. Die Kamera nimmt die Umgebung
des Kraftfahrzeuges in Fahrtrichtung auf. Das Bild 40 zeigt
eine Fahrbahn 48 und Fahrbahnmarkierungen 46,
welche die Fahrbahn 48 rechts und links begrenzen. Auf
der linken Seite der Fahrbahn 48 befindet sich im ersten
Ausführungsbeispiel
ein entgegenkommendes Kraftfahrzeug 56. Ferner zeigt das Bild 40 den
realen Horizont 50, der den Himmel 42 von der
Erde abgrenzt. Im linken oberen Eck des Bildes 40 zeigt
die
-
2 ferner
die Sonne 44. Zur Veranschaulichung des in 4 dargestellten
Verfahrens zeigt 2 ferner einen Bildbereich 58.
Der Bildbereich 58 wird nach oben durch eine Linie 52 begrenzt,
wobei die Linie 52 den Horizont repräsentiert. Im ersten Ausführungsbeispiel
ist die Linie 52 eine Gerade, die dem Verlauf des realen
Horizonts 50 angenähert
ist bzw. den Verlauf des realen Horizonts 50 ausmittelt. Der
Bildbereich 58 wird rechts, links und unten von den Rändern des
Bildes 40 begrenzt. Ferner zeigt 2 einen
zweiten Bildbereich 54, der das entgegenkommende Kraftfahrzeug 56 umfasst.
Der Bildbereich 54 schneidet im ersten Ausführungsbeispiel ein
Loch in den Bildbereich 58, sodass der Bildbereich 58 insgesamt
den unterhalb der Linie 52 liegenden Bereich des Bildes 40 ohne
den Bildbereich 54 umfasst. Die Belichtungsparameter der
Kamera werden in Abhängigkeit
dieses Bildbereiches 58 eingestellt. Da der Bildbereich 58 keine
störenden,
weil blendenden Lichtquellen, wie das Abblendlicht des Kraftfahrzeuges 56 oder
die Sonne 44, enthält,
ist das Bild 40 der Kamera in Bildbereichen, die beispielsweise
für die
Spurerkennung verwendet werden, wie den Fahrbahnmarkierungen 46,
besonders kontrastreich und übersteuerungsfrei.
-
3 zeigt
ein Bild 40 der Kamera eines zweiten Ausführungsbeispiels.
In diesem zweiten Ausführungsbeispiel
ist die Kamera ebenfalls in einem Kraftfahrzeug montiert, wobei
sich das Kraftfahrzeug auf einer Fahrbahn 48 befindet.
Die Kamera nimmt die Umgebung des Kraftfahrzeuges in Fahrtrichtung
auf. Das Bild 40 zeigt eine Fahrbahn 48 und Fahrbahnmarkierungen 46,
welche die Fahrbahn 48 rechts und links begrenzen. Auf
der rechten Seite der Fahrbahn 48 befindet sich im zweiten
Ausführungsbeispiel
ein vorausfahrendes Kraftfahrzeug 60. Ferner zeigt das
Bild 40 den realen Horizont 50, der den Himmel 42 von
der Erde abgrenzt. Im linken oberen Eck des Bildes 40 zeigt
die 3 ferner die Sonne 44. Oberhalt des realen
Horizonts 50 ist ein weiteres vorausfahrendes Kraftfahrzeug 62 dargestellt.
Zur Veranschaulichung des in 4 dargestellten
Verfahrens zeigt 2 die Bildbereiche 64, 66, 68, 70. Ferner
zeigt 3 die Linie 52, die den Verlauf des realen
Horizonts 50 repräsentiert.
In diesem zweiten Ausführungsbeispiel
hat die Linie 52 einen gekrümmten Verlauf und ist an den
Verlauf des realen Horizonts 50 angeschmiegt. Der Bildbereich 64 umfasst das
erste Kraftfahrzeug 60, während der Bildbereich 66 das
zweite Kraftfahrzeug rechteckförmig
umschließt.
Ferner sind in 3 die Bildbereiche 68 und 70 dargestellt,
welche die Fahrbahnmarkierungen 46 und die unmittelbar
an die Fahrbahnmarkierung 46 anschließenden Bereiche des Bildes 40 umfassen. Die
Belichtungsparameter der Kamera werden in Abhängigkeit der in 3 eingezeichneten
Bildbereiche 64, 66, 68, 70 eingestellt.
Das Verfahren ist nachfolgend mit Bezug auf die 4 näher beschrieben.
Die Bildbereiche 64, 66, 68, 70 enthalten
keine störenden,
weil blendenden Lichtquellen, wie die Sonne 44. Durch die
Beschränkung
der Einstellung der Belichtungsparameter auf diese Bildbereiche 64, 66, 68, 70 erhält man ein
für Fahrerassistenzsystemen,
wie der Spurverlassenswarnung, optimiertes Bild 40, das
in diesen Bildbereichen 64, 66, 68, 70 besonders
kontrastreich und übersteuerungsfrei
ist.
-
4 zeigt
ein Ablaufdiagramm des Verfahrens zur Einstellung der Belichtungsparameter
einer Kamera, insbesondere bei den beiden vorstehend beschriebenen
Ausführungsbeispielen.
Im ersten Verfahrensschritt 20 wird die Bestimmung des
realen Horizonts in den Bildsignalen 18 des Bildes vorgenommen.
Die Bestimmung des Horizonts erfolgt bevorzugt anhand des Hell-Dunkel-Übergangs
in vertikaler Richtung über
das gesamte Bild. Hierbei wird in vertikaler Richtung der Verlauf
der Helligkeitswerte untersucht. Der Himmel ist dadurch zu erkennen, dass
die Helligkeitswerte über
einen größeren Bereich
konstant bleiben und einen bestimmten Helligkeits-Schwellwert nicht
unterschreiten. Erst ab dem „Horizont", also unterhalb
in vertikaler Richtung, ändern
sich die Helligkeitswerte stärker
und liegen unterhalb des Schwellwertes. Alternativ oder zusätzlich werden
beispielsweise mittels des Sobel-Operators oder
eines Laplace-Filters Kanten im Bild detektiert und die Linie ermittelt,
die den Verlauf des realen Horizonts repräsentiert. In einer weiteren
Variante wird eine Oberflächenschätzung (Oberflächenanalyse) durchgeführt und
in Abhängigkeit
der Oberflächenschätzung die
Linie ermittelt. Die den realen Horizont repräsentierende Linie ist bevorzugt
eine Gerade, die horizontal und/oder gekippt verläuft. Alternativ
oder zusätzlich
hat die Linie einen parabelförmig
Verlauf. In einer weiteren Variante ist der Verlauf der Linie krummlinig
und die Linie folgt dem Verlauf des realen Horizonts. In einem ergänzenden
und optional vorhandenen Verfahrenschritt 22 werden Objekte
im Bild bestimmt. Hierzu wird die Position und/oder die Ausdehnung
relevanter Objekte im Gesamtbild bestimmt. Um diese Objekte herum
werden Bildbereiche derart ermittelt, dass die ermittelten Bildbereiche wenigstens
einen Teil der bestimmten Objekte umfasst. Als Objekte werden Objekte
des Verkehrsraumes, insbesondere Fahrbahnmarkierungen und/oder Leitpfosten
und/oder Verkehrsschilder und/oder Hinweisschilder und/oder Zusatzschilder
und/oder Kraftfahrzeuge und/oder Fußgänger und/oder Fahrradfahrer
und/oder Tiere erkannt. Im anschließenden Verfahrensschritt 24 wird
die im ersten Verfahrensschritt 20 ermittelte Linie und
zusätzlich
die im Verfahrensschritt 22 ermittelten Bildbereiche weiter
verarbeitet. In einer ersten, in 2 dargestellten Variante
wird durch die Linie ein Bildbereich im unteren Bereich des Bildes
festgelegt, der an Stellen, an den störende Objekte, wie entgegenkommende
Kraftfahrzeuge, ermittelten wurden, eine Lücke in der Größe des die
störenden
Objekte umfassenden Bildbereichs aufweist. In einer zweiten, in 3 dargestellten
Variante, werden Bildbereiche identifiziert, die unterhalb der Linie
liegen und erkannte Objekte umfassen. Die Objekte sind hierbei insbesondere
tatsächlich
erkannte Spurlinien. Die Bildbereiche umfassen hierbei die Spurlinien
selbst und den angrenzenden Bereich mit einer vorgebbaren Breite.
Ergänzt
werden diese Bildbereiche in einer weiteren Variante durch einzelne
Bildbereiche, die oberhalb der Linie sind, und für die Belichtungseinstellung
relevante Objekte, wie vorausfahrende Kraftfahrzeuge, enthalten.
Diese derart ermittelten Bildbereiche werden im letzten Verfahrensschritt 26 dazu
verwendet, um Signale 28 zur Einstellung von wenigstens
einem Belichtungsparameter der Kamera zu ermitteln. Der Belichtungsparameter
ist beispielsweise der Gain- und/oder der Offset und/oder die Integrationszeit und/oder
die Blende der Kamera. Durch den Gain und/oder den Offset werden
Verstärkungsparameter der
Kamera eingestellt, während
durch die Einstellung der Integrationszeit direkt das Verhalten
des Bildsensors der Kamera beeinflusst wird. Durch die Einstellung
der Blende wird über
das Objektiv die Belichtung eingestellt.
-
In
einer Variante der beschriebenen Vorrichtung, des Verfahrens und
des Computerprogramms, wird wenigstens ein Belichtungsparameter
wenigstens einer Kamera in Abhängigkeit
von wenigstens eines Teils wenigstens einer Bildzeile eines von
der Kamera erzeugten Bildes eingestellt, wobei der Teil der Bildzeile
eine Suchzeile eines Spurerkennungsalgorithmus ist, wobei die Bildzeile
in Abhängigkeit der
den realen Horizont repräsentierenden
Linie ermittelt wird.
-
Die
beschriebene Vorrichtung, das Verfahren und das Computerprogramm
sind nicht auf die Anwendung in einem Kraftfahrzeug beschränkt. Vielmehr
kann die beschriebene Vorgehensweise mit den entsprechenden Merkmalen
außerhalb
der Kraftfahrzeugtechnik eingesetzt werden. Als weiteres Anwendungsbeispiel
ist der Einsatz der beschriebenen Vorrichtung bei Kameras zur Überwachung
von Verkehrsräumen,
Außenbereichen
von Gebäuden
und Innenräumen,
insbesondere in der Sicherheitstechnik, denkbar. Ferner ist die
beschriebene Vorgehensweise nicht auf eine einzige Kamera beschränkt, vielmehr
ist die Vorgehensweise bei mehrerer Kameras, insbesondere wenigstens
einer Stereokamera, geeignet. Eine Stereokamera ist ein Bildsensorsystem, das
aus wenigstens zwei Bildsensoren besteht, die im wesentlichen dieselbe
Szene aufnehmen. Ferner ist die Vorrichtung, das Verfahren und das
Computerprogramm neben der Einstellung alternativ oder zusätzlich zur
Steuerung und/oder Regelung des wenigstens einen Belichtungsparameters
der Kamera geeignet.
-
In
einer weiteren Variante ist das Verfahren und/oder das Computerprogramm
auf wenigstens zwei oder mehr als zwei Verarbeitungseinheiten mit wenigstens
zwei oder mehreren Mikroprozessoren verteilt.
-
Neben
der vorstehend beschriebenen Einstellung einer schwarz-weiß-Kamera,
wird die beschriebene Vorrichtung und das Verfahren in einer weiteren
Variante zur Einstellung wenigstens eines Belichtungsparameters
wenigstens einer Farbkamera eingesetzt.