-
Stand der Technik
-
Die Erfindung betrifft eine Vorrichtung, ein Verfahren und ein Computerprogramm zur Einstellung von Belichtungsparametern einer Kamera, wobei sich die Kamera vorzugsweise in einem Kraftfahrzeug befindet.
-
Die Einstellung wenigstens eines Belichtungsparameters wenigstens einer Kamera dient zur Umsetzung der aufgenommenen Szene in ein Bild mit möglichst hohem Kontrast ohne Übersteuerung des Bildes. Dies erfolgt durch Einstellung wenigstens eines Belichtungsparameters der Kamera an die momentan gemessenen Belichtungsverhältnisse der aufgenommenen Szene. Im Allgemeinen wird die Einstellung der Belichtungsparameter in Abhängigkeit von Bildsignalen des Gesamtbildes durchgeführt. Aus der
EP 1 074 430 A1 sind eine Methode und eine Vorrichtung zur Belichtungseinstellung einer Kamera bekannt. Es wird vorgeschlagen, wenigstens ein Objekt im Bild zu erkennen und die Helligkeit des Bildes in Abhängigkeit der Helligkeit des Hintergrundes des wenigstens einen erkannten Objektes einzustellen. In einem Ausführungsbeispiel wird diese objektbasierte Einstellung der Belichtung im Kontext eines Fahrerassistenzsystems zur Spurverlassenswarnung in einem Kraftfahrzeug beschrieben. Die Objekte sind in diesem Ausführungsbeispiel Fahrbahnmarkierungen, die sich durch ihre hellere Färbung von dem dunkleren Hintergrund der Straße abheben. Ein Bildverarbeitungsalgorithmus selektiert Bildbereiche, in denen Fahrbahnmarkierungen detektiert wurden, und bestimmt aus Bildbereichen den hellsten Grauwert des Straßenhintergrundes. Dieser Grauwert wird mit einem vorher festgelegten Zielgrauwert verglichen und das Belichtungsverhalten der Kamera bei einer zu großen Abweichung entsprechend angepasst.
-
US 2002/0 156 559 A1 zeigt ein Verarbeitungssystem für Bilddaten, mit einem Bildsensor und einem Speicher zur Aufnahme des durch den Bildsensor bereitgestellten Bildes. Dabei ist die Anzahl der Speicherstellen des Speichers geringer als die Anzahl der Bildpunkte des Bildsensors.
-
-
US 5,051,770 A betrifft ein Bildverarbeitungssystem, das mit einer Vorrichtung zur Bestimmung eines Horizonts kombiniert werden kann. Eine Belichtungssteuerung im Zusammenhang mit einem bestimmten Horizont ist dem Dokument nicht zu entnehmen.
-
DE 42 12 515 A1 beschreibt wie Bildbereiche mittels eines Bildbereichswählers ausgewählt werden können, der von einem Benutzer mittels eines Tastenschalters bedient werden kann.
-
Vorteile der Erfindung
-
Die nachfolgend beschriebene Vorrichtung zur Einstellung wenigstens eines Belichtungsparameter wenigstens einer Kamera, insbesondere in einem Kraftfahrzeug, mit den Merkmalen des unabhängigen Patentanspruchs, hat den Vorteil, die Belichtungsregelung der Kamera an die Bedürfnisse von Fahrerassistenzsystemen und/oder autonomen Kraftfahrzeugführungssysteme, beispielsweise dem Spurverlassenswarner (lane departure warning) basierend auf der Spurerkennung, angepasst ist. Vorteilhaft ist hierbei, dass durch die Erkennung des tatsächlichen Horizonts, der Bereich des Bildes, in dem sich die Sonne befindet, erkannt wird und bei der Bildverarbeitung ausgelassen wird und nur für Kamerafunktionen, wie die Spurerkennung, notwendige Bildbereiche betrachtet werden. Mit Hilfe der Erkennung des Horizonts im Bild wird der Bereich festgelegt, der für die Spurerkennung relevant ist. Dadurch wird die Kameraregelung auf diesen Bereich angepasst und die Blendung der Kamera durch direkte Sonnenstrahlung wird vermieden.
-
Besonders vorteilhaft ist, dass die Vorrichtung gewährleistet, dass der erste Bildbereich, der zur Einstellung der Belichtungsparameter eingesetzt wird, unterhalb der den realen Horizont repräsentierenden Linie ist, da hierdurch schnell und einfach Bildbereiche identifizierbar sind, die für die Belichtungseinstellung wichtig sind, während andere Bereiche, wie der Himmel und die Sonne ausgeklammert werden.
-
Vorteilhaft ist eine Vorrichtung, welche die Linie in Abhängigkeit von wenigstens einem Teil wenigstens einer Bildspalte des Bildes ermittelt, da an diese Vorrichtung besonders geringe Anforderungen an die Rechenkapazität gestellt sind und die Vorrichtung hierdurch preisgünstig herstellbar ist.
-
Eine Vorrichtung, welche die Linie durch Bestimmung von Kanten ermittelt, hat den Vorteil, dass auf bewährte Bildverarbeitungsverfahren zur Kantendetektion zurückgegriffen werden kann. Dies führt dazu, dass diese Vorrichtung die Linie besonders robust und sicher ermittelt.
-
Vorteilhaft ist ferner eine Vorrichtung, die eine Oberflächenanalyse durchführt und in Abhängigkeit der Oberflächenanalyse die Linie ermittelt, da durch die mehrfache Nutzung der Ergebnisse der Oberflächenanalyse zur Einstellung der Belichtungsparameter und beispielsweise zur Spurermittelung im Rahmen einer Vorrichtung zur Spurerkennung, die Vorrichtung kostengünstige herstellbar ist.
-
Die vorstehend beschriebenen Vorteile der Vorrichtung gelten entsprechend für das Verfahren zur Einstellung wenigstens eines Belichtungsparameters wenigstens einer Kamera.
-
Besonders vorteilhaft ist ein Computerprogramm mit Programmcode-Mitteln, um alle Schritte oder zumindest die wesentlichen Schritte des beschriebenen Verfahrens durchzuführen, wenn das Programm auf einem Computer ausgeführt wird. Die Verwendung eines Computerprogramms ermöglicht die schnelle und kostengünstige Anpassung des Verfahrens, beispielsweise durch Anpassung an verschiedene Belichtungsparameter der Kamera.
-
Weitere Vorteile ergeben sich aus der nachfolgenden Beschreibung von Ausführungsbeispielen mit Bezug auf die Figuren und aus den abhängigen Patentansprüchen.
-
Zeichnung
-
Die Erfindung wird nachstehend anhand der in der Zeichnung dargestellten Ausführungsformen näher erläutert.
-
Es zeigen:
-
1 eine Übersichtszeichnung,
-
2 ein Bild der Kamera eines ersten Ausführungsbeispiels,
-
3 ein Bild der Kamera eines zweiten Ausführungsbeispiels,
-
4 ein Ablaufdiagramm des Verfahrens.
-
Beschreibung von Ausführungsbeispielen
-
Nachfolgend werden eine Vorrichtung, ein Verfahren und ein Computerprogramm zur Einstellung wenigstens eines Belichtungsparameters wenigstens einer Kamera, insbesondere in einem Kraftfahrzeug, beschrieben. Der Belichtungsparameter wird in Abhängigkeit eines Bildbereiches eingestellt, wobei der Bildbereich in Abhängigkeit des Horizonts ermittelt wird. Als Belichtungsparameter der Kamera wird der Gain und/oder der Offset und/oder die Integrationszeit und/oder die Blende verwendet.
-
1 zeigt eine Übersichtszeichnung der Ausführungsbeispiele, bestehend aus einer Kamera 10 und einer Verarbeitungseinheit 12. In den Ausführungsbeispielen ist die Kamera 10 im Bereich des Innenrückspiegels eines Kraftfahrzeuges montiert. Die Kamera 10 ist so ausgerichtet, dass ihr Bilderfassungsbereich die Umgebung des Kraftfahrzeuges in Fahrtrichtung abdeckt. Alternativ oder zusätzlich ist in verschiedenen Varianten wenigstens eine Kamera 10 zur Erfassung des rückwärtigen Fahrraumes, beispielsweise in den Außenspiegeln und/oder in der Stoßstange angeordnet. Als Kameras 10 werden im bevorzugten Ausführungsbeispiel CCD-Kameras und/oder CMOS-Kameras eingesetzt. Die Kamera 10 übermittelt Bildsignale der erfassten Szene über die Signalleitung 14 an die Verarbeitungseinheit 12. Die Verarbeitungseinheit 12 erzeugt auf der Signalleitung 16 Signale zur Einstellung der Belichtungsparameter der Kamera 10, wobei die Signale zur Einstellung der Belichtungsparameter von der Verarbeitungseinheit 12 zur Kamera 10 übertragen werden. Die Übertragung auf den Signalleitungen 14, 16 erfolgt elektrisch und/oder optisch. Alternativ oder zusätzlich ist auch eine Übertragung per Funk möglich. Die Verarbeitungseinheit 12 realisiert das in 4 dargestellt Verfahren mit den Verfahrensschritten 20, 22, 24, 26, die im bevorzugten Ausführungsbeispiel als Programme, Programmteile oder Programmschritte wenigstens eines Mikroprozessors ausgestaltet sind.
-
2 zeigt ein Bild 40 der Kamera eines ersten Ausführungsbeispiels. In diesem ersten Ausführungsbeispiel ist die Kamera in einem Kraftfahrzeug montiert, wobei sich das Kraftfahrzeug auf einer Fahrbahn 48 befindet. Die Kamera nimmt die Umgebung des Kraftfahrzeuges in Fahrtrichtung auf. Das Bild 40 zeigt eine Fahrbahn 48 und Fahrbahnmarkierungen 46, welche die Fahrbahn 48 rechts und links begrenzen. Auf der linken Seite der Fahrbahn 48 befindet sich im ersten Ausführungsbeispiel ein entgegenkommendes Kraftfahrzeug 56. Ferner zeigt das Bild 40 den realen Horizont 50, der den Himmel 42 von der Erde abgrenzt. Im linken oberen Eck des Bildes 40 zeigt die 2 ferner die Sonne 44. Zur Veranschaulichung des in 4 dargestellten Verfahrens zeigt 2 ferner einen Bildbereich 58. Der Bildbereich 58 wird nach oben durch eine Linie 52 begrenzt, wobei die Linie 52 den Horizont repräsentiert. Im ersten Ausführungsbeispiel ist die Linie 52 eine Gerade, die dem Verlauf des realen Horizonts 50 angenähert ist bzw. den Verlauf des realen Horizonts 50 ausmittelt. Der Bildbereich 58 wird rechts, links und unten von den Rändern des Bildes 40 begrenzt. Ferner zeigt 2 einen zweiten Bildbereich 54, der das entgegenkommende Kraftfahrzeug 56 umfasst. Der Bildbereich 54 schneidet im ersten Ausführungsbeispiel ein Loch in den Bildbereich 58, sodass der Bildbereich 58 insgesamt den unterhalb der Linie 52 liegenden Bereich des Bildes 40 ohne den Bildbereich 54 umfasst. Die Belichtungsparameter der Kamera werden in Abhängigkeit dieses Bildbereiches 58 eingestellt. Da der Bildbereich 58 keine störenden, weil blendenden Lichtquellen, wie das Abblendlicht des Kraftfahrzeuges 56 oder die Sonne 44, enthält, ist das Bild 40 der Kamera in Bildbereichen, die beispielsweise für die Spurerkennung verwendet werden, wie den Fahrbahnmarkierungen 46, besonders kontrastreich und übersteuerungsfrei.
-
3 zeigt ein Bild 40 der Kamera eines zweiten Ausführungsbeispiels. In diesem zweiten Ausführungsbeispiel ist die Kamera ebenfalls in einem Kraftfahrzeug montiert, wobei sich das Kraftfahrzeug auf einer Fahrbahn 48 befindet. Die Kamera nimmt die Umgebung des Kraftfahrzeuges in Fahrtrichtung auf. Das Bild 40 zeigt eine Fahrbahn 48 und Fahrbahnmarkierungen 46, welche die Fahrbahn 48 rechts und links begrenzen. Auf der rechten Seite der Fahrbahn 48 befindet sich im zweiten Ausführungsbeispiel ein vorausfahrendes Kraftfahrzeug 60. Ferner zeigt das Bild 40 den realen Horizont 50, der den Himmel 42 von der Erde abgrenzt. Im linken oberen Eck des Bildes 40 zeigt die 3 ferner die Sonne 44. Oberhalb des realen Horizonts 50 ist ein weiteres vorausfahrendes Kraftfahrzeug 62 dargestellt. Zur Veranschaulichung des in 4 dargestellten Verfahrens zeigt 3 die Bildbereiche 64, 66, 68, 70. Ferner zeigt 3 die Linie 52, die den Verlauf des realen Horizonts 50 repräsentiert. In diesem zweiten Ausführungsbeispiel hat die Linie 52 einen gekrümmten Verlauf und ist an den Verlauf des realen Horizonts 50 angeschmiegt. Der Bildbereich 64 umfasst das erste Kraftfahrzeug 60, während der Bildbereich 66 das zweite Kraftfahrzeug rechteckförmig umschließt. Ferner sind in 3 die Bildbereiche 68 und 70 dargestellt, welche die Fahrbahnmarkierungen 46 und die unmittelbar an die Fahrbahnmarkierung 46 anschließenden Bereiche des Bildes 40 umfassen. Die Belichtungsparameter der Kamera werden in Abhängigkeit der in 3 eingezeichneten Bildbereiche 64, 66, 68, 70 eingestellt. Das Verfahren ist nachfolgend mit Bezug auf die 4 näher beschrieben. Die Bildbereiche 64, 66, 68, 70 enthalten keine störenden, weil blendenden Lichtquellen, wie die Sonne 44. Durch die Beschränkung der Einstellung der Belichtungsparameter auf diese Bildbereiche 64, 66, 68, 70 erhält man ein für Fahrerassistenzsystemen, wie der Spurverlassenswarnung, optimiertes Bild 40, das in diesen Bildbereichen 64, 66, 68, 70 besonders kontrastreich und übersteuerungsfrei ist.
-
4 zeigt ein Ablaufdiagramm des Verfahrens zur Einstellung der Belichtungsparameter einer Kamera, insbesondere bei den beiden vorstehend beschriebenen Ausführungsbeispielen. Im ersten Verfahrensschritt 20 wird die Bestimmung des realen Horizonts in den Bildsignalen 18 des Bildes vorgenommen. Die Bestimmung des Horizonts erfolgt bevorzugt anhand des Hell-Dunkel-Übergangs in vertikaler Richtung über das gesamte Bild. Hierbei wird in vertikaler Richtung der Verlauf der Helligkeitswerte untersucht. Der Himmel ist dadurch zu erkennen, dass die Helligkeitswerte über einen größeren Bereich konstant bleiben und einen bestimmten Helligkeits-Schwellwert nicht unterschreiten. Erst ab dem „Horizont”, also unterhalb in vertikaler Richtung, ändern sich die Helligkeitswerte stärker und liegen unterhalb des Schwellwertes. Alternativ oder zusätzlich werden beispielsweise mittels des Sobel-Operators oder eines Laplace-Filters Kanten im Bild detektiert und die Linie ermittelt, die den Verlauf des realen Horizonts repräsentiert. In einer weiteren Variante wird eine Oberflächenschätzung (Oberflächenanalyse) durchgeführt und in Abhängigkeit der Oberflächenschätzung die Linie ermittelt. Die den realen Horizont repräsentierende Linie ist bevorzugt eine Gerade, die horizontal und/oder gekippt verläuft. Alternativ oder zusätzlich hat die Linie einen parabelförmig Verlauf. In einer weiteren Variante ist der Verlauf der Linie krummlinig und die Linie folgt dem Verlauf des realen Horizonts. In einem ergänzenden und optional vorhandenen Verfahrenschritt 22 werden Objekte im Bild bestimmt. Hierzu wird die Position und/oder die Ausdehnung relevanter Objekte im Gesamtbild bestimmt. Um diese Objekte herum werden Bildbereiche derart ermittelt, dass die ermittelten Bildbereiche wenigstens einen Teil der bestimmten Objekte umfasst. Als Objekte werden Objekte des Verkehrsraumes, insbesondere Fahrbahnmarkierungen und/oder Leitpfosten und/oder Verkehrsschilder und/oder Hinweisschilder und/oder Zusatzschilder und/oder Kraftfahrzeuge und/oder Fußgänger und/oder Fahrradfahrer und/oder Tiere erkannt. Im anschließenden Verfahrensschritt 24 wird die im ersten Verfahrensschritt 20 ermittelte Linie und zusätzlich die im Verfahrensschritt 22 ermittelten Bildbereiche weiter verarbeitet. In einer ersten, in 2 dargestellten Variante wird durch die Linie ein Bildbereich im unteren Bereich des Bildes festgelegt, der an Stellen, an den störende Objekte, wie entgegenkommende Kraftfahrzeuge, ermittelten wurden, eine Lücke in der Größe des die störenden Objekte umfassenden Bildbereichs aufweist. In einer zweiten, in 3 dargestellten Variante, werden Bildbereiche identifiziert, die unterhalb der Linie liegen und erkannte Objekte umfassen. Die Objekte sind hierbei insbesondere tatsächlich erkannte Spurlinien. Die Bildbereiche umfassen hierbei die Spurlinien selbst und den angrenzenden Bereich mit einer vorgebbaren Breite. Ergänzt werden diese Bildbereiche in einer weiteren Variante durch einzelne Bildbereiche, die oberhalb der Linie sind, und für die Belichtungseinstellung relevante Objekte, wie vorausfahrende Kraftfahrzeuge, enthalten. Diese derart ermittelten Bildbereiche werden im letzten Verfahrensschritt 26 dazu verwendet, um Signale 28 zur Einstellung von wenigstens einem Belichtungsparameter der Kamera zu ermitteln. Der Belichtungsparameter ist beispielsweise der Gain- und/oder der Offset und/oder die Integrationszeit und/oder die Blende der Kamera. Durch den Gain und/oder den Offset werden Verstärkungsparameter der Kamera eingestellt, während durch die Einstellung der Integrationszeit direkt das Verhalten des Bildsensors der Kamera beeinflusst wird. Durch die Einstellring der Blende wird über das Objektiv die Belichtung eingestellt.
-
In einer Variante der beschriebenen Vorrichtung, des Verfahrens und des Computerprogramms, wird wenigstens ein Belichtungsparameter wenigstens einer Kamera in Abhängigkeit von wenigstens eines Teils wenigstens einer Bildzeile eines von der Kamera erzeugten Bildes eingestellt, wobei der Teil der Bildzeile eine Suchzeile eines Spurerkennungsalgorithmus ist, wobei die Bildzeile in Abhängigkeit der den realen Horizont repräsentierenden Linie ermittelt wird.
-
Die beschriebene Vorrichtung, das Verfahren und das Computerprogramm sind nicht auf die Anwendung in einem Kraftfahrzeug beschränkt. Vielmehr kann die beschriebene Vorgehensweise mit den entsprechenden Merkmalen außerhalb der Kraftfahrzeugtechnik eingesetzt werden. Als weiteres Anwendungsbeispiel ist der Einsatz der beschriebenen Vorrichtung bei Kameras zur Überwachung von Verkehrsräumen, Außenbereichen von Gebäuden und Innenräumen, insbesondere in der Sicherheitstechnik, denkbar. Ferner ist die beschriebene Vorgehensweise nicht auf eine einzige Kamera beschränkt, vielmehr ist die Vorgehensweise bei mehrerer Kameras, insbesondere wenigstens einer Stereokamera, geeignet. Eine Stereokamera ist ein Bildsensorsystem, das aus wenigstens zwei Bildsensoren besteht, die im wesentlichen dieselbe Szene aufnehmen. Ferner ist die Vorrichtung, das Verfahren und das Computerprogramm neben der Einstellung alternativ oder zusätzlich zur Steuerung und/oder Regelung des wenigstens einen Belichtungsparameters der Kamera geeignet.
-
In einer weiteren Variante ist das Verfahren und/oder das Computerprogramm auf wenigstens zwei oder mehr als zwei Verarbeitungseinheiten mit wenigstens zwei oder mehreren Mikroprozessoren verteilt.
-
Neben der vorstehend beschriebenen Einstellung einer schwarz-weiß-Kamera, wird die beschriebene Vorrichtung und das Verfahren in einer weiteren Variante zur Einstellung wenigstens eines Belichtungsparameters wenigstens einer Farbkamera eingesetzt.
