-
Stand der Technik
-
Die
Erfindung betrifft ein Verfahren und eine Vorrichtung zur Einstellung
wenigstens eines Belichtungsparameters wenigstens eines Bildsensors,
insbesondere in einem Kraftfahrzeug.
-
Die
Einstellung wenigstens eines Belichtungsparameters wenigstens eines
Bildsensors, beispielsweise einer Kamera, dient zur Umsetzung der aufgenommenen
Szene in ein Bild mit möglichst
hohem Kontrast. Dies erfolgt durch Einstellung wenigstens eines
Belichtungsparameters, beispielsweise der elektrischen Verstärkung (Gain)
und/oder der Offsets und/oder der Integrationszeit und/oder der
Blende, an die momentan gemessenen Belichtungsverhältnisse
der aufgenommenen Szene. Im Allgemeinen wird die Einstellung des
wenigstens einen Belichtungsparameters in Abhängigkeit von Bildsignalen des
Gesaintbildes durchgeführt.
Aus der
EP 1 074 430
A sind eine Methode und eine Vorrichtung zur Belichtungseinstellung
eines Bildsensors bekannt. Es wird vorgeschlagen, wenigstens ein
Objekt im Bild zu erkennen und die Helligkeit des Bildes in Abhängigkeit
der Helligkeit des Hintergrundes des wenigstens einen erkannten
Objektes einzustellen. In einem Ausführungsbeispiel wird diese objektbasierte
Einstellung der Belichtung im Kontext eines Fahrerassistenzsystems
zur Spurverlassenswarnung in einem Kraftfahrzeug beschrieben. Die
Objekte sind in diesem Ausführungsbeispiel
Fahrbahnmarkierungen, die sich durch ihre hellere Färbung von dem
dunkleren Hintergrund der Straße
abheben. Ein Bildverarbeitungsalgorithmus selektiert Bildbereiche, in
denen Fahrbahnmarkierungen detektiert wurden, und bestimmt aus Bildbereichen
den hellsten Grauwert des Straßenhintergrundes.
Dieser Grauwert wird mit einem vorher festgelegten Zielgrauwert
verglichen und das Belichtungsverhalten der Kamera bei einer zu
großen
Abweichung entsprechend angepasst. Hinweise auf ein robustes Verfahren
und eine Vorrichtung zur Einstellung wenigstens eines Belichtungsparameters
wenigstens eines Bildsensors bei komplexen Objekten in der aufgenommenen
Szene fehlen in der
EP
1074 430 A .
-
Aus
der europäischen
Patentanmeldung
EP 0
996 284 A1 ist ein Verfahren zur Regulierung der Belichtungszeit
eines Lichtsensors bekannt. Die deutsche Offenlegungsschrift
DE 197 43 580 A1 offenbart
ein Verfahren und eine Anordnung zur Ermittlung der Lichtverhältnisse
in Front eines beweglichen Gegenstandes. Aus der nachveröffentlichten
deutschen Offenlegungsschrift
DE 102 13 917 A1 gilt ein Verfahren und eine
Vorrichtung zur Regelung eines Bildsensors als bekannt. Die Veröffentlichung
Bleul, Andreas: Zellulizium; Kameratechnik – vom Photon zum Foto. Zeitschrift
c't, Heise Verlag,
Hannover, 2001, Heft 4, Seiten 160 bis 171 beschreibt Belichtungssysteme
für Digitalkameras.
-
Vorteile der Erfindung
-
Das
nachfolgend beschriebene Verfahren zur Einstellung wenigstens eines
Belichtungsparameters wenigstens eines Bildsensors, insbesondere in
einem Kraftfahrzeug, hat den Vorteil, dass die Einstellung des wenigstens
einen Belichtungsparameters bei komplexen Objekten und/oder komplexen Objekthintergründen ermöglicht wird.
Dieser Vorteil wird insbesondere dadurch erreicht, dass das Verfahren
ohne Segmentierung in Vordergrund und Hintergrund arbeitet. Ein
weiterer Vorteil des beschriebenen Verfahrens ist, dass die Objekte
weder einen durchgängig
positiven, noch einen durchgängig
negativen Kontrast aufweisen müssen.
Insbesondere ist nicht notwendig, dass die Objekte heller als der Objekthintergrund
sind. Objekte in der Umgebung eines Kraftfahrzeuges, wie sie beispielsweise
durch eine Stereokamera aufgenommen werden, weisen diese Eigenschaften
nicht grundsätzlich
auf. Vielmehr tritt selbst bei vermeintlich einfachen Objekten in
bestimmten Situationen eine Kontrastumkehr auf. Dies ist beispielsweise
bei Fahrbahnmarkierungen bei nasser Fahrbahn und/oder Gegenlicht
beobachtbar. Ein weiterer Vorteil des beschriebenen Verfahrens ist,
dass eine Segmentierung der Bildpixel in Vordergrundpixel und Hintergrundpixel
entsprechend dem detektierten Objekt nicht notwendig ist. Diese
Eigenschaft des nachfolgend beschriebenen Verfahrens trägt insbesondere
dazu bei, dass auch komplexe Objekte zur Einstellung des wenigstens
einen Belichtungsparameters sicher verwendet werden können. Zusammenfassend
führt das
nachfolgend beschriebene Verfahren in besonders vorteilhafter Weise
zu einer robusten Einstellung wenigstens eines Belichtungsparameters
wenigstens eines Bildsensors, insbesondere in einem Kraftfahrzeug.
-
Vorteilhaft
ist die Einstellung des wenigstens einen Belichtungsparameters in
Abhängigkeit
wenigstens einer statistischen Größe des wenigstens einen Bildausschnittes,
insbesondere in Abhängigkeit
des Mittelwertes und/oder des Medians und/oder des Maximums und/oder
des Minimums und/oder eine Quantile der Grauwertverteilung, da dies
zu einer einfachen Implementierung des Verfahrens beiträgt.
-
Das
nachfolgend beschriebene Verfahren eignet sich in besonders vorteilhafter
Weise zur Einstellung wenigstens eines Belichtungsparameters wenigstens
eines Bildsensors, wobei der wenigstens eine Bildsensor Szenen mit
großen
zeitlichen und/oder räumlichen
Helligkeitsunterschieden erfasst. Das dies häufig in der Umgebung eines
Kraftfahrzeuges auftritt, ist das Verfahren in besonders vorteilhafter
Weise für
den Einsatz in Kraftfahrzeugen geeignet. Das nachfolgend beschriebene
Verfahren eignet sich weiterhin in vorteilhafter Weise zur Einstellung
wenigstens eines Belichtungsparameters wenigstens eines Bildsensors,
wobei in Abhängigkeit von
Bildsignalen wenigstens ein Bildausschnitt derart ermittelt wird,
dass der wenigstens eine Bildausschnitt wenigstens einen Teil wenigstens
eines Objektes umfasst, wobei das wenigstens eine Objekt wenigstens
ein Objekt im Verkehrsraum ist.
-
Vorteilhaft
ist, dass das Verfahren zur Einstellung von mehreren Belichtungsparametern,
wie dem Gain und/oder dem Offset und/oder der Integrationszeit und/oder
der Blende, geeignet ist.
-
Besonders
vorteilhaft ist, dass bei dem nachfolgenden beschriebenen Verfahren
die Einstellung des wenigstens einen Belichtungsparameters des wenigstens
einen Bildsensors grundsätzlich
nicht durch ein einzelnes oder mehrere Objekte derart negativ bestimmt
wird, dass weitere Objekte nicht erfassbar sind. Vielmehr trägt der beschriebene
Arbitrierungsmechanismus dazu bei, einen sinnvollen Kompromiss aus
den jeweiligen Einstellerfordernissen der Objekte aus der Umgebung
des Bildsensors zu finden. Dieser Arbitrierungsmechanismus verhindert
in vorteilhafter Weise die Optimierung der Detektierbarkeit eines
Objektes auf Kosten der Detektierbarkeit anderer Objekte. Zusammenfassend
ergibt sich daher, dass das Verfahren zur Einstellung wenigstens
eines Belichtungsparameters wenigstens eines Bildsensors hierdurch
unempfindlich gegen Fehldetektionen von Objekten, Rauschen und/oder Pixelfehler
ist. Die Bewertung des Einstellbereiches des wenigstens einen Belichtungsparameters
für wenigstens
einen Bildausschnitt trägt
hierzu in vorteilhafter Weise bei. Zusätzlich ist es vorteilhaft,
dass der wenigstens eine Belichtungsparameter in Abhängigkeit
der Bewertung des Einstellbereiches des wenigstens einen Belichtungsparameters
eines ersten Bildausschnittes und gegebenenfalls in Abhängigkeit der
Bewertung des Einstellbereiches des wenigstens einen Belichtungsparameters
wenigstens eines zweiten Bildausschnittes eingestellt wird.
-
Indem
das Verfahren die Bewertung des Einstellbereiches des wenigstens
einen Belichtungsparameters in Abhängigkeit wenigstens einer Objektkenngröße des wenigstens
einen Objektes ermöglicht,
werden in vorteilhafter Weise Eigenschaften der Objekte, in Form
von Objektkenngrößen, zur
Einstellung wenigstens eines Belichtungsparameters verwendet. Vorteilhaft
ist hierbei insbesondere, wenn die Bewertung des Einstellbereiches
des wenigstens einen Belichtungsparameters in Abhängigkeit
wenigstens eines Konfidenzmaßes
des wenigstens einen ermittelten Objektes erfolgt. Durch die Einbeziehung wenigstens
eines Konfidenzmaßes
des wenigstens einen Objektes wird eine optimierte Aufnahme derjenigen
Objekte erreicht, die mit hoher Wahrscheinlichkeit erkannt wurden.
Das Konfidenzmaß ist
ein Maß für die Sicherheit
mit der Objekte erkannt und/oder klassifiziert werden. Alternativ
oder zusätzlich
ist es vorteilhaft, die Bewertung des Einstellbereiches des wenigstens
einen Belichtungsparameters durch feste Werte und/oder kontextabhängig durchzuführen. Eine
kontextabhängige
Bewertung des Einstellbereiches des wenigstens einen Belichtungsparameters wird
beispielsweise durchgeführt,
wenn für
detektierte Objekte erkannt wird, dass von ihnen eine potenzielle
oder tatsächliche
Gefahr ausgeht. Dies trägt
in besonders vorteilhafter Weise dazu bei, dass Objekte mit hoher
Bedeutung optimal erfasst werden.
-
Vorteilhaft
ist die alternative oder zusätzliche Einstellung
des wenigstens einen Belichtungsparameters des wenigstens einen
Bildsensors in Abhängigkeit
des Gesamtbildes und/oder wenigstens eines Teilbildes. Teilbilder
sind definitionsgemäß dadurch charakterisiert,
dass sie nicht durch erkannte Objekte bestimmt sind. Beispielsweise
werden Teilbilder als Suchbereiche verwendet, in denen nach neuen
Objekten gesucht werden soll. Die Teilbilder werden im Verfahren
zur Einstellung wenigstens eines Belichtungsparameters entsprechend
dem wenigstens einen Bildausschnitt verwendet.
-
Die
vorstehend beschriebenen Vorteile des Verfahrens gelten entsprechend
für die
Vorrichtung zur Einstellung wenigstens eines Belichtungsparameters
wenigstens eines Bildsensors, insbesondere zur Durchführung eines
oder zumindest der wesentlichen Schritte des nachfolgend beschriebenen
Verfahrens zur Einstellung wenigstens eines Belichtungsparameters
wenigstens eines Bildsensors, insbesondere in einem Kraftfahrzeug.
-
Besonders
vorteilhaft ist ein Computerprogramm mit Programmcodemitteln, um
alle Schritte oder zumindest die wesentlichen Schritte des beschriebenen
Verfahrens durchzuführen,
wenn das Programm auf einem Computer ausgeführt wird. Die Verwendung eines
Computerprogramms ermöglicht die
schnelle und kostengünstige
Anpassung des Verfahrens, beispielsweise durch Anpassung an verschiedene
Belichtungsparameter des Bildsensors. Alternativ oder zusätzlich trägt das Computerprogramm
dazu bei, dass Algorithmen zur Erkennung von Objekten einfach ergänzt und/oder
erweitert werden können.
-
Weitere
Vorteile ergeben sich aus der nachfolgenden Beschreibung von Ausführungsbeispielen mit
Bezug auf die Figuren und aus den abhängigen Patentansprüchen.
-
Zeichnung
-
Die
Erfindung wird nachstehend anhand der in der Zeichnung dargestellten
Ausführungsformen näher erläutert.
-
Es
zeigen:
-
1 eine Übersichtszeichnung,
-
2 ein
Blockdiagramm,
-
3 das
Gewicht W als Funktion eines Belichtungsparameters P,
-
4 das
Gesamtgewicht WG als Funktion eines Belichtungsparameters P.
-
Beschreibung von Ausführungsbeispielen
-
Nachfolgend
werden ein Verfahren, eine Vorrichtung und ein Computerprogramm
zur Einstellung wenigstens eines Belichtungsparameters wenigstens eines
Bildsensors, insbesondere in einem Kraftfahrzeug, beschrieben. Der
wenigstens eine Belichtungsparameter wird in Abhängigkeit wenigstens einer Kenngröße wenigstens
eines Bildausschnittes eingestellt. Die Bildausschnitte umfassen
dabei wenigstens ein Objekt aus der Umgebung des Bildsensors, insbesondere
wenigstens ein relevantes Objekt, und gegebenenfalls wenigstens
einen Teil eines Objekthintergrundes des wenigstens einen Objektes. Die
wenigstens eine Kenngröße ist insbesondere
der Mittelwert und/oder der Median und/oder das Maximum und/oder
das Minimum und/oder wenigstens eine Quantile der Grauwertverteilung
des wenigstens einen Bildausschnittes. Der wenigstens eine Belichtungsparameter
ist der Gain und/oder der Offset und/oder die Integrationszeit und/oder
die Blende. Durch einen Arbitrierungsmechanismus wird ein sinnvoller
Kompromiss aus den jeweiligen Einstellerfordernissen der erfassten
Objekte gefunden.
-
1 zeigt
eine Übersichtszeichnung
des bevorzugten Ausführungsbeispiels,
bestehend aus einem Bildsensor 10 und einer Verarbeitungseinheit 12.
Im bevorzugten Ausführungsbeispiel
ist der Bildsensor 10 im Bereich des Innenrückspiegels
eines Kraftfahrzeuges montiert. Der Bildsensor 10 ist so
ausgerichtet, dass sein Bilderfassungsbereich die Umgebung des Kraftfahrzeuges
in Fahrtrichtung abdeckt. Alternativ oder zusätzlich ist in verschiedenen Varianten
wenigstens ein Bildsensor 10 zur Erfassung des rückwärtigen Fahrraumes,
beispielsweise in den Außenspiegeln
und/oder in der Stoßstange angeordnet.
Als Bildsensoren 10 werden im bevorzugten Ausführungsbeispiel
CCD-Kameras und/oder CMOS-Kameras eingesetzt. Der Bildsensor 10 übermittelt
Bildsignale der erfassten Szene über
die Signalleitung 14 an die Verarbeitungseinheit 12.
Die Verarbeitungseinheit 12 erzeugt auf der Signalleitung 16 Signale
zur Einstellung der Belichtungsparameter des Bildsensors 10,
wobei die Signale zur Einstellung der Belichtungsparameter von der
Verarbeitungseinheit 12 zum Bildsensor 10 übertragen
werden. Die Übertragung
auf den Signalleitungen 14, 16 erfolgt elektrisch
und/oder optisch. Alternativ oder zusätzlich ist auch eine Übertragung
per Funk möglich.
Die Verarbeitungseinheit 12 besteht aus mehreren, in 2 dargestellten
Modulen 20, 22, 26, 28, 30, 32, 34, 36, 38,
die im bevorzugten Ausführungsbeispiel
als Programme, Programmteile oder Programmschritte wenigstens eines
Mikroprozessors ausgestaltet sind.
-
2 zeigt
ein Blockdiagramm eines Teils der Verarbeitungseinheit zur Einstellung
wenigstens eines Belichtungsparameters des Bildsensors im bevorzugten
Ausführungsbeispiel,
bestehend aus Modulen 20, 22, 26, 28, 30, 32, 34, 36, 38.
Bei dem hier beschriebenen Verfahren zur Einstellung wenigstens eines
Belichtungsparameters wird ein oder mehrere Belichtungsparameter
eines Bildsensors an Bildausschnitte angepasst, in denen sich relevante
Objekte befinden. Dabei werden keine besonderen Eigenschaften der
Objekte gefordert, wie beispielsweise Segmentierbarkeit oder durchgängig positiver
oder negativer Kontrast. Hierzu wird die Grauwertverteilung des
gesamten jeweiligen Bildausschnittes zur Einstellung der Belichtungsparameter
verwendet. Ferner wird durch einen Bewertungs- und Arbitrierungsmechanismus
ein Abgleich der Belichtungserfordernisse der Objekte durchgeführt. Das
beschriebene Verfahren zur Einstellung wenigstens eines Belichtungsparameters
wenigstens eines Bildsensors ist objektbasiert. Es werden zunächst die
Position und/oder die Ausdehnung relevanter Objekte im Gesamtbild
bestimmt. Um diese Objekte herum werden Bildausschnitte derart ermittelt,
dass der ermittelte Bildausschnitt wenigstens einen Teil wenigstens
eines Objektes umfasst. Für
jeden ermittelten Bildausschnitt werden bestimmte Kenngrößen der
lokalen Grauwertverteilung berechnet, wie beispielsweise der Mittelwert
und/oder der Median und/oder das Maximum und/oder das Minimum und/oder
eine Quantile. Aus diesen Kenngrößen wird
für wenigstens
einen Bildausschnitt eine Bewertungsfunktion für den gesamten, zur Verfügung stehenden
Parameterbereich berechnet. Der Arbitrierungsmechanismus kombiniert
dann die aus den Bildausschnitten gewonnenen Belichtungsparameterwerte
in nachfolgend beschriebener Weise. Der Bildsensor liefert über die
Signalleitung als Eingangsgröße der Verarbeitungseinheit Bildsignale 18 des
momentanen Gesamtbildes an das Modul zur Objekterkennung 20 und
an das Modul zur Bildausschnittextraktion 22. Das Modul
zur Objekterkennung 20 ermittelt aus den Bildsignalen 18 die
Position und/oder die Ausdehnung und/oder ein Konfidenzmaß von erkannten
und gegebenenfalls relevanten Objekten im Gesamtbild. Im Modul zur
Bildausschnittextraktion 22 werden mit Hilfe der vom Modul
zur Objekterkennung 20 ermittelten Informationen Bildausschnitte
aus dem Gesamtbild herausgeschnitten, die wenigstens einen Teil
wenigstens eines Objektes enthalten. Als Objekte werden im bevorzugten
Ausführungsbeispiel
Objekte des Verkehrsraumes, insbesondere Fahrbahnmarkierungen und/oder Leitpfosten
und/oder Verkehrsschilder und/oder Hinweisschilder und/oder Zusatzschilder
und/oder Kraftfahrzeuge und/oder Fußgänger und/oder Tiere erkannt.
Daneben werden im bevorzugten Ausführungsbeispiel fixe Bildausschnitte 24 verwendet,
die nicht durch Objekte bestimmt sind, sondern beispielsweise Suchbereiche
darstellen, in denen nach neuen Objekten gesucht werden soll. Die
fixen Bildausschnitte 24 werden im bevorzugten Ausführungsbeispiel
von der Verarbeitungseinheit vorgegeben. Für jedes der gewonnenen Bildausschnitte
werden Kenngrößen der
lokalen Grauwertverteilung bestimmt, wie beispielsweise der Mittelwert
und/oder der Median und/oder das Maximum und/oder das Minimum und/oder
eine Quantile. Diese Kenngrößen werden
beispielsweise im Modul zur Kenngrößenextraktion 26 für einen
ersten Bildausschnitt, einem Modul zur Kenngrößenextraktion 30 für einen
zweiten Bildausschnitt und/oder in weiteren Modulen zur Kenngrößenextraktion 34 für weitere
Bildausschnitte bestimmt. Von den Modulen zur Kenngrößenextraktion 26, 30, 34 werden
die ermittelten Kenngrößen jeweils
an die Module zur Bewertungsfunktionsbestimmung 28, 32, 36 weiter
geleitet. Aus den Kenngrößen wird
in den Modulen zur Bewertungsfunktionsbestimmung 28, 32, 36 für wenigstens
einen Bildausschnitt eine Bewertungsfunktion des gesamten Belichtungsparameterbereiches
berechnet. Nachfolgend wird dieser Bewertungsvorgang anhand der 3 und 4 beschrieben.
Im letzten Schritt wird im Modul zur Arbitrierung 38 ein
neuer Satz von Belichtungsparametern selektiert, der einen sinnvollen
Kompromiss aus den jeweiligen Belichtungserfordernissen der einzelnen
Objekte und/oder der Bildausschnitte darstellt. Im Modul zur Arbitrierung 38 werden
Signale zur Einstellung der Belichtungsparameter 40 erzeugt, die über die
Signalleitung 16 in 1 von der
Verarbeitungseinheit 12 zum Bildsensor 10 übertragen werden.
-
Anhand
von 3 wird nachfolgend die Funktionsweise der Module
zur Bewertungsfunktionsbestimmung 28, 32, 36 nach 2 beschrieben. Für wenigstens
einen oder mehrere ermittelte Bildausschnitte werden getrennt Bewertungsfunktionen des
Belichtungsparameterraumes berechnet. Als Gewichte werden im bevorzugten
Ausführungsbeispiel
Werte zwischen 0 und 1 verwendet. Für die Bewertungsfunktion werden
je nach Ausführungsbeispiel
verschiedene Varianten verwendet. In der ersten Variante wird ein
Satz von Belichtungsparametern berechnet, der die Kenngrößen der
Grauwertverteilung auf vorgegebene Zielwerte bringt. Es handelt
sich hierbei um eine binäre
Bewertungsfunktion 50 des Belichtungsparameterraumes, bei
der pro Bildausschnitt nur jeweils ein Satz von Belichtungsparametern
ein von Null verschiedenes Gewicht W erhält. In 3 ist dieser
Sachverhalt näher
erläutert. 3 zeigt
ein Diagramm des Gewichtes W als Funktion eines Belichtungsparameters
P. Auf der Abszisse des Diagramms in 3 ist ein
Belichtungsparameter P aufgetragen. Der Belichtungsparameter P ist
beispielsweise der Gain- und/oder der Offset und/oder die Integrationszeit
und/oder die Blende des Bildsensors. Auf der Ordinate ist das Gewicht
W aufgetragen. Ferner zeigt die 3 die vorstehend beschriebene
binäre
Bewertungsfunktion 50. Das Gewicht W der binären Bewertungsfunktion 50 ist
mit Ausnahme eines Wertes des Belichtungsparameters P über den
gesamten Einstellbereich des Belichtungsparameters P null. Eine
solche binäre
Bewertungsfunktion 50 wird beispielsweise dann verwendet,
wenn als Belichtungsparameter P der Gain verwendet wird, wobei in
Abhängigkeit
des Gains der Mittelwert der Grauwertverteilung auf die Mitte des zur
Verfügung
stehenden Grauwertbereiches eingestellt wird. In einer zweiten Variante
werden anstatt einzelner Sätze
von Belichtungsparametern binäre Bewertungsfunktionen
in Form von erlaubten Belichtungsparameterbereichen angegeben. Die
zweite Bewertungsfunktion 52 in 3 zeigt
ein derartiges Beispiel. Bestimmte Bereiche des Belichtungsparameters
P erhalten einen von Null verschiedenen Wert des Gewichtes W. Dieser
Typ der Bewertungsfunktion wird beispielsweise dann verwendet, wenn
ein Mindestkontrast gefordert ist, der für die Detektion der Objekte
erforderlich ist. Bestimmt man den momentanen Kontrast des Bildausschnittes,
so werden diejenigen Belichtungsparameterbereiche identifiziert,
die nach ihrer Anwendung den geforderten Mindestkontrast aufweisen.
Alle anderen Sätze
von Belichtungsparametern erhalten, wie die Bewertungsfunktion 52 in 3 zeigt,
das Gewicht Null. In einer dritten Variante werden kontinuierliche
Gewichte W verwendet. 3 zeigt mit der dritten Bewertungsfunktion 54 ein
solches Beispiel. In bestimmten Fällen sind beispielsweise die
Detektionswahrscheinlichkeiten für
die Objekte für
alle möglichen
oder zumindest die wesentlichen Kontrastwerte bekannt. Aus dem bestimmten
Momentankontrast wird der resultierende Kontrast für alle Sätze von
Belichtungsparametern berechnet, aus dem sich dann wieder eine Detektionswahrscheinlichkeit
bestimmten lässt. Jedem
Satz von Belichtungsparametern kann so eine Detektionswahrscheinlichkeit
als Gewicht W zugewiesen werden.
-
Im
Modul zur Arbitrierung 38 nach 2 wird in
Abhängigkeit
wenigstens einer Bewertungsfunktion wenigstens eines Bildausschnittes
eine Bewertungsfunktion des gesamten Belichtungsparameterraumes
ermittelt. Im bevorzugten Ausführungsbeispiel
wird durch Summation der Einzelbewertungen für jeden Satz von Belichtungsparametern
eine Gesamtbewertung berechnet. Ausgewählt wird dann der Satz von
Belichtungsparametern mit dem maximalen Gesamtgewicht WG. 4 zeigt
ein Diagramm des Gesamtgewichtes WG als Funktion des Belichtungsparameters
P. Auf der Ordinate ist der Belichtungsparameter P eingetragen,
während
auf der Abszisse das Gesamtgewicht WG aufgetragen ist. Durch Summation
einer ersten Bewertungsfunktion 60 eines ersten Bildausschnittes
und einer zweiten Bewertungsfunktion 62 eines zweiten Bildausschnittes
wird eine Funktion 64 des Gesamtgewichtes WG berechnet.
In diesem Beispiel werden für
beide Bewertungsfunktionen 60, 62 Konfidenzmaße berücksichtigt
und entsprechend bei der Gewichtung durch eine Multiplikationsoperation
berücksichtigt.
-
Die
Bewertungsfunktionen 60, 62 werden addiert und
das Maximum des resultierenden Gesamtgewichtes WG ermittelt. Der
Satz der Belichtungsparameter mit dem maximalen Gesamtgewicht WG
wird ausgewählt.
Alternativ oder zusätzlich
werden bei der Berechnung des Maximums Nebenbedingungen berücksichtigt.
Beispielsweise wird in bestimmten Anwendungen gefordert, dass die
Detektionswahrscheinlichkeit in wenigstens einem Bildausschnitt
nicht unter eine vorgegebene Schwelle sinken darf. Das Maximum wird
dann nur unter den Sätzen der
Belichtungsparameter P gesucht, welche die geforderte Nebenbedingung
einhalten. In einer weiteren Variante werden einfache Arbitrierungsverfahren eingesetzt.
Beispielsweise werden in weiteren Varianten bei der Arbitrierung
der Mittelwert und/oder Median aus Sätzen von Belichtungsparametern
P berechnet. Hierbei werden für
wenigstens einen oder mehrere Bildausschnitte nur jeweils die optimalen Sätze von
Belichtungsparametern P an das Modul zur Arbitrierung 38 nach 2 weitergegeben.
In einer weiteren Variante werden die Bewertungsfunktionen 60, 62 der
Bildausschnitte bei der Summation zusätzlich feste und/oder kontextabhängige Gewichte zugewiesen.
Kontextabhängige
Gewichte werden beispielsweise verwendet, wenn wenigstens eines der
detektierten Objekte eine potentielle oder tatsächliche Gefahr darstellt und/oder
wenn wenigstens ein Objekt durch die Verarbeitungseinheit als relevant
klassifiziert wird, derart, dass das wenigstens eine Objekt für nachfolgende
Bildverarbeitungsverfahren und/oder nachfolgende Anwendungen verwendet
wird.
-
Das
Verfahren zur Einstellung wenigstens eines Belichtungsparameters
wenigstens eines Bildsensors, insbesondere in einem Kraftfahrzeug wird
deutlich, wenn dem Bildsensor zuerst keine Objekte präsentiert
werden, wobei sich ein stabiles Gleichgewicht der Belichtungsparameter
einstellt. Anschließend
wird ein für
die Einstellung der Belichtungsparameter relevantes Objekt präsentiert,
für das
die momentan eingestellten Belichtungsparameter nicht optimal sind,
das aber den Gesamtkontrast der Szene im wesentlichen unverändert lässt. Bei dem
beschriebenen objektbasierten Verfahren zur Einstellung wenigstens
eines Belichtungsparameters wird der Bildsensor auf dieses Objekt
regeln, auch, wenn es ständig
die Position verändert.
Wird umgekehrt ein nicht als relevant betrachtetes Objekt präsentiert,
so werden die Belichtungsparameter des Bildsensors im Allgemeinen
nicht unabhängig
von der Position des Objektes eingestellt. Weiterhin wird das Verfahren
zur Einstellung wenigstens eines Belichtungsparameters wenigstens
eines Bildsensors, insbesondere in einem Kraftfahrzeug, deutlich,
wenn das gleiche Objekt einmal mit und einmal ohne Kontrastumkehr
in einem lokalen Bereich präsentiert wird.
Durch das beschriebene Verfahren zur Einstellung wenigstens eines Belichtungsparameters
werden die Sätze
der Belichtungsparameter hierbei entsprechend angepasst. Besonders
deutlich wird das Verfahren zur Einstellung wenigstens eines Belichtungsparameters
wenigstens eines Bildsensors, wenn gleichzeitig mehrere Objekte
mit unterschiedlichen Einstellungserfordernissen der Belichtungsparameter
präsentiert
werden. Durch das beschriebene Verfahren wird ein Kompromiss der
Einstellungserfordernisse der Belichtungsparameter gefunden.
-
Das
beschriebene Verfahren, die Vorrichtung und das Computerprogramm
sind nicht auf die Anwendung in einem Kraftfahrzeug beschränkt. Vielmehr
kann die beschriebene Vorgehensweise mit den entsprechenden Merkmalen
außerhalb
der Kraftfahrzeugtechnik eingesetzt werden. Als weiteres Anwendungsbeispiel
ist der Einsatz des beschriebenen Verfahrens bei Bildsensoren zur Überwachung
von Verkehrsräumen,
Außenbereichen
von Gebäuden und
Innenräumen,
insbesondere in der Sicherheitstechnik, denkbar. Ferner ist die
beschriebene Vorgehensweise nicht auf einen Bildsensor beschränkt, vielmehr
ist das Verfahren, die Vorrichtung und das Computerprogramm bei
mehrerer Bildsensoren, insbesondere wenigstens einer Stereokamera,
geeignet. Eine Stereokamera ist ein Bildsensorsystem, das aus wenigstens
zwei Bildsensoren besteht, die im wesentlichen dieselbe Szene aufnehmen.
Daneben ist das Verfahren, die Vorrichtung und das Computerprogramm
neben der Einstellung alternativ oder zusätzlich zur Steuerung und/oder
Regelung wenigstens eines Belichtungsparameters wenigstens eines Bildsensors
geeignet.
-
In
einer weiteren Variante ist das Verfahren und/oder das Computerprogramm
auf wenigstens zwei oder mehr als zwei Verarbeitungseinheiten mit wenigstens
zwei oder mehreren Mikroprozessoren verteilt.
-
In
einer weiteren Variante des beschriebenen Verfahrens ist die wenigstens
eine Kenngröße ein Maß für den Kontrast
wenigstens eines Teils des wenigstens einen ermittelten Objektes
und/oder ein Maß für den Kontrast
wenigstens eines Teils des wenigstens einen ermittelten Objektes
zum Objekthintergrund. Als Maß für den Kontrast
wird beispielsweise die Varianz des Grauwerthistogrammes des wenigstens
einen Bildausschnittes verwendet, wobei der wenigstens eine Bildausschnitt
wenigstens einen Teil wenigstens eines Objektes umfasst. Die Varianz bezeichnet
dabei die mittlere quadratische Abweichung der Grauwerte der Pixel
vom Mittelwert.
-
Das
vorstehend beschriebene Verfahren und die Vorrichtung werden in
einer weiteren Variante zur Einstellung wenigstens eines Belichtungsparameters wenigstens
einem Farb-Bildsensors
eingesetzt. Dabei wird in analoger Verfahrenweise wie bei schwarzweiß Bildsensoren
wenigstens eine Kenngröße der Helligkeitsverteilung
ermittelt. Alternativ oder zusätzlich
wird die wenigstens eine Kenngröße der Helligkeitsverteilung
aus den Farbinformationen gebildet, die der Farb-Bildsensor erzeugt.
Das beschriebene Verfahren wird dabei bei Farb-Bildsensoren mit
einem Bildsensorchip und/oder bei Farb-Bildsensoren mit mehreren Bildsensorchips
beispielsweise für
unterschiedliche Farben eingesetzt.