DE102008064411B4

DE102008064411B4 - Belichtungssteuerungsvorrichtung und Belichtungssteuerungsprogramm für eine in einem Fahrzeug installierte elektronische Kamera

Info

Publication number: DE102008064411B4
Application number: DE102008064411.0A
Authority: DE
Inventors: Kentaro Mochida; Takayuki Kimura; Kenta Hoki
Original assignee: Denso Corp
Current assignee: Denso Corp
Priority date: 2007-12-26
Filing date: 2008-12-22
Publication date: 2022-01-05
Anticipated expiration: 2028-12-23
Also published as: DE102008064411A1; US20090251563A1; JP4433045B2; JP2009157085A; US8363124B2

Abstract

Belichtungssteuerungsvorrichtung zur Belichtungssteuerung einer in einem Fahrzeug installierten elektronischen Digitalkamera, wobei die Kamera angeordnet ist, um periodisch jeweilige Bilder einer externe Szene vor dem Fahrzeug aufzunehmen, jedes der Bilder eine Reihe von Bildelementen mit jeweiligen Leuchtdichtewerten aufweist, und die Belichtungssteuerungsvorrichtung eine Schaltung aufweist, die dazu ausgelegt ist, die Leuchtdichtewerte in entsprechende Helligkeitswerte der externen Szene zu wandeln, in Übereinstimmung mit einem vorbestimmten Verhältnis zwischen einem Belichtungszustand der Kamera, den Leuchtdichtewerten und den Helligkeitswerten, wobei die Belichtungssteuerungsvorrichtung aufweist:- eine Extrahierungsschaltung, die dazu ausgelegt ist, aus jedem der Bilder mehrere Bildelemente zu extrahieren, die einen Helligkeitsmessbereich bilden;- eine Ausschließungsschaltung, die dazu ausgelegt ist, einen Satz von Bildelementen höchster Helligkeit des Helligkeitsmessbereichs auszuschließen;- eine Messschaltung, die dazu ausgelegt ist, einen Aufnahmeziel-Helligkeitswert des Bildes auf der Grundlage jeweiliger Helligkeitswerte der verbleibenden Bildelemente des Helligkeitsmessbereichs nach der Ausschließung zu messen; und- eine Belichtungssteuerungsschaltung, die dazu ausgelegt ist, den Kamerabelichtungszustand in Übereinstimmung mit dem Aufnahmeziel-Helligkeitswert abzustimmen; wobei- die Extrahierungsschaltung dazu ausgelegt ist, die Bildelemente des Helligkeitsmessbereich in Einheiten von Bildlinien zu extrahieren, die jeweils eine horizontale Reihe von Bildelementen aufweisen;- die Ausschließungsschaltung dazu ausgelegt ist, die Ausschließung der Bildelemente jeweils einzeln für jede der Bildlinien auszuführen;- die Ausschließungsschaltung dazu ausgelegt ist, nacheinander die jeweilige Anzahl von Bildelementen, die aus den Bildlinien des Helligkeitsmessbereich ausgeschlossen werden, in Übereinstimmung mit zunehmender Nähe von externen Bereichen, welche den Bildlinien entsprechen, zum Fahrzeug zu erhöhen; und- die Messschaltung dazu ausgelegt ist, jede Bildlinie des Helligkeitsmessbereichs zu verarbeiten, indem sie:- einen Durchschnittshelligkeitswert von allen nicht ausgeschlossenen Bildelementen der Bildlinie berechnet und speichert, um so mehrere Durchschnittshelligkeitswerte, die jeweils aufeinander folgenden Zeitpunkten entsprechen, für die Bildlinie zu erhalten, und- eine Zeitachsenfilterung der mehreren Durchschnittswerten ausführt, um so einen gefilterten Durchschnittshelligkeitswert zu erhalten, wobei- die Messschaltung dazu ausgelegt ist, den Aufnahmeziel-Helligkeitswert auf der Grundlage der jeweiligen gefilterten Durchschnittshelligkeitswerte zu erlangen, die für die Bildlinien des Helligkeitsmessbereichs berechnet werden, und- ein Glättungseffekt der Zeitachsenfilterung in Übereinstimmung mit zunehmendem Abstand von externen Bereichen, welche den Bildlinien entsprechen, erhöht wird.

Description

QUERVERWEIS AUF VERWANDTE ANMELDUNGEN
Diese Anmeldung bezieht sich auf die am 26. Dezember 2007 eingereichte japanische Patentanmeldung Nr. 2007-334934 , auf deren Offenbarung hiermit vollinhaltlich Bezug genommen wird.
HINTERGRUND DER ERFINDUNG
Gebiet der Erfindung
Die vorliegende Erfindung betrifft eine Belichtungssteuerungsvorrichtung für eine Belichtungssteuerung einer elektronischen Kamera, die aufeinander folgende Bilder eines Bereichs vor einem Fahrzeug aufnimmt, in welchem die Kamera installiert ist.
Stand der Technik
Seit einigen Jahren werden in Fahrzeugen installierte elektronische Kameras (für gewöhnlich digitale Videokameras, die nachstehend der Einfachheit halber als Kameras bezeichnet werden) zur Aufnahme von Bildern eines Bereich vor dem Fahrzeug zusammen mit einer Technologie verwendet, die entwickelt worden ist, um die aufgenommenen Bilder (Sätze von digitalen Daten, welche die jeweiligen aufgenommenen Bilder beschreiben) für Funktionen, wie beispielsweise eine Erkennung von weißen Linien auf der Straßenoberfläche oder eine Erfassung von Objekten, wie beispielsweise eines vorausfahrenden Fahrzeug, zu verarbeiten. Die Verarbeitungsergebnisse können verwendet werden, um Warnhinweise für einen Fahrzeugführer zu erzeugen, ein Fahren des Fahrzeugs zu kontrollieren und dergleichen.
Bei solch einer Technologie ist es von Bedeutung, dass die Belichtung der Kamera in geeigneter Weise in Übereinstimmung mit der Helligkeit der von der Kamera aufgenommenen Szene gesteuert wird, um die Zuverlässigkeit bei einer Erkennung weißer Linien auf der Straßenoberfläche oder fester Objekte, wie beispielsweise vorausfahrender Fahrzeuge, und dergleichen, auf der Grundlage der von der Kamera aufgenommenen Bilder zu maximieren.
Ein Fahrzeug, das eine solche Kamera und eine solche Verarbeitungsvorrichtung aufweist, die hierin beschrieben werden, wird nachstehend als das „lokale Fahrzeug“ bezeichnet.
So wird beispielsweise in der JP H06-253208 A (nachstehend als Referenzdruckschrift 1 bezeichnet) ein Verfahren zur Verwendung solcher Kamerabilder zur Erkennung von weißen Linien auf der Straßenoberfläche vorgeschlagen, bei dem zwei sich seitlich erstreckende Abschnitte innerhalb jedes Bildes gewählt werden. Ein erster dieser Abschnitte ist derart angeordnet, dass er einen Teil der (abgebildeten) Straßenoberfläche enthält, die momentan nahe zum lokalen Fahrzeug vorhanden ist, und die Daten, die aus dem ersten Abschnitt erhalten werden, in jedem von aufeinander folgenden aufgenommenen Bildern, werden zur Erkennung von weißen Linien auf der Straßenoberfläche verwendet. Der zweite Abschnitt ist derart angeordnet, dass er einen Teil der Straßenoberfläche enthält, der weiter entfernt vor dem lokalen Fahrzeug vorhanden ist (d. h. ein oberer Teil jedes aufgenommenen Bildes ist). Folglich enthält der zweite Abschnitt einen Bereich, der an einem späteren Zeitpunkt in Abhängigkeit von der Geschwindigkeit des lokalen Fahrzeugs einer Erkennungsverarbeitung unterzogen wird. Wenn die Durchschnittshelligkeitspegel des ersten und des zweiten Abschnitts mit b0 bzw. b1 bestimmt werden, wird die Differenz zwischen diesen für jedes von aufeinander folgenden aufgenommenen Bildern erhalten. Wenn bestimmt wird, dass die Differenz einen vorbestimmten Schellenwert überschreitet, wird die Kamerabelichtung, die bei einer Aufnahme des nächsten Bildes verwendet wird, auf der Grundlage des Helligkeitswertes b1 (d. h. durch eine Änderung der Kamerabelichtungszeit usw.) abgestimmt.
Bei dem obigen Verfahren der Referenzdruckschrift 1 kann die Kamerabelichtung dann, wenn die Straßenoberfläche vor dem Fahrzeug beispielsweise zwischen einem durch Sonne hellerleuchteten und einem schattigen Zustand wechselt, in geeigneter Weise für jedes der aufeinander folgenden aufgenommenen Bilder gesteuert werden, d. h. derart gesteuert werden, dass verhindert wird, dass die abrupte Änderung in der Szenenhelligkeit die Zuverlässigkeit bei der Erfassung von weißen Linien nachteilig beeinflusst.
In einer tatsächlichen Straßenumgebung wird sich die Helligkeit der Straßenoberfläche jedoch für gewöhnlich nicht in derart einfacher Weise zwischen einen sonnenbestrahlten Zustand und einem schattigen Zustand ändern (d. h. derart, dass sich die Änderung gleichförmig über die Straßenoberfläche erstreckt). Stattdessen können die Änderungen verschiedene Formen annehmen. Aus diesem Grund ist es schwierig, die Kamerabelichtung mit Hilfe eines derartigen Verfahrens unter tatsächlichen Betriebbedingungen zuverlässig zu steuern.
Die JP 2005-148308 A (nachstehend als Referenzdruckschrift 2 bezeichnet) schlägt ferner vor, eine Belichtungssteuerungsvorrichtung zu verwenden, mit welcher die Helligkeit der Straßenoberfläche vor einem lokalen Fahrzeug zur Verwendung bei einer Kamerabelichtungssteuerung gemessen wird, wobei die Effekte von auf der Straßenoberfläche gebildeten weißen Linien (Verkehrsspurmarkierungen) ausgeschlossen werden. Eine Videokamera im Fahrzeug gewinnt aufeinanderfolgende aufgenommene Bilder eines Bereichs direkt vor dem Fahrzeug, welche diese weißen Linien enthalten. Eine Mehrzahl von Bereichen innerhalb jedes aufgenommenen Bildes wird selektiv untersucht, um die jeweilige Helligkeitspegel dieser zu messen, wobei diese Bereiche derart vorbestimmt sind, dass sie Bereichen der Straßenoberfläche entsprechen, die für gewöhnlich außerhalb der weißen Linien liegen, wenn das Fahrzeug entlang der Mitte einer Verkehrsspur fährt. Die jeweiligen Helligkeitswerte dieser Bereiche werden gemessen, und die Belichtung der Fahrzeugkamera wird auf der Grundlage der Ergebnisse gesteuert.
Die Abbildung (a) in der 17 zeigt ein Beispiel solcher Helligkeitsmessbereiche, d. h. von Bereichen, die zur Messung des Helligkeitspegels der Straßenoberfläche verwendet werden. Solch ein Verfahren zielt darauf ab, die Helligkeit der Straßenoberfläche noch zuverlässiger messen zu können, ohne dass die Messung durch Schwankungen der Helligkeit aufgrund des Vorhandenseins von weißen Linienabschnitten in den aufgenommenen Bildern beeinflusst wird. Wenn sich das lokale Fahrzeug jedoch, wie in der Abbildung (b) der 17 gezeigt, in seitlicher Richtung bewegt, können Abschnitte der weißen Linien in die Helligkeitsmessbereiche fallen. Dies führt zu Schwankungen in den Aufnahmeziel-Helligkeitswerten, die aus den aufeinander folgenden aufgenommenen Bildern gewonnen werden. Bedingt durch diese Schwankungen ist eine geeignete Belichtungssteuerung gegebenenfalls nicht möglich.
Wenn versucht wird, die Positionen und Konfigurationen der Helligkeitsmessbereiche derart einzustellen, dass die weißen Linien niemals in die Helligkeitsmessbereiche fallen, wird die Freiheit bei einer Bestimmung der Orte und Formen dieser Helligkeitsmessbereiche deutlich eingeschränkt. Folglich kann es bedingt durch derartige Faktoren, wie beispielsweise Änderungen in Bestimmungen bezüglich der Fahrzeugbreite, der Positionen von weißen Linien, die zur Bestimmung von Fahrspuren verwendet werden, usw., in vielen unterschiedlichen Ländern schwierig sein, geeignete Helligkeitsmessbereiche zu bilden, so dass der mit der Auslegung und dergleichen eines solchen Verfahrens erforderliche Arbeitsaufwand übermäßig hoch ist.
Weiterer relevanter Stand der Technik ist bekannt aus den Druckschriften EP 1 074 430 A1 , DE 44 10 064 A1 , US 5 565 918 A sowie US 5 255 044 A .
KURZFASSUNG DER ERFINDUNG
Es ist Aufgabe der vorliegenden Erfindung, die obigen Nachteile zu überwinden und eine Belichtungssteuerungsvorrichtung bereitzustellen, mit der eine geeignete Steuerung der Kamerabelichtung erzielt und gleichzeitig eine größere Freiheit bei der Wahl eines Helligkeitsmessbereichs (d. h. eines Bildbereichs, aus dem ein gemessener Helligkeitswert erhalten wird, der bei der Belichtungssteuerung verwendet wird) ermöglicht werden kann. Ferner ist es Aufgabe der vorliegenden Erfindung, ein entsprechendes Belichtungssteuerungsprogramm bereitzustellen.
Die Lösung der Aufgabe erfolgt durch eine Belichtungssteuerungsvorrichtung mit den Merkmalen des Anspruchs 1 sowie durch ein Belichtungssteuerungsprogramm mit den Merkmalen des Anspruchs 5.
Um die obige Aufgabe zu lösen wird gemäß einer ersten Ausgestaltung der vorliegenden Erfindung eine Belichtungssteuerungsvorrichtung zum Ausführen einer Belichtungssteuerung (d. h. zum Abstimmen des Belichtungszustands durch eine Änderung der Belichtungszeit usw., wenn dies erforderlich ist) einer elektronischen Digitalkamera, wie beispielsweise einer digitalen Videokamera, die in einem Fahrzeug installiert ist, um periodisch Bilder einer externe Szene vor dem Fahrzeug als jeweilige Reihen von Bildelementen mit jeweiligen Leuchtdichtewerten aufzunehmen, bereitgestellt. Die Vorrichtung ist dazu ausgelegt, die Leuchtdichtewerte in entsprechende Helligkeitswerte der externen Szene zu wandeln, in Übereinstimmung mit einem vorbestimmten Verhältnis zwischen dem momentanen Belichtungszustand der Kamera, den Leuchtdichtewerten und den Helligkeitswerten. Die Vorrichtung weist im Wesentlichen eine Extrahierungsschaltung, eine Ausschließungsschaltung und eine Messschaltung auf. Die Extrahierungsschaltung extrahiert aus jedem aufgenommenen Bild mehrere Bildelemente, die einen Helligkeitsmessbereich bilden, während die Ausschließungsschaltung einen Satz von Bildelementen höchster Helligkeit aus dem Helligkeitsmessbereich ausschließt. Die Messschaltung misst einen Aufnahmeziel-Helligkeitswert des Bildes auf der Grundlage jeweiliger Helligkeitswerte der verbleibenden Bildelemente des Helligkeitsmessbereichs nach der Ausschließung (wobei der Aufnahmeziel-Helligkeitswert im einfachsten Fall beispielsweise dem Mittelwert der Leuchtdichtewerte dieser verbleibenden Bildelemente entspricht), und die Belichtungssteuerungsschaltung stimmt den Kamerabelichtungszustand in Übereinstimmung mit dem gemessenen Aufnahmeziel-Helligkeitswert ab.
Solch eine Belichtungssteuerungsvorrichtung kann ebenso derart aufgebaut sein, dass sie in gleicher Weise einen Satz von Bildelementen geringster Helligkeit aus dem Helligkeitsmessbereich ausschließt.
Hierbei kennzeichnet der Term „Satz von Bildelementen höchster Helligkeit“ wenigstens das Bildelement höchster Helligkeit eines bestimmten Teils des Helligkeitsmessbereichs und (dann, wenn der Satz mehrere Werte aufweist) eines oder mehrere Bildelemente mit Helligkeitswerten, die sich jeweils bis zu dem des Werts höchster Helligkeit hinauf erstrecken. Gleichmaßen kennzeichnet der Term „Satz von Helligkeitswerten geringster Helligkeit“ wenigstens das Bildelement geringster Helligkeit eines bestimmten Teils des Helligkeitsmessbereichs und (dann, wenn der Satz mehrere Werte aufweist) eines oder mehrere Bildelemente mit Helligkeitswerten, die sich jeweils bis zu dem des Werts geringster Helligkeit hinab erstrecken.
Mit solch einer Belichtungssteuerungsvorrichtung kann eine noch zuverlässigere Messung der Helligkeit eines bestimmten Abschnitts der Szene vor dem Fahrzeug erzielt werden, da die Effekte von Bereichen ungewöhnlich starker Helligkeit (aufgrund von Licht, das von weißen Linien auf einer asphaltierten Straßenoberfläche reflektiert wird, Licht von Scheinwerfern entgegenkommender Fahrzeuge usw.) oder ungewöhnlich geringer Helligkeit (aufgrund von Licht, das von reparierten Teilen einer Betonstraßenoberfläche usw. absorbiert wird) ausgeschlossen werden können.
So können gemäß der vorliegenden Erfindung, wie beispielsweise in der 18 gezeigt, in welcher das durch die gestrichelte Linie gekennzeichnete Rechteck 33 einen Helligkeitsmessbereich eines aufgenommenen Bildes darstellt, Helligkeitswerte von nur denjenigen Abschnitten der Straßenoberfläche (im Helligkeitsmessbereich), die außerhalb der weißen Linien 30 liegen, zuverlässig gemessen werden, so dass die gemessene Helligkeit einzig durch die Straßenoberfläche bestimmt wird. Wie aus einem Vergleich mit der in der 17 gezeigten Abbildung (a) vom Stand der Technik ersichtlich wird, wird hierdurch eine größere Freiheit bei einer Bestimmung der Größe, der Form und des Ortes des Helligkeitsmessbereichs erzielt. Ferner stellt die vorliegende Erfindung, wie aus einem Vergleich mit der in der 17 gezeigten Abbildung (b) ersichtlich wird, eine höhere Stabilität bei einer Belichtungssteuerung (Helligkeitsmessung) bezüglich einer seitlichen Verschiebung des Fahrzeugs innerhalb seiner Verkehrsspur bereit, d. h. die gemessene Szenenhelligkeit wird durch Änderungen in dem Bereich, in den Flächen, wie beispielsweise die weißen Linien, innerhalb des Helligkeitsmessbereichs kommen, oder durch Änderungen in den Positionen solcher hellen Bereiche innerhalb des Helligkeitsmessbereichs nicht beeinflusst.
Auf diese Weise kann eine zuverlässigere und stabilere Belichtungssteuerung erzielt werden.
Wenn sowohl ein Satz von Bildelementen höchster Helligkeit als auch ein Satz von Bildelementen geringster Helligkeit ausgeschlossen werden, können diese eine jeweils verschiedene Anzahl von Bildelementen aufweisen. Der ausgeschlossene Satz von Bildelementen höchster Helligkeit und der ausgeschlossene Satz von Bildelementen geringster Helligkeit werden vorzugsweise jeweils aus einer festen vorbestimmten Anzahl von Bildelementen gebildet. Dies ist dahingehend vorteilhaft, dass eine Helligkeitsmessverarbeitung stets auf eine identische Anzahl von Bildelementen eines Bildes angewandt wird.
Es ist jedoch ebenso möglich, vorher einen Schwellenwert für eine maximale Helligkeit zu definieren und diejenigen Bildelemente auszuschließen, welche diesen Schwellenwert überschreiten. In gleicher Weise ist es möglich, vorher einen Schwellenwert für eine minimale Helligkeit zu definieren und diejenigen Bildelemente auszuschließen, deren jeweilige Helligkeitswerte unterhalb dieses minimalen Schwellenwerts liegen. In diesem Fall würde die Helligkeitsmessverarbeitung jedoch jeweils auf eine sich ändernde Anzahl von Bildelementen in aufeinander folgenden Bildern angewandt werden, was nicht von Vorteil ist.
Die Bildelemente des Helligkeitsmessbereichs eines Bildes werden in Einheiten von Bildlinien (horizontale Reihe von Bildelementen) aus einem aufgenommenen Bild extrahiert, wobei die Ausschließungsschaltung die vorstehend beschriebene Ausschließung jeweils einzeln für jede dieser Bildlinien ausführt. Hierdurch wird gewährleistet, dass Bildelemente übermäßig hoher Helligkeit und übermäßig niedriger Helligkeit gleichmäßig aus dem Helligkeitsmessbereich ausgeschlossen werden können.
Insbesondere ist das Ausschließungsmittel dazu ausgelegt, nacheinander eine jeweilige Anzahl von Bildelementen, welche den ersten Satz von Bildelementen und den zweiten Satz von Bildelementen bilden, für jede der Bildlinien, welche den Helligkeitsmessbereich bilden, in Übereinstimmung mit zunehmender Nähe der Bildlinien zum Fahrzeug, in welchem die Vorrichtung installiert ist (d. h. mit zunehmender Nähe des externen Bereichs, der durch die Bildlinie beschrieben wird) zu erhöhen. Der Grund hierfür liegt darin, dass es mit zunehmender Entfernung zum Fahrzeug schwieriger wird, weiße Linien usw. von der normalen Straßenoberfläche zu unterscheiden. Folglich wird nur dann eine verhältnismäßig hohe Anzahl von Bildelementen aus Bildlinien ausgeschlossen, wenn diese Bereichen entsprechen, die sich nahe zum Fahrzeug befinden, in welchem die Vorrichtung installiert ist. Vorzugsweise werden bei dem am weitesten entfernt gelegenen Bereich keine Bildelemente aus den entsprechenden Bildlinien ausgeschlossen.
Die Messschaltung ist derart aufgebaut, dass sie jede der Bildlinien des Helligkeitsmessbereichs verarbeitet, indem sie:

(a) einen Durchschnittshelligkeitswert von der Linie berechnet und speichert, um so aufeinander folgende Mittelwerte (d. h. Mittelwerte, die jeweils für diese Bildlinienposition erhalten werden) aus jeweiligen der Reihe nach aufgenommenen Bildern zu erhalten, und
(b) eine Zeitachsenfilterung (Mittelwertbildung) von mehreren dieser Mittelwerte, die zuvor für die Bildlinie erhalten worden sind, ausführt, um einen geglätteten Wert zu erhalten, der weniger durch Änderungen zwischen den aufeinander folgend erhaltenen Mittelwerten beeinflusst ist.

Die Messschaltung gewinnt anschließend einen Aufnahmeziel-Helligkeitswert auf der Grundlage dieser geglätteten Mittelwerte, die für jede der Bildlinien berechnet werden, welche den Helligkeitsmessbereich bilden. Es wird die Stärke der Zeitachsenfilterung (d. h. der Glättungsgrad), die auf die Mittelwerte angewandt wird, die für jede Bildlinie erhalten werden, in Übereinstimmung mit einem zunehmenden Abstand des externen Bereichs, der durch diese Linie beschrieben wird, erhöht.
Der Grund für eine Erhöhung der Stärke der Zeitachsenfilterung in Übereinstimmung mit einem zunehmenden Abstand liegt darin, dass die Quellen von hellem Licht sich ändernder Intensität (wie beispielsweise die Scheinwerfer entgegenkommender Fahrzeuge usw., die zwischenzeitlich in den Helligkeitsmessbereich eintreten können) dazu tendieren, entfernten Bereichen in einem Bild zu entsprechen. Folglich kann durch einer Erhöhung der Stärke der Zeitachsenfilterung (d. h. des Glättungsgrads), die auf aufeinander folgenden Mittelwerte angewandt wird, die für jede Bildlinie erhalten werden, in Übereinstimmung mit dem Abstand entsprechend der Bildlinie, eine höhere Stabilität bei der Belichtungssteuerung erzielt werden.
Vorzugsweise wird bei dem dichtesten Bereich zum lokalen Fahrzeug keine Zeitachsenfilterung auf die für die entsprechenden Bildlinien erhaltenen Mittelwerte angewandt.
Eine Belichtungssteuerungsvorrichtung gemäß der vorliegenden Erfindung kann in vorteilhafter Weise durch eine Verarbeitung realisiert werden, die in Übereinstimmung mit einem von einem Computer ausgeführten Programm ausgeführt wird.
Figurenliste

1 zeigt ein allgemeines Blockdiagramm eines Fahrzeugsystems mit einer Belichtungssteuerungsvorrichtung gemäß einer Ausführungsform;
2 zeigt Beispiele von Belichtungssteuerungskennfeldern für eine Verwendung mit der Ausführungsform;
3 zeigt ein Ablaufdiagramm einer von der Ausführungsform ausgeführten Belichtungssteuerungsverarbeitung;
4 zeigt Diagramme zur Veranschaulichung einer Weise, in der bei der Ausführungsform verwendete Leuchtdichtesteuerungszielwerte eingestellt werden;
5 zeigt ein Diagramm zur Veranschaulichung eines Totbereichs von Helligkeitswerten;
6 zeigt ein Ablaufdiagramm einer Verarbeitung zur Gewinnung eines Aufnahmeziel-Helligkeitswerts, welche die Helligkeit in einem externen Bereich vor einem Fahrzeug anzeigt, in welchem die Ausführungsform installiert ist;
7 zeigt die Form eines Helligkeitsmessbereichs eines Bildes;
8 zeigt ein Ausdünnen von Bildelementen aus jeweiligen Linien des Helligkeitsmessbereichs;
9 zeigt eine Ausschließung von Bildelementen höchster Helligkeit und geringster Helligkeit aus jeder von jeweiligen Linien des Helligkeitsmessbereichs;
10 zeigt ein Diagram zur Veranschaulichung eines Beispiels einer Verteilung von Helligkeitswerten in einem von einer Fahrzeugkamera aufgenommenen Bild;
11 zeigt die Gewinnung von Durchschnittshelligkeitswerten jeweiliger Linien von Bildelementen im Helligkeitsmessbereich;
12 zeigt eine Weise, in welcher die Stärke einer Zeitachsenfilterung bestimmt wird, die auf nacheinander folgend erhaltene Durchschnittshelligkeitswerte jeweiliger Linien von Bildelementen im Helligkeitsmessbereich angewandt wird;
13 zeigt Diagramme zur Veranschaulichung eines Vorgangs zur Beurteilung, ob eine Zeitachsenfilterung auf jeweilige Linien von Bildelementen im Helligkeitsmessbereich angewandt wird oder nicht;
14 zeigt Diagramme zur Veranschaulichung eines Vorgangs zur Beurteilung, ob ein Aufnahmeziel-Helligkeitswert für eine Verwendung bei einer Belichtungssteuerung erhalten wird, indem nacheinander folgend erhaltene Werte einer Tiefpassfilterung unterzogen werden, oder nicht;
15 zeigt ein Diagramm, dass bei einer Auswertung des Betrages von Schwankungen in nacheinander folgend erhaltenen Aufnahmeziel-Helligkeitswerten jeweils in Bezug auf einen Wert halber Breite des Totbereichs verwendet wird;
16 zeigt ein Beispiel von Leuchtdichtesteuerungskennfeldern zur Ermöglichung einer Szenenhelligkeitsmessung, die über einen breiten Bereich von Helligkeitswerten einer externen Szene auszuführen ist;
17 zeigt Abbildungen zur Veranschaulichung von Problemen, die bei einer herkömmlichen Belichtungssteuerungsvorrichtung bezüglich einer Konfiguration von Helligkeitsmessbereichen auftreten, die außerhalb von auf der Straßenoberfläche gebildeten weißen Linien bleiben; und
18 zeigt eine Abbildung zur Veranschaulichung, wie ein Helligkeitsmessbereich gemäß der vorliegenden Erfindung frei bestimmt werden kann, während das in der 17 gezeigte Problem vermieden wird.

BESCHREIBUNG DER BEVORZUGTEN AUSFÜHRUNGSFORM
Nachstehend wird eine Ausführungsform einer Belichtungssteuerungsvorrichtung für eine in einem Fahrzeug monierte Kamera bzw. Fahrzeugkamera unter Bezugnahme auf die Zeichnung beschrieben.
1. Gesamtaufbau
1 zeigt ein Blockdiagramm des allgemeinen Aufbaus einer Belichtungssteuerungsvorrichtung 10 und deren Verknüpfung zu weiteren Komponenten eines Fahrzeugsystems. Die Belichtungssteuerungsvorrichtung 10 ist in einem Fahrzeug installiert (das „lokale Fahrzeug“) und mit einer am Fahrzeug befestigten digitalen Videokamera (nachstehend der Einfachheit halber als Kamera bezeichnet) 21 und einem allgemeinen Beurteilungsabschnitt 22 verbunden, wobei der allgemeine Beurteilungsabschnitt 22, wie gezeigt, mit einem Warnanzeigeerzeugungsabschnitt 23 und einer Lenk-Steuer-ECU 24 verbunden ist. Von der Belichtungssteuerungsvorrichtung 10 auf der Grundlage der Inhalte aufgenommener Bilder einer Szene vor dem lokalen Fahrzeug erhaltene Daten werden bei einer Warnanzeigeverarbeitung und einer Lenksteuerverarbeitung verwendet, die vom allgemeinen Beurteilungsabschnitt 22 ausgeführt werden.
Die Belichtungssteuerungsvorrichtung 10 weist eine CPU 11, einen Speicherabschnitt 12, eine Bildschnittstelle 13, die Daten von nacheinander aufgenommenen Bildern von der Kamera 21 an die CPU11 übertrat, und eine Kommunikationsschnittstelle 14 zur Kommunikation mit dem allgemeinen Beurteilungsabschnitt 22 auf. Der Speicherabschnitt 12 weist einen nicht flüchtigen Speicher, wie beispielsweise ein ROM (Festwertspeicher, nicht in der Zeichnung gezeigt), mit Programmen und Daten, die mehrere Leuchtdichtesteuerungskennfelder (werden nachstehend noch beschrieben) aufweisen, die im Voraus darin speichert werden, und ein RAM (Schreib-Lese-Speicher, nicht in der Zeichnung gezeigt) und Datenregister zur Speicherung und Verarbeitung von Daten mehrerer Bilder, die nacheinander bis zum momentanen Zeitpunkt aufgenommen worden sind, auf.
Die Kamera 21 ist an einer festen Position (wie beispielsweise neben dem Rückspiegel) im Fahrgastraum des lokalen Fahrzeugs installiert und nimmt nacheinander folgende Bilder (d. h. als jeweilige Videosignalrahmen) eines Bereichs der Straße vor dem Fahrzeug auf. Wenn die Kamera im Fahrzeug installiert wird, wird die Ausrichtung der Kamera 21 derart abgestimmt, dass ein bestimmter Bildaufnahmebereich bezüglich der Fahrtrichtung des Fahrzeugs eingestellt ist.
Die Kamera 21 weist einen CCD- oder CMOS-Bildsensor gewöhnlicher Bauart, zusammen mit einem Videoverstärker, einem A/D-(Analog-digital)-Wandler usw. auf. Wenn ein Bild vom Bildsensor als analoges Signal, das aufeinander folgende Leuchtdichtewerte beschreibt, aufgenommen wird, gibt der Videoverstärker einen bestimmten Verstärkungsbetrag auf das analoge Signal, das anschließend vom A/D-Wandler in aufeinander folgende digitale Werte (Leuchtdichtewerte von Bildelementen) gewandelt und als Daten im Speicherabschnitt 12 gespeichert wird. Anschließend werden die Bilddaten von der CPU 11 ausgelesen und verarbeitet, wobei sie die jeweiligen Bildlinien des Bildes, in dem jede Bildlinie eine horizontale Reihe von Bildelementen (horizontale Abtastlinie) des Bildes ist, einzeln bearbeitet.
Die Bildschnittstelle 13 überträgt die Bildelementwerte zusammen mit den horizontalen und vertikalen Synchronisationssignalen des Bildes von der Kamera 21 zur CPU 11. Die CPU 11 bestimmt die jeweiligen Bildpositionen entsprechend jedem der Bildelemente auf der Grundlage der horizontalen und vertikalen Synchronisationssignale. Die Bildelementwerte werden anschließend in Übereinstimmung mit Positionsinformation, welche die jeweiligen Orte der Bildelemente innerhalb des Bildes bestimmt, im Speicherabschnitt 12 gespeichert.
Die CPU 11 verarbeitet die Bilddaten, um eine Erkennung einer bestimmten Art von Objekt (Zielobjekt), wie beispielsweise eines vorausfahrenden Fahrzeugs, das sich vor dem lokalen Fahrzeug befinden und in den aufgenommenen Bildern auftauchen kann, auszuführen. Auf der Grundlage der Erkennungsverarbeitungsergebnisse gibt die CPU 11 Positionsinformation über irgendein Objekt über die Belichtungssteuerungsvorrichtung 10 an den allgemeinen Beurteilungsabschnitt 22.
Ferner steuert die CPU 11 die Kamera 21 derart, dass sie Bilder der Szene vor dem Fahrzeug in geeigneter Weise aufnimmt. Insbesondere stimmt die CPU 11 die Rahmenrate und die Belichtungsparameter der Kamera 21 ab, indem sie entsprechende Abstimmbefehle erzeugt und diese als Kamerasteuerungsbefehlswerte an die Kamera 21 gibt. Nachstehend wird angenommen, dass die Belichtungsparameter der Kamera 21 die Belichtungszeit und die Verstärkung des Videoverstärkers sind.
Die Kommunikationsschnittstelle 14 ermöglicht eine Kommunikation zwischen der CPU 11 und dem allgemeinen Beurteilungsabschnitt 22, um die vorstehend beschriebene Information über die Ergebnisse der Zielobjekterkennung an den allgemeinen Beurteilungsabschnitt 22 zu übertragen. Auf der Grundlage dieser Information beurteilt der allgemeine Beurteilungsabschnitt 22, ob die Gefahr einer Kollision zwischen dem lokalen Fahrzeug und einem Zielfahrzeug besteht. Wenn beurteilt wird, dass solch eine Gefahr besteht, steuert der allgemeine Beurteilungsabschnitt 22 den Warnanzeigeerzeugungsabschnitt 23 derart, dass dieser eine Warnanzeige an den Fahrzeugführer ausgibt. Wenn beurteilt wird, dass die Gefahr einen vorbestimmten Pegel überschreitet, bewirkt der allgemeine Beurteilungsabschnitt 22 zusätzlich zur Erzeugung einer Warnung ferner, dass die Lenk-Steuer-ECU 24 eine geeignete Lenksteuerung des Fahrzeugs ausführt. Insbesondere kann diese erfolgen, indem der Betrag einer Lenkunterstützung, die auf den Lenkmechanismus aufgebracht wird, in geeigneter Weise abgestimmt wird, oder indem der Lenkmechanismus derart gesteuert wird, dass er automatisch angetrieben wird, um die Gefahr einer Kollision zu vermeiden.
2. Kurzdarstellung der Belichtungssteuerung
Nachstehend wird der Kamerabelichtungssteuerungsbetrieb dieser Ausführungsform zusammengefasst. Die Belichtungssteuerungsvorrichtung 10 weist im Voraus gespeichert Daten auf, die mehrere Eigenschaften beschreiben, auf die nachstehend als Leuchtdichtesteuerungskennfelder Bezug genommen wird. Jede dieser entspricht einem bestimmten Belichtungszustand der Kamera 21 (bestimmte Kombination aus Belichtungszeit und Verstärkung des Videoverstärkers) und beschreibt das Verhältnis zwischen der Helligkeit einer externen Szene vor dem Fahrzeug, die als Bild von der Kamera 21 aufgenommen wird, und den resultierenden Leuchtdichtewerten von Bildelementen des Bildes. Die Bildelementleuchtdichtewerte werden als jeweilige digitale Werte von der Kamera 21 zugeführt.
2 zeigt ein Beispiel von derartigen mehreren Leuchtdichtesteuerungskennfeldern mit Werten einer externen Szenenhelligkeit, die entlang der horizontalen Achse geplottet wird, und einer Bildleuchtdichte (Bildelementleuchtdichtewerte, so wie sie von der Kamera erhalten werden) entlang der vertikalen Achse.
Bei dem im Diagramm (a) der 2 gezeigten Beispiel, wenn die Bildleuchtdichte (z. B. ein Mittelwert von mehreren Bildelementwerten) ein Wert V (wird nachstehend als Leuchtdichtsteuerungssollwert bezeichnet, der als geeigneter Bildleuchtdichtewert vorbestimmt ist) ist, wenn ein Aufnahmeziel-Helligkeitswert (der gemäß nachstehender Beschreibung gemessen wird) B ist und das Leuchtdichtesteuerungskennfeld 11 verwendet wird, entspricht dies dann einem Zustand, in welchem die durch das Leuchtdichtesteuerungskennfeld 11 bestimmten Kamerabelichtungsparameter (Belichtungszeit, Verstärkung des Videoverstärkers) korrekt eingestellt sind.
In dem in der 2 gezeigten Diagramm (b), in welchem das Leuchtdichtesteuerungskennfeld Nr. 7 verwendet wird, wobei der Aufnahmeziel-Helligkeitswert B wie gezeigt vorhanden ist, weicht der Bildleuchtdichtewert jedoch vom Sollwert V ab, d. h. nimmt den Wert K an, so dass die Kamerabelichtung nicht korrekt eingestellt ist. In diesem Fall führt die Vorrichtung eine Belichtungssteuerung aus, indem sie das Leuchtdichtesteuerungskennfeld Nr. 13 verwendet, so dass die Bildleuchtdichte wieder auf den Sollwert V gebracht wird. Die Belichtungssteuerung wird folglich derart angewandt, dass die Bildleuchtdichte naher an einem geeigneten Wert gehalten wird, ungeachtet von Änderungen in der Helligkeit der von der Kamera aufgenommenen Szene.
Der Leuchtdichtesteuerungszielwert wird in Übereinstimmung mit dem Leuchtdichtesteuerungskennfeld bestimmt, die momentan gewählt ist, d. h. es gibt ein vorbestimmtes Verhältnis zwischen den Leuchtdichtesteuerungskennfeldnummern und den Leuchtdichtesteuerungszielwerten, wie nachstehend beschrieben wird.
Bei dieser Ausführungsform wird die Szenenhelligkeit nicht auf der Grundlage aller Bildelemente eines von der Kamera 21 aufgenommenen Bildes, sondern auf der Grundlage eines festen vorbestimmten Teils jedes Bildes, der eine bestimmte Form, einen bestimmten Ort und eine bestimmte Größe aufweist und nachstehend als Helligkeitsmessbereich bezeichnet wird, gewonnen.
Die Belichtungssteuerungsvorrichtung 10 dieser Ausführungsform führt die Belichtungssteuerung im Wesentlichen in Übereinstimmung mit der folgenden Sequenz von Vorgängen (1) bis (4) aus.
(1) Bestimmung des Leuchtdichtesteuerungszielwerts
Der Leuchtdichtesteuerungszielwert wird in Übereinstimmung mit dem momentan gewählten Leuchtdichtesteuerungskennfeld gewählt, auf der Grundlage des vorstehend erwähnten vorbestimmten Verhältnisses, und ändert sich zwischen einem Tag-Wert und einem Nacht-Wert. Um zu gewährleisten, dass sich die Steuerungszustände nicht abrupt ändern, ändert sich der Leuchtdichtesteuerungszielwert während jedes Übergangs zwischen dem Tag- und dem Nacht-Wert nur graduell.
(2) Berechnung des Totbereichs
Ein Totbereich (in der 5 gezeigt) von Helligkeitswerten wird gemäß nachstehender Beschreibung berechnet.
(3) Gewinnung des Aufnahmeziel-Helligkeitswerts
Zwei benachbarte Bereiche innerhalb jedes aufgenommenen Bildes bilden, wie in 7 gezeigt, den vorstehend erwähnten Helligkeitsmessbereich dieser Ausführungsform, d. h. einen Straßenoberflächenverwendungsbereich zur Messung der Helligkeit der Straßenoberfläche, und ein Zielobjektverwendungsbereich zur Messung der Helligkeit eines vorausfahrenden Fahrzeugs (wenn vorhanden). Bei dieser Ausführungsform werden jeweils verschiedene Formen einer gewichteten Mittelwertbildung auf diese zwei Bereich angewandt und wird ein Aufnahmeziel-Helligkeitswert als Kombination der resultierenden Mittelwerte erhalten, die für die zwei Bereiche berechnet werden.
(4) Steuerung der Verstärkung des Verstärkers und der Belichtungszeit
Wenn erkannt wird, dass der durch den Vorgang (3) erhaltene Aufnahmeziel-Helligkeitswert außerhalb des Totbereichs liegt, wird ein geeignetes anderes Kennfeld der Leuchtdichtesteuerungskennfelder gewählt, um verwendet zu werden, auf der Grundlage des durch den Vorgang (1) bestimmten Leuchtdichtesteuerungszielwertes und des durch den Vorgang (3) erhaltenen Aufnahmeziel-Helligkeitswertes, wie vorstehend unter Bezugnahme auf das in der 2 gezeigte Diagramm beschrieben. Anschließend wird der Belichtungszustand (Belichtungszeit und Verstärkung des Verstärkers) der Kamera 21 in Übereinstimmung mit dem neu gewählten Leuchtdichtesteuerungskennfeld abgestimmt.
3. Von der CPU ausgeführte Verarbeitung
Die CPU 11 führt periodisch (z. B. einmal alle 100 ms) eine Verarbeitungsroutine in Übereinstimmung mit einem gespeicherten Programm als Belichtungssteuerungsverarbeitung aus. Bei dieser Verarbeitung wird ein Aufnahmeziel-Helligkeitswert auf der Grundlage von Daten von einem oder mehreren Bilden gewonnen, die nacheinander bis zum momentanen Zeitpunkt von der Kamera 21 aufgenommen und im Speicherabschnitt 12 gespeichert worden sind. Auf der Grundlage dieses Aufnahmeziel-Helligkeitswerts wird das Leuchtdichtesteuerungskennfeld je nach Bedarf geändert und werden die Kamerabelichtungsparameter (Belichtungszeit und Verstärkung des Verstärkers) entsprechend abgestimmt. Diese Verarbeitung wird nachstehend unter Bezugnahme auf das in der 3 gezeigte Ablaufdiagramm beschrieben.
Wenn die Verarbeitung beginnt, bestimmt die CPU 11 zunächst einen Leuchtdichtesteuerungszielwert (Schritt S110). Insbesondere wird ein Korrespondenzverhältnis (als durchgezogene Kennlinie im Diagramm (c) der 4 gezeigt) im Voraus gespeichert, das Leuchtdichtesteuerungskennfeldnummern (z. B. die in der 2 gezeigten Kennfeldnummern 1 bis 17 in der 2), die entlang der horizontalen Achse geplottet werden, zu Leuchtdichtesteuerungszielwerten, die entlang der vertikalen Achse liegen, entspricht. Auf der Grundlage dieses Korrespondenzverhältnisses wird ein Leuchtdichtesteuerungszielwert in Übereinstimmung mit der Nummer des momentan verwendeten Leuchtdichtesteuerungskennfeldes gewonnen.
Bei der ersten Ausführung der in der 3 gezeigten Verarbeitungsroutine (wenn der Betrieb des Systems gestartet wird) wird ein vorbestimmtes Kennfeld der Leuchtdichtesteuerungskennfelder gewählt, um verwendet zu werden, und wird der entsprechende Leuchtdichtesteuerungszielwert erhalten.
Das Korrespondenzverhältnis der 4(c) wird durch eine Mittelwertbildung der entsprechenden in den 4(a) und 4(b) gezeigten Korrespondenzverhältnisse gewonnen, die in der 4(c) als gepunktete bzw. als gestrichelte Kennlinie gezeigt sind. 4(a) zeigt ein Verhältnis zwischen Leuchtdichtesteuerungskennfeldnummern (entlang der horizontalen Achse geplottet) zu Straßenoberflächenleuchtdichtesteuerungszielwerten (entlang der vertikalen Achse), das für den vorstehend erwähnten Straßenoberflächenverwendungsbereich des Helligkeitsmessbereichs geeignet ist (d. h. einen Bildbereich, der einen Teil der Straßenoberfläche enthält, der sich nahe zu und direkt vor dem lokalen Fahrzeug befindet). 4(b) zeigt ein entsprechendes Verhältnis, das für den Zielobjektverwendungsbereich des Helligkeitsmessbereichs geeignet ist (einen Bildbereich, der sich in einigem Abstand vor dem lokalen Fahrzeug befindet und ein Zielobjekt, wie beispielsweise ein vorausfahrendes Fahrzeug, enthalten kann).
Folglich wird bei dieser Ausführungsform jeder Leuchtdichtesteuerungszielwert nicht einfach als für einen Bildbereich geeignet bestimmt, in dem ein Zielobjekt zu erkennen ist, sondern als Kombination von Zielwerten gewonnen, die für ein Zielobjekt bzw. für die Straßenoberfläche geeignet sind.
Wenn die Durchschnittsszenenhelligkeit gering ist (für gewöhnlich bei Nacht), werden die geringe Nummern aufweisenden Leuchtdichtesteuerungskennfelder eine Verwendung gewählt, wohingegen dann, wenn die Durchschnittsszenenhelligkeit hoch ist (bei Tag), Kennfelder mit hohen Nummern verwendet werden. Bei dieser Ausführungsform ist das Verhältnis zwischen den Leuchtdichtesteuerungszielwerten und den Kennfelderwertnummern, wie in der 4 gezeigt, derart vorbestimmt, dass während eines Nachtbetriebs ein geringer Leuchtdichtesteuerungszielwert und während eines Tagesbetriebs ein hoher Leuchtdichtesteuerungszielwert gewählt wird. Dies erfolgt, um zu gewährleisten, dass die Vorrichtung selbst dann korrekt arbeitet, wenn deutliche Erhöhungen der Bildleuchtdichte während des Nachtbetriebs auftreten (z. B. aufgrund von Licht, das von Quellen, wie beispielsweise Scheinwerfern entgegenkommender Fahrzeuge usw., empfangen wird).
Ferner gibt es, wie gezeigt, einen graduellen Übergang zwischen dem bei Nacht verwendeten Leuchtdichtesteuerungszielwert und dem bei Tag verwendeten Leuchtdichtesteuerungszielwert, um abrupt Änderungen in der Bildleuchtdichte zu verhindern. Da der Leuchtdichtesteuerungszielwert in Übereinstimmung mit dem momentan verwendeten Leuchtdichtesteuerungskennfeld gewählt wird, wird der graduelle Übergang erzielt, indem die Leuchtdichtesteuerungszielwerte in geeigneter Weise mit den Nummern der Leuchtdichtesteuerungskennfelder in Beziehung gesetzt werden.
Anschließend wird in Schritt S120 der Totbereich berechnet. Dies ist ein Bereich von Helligkeitswerten zur Verwendung bei einer Beurteilung, ob es erforderlich ist, die Kamerabelichtung abzustimmen (ein anderes Leuchtdichtesteuerungskennfeld zu wählen). Der Totbereich wird verwendet, um unnötig häufige Änderungen im Belichtungszustand zu verhindern. Insbesondere wird, wie in 5 gezeigt, dann, wenn das momentan verwendete Leuchtdichtesteuerungskennfeld als Kennfeld N bestimmt wird, und wenn der entsprechenden Leuchtdichtesteuerungszielwertes (in Schritt S110 erhalten) als V bestimmt wird, der Totbereich als Szenenhelligkeitsbereich definiert, der sich zwischen den Schnittpunkten des Leuchtdichtesteuerungszielwerts V mit den zwei benachbarten Leuchtdichtesteuerungskennfeldern (N-1) und (N+1) erstreckt (d. h. Kennfelder, deren Nummern unmittelbar vor und nach der des momentan gewählten Leuchtdichtesteuerungskennfelds folgen).
Anschließend wird in Schritt S130 eine Verarbeitung ausgeführt, um den Aufnahmeziel-Helligkeitswert zu erhalten. Diese basiert auf einer Wandlung der Bildelementleuchtdichtewerte des Helligkeitsmessbereichs (d. h. des bestimmten festen Bereichs innerhalb des Bildes) in entsprechende gewandelte Helligkeitswerte unter Verwendung des momentan gewählten Leuchtdichtesteuerungskennfeldes und wird nachstehend unter Bezugnahme auf das in der 6 gezeigte Ablaufdiagramm beschrieben.
Zunächst werden in Schritt S131 die Bildelementwerte des Helligkeitsmessbereichs in Einheiten von Bildlinien erfasst. Der Helligkeitsmessbereich dieser Ausführungsform ist, wie in 7 gezeigt, aus einem trapezförmigen Bereich, der nachstehend als Zielobjektverwendungsbereich bezeichnet wird und zur Messung der Helligkeit eines vorausfahren Fahrzeugs (d. h. eines Bereichs, der sich in einigem Abstand vor dem lokalen Fahrzeug befindet, an einer Position, an der ein vorausfahrendes Fahrzeug im Bild auftauchen kann) dient, und aus einem rechteckigen Bereich, der nachstehend als der Straßenoberflächenverwendungsbereich bezeichnet wird und einem Teil der Straße entspricht, der sich nahe zu und unmittelbar vor dem lokalen Fahrzeug befindet und der zur Messung der Helligkeit der Straßenoberfläche dient, gebildet. Der Bildleuchtdichtewert wird als Kombination von Werten gemessen, die aus dem Zielobjektverwendungsbereich und dem Straßenoberflächenverwendungsbereich gewonnen werden.
Insbesondere weist der Straßenoberflächenverwendungsbereich eine vertikale Abmessung (Höhenabmessung) entsprechend einem Bereich, der sich ungefähr 7 bis 27 Meter vor der Stirnseite des lokalen Fahrzeugs erstreckt, und eine Breitenabmessung (laterale Abmessung) auf, die derart bestimmt wird, dass sie die zwei weißen Linien enthält, die sich auf der rechten bzw. der linken Seite einer Fahrspur befinden, auf welcher das lokale Fahrzeug fährt.
Der oberste Teil des Zielobjektverwendungsbereichs wird an die FOE-(Focus of Expansion bzw. Zentralpunkt des optischen Flusses)-Position für die Kamera 21 gesetzt. Die Breite der obersten Teils wird gleich der typischen Azimutausdehnung (± 10°) eines Bereichs gesetzt, der von einem Millimeterwellenradar abgetastet wird, das im lokalen Fahrzeug installiert sein kann, zum Abtasten der Szene vor dem Fahrzeug mit Radarwellen und zur Beurteilung der Position, der Form, der Geschwindigkeit usw. von vorausfahrenden Objekten auf der Grundlage der resultierenden reflektierten Radarwellen.
Die trapezförmige Form des Zielobjektverwendungsbereichs erweitert sich nacheinander in Richtung des oberen Teils des Straßenoberflächenverwendungsbereichs, d. h., sie ist aus Bildlinien gebildet, die nacheinander eine zunehmende Länge aufweisen, während der Straßenoberflächenverwendungsbereich aus Bildlinien voller Breite (dem vollen horizontalen Blickwinkel der Kamera 21 entsprechend) gebildet ist. Diese Form des Zielobjektverwendungsbereichs wird verwendet, um zu gewährleisten, dass die Kamerabelichtung schnell abgestimmt bzw. angepasst werden kann, wenn ein anderes Fahrzeug vor dem lokalen Fahrzeug auftaucht, d. h. um einen nahtlosen Übergang zwischen einer Erfassung der Helligkeit der Straßenoberfläche und einer Erfassung der Helligkeit eines vorausfahrenden Fahrzeugs bereitzustellen.
Da der externe Bereich (in der Szene vor dem lokalen Fahrzeug), der hinter dem FOE gelegen ist, für gewöhnlich Merkmale, wie beispielsweise den Himmel, Gebäude usw., aufweist, die nicht als Zielobjekte relevant sind, wird gewährleistet, dass diese aus den aufgenommenen Bildern ausgeschlossen werden und so keinen nachteiligen Einfluss auf die Belichtungssteuerung haben werden.
Um die Datenverarbeitungslast zu verringern, wird ein Ausdünnen der Bildlinien ausgeführt (d. h. es wird eine von jeder von aufeinander folgenden mehreren Bildlinien des Bildes ausgelassen bzw. weggelassen), wenn (aus dem zuletzt aufgenommenen Bild) den Leuchtdichtemessbereich bildende Bildelemente extrahiert werden. Im Straßenoberflächenverwendungsbereich wird das Ausdünnen von Bildlinien in Zwischenräumen ausgeführt, die sich bezüglich eines Abstandes zum lokalen Fahrzeug annähern entsprechen. D. h., je höher die Positionen der Linien innerhalb des Leuchtdichtemessbereichs sind, desto kleiner wird der Anteil von Linien gesetzt, der durch die Ausdünnverarbeitung weggelassen wird. Im Zielobjektverwendungsbereich wird das Ausdünnen zu regelmäßigen Zwischenräumen ausgeführt, d. h. der Zwischenraum zwischen Linien, die durch die Ausdünnverarbeitung weggelassen werden, wird konstant gehalten.
Ferner wird ein periodisches Ausdünnen von Bildelementen ebenso innerhalb jeder Linie des Helligkeitsmessbereichs ausgeführt, wie konzeptionell durch die gepunktete Linie in der 8 gezeigt. Bei dieser Ausführungsform wird dieses periodische Weglassen von jeweiligen Bildelementen (d. h. von Leuchtdichtewerten, welche diesen Bildelementen entsprechen) zu identischen Zwischenräumen innerhalb jeder Bildlinie ausgeführt.
Die Leuchtdichtewerte der Bildelemente des Helligkeitsmessbereichs werden unter Verwendung des momentan gewählten Leuchtdichtesteuerungskennfeldes und Leuchtdichtesteuerungszielwertes in jeweils entsprechende Helligkeitswerte (d. h. Beispiele für Helligkeitswerte in der externen Szene) gewandelt. Wenn beispielsweise, wie im Diagramm (b) der 2 gezeigt, angenommen wird, dass ein von der Kamera 21 erhaltener Bildelementwert (Leuchtdichtewert) K ist, wird der entsprechende gewandelte Helligkeitswert dann, wie durch die Richtungen der Pfeile gezeigt, als B erhalten, indem das momentan gewählte Leuchtdichtesteuerungskennfeld Nr. 7 angewandt wird.
Anschließend werden in Schritt S132 für jede Bildlinie des Helligkeitsmessbereichs die Bildelemente in der Reihefolge des Helligkeitswerts sortiert, woraufhin eine feste Anzahl von Bildelementen maximaler Helligkeit und eine feste Anzahl von Bildelementen minimaler Helligkeit von dieser Linie von der weiteren Verarbeitung ausgeschlossen werden.
In der Annahme, dass jede dieser festen Anzahlen größer als eins ist, kennzeichnet der Term „feste Anzahl von Bildelementen maximaler Helligkeit“, so wie er in dieser Beschreibung und in den beiliegenden Ansprüchen verwendet wird, „das Bildelement maximaler Helligkeit und eines oder mehrere Bildelemente, die eine sukzessiv geringere Helligkeit als der maximaler Helligkeitswert aufweisen“. Gleichermaßen kennzeichnet der Term „feste Anzahl von Bildelementen minimaler Helligkeit“ das Bildelement geringster Helligkeit und eines oder mehrere Bildelemente, die gewandelte Helligkeitswerte aufweisen, die sukzessiv bzw. nacheinander folgend über dem minimalen Wert liegen.
Obgleich bei dieser Ausführungsform die obige Ausschließungsverarbeitung auf der Grundlage einer Beurteilung gewandelter Helligkeitswerte von Bildelementen ausgeführt wird, wäre es ebenso denkbar, die Ausschließungsverarbeitung auf der Grundlage einer Beurteilung der Leuchtdichtewerte auszuführen, d. h. auf der Grundlage der Bildelementwerte, so wie sie von der Kamera 21 erhalten werden.
Bei einer Straßenoberfläche mit einer leichten Färbung, wie beispielsweise bei einer Betonoberfläche, sind dunkle Bereiche auf der Oberfläche (wie beispielsweise Abschnitte, die mit Steinkohleteer repariert sind, oder Verbindungen in der Fahrbahn) ein Hindernis, um die Helligkeit der Straßenoberfläche zuverlässig zu messen. Bei einer dunklen Straßenoberfläche, die beispielsweise aus Asphalt gebildet ist, werden auf der Oberfläche gebildete weiße Linien in gleicher Weise eine zuverlässige Messung der Helligkeit der Straßenoberfläche behindern. Dies wird durch das Beispiel der Verteilung von Helligkeitswerten von Bildelementen für den Fall eines in der 10 gezeigten Bildes eines Vorausbereichs einer Straße aufgezeigt. Bei dieser Ausführungsform können derartige Probleme, die durch übermäßig helle oder dunkle Bereich auf der Straßenoberfläche entstehen, bewältigt werden, da die Werte höchster und geringster Helligkeit, wie vorstehend beschrieben, aus der weiteren Verarbeitung ausgeschlossen werden.
Bei einem Teil der Straßenoberfläche, der sich nahe (oder direkt vor) dem lokalen Fahrzeug befindet, können übermäßig hohe oder niedrige Helligkeitswerte, die von weißen Linien, Steinkohleteerstellen usw. auf Straßenoberflächen resultieren, verhältnismäßig zuverlässig unterschieden werden. Bei einem Teil der Straßenoberfläche, der sich entfernt bzw. weit entfernt vom lokalen Fahrzeug befindet, wird es jedoch schwierig, derartige Bereiche zu unterscheiden. Aus diesem Grund wird die Anzahl von Bildelementwerten, die durch die vorstehend beschriebenen Ausschließungsverarbeitung aus der Linie ausgeschlossen werden, dann, wenn der Abstand, der durch die Bildposition einer Bildlinie dargestellt wird, größer wird (d. h. der Ort dieser Linie innerhalb des Helligkeitsmessbereichs höher wird) verkleinert. Bei den Bildlinien, welche dem am weitesten entfernt gelegenen Teil des Helligkeitsmessbereichs entsprechen, werden keine Bildelementwerte ausgeschlossen.
Anschließend wird in Schritt S133, wie in 11 gezeigt, für jede der verbleibenden Bildlinien des Helligkeitsmessbereichs der Mittelwert der gewandelten Helligkeitswerte der Bildelemente der Linie berechnet. Die resultierenden jeweiligen Mittelwerte werden mit B_i,_t bezeichnet, wobei „i“ die Position der entsprechenden Linie innerhalb des Helligkeitsmessbereichs in einem Bereich von 1 bis L kennzeichnet, gezählt vom oberen Ende des Helligkeitsmessbereichs (wie in 11 gezeigt), d. h. 1 ≤ i ≤ L. Der tiefgestellte Index „t“ kennzeichnet die Zeitachsenposition eines Bildelement-(Ortsbereich)-Mittelwerts, beispielsweise als Folgenummer innerhalb einer Reihe von Bildern beschrieben, die nacheinander an periodischen Zeitpunkten bis zum momentanen Zeitpunkt aufgenommen werden.
Wenn die höchsten und niedrigsten Leuchtdichtewerte aus dieser Mittelwertbildung ausgeschlossen werden, wird gewährleistet, dass für jede der Bildlinien des Helligkeitsmessbereichs die (räumlichen) Durchschnittshelligkeitswerte der jeweiligen Linien in einer stabileren Weise über die Zeit variieren.
Anschließend wird in Schritt S134 für jeder der L Bildlinien des Helligkeitsmessbereichs ein Puffern bzw. Zwischenspeichern der jeweiligen Durchschnittsleuchtdichtewerte, die für diese Bildlinie in mehreren aufeinander folgend erhaltenen Bildern erhalten werden, unter Verwendung eines Pufferintervalls von (t ∼ t - T) ausgeführt. D. h., für jede der Bildlinien wird ein Satz von (Ortsbereich) Mittelwerten, die zuvor nacheinander berechnet und an jeweiligen Zeitpunkten gespeichert wurden, erfasst (aus dem Speicher gelesen) und in Pufferregister gesetzt, um einer Mittelwertberechnung unterzogen zu werden. Diese gepufferten Mittelwerte können wie folgt beschrieben werden:

1. Linie: B_1,t ... B_1,t-T
i-te Linie B_i,t ... B_i,t-T
L-te Linie B_L,t ... B_L,t-T

Wenn das Pufferintervall beispielsweise einen Wert von 4 aufweist, werden dann für jede der Bildlinien im Bereich 1 bis L die entsprechenden jeweiligen Durchschnittshelligkeitswerte, die für vier aufeinander folgende Bilder im Speicherabschnitt 12 gespeichert worden sind, als die gepufferten Mittelwerte für diese Bildlinie erfasst.
Anschließend wird in Schritt S135 eine Zeitachsenfilterung (d. h. eine Glättung durch eine Mittelwertbildung) auf jede der gewählten Bildlinien des Helligkeitsmessbereichs angewandt (diese Bildlinien werden gemäß nachstehender Beschreibung gewählt). Die Zeitachsenfilterung wird ausgeführt, indem für jeder der gewählten Bildlinien den Mittelwert der gepufferten Werte, die in Schritt S134 erfasst worden sind, erhalten wird, d. h. in der Annahme eines kontinuierlichen Satzes von L-Linien:

1. Linie: B_1,t ... B_1,t-T → F_1,t
i-te Linie B_i,t ... B_i,t-T → F_i,t
L-te Linie B_L,t ... B_L,t-T → F_L,t

Es kann erwartet werden, dass nur ein geringer Änderungsgrad in den Durchschnittshelligkeitswerten der Bildlinien vorhanden sein wird, die einem Bereich entsprechen, der sich nahe (d. h. unmittelbar vor) dem Fahrzeug befindet, da die Helligkeit eines solchen Bereichs für gewöhnlich durch Reflexion von Licht von der Straßenoberfläche bestimmt wird. Folglich eine geringe oder keine Zeitachsenfilterung auf die Bildlinien eines solchen Teil des Helligkeitsmessbereichs angewandt. Bei Bildlinien, die einem Bereich entsprechen, der sich weit vom lokalen Fahrzeug entfernt befindet (d. h. nahe dem FOE), können höhere Beträge von Zeitachsenänderungen in den aufeinander folgenden Durchschnittshelligkeitswerten, die für diese Bildlinien erhalten werden, vorhanden sein. Diese Änderungen können aus Effekten, wie beispielsweise ein Nicken des lokalen Fahrzeugs, während Licht, das von Scheinwerfern entgegenkommender Fahrzeug empfangen wird, den Helligkeitsmessbereich beeinflusst, resultieren, die so große Änderungen in den aufeinander folgenden Durchschnittshelligkeitswerten verursachen, die für diese Bildlinien entsprechend einem weit entfernten Bereich gemessen werden.
Aus diesem Grund wird dann, wenn eine Zeitachsenfilterung gemäß obiger Beschreibung auf eine Bildlinie entsprechend einem Bereich nahe dem FOE angewandt wird, ein verhältnismäßig langes Pufferintervall verwendet, wie beispielsweise ein Pufferintervall von annähernd 700 ms, d. h. eine Mittelwertbildung unter Verwendung einer hohen Anzahl von aufeinander folgend erhaltenen Werten (hoher Wert von T) ausgeführt.
Dies wird ermöglicht, da bei dieser Ausführungsform eine Zeitachsenfilterung individuell auf jeweilige Bildlinien des Helligkeitsmessbereichs angewandt werden kann.
Die obige selektive Anwendung der Zeitachsenfilterung auf die Bildliniendurchschnittshelligkeitswerte in Übereinstimmung mit einem Abstand zum lokalen Fahrzeug ist in der 12 gezeigt. Je größer der Abstand eines abgebildeten Bereichs (d. h., je höher die Position der entsprechenden Bildlinien innerhalb des aufgenommenen Bildes), desto höher ist, wie gezeigt, die Effektivität der Zeitachsenfilterung gegenüber von Rauschen (verstreute Schwankungen in der Helligkeit), d. h. desto größer ist der Grad der Glättung, die gegen die Zeitachsenänderungen angewandt wird. Demgegenüber wird keine Zeitachsenfilterung auf Durchschnittshelligkeitswerte von Bildlinien im Teil des Helligkeitsmessbereichs angewandt, der sich nahe am Fahrzeug befindet.
Es ist jedoch ebenso erforderlich, dass die Vorrichtung plötzlichen Änderungen in der Szenenhelligkeit, insbesondere in der Straßenoberflächenhelligkeit, schnell folgen kann, die auftreten können, wenn das lokale Fahrzeug in einen Tunnel fährt oder einen Tunnel verlässt usw.. Folglich wird die Zeitachsenfilterung für jede der Bildlinien des Helligkeitsmessbereichs selektiv in Übereinstimmung mit der Form der Änderungen in den aufeinander folgenden Durchschnittshelligkeitswerten, die für diese Linie erhalten werden, angewandt. Dies erfolgt, um Schwankungen in den aufeinander folgenden Aufnahmeziel-Helligkeitswerten zu unterdrücken und gleichzeitig eine schnelle Reaktion auf plötzliche Änderungen in der Helligkeit der externen Szene zu erzielen. Diese Verarbeitung wird auf jede der Bildlinien des Helligkeitsmessbereichs angewandt.
Insbesondere bei dieser Ausführungsform wird die Zeitachsenfilterung dann, wenn ermittelt wird, dass sich die aufeinander folgenden Durchschnittshelligkeitswerte, die für eine Bildlinie erhalten werden, graduell über die Zeit ändern, wie in dem Beispiel des in der 13 gezeigten Diagramms (a), d. h. entlang eines Verlaufs ohne eine Streuung von Werten, nicht angewandt. D. h., der Mittelwert, der für diese Bildlinie im zuletzt aufgenommenen Bild erhalten wird, wird direkt bei einer Berechnung des Bildleuchtdichtewerts verwendet (diese Berechnung wird nachstehend beschrieben).
Wenn ermittelt wird, dass gestreute Übergangsschwankungen in den für eine Bildlinie erhaltenen Mittelwerte auftreten, so wie im Diagramm (b) der 13 gezeigt, wird eine Zeitachsenfilterung mit Hilfe einer gewichteten Medianfilterung auf die aufeinander folgenden Mittelwerte angewandt. In allen anderen Fällen, wie beispielsweise dann, wenn sich die für diese Bildlinie erhaltenen Mittelwerte der Reihe nach ändern, wie im Diagramm (c) gezeigt, wird eine Zeitachsenfilterung mit -einer nicht gewichteten Mittelwertbildung angewandt.
Der hierin verwendete Term „gewichtete Medianfilterung“ kennzeichnet eine Mittelwertberechnung, bei der neueren Daten eine größere Gewichtung verliehen wird als älteren Daten.
Die obige in Schritt S135 ausgeführte Verarbeitung wird nachstehend näher beschrieben.
Wenn beispielsweise angenommen wird, dass T = 4 ist, wobei das Pufferintervall (t - 0 ∼ t -T) ist, wird angenommen, dass die mittleren Helligkeitswerte der i-ten Bildlinie innerhalb eines Pufferintervalls das folgende Größenverhältnis aufweisen: $B_{i, t - 1} < B_{i, t - 3} < B_{i, t - 2} < B_{i, t - 4} < B_{i, t - 0}$
Wenn eines der Verhältnisse der nachstehenden Gleichung (1) erfüllt wird, wird beurteilt, dass gestreute Schwankungen in den aufeinanderfolgenden Mittelwerten auftreten, die für die Bildlinie erhalten werden, d. h., wenn die absolute Differenz zwischen dem neuesten Wert und dem Mittelpunktswert die halbe Breite (DZW/2) des Totbereichs multipliziert mit der Zeitteilung (T/2) zwischen diesen Werten überschreitet. In diesem Fall wird eine gewichtete Medianfilterung angewandt. $\frac{B_{i, t - 0} - B_{i, t - 2}}{D Z W / 2} > \frac{T}{2} o r \frac{B_{i, t - 0} - B_{i, t - 2}}{D Z W / 2} < - \frac{T}{2}$
Wenn eines der Verhältnisse der nachstehenden Gleichung (2) erfüllt wird, wird anschließend beurteilt, dass eine graduelle Änderung (eine Neigung) in den aufeinander folgenden Durchschnittshelligkeitswerten dieser Bildlinie auftritt, so dass die Zeitachsenfilterung nicht angewandt wird, d. h., wenn die absolute Differenz zwischen dem neuesten Wert und dem Mittelpunktswert die Breite (DZW) des Totbereichs multipliziert mit der Zeitteilung (T/2) zwischen diesen Werten nicht überschreitet.
In gleicher Weise wird eine Zeitachsenfilterung nicht angewandt, wenn eines der Verhältnisse der nachstehenden Gleichung (3) erfüllt wird, d. h., wenn die absolute Differenz zwischen dem neuesten Wert und dem ältesten Wert die Breite (DZW) des Totbereichs multipliziert mit der Zeitteilung (T) zwischen diesen Werten nicht überschreitet. $\frac{B_{i, t - 0} - B_{i, t - 2}}{D Z W} > \frac{T}{2} o r \frac{B_{i, t - 0} - B_{i, t - 2}}{D Z W} < - \frac{T}{2}$
$\frac{B_{i, t - 4} - B_{i, t - 0}}{D Z W} > T o r \frac{B_{i, t - 4} - B_{i, t - 0}}{D Z W} < - T$
In allen anderen Fällen wird eine Zeitachsenfilterung durch eine nicht gewichtete Mittelwertbildung angewandt.
Anschließend wird in Schritt S136, wie in der nachstehenden Gleichung (4) gezeigt, eine gewichtete Mittelwertbildung auf den Satz von Durchschnittshelligkeitswerten (der jeweiligen Bildlinien) angewandt, die durch die selektiv angewandte Zeitachsenfilterung in Schritt S135 erhalten werden. Das Ergebnis dieser gewichteten Mittelwertbildung wird nachstehend als vorläufiger Aufnahmeziel-Helligkeitswert bezeichnet.
In der Gleichung (4) beschreibt F_i,t den Durchschnittshelligkeitswert einer Bildlinie und W_j einen Gewichtungswert, der beispielsweise wie folgt für die Bildlinie eingestellt wird.
Der vorläufige Aufnahmeziel-Helligkeitswert wird als Kombination (bei dieser Ausführungsform ein Mittelwert) von Mittelwerten erhalten, die für Bildlinien des Zielobjektverwendungsbereichs und für die Bildlinien des Straßenoberflächenverwendungsbereichs erhalten werden. Die Helligkeitswerte innerhalb des Straßenoberflächenverwendungsbereichs (nahe dem lokalen Fahrzeug) sind verhältnismäßig stabil, während diejenigen des Zielobjektverwendungsbereichs deutlich variabler sind. Aus diesem Grund werden, dann, wenn eine Gleichung (4) auf die Bildliniendurchschnittshelligkeitswerte des Straßenoberflächenverwendungsbereichs angewandt wird, die jeweiligen Gewichtungswerte W, die in der Gleichung (4) zugewiesen werden, der Reihe nach in Übereinstimmung mit eine zunehmenden Dichte der Bildlinie (d. h. des durch die Bildlinie dargestellten Bereichs) zum lokalen Fahrzeugs verringert. Demgegenüber wird der Wert von W dann, wenn die Gleichung (4) auf die Bildlinienmittelwerte des Zielobjektverwendungsbereichs angewandt wird, in Übereinstimmung mit einem abnehmenden Abstand der Bildlinie (d. h., des durch die Bildlinie beschriebenen Bereichs) verringert. $B_{I M G_T e m p, t} = \sum_{i = 1}^{L} W_{i} \times F_{i, t}$
Anschließend werden in Schritt S137 mehrere Aufnahmeziel-Helligkeitswerte, die bis zum momentanen Zeitpunkt nacheinander erhalten wurden, ausgewertet, um das Ausmaß der Änderung dieser Werte zu bestimmen. Wenn das Ausmaß der Änderung innerhalb eines vorbestimmten Grenzwerts liegt, wird anschließend der vorläufige Aufnahmeziel-Helligkeitswert bei der Ausführung der Belichtungssteuerung verwendet. Wenn das Ausmaß der Änderung den Grenzwert überschreitet, wird anschließend eine Tiefpassfilterung (wird nachstehend beschrieben) angewandt und das Ergebnis dieser Filterung bei einer Ausführung der Belichtungssteuerung angewandt.
Diese Tiefpassfilterung wird ausgeführt, um eine Helligkeitsschwankung (brightness hunting) zu verhindern.
Anschließend schreitet der Betrieb zu Schritt S140 der 3 voran.
Das Anwenden einer Tiefpassfilterung, um die Aufnahmeziel-Helligkeitswerte zu erhalten, kann eine Verringerung einer Antwortgeschwindigkeit verursachen, so dass diese Filterung nur dann angewandt wird, wenn beurteilt wird, dass diese Weise übermäßig schwanken. Der zulässige Grenzwert der Änderung der aufeinander folgenden Aufnahmeziel-Helligkeitswerte wird, wie nachstehend beschrieben, auf der Grundlage der Breite des Totbereichs bestimmt.
Eine Verarbeitung bezüglich der obigen Tiefpassfilterung wird in der folgenden Arbeitsfolge ausgeführt, in der P die Anzahl von zuvor erhaltenen Aufnahmeziel-Helligkeitswerten beschreibt, die bei einer Auswertung des Ausmaßes einer Änderung der Aufnahmeziel-Helligkeitswerte verwendet werden.

[1] Puffern von Aufnahmeziel-Helligkeitswerten, die nacheinander an periodischen Zeitpunkten bis zum momentanen Punkt gemessen wurden (Pufferintervall t ∼ t - P): $B_{IMG # Temp, t} .......... B_{IMG # Temp, t - P}$
[2] Jeweilige Differenzen zwischen jedem dieser Aufnahmeziel-Helligkeitswerte und dem unmittelbar zuvor gewonnenen Aufnahmeziel-Helligkeitswert werden berechnet, wie durch die nachstehende Gleichung (5) gezeigt (Pufferintervall 0 - P - 1): $D i f f_{0} = B_{I M G_T e m p, t} - B_{I M G_T e m p, t - I} \dots D i f f_{P - I} = B_{I M G_T e m p, t - (P - I)} - B_{I M G_T e m p, t - P}$
[3] Anschließend wird die Anzahl von Wechseln in dieser Reihe von Aufnahmeziel-Helligkeitswerten berechnet, d. h. die Anzahl von Änderungen im Vorzeichen zwischen benachbarten Differenzwerten (d. h. zwischen jedem Paar Diff_i und Diff_i-1 innerhalb des Satzes von Differenzwerten Diff₀ ....... Diff_P-1).
[4] Die mittlere absolute Betrag der Änderungen wird im Verhältnis zur halben Breite DZW/2 des Totbereichs ausgewertet: Insbesondere wird dann, wenn die nachstehende Gleichung (6) erfüllt wird, anschließend beurteilt, dass C = 1.0 ist (wobei C ein Parameter in der nachstehenden Gleichung (8) ist). Wenn die nachstehende Gleichung (7) erfüllt wird, wird anschließend der Wert von C aus dem in der 15 gezeigten Diagramm erhalten. $\frac{\sum_{j = 0}^{P - 1} A B S (D i f f_{j})}{P} < \frac{D Z W}{2}$
$\frac{\sum_{j = 0}^{P - 1} A B S (D i f f_{j})}{P} \geq \frac{D Z W}{2}$
[5] Anschließend wird in Übereinstimmung mit der nachstehenden Gleichung (8) selektiv eine Tiefpassfilterung angewandt, um einen Aufnahmeziel-Helligkeitswert (B_IMG,t) für eine Verwendung bei der Belichtungssteuerung zu erhalten. D. h., wenn der Wert von C als 1 erhalten wird, wird anschließend der vorläufige Aufnahmeziel-Helligkeitswert, der in Schritt S136 erhalten wurde, direkt bei der Belichtungssteuerung verwendet. Andernfalls (C < 1) wird eine Tiefpassfilterungsberechnung unter Verwendung von wenigstens einem zuvor erhaltenen Aufnahmeziel-Helligkeitswert ausgeführt und das Ergebnis dieser TPF-Verarbeitung bei der Belichtungssteuerung verwendet. Bei dieser Ausführungsform weist die Tiefpassfilterungsberechnung ein Multiplizieren des vorläufigen Aufnahmeziel-Helligkeitswerts mit C und des unmittelbar zuvor erhaltenen Aufnahmeziel-Helligkeitswert mit (1 - C) und ein Summieren der Ergebnisse auf, d. h.: $B_{I M G, t} = C \times B_{I M G_T e m p, t} + (1 - C) \times B_{I M G, t - 1}$

Dies schließt die Verarbeitung von Schritt S130 der 3 ab. Anschließend wird in Schritt S140 der 3 bestimmt, ob der in Schritt S130 erhaltene Aufnahmeziel-Helligkeitswert innerhalb des Totbereichs liegt. Wenn bestimmt wird, dass der Aufnahmeziel-Helligkeitswert innerhalb des Totbereichs liegt, wird die Verarbeitung beendet. Wenn bestimmt wird, dass der Aufnahmeziel-Helligkeitswert außerhalb des Totbereichs liegt, wird anschließend Schritt S150 ausgeführt, bei dem ein Leuchtdichtesteuerungskennfeld in Übereinstimmung mit dem in Schritt S130 erhaltenen Aufnahmeziel-Helligkeitswert und dem in Schritt S110 bestimmten Leuchtdichtesteuerungszielwert ausgeführt wird (wie vorstehend unter Bezugnahme auf das in der 2 gezeigte Diagramm (b) beschrieben). Anschließend wird eine Belichtungssteuerung ausgeführt, indem die Verstärkung des Kameravideoverstärkers und die Belichtungszeit in Übereinstimmung mit dem gewählten Leuchtdichtesteuerungskennfeld eingestellt werden. Anschließend wird die Ausführung der Verarbeitung beendet.
Die Ausführungsform ist vorstehend in der Annahme beschrieben worden, dass jedes der Leuchtdichtesteuerungskennfelder lineare Eigenschaften aufweist. Die Kamera 21 kann jedoch in einem HDR-(hoher Dynamikbereich)-Modus betrieben werden, in welchem der Bereich zwischen den minimalen und maximalen Leuchtdichtewerten der Bildelemente einem breiteren Bereich von Szenenhelligkeitswerten als in einem normalen Modus entspricht. In diesem Fall können die Leuchtdichtesteuerungskennfelder die in der 16 gezeigte Form annehmen, mit Biegungen bzw. Abwinklungen in Teilen der Kennfeldeigenschaften. Als Folge dieser Nichtlinearitäten der Leuchtdichtesteuerungskennfeldeigenschaften können komplexe Beschränkungen in den Werten der Belichtungszeit und der Verstärkung des Verstärkers, die verwendet werden können, auftreten. Aus diesem Grund ist es wünschenswert, dass der Grad einer Änderung im Ausmaß einer Biegung zwischen benachbarten Leuchtdichtesteuerungskennfeldern auf einen geringen Wert gesetzt wird.
Wenn solche Leuchtdichtesteuerungskennfelder für einen HDR-Betrieb verwendet werden, wird dann, wenn eine plötzliche deutliche Änderung in der Helligkeit einer externen Szene auftritt (z. B. wenn das lokale Fahrzeug in einen Tunnel fährt), die Zeit, die verstreicht, bis eine geeignete Steuerung bzw. Regelung der Kamerabelichtung erzielt wird, verringert werden.
Die obige in der 6 gezeigte Verarbeitung zur Gewinnung eines Aufnahmeziel-Helligkeitswerts für eine Verwendung bei einer Kamerabelichtungssteuerung kann wie folgt zusammengefasst werden:

Schritt S131: Bildelemente, die einen Helligkeitsmessbereich bilden, werden aus einem aufgenommenen Bild in Einheiten von Bildlinien extrahiert. Die Größe, die Form und der Ort des Helligkeitsmessbereichs (innerhalb des aufgenommenen Bildes) sind derart vorbestimmt (z. B. wie in 7 gezeigt), dass eine geeignete Helligkeitsmessung von sowohl der Straßenoberfläche als auch einem vorausfahrenden Fahrzeug ermöglicht werden.
Schritt S132a: Die Leuchtdichtewerte der Bildelemente des Leuchtdichtemessbereichs werden jeweils in Verbindung mit dem momentan gewählten Leuchtdichtesteuerungskennfeld bearbeitet, um jeweilige gewandelte Helligkeitswerte entsprechend dieser Bildelemente zu erhalten.
Schritt S132b: Sätze von Bildelementen höchster und geringster Helligkeit werden aus dem Leuchtdichtemessbereich ausgeschlossen. Bei der obigen Ausführungsform wird diese Ausschließung einzeln für jede der Bildlinien des Helligkeitsmessbereichs ausgeführt.
Schritt S133: Für jede der Bildlinien des Helligkeitsmessbereichs wird die Durchschnittshelligkeit der verbleibenden Bildelemente von dieser Linie berechnet.
Schritt S134: Für jede der Bildlinien des Helligkeitsmessbereichs wird der Mittelwert, der für diese Linie in Schritt S133 erhalten wird, in einen Datenpuffer (Pufferregister) gesetzt, und jeweiligen Mittelwerte, die in gleicher Weise für diese Bildlinie erhalten worden sind, in jedem einer bestimmte Anzahl (T) von aufeinander folgend aufgenommenen Bildern, werden aus dem Speicher gelesen und in Puffer gesetzt. Der Wert der Anzahl T ist in Übereinstimmung mit dem Abstand des externen Bereichs, der durch die Bildlinie beschrieben wird, d. h. in Übereinstimmung mit der Höhe der Bildlinie innerhalb des Helligkeitsmessbereichs, vorbestimmt.
Schritt S135: Für jede der Bildlinien des Helligkeitsmessbereichs wird eine Zeitachsenfilterung selektiv angewandt, d. h. indem die jeweiligen Durchschnittshelligkeitswerte, die in Schritt S134 gepuffert worden sind, gemittelt werden. Insbesondere wird die Form der Zeitachsenamplitudenänderung der Werte ausgewertet und in Abhängigkeit der Form der Änderung entweder eine einfache Mittelwertbildung, eine gewichtete Medianmittelwertbildung oder keine Mittelwertbildung angewandt. Die Stärke der Filterung (Glättungsgrad) wird durch die vorstehend erwähnte Anzahl T, d. h. die Anzahl von gepufferten Werten, die gemittelt werden, bestimmt und in Übereinstimmung mit einem zunehmenden Abstand der jeweiligen Bereiche, die durch die Bildlinien beschrieben werden, erhöht.
Schritt S136: Eine gewichtete Mittelwertbildung wird auf den Satz von Mittelwerten, die in Schritt S135 für die Bildlinien des Helligkeitsmessbereichs erhalten werden, angewandt, um einen vorläufigen Aufnahmeziel-Helligkeitswert zu erhalten. Die gewichteten Werte, die für die jeweiligen Bildlinien angewandt werden, werden in Übereinstimmung mit einem zunehmenden Abstand der durch die Bildlinien beschriebenen Bereiche erhöht.
Schritt S137: Eine Tiefpassfilterung wird unter Verwendung des vorläufigen Aufnahmeziel-Helligkeitswerts und wenigstens eines zuvor erhaltenen Aufnahmeziel-Helligkeitswerts (der für ein vorhergehendes Bild erhalten wurde) ausgeführt, und es wird entweder das Ergebnis dieser Filterung oder der vorläufige Aufnahmeziel-Helligkeitswert gewählt, um bei der Belichtungssteuerung verwendet zu werden.

Bei der vorstehend beschriebenen Ausführungsform wird jeder der obigen Ablaufschritte S131 bis S150 durch eine mit Hilfe eines Computerprogramms ausgeführte Verarbeitung realisiert. Es wäre jedoch in gleicher Weise denkbar, wenigstens einige dieser Ablaufschritte durch bestimmte Hardwareschaltungen zu realisieren. Diese Ablaufschritte sind wie folgt mit den Inhalten der beiliegenden Ansprüche verknüpft:

Die Schritte S131 und S132a entsprechen der Extrahierungsschaltung, die dazu ausgelegt ist, Bildelemente, welche den Helligkeitsmessbereich bilden, zu extrahieren. Der Schritt S132b entspricht der Ausschließungsschaltung, die dazu ausgelegt ist, jeweilige Sätze von Bildelementen höchster und geringster Helligkeit von jeder Bildlinie des Helligkeitsmessbereichs auszuschließen. Die Schritte S131 bis S137 entsprechen der Messschaltung, die dazu ausgelegt ist, einen Aufnahmeziel-Helligkeitswert auf der Grundlage von Helligkeitswerten der verbleibenden Bildelemente des Helligkeitsmessbereichs zu messen. Die Schritte S140, S150 entsprechen der Belichtungssteuerschaltung, die dazu ausgelegt ist, den Belichtungszustand der Kamera auf der Grundlage eines von der Messschaltung erhaltenen Aufnahmeziel-Helligkeitswertes abzustimmen.

Erzielte Effekte
Wie aus der vorstehenden Beschreibung ersichtlich wird, werden mit der Belichtungssteuerungsvorrichtung 10 dieser Ausführungsform selbst dann, wenn der Helligkeitsmessbereich außergewöhnlich helle Bereich, wie beispielsweise weiße Linien (Fahrbahnmarkierungen) oder außergewöhnlich dunkle Bereiche (reparierte Abschnitte aus Steinkohleteer usw.) auf der Straßenoberfläche enthält, Störeffekt dieser unterdrückt werden, so dass die Helligkeit eines benötigten Bereichs vor dem Fahrzeug in zuverlässiger Weise gemessen werden kann. Folglich kann der Helligkeitsmessbereich in einem aufgenommenen Bild mit größerer Freiheit als beispielsweise bei dem unter Bezugnahme auf die 17 beschriebenen Verfahren gebildet werden. D. h., selbst dann, wenn sich das lokale Fahrzeug seitlich zur Fahrtrichtung bewegt, so dass eine weiße Linie auf der Straßenoberfläche in den Helligkeitsmessbereich eintritt, wird gewährleistet, dass die Belichtungssteuerung hierdurch nicht beeinflusst wird, da die hohen Helligkeitswerte, die solch einer weißen Linie entsprechen, automatisch aus der Helligkeitsauswertungsverarbeitung ausgeschlossen werden, wie vorstehend unter Bezugnahme auf die 9 beschrieben.
Ferner kann mit der Belichtungssteuerungsvorrichtung 10 dieser Ausführungsform eine geeignete Ausschließung der Werte hoher und geringer Helligkeit erzielt werden, da der Betrag der Bildelementwerte, die ausgeschlossen werden, in Übereinstimmung mit dem Grad der Nähe des entsprechenden Bereichs der Straße erhöht wird.
Ferner kann mit der Belichtungssteuerungsvorrichtung 10 dieser Ausführungsform dann, wenn eine Zeitachsenmittelwertsbildungsfilterung der jeweiligen (Ortsbereichs) Mittelwerte, die für die Bildlinien des Helligkeitsmessbereichs erhalten werden, ausgeführt worden ist, eine Zeitachsenfilterung selektiv auf die einzelnen Bildlinien angewandt werden. Hierdurch wird die Stärke der Filterung (d. h. der Glättungsgrad von Änderungen aufeinander folgend erhaltener Durchschnittshelligkeitswerte der Bildlinie) in Übereinstimmung mit einem zunehmenden Abstand des durch die Bildlinien beschriebenen Bereichs erhöht. Dies führt dazu, dass Zeitachsenänderungen der für die jeweiligen Linien erhaltenen Durchschnittshelligkeitswerte, die dazu tendieren, sich in Übereinstimmung mit dem Abstand des durch die Bildlinien beschriebenen Bereichs zu erhöhen, verringert werden können. Folglich kann eine besser geeignete Belichtungssteuerung erzielt werden.
Weitere Ausführungsformen
Die vorliegende Erfindung ist nicht auf die vorstehend beschriebene Ausführungsform beschränkt, sondern kann auf verschiedene Weise ausgestaltet werden, ohne ihren Schutzumfang zu verlassen.
Bei der obigen Ausführungsform der Belichtungssteuerungsvorrichtung 10 werden die gewandelten Helligkeitswerte der Bildelemente von Bildlinien des Helligkeitsmessbereichs jeweils einzeln für jede der Bildlinien sortiert und jeweilige feste Mehrheiten der Bildelemente höchster Helligkeit und der Bildelemente geringster Helligkeit aus jeder Bildlinie des Helligkeitsmessbereichs ausgeschlossen. Die Erfindung ist jedoch nicht hierauf beschränkt. Es wäre denkbar, die von der Kamera erhaltenen Bildelementwerte (d. h. Leuchtdichtesteuerwerte) zu sortieren und die Bildelemente höchster Leuchtdichte und geringster Helligkeit auszuschließen. Alternativ wäre es denkbar, einen Leuchtdichteschwellewert für eine Verwendung bei der Bestimmung dieser Bildelemente zu verwenden, die auszuschließen sind, da sie übermäßig hohe Helligkeitswerte aufweisen, und in gleicher Weise einen Schwellenwert für eine Bestimmung derjenigen Bildelemente einzurichten, die auszuschließen sind, da sie eine übermäßig geringe Helligkeit aufweisen.
Vorzugsweise wird jedoch das Verfahren der obigen Ausführungsform angewandt, da, unabhängig von den eigentlichen Helligkeitswerten jeder Abtastlinie, Aufnahmeziel-Helligkeitswerte in stabiler Weise gewonnen werden können, da eine Berechnung der (Ortsbereichs) Durchschnittshelligkeit des Helligkeitsmessbereichs stets auf einer festen vorbestimmten Anzahl von Bildelementen basiert.
Ferner sollte beachtet werden, dass es nicht erforderlich ist, die jeweiligen Mehrheiten der Bildelemente höchster Helligkeit und geringster Helligkeit, die aus einer Bildlinie ausgelassen werden, gleich auszulegen. Es wäre ebenso denkbar, die Anzahl von Bildelementen geringster Helligkeit, die ausgeschlossen wird, geringer als die Anzahl von Bildelementen höchster Helligkeit auszulegen, oder nur eine vorbestimmte Mehrzahl der Bildelemente höchster Helligkeit auszuschließend, ohne irgendwelche der Werte geringster Helligkeit auszuschließen.
Ferner ist die Erfindung nicht darauf beschränkt, die hellsten und dunkelsten Werte auf einer „eine-Linie-nach-der-anderen-Linie-Basis“ auszuschließen. Es wäre in gleicher Weise denkbar, die Ausschließung auf der Grundlage der Gesamtverteilung von Bildelementhelligkeitswerten innerhalb des Helligkeitsmessbereichs auszuführen.
Ferner ist die Erfindung, obgleich die obige Ausführungsform dahingehend beschrieben wurde, dass sie auf ein System zum Ausführen einer Warnanzeigeverarbeitung und einer Lenksteuerungsverarbeitung auf der Grundlage einer Erkennung eines vorausfahrenden Fahrzeugs angewandt wird, nicht auf ein solches System beschränkt, sondern könnte beispielsweise auf ein System zum Ausführen einer Warnanzeigeverarbeitung und einer Lenksteuerungsverarbeitung usw. auf der Grundlage einer Erkennung von auf einer Straßenoberfläche gebildeten weißen Linien (Fahrspurmarkierungen) angewandt werden.
Ferner dient der Helligkeitsmessbereich der obigen Ausführungsform nur als Beispiel und kann eine geeignete Form eines Helligkeitsmessbereichs in Übereinstimmung mit den Anforderungen eines bestimmten Systems gebildet werden.

Claims

Belichtungssteuerungsvorrichtung zur Belichtungssteuerung einer in einem Fahrzeug installierten elektronischen Digitalkamera, wobei die Kamera angeordnet ist, um periodisch jeweilige Bilder einer externe Szene vor dem Fahrzeug aufzunehmen, jedes der Bilder eine Reihe von Bildelementen mit jeweiligen Leuchtdichtewerten aufweist, und die Belichtungssteuerungsvorrichtung eine Schaltung aufweist, die dazu ausgelegt ist, die Leuchtdichtewerte in entsprechende Helligkeitswerte der externen Szene zu wandeln, in Übereinstimmung mit einem vorbestimmten Verhältnis zwischen einem Belichtungszustand der Kamera, den Leuchtdichtewerten und den Helligkeitswerten, wobei die Belichtungssteuerungsvorrichtung aufweist: - eine Extrahierungsschaltung, die dazu ausgelegt ist, aus jedem der Bilder mehrere Bildelemente zu extrahieren, die einen Helligkeitsmessbereich bilden; - eine Ausschließungsschaltung, die dazu ausgelegt ist, einen Satz von Bildelementen höchster Helligkeit des Helligkeitsmessbereichs auszuschließen; - eine Messschaltung, die dazu ausgelegt ist, einen Aufnahmeziel-Helligkeitswert des Bildes auf der Grundlage jeweiliger Helligkeitswerte der verbleibenden Bildelemente des Helligkeitsmessbereichs nach der Ausschließung zu messen; und - eine Belichtungssteuerungsschaltung, die dazu ausgelegt ist, den Kamerabelichtungszustand in Übereinstimmung mit dem Aufnahmeziel-Helligkeitswert abzustimmen; wobei - die Extrahierungsschaltung dazu ausgelegt ist, die Bildelemente des Helligkeitsmessbereich in Einheiten von Bildlinien zu extrahieren, die jeweils eine horizontale Reihe von Bildelementen aufweisen; - die Ausschließungsschaltung dazu ausgelegt ist, die Ausschließung der Bildelemente jeweils einzeln für jede der Bildlinien auszuführen; - die Ausschließungsschaltung dazu ausgelegt ist, nacheinander die jeweilige Anzahl von Bildelementen, die aus den Bildlinien des Helligkeitsmessbereich ausgeschlossen werden, in Übereinstimmung mit zunehmender Nähe von externen Bereichen, welche den Bildlinien entsprechen, zum Fahrzeug zu erhöhen; und - die Messschaltung dazu ausgelegt ist, jede Bildlinie des Helligkeitsmessbereichs zu verarbeiten, indem sie: - einen Durchschnittshelligkeitswert von allen nicht ausgeschlossenen Bildelementen der Bildlinie berechnet und speichert, um so mehrere Durchschnittshelligkeitswerte, die jeweils aufeinander folgenden Zeitpunkten entsprechen, für die Bildlinie zu erhalten, und - eine Zeitachsenfilterung der mehreren Durchschnittswerten ausführt, um so einen gefilterten Durchschnittshelligkeitswert zu erhalten, wobei - die Messschaltung dazu ausgelegt ist, den Aufnahmeziel-Helligkeitswert auf der Grundlage der jeweiligen gefilterten Durchschnittshelligkeitswerte zu erlangen, die für die Bildlinien des Helligkeitsmessbereichs berechnet werden, und - ein Glättungseffekt der Zeitachsenfilterung in Übereinstimmung mit zunehmendem Abstand von externen Bereichen, welche den Bildlinien entsprechen, erhöht wird.
Belichtungssteuerungsvorrichtung nach Anspruch 1, wobei der Satz von ausgeschlossenen Bildelementen höchster Helligkeit eine vorbestimmte Anzahl von Bildelementen aufweist.
Belichtungssteuerungsvorrichtung nach Anspruch 1, wobei die Belichtungsschaltung dazu ausgelegt ist, einen Satz von Bildelementen geringster Helligkeit des Helligkeitsmessbereichs auszuschließen.
Belichtungssteuerungsvorrichtung nach Anspruch 3, wobei der ausgeschlossene Satz von Bildelementen geringster Helligkeit eine vorbestimmte Anzahl von Bildelementen aufweist.
Von einem Computer auszuführendes Belichtungssteuerungsprogramm zur Realisierung jeweiliger Funktionen einer Belichtungssteuerungsvorrichtung zur Belichtungssteuerung einer in einem Fahrzeug installierten elektronischen Digitalkamera, wobei die Kamera angeordnet ist, um periodisch Bilder einer Szene vor dem Fahrzeug aufzunehmen, jedes Bild eine Reihe von Bildelementen mit jeweiligen Leuchtdichtewerten aufweist, und die Belichtungssteuerungsvorrichtung ein Mittel aufweist, das dazu ausgelegt ist, die Leuchtdichtewerte in Übereinstimmung mit einem Belichtungszustand der Kamera in entsprechende Helligkeitswerte der Szene zu wandeln, wobei die Belichtungssteuerungsvorrichtung aufweist: - ein Extrahierungsmittel, das dazu ausgelegt ist, aus jedem der Bilder mehrere Bildelemente eines Helligkeitsmessbereichs zu extrahieren; - ein Ausschließungsmittel, das dazu ausgelegt ist, einen Satz von Bildelementen höchster Helligkeit des Helligkeitsmessbereichs auszuschließen; - ein Messmittel, das dazu ausgelegt ist, einen Aufnahmeziel-Helligkeitswert auf der Grundlage jeweiliger Helligkeitswerte der verbleibenden Bildelemente des Helligkeitsmessbereichs nach der Ausschließung zu messen; und - ein Belichtungssteuerungsmittel, das dazu ausgelegt ist, den Belichtungszustand der Kamera in Übereinstimmung mit dem Aufnahmeziel-Helligkeitswert abzustimmen; wobei - das Extrahierungsmittel dazu ausgelegt ist, die Bildelemente des Helligkeitsmessbereich in Einheiten von Bildlinien zu extrahieren, die jeweils eine horizontale Reihe von Bildelementen aufweisen; - das Ausschließungsmittel dazu ausgelegt ist, die Ausschließung der Bildelemente jeweils einzeln für jede der Bildlinien auszuführen; - das Ausschließungsmittel dazu ausgelegt ist, nacheinander die jeweilige Anzahl von Bildelementen, die aus den Bildlinien des Helligkeitsmessbereich ausgeschlossen werden, in Übereinstimmung mit zunehmender Nähe von externen Bereichen, welche den Bildlinien entsprechen, zum Fahrzeug zu erhöhen; und - das Messmittel dazu ausgelegt ist, jede Bildlinie des Helligkeitsmessbereichs zu verarbeiten, indem es: - einen Durchschnittshelligkeitswert von allen nicht ausgeschlossenen Bildelementen der Bildlinie berechnet und speichert, um so mehrere Durchschnittshelligkeitswerte, die jeweils aufeinander folgenden Zeitpunkten entsprechen, für die Bildlinie zu erhalten, und - eine Zeitachsenfilterung der mehreren Durchschnittswerten ausführt, um so einen gefilterten Durchschnittshelligkeitswert zu erhalten, wobei - das Messmittel dazu ausgelegt ist, den Aufnahmeziel-Helligkeitswert auf der Grundlage der jeweiligen gefilterten Durchschnittshelligkeitswerte zu erlangen, die für die Bildlinien des Helligkeitsmessbereichs berechnet werden, und - ein Glättungseffekt der Zeitachsenfilterung in Übereinstimmung mit zunehmendem Abstand von externen Bereichen, welche den Bildlinien entsprechen, erhöht wird.