DE102008063121B4 - Belichtungssteuervorrichtung und Belichtungssteuerprogramm für elektronische Fahrzeugkamera - Google Patents

Belichtungssteuervorrichtung und Belichtungssteuerprogramm für elektronische Fahrzeugkamera Download PDF

Info

Publication number
DE102008063121B4
DE102008063121B4 DE102008063121.3A DE102008063121A DE102008063121B4 DE 102008063121 B4 DE102008063121 B4 DE 102008063121B4 DE 102008063121 A DE102008063121 A DE 102008063121A DE 102008063121 B4 DE102008063121 B4 DE 102008063121B4
Authority
DE
Germany
Prior art keywords
image
brightness
exposure control
values
target object
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
DE102008063121.3A
Other languages
English (en)
Other versions
DE102008063121A1 (de
Inventor
Kentaro Mochida
Takayuki Kimura
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Publication of DE102008063121A1 publication Critical patent/DE102008063121A1/de
Application granted granted Critical
Publication of DE102008063121B4 publication Critical patent/DE102008063121B4/de
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B7/00Control of exposure by setting shutters, diaphragms or filters, separately or conjointly
    • G03B7/28Circuitry to measure or to take account of the object contrast
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/72Combination of two or more compensation controls

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Studio Devices (AREA)
  • Traffic Control Systems (AREA)
  • Exposure Control For Cameras (AREA)

Abstract

Belichtungssteuervorrichtung für die Belichtungssteuerung einer elektronischen digitalen Kamera, die in ein Fahrzeug eingebaut ist, wobei die Kamera angeordnet ist, eine externe Szenerie als ein Bild aufzunehmen, das eine Reihe von Bildelementen mit jeweiligen Luminanzwerten aufweist, wobei das Bild ein Zielobjekt ausdrückt, das auf einer Oberfläche einer Straße vorhanden ist, die sich vorderhalb des Fahrzeuges erstreckt, wobei die Belichtungssteuervorrichtung eine Schaltung aufweist, welche die Luminanzwerte in entsprechende Helligkeitswerte der externen Szenerie umwandelt, basierend auf einer vorbestimmten Beziehung zwischen einer Belichtungsbedingung der Kamera, der Luminanzwerte und der Helligkeitswerte; wobei die Belichtungssteuervorrichtung aufweist:eine Extraktionsschaltung, welche aus dem Bild eine erste Mehrzahl von Bildelementen zu extrahieren vermag, um einen Zielobjektgebrauchsbereich zur Verwendung bei der Messung eines Helligkeitswertes des Zielobjektes zu bilden und eine zweite Mehrzahl von Bildelementen zu extrahieren vermag, um einen Straßenoberflächengebrauchsbereich zur Verwendung bei der Messung eines Helligkeitswertes der Straßenoberfläche zu bilden; undeine Belichtungssteuerschaltung, welche die Kamerabelichtung basierend auf den Helligkeitswerten des Straßenoberflächengebrauchsbereichs und des Zielobjektgebrauchsbereichs in Kombination zu steuern vermag;und wobei ein oberster Teil des Zielobjektgebrauchsbereichs an einer FOE-Position (focus of expansion) innerhalb des Bildes liegt;wobei der Zielobjektgebrauchsbereich und der Straßenoberflächengebrauchsbereich in Kombination einen Helligkeitsmessbereich bilden und die Belichtungssteuerschaltung konfiguriert ist, um:für jede von jeweiligen Bildlinien des Helligkeitsmessbereichs die Helligkeitswerte einer bestimmten Anzahl von Bildelementen, welche die höchsten Helligkeitswerte in der Bildlinie aufweisen, und die Helligkeitswerte einer bestimmten Anzahl von Bildelementen ausschließen, welche die niedrigsten Helligkeitswerte in der Bildlinie aufweisen, wobei die bestimmten Anzahlen von Bildelementen auf der Grundlage der vertikalen Position der Bildlinie in dem Bild bestimmt werden; undeine Durchschnittsbildung von Helligkeitswerten der verbleibenden Bildelemente der Bildlinie durchzuführen, um einen räumliche-Domäne-Durchschnittshelligkeitswert der Bildlinie zu erlangen;und wobei die Belichtungssteuerschaltung die Kamerabelichtung auf der Grundlage eines Durchschnitts der räumliche-Domäne-Durchschnittshelligkeitswerte der jeweiligen Bildlinien des Straßenoberflächengebrauchsbereichs und eines Durchschnitts der räumliche-Domäne-Durchschnittshelligkeitswerte der jeweiligen Bildlinien des Zielobjektgebrauchsbereich in Kombination steuert.

Description

  • HINTERGRUND DER ERFINDUNG
  • Gebiet der Anmeldung
  • Die vorliegende Anmeldung betrifft eine Belichtungssteuervorrichtung zur Belichtungssteuerung bei einer elektronischen Kamera, welche aufeinanderfolgend Bilder aufnimmt, die ein Objekt darstellen, beispielsweise ein vorausfahrendes Fahrzeug, das sich vorderhalb eines Fahrzeuges befindet, in welchem die Kamera eingebaut ist.
  • Beschreibung des Standes der Technik
  • In den letzten Jahren sind elektronische Fahrzeugkameras (allgemein gesagt, digitale Videokameras, welche nachfolgend einfach als „Kameras“ bezeichnet werden) in Gebrauch gekommen, um Bilder eines Bereiches vorderhalb des Fahrzeuges aufzunehmen, wobei sich diese Technologie entwickelt hat derart, dass die aufgenommenen Bilder (d.h., Sätze von digitalen Daten, welche jeweils aufgenommene Bilder ausdrücken) verarbeitet werden, um Objekte, beispielsweise ein vorausfahrendes Fahrzeug, zu erkennen. Die Verarbeitungsergebnisse können verwendet werden, um einem Fahrzeugfahrer Warnhinweise zu geben, um die Fahrt des Fahrzeuges zu steuern, etc. Ein Fahrzeug mit einer solchen Kamera und eingebauten Verarbeitungsvorrichtungen, welche beschrieben werden sollen, wird nachfolgend als „Eigenfahrzeug“ bezeichnet.
  • Bei einer solchen Technologie ist es wichtig, dass die Belichtung der Kamera gemäß Helligkeitsschwankungen in der Szenerie, die von der Kamera aufgenommen wird, geeignet gesteuert wird, um die Erkennungszuverlässigkeit eines Objektes, beispielsweise eines vorausfahrenden Fahrzeuges, das in einem von der Kamera aufgenommenen Bild erscheinen kann, maximiert wird.
  • Wie beispielsweise in der japanischen Erstveröffentlichung JP H06-253 208 A (hier als „Referenzdokument 1“ bezeichnet) beschrieben, wurde ein Verfahren zur Verwendung von Kamerabildern zur Erkennung weißer Linien auf Straßenoberflächen vorgeschlagen, wobei zwei sich seitlich erstreckende Abschnitte innerhalb eines jeden Bildes gewählt werden. Ein erster dieser Abschnitte wird so positioniert, dass er einen Teil der (abgebildeten) Straßenoberfläche enthält, der momentan nahe an dem Eigenfahrzeug liegt. Die von dem ersten Abschnitt erhaltenen Daten in jedem der aufeinanderfolgend aufgenommenen Bilder werden verwendet, weiße Linien auf der Straßenoberfläche zu erkennen. Der zweite Abschnitt wird so positioniert, dass er einen Teil der Straßenoberfläche enthält, der weiter vorderhalb des Eigenfahrzeuges liegt (d.h. in einem oberen Teil eines jeden aufgenommenen Bildes liegt). Somit enthält der zweite Abschnitt einen Bereich, der einer Erkennungsverarbeitung eines zukünftigen Zeitpunktes unterworfen wird, bestimmt von der Geschwindigkeit, mit der sich das Eigenfahrzeug bewegt. In dem die durchschnittlichen Helligkeitswert der ersten und zweiten Abschnitte mit b0 bzw. b1 bezeichnet werden, wird die Differenz dazwischen in jedem der aufeinanderfolgend aufgenommenen Bilder erhalten. Wenn herausgefunden wird, dass die Differenz einen bestimmten Schwellenwert übersteigt, wird die Kamerabelichtung, die bei der Aufnahme des nächsten Bildes angewendet wird, basierend auf dem Helligkeitswert b1 eingestellt (d.h. die Kameraverschlussgeschwindigkeit etc. wird geändert).
  • Wenn bei dem obigen Verfahren gemäß Referenzdokument 1 sich beispielsweise die Straßenoberfläche vorderhalb des Fahrzeuges zwischen einem im hellen Sonnenlicht liegenden Zustand und einem Schattenzustand ändert, kann die Kamerabelichtung geeignet für die aufeinanderfolgend aufgenommenen Bilder gesteuert werden, d.h. so, dass eine abrupte Änderung der Szeneriehelligkeit die Zuverlässigkeit der Erkennung weißer Linien nicht beeinflusst.
  • Bei einer tatsächlichen Straßenumgebung ändert sich jedoch die Helligkeit der Straßenoberfläche für gewöhnlich nicht zwischen einem Sonnenlichtzustand und einem Schattenzustand, wobei sich die Änderung gleichförmig über die Straßenoberfläche in einer einfachen Weise erstreckt. Anstelle hiervon kann die Änderung verschiedene Formen annehmen. Aus diesem Grund ist es schwierig, die Kamerabelichtung mittels eines derartigen Verfahrens unter tatsächlichen Betriebsbedingungen zuverlässig zu steuern.
  • Es wurde auch beispielsweise in der japanischen Erstveröffentlichung JP 2005 - 148 308 A (nachfolgend als „Referenzdokument 2“ bezeichnet) vorgeschlagen, eine Belichtungssteuervorrichtung zu verwenden, womit die Helligkeit der Straßenoberfläche vorderhalb eines Eigenfahrzeuges zur Verwendung einer Kamerabelichtungssteuerung gemessen wird, wobei Effekte von weißen Linien (Fahrspurmarkierungen) ausgeschlossen werden, die auf der Straßenoberfläche ausgebildet sind. Eine Videokamera am Fahrzeug erhält aufeinanderfolgend aufgenommene Bilder eines Bereiches direkt vorderhalb des Fahrzeuges, der diese weißen Linien enthält. Eine Mehrzahl von Bereichen innerhalb eines jeden aufgenommenen Bildes wird selektiv untersucht, um die jeweiligen Helligkeitswerte zu messen, wobei diese Bereiche als Bereichen der Straßenoberfläche entsprechend vorbestimmt sind, welche normalerweise außerhalb der weißen Linien sind, wenn sich das Fahrzeug entlang der Mitte einer Fahrspur bewegt. Die jeweiligen Helligkeitswerte dieser Bereiche werden gemessen und die Belichtung der in das Fahrzeug eingebauten Kamera wird basierend auf den Ergebnissen gesteuert.
  • Für den Fall einer Bildaufnahme zur Verwendung bei der Erkennung eines Zielobjektes (d.h. eines dreidimensionalen Objektes), beispielsweise eines vorausfahrenden Fahrzeuges, wird es möglich, eine Belichtungssteuerung der Kamera basierend auf einer Messung der Helligkeit der Straßenoberfläche durchzuführen, wie oben beschrieben, da normalerweise diese Helligkeit relativ stabil ist. Jedoch können sich die Helligkeitswerte verschiedener Fahrzeuge wesentlich voneinander unterscheiden, so dass im Stand der Technik eine solche Belichtungssteuerung basierend auf der Messung der Helligkeit des vorausfahrenden Fahrzeuges durchgeführt wird, welches zu erkennen ist. Wenn jedoch eine solche Belichtungssteuerung durchgeführt wird, können plötzliche Änderungen in dem Wert der gemessenen Helligkeit auftreten, da das vorausfahrende Fahrzeug zufällig das Gesichtsfeld der Kamera verlassen oder in dieses eintreten kann oder ein anderes Fahrzeug (zum Beispiel eines mit einem unterschiedlichen Helligkeitswert) kann plötzlich in das Gesichtsfeld der Kamera eintreten, indem es vor dem Eigenfahrzeug plötzlich einschert.
  • Im Stand der Technik war es nicht möglich, die Kamerabelichtung so zu steuern, dass ausreichend schnell auf solche abrupte Änderungen im Helligkeitswert, der zu messen ist, angesprochen werden kann, so dass eine stabile und genaue Steuerung der Kamerabelichtung schwierig zu erhalten war.
  • Weiterer relevanter Stand der Technik ist bekannt aus der EP 1 074 430 A1 , der DE 10 2004 047 476 A1 , der DE 44 10 064 A1 und der DE 101 03 924 A1 .
  • KURZFASSUNG DER ERFINDUNG
  • Es ist eine Aufgabe der vorliegenden Erfindung, das obige Problem zu beseitigen, indem eine Belichtungssteuerung für eine in ein Fahrzeug eingebaute Kamera geschaffen wird, die in der Lage ist, die Helligkeit eines Zielobjektes stabil zu messen und somit eine verbesserte Steuerung der Kamerabelichtung zum Zwecke eines Bilderhalts zur Verwendung bei der Verarbeitung bei der Erkennung eines Zielobjektes schafft. Ferner ist es Aufgabe der vorliegenden Erfindung, ein entsprechendes Belichtungssteuerprogramm zur Durchführung durch einen Computer zu schaffen.
  • Die Lösung der Aufgabe erfolgt durch eine Belichtungssteuervorrichtung mit den Merkmalen des Anspruchs 1 sowie durch ein Belichtungssteuerprogramm gemäß den Merkmalen des Anspruchs 6.
  • Die Erfindung schafft eine Belichtungssteuervorrichtung zur Steuerung der Belichtung einer elektronischen digitalen Kamera, die in ein Fahrzeug eingebaut ist (zum Beispiel durch Steuerung der Verschlussgeschwindigkeit etc. der Kamera), wobei die Kamera zur Aufnahme einer externen Szenerie als ein Bild angeordnet ist, das gebildet ist aus einer Reihe von Bildelementen mit jeweiligen Luminanzwerten. Die Vorrichtung vermag (zum Beispiel in dem sie mit Belichtungsverhältnisdaten versehen ist, die vorab in einem nicht flüchtigen Speicher gespeichert sind) die Luminanzwerte eines Bildes in entsprechende Helligkeitswerte der externen Szenerie umzuwandeln, die von der Kamera aufgenommen wird, wobei die Umwandlung basierend auf dem momentanen Belichtungszustand (Verschlussgeschwindigkeit etc.) der Kamera durchgeführt wird.
  • Die Vorrichtung ist dadurch charakterisiert, dass sie aufweist: eine Extraktionsschaltung zum Extrahieren (für jedes von der Kamera aufgenommenen Bild) eines Satzes von Bildelementen, die einen Zielobjektgebrauchsbereich des Bildes bilden zur Verwendung der Helligkeitsmessung eines Zielobjektes (für gewöhnlich eines vorausfahrenden Fahrzeuges), das vorderhalb des Eigenfahrzeuges liegt und einen zweiten Satz von Bildelementen, die einen Straßenoberflächengebrauchsbereich des Bildes bilden zur Verwendung bei der Messung des Helligkeitswertes der Straßenoberfläche. Die Kamerabelichtung wird basierend auf Helligkeitswerten gesteuert, die aus dem Straßenoberflächengebrauchsbereich und dem Zielobjektgebrauchsbereich in Kombination erhalten werden.
  • Im Vergleich mit Verfahren nach dem Stand der Technik zur Belichtungssteuerung bei solchen Fahrzeugkameras, wo nur die Helligkeit des Zielobjektes gemessen und zur Steuerung der Kamerabelichtung verwendet wird, ermöglicht die vorliegende Erfindung den Erhalt einer stabileren Belichtungssteuerung.
  • Weiterhin kann unter gewissen Umständen, wie beispielsweise wenn sich die externe Szenerie zwischen Sonnenlicht und Schattenbedingungen ändert oder das Eigenfahrzeug in einen Tunnel ein- oder ausfährt, eine plötzlich starke Änderung in der Helligkeit der Straßenoberfläche auftreten. Mit der vorliegenden Erfindung kann aufgrund der Tatsache, dass die Belichtungssteuerung auf Messung sowohl der Helligkeit eines Zielobjektes (wenn vorhanden) und auf der Helligkeit der Straßenoberfläche basiert, eine größere Stabilität der Belichtungssteuerung unter verschiedenen Bedingungen erreicht werden.
  • Weiterhin wird bei der vorliegenden Erfindung eine solch verbesserte Stabilität ohne die Notwendigkeit einer exzessiven Größe eines Helligkeitsmessbereichs innerhalb eines jeden Bildes erreicht werden (d.h. eines Bereiches, dessen Bildelemente zum Ermitteln eines gemessenen Helligkeitswertes zur Verwendung bei der Kamerabelichtungssteuerung verwendet werden.) Im Ergebnis kann die verbesserte Stabilität der Belichtungssteuerung ohne einen wesentlichen Anstieg der Prozesslast im Vergleich zu anderen Typen von Belichtungssteuerungsvorrichtungen erhalten werden.
  • Der Zielobjektgebrauchsbereich und der Straßenoberflächengebrauchsbereich liegen bevorzugt in jeweils fest vorbestimmten Positionen innerhalb eines jeden Bildes. Dies verringert die Wahrscheinlichkeit einer fehlerhaften Erkennung von Objekten und bringt größere Stabilität der Belichtungssteuerung und schafft somit eine verbesserte Leistungsfähigkeit im Vergleich zu Belichtungssteuervorrichtungen nach dem Stand der Technik, bei denen der Zielobjektgebrauchsbereich gemäß der Erkennungsverarbeitung geändert wird, die durchgeführt wird.
  • Der Zielobjektgebrauchsbereich ist bevorzugt in einer Form ausgebildet, die sich allmählich in horizontaler Breite entlang einer Richtung zu einem oberen Teil des Stra-ßenoberflächengebrauchsbereichs vergrößert.
  • Zusätzlich ist der Zielobjektgebrauchsbereich bevorzugt so ausgebildet, dass der oberste Teil dieses Bereichs an der FOE-Position in dem Bild liegt (FOE = focus of expansion). Dies dient zur Verhinderung der Erkennung der Helligkeit des Himmels, von Gebäuden, etc., so dass eine stabilere Belichtungssteuerung erreicht werden kann, d.h. Schwankungen in der erkannten Helligkeit aufgrund solcher Objekte können verhindert werden.
  • Eine Belichtungssteuervorrichtung gemäß der vorliegenden Erfindung kann in vorteilhafter Weise implementiert werden, indem die Verarbeitung gemäß einem Programm durchgeführt wird, das von einem Computer abgearbeitet wird.
  • Figurenliste
    • 1 ist ein schematisches Blockdiagramm eines Fahrzeugsystems, welches eine Ausführungsform einer Belichtungssteuervorrichtung aufweist;
    • 2 zeigt Beispiele von Belichtungssteuermappen zur Verwendung mit der Ausführungsform;
    • 3 ist ein Flussdiagramm einer Belichtungssteuerverarbeitung, die von der Ausführungsform durchgeführt wird;
    • 4 zeigt Diagramme, die die Art der Festsetzung von Luminanzsteuersollwerten beschreibt, die mit der Ausführungsform verwendet werden;
    • 5 ist ein Diagramm zur Beschreibung einer Totzone von Helligkeitswerten;
    • 6 ist ein Flussdiagramm der Verarbeitung zum Erlangen eines Aufnahmezielhelligkeitswerts, der die Helligkeit in einem externen Bereich vorderhalb eines Fahrzeuges anzeigt, in welches die Ausführungsform eingebaut ist;
    • 7 zeigt die Form eines Helligkeitsmessbereichs in einem Bild;
    • 8 zeigt das Ausdünnen von Bildelementen für jeweilige Linien in dem Helligkeitsmessbereich;
    • 9 zeigt den Ausschluss von Bildelementen höchster Helligkeit und niedrigster Helligkeit aus den jeweiligen Linien des Helligkeitsmessbereichs;
    • 10 ist eine Darstellung eines Beispiels der Verteilung von Helligkeitswerten in einem Bild, das von einer in ein Fahrzeug eingebauten Kamera aufgenommen wird;
    • 11 zeigt den Erhalt von durchschnittlichen Helligkeitswerten für jeweilige Linien von Bildelementen in dem Helligkeitsmessbereich;
    • 12 zeigt die Art und Weise, wie die Stärke von einer Zeitachsenfilterung bestimmt wird, die auf aufeinanderfolgend erhaltene durchschnittliche Helligkeitswerte jeweiliger Linien von Bildelementen in dem Helligkeitsmessbereich angewendet wird;
    • 13 zeigt Darstellungen der Arbeitsweise zur Beurteilung, ob oder ob nicht ein Zeitachsenfilter an jeweilige Linien von Bildelementen in dem Helligkeitsmessbereich angewendet wird;
    • 14 zeigt Darstellungen der Arbeitsweise zur Beurteilung, ob oder ob nicht ein Aufnahmezielhelligkeitswert zur Verwendung bei der Belichtungssteuerung durch eine Tiefpassfilterverarbeitung aufeinanderfolgend erhaltener Werte erhalten wird;
    • 15 ist eine Grafik zur Ermittlung der Größe von Schwankungen in aufeinanderfolgend erhaltenen Aufnahmezielhelligkeitswerten in Beziehungen zur einem Halbbreitenwert der Totzone; und
    • 16 zeigt ein Beispiel von Luminanzsteuermappen zur Ermöglichung einer Szeneriehelligkeitsmessung über einen weiten Bereich von Helligkeitswerten einer externen Szenerie.
  • BESCHREIBUNG BEVORZUGTER AUSFÜHRUNGSFORMEN
  • Eine Ausführungsform einer Belichtungssteuervorrichtung für eine in einem Fahrzeug eingebaute Kamera wird nachfolgend unter Bezugnahme auf die Zeichnung beschrieben.
  • 1. Gesamtaufbau
  • 1 ist ein Blockdiagramm, welches den allgemeinen Aufbau einer Belichtungssteuervorrichtung 10 und deren Beziehung zu anderen Bestandteilen eines Fahrzeugsystems zeigt. Die Beleuchtungssteuervorrichtung 10 ist in ein Fahrzeug (das „Eigenfahrzeug“) eingebaut und mit einer fahrzeugseitigen digitalen Videokamera (nachfolgend einfach als „Kamera“ bezeichnet) 21 und einem zusammengefassten Beurteilungsabschnitt 22 verbunden, wobei der zusammengefasste Beurteilungsabschnitt 22 mit einem Warnanzeigeerzeugungsabschnitt 23 und einer Lenksteuer-ECU 24 verbunden ist, wie gezeigt. Von der Belichtungssteuervorrichtung 10 basierend auf dem Inhalt aufgenommener Bilder einer Szenerie vorderhalb des Eigenfahrzeuges erhaltene Daten werden in einer Warnanzeigeverarbeitung und Lenksteuerverarbeitung verwendet, die von dem zusammengefassten Beurteilungsabschnitt 22 durchgeführt werden. Insbesondere erfolgt eine Erkennungsverarbeitung an den Bilddaten, um ein vorausfahrendes Fahrzeug als ein Zielobjekt zu erkennen, welches vorderhalb des Eigenfahrzeuges liegen kann und die Ergebnisse der Erkennungsverarbeitung werden für eine Warnanzeige und für Lenksteuerzwecke verwendet.
  • Die Belichtungssteuervorrichtung 10 besteht aus einer CPU 11, einem Speicherabschnitt 12, einer Bildschnittstelle 13, die Daten aufeinanderfolgend aufgenommener Bilder von der Kamera 21 an die CPU 11 überträgt und einer Kommunikationsschnittstelle 14 zur Durchführung einer Kommunikation mit dem zusammengefassten Beurteilungsabschnitt 22. Der Speicherabschnitt 12 enthält einen nicht flüchtigen Speicher, beispielsweise ein ROM (Lesespeicher; in der Zeichnung nicht dargestellt) mit Programmen und Daten einschließlich einer Mehrzahl von Luminanzsteuerkarten (werden nachfolgend beschrieben), die hierin vorab gespeichert wurden und ein RAM (Speicher mit wahlfreiem Zugriff; nicht dargestellt) und Datenregister zum Speichern und Verarbeiten von Daten einer Mehrzahl von Bildern, welche aufeinanderfolgend bis zum momentanen Zeitpunkt aufgenommen wurden.
  • Die Kamera 21 ist im Fahrgastraum des Eigenfahrzeuges an einer festen Position (beispielsweise neben dem Innenrückspiegel) eingebaut und nimmt aufeinanderfolgend Bilder (d.h. als jeweilige Videosignalframes) eines Bereiches der Straße vorderhalb des Fahrzeugs auf. Wenn sie in das Fahrzeug eingebaut ist, ist die Ausrichtung der Kamera 21 so eingestellt, dass ein spezifischer Bildaufnahmebereich bezüglich der Bewegungsrichtung des Fahrzeuges festgelegt ist.
  • Die Kamera 21 beinhaltet einen CCD- oder CMOS-Bildsensor vom üblichen Typ, zusammen mit einem Videoverstärker, einem A/D-Wandler (analog/digital). Wenn vom Bildsensor ein Bild als ein analoges Signal, das aufeinanderfolgende Luminanzwerte ausdrückt, aufgenommen wird, verstärkt der Videoverstärker das Analogsignal mit einem bestimmten Verstärkungsfaktorbetrag, das dann in aufeinanderfolgende Digitalwerte (Luminanzwerte von Bildelementen) durch den A/D-Wandler umgewandelt und im Speicherabschnitt 12 als Daten gespeichert wird. Die CPU 11 liest dann die Bilddaten aus und verarbeitet sie, wobei sie separat auf jeweiligen Bildlinien des Bildes arbeitet, wobei jede Bildlinie eine horizontale Reihe von Bildelementen (horizontale Abtastlinie) des Bildes ist.
  • Die Bildschnittstelle 13 überträgt die Bildelementwerte zusammen mit horizontalen und vertikalen Synchronisationssignalen des Bildes von der Kamera 21 an die CPU 11. Die CPU 11 bestimmt jeweilige Bildpositionen entsprechend einem jeden der Bildelemente basierend auf den horizontalen und vertikalen Synchronisationssignalen. Die Bildelementwerte werden dann im Speicherabschnitt 12 entsprechend von Positionsinformationen gespeichert, welche die jeweiligen Lagen der Bildelemente innerhalb des Bildes spezifizieren.
  • Die CPU 11 verarbeitet die Bilddaten, um die Erkennung eines Zielobjektes, beispielsweise eines vorausfahrenden Fahrzeuges durchzuführen, das in den aufgenommenen Bildern erscheinen kann. Basierend auf dem Erkennungsverarbeitungsergebnissen liefert die CPU 11 eine Positionsinformation betreffend ein jegliches Zielobjekt an dem zusammengefassten Beurteilungsabschnitt 22 über die Belichtungssteuervorrichtung 10.
  • Zusätzlich steuert die CPU 11 die Kamera 21 so, dass auf geeignete Weise Bilder der Szenerie vorderhalb des Fahrzeuges aufgenommen werden. Genauer gesagt, die CPU 11 stellt die Frame-Rate und die Belichtungsparameter der Kamera 21 ein, indem entsprechende Einstellbefehle erzeugt und diese der Kamera 21 als Kamerasteuerbefehlswerte übermittelt werden. Nachfolgend sei angenommen, dass die Belichtungsparameter der Kamera 21 Verschlussgeschwindigkeit und Videoverstärkungsfaktor sind.
  • Die Kommunikationsschnittstelle 14 ermöglicht eine Kommunikation zwischen der CPU 11 und dem zusammengefassten Beurteilungsabschnitt 22, um an dem zusammengefassten Beurteilungsabschnitt 22 die oben beschriebene Information betreffend Ergebnisse von Ziel-Objekterkennung zu übermitteln. Basierend auf dieser Information beurteilt der zusammengefasste Beurteilungsabschnitt 22, ob es eine Zusammenstoßgefahr zwischen dem Eigenfahrzeug und einem Zielobjekt gibt. Wenn beurteilt wird, dass eine solche Gefahr besteht, steuert der zusammengefasste Beurteilungsabschnitt 22 den Warnanzeigeerzeugungsabschnitt 23, damit eine Warnanzeige für den Fahrzeugfahrer erzeugt wird. Wenn beurteilt wird, dass die Gefahr über einen bestimmten Wert liegt, wird zusätzlich zur Erzeugung einer Warnanzeige die Lenksteuer-ECU 24 von dem zusammengefassten Beurteilungsabschnitt 22 angewiesen, eine entsprechende Lenksteuerung des Fahrzeuges durchzuführen. Insbesondere kann dies eine Steuerung sein, bei der der Betrag der Lenkunterstützung, der auf einen Lenkmechanismus aufgebracht wird, geeignet eingestellt wird, oder der Lenkmechanismus wird automatisch betrieben so gesteuert, dass die Zusammenstossgefahr vermieden wird.
  • 2. Aufbau der Belichtungssteuerung
  • Der Kamerabelichtungssteuervorgang dieser Ausführungsform kann wie folgt zusammengefasst werden. Die Belichtungssteuervorrichtung 10 hat vorab gespeicherte Daten enthalten, die eine Mehrzahl von Charakteristiken ausdrücken, und welche nachfolgend als Luminanzsteuerkarten bezeichnet seien. Jede hiervon entspricht einer spezifizierten Belichtungsbedingung der Kamera 21 (spezielle Kombination aus Verschlussgeschwindigkeit und Videoverstärkung) und drückt die Beziehung zwischen der Helligkeit einer externen Szenerie vorderhalb des Fahrzeuges, die als Bild von der Kamera 21 aufgenommen wird und sich ergebenden Luminanzwerten von Bildelementen des Bildes aus. Die Bildelementluminanzwerte werden von der Kamera 21 als entsprechende digitale Werte geliefert.
  • 2 zeigt ein Beispiel einer solchen Mehrzahl von Luminanzsteuerkarten mit Werten externer Szeneriehelligkeit entlang der Horizontalachse und Bildluminanzwerten (Bildelementluminanzwerten von der Kamera) entlang der Vertikalachse. Im Beispiel des Diagramms (a) von 2 ist, wenn die Bildluminanz (zum Beispiel Durchschnitt einer Mehrzahl von Bildelementwerten) ein Wert V ist (nachfolgend als Luminanzsteuerzielwert bezeichnet, der als ein geeigneter Wert der Bildluminanz vorbestimmt ist) dann, wenn ein Aufnahmezielhelligkeitswert (wie nachfolgend beschrieben gemessen) B ist und die Luminanzsteuerkarte 11 verwendet wird, dies ein Zustand, in welchem die Kamerabelichtungsparameter (Verschlussgeschwindigkeit, Videoverstärkung), bestimmt von der Luminanzsteuerkarte 11, korrekt eingestellt sind.
  • Bezugnehmend auf das Diagramm (b) von 2, in welchem die Luminanzsteuerkarte Nr. 7 verwendet wird, weicht, weicht, wenn der Aufnahmezielhelligkeitswert B, wie gezeigt ist, der Bildluminanzwert von dem Zielwert V ab, d.h. nimmt den Wert K an, so dass die Kamerabelichtung nicht korrekt eingestellt ist. In diesem Fall führt die Vorrichtung eine Belichtungssteuerung durch, indem die Luminanzsteuerkarte Nr. 13 gewählt wird, so dass die Bildluminanz auf dem Zielwert V zurückgestellt wird. Eine Belichtungssteuerung wird damit so angewendet, dass die Bildluminanz nahe an einem geeigneten Wert gehalten wird, ungeachtet von Helligkeitsschwankungen der Szenerie, die von der Kamera aufgenommen wird.
  • Der Luminanzsteuerzielwert wird gemäß der Luminanzsteuerkarte bestimmt, die momentan gewählt ist, d.h., es gibt eine bestimmte Beziehung zwischen den Luminanzsteuerkartennummern und den Luminanzsteuerzielwerten, wie nachfolgend beschrieben.
  • Bei dieser Ausführungsform wird, anstelle die Szeneriehelligkeit basierend auf allen Bildelementen eines von der Kamera 21 aufgenommenen Bildes zu messen, diese basierend auf einem fest vorbestimmten Teil eines jeden Bildes mit bestimmter Form, Lage und Größe ermittelt, der als Helligkeitsmessbereich bezeichnet wird.
  • Die Belichtungssteuervorrichtung 10 dieser Ausführungsform führt die Belichtungssteuerung grundlegend gemäß der nachfolgenden Abfolge der Vorgänge (1) bis (4) durch.
  • (1) Bestimmung des Luminanzsteuerzielwerts
  • Der Luminanzsteuerzielwert wird gemäß der momentan gewählten Luminanzsteuerkarte basierend auf der oben erwähnten bestimmten Beziehung bestimmt und ändert sich zwischen einem Tageswert und einem Nachtwert. Um sicherzustellen, dass die Steuerbedingungen sich nicht abrupt ändern, ändert sich der Luminanzsteuerzielwert nur graduell während eines jeden Übergangs zwischen Tagwert und Nachtwert.
  • (2) Berechnung der Totzone
  • Eine Totzone (wie in 5) der Helligkeitswerte wird wie nachfolgend beschrieben bestimmt.
  • (3) Ableitung vom Aufnahmezielhelligkeitswert
  • Zwei aneinander grenzende Bereiche innerhalb eines jeden aufgenommenen Bildes bilden den oben genannten Helligkeitsmessbereich bei dieser Ausführungsform, d.h., ein Straßenoberflächengebrauchsbereich zur Messung der Helligkeit der Straßenoberfläche und ein Zielobjektgebrauchsbereich zur Messung der Helligkeit eines vorausfahrenden Fahrzeuges (falls vorhanden), wie in 7 gezeigt. Bei dieser Ausführungsform werden entsprechend unterschiedliche Formen von gewichtungsgemittelten Verarbeitungen an diesen beiden Bereichen angewendet und ein Aufnahmezielhelligkeitswert wird basierend auf durchschnittlichen Helligkeitswerten erhalten, welche jeweils für die beiden Bereiche berechnet wurden.
  • (4) Steuerung von Verstärkungsfaktor und Verschlussgeschwindigkeit
  • Wenn sich herausstellt, dass der Aufnahmezielhelligkeitswert, der durch den Vorgang (3) erhalten wurde, außerhalb der Totzone liegt, wird eine geeignete andere aus den Luminanzsteuerkarten für eine Verwendung ausgewählt, und zwar basierend auf dem Luminanzsteuerzielwert vom Vorgang (1) und bei dem Aufnahmezielhelligkeitswert aus Vorgang (3), wie oben unter Bezug auf Diagramm (b) von 2 beschrieben. Die Belichtungsbedingung (Verschlussgeschwindigkeit und Verstärkungsfaktor) von der Kamera 21 wird dann gemäß der neu gewählten Luminanzsteuerkarte eingestellt.
  • 3. Von der CPU durchgeführte Verarbeitung
  • Die CPU 11 führt periodisch (zum Beispiel einmal pro 100 ms) einen Verarbeitungsprogrammablauf gemäß einem gespeicherten Programm als Belichtungssteuerverarbeitung durch. Bei dieser Verarbeitung wird ein Aufnahmezielhelligkeitswert basierend auf Daten von einem oder mehreren Bildern erhalten, welche aufeinanderfolgend bis zum momentanen Zeitpunkt von der Kamera 21 erhalten wurden und im Speicherabschnitt 12 gespeichert wurden. Basierend auf diesem Aufnahmezielhelligkeitswert wird bei Bedarf die Luminanzsteuerkarte geändert und die Kamerabelichtungsparameter (Verschlussgeschwindigkeit, Verstärkungsfaktor) werden entsprechend eingestellt. Diese Verarbeitung wird unter Bezugnahme auf das Flussdiagramm von 3 beschrieben.
  • Wenn die Verarbeitung beginnt, bestimmt die CPU 11 zunächst (Schritt S110) einen Luminanzsteuerzielwert. Genauer gesagt, eine Entsprechungsbeziehung (als durchgezogene Linie im Diagramm (c) von 4 gezeigt) ist vorab gespeichert und betrifft Luminanzsteuerkartennummern (zum Beispiel die Kartennummern 1 bis 17 gemäß 2), die entlang der horizontalen Achse aufgeführt sind zu Luminanzsteuerzielwerten, die entlang der vertikalen Achse aufgeführt sind. Basierend auf dieser Entsprechungsbeziehung wird ein Luminanzsteuerzielwert gemäß der Nummer der Luminanzsteuerkarte erhalten, die momentan verwendet wird. Bei der ersten Durchführung des Verarbeitungsablaufes von 3 (wenn der Systembetrieb beginnt), wird eine bestimmte der Luminanzsteuerkarten zur Verwendung ausgewählt und der entsprechende Luminanzsteuerzielwert wird erhalten.
  • Die Entsprechungsbeziehung von 4 (c) wird erhalten durch Mitteln der Entsprechungsbeziehungen der 4(a) und 4(b), welche als punktierte Liniencharakteristik und gestrichelte Liniencharakteristik in 4(c) gezeigt sind. 4(a) ist eine Beziehung zwischen den Luminanzsteuerkartennummern (entlang der horizontalen Achse aufgeführt) zu Straßenoberflächenluminanzsteuerzielwerten (entlang der Vertikalachse), geeignet für den oben erwähnten Straßenoberflächengebrauchsbereich des Helligkeitsmessbereichs (d.h. eines Bildbereiches, der einen Teil der Straßenoberfläche enthält, der nahe bei und direkt vorderhalb des Eigenfahrzeuges ist). 4(b) ist eine entsprechende Beziehung, die geeignet ist für den Zielobjektgebrauchsbereich des Helligkeitsmessbereichs (eines Bildbereiches, der um einen bestimmten Abstand vorderhalb des Eigenfahrzeuges liegt und ein Zielobjekt, beispielsweise ein vorausfahrendes Fahrzeug enthalten kann).
  • Somit wird bei dieser Ausführungsform jeder Luminanzsteuerzielwert nicht einfach als für einen Bildbereich geeignet bestimmt, in welchem ein Zielobjekt erkannt wird, sondern wird anstelle hiervon als Kombination von Zielwerten erhalten, die für ein Zielobjekt bzw. für die Straßenoberfläche passend sind.
  • Wenn die durchschnittliche Szeneriehelligkeit niedrig ist (üblicherweise bei Nacht), werden Luminanzsteuerkarten mit niedrigen Ziffern für den Gebrauch gewählt, wo hingegen, wenn die durchschnittliche Szeneriehelligkeit hoch ist (bei Tag), Luminanzsteuerkarten mit hohen Nummern verwendet werden. Bei dieser Ausführungsform ist gemäß 4 die Beziehung zwischen den Luminanzsteuerzielwerten und den Kartenwertnummern so vorherbestimmt, dass ein niedriger Luminanzsteuerzielwert während des Nachtbetriebes gewählt wird und ein höherer Luminanzsteuerzielwert während des Tagebetriebes gewählt wird. Dies erfolgt, um sicherzustellen, dass die Vorrichtung korrekt arbeitet, auch dann, wenn in der Bildluminanz während des Nachtbetriebes ein Anstieg in großem Maßstab erfolgt (zum Beispiel aufgrund von Licht von Quellen wie Scheinwerfer entgegenkommender Fahrzeuge etc.).
  • Wie ebenfalls gezeigt ist, gibt es einen graduellen Übergang zwischen dem Luminanzsteuerzielwert für Nachtgebrauch und dem Luminanzsteuerzielwert für Taggebrauch, um abrupte Änderungen in der Bildluminanz zu verhindern. Da der Luminanzsteuerzielwert gemäß der Luminanzsteuerkarte gewählt wird, die momentan in Gebrauch ist, wird der graduelle Übergang erreicht, indem eine geeignete Zuordnung der Luminanzsteuerzielwerte zu den Luminanzsteuerkartennummern gemacht wird.
  • Nachfolgend wird im Schritt S120 die Totzone berechnet. Dies ist ein Bereich von Helligkeitswerten zur Verwendung bei der Beurteilung, ob es notwendig ist, die Kamerabelichtung einzustellen (eine andere Luminanzsteuerkarte zu wählen). Die Totzone wird verwendet, um unnötig häufige Änderungen in den Belichtungsbedingungen zu verhindern. Insbesondere ist gemäß 5, wenn die Luminanzsteuerkarte, welche momentan verwendet wird, als Karte N bezeichnet wird und der entsprechende Luminanzsteuerzielwert (aus Schritt S110) als V bezeichnet wird, die Totzone als Szeneriehelligkeitsbereich definiert, der sich zwischen den Schnittpunkten des Luminanzsteuerzielwertes V mit den beiden benachbarten Luminanzsteuerkarten (N - 1) und (N + 1) ergibt (d.h. den Karten, deren Nummern unmittelbar vor und unmittelbar nach der momentan gewählten Luminanzsteuerkarte liegen).
  • Nachfolgend wird in Schritt S130 eine Verarbeitung durchgeführt, um den Aufnahmezielhelligkeitswert zu erhalten. Dies basiert auf einer Umwandlung der Bildelementluminanzwerte des Helligkeitsmessbereichs (d.h. des spezifizierten festen Bereichs innerhalb des Bildes), in entsprechende umgewandelte Helligkeitswerte unter Verwendung der Luminanzsteuerkarte, die momentan gewählt ist, wie unter Bezugnahme auf das Flussdiagramm von 6 beschrieben werden wird.
  • Zunächst werden im Schritt S131 die Bildelementwerte des Helligkeitsmessbereichs erlangt, und zwar in Einheiten von Bildlinien. Wie in 7 gezeigt, ist der Helligkeitsmessbereichs dieser Ausführungsform aus einem trapezförmigen Bereich gebildet, der als Zielobjektgebrauchsbereich bezeichnet wird, um die Helligkeit eines vorausfahrenden Fahrzeuges (d.h. eines Bereiches in einem bestimmten Abstand vorderhalb des Eigenfahrzeuges an einer Position, wo ein vorausfahrendes Fahrzeug in dem Bild auftauchen kann) zu messen und einem rechteckförmigen Bereich, der als Straßenoberflächengebrauchsbereich bezeichnet wird und einem Teil der Straße entspricht, der nahe bei und unmittelbar vorderhalb des Eigenfahrzeuges liegt und der zur Messung der Helligkeit der Straßenoberfläche dient. Der Bildluminanzwert wird als eine Kombination von Werten gemessen, die von dem Zielobjektgebrauchsbereich und dem Straßenoberflächengebrauchsbereich erhalten werden.
  • Genauer gesagt, der Straßenoberflächengebrauchsbereich hat eine vertikale Abmessung (Höhenabmessung) entsprechend einem Bereich, der sich annähernd 7 bis 27 m vorderhalb des Eigenfahrzeuges erstreckt und eine Breitenabmessung (Seitenabmessung), die so bestimmt ist, dass sie die beiden weißen Linien enthält, die jeweils am rechten und linken Fahrspurrand liegen, auf der sich das Eigenfahrzeug bewegt.
  • Der oberste Teil des Zielobjektgebrauchsbereichs wird auf die FOE-Position (focus of expansion) der Kamera 21 gesetzt. Die Breite dieses obersten Teils wird gleich der typischen Azimutherstreckung (± 10°) eines Bereichs gemacht, der von einer Millimeterwellenradarvorrichtung abgetastet wird, die in dem Eigenfahrzeug eingebaut sein kann, um die Szenerie vorderhalb des Fahrzeuges mit Radarwellen abzutasten, um Position, Form, Geschwindigkeit etc. vorausliegender Objekte basierend auf den sich ergebenden reflektierten Radarwellen zu beurteilen.
  • Die Trapezform des Zielobjektgebrauchsbereichs erweitert sich sukzessive in Richtung des oberen Teils des Straßenoberflächengebrauchsbereichs, d.h., ist aus Bildlinien gebildet, welche allmählich zunehmende Länge haben, wo hingegen der Straßenoberflächengebrauchsbereich aus Bildlinien voller Breite gebildet ist (entsprechend dem vollen horizontalen Blickwinkel der Kamera 21). Diese Form des Zielobjektgebrauchsbereichs wird verwendet, um sicherzustellen, dass die Kamerabelichtung rasch eingestellt werden kann, wenn ein anderes Fahrzeug vorderhalb des Eigenfahrzeuges plötzlich einschert, d.h., einen randlosen Übergang zwischen der Erkennung der Helligkeit der Straßenoberfläche und der Erkennung der Helligkeit eines vorausfahrenden Fahrzeuges zu haben.
  • Da der externe Bereich (in der Szenerie vorderhalb des Eigenfahrzeuges), der jenseits des FOE liegt, üblicherweise Merkmale wie Himmel, Gebäude, etc. enthält, die als Zielobjekte nicht relevant sind, ist sichergestellt, dass diese aus den aufgenommenen Bildern ausgeschlossen sind und somit keinen nachteiligen Effekt auf die Belichtungssteuerung haben.
  • Um die Datenverarbeitungslast zu verringern, erfolgt eine Ausdünnung der Bildlinien (d.h. eine von aufeinanderfolgenden mehreren Bildlinien des Bildes wird weggelassen), wenn eine Extraktion (aus dem jüngst aufgenommenen Bild) von Bildelementen erfolgt, die den Luminanzmessbereich bilden. In den Straßenoberflächengebrauchsbereich erfolgt eine Ausdünnung von Bildlinien in Abständen, die annähernd zueinander identisch sind bezüglich dem Abstand zum Eigenfahrzeug. D.h., je höher die Positionen von Linien innerhalb des Luminanzmessbereichs sind, umso kleiner ist der Anteil von Linien, die durch die Ausdünnverarbeitung weggelassen werden. In dem Zielobjektgebrauchsbereich erfolgt die Ausdünnung in gleichmäßigen Abständen, d.h. der Abstand zwischen Linien, die durch den Ausdünnprozess weggelassen werden, wird konstant gehalten.
  • Zusätzlich erfolgt auch eine periodische Ausdünnung von Bildelementen innerhalb einer jeden Linie des Helligkeitsmessbereichs, wie durch die gepunkteten Abschnitte in 8 schematisch veranschaulicht. Bei dieser Ausführungsform wird die periodische Weglassung von entsprechenden Bildelementen (d.h. von Luminanzwerten entsprechend dieser Bildelemente) in identischen Abständen innerhalb einer Bildlinie durchgeführt.
  • Die Luminanzwerte der Bildelemente des Helligkeitsmessbereichs werden in entsprechende Helligkeitswerte (d.h. Helligkeitswerte in der externen Szenerie anzeigen) unter Verwendung der momentan gewählten Luminanzsteuerkarte und des Luminanzsteuerzielwertes umgewandelt. Bezugnehmend beispielsweise auf Diagramm (b) von 2 sei angenommen, dass ein Bildelementwert (Luminanzwert), der von der Kamera 21 erhalten wird, K ist; dann ist, wie durch die Pfeilrichtungen dargestellt, der entsprechende gewandelte Helligkeitswert als B erhaltbar, indem die momentan gewählte Luminanzsteuerkarte mit der Nummer 7 angewendet wird.
  • Danach werden im Schritt S132 für jede Bildlinie des Helligkeitsmessbereichs die Bildelemente in der Reihenfolge des Helligkeitswertes sortiert und dann wird eine feste Anzahl von Bildelementen maximaler Helligkeit und eine feste Anzahl von Bildelementen minimaler Helligkeit dieser Linie aus der weiteren Verarbeitung ausgeschlossen.
  • Es sei angenommen, dass jede dieser festen Anzahlen größer als 1 ist, wobei dann der Begriff „feste Anzahl von Bildelemente maximaler Helligkeit“ in dieser Beschreibung und in den beigefügten Ansprüchen „Bildelement maximaler Helligkeit und eines oder mehrere Bildelemente mit aufeinanderfolgenden geringeren Helligkeiten als der Wert maximaler Helligkeit“ bezeichnet. Auf ähnliche Weise bezeichnet der Begriff „feste Anzahl von Bildelemente minimaler Helligkeit“ das Bildelement mit der niedrigsten Helligkeit und eines oder mehrere Bildelemente mit umgewandelten Helligkeitswerten, welche aufeinanderfolgend höher als der minimale Wert sind.
  • Obgleich bei dieser Ausführungsform die obige Ausschlussverarbeitung basierend auf der Beurteilung umgewandelter Helligkeitswerte von Bildelementen durchgeführt wird, wäre es auch möglich, die Ausschlussverarbeitung basierend auf einer Beurteilung der Luminanzwerte durchzuführen, d.h. der Bildelementwerte, wie sie von der Kamera 21 erhalten werden.
  • Im Fall einer Straßenoberfläche mit einer leichten Färbung, beispielsweise einer Betondecke, dunklen Bereichen auf der Fläche (zum Beispiel Abschnitte, die mit Teer repariert wurden oder Stöße in der Fahrbahn) sind ein Hindernis bei der zuverlässigen Messung bei der Helligkeit der Straßenoberfläche. Im Fall einer dunklen Straßenoberfläche, wie beispielsweise einer aus Asphalt gebildeten, behindern weiße Linien, die auf der Oberfläche ausgebildet sind, auf ähnliche Weise eine zuverlässige Messung der Helligkeit der Straßenoberfläche. Dies ist als Beispiel in der Verteilung der Helligkeitswerte von Bildelementen für den Fall eines Vorwärtssichtbildes einer Straße in 10 dargestellt. Da bei dieser Ausführungsform die höchsten und niedrigsten Helligkeitswerte des Helligkeitsmessbereichs von weiteren Verarbeitungen ausgeschlossen sind, wie oben beschrieben, können solche Probleme aufgrund von überschüssigen Licht oder überschüssigen dunklen Bereichen auf der Straßenoberfläche beseitigt werden.
  • Im Fall eines Teils der Straßenoberfläche, die nahe an (direkt vorderhalb von) dem Eigenfahrzeug ist, ist es möglich, vergleichsweise zuverlässig über zu hohe oder zu niedrige Helligkeitswerte aufgrund von weißen Linien, Teerflecken etc. auf der Straßenoberfläche zu unterscheiden. Im Fall eines Teils der Straßenoberfläche, der entfernt von dem Eigenfahrzeug ist, wird es jedoch schwierig, solche Bereiche zu unterscheiden. Aus diesem Grund wird, je größer der Abstand, dargestellt durch die Bildposition einer Bildlinie (d.h. je höher die Lage dieser Linie innerhalb des Helligkeitsmessbereichs ist), umso kleiner die Anzahl von Bildelementwerten gemacht, die von der Linie durch die oben beschriebene Ausschlussverarbeitung ausgeschlossen werden. Im Fall der Bildlinien entsprechend dem am weitesten entfernten Teil des Helligkeitsmessbereichs werden keine Bildelementwerte ausgeschlossen.
  • Nachfolgend wird im Schritt S133 gemäß 11 für jede der verbleibenden Bildlinien des Helligkeitsmessbereichs der Durchschnitt der gewandelten Helligkeitswerte der Bildelemente der Linie berechnet. Die sich ergebenden jeweiligen Durchschnittswerte werden als Bi,t bezeichnet, wobei „i“ die Position der entsprechenden Linie oberhalb des Helligkeitsmessbereichs in einem Bereich von 1 bis L, gezählt ausgehend von der Oberseite des Helligkeitsmessbereichs (siehe 11) bezeichnet, d.h. 1 ≤ i ≤ L. Der Zusatz „t“ bezeichnet die Zeitachsenposition eines Bildelementsdurchschnittswertes (räumlich-domain), zum Beispiel ausgedrückt als Abfolgenummer innerhalb einer Serie von Bildern, die aufeinanderfolgend zu periodischen Zeitpunkten bis zum momentanen Zeitpunkt hin aufgenommen worden sind.
  • Durch Ausschluss der höchsten und niedrigsten Luminanzwerte aus dieser Mittelungsverarbeitung wird sichergestellt, dass für jede der Bildlinien im Helligkeitsmessbereich sich die (räumlichen) Durchschnittshelligkeitswerte der jeweiligen Linien in einer stabileren Weise über die Zeit hinweg ändern.
  • Nachfolgend wird im Schritt S134 für jede der L Bildlinien des Helligkeitsmessbereichs eine Pufferung der jeweiligen Durchschnittsluminanzwerte durchgeführt, welche für diese Bildlinie in einer Mehrzahl von aufeinanderfolgend erhaltenen Bildern erhalten wurden, wobei ein Pufferintervall von (t ~ t - T) verwendet wird. D.h., für jede der Bildlinien wird ein Satz von (räumlich-domain) Durchschnittswerten, welche vorab aufeinanderfolgend berechnet und zu jeweiligen Zeitpunkten gespeichert wurden, erlangt (aus dem Speicher ausgelesen) und in Pufferregistern gesetzt, um einer Mittelungsberechnung unterworfen zu werden. Diese gepufferten Durchschnittswerte lassen sich ausdrücken als:
    • erste Linie: Bi,t ... B1, t-T
    • i-te Linie: Bi,t ... Bi,t-T
    • L-te Linie: BL,t ... BL,t-T.
  • Wenn beispielsweise das Pufferintervall 4 ist, werden für jede der Bildlinien im Bereich von I bis L die entsprechenden durchschnittlichen Helligkeitswerte, die in dem Speicherabschnitt 12 für vier aufeinanderfolgende Bilder gespeichert wurden, als die gepufferten Durchschnittswerte für diese Bildlinie erlangt.
  • Nachfolgend wird im Schritt S135 eine Zeitachsenfilterung (d.h. eine Glättung durch eine Mittelungsverarbeitung) an jeder der gewählten Bildlinien des Helligkeitsmessbereichs angewendet (diese Bildlinien werden wie nachfolgend beschrieben gewählt). Die Zeitachsenfilterung wird durchgeführt, indem für jede der ausgewählten Bildlinien der Durchschnitt der gepufferten Werte erhalten wird, welche im Schritt S134 erlangt wurden, d.h., es wird ein kontinuierlicher Satz von L Linien angenommen:
    • erste Linie: B1,t ... B1,t-T→F1,t
    • i-te Linie: Bi,t ... Bi,t-T→Fi,t
    • L-te Linie: BL,t ... BL,t-T.→FL,t.
  • Es kann erwartet werden, dass es nur einen kleinen Änderungsgrad in den durchschnittlichen Helligkeitswerten von Bildlinien entsprechend einem Bereich gibt, der nahe (d.h. unmittelbar vorderhalb) des Eigenfahrzeuges ist, da die Helligkeit in einem solchen Bereich für gewöhnlich durch Reflektion von Licht von der Straßenoberfläche bestimmt wird. Somit erfolgt nur wenig oder gar keine Zeitachsenfilterung an Bildlinien eines solchen Teils des Helligkeitsmessbereichs. Im Fall von Bildlinien entsprechend einem Bereich, der entfernt von dem Eigenfahrzeug ist (d.h. nahe beim FOE liegt), können sich jedoch hohe Beträge von Zeitachsenschwankungen in den aufeinanderfolgenden durchschnittlichen Helligkeitswerten ergeben, die für diese Bildlinien erhalten wurden. Diese Schwankungen können sich aus Effekten wie Nickbewegungen des Eigenfahrzeuges ergeben, während Licht von Scheinwerfern entgegenkommender Fahrzeuge empfangen wird und der Helligkeitsmessbereich beeinflusst wird, so dass große Änderungen in aufeinanderfolgenden durchschnittlichen Helligkeitswerten verursacht werden, die für diese Bildlinien entsprechend einem entfernten Bereich gemessen werden. Aus diesem Grund wird, wenn eine Zeitachsenfilterung gemäß obiger Beschreibung an einer Bildlinie entsprechend einem Bereich angewendet wird, der nahe dem FOE liegt, ein vergleichsweise langes Pufferintervall verwendet, beispielsweise entsprechend annähernd 700 ms, d.h. eine Mittelung wird unter Verwendung einer großen Anzahl aufeinanderfolgend erhaltener Werte durchgeführt (großer Wert von T).
  • Dies ist möglich, da bei dieser Ausführungsform eine Zeitachsenfilterung individuell an jeweiligen Bildlinien des Helligkeitsmessbereichs angewendet werden kann.
  • Die obige selektive Anwendung der Zeitachsenfilterung an Bildlinien-Durchschnittshelligkeitswerte gemäß der Distanz vom Eigenfahrzeug ist in 12 dargestellt. Wie gezeigt, ist, je größer der Abstand eines abgebildeten Bereiches ist (d.h. je höher die Position der entsprechenden Bildlinien innerhalb des aufgenommenen Bildes ist), um so höher die Effektivität der Zeitachsenfilterung gegenüber Rauschen gemacht (verteilte Schwankungen in der Helligkeit), d.h., um so größer ist der Glättungsgrad gemacht, der gegen Zeitachsenänderungen angewendet wird. Umgekehrt erfolgt keine Zeitachsenfilterung an durchschnittlichen Helligkeitswerten von Bildlinien in dem Teil des Helligkeitsmesswertbereiches, der dem Eigenfahrzeug am nächsten ist.
  • Es ist jedoch notwendig, dass die Vorrichtung in der Lage ist, rasch plötzlichen Änderungen in der Szeneriehelligkeit zu folgen, insbesondere der Straßenoberflächenhelligkeit, welche auftreten können, wenn das Eigenfahrzeug in einen Tunnel einfährt oder diesen verlässt, etc. Somit wird für jede der Bildlinien des Helligkeitsmessbereichs die Zeitachsenfilterung selektiv gemäß der Form von Änderungen in den aufeinanderfolgenden durchschnittlichen Helligkeitswerten angewendet, die für diese Linie erhalten werden. Dies wird gemacht, um Schwankungen in den aufeinanderfolgenden Aufnahmezielhelligkeitswerten zu unterdrücken, während gleichzeitig ein rasches Ansprechen auf plötzliche Änderungen in der Helligkeit der externen Szenerie erreicht wird. Diese Verarbeitung wird bei jeder der Bildlinien des Helligkeitsmessbereichs angewendet.
  • Insbesondere wenn bei dieser Ausführungsform die aufeinanderfolgenden durchschnittlichen Helligkeitswerte, die für eine Bildlinie erhalten werden, als sich allmählich über die Zeit hinweg ändernd erkannt werden, wie in dem Beispiel von (a) von 13, d.h. entlang eines Trends, ohne dass eine Streuung von Werten stattfindet, erfolgt keine Zeitachsenfilterung. D.h., der Durchschnittswert, der für diese Bildlinie in dem unlängst aufgenommenen Bild erhalten wird, wird direkt bei der Berechnung des Bildluminanzwertes (diese Berechnung wird nachfolgend beschrieben) verwendet.
  • Wenn sich zeigt, dass verteilte Schwankungen in den Durchschnittswerten auftreten, die für eine Bildlinie erhalten werden, wie in (b) von 13 gezeigt, erfolgt eine Zeitachsenfilterung durch eine gewichtete mittlere Filterung an aufeinanderfolgenden Durchschnittswerten. In allen anderen Fällen, beispielsweise wenn die für diese Bildlinie erhaltenen Durchschnittswerte sich sukzessive ändern, wie im Diagramm (c) gezeigt, wird eine Zeitachsenfilterung mit einer nicht gewichteten Mittelung angewendet.
  • Der Begriff „gewichtete mittlere Filterung“, wie er hier verwendet wird, bezeichnet eine Mittelungsberechnung, bei der neueren Daten gegenüber älteren Daten eine größere Gewichtung verliehen wird.
  • Die obige Verarbeitung, die im Schritt S135 durchgeführt wird, wird nachfolgend näher erläutert.
  • Es sei beispielsweise angenommen, dass T gleich 4 ist; wenn das Pufferintervall (t - 0 ~ t - T) ist, werden die durchschnittlichen Helligkeitswerte der i-ten Bildlinie innerhalb eines Pufferintervalls als die nachfolgende Größenbeziehung habend angenommen: B i , t 1 < B i , t 3 < B i , t 2 < B i , t 4 < B i , t 0 .
    Figure DE102008063121B4_0001
  • Wenn eine der Beziehungen gemäß nachfolgendem Ausdruck (1) erfüllt ist, wird beurteilt, dass die gestreuten Schwankungen, welche eine bestimmte Amplitude übersteigen, in den aufeinanderfolgenden Durchschnittswerten auftreten, die für die Bildlinie erhalten worden sind, d.h., wenn die Absolutdifferenz zwischen dem neusten Wert und dem Mittelpunktwert die halbe Breite (DZW/2) der Totzone, multipliziert durch die zeitliche Trennung (T/2) zwischen diesen Werten übersteigt. In diesem Fall erfolgt eine gewichtete mittlere Filterung. B i , t 0 B i , t 2 D Z W / 2 > T 2 oder B i , t 0 B i , t 2 D Z W / 2 < T 2
    Figure DE102008063121B4_0002
  • Wenn eine der Beziehungen vom nachfolgenden Ausdruck (2) erfüllt ist, wird beurteilt, dass eine graduelle Schwankung (ein Trend) in den aufeinanderfolgenden durchschnittlichen Helligkeitswerten dieser Bildlinie auftritt, so dass eine Zeitachsenfilterung nicht angewendet wird, d.h., wenn die Absolutdifferenz zwischen dem neuesten Wert und dem Mittelpunktswert die Breite (DZW) der Totzone, multipliziert mit der zeitlichen Trennung (T/2) zwischen diesen Werten übersteigt. Auf ähnliche Weise wird eine Zeitachsenfilterung nicht angewendet, wenn eine der Beziehungen des nachfolgenden Ausdrucks (3) erfüllt ist, d.h., wenn die Absolutdifferenz zwischen dem neuesten Wert und dem ältesten Wert die Breite (DZW) der Totzone, multipliziert mit der zeitlichen Trennung (T) zwischen diesen Werten übersteigt. B i , t 0 B i , t 2 D Z W > T 2 oder B i , t 0 B i , t 2 D Z W < T 2
    Figure DE102008063121B4_0003
    B i , t 4 B i , t 0 D Z W > T oder B i , t 4 B i , t 0 D Z W < T
    Figure DE102008063121B4_0004
  • In allen anderen Fällen wird eine Zeitachsenfilterung mit nicht gewichteter Mittelung angewendet.
  • Nachfolgend wird im Schritt S136, wie durch folgende Gleichung (4) gezeigt, eine gewichtete Mittelungsbearbeitung an dem Satz von durchschnittlichen Helligkeitswerten (entsprechende Bildlinien) angewendet, welche durch die selektiv angewendete Zeitachsenfilterung von Schritt S135 erhalten wurden. Das Ergebnis dieser gewichteten Mittelungsverarbeitung wird als vorläufiger Aufnahmezielhelligkeitswert bezeichnet.
  • In Gleichung (4) bezeichnet Fi,t den durchschnittlichen Helligkeitswert einer Bildlinie und Wi bezeichnet einen Gewichtungsfaktor, der für die Bildlinie gesetzt ist, und zwar für das nachfolgende Beispiel.
  • Der vorläufige Aufnahmezielhelligkeitswert wird als eine Kombination (bei dieser Ausführungsform einem Durchschnitt) von Durchschnittswerten erhalten, die für die Bildlinien des Zielobjektgebrauchsbereichs und für Bildlinien des Straßenoberflächengebrauchsbereichs erhalten wurden. Die Helligkeitswerte innerhalb des Straßenoberflächengebrauchsbereichs (nahe dem Eigenfahrzeug) sind relativ stabil, während diejenige des Zielobjektgebrauchsbereichs mehr variabel sind. Aus diesen Grund werden, wenn Gleichung (4) an die Bildliniendurchschnittshelligkeitswerte des Straßenoberflächengebrauchsbereichs angewendet wird, die jeweiligen Gewichtungswerte W, die in Gleichung (4) zugewiesen werden, gemäß der zunehmenden Nähe der Bildlinie (d.h. des durch die Bildlinie vertretenen Bereichs) zum Eigenfahrzeug hin verringert. Umgekehrt, wenn Gleichung (4) an die Bildliniendurchschnittswerte des Zielobjektgebrauchsbereichs angewendet wird, wird der Wert von W gemäß einem abnehmenden Abstand der Bildlinie (d.h. des von der Bildlinie repräsentierten Bereichs) verringert. B I M G _ T e m p , t = i = 1 L W i × F i , t
    Figure DE102008063121B4_0005
  • Nachfolgend (Schritt S137) wird eine Mehrzahl von Aufnahmezielhelligkeitswerten, die bis zum momentanen Punkt sukzessive erhalten wurden, ermittelt, um den Betrag der Änderung dieser Werte zu bestimmen. Wenn die Amplitude von Schwankungen innerhalb einer bestimmten Grenze bleibt, wird der vorläufige Aufnahmezielhelligkeitswert bei der Durchführung der Belichtungssteuerung verwendet. Wenn der Betrag der Schwankung die Grenze übersteigt, wird eine Tiefpassfilterungsverarbeitung (wie nachfolgend beschrieben) angewendet und das Ergebnis dieser Filterung wird bei der Durchführung der Belichtungssteuerung verwendet.
  • Die Tiefpassfilterungsverarbeitung wird durchgeführt, um Helligkeitsschwankungen zu verhindern.
  • Der Ablauf geht dann zum Schritt S140 von 3.
  • Die Anwendung einer Tiefpassfilterung, um Aufnahmezielhelligkeitswerte zu erhalten, kann ein Absinken der Ansprechgeschwindigkeit verursachen, so dass diese Filterung nur dann angewendet wird, wenn beurteilt wird, dass diese Werte sehr stark schwanken. Die erlaubbare Grenze der Amplitude von Schwankungen der aufeinanderfolgenden Aufnahmezielhelligkeitswerte wird basierend auf der Breite der Totzone bestimmt, wie nachfolgend beschrieben.
  • Eine die obige Tiefpassfilterung betreffende Verarbeitung wird in der folgenden Abfolge von Vorgängen durchgeführt, wobei P die Anzahl von vorher erhaltenen Aufnahmezielhelligkeitswerten bezeichnet, die zur Ermittlung des Schwankungsbetrages der Aufnahmezielhelligkeitswerte verwendet werden:
    • [1] Puffern (Speichern in Datenregistern) von Aufnahmezielhelligkeitswerten, welche aufeinanderfolgend zu periodischen Zeitpunkten bis zum momentanen Zeitpunkt gemessen wurden (Pufferintervall: t ~ t - P): B IMG # Temp , t B IMG # Temp , t P
      Figure DE102008063121B4_0006
    • [2] Jeweilige Differenzen zwischen jedem dieser Aufnahmezielhelligkeitswerte und dem unmittelbar vorher erhaltenen Aufnahmezielhelligkeitswert werden berechnet, wie durch folgende Gleichung (5) gezeichnet (Pufferintervall: 0 ~ P -1): D i f f 0 = B I M G _ T e m p , t = B I M G _ T e m p , t 1 D i f f P 1 = B I M G _ T e m p , t ( P 1 ) = B I M G _ T e m p , t P
      Figure DE102008063121B4_0007
    • [3] Die Anzahl von Wechseln in dieser Serie von Aufnahmezielhelligkeitswerten wird dann berechnet, d.h., die Anzahl von Vorzeichenänderungen zwischen benachbarten Differenzwerten (d.h. zwischen jedem Paar Diffi und Diffi-1 innerhalb des Satzes von Differenzwerten Diff0 ... DiffP-1).
    • [4] Die durchschnittliche Absolutgröße der Schwankungen wird in Relation zur halben Breite DZW/2 der Totzone ermittelt. Genauer gesagt, wenn nachfolgender Ausdruck (6) erfüllt ist, wird beurteilt, dass C = 1.0 (wobei C ein Parameter in nachfolgender Gleichung (8)) ist. Wenn folgender Ausdruck (7) erfüllt ist, wird der Wert von C aus der Grafik von 15 erhalten. j = 0 P 1 A B S ( D i f f j ) P < D Z W 2
      Figure DE102008063121B4_0008
      j = 0 P 1 A B S ( D i f f j ) P D Z W 2
      Figure DE102008063121B4_0009
    • [5] Eine Tiefpassfilterung wird dann selektiv gemäß nachfolgender Gleichung (8) angewendet, um einen Aufnahmezielhelligkeitswert (BIMG,t) zur Verwendung bei der Belichtungssteuerung zu erhalten. D.h., wenn der Wert von C als 1 erhalten wird, wird der vorläufige Aufnahmezielhelligkeitswert, der im Schritt S136 erhalten wurde, nachfolgend direkt bei der Belichtungssteuerung verwendet. Ansonsten (C < 1), wird eine Tiefpassfilterberechnung durchgeführt, wobei wenigstens ein vorher erhaltener Aufnahmezielhelligkeitswert verwendet wird und das Ergebnis dieser TPF-Verarbeitung wird bei der Belichtungssteuerung verwendet. Mit dieser Ausführungsform besteht die Tiefpassfilterberechnung aus einer Multiplizierung des vorläufigen Aufnahmezielhelligkeitswertes mit C und des unmittelbar vorher erhaltenen Aufnahmezielhelligkeitswertes mit (1 - C) und der Aufsummierung der Ergebnisse, d.h.: B I M G , t = C × B I M G _ T e m p , t + ( 1 C ) × B I M G , t 1
      Figure DE102008063121B4_0010
  • Dies schließt die Verarbeitung von Schritt S130 in 3 ab. Nachfolgend wird im Schritt S140 von 3 eine Entscheidung gemacht, ob der Aufnahmezielhelligkeitswert aus Schritt S130 innerhalb der Totzone liegt. Wenn beurteilt wird, dass der Aufnahmezielhelligkeitswert innerhalb der Totzone liegt, endet die Verarbeitung. Wenn beurteilt wird, dass der Aufnahmezielhelligkeitswert außerhalb des Totzonenbereichs liegt, wird Schritt S150 durchgeführt, in welchem eine Luminanzsteuerkarte gewählt wird (wie unter Bezugnahme auf das Diagramm (b) von 2 beschrieben), und zwar gemäß dem Aufnahmezielhelligkeitswert aus Schritt S130 und dem Luminanzsteuerzielwert, der im Schritt S110 bestimmt wurde. Die Belichtungssteuerung wird dann durch Festsetzen des Kameravideoverstärker-Verstärkungsfaktors und der Verschlussgeschwindigkeit gemäß der gewählten Luminanzsteuerkarte durchgeführt. Die Durchführung der Verarbeitung endet dann.
  • Die Ausführungsform wurde oben unter der Annahme beschrieben, dass jede der Luminanzsteuerkarten eine lineare Charakteristik hat. Jedoch kann die Kamera 21 in einem HDR-Modus (high dynamic range) betrieben werden, in welchem der Bereich zwischen minimalen und maximalen Luminanzwerten der Bildelemente einem weiteren Bereich von Szeneriehelligkeitswerten entspricht, als in einem normalen Modus. In diesem Fall können die Luminanzsteuerkarten die Form gemäß 16 annehmen, wo in Teilen der Kartencharakteristika Knicke vorhanden sind. Als Ergebnis dieser NichtLinearitäten der Luminanzsteuerkartencharakteristika können sich komplexe Einschränkungen in den Werten von Verschlussgeschwindigkeit und Verstärkungsfaktor ergeben, die verwendet werden können. Aus diesem Grund ist es wünschenswert, dass der Änderungsgrad in dem Abknickungsbetrag zwischen benachbarten Luminanzsteuerkarten klein gemacht wird.
  • Durch Verwendung solcher Luminanzsteuerkarten für den HDR-Betrieb kann, wenn es eine plötzliche starke Änderung in der Helligkeit der externen Szenerie gibt (zum Beispiel, wenn das Eigenfahrzeug in einen Tunnel einfährt), die Zeit, die bis zu einer geeigneten Steuerung der Kamerabelichtung verstreicht, verringert werden.
  • Erhaltene Effekte
  • Wie sich aus Obigem ergibt, können bei der Belichtungssteuervorrichtung 10 dieser Ausführungsform Bildelemente, die einen Helligkeitsmessbereich bilden, aus jedem von aufeinanderfolgend aufgenommenen Bildern extrahiert werden (Schritt S131), wobei der Helligkeitsmessbereich als ein Zielobjektgebrauchsbereich und ein Straßenoberflächengebrauchsbereich ausgebildet ist. Die Helligkeit eines Zielobjekts (zum Beispiel vorausfahrendes Fahrzeug, das vorderhalb des Eigenfahrzeuges liegt und durch eine Erkennungsverarbeitung erkannt werden muss, die auf den aufgenommenen Bildern angewendet wird) wird basierend auf Werten gemessen, die für den Zielobjektgebrauchsbereich erhalten werden, wohingegen die Helligkeit der Straßenoberfläche basierend auf Werten gemessen wird, die für den Straßenoberflächengebrauchsbereich erhalten werden. Im Ergebnis lässt sich eine größere Stabilität der Belichtungssteuerung (d.h. Steuerung der Belichtung einer Kamera, die zum Erhalt von Bildern nötig ist, welche ein Zielobjekt ausdrücken) erreicht werden als bei Vorrichtungstypen nach dem Stand der Technik, die eine Belichtungssteuerung alleine auf der Grundlage der Helligkeitserkennung eines Zielobjektes durchführen.
  • Weiterhin ist eine größere Stabilität der Belichtungssteuerung unter verschiedenen Bedingungen erreicht, beispielsweise wenn das Eigenfahrzeug in einen Tunnel einfährt oder diesen verlässt oder durch Bereiche mit hellem Sonnenlicht und Schatten fährt oder wenn ein vorausfahrendes Fahrzeug plötzlich in das Gesichtsfeld der Kamera einfährt oder dieses verlässt, etc. Diese Vorteile der Erfindung werden jedoch ohne die Notwendigkeit eines wesentlichen Anstiegs in der Prozesslast erreicht.
  • Zusätzlich wird bei der vorliegenden Erfindung die Stabilität der Belichtungssteuerung verbessert, indem der oberste Teil des Zielobjektgebrauchsbereichs auf die FOE-Position eines jeden Bildes gelegt wird, so dass sichergestellt wird, dass Nebenlicht (zum Beispiel vom Himmel) die Helligkeitsmessung nicht beeinflusst.
  • In den beigefügten Ansprüchen entspricht die hierin genannte Extraktionsschaltung der CPU 11, welche die Verarbeitung vom Schritt S131 in 6 durchführt, während die hierin genannte Belichtungssteuerschaltung der CPU 11 entspricht, welche die Verarbeitung vom Schritt S150 in 3 durchführt.
  • Es sei festzuhalten, dass die Erfindung nicht auf die oben beschriebene Ausführungsform beschränkt ist, und dass verschiedene Abwandlungen und andere Ausführungsformen ins Auge gefasst werden können, welche unter den beanspruchten Umfang der Erfindung fallen. Beispielsweise ist die Ausgestaltung des Helligkeitsmessbereichs nicht auf diejenige der beschriebenen Ausführungsform beschränkt und kann für eine bestimmte Anwendung passend ausgebildet werden.

Claims (6)

  1. Belichtungssteuervorrichtung für die Belichtungssteuerung einer elektronischen digitalen Kamera, die in ein Fahrzeug eingebaut ist, wobei die Kamera angeordnet ist, eine externe Szenerie als ein Bild aufzunehmen, das eine Reihe von Bildelementen mit jeweiligen Luminanzwerten aufweist, wobei das Bild ein Zielobjekt ausdrückt, das auf einer Oberfläche einer Straße vorhanden ist, die sich vorderhalb des Fahrzeuges erstreckt, wobei die Belichtungssteuervorrichtung eine Schaltung aufweist, welche die Luminanzwerte in entsprechende Helligkeitswerte der externen Szenerie umwandelt, basierend auf einer vorbestimmten Beziehung zwischen einer Belichtungsbedingung der Kamera, der Luminanzwerte und der Helligkeitswerte; wobei die Belichtungssteuervorrichtung aufweist: eine Extraktionsschaltung, welche aus dem Bild eine erste Mehrzahl von Bildelementen zu extrahieren vermag, um einen Zielobjektgebrauchsbereich zur Verwendung bei der Messung eines Helligkeitswertes des Zielobjektes zu bilden und eine zweite Mehrzahl von Bildelementen zu extrahieren vermag, um einen Straßenoberflächengebrauchsbereich zur Verwendung bei der Messung eines Helligkeitswertes der Straßenoberfläche zu bilden; und eine Belichtungssteuerschaltung, welche die Kamerabelichtung basierend auf den Helligkeitswerten des Straßenoberflächengebrauchsbereichs und des Zielobjektgebrauchsbereichs in Kombination zu steuern vermag; und wobei ein oberster Teil des Zielobjektgebrauchsbereichs an einer FOE-Position (focus of expansion) innerhalb des Bildes liegt; wobei der Zielobjektgebrauchsbereich und der Straßenoberflächengebrauchsbereich in Kombination einen Helligkeitsmessbereich bilden und die Belichtungssteuerschaltung konfiguriert ist, um: für jede von jeweiligen Bildlinien des Helligkeitsmessbereichs die Helligkeitswerte einer bestimmten Anzahl von Bildelementen, welche die höchsten Helligkeitswerte in der Bildlinie aufweisen, und die Helligkeitswerte einer bestimmten Anzahl von Bildelementen ausschließen, welche die niedrigsten Helligkeitswerte in der Bildlinie aufweisen, wobei die bestimmten Anzahlen von Bildelementen auf der Grundlage der vertikalen Position der Bildlinie in dem Bild bestimmt werden; und eine Durchschnittsbildung von Helligkeitswerten der verbleibenden Bildelemente der Bildlinie durchzuführen, um einen räumliche-Domäne-Durchschnittshelligkeitswert der Bildlinie zu erlangen; und wobei die Belichtungssteuerschaltung die Kamerabelichtung auf der Grundlage eines Durchschnitts der räumliche-Domäne-Durchschnittshelligkeitswerte der jeweiligen Bildlinien des Straßenoberflächengebrauchsbereichs und eines Durchschnitts der räumliche-Domäne-Durchschnittshelligkeitswerte der jeweiligen Bildlinien des Zielobjektgebrauchsbereich in Kombination steuert.
  2. Belichtungssteuervorrichtung nach Anspruch 1, wobei der Straßenoberflächengebrauchsbereich und der Zielobjektgebrauchsbereich in jeweiligen vorbestimmten Positionen innerhalb des Bildes liegen.
  3. Belichtungssteuervorrichtung nach Anspruch 2, wobei der Zielobjektgebrauchsbereich in einer Form ausgebildet ist, welche in horizontaler Breite sukzessive entlang einer Richtung zu einem oberen Teil des Straßenoberflächengebrauchsbereichs zunimmt.
  4. Belichtungssteuervorrichtung nach Anspruch 1, wobei die Belichtungssteuerschaltung konfiguriert ist, für jede der Bildlinien des Helligkeitsmessbereichs wiederholt Operationen auszuführen, die beinhalten: Speichern einer Anzahl von aufeinanderfolgend erlangten räumliche-Domäne-Durchschnittshelligkeitswerten der Bildlinie, wobei die Anzahl entsprechend der Bildlinie vorbestimmt wird; und Durchführen einer Durchschnittsbildung der gespeicherten räumliche-Domäne-Durchschnittshelligkeitswerte der Bildlinie, um einen Zeitachsen-Durchschnittshelligkeitswert entsprechend der Bildlinie zu erlangen; wobei die vorbestimmte Anzahl auf der Grundlage einer vertikalen Position der Bildlinie in dem Bild bestimmt wird, und die Belichtungssteuerschaltung die Kamerabelichtung auf der Grundlage eines Durchschnitts der Zeitachsen-Durchschnittshelligkeitswerte der Bildlinien des Straßenoberflächengebrauchsbereichs und eines Durchschnitts der Zeitachsen-Durchschnittshelligkeitswerte der Bildlinien des Zielobjektgebrauchsbereich in Kombination steuert.
  5. Belichtungssteuervorrichtung nach Anspruch 4, wobei die Belichtungssteuerschaltung konfiguriert ist, die gespeicherten räumliche-Domäne-Durchschnittshelligkeitswerte der Bildlinie für ein Bewerten einer Weise einer Zeitachsen-Variation der gespeicherten räumliche-Domäne-Durchschnittshelligkeitswerte zu analysieren, auf der Grundlage der Weise der Zeitachsen-Variation zu beurteilen, ob die Durchschnittsbildung der gespeicherten räumliche-Domäne-Durchschnittshelligkeitswerte der Bildlinie anzuwenden ist oder nicht, und wenn die Durchschnittsbildung anzuwenden ist, selektives Bestimmen einer Form der Durchschnittsbildung auf der Grundlage der Weise der Zeitachsen-Variation.
  6. Belichtungssteuerprogramm zur Durchführung durch einen Computer, um jeweilige Funktionen einer Belichtungssteuervorrichtung zur Belichtungssteuerung einer elektronischen digitalen Kamera zu implementieren, die in ein Fahrzeug eingebaut ist, wobei die Kamera angeordnet ist, ein Bild einer Szenerie vorderhalb des Fahrzeuges als jeweilige Luminanzwerte einer Reihe von Bildelementen aufzunehmen, und wobei die Belichtungssteuervorrichtung Mittel aufweist, die Bildelementluminanzwerte in entsprechende Helligkeitswerte der externen Szenerie umzuwandeln; wobei die Belichtungssteuervorrichtung aufweist: Extraktionsmittel, welche aus dem Bild eine erste Mehrzahl von Bildelementen zu extrahieren vermögen, um einen Zielobjektgebrauchsbereich zur Verwendung bei der Messung eines Helligkeitswertes des Zielobjektes zu bilden und eine zweite Mehrzahl von Bildelementen zu extrahieren vermögen, um einen Straßenoberflächengebrauchsbereich zur Verwendung bei der Messung eines Helligkeitswertes der Straßenoberfläche zu bilden; und Belichtungssteuermittel, welche die Belichtung basierend auf den Helligkeitswerten des Straßenoberflächengebrauchsbereichs und des Zielobjektgebrauchsbereichs in Kombination zu steuern vermögen; und wobei ein oberster Teil des Zielobjektgebrauchsbereichs an einer FOE-Position (focus of expansion) innerhalb des Bildes liegt; wobei der Zielobjektgebrauchsbereich und der Straßenoberflächengebrauchsbereich in Kombination einen Helligkeitsmessbereich bilden und die Belichtungssteuermittel konfiguriert sind, um: für jede von jeweiligen Bildlinien des Helligkeitsmessbereichs die Helligkeitswerte einer bestimmten Anzahl von Bildelementen, welche die höchsten Helligkeitswerte in der Bildlinie aufweisen, und die Helligkeitswerte einer bestimmten Anzahl von Bildelementen ausschließen, welche die niedrigsten Helligkeitswerte in der Bildlinie aufweisen, wobei die bestimmten Anzahlen von Bildelementen auf der Grundlage der vertikalen Position der Bildlinie in dem Bild bestimmt werden; und eine Durchschnittsbildung von Helligkeitswerten der verbleibenden Bildelemente der Bildlinie durchzuführen, um einen räumliche-Domäne-Durchschnittshelligkeitswert der Bildlinie zu erlangen; und wobei die Belichtungssteuermittel die Kamerabelichtung auf der Grundlage eines Durchschnitts der räumliche-Domäne-Durchschnittshelligkeitswerte der jeweiligen Bildlinien des Straßenoberflächengebrauchsbereichs und eines Durchschnitts der räumliche-Domäne-Durchschnittshelligkeitswerte der jeweiligen Bildlinien des Zielobjektgebrauchsbereich in Kombination steuern.
DE102008063121.3A 2007-12-26 2008-12-24 Belichtungssteuervorrichtung und Belichtungssteuerprogramm für elektronische Fahrzeugkamera Expired - Fee Related DE102008063121B4 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2007-334935 2007-12-26
JP2007334935A JP4433046B2 (ja) 2007-12-26 2007-12-26 露出制御装置及び露出制御プログラム

Publications (2)

Publication Number Publication Date
DE102008063121A1 DE102008063121A1 (de) 2009-07-23
DE102008063121B4 true DE102008063121B4 (de) 2022-04-28

Family

ID=40786059

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102008063121.3A Expired - Fee Related DE102008063121B4 (de) 2007-12-26 2008-12-24 Belichtungssteuervorrichtung und Belichtungssteuerprogramm für elektronische Fahrzeugkamera

Country Status (3)

Country Link
US (1) US8421909B2 (de)
JP (1) JP4433046B2 (de)
DE (1) DE102008063121B4 (de)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4784659B2 (ja) * 2009-02-16 2011-10-05 トヨタ自動車株式会社 車両用周辺監視装置
KR101241225B1 (ko) * 2011-06-27 2013-03-13 현대자동차주식회사 차량의 영상 인식 시스템 및 그 방법
JP5937832B2 (ja) * 2012-01-30 2016-06-22 クラリオン株式会社 車載カメラ用露出制御装置
JP6028382B2 (ja) * 2012-04-27 2016-11-16 株式会社デンソー 前方監視カメラ
JP6287769B2 (ja) * 2012-07-27 2018-03-07 株式会社リコー 画像処理装置、車両、及びプログラム
JP5800288B2 (ja) * 2012-10-30 2015-10-28 株式会社デンソー 車両用画像処理装置
JP5737306B2 (ja) * 2013-01-23 2015-06-17 株式会社デンソー 露出制御装置
US9800780B2 (en) * 2013-05-16 2017-10-24 Sony Corporation Image processing device, image processing method, and program to capture an image using fisheye lens
KR101353052B1 (ko) * 2013-07-31 2014-01-20 주식회사 피엘케이 테크놀로지 교통표지판 인식을 위한 차량용 영상인식시스템
EP2913993B1 (de) * 2014-02-26 2016-02-17 Axis AB Verfahren und Einrichtung zur Belichtungssteuerung einer Kamera
US20150330054A1 (en) * 2014-05-16 2015-11-19 Topcon Positioning Systems, Inc. Optical Sensing a Distance from a Range Sensing Apparatus and Method
JP6657925B2 (ja) * 2015-06-04 2020-03-04 ソニー株式会社 車載カメラ・システム並びに画像処理装置
JP6644509B2 (ja) * 2015-10-01 2020-02-12 アルパイン株式会社 車両検知警報装置および車両検知警報方法
KR20180097966A (ko) * 2017-02-24 2018-09-03 삼성전자주식회사 자율 주행을 위한 영상 처리 방법 및 장치
DE102018214938A1 (de) * 2018-09-03 2020-03-05 Conti Temic Microelectronic Gmbh Die vorliegende Erfindung betrifft ein Verfahren zur Erhöhung der Verkehrssicherheit eines Ego-Fahrzeugs sowie ein Ego-Fahrzeug mit einem Fahrerassistenzsystem

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06253208A (ja) 1993-02-26 1994-09-09 Isuzu Motors Ltd 車線認識装置
DE4410064A1 (de) 1993-03-24 1994-09-29 Fuji Heavy Ind Ltd Verfahren und System zur Abstandserkennung
EP1074430A1 (de) 1999-08-04 2001-02-07 Iteris, Inc. Bilderfassungs-System und Verfahren mit dynamischer Helligkeitssteuerung
DE10103924A1 (de) 2000-01-31 2001-08-16 Yazaki Corp Vorrichtung zur Umgebungsüberwachung eines Fahrzeugs
JP2005148308A (ja) 2003-11-13 2005-06-09 Denso Corp 白線検出用カメラの露出制御装置
DE102004047476A1 (de) 2004-09-30 2006-04-13 Robert Bosch Gmbh Vorrichtung und Verfahren zur Einstellung einer Kamera

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5339163A (en) 1988-03-16 1994-08-16 Canon Kabushiki Kaisha Automatic exposure control device using plural image plane detection areas
US5255044A (en) 1990-06-05 1993-10-19 Nikon Corporation Automatic exposure control apparatus with improved exposure value calculation for photographing a moving object
JP3412174B2 (ja) * 1992-05-21 2003-06-03 松下電器産業株式会社 自動露光制御装置
JPH06253298A (ja) 1993-02-26 1994-09-09 Matsushita Electric Ind Co Ltd 映像合成表示装置
US20050083428A1 (en) 1995-03-17 2005-04-21 Hiroto Ohkawara Image pickup apparatus
JPH11337998A (ja) 1998-05-22 1999-12-10 Fujitsu Ten Ltd 画像処理装置
US6185374B1 (en) 1998-09-01 2001-02-06 Minolta Co., Ltd. Mechanism for controlling flash light emission, camera with the mechanism, and its control method
JP2000075345A (ja) 1998-09-01 2000-03-14 Minolta Co Ltd カメラ
US7365779B2 (en) 2000-09-14 2008-04-29 Fujitsu Ten Limited Image processing apparatus for selectively storing specific regions of an image
US7251056B2 (en) 2001-06-11 2007-07-31 Ricoh Company, Ltd. Image processing apparatus, image processing method and information recording medium
US20080094471A1 (en) * 2005-05-20 2008-04-24 Toyota Jidosha Kabushiki Kaisha Image Processor for Vehicles
JP4984666B2 (ja) 2006-06-12 2012-07-25 ソニー株式会社 不揮発性メモリ
JP2008028957A (ja) * 2006-07-25 2008-02-07 Denso Corp 車両用画像処理装置
KR100918701B1 (ko) 2007-10-11 2009-09-22 한국과학기술원 강인한 자동 화이트 밸런스 방법

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06253208A (ja) 1993-02-26 1994-09-09 Isuzu Motors Ltd 車線認識装置
DE4410064A1 (de) 1993-03-24 1994-09-29 Fuji Heavy Ind Ltd Verfahren und System zur Abstandserkennung
EP1074430A1 (de) 1999-08-04 2001-02-07 Iteris, Inc. Bilderfassungs-System und Verfahren mit dynamischer Helligkeitssteuerung
DE10103924A1 (de) 2000-01-31 2001-08-16 Yazaki Corp Vorrichtung zur Umgebungsüberwachung eines Fahrzeugs
JP2005148308A (ja) 2003-11-13 2005-06-09 Denso Corp 白線検出用カメラの露出制御装置
DE102004047476A1 (de) 2004-09-30 2006-04-13 Robert Bosch Gmbh Vorrichtung und Verfahren zur Einstellung einer Kamera

Also Published As

Publication number Publication date
US8421909B2 (en) 2013-04-16
JP4433046B2 (ja) 2010-03-17
US20090174809A1 (en) 2009-07-09
JP2009157086A (ja) 2009-07-16
DE102008063121A1 (de) 2009-07-23

Similar Documents

Publication Publication Date Title
DE102008063121B4 (de) Belichtungssteuervorrichtung und Belichtungssteuerprogramm für elektronische Fahrzeugkamera
DE102008063122B4 (de) Belichtungssteuervorrichtung und Belichtungssteuerprogramm für elektronische Fahrzeugkamera
DE102008064411B4 (de) Belichtungssteuerungsvorrichtung und Belichtungssteuerungsprogramm für eine in einem Fahrzeug installierte elektronische Kamera
DE10292327B4 (de) Fahrzeugumgebungsbildverarbeitungsvorrichtung und Aufzeichnungsmedium
DE102009005861B4 (de) Fahrzeugumgebungs-Erkennungssystem
DE102004041919B4 (de) Fahrzeugumgebungs-Überwachungseinrichtung
DE60037360T2 (de) Verfahren und Vorrichtung zur Geschwindigkeitsmessung von Fahrzeugen mit ein Bildverarbeitungssystem
DE60217589T2 (de) Vorrichtung und Verfahren zur Detektion von weissen Linien
DE102007043164B4 (de) Nebelerkennungsvorrichtung für Kraftfahrzeuge
DE112017000816T5 (de) Fahrerassistenzsystem mit variabler Bildauflösung
DE102011004006A1 (de) Spurmarkierungserkennungssystem mit verbessertem Erkennungsverhalten
DE102014117102B4 (de) Spurwechselwarnsystem und Verfahren zum Steuern des Spurwechselwarnsystems
DE102009036844B4 (de) Belichtungsbestimmungsvorrichtung und Bildverarbeitungsvorrichtung
DE112010002047T5 (de) Objekterfassungsvorrichtung
DE112017006801B4 (de) Bildaufnahmesteuervorrichtung für ein Fahrzeug, Fahrerbeobachtungsvorrichtung und Bildaufnahmesteuerverfahren für ein Fahrzeug
DE102005016288A1 (de) Vorrichtung zur Erfassung eines Objekts vor einem Fahrzeug
WO2013083313A1 (de) Verfahren und vorrichtung zur erkennung einer bremssituation
EP2181414B1 (de) Verfahren und anordnung zur auswertung von helligkeitswerten in sensorbildern bei bildauswertenden umfelderkennungssystemen
EP3844943B1 (de) Verfahren zur anzeige eines modells einer umgebung, steuergerät und fahrzeug
DE112014002331T5 (de) Bildverarbeitungsvorrichtung und Bildverarbeitungsverfahren
DE102011004463A1 (de) Spurmarkierungserkennungssystem mit verbessertem erkennungsverhalten
EP0951776B1 (de) Verfahren zur regelung der belichtung von videokameras
DE102004010908B4 (de) Bildaufnahmevorrichtung und Bildaufnahmeverfahren
DE102015012809A1 (de) Bildaufnahmeeinrichtung für ein Kraftfahrzeug und Verfahren zum Betreiben einer derartigen Bildaufnahmeeinrichtung
DE102005056665A1 (de) Fahrzeugumgebungsüberwachungsvorrichtung

Legal Events

Date Code Title Description
R012 Request for examination validly filed

Effective date: 20140512

R016 Response to examination communication
R016 Response to examination communication
R018 Grant decision by examination section/examining division
R020 Patent grant now final
R119 Application deemed withdrawn, or ip right lapsed, due to non-payment of renewal fee