DE102008063122A1 - Belichtungssteuervorrichtung und Belichtungssteuerprogramm für elektronische Fahrzeugkamera - Google Patents

Belichtungssteuervorrichtung und Belichtungssteuerprogramm für elektronische Fahrzeugkamera Download PDF

Info

Publication number
DE102008063122A1
DE102008063122A1 DE102008063122A DE102008063122A DE102008063122A1 DE 102008063122 A1 DE102008063122 A1 DE 102008063122A1 DE 102008063122 A DE102008063122 A DE 102008063122A DE 102008063122 A DE102008063122 A DE 102008063122A DE 102008063122 A1 DE102008063122 A1 DE 102008063122A1
Authority
DE
Germany
Prior art keywords
exposure control
values
brightness
brightness values
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
DE102008063122A
Other languages
English (en)
Other versions
DE102008063122B4 (de
Inventor
Kentaro Kariya Mochida
Takayuki Kariya Kimura
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Publication of DE102008063122A1 publication Critical patent/DE102008063122A1/de
Application granted granted Critical
Publication of DE102008063122B4 publication Critical patent/DE102008063122B4/de
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B7/00Control of exposure by setting shutters, diaphragms or filters, separately or conjointly
    • G03B7/28Circuitry to measure or to take account of the object contrast
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00Special procedures for taking photographs; Apparatus therefor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/71Circuitry for evaluating the brightness variation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/76Circuitry for compensating brightness variation in the scene by influencing the image signals

Abstract

Bei einer Belichtungssteuervorrichtung für eine in einem Fahrzeug eingebaute Kamera, welche Bilder einer externen Szenerie vorderhalb des Fahrzeuges als Felder von Bildelementen aufnimmt, wird ein gemessener Helligkeitswert für jedes Bild basierend auf entsprechenden räumlich-domain Durchschnittshelligkeitswerten einer Mehrzahl von Bildelementgruppen, beispielsweise horizontalen Reihen von Bildelementen erhalten. Für jede aus zumindest einem Teil der Gruppen wird eine Zeitachsenfilterung an einer Mehrzahl von durchschnittlichen Helligkeitswerten angewendet, welche aufeinanderfolgend für diese Gruppe erhalten wurden, um durchschnittliche Helligkeitswerte mit einem verringerten Effekt von Zeitachsenschwankungen in der Helligkeit zu erlangen.

Description

  • QUERVERWEIS AUF ZUGEHÖRIGE ANMELDUNGEN
  • Diese Anmeldung basiert auf der japanischen Patentanmeldung Nr. 2007-334936 , angemeldet am 26. Dezember 2007; auf den dortigen Offenbarungsgehalt wird vollinhaltlich Bezug genommen.
  • HINTERGRUND DER ERFINDUNG
  • Gebiet der Anmeldung
  • Die vorliegende Anmeldung betrifft eine Belichtungssteuervorrichtung zur Belichtungssteuerung bei einer elektronischen Kamera, welche aufeinanderfolgend Bilder eines Bereichs aufnimmt, der sich vorderhalb eines Fahrzeuges befindet, in welchem die Kamera eingebaut ist.
  • Beschreibung des Standes der Technik
  • In den letzten Jahren sind elektronische Fahrzeugkameras (allgemein gesagt, digitale Videokameras, welche nachfolgend einfach als „Kameras" bezeichnet werden) in Gebrauch gekommen, um Bilder eines Bereiches vorderhalb des Fahrzeuges aufzunehmen, wobei sich diese Technologie entwickelt hat derart, dass die aufgenommenen Bilder (d. h., Sätze von digitalen Daten, welche jeweils aufgenommene Bilder ausdrücken) verarbeitet werden, um Objekte, beispielsweise ein vorausfahrendes Fahrzeug, zu erkennen. Die Verarbeitungsergebnisse können verwendet werden, um einem Fahrzeugfahrer Warnhinweise zu geben, um die Fahrt des Fahrzeuges zu steuern, etc.
  • Bei einer solchen Technologie ist es wichtig, dass die Belichtung der Kamera gemäß der Helligkeit in der Szenerie, die von der Kamera aufgenommen wird, geeignet gesteuert wird, um die Erkennungszuverlässigkeit weißer Linien auf der Straßenoberfläche eines festen Objektes, beispielsweise eines vorausfahrenden Fahrzeuges etc., basierend auf von der Kamera aufgenommenen Bildern, maximiert wird.
  • Ein Fahrzeug mit einer solchen Kamera und eingebauten Verarbeitungsvorrichtungen, welche beschrieben werden sollen, wird nachfolgend als „Eigenfahrzeug" bezeichnet.
  • Wie beispielsweise in der japanischen Erstveröffentlichung Nr. 6-253208 (hier als „Referenzdokument 1" bezeichnet) beschrieben, wurde ein Verfahren zur Verwendung von Kamerabildern zur Erkennung weißer Linien auf Straßenoberflächen vorgeschlagen, wobei zwei sich seitlich erstreckende Abschnitte innerhalb eines jeden Bildes gewählt werden. Ein erster dieser Abschnitte wird so positioniert, dass er einen Teil der Straßenoberfläche enthält, der momentan nahe an dem Eigenfahrzeug liegt. Die von dem ersten Abschnitt erhaltenen Daten in jedem der aufeinanderfolgend aufgenommenen Bilder werden verwendet, weiße Linien auf der Straßenoberfläche zu erkennen. Der zweite Abschnitt wird so positioniert, dass er einen Teil der Straßenoberfläche enthält, der weiter vorderhalb des Eigenfahrzeuges liegt (d. h. in einem oberen Teil eines jeden aufgenommenen Bildes liegt). Somit enthält der zweite Abschnitt einen Bereich, der einer Erkennungsverarbeitung eines zukünftigen Zeitpunktes unterworfen wird, bestimmt von der Geschwindigkeit, mit der sich das Eigenfahrzeug bewegt. In dem die durchschnittlichen Helligkeitswert der ersten und zweiten Abschnitte mit b0 bzw. b1 bezeichnet werden, wird die Differenz dazwischen in jedem der aufeinanderfolgend aufgenommenen Bilder erhalten. Wenn herausgefunden wird, dass die Differenz einen bestimmten Schwellenwert übersteigt, wird die Kamerabelichtung, die bei der Aufnahme des nächsten Bildes angewendet wird, basierend auf dem Helligkeitswert b1 eingestellt (d. h. die Kameraverschlussgeschwindigkeit etc. wird geändert).
  • Wenn bei dem obigen Verfahren gemäß Referenzdokument 1 sich beispielsweise die Straßenoberfläche vorderhalb des Fahrzeuges zwischen einem im hellen Sonnenlicht liegenden Zustand und einem Schattenzustand ändert, kann die Kamerabelichtung geeignet für die aufeinanderfolgend aufgenommenen Bilder gesteuert werden, d. h. so, dass eine abrupte Änderung der Szeneriehelligkeit die Zuverlässigkeit der Erkennung weißer Linien nicht beeinflusst.
  • Bei einer tatsächlichen Straßenumgebung ändert sich jedoch die Helligkeit der Straßenoberfläche für gewöhnlich nicht zwischen einem Sonnenlichtzustand und einem Schattenzustand, (wobei sich die Änderung gleichförmig über die Straßenoberfläche erstreckt) in einer derart einfachen Weise. Anstelle hiervon kann die Änderung verschiedene Formen annehmen. Aus diesem Grund ist es schwierig, die Kamerabelichtung mittels eines derartigen Verfahrens unter tatsächlichen Betriebsbedingungen zuverlässig zu steuern.
  • Es wurde auch vorgeschlagen, beispielsweise in der japanischen Patenterstveröffentlichung Nr. 2005-148308 (nachfolgend als „Referenzdokument 2" bezeichnet), eine Belichtungssteuervorrichtung zu verwenden, bei der die Helligkeit der Straßenoberfläche vorderhalb eines Eigenfahrzeuges zur Verwendung bei einer Kamerabelichtungssteuerung gemessen wird, wobei die Effekte von weißen Linien (Fahrspurmarkierungen) auf der Straßenoberfläche ausgeschlossen werden. Eine Videokamera in dem Fahrzeug erhält aufeinanderfolgend aufgenommene Bilder eines Bereichs direkt vorderhalb des Fahrzeuges und eine Mehrzahl von Helligkeitsmessbereichen wird innerhalb eines jeden Bildes bestimmt, welche so gestaltet sind, dass diese weißen Linien ausgeschlossen sind. Die Belichtung der fahrzeugseitigen Kamera wird basierend auf gemessenen Helligkeitswerten dieser Helligkeitsmessbereiche gesteuert. Es ist jedoch schwierig, diese Helligkeitsmessbereiche so zu formen und zu legen, dass sichergestellt ist, dass die weißen Linien durchgängig hiervon ausgeschlossen sind. Damit ist es in der Praxis schwierig, solche Helligkeitsmessbereiche zur Durchführung zuverlässiger Helligkeitsmessungen basierend auf Helligkeitswerten dieser Bereiche durchzuführen.
  • Bei einer in ein Fahrzeug eingebauten Belichtungssteuervorrichtung ist es notwendig, eine hohe Verarbeitungsgeschwindigkeit zu erhalten. Sie kann erhöht werden, indem eine Verarbeitung nur an einem Teil der Bildelemente angewendet wird, welche den Helligkeitsmessbereich bilden, anstelle von Helligkeitswerte basierend auf all diesen Bildelementen zu ermitteln. Wenn jedoch dies gemacht wird, ergibt sich das Problem, dass verteilte hochamplitudige Schwankungen in den Helligkeitswerten einiger Teile des Helligkeitsmessbereichs auftreten können. Dies ist insbesondere dann der Fall bei einem Teil des Helligkeitsmessbereichs, der externen Bereichen entspricht, die relativ weit entfernt sind.
  • Ein Grund hierfür wird unter Bezugnahme auf das Beispiel von 17 beschrieben, welches eine Belichtungssteuervorrichtung betrifft, bei der „Ausdünnen" angewendet wird, wobei einige Bildlinien (Reihen von Bildelementen) 52 von einem Helligkeitsmessbereich in einem aufgenommenen Bild 48 ausgeschlossen werden, d. h. Helligkeitswerte dieser Bildlinien werden bei der Verwendung in der Helligkeitsmessverarbeitung weggelassen. Das obere Diagramm von 17 zeigt konzeptuell ein aufgenommenes Bild, in welchem ein vorausfahrendes Fahrzeug 50 erscheint, wobei Licht von Heckleuchten 51 des Fahrzeuges 50 abgegeben wird und in dem Bild an Positionen entsprechend einer der ausgeschlossenen Bildlinien 52 erscheint, wie durch den Pfeil 53 angezeigt. Wenn eine Nickbewegung an einem oder beiden Fahrzeugen auftritt, kann in einem nachfolgenden Bild, wie durch das untere Diagramm gezeigt, Licht von den Heckleuchten 51 Positionen anders als der der ausgeschlossenen Bildlinien 52 entsprechen, wie durch den Pfeil 54 gezeigt. Somit tritt ein starker Anstieg in den gemessenen Helligkeitsbereich, der für dieses Bild erhalten wird, auf (zum Beispiel durchschnittliche Helligkeit des Helligkeitsmessbereichs). Solche Schwankungen in den gemessenen Helligkeitswerten machen es schwierig, eine effektive Belichtungssteuerung durchzuführen.
  • Je größer der Abstand einer Lichtquelle, beispielsweise der Heckleuchte eines vorausfahrenden Fahrzeuges etc. ist, umso kleiner ist die augenscheinliche Größe der Lichtquelle innerhalb eines aufgenommenen Bildes. Damit nehmen solche Helligkeitsschwankungen mit einer zunehmenden Distanz externer Bereiche zu, die in einem Bild dargestellt sind.
  • ZUSAMMENFASSUNG DER ERFINDUNG
  • Es ist eine Aufgabe der vorliegenden Erfindung, die obigen Probleme zu beseitigen und eine Belichtungssteuervorrichtung zu schaffen, bei der eine geeignete Steuerung einer Kamerabelichtung erreicht werden kann.
  • Zur Lösung der obigen Aufgabe schafft gemäß einem ersten Aspekt die Erfindung eine Belichtungssteuervorrichtung zur Durchführung einer Belichtungssteuerung (d. h. Einstellung des Belichtungszustands durch Ändern der Verschlussgeschwindigkeit etc., wenn nötig), einer elektronischen digitalen Kamera, beispielsweise einer digitalen Videokamera, die in ein Fahrzeug eingebaut ist, um periodisch Bilder einer externen Szenerie vorderhalb des Fahrzeuges auf jeweilige Reihen von Bildelemente aufzunehmen, die jeweilige Luminanzwerte haben. Die Vorrichtung vermag die Luminanzwerte in entsprechende Helligkeitswerte der externen Szenerie gemäß einer vorbestimmten Beziehung zwischen der momentanen Belichtungsbedingung der Kamera, der Luminanzwerte und der Helligkeitswerte umzuwandeln. Die Vorrichtung weist im Wesentlichen eine Extraktionsschaltung, eine Berechnungsschaltung, eine Messschaltung und eine Belichtungssteuerschaltung auf.
  • Die Extraktionsschaltung wählt aus jedem aufgenommenen Bild eine Mehrzahl von Gruppen von Bildelementen zur Bildung eines Helligkeitsmessbereichs. Die Berechnungsschaltung berechnet jeweilige durchschnittliche Helligkeitswerte der Mehrzahl von Bildelementgruppen und legt für jede der Gruppen eine Zeitachsenfilterverarbeitung an aufeinanderfolgende erhaltene durchschnittliche Helligkeitswerte, die für die Gruppe erhalten wurden, an (d. h., welche aufeinanderfolgend aus periodisch aufgenommenen Bildern bis zum momentanen Zeitpunkt erhalten wurden), um Schwankungen auszuglätten, die in den durchschnittlichen Helligkeitswerten auftreten können. Die Messschaltung berechnet einen Helligkeitswert zur Verwendung bei der Belichtungssteuerung, nachfolgend als Aufnahmezielhelligkeitswert bezeichnet, basierend auf jeweiligen durchschnittlichen Helligkeitswerten, die für die Bildelementgruppen nach der Zeitachsenfilterverarbeitung erhalten wurden. Die Belichtungssteuerschaltung führt eine Belichtungssteuerung (Verschlussgeschwindigkeitseinstellung) der Kamera basierend auf dem Aufnahmezielhelligkeitswert durch, der von der Messschaltung berechnet wurde.
  • Die Erfindung ist dadurch gekennzeichnet, dass die Effektivität (d. h. der sich ergebende Glättungsgrad) der Zeitachsenfilterung, die an die jeweiligen Bildelementgruppen angelegt wird, gemäß einer zunehmenden Distanz der externen Bereiche entsprechend dieser Gruppen (d. h. Bereiche innerhalb der externen Szenerie, die in einem Bild aufgenommen wird) zunimmt. Bevorzugt wird im Fall einer Bildelementgruppe entsprechend einem externen Bereich, der nahe benachbart dem Eigenfahrzeug ist (unmittelbar vorderhalb hiervon ist) keine Zeitachsenfilterverarbeitung angewendet.
  • Damit kann eine stabilere und genauere Helligkeitsmessung erreicht werden mit verringerten Schwankungen in den gemessenen Helligkeitswerten aufgrund von Effekten von Lichtquellen, beispielsweise Hecklampen vorausfahrender Fahrzeuge oder Scheinwerfer entgegenkommender Fahrzeuge etc. Damit kann eine effektivere und zuverlässigere Belichtungssteuerung erreicht werden.
  • Gemäß einem anderen Aspekt ist die Berechnungsschaltung bevorzugt so ausgelegt, dass sie (für jede Bildelementgruppe) den Grad der Verteilung von Helligkeitswerten innerhalb einer Mehrzahl von aufeinanderfolgend erhaltenen Helligkeitswerten entsprechend dieser Gruppe beurteilt (d. h. welche bis zum momentanen Zeitpunkt erhalten wurden), um zu bestimmen, ob oder ob nicht eine Zeitachsenfilterverarbeitung für diese Gruppe anzulegen ist, was auf dem Beurteilungsergebnis erfolgt.
  • Die Bildelementgruppen sind bevorzugt jeweilige Bildlinien, jeweils aufweisend eine horizontale Reihe von Bildelementen eines aufgenommenen Bildes.
  • Gemäß einem weiteren Aspekt kann die Messschaltung so aufgebaut sein, dass sie eine Tiefpassfilterverarbeitung an einen (momentan erhaltenen) vorläufigen Aufnahmezielhelligkeitswert anlegt, d. h. eine Tiefpassfilterverarbeitung unter Verwendung des vorläufigen Wertes und einer oder mehrerer Aufnahmezielhelligkeitswerte, um einen Aufnahmezielhelligkeitswert zu erhalten, der bei der Belichtungssteuerung verwendet wird.
  • Bevorzugt ist die Messschaltung so aufgebaut, dass sie den Grad der Verteilung unter einer Mehrzahl aufeinanderfolgend erhaltenen Aufnahmezielhelligkeitswerten (d. h. Werten, die aufeinanderfolgend für jeweilige Bilder bis zum momentanen Zeitpunkt erhalten wurden) beurteilt und bestimmt, ob die Tiefpassfilterverarbeitung angewendet werden soll, um den Aufnahmezielhelligkeitswert zur Verwendung bei der Belichtungssteuerung zu erhalten oder ob der vorläufige Aufnahmezielhelligkeitswert direkt verwendet werden soll, wobei diese Bestimmung auf dem Beurteilungsergebnis basiert.
  • Eine Belichtungssteuervorrichtung gemäß der vorliegenden Erfindung kann in vorteilhafter Weise durch eine Verarbeitung implementiert werden, die gemäß einem von einem Computer durchgeführten Programm durchgeführt wird.
  • KURZE BESCHREIBUNG DER ZEICHNUNG
  • 1 ist ein schematisches Blockdiagramm eines Fahrzeugsystems, welches eine Ausführungsform einer Belichtungssteuervorrichtung aufweist;
  • 2 zeigt Beispiele von Belichtungssteuermappen zur Verwendung mit der Ausführungsform;
  • 3 ist ein Flussdiagramm einer Belichtungssteuerverarbeitung, die von der Ausführungsform durchgeführt wird;
  • 4 zeigt Diagramme, die die Art der Festsetzung von Luminanzsteuersollwerten beschreibt, die mit der Ausführungsform verwendet werden;
  • 5 ist ein Diagramm zur Beschreibung einer Totzone von Helligkeitswerten;
  • 6 ist ein Flussdiagramm der Verarbeitung zum Erlangen eines Aufnahmezielhelligkeitswerts, der die Helligkeit in einem externen Bereich vorderhalb eines Fahrzeuges anzeigt, in welches die Ausführungsform eingebaut ist;
  • 7 zeigt die Form eines Helligkeitsmessbereichs in einem Bild;
  • 8 zeigt das Ausdünnen von Bildelementen für jeweilige Linien in dem Helligkeitsmessbereich;
  • 9 zeigt den Ausschluss von Bildelementen höchster Helligkeit und niedrigster Helligkeit aus den jeweiligen Linien des Helligkeitsmessbereichs;
  • 10 ist eine Darstellung eines Beispiels der Verteilung von Helligkeitswerten in einem Bild, das von einer in ein Fahrzeug eingebauten Kamera aufgenommen wird;
  • 11 zeigt den Erhalt von durchschnittlichen Helligkeitswerten für jeweilige Linien von Bildelementen in dem Helligkeitsmessbereich;
  • 12 zeigt die Art und Weise, wie die Stärke von einer Zeitachsenfilterung bestimmt wird, die auf aufeinanderfolgend erhaltene durchschnittliche Helligkeitswerte jeweiliger Linien von Bildelementen in dem Helligkeitsmessbereich angewendet wird;
  • 13 zeigt Darstellungen der Arbeitsweise zur Beurteilung, ob oder ob nicht ein Zeitachsenfilter an jeweilige Linien von Bildelementen in dem Helligkeitsmessbereich angewendet wird;
  • 14 zeigt Darstellungen der Arbeitsweise zur Beurteilung, ob oder ob nicht ein Aufnahmezielhelligkeitswert zur Verwendung bei der Belichtungssteuerung durch eine Tiefpassfilterverarbeitung erhalten wird;
  • 15 ist eine Grafik zur Ermittlung der Größe von Schwankungen in aufeinanderfolgend erhaltenen Aufnahmezielhelligkeitswerten in Beziehungen zur einem Halbbreitenwert der Totzone;
  • 16 zeigt ein Beispiel von Luminanzsteuermappen zur Ermöglichung einer Szeneriehelligkeitsmessung über einen weiten Bereich von Helligkeitswerten einer externen Szenerie; und
  • 17 zeigt Diagramme zum Beschreiben eines Problems, das eine Streuung auf der Zeitachse aufeinanderfolgender Helligkeitswerte innerhalb eines aufgenommenen Bildes verursacht.
  • BESCHREIBUNG BEVORZUGTER AUSFÜHRUNGSFORMEN
  • Eine Ausführungsform einer Belichtungssteuervorrichtung für eine in einem Fahrzeug eingebaute Kamera wird nachfolgend unter Bezugnahme auf die Zeichnung beschrieben.
  • 1. Gesamtaufbau
  • 1 ist ein Blockdiagramm, welches den allgemeinen Aufbau einer Belichtungssteuervorrichtung 10 und deren Beziehung zu anderen Bestandteilen eines Fahrzeugsystems zeigt. Die Beleuchtungssteuervorrichtung 10 ist in ein Fahrzeug (das „Eigenfahrzeug") eingebaut und mit einer fahrzeugseitigen digitalen Videokamera (nachfolgend einfach als „Kamera" bezeichnet) 21 und einem zusammengefassten Beurteilungsabschnitt 22 verbunden, wobei der zusammengefasste Beurteilungsabschnitt 22 mit einem Warnanzeigeerzeugungsabschnitt 23 und einer Lenksteuer-ECU 24 verbunden ist, wie gezeigt. Von der Belichtungssteuervorrichtung 10 basierend auf dem Inhalt aufgenommener Bilder einer Szenerie vorderhalb des Eigenfahrzeuges erhaltene Daten werden in einer Warnanzeigeverarbeitung und Lenksteuerverarbeitung verwendet, die von dem zusammengefassten Beurteilungsabschnitt 22 durchgeführt werden.
  • Die Belichtungssteuervorrichtung 10 besteht aus einer CPU 11, einem Speicherabschnitt 12, einer Bildschnittstelle 13, die Daten aufeinanderfolgend aufgenommener Bilder von der Kamera 21 an die CPU 11 überträgt und einer Kommunikationsschnittstelle 14 zur Durchführung einer Kommunikation mit dem zusammengefassten Beurteilungsabschnitt 22. Der Speicherabschnitt 12 enthält einen nicht flüchtigen Speicher, beispielsweise ein ROM (Lesespeicher; in der Zeichnung nicht dargestellt) mit Programmen und Daten einschließlich einer Mehrzahl von Luminanzsteuerkarten (werden nachfolgend beschrieben), die hierin vorab gespeichert wurden und ein RAM (Speicher mit wahlfreiem Zugriff; nicht dargestellt) und Datenregister zum Speichern und Verarbeiten von Daten einer Mehrzahl von Bildern, welche aufeinanderfolgend bis zum momentanen Zeitpunkt aufgenommen wurden.
  • Die Kamera 21 ist im Fahrgastraum des Eigenfahrzeuges an einer festen Position (beispielsweise neben dem Innenrückspiegel) eingebaut und nimmt aufeinanderfolgend Bilder (d. h. als jeweilige Videosignalframes) eines Bereiches der Straße vorderhalb des Fahrzeugs auf. Wenn sie in das Fahrzeug eingebaut ist, ist die Ausrichtung der Kamera 21 so eingestellt, dass ein spezifischer Bildaufnahmebereich bezüglich der Bewegungsrichtung des Fahrzeuges festgelegt ist.
  • Die Kamera 21 beinhaltet einen CCD- oder CMOS-Bildsensor vom üblichen Typ, zusammen mit einem Videoverstärker, einem A/D-Wandler (analog/digital). Wenn vom Bildsensor ein Bild als ein analoges Signal, das aufeinanderfolgende Luminanzwerte ausdrückt, aufgenommen wird, verstärkt der Videoverstärker das Analogsignal mit einem bestimmten Verstärkungsfaktorbetrag, das dann in aufeinanderfolgende Digitalwerte (Luminanzwerte von Bildelementen) durch den A/D-Wandler umgewandelt und im Speicherabschnitt 12 als Daten gespeichert wird. Die CPU 11 liest dann die Bilddaten aus und verarbeitet sie, wobei sie separat auf jeweiligen Bildlinien des Bildes arbeitet, wobei jede Bildlinie eine horizontale Reihe von Bildelementen (horizontale Abtastlinie) des Bildes ist.
  • Die Bildschnittstelle 13 überträgt die Bildelementwerte zusammen mit horizontalen und vertikalen Synchronisationssignalen des Bildes von der Kamera 21 an die CPU 11. Die CPU 11 bestimmt jeweilige Bildpositionen entsprechend einem jeden der Bildelemente basierend auf den horizontalen und vertikalen Synchronisationssignalen. Die Bildelementwerte werden dann im Speicherabschnitt 12 entsprechend von Positionsinformationen gespeichert, welche die jeweiligen Lagen der Bildelemente innerhalb des Bildes spezifizieren.
  • Die CPU 11 verarbeitet die Bilddaten, um die Erkennung eines bestimmten Typs von Objekt (Zielobkekt), beispielsweise eines vorausfahrenden Fahrzeuges durchzuführen, das vorderhalb des Eigenfahrzeugs liegen und in den aufgenommenen Bildern erscheinen kann. Basierend auf dem Erkennungsverarbeitungsergebnissen liefert die CPU 11 eine Positionsinformation betreffend ein jegliches Zielobjekt an dem zusammengefassten Beurteilungsabschnitt 22 über die Belichtungssteuervorrichtung 10.
  • Zusätzlich steuert die CPU 11 die Kamera 21 so, dass auf geeignete Weise Bilder der Szenerie vorderhalb des Fahrzeuges aufgenommen werden. Genauer gesagt, die CPU 11 stellt die Frame-Rate und die Belichtungsparameter der Kamera 21 ein, indem ent sprechende Einstellbefehle erzeugt und diese der Kamera 21 als Kamerasteuerbefehlswerte übermittelt werden. Nachfolgend sei angenommen, dass die Belichtungsparameter der Kamera 21 Verschlussgeschwindigkeit und Videoverstärkungsfaktor sind.
  • Die Kommunikationsschnittstelle 14 ermöglicht eine Kommunikation zwischen der CPU 11 und dem zusammengefassten Beurteilungsabschnitt 22, um an dem zusammengefassten Beurteilungsabschnitt 22 die oben beschriebene Information betreffend Ergebnisse von Ziel-Objekterkennung zu übermitteln. Basierend auf dieser Information beurteilt der zusammengefasste Beurteilungsabschnitt 22, ob es eine Zusammenstoßgefahr zwischen dem Eigenfahrzeug und einem Zielobjekt gibt. Wenn beurteilt wird, dass eine solche Gefahr besteht, steuert der zusammengefasste Beurteilungsabschnitt 22 den Warnanzeigeerzeugungsabschnitt 23, damit eine Warnanzeige für den Fahrzeugfahrer erzeugt wird. Wenn beurteilt wird, dass die Gefahr über einen bestimmten Wert liegt, wird zusätzlich zur Erzeugung einer Warnanzeige die Lenksteuer-ECU 24 von dem zusammengefassten Beurteilungsabschnitt 22 angewiesen, eine entsprechende Lenksteuerung des Fahrzeuges durchzuführen. Insbesondere kann dies eine Steuerung sein, bei der der Betrag der Lenkunterstützung, der auf einen Lenkmechanismus aufgebracht wird, geeignet eingestellt wird, oder der Lenkmechanismus wird automatisch betrieben so gesteuert, dass die Zusammenstossgefahr vermieden wird.
  • 2. Aufbau der Belichtungssteuerung
  • Der Kamerabelichtungssteuervorgang dieser Ausführungsform kann wie folgt zusammengefasst werden. Die Belichtungssteuervorrichtung 10 hat vorab gespeicherte Daten enthalten, die eine Mehrzahl von Charakteristiken ausdrücken, und welche nachfolgend als Luminanzsteuerkarten bezeichnet seien. Jede hiervon entspricht einer spezifizierten Belichtungsbedingung der Kamera 21 (spezielle Kombination aus Verschlussgeschwindigkeit und Videoverstärkung) und drückt die Beziehung zwischen der Helligkeit einer externen Szenerie vorderhalb des Fahrzeuges, die als Bild von der Kamera 21 aufgenommen wird und sich ergebenden Luminanzwerten von Bildelementen des Bildes aus. Die Bildelementluminanzwerte werden von der Kamera 21 als entsprechende digitale Werte geliefert.
  • 2 zeigt ein Beispiel einer solchen Mehrzahl von Luminanzsteuerkarten mit Werten externer Szeneriehelligkeit entlang der Horizontalachse und Bildluminanzwerten (Bildelementluminanzwerten von der Kamera) entlang der Vertikalachse.
  • Im Beispiel des Diagramms (a) von 2 ist, wenn die Bildluminanz (zum Beispiel Durchschnitt einer Mehrzahl von Bildelementwerten) ein Wert V ist (nachfolgend als Luminanzsteuerzielwert bezeichnet, der als ein geeigneter Wert der Bildluminanz vorbestimmt ist) dann, wenn ein Aufnahmezielhelligkeitswert (wie nachfolgend beschrieben gemessen) B ist und die Luminanzsteuerkarte 11 verwendet wird, dies ein Zustand, in welchem die Kamerabelichtungsparameter (Verschlussgeschwindigkeit, Videoverstärkung), bestimmt von der Luminanzsteuerkarte 11, korrekt eingestellt sind.
  • Bezugnehmend auf das Diagramm (b) von 2, in welchem die Luminanzsteuerkarte Nr. 7 verwendet wird, weicht, weicht, wenn der Aufnahmezielhelligkeitswert B, wie gezeigt ist, der Bildluminanzwert von dem Zielwert V ab, d. h. nimmt den Wert K an, so dass die Kamerabelichtung nicht korrekt eingestellt ist. In diesem Fall führt die Vorrichtung eine Belichtungssteuerung durch, indem die Luminanzsteuerkarte Nr. 13 gewählt wird, so dass die Bildluminanz auf dem Zielwert V zurückgestellt wird. Eine Belichtungssteuerung wird damit so angewendet, dass die Bildluminanz nahe an einem geeigneten Wert gehalten wird, ungeachtet von Helligkeitsschwankungen der Szenerie, die von der Kamera aufgenommen wird.
  • Der Luminanzsteuerzielwert wird gemäß der Luminanzsteuerkarte bestimmt, die momentan gewählt ist, d. h., es gibt eine bestimmte Beziehung zwischen den Luminanzsteuerkartennummern und den Luminanzsteuerzielwerten, wie nachfolgend beschrieben.
  • Bei dieser Ausführungsform wird, anstelle die Szeneriehelligkeit basierend auf allen Bildelementen eines von der Kamera 21 aufgenommenen Bildes zu messen, diese basierend auf einem fest vorbestimmten Teil eines jeden Bildes mit bestimmter Form, Lage und Größe ermittelt, der als Helligkeitsmessbereich bezeichnet wird.
  • Die Belichtungssteuervorrichtung 10 dieser Ausführungsform führt die Belichtungssteuerung grundlegend gemäß der nachfolgenden Abfolge der Vorgänge (1) bis (4) durch.
  • (1) Bestimmung des Luminanzsteuerzielwerts
  • Der Luminanzsteuerzielwert wird gemäß der momentan gewählten Luminanzsteuerkarte basierend auf der oben erwähnten bestimmten Beziehung bestimmt und ändert sich zwischen einem Tageswert und einem Nachtwert. Um sicherzustellen, dass die Steuerbedingungen sich nicht abrupt ändern, ändert sich der Luminanzsteuerzielwert nur graduell während eines jeden Übergangs zwischen Tagwert und Nachtwert.
  • (2) Berechnung der Totzone
  • Eine Totzone (wie in 5) der Helligkeitswerte wird wie nachfolgend beschrieben bestimmt.
  • (3) Ableitung vom Aufnahmezielhelligkeitswert
  • Wie in 7 gezeigt, bilden zwei aneinander grenzende Bereiche innerhalb eines jeden aufgenommenen Bildes den Helligkeitsmessbereich dieser Ausführungsform, d. h. einen Straßenoberflächengebrauchsbereich zur Messung der Helligkeit der Straßenoberfläche und einen Zielobjektgebrauchsbereich zur Messung der Helligkeit eines Abschnittes der externen Szenerie, der ein vorausfahrendes Fahrzeug enthalten kann, d. h. ein Objekt, welches einer Erkennungsverarbeitung zu unterwerfen ist. Mit dieser Ausführungsform werden jeweils unterschiedliche Formen von gewichtet gemittelten Verarbeitungen diesen beiden Bereichen auferlegt und ein Aufnahmezielhelligkeitswert wird als eine Kombination der sich ergebenden Durchschnittswerte erhalten, die für die beiden Bereiche berechnet worden sind.
  • (4) Steuerung von Verstärkungsfaktor und Verschlussgeschwindigkeit
  • Wenn sich herausstellt, dass der Aufnahmezielhelligkeitswert, der durch den Vorgang (3) erhalten wurde, außerhalb der Totzone liegt, wird eine geeignete andere aus den Luminanzsteuerkarten für eine Verwendung ausgewählt, und zwar basierend auf dem Luminanzsteuerzielwert vom Vorgang (1) und bei dem Aufnahmezielhelligkeitswert aus Vorgang (3), wie oben unter Bezug auf Diagramm (b) von 2 beschrieben. Die Belichtungsbedingung (Verschlussgeschwindigkeit und Verstärkungsfaktor) von der Kamera 21 wird dann gemäß der neu gewählten Luminanzsteuerkarte eingestellt.
  • 3. Von der CPU durchgeführte Verarbeitung
  • Die CPU 11 führt periodisch (zum Beispiel einmal pro 100 ms) einen Verarbeitungsprogrammablauf gemäß einem gespeicherten Programm als Belichtungssteuerverarbeitung durch. Bei dieser Verarbeitung wird ein Aufnahmezielhelligkeitswert basierend auf Daten von einem oder mehreren Bildern erhalten, welche aufeinanderfolgend bis zum momentanen Zeitpunkt von der Kamera 21 erhalten wurden und im Speicherabschnitt 12 gespeichert wurden. Basierend auf diesem Aufnahmezielhelligkeitswert wird bei Bedarf die Luminanzsteuerkarte geändert und die Kamerabelichtungsparameter (Verschlussgeschwindigkeit, Verstärkungsfaktor) werden entsprechend eingestellt. Diese Verarbeitung wird unter Bezugnahme auf das Flussdiagramm von 3 beschrieben.
  • Wenn die Verarbeitung beginnt, bestimmt die CPU 11 zunächst (Schritt S110) einen Luminanzsteuerzielwert. Genauer gesagt, eine Entsprechungsbeziehung (als durchgezogene Linie im Diagramm (c) von 4 gezeigt) ist vorab gespeichert und betrifft Luminanzsteuerkartennummern (zum Beispiel die Kartennummern 1 bis 17 gemäß 2), die entlang der horizontalen Achse aufgeführt sind zu Luminanzsteuerzielwerten, die entlang der vertikalen Achse aufgeführt sind. Basierend auf dieser Entsprechungsbeziehung wird ein Luminanzsteuerzielwert gemäß der Nummer der Luminanzsteuerkarte erhalten, die momentan verwendet wird. Bei der ersten Durchführung des Verarbeitungsablaufes von 3 (wenn der Systembetrieb beginnt), wird eine bestimmte der Luminanzsteuerkarten zur Verwendung ausgewählt und der entsprechende Luminanzsteuerzielwert wird erhalten.
  • Die Entsprechungsbeziehung von 4(c) wird erhalten durch Mitteln der Entsprechungsbeziehungen der 4(a) und 4(b), welche als punktierte Liniencharakteristik und gestrichelte Liniencharakteristik in 4(c) gezeigt sind. 4(a) ist eine Bezie hung zwischen den Luminanzsteuerkartennummern (entlang der horizontalen Achse aufgeführt) zu Straßenoberflächenluminanzsteuerzielwerten (entlang der Vertikalachse), geeignet für den oben erwähnten Straßenoberflächengebrauchsbereich des Helligkeitsmessbereichs (d. h. eines Bildbereiches, der einen Teil der Straßenoberfläche enthält, der nahe bei und direkt vorderhalb des Eigenfahrzeuges ist). 4(b) ist eine entsprechende Beziehung, die geeignet ist für den Zielobjektgebrauchsbereich des Helligkeitsmessbereichs.
  • Somit wird bei dieser Ausführungsform jeder Luminanzsteuerzielwert nicht einfach als für einen Bildbereich geeignet bestimmt, in welchem ein Zielobjekt (vorausfahrendes Fahrzeug) sein kann, das von der Erkennungsverabeitung zu erkennen ist, sondern wird anstelle hiervon als Kombination von Werten erhalten, die für ein Zielobjekt bzw. für die Straßenoberfläche passend sind.
  • Wenn die durchschnittliche Szeneriehelligkeit niedrig ist (üblicherweise bei Nacht), werden Luminanzsteuerkarten mit niedrigen Ziffern für den Gebrauch gewählt, wo hingegen, wenn die durchschnittliche Szeneriehelligkeit hoch ist (bei Tag), Luminanzsteuerkarten mit hohen Nummern verwendet werden. Bei dieser Ausführungsform ist gemäß 4 die Beziehung zwischen den Luminanzsteuerzielwerten und den Kartenwertnummern so vorherbestimmt, dass ein niedriger Luminanzsteuerzielwert während des Nachtbetriebes gewählt wird und ein höherer Luminanzsteuerzielwert während des Tagebetriebes gewählt wird. Dies erfolgt, um sicherzustellen, dass die Vorrichtung korrekt arbeitet, auch dann, wenn in der Bildluminanz während des Nachtbetriebes ein Anstieg in großem Maßstab erfolgt (zum Beispiel aufgrund von Licht von Quellen wie Scheinwerfer entgegenkommender Fahrzeuge etc.).
  • Wie ebenfalls gezeigt ist, gibt es einen graduellen Übergang zwischen dem Luminanzsteuerzielwert für Nachtgebrauch und dem Luminanzsteuerzielwert für Taggebrauch, um abrupte Änderungen in der Bildluminanz zu verhindern. Da der Luminanzsteuerzielwert gemäß der Luminanzsteuerkarte gewählt wird, die momentan in Gebrauch ist, wird der graduelle Übergang erreicht, indem eine geeignete Zuordnung der Luminanzsteuerzielwerte zu den Luminanzsteuerkartennummern gemacht wird.
  • Nachfolgend wird im Schritt S120 die Totzone berechnet. Dies ist ein Bereich von Helligkeitswerten zur Verwendung bei der Beurteilung, ob es notwendig ist, die Kamerabelichtung einzustellen (eine andere Luminanzsteuerkarte zu wählen). Die Totzone wird verwendet, um unnötig häufige Änderungen in den Belichtungsbedingungen zu verhindern. Insbesondere ist gemäß 5, wenn die Luminanzsteuerkarte, welche momentan verwendet wird, als Karte N bezeichnet wird und der entsprechende Luminanzsteuerzielwert (aus Schritt S110) als V bezeichnet wird, die Totzone als Szeneriehelligkeitsbereich definiert, der sich zwischen den Schnittpunkten des Luminanzsteuerzielwertes V mit den beiden benachbarten Luminanzsteuerkarten (N – 1) und (N + 1) ergibt (d. h. den Karten, deren Nummern unmittelbar vor und unmittelbar nach der momentan gewählten Luminanzsteuerkarte liegen).
  • Nachfolgend wird in Schritt S130 eine Verarbeitung durchgeführt, um den Aufnahmezielhelligkeitswert zu erhalten. Dies basiert auf einer Umwandlung der Bildelementluminanzwerte des Helligkeitsmessbereichs in entsprechende umgewandelte Helligkeitswerte unter Verwendung der Luminanzsteuerkarte, die momentan gewählt ist, wie unter Bezugnahme auf das Flussdiagramm von 6 beschrieben werden wird.
  • Zunächst werden im Schritt S131 die Bildelementwerte des Helligkeitsmessbereichs erlangt, und zwar in Einheiten von Bildlinien. Wie in 7 gezeigt, ist der Helligkeitsmessbereichs dieser Ausführungsform aus einem trapezförmigen Bereich gebildet, der den oben genannten Zielobjektgebrauchsbereich bildet, d. h. einen Bereich in einem bestimmten Abstand vorderhalb des Eigenfahrzeuges an einer Position, wo ein vorausfahrendes Fahrzeug in dem Bild auftauchen kann) und einem rechteckförmigen Bereich, der den oben genannten Straßenoberflächengebrauchsbereich bildet und einem Teil der Straße entspricht, der unmittelbar vorderhalb des Eigenfahrzeuges liegt und der zur Messung der Helligkeit der Straßenoberfläche dient. Der Bildluminanzwert wird als eine Kombination von Werten gemessen, die von dem Zielobjektgebrauchsbereich und dem Straßenoberflächengebrauchsbereich erhalten werden.
  • Genauer gesagt, der Straßenoberflächengebrauchsbereich hat eine vertikale Abmessung (Höhenabmessung) entsprechend einem Bereich, der sich annähernd 7 bis 27 m vorderhalb des Eigenfahrzeuges erstreckt und eine Breitenabmessung (Seitenabmes sung), die so bestimmt ist, dass sie die beiden weißen Linien enthält, die jeweils am rechten und linken Fahrspurrand liegen, auf der sich das Eigenfahrzeug bewegt.
  • Der oberste Teil des Zielobjektgebrauchsbereichs wird auf die FOE-Position (focus of expansion) der Kamera 21 gesetzt. Die Breite dieses obersten Teils wird gleich der typischen Azimutherstreckung (± 10°) eines Bereichs gemacht, der von einer Millimeterwellenradarvorrichtung abgetastet wird, die in dem Eigenfahrzeug eingebaut sein kann, um die Szenerie vorderhalb des Fahrzeuges mit Radarwellen abzutasten, um Position, Form, Geschwindigkeit etc. vorausliegender Objekte basierend auf den sich ergebenden reflektierten Radarwellen zu beurteilen.
  • Die Trapezform des Zielobjektgebrauchsbereichs erweitert sich sukzessive in Richtung des oberen Teils des Straßenoberflächengebrauchsbereichs, d. h., ist aus Bildlinien gebildet, welche allmählich zunehmende Länge haben, wo hingegen der Straßenoberflächengebrauchsbereich aus Bildlinien voller Breite gebildet ist (entsprechend dem vollen horizontalen Blickwinkel der Kamera 21). Diese Form des Zielobjektgebrauchsbereichs wird verwendet, um sicherzustellen, dass die Kamerabelichtung rasch eingestellt werden kann, wenn ein anderes Fahrzeug vorderhalb des Eigenfahrzeuges plötzlich einschert, d. h., einen randlosen Übergang zwischen der Erkennung der Helligkeit der Straßenoberfläche und der Erkennung der Helligkeit eines vorausfahrenden Fahrzeuges zu haben.
  • Da der externe Bereich vorderhalb des Eigenfahrzeuges, der jenseits des FOE liegt, üblicherweise Merkmale wie Himmel, Gebäude, etc. enthält, die als Zielobjekte nicht relevant sind, ist sichergestellt, dass diese aus den aufgenommenen Bildern ausgeschlossen sind und somit keinen nachteiligen Effekt auf die Belichtungssteuerung haben.
  • Um die Datenverarbeitungslast zu verringern, erfolgt eine Ausdünnung der Bildlinien (d. h. eine von aufeinanderfolgenden mehreren Bildlinien des Bildes wird weggelassen), wenn eine Extraktion von Bildelementen erfolgt, die den Luminanzmessbereich bilden. In den Straßenoberflächengebrauchsbereich erfolgt eine Ausdünnung von Bildlinien in Abständen, die annähernd zueinander identisch sind bezüglich dem Abstand zum Ei genfahrzeug. D. h., je höher die Positionen von Linien innerhalb des Luminanzmessbereichs sind, umso kleiner ist der Anteil von Linien, die durch die Ausdünnverarbeitung weggelassen werden. In dem Zielobjektgebrauchsbereich erfolgt die Ausdünnung in gleichmäßigen Abständen, d. h. der Abstand zwischen Linien, die durch den Ausdünnprozess weggelassen werden, wird konstant gehalten.
  • Zusätzlich erfolgt auch eine periodische Ausdünnung von Bildelementen innerhalb einer jeden Linie des Helligkeitsmessbereichs, wie durch die gepunkteten Abschnitte in 8 schematisch veranschaulicht. Bei dieser Ausführungsform wird die periodische Weglassung von entsprechenden Bildelementen (d. h. von Luminanzwerten entsprechend dieser Bildelemente) in identischen Abständen innerhalb einer Bildlinie durchgeführt.
  • Die Luminanzwerte der Bildelemente des Helligkeitsmessbereichs werden in entsprechende Helligkeitswerte (d. h. Helligkeitswerte in der externen Szenerie anzeigen) unter Verwendung der momentan gewählten Luminanzsteuerkarte und des Luminanzsteuerzielwertes umgewandelt. Bezugnehmend beispielsweise auf Diagramm (b) von 2 sei angenommen, dass ein Bildelementwert (Luminanzwert), der von der Kamera 21 erhalten wird, K ist; dann ist, wie durch die Pfeilrichtungen dargestellt, der entsprechende gewandelte Helligkeitswert als B erhaltbar, indem die momentan gewählte Luminanzsteuerkarte mit der Nummer 7 angewendet wird.
  • Danach werden im Schritt S132 für jede Bildlinie des Helligkeitsmessbereichs die Bildelemente in der Reihenfolge des Helligkeitswertes sortiert und dann wird eine feste Anzahl von Bildelementen maximaler Helligkeit und eine feste Anzahl von Bildelementen minimaler Helligkeit dieser Linie aus der weiteren Verarbeitung ausgeschlossen.
  • Es sei angenommen, dass jede dieser festen Anzahlen größer als 1 ist, wobei dann der Begriff „feste Anzahl von Bildelemente maximaler Helligkeit" in dieser Beschreibung „Bildelement maximaler Helligkeit und eines oder mehrere Bildelemente mit aufeinanderfolgenden geringeren Helligkeiten als der Wert maximaler Helligkeit" bezeichnet. Auf ähnliche Weise bezeichnet der Begriff „feste Anzahl von Bildelemente minimaler Helligkeit" das Bildelement mit der niedrigsten Helligkeit und eines oder mehrere Bildelemen te mit umgewandelten Helligkeitswerten, welche aufeinanderfolgend höher als der minimale Wert sind.
  • Obgleich bei dieser Ausführungsform die obige Ausschlussverarbeitung basierend auf der Beurteilung umgewandelter Helligkeitswerte von Bildelementen durchgeführt wird, wäre es auch möglich, die Ausschlussverarbeitung basierend auf einer Beurteilung der Luminanzwerte durchzuführen, d. h. der Bildelementwerte, wie sie von der Kamera 21 erhalten werden.
  • Im Fall einer Straßenoberfläche mit einer leichten Färbung, beispielsweise einer Betondecke, dunklen Bereichen auf der Fläche (zum Beispiel Abschnitte, die mit Teer repariert wurden oder Stöße in der Fahrbahn) sind ein Hindernis bei der zuverlässigen Messung bei der Helligkeit der Straßenoberfläche. Im Fall einer dunklen Straßenoberfläche, wie beispielsweise einer aus Asphalt gebildeten, behindern weiße Linien, die auf der Oberfläche ausgebildet sind, auf ähnliche Weise eine zuverlässige Messung der Helligkeit der Straßenoberfläche. Dies ist als Beispiel in der Verteilung der Helligkeitswerte von Bildelementen für den Fall eines Vorwärtssichtbildes einer Straße in 10 dargestellt. Da bei dieser Ausführungsform die höchsten und niedrigsten Helligkeitswerte des Helligkeitsmessbereichs von weiteren Verarbeitungen ausgeschlossen sind, wie oben beschrieben, können solche Probleme aufgrund von überschüssigen Licht oder überschüssigen dunklen Bereichen auf der Straßenoberfläche beseitigt werden.
  • Im Fall eines Teils der Straßenoberfläche, die nahe an (direkt vorderhalb von) dem Eigenfahrzeug ist, ist es möglich, vergleichsweise zuverlässig über zu hohe oder zu niedrige Helligkeitswerte aufgrund von weißen Linien, Teerflecken etc. auf der Straßenoberfläche zu unterscheiden. Im Fall eines Teils der Straßenoberfläche, der entfernt von dem Eigenfahrzeug ist, wird es jedoch schwierig, solche Bereiche zu unterscheiden. Aus diesem Grund wird, je größer der Abstand, dargestellt durch die Bildposition einer Bildlinie (d. h. je höher die Lage dieser Linie innerhalb des Helligkeitsmessbereichs ist), umso kleiner die Anzahl von Bildelementwerten gemacht, die von der Linie durch die oben beschriebene Ausschlussverarbeitung ausgeschlossen werden. Im Fall der Bildlinien entsprechend dem am weitesten entfernten Teil des Helligkeitsmessbereichs werden keine Bildelementwerte ausgeschlossen.
  • Nachfolgend wird im Schritt S133 gemäß 11 für jede der verbleibenden Bildlinien des Helligkeitsmessbereichs der Durchschnitt der umgewandelten Helligkeitswerte der Bildelemente der Linie berechnet und der berechnete Wert wird im Speicher zur Verwendung in einer nachfolgenden Zeitachsenfilterverarbeitung (wird noch beschrieben) gespeichert. Die sich ergebenden jeweiligen Durchschnittswerte der Bildlinien des Helligkeitsmessbereichs des momentan aufgenommenen Bildes werden Bi,t bezeichnet, wobei „i" die Position der entsprechenden Linie innerhalb des Helligkeitsmessbereichs in einem Bereich von 1 bis L bezeichnet, gesehen von der Spitze des Helligkeitsmessbereichs aus (gemäß 11), d. h. 1 ≤ i ≤ L. Der Zusatz „t" bezeichnet die Zeitachsenposition eines Bildelementdurchschnittswertes (räumlich-domain), zum Beispiel als Abfolgenummer innerhalb einer Serie von Bildern ausgedrückt, die aufeinanderfolgend zur periodischen Zeitpunkten bis zum momentanen Zeitpunkt aufgenommen wurden.
  • Durch Ausschluss der höchsten und niedrigsten Luminanzwerte aus dieser Mittelungsverarbeitung wird sichergestellt, dass für jede der Bildlinien im Helligkeitsmessbereich sich die (räumlichen) Durchschnittshelligkeitswerte der jeweiligen Linien in einer stabileren Weise über die Zeit hinweg ändern.
  • Nachfolgend wird im Schritt S134 für jede der L Bildlinien des Helligkeitsmessbereichs eine Pufferung der jeweiligen Durchschnittsluminanzwerte durchgeführt, welche für diese Bildlinie in einer Mehrzahl von aufeinanderfolgend erhaltenen Bildern erhalten wurden, wobei ein Pufferintervall von (t ~ t – T) verwendet wird. D. h., für jede der Bildlinien wird ein Satz von (räumlich-domain) Durchschnittswerten, welche vorab aufeinanderfolgend berechnet und zu jeweiligen Zeitpunkten gespeichert wurden, erlangt (aus dem Speicher ausgelesen) und in Pufferregistern gesetzt, um einer Mittelungsberechnung unterworfen zu werden. Diese gepufferten Durchschnittswerte lassen sich ausdrücken als:
    erste Linie: B1,t...B1,
    i-te Linie: Bi,t...
    L-te Linie: BL,t...BL,t-T.
  • Wenn beispielsweise das Pufferintervall 4 ist, werden für jede der Bildlinien im Bereich von I bis L die entsprechenden durchschnittlichen Helligkeitswerte, die in dem Speicherabschnitt 12 für vier aufeinanderfolgende Bilder gespeichert wurden, als die gepufferten Durchschnittswerte für diese Bildlinie erlangt.
  • Nachfolgend wird im Schritt S135 eine Zeitachsenfilterung (d. h. eine Glättung durch eine Mittelungsverarbeitung) an jeder der gewählten Bildlinien des Helligkeitsmessbereichs angewendet (diese Bildlinien werden wie nachfolgend beschrieben gewählt). Die Zeitachsenfilterung wird durchgeführt, indem für jede der ausgewählten Bildlinien der Durchschnitt der gepufferten Werte erhalten wird, welche im Schritt S134 erlangt wurden, d. h., es wird ein kontinuierlicher Satz von L Linien angenommen:
    erste Linie: B1,t...B1,t-T → F1,t
    i-te Linie: Bi,t...Bi,t-T – Fi,t
    L-te Linie: BL,t...BL,t-T → FL,t.
  • Es kann erwartet werden, dass es nur einen kleinen Änderungsgrad in den durchschnittlichen Helligkeitswerten von Bildlinien entsprechend einem Bereich gibt, der nahe (d. h. unmittelbar vorderhalb) des Eigenfahrzeuges ist, da die Helligkeit in einem solchen Bereich für gewöhnlich durch Reflektion von Licht von der Straßenoberfläche bestimmt wird. Somit erfolgt nur wenig oder gar keine Zeitachsenfilterung an Bildlinien eines solchen Teils des Helligkeitsmessbereichs. Im Fall von Bildlinien entsprechend einem Bereich, der entfernt von dem Eigenfahrzeug ist (d. h. nahe beim FOE liegt), können sich jedoch hohe Beträge von Zeitachsenschwankungen in den aufeinanderfolgenden durchschnittlichen Helligkeitswerten ergeben, die für diese Bildlinien erhalten wurden. Wie oben unter Bezug auf 17 beschrieben, können sich diese Schwankungen von Effekten wie Nickbewegungen des Eigenfahrzeuges ergeben, während Licht von Hecklampen oder Schweinwerfern entgegenkommender Fahrzeuge den Helligkeitsmessbereich beeinflusst, so dass große Schwankungen in den aufeinanderfolgenden unterschiedlichen Helligkeitswerten verursacht werden, die für diese Bildlinien entsprechend einem entfernten Bereich gemessen werden, wobei diese Schwankungen (d. h. der Draht der Zeitachsenverteilung aufeinanderfolgender Helligkeitswerte) abhängig von einem zunehmenden Abstand der störenden Lichtquellen zu einem Ansteigen neigt.
  • Aus diesem Grund wird, wenn eine Zeitachsenfilterung gemäß obiger Beschreibung an einer Bildlinie entsprechend einem Bereich angewendet wird, der nahe dem FOE liegt, ein vergleichsweise langes Pufferintervall verwendet, beispielsweise entsprechend annähernd 700 ms, d. h. eine Mittelung wird unter Verwendung einer großen Anzahl aufeinanderfolgend erhaltener Werte durchgeführt (großer Wert von T), um damit den Filtereffekt zu erhöhen (den Glättunsgrad zu erhöhen).
  • Dies ist möglich, da bei dieser Ausführungsform eine Zeitachsenfilterung individuell an jeweiligen Bildlinien des Helligkeitsmessbereichs angewendet werden kann.
  • Die obige selektive Anwendung der Zeitachsenfilterung an Bildlinien-Durchschnittshelligkeitswerte gemäß der Distanz vom Eigenfahrzeug ist in 12 dargestellt. Wie gezeigt, ist, je größer der Abstand eines abgebildeten Bereiches ist (d. h. je höher die Position der entsprechenden Bildlinien innerhalb des Helligkeitsmessbereichs ist), um so höher ist die Effektivität der Zeitachsenfilterung gegenüber Rauschen gemacht (verteilte Schwankungen in der Helligkeit).
  • Umgekehrt erfolgt keine Zeitachsenfilterung an durchschnittlichen Helligkeitswerten von Bildlinien in dem Teil des Helligkeitsmessbereiches, der dem Eigenfahrzeug am nächsten ist.
  • Es ist jedoch auch notwendig, dass die Vorrichtung in der Lage ist, rasch plötzlichen Änderungen in der Szeneriehelligkeit zu folgen, insbesondere der Straßenoberflächenhelligkeit, welche auftreten können, wenn das Eigenfahrzeug in einen Tunnel einfährt oder diesen verlässt, etc. Somit wird für jede der Bildlinien des Helligkeitsmessbereichs die Zeitachsenfilterung selektiv gemäß der Form von Änderungen in den aufeinanderfolgenden durchschnittlichen Helligkeitswerten angewendet, die für diese Linie erhalten werden. Dies wird gemacht, um Schwankungen in den aufeinanderfolgenden Aufnahmezielhelligkeitswerten zu unterdrücken, während gleichzeitig ein rasches Ansprechen auf plötzliche Änderungen in der Helligkeit der externen Szenerie erreicht wird. Diese Verarbeitung wird bei jeder der Bildlinien des Helligkeitsmessbereichs angewendet.
  • Insbesondere wenn bei dieser Ausführungsform die aufeinanderfolgenden durchschnittlichen Helligkeitswerte, die für eine Bildlinie erhalten werden, als sich allmählich über die Zeit hinweg ändernd erkannt werden, wie in dem Beispiel von (a) von 13, d. h. entlang eines Trends, ohne dass eine Streuung von Werten stattfindet, erfolgt keine Zeitachsenfilterung. D. h., der momentan berechnete Durchschnittswert, der für diese Bildlinie in dem unlängst aufgenommenen Bild erhalten wird, wird direkt bei der Berechnung des Bildluminanzwertes (diese Berechnung wird nachfolgend beschrieben) verwendet.
  • Wenn sich zeigt, dass gestreute Schwankungen in den Durchschnittswerten auftreten, die für eine Bildlinie erhalten werden, wie im Diagramm (b) von 13 gezeigt, wird eine Zeitachsenfilterung durch gewichtete mittlere Filterung an einer Mehrzahl von Durchschnittswerten angewendet, die aufeinanderfolgend bis zum momentanen Zeitpunkt für diese Bildlinie erhalten worden sind und das Ergebnis wird in der obigen Berechnung des Aufnahmezielhelligkeitswertes verwendet. In allen anderen Fällen, also wenn die für diese Bildlinie erhaltenen Durchschnittswerte sich sukzessive ändern, wie im Diagramm (c) gezeigt, wird eine Zeitachsenfilterung durch nicht gewichtete Mittelung an diese Mehrzahl von Durchschnittswerten angewendet und das Ergebnis wird bei der Berechnung des Aufnahmezielhelligkeitswertes verwendet.
  • Der Begriff „gewichtete mittlere Filterung", wie er hier verwendet wird, bezeichnet eine Mittelungsberechnung, bei der neueren Daten gegenüber älteren Daten eine größere Gewichtung verliehen wird.
  • Die obige Verarbeitung, die im Schritt S135 durchgeführt wird, wird nachfolgend näher erläutert.
  • Es sei beispielsweise angenommen, dass T gleich 4 ist; wenn das Pufferintervall (t – 0 ~ t – T) ist, werden die durchschnittlichen Helligkeitswerte der i-ten Bildlinie innerhalb eines Pufferintervalls als die nachfolgende Größenbeziehung habend angenommen: Bi,t-1 < Bi,t-3 < Bi,t-2 < Bi,t-4 < Bi,t-0.
  • Wenn eine der Beziehungen gemäß nachfolgendem Ausdruck (1) erfüllt ist, wird beurteilt, dass die gestreuten Schwankungen, welche eine bestimmte Amplitude übersteigen, in den aufeinanderfolgenden Durchschnittswerten auftreten, die für die Bildlinie erhalten worden sind, d. h., wenn die Absolutdifferenz zwischen dem neusten Wert und dem Mittelpunktwert die halbe Breite (DZW/2) der Totzone, multipliziert durch die zeitliche Trennung (T/2) zwischen diesen Werten übersteigt. In diesem Fall erfolgt eine gewichtete mittlere Filterung.
  • Figure 00240001
  • Wenn eine der Beziehungen vom nachfolgenden Ausdruck (2) erfüllt ist, wird beurteilt, dass eine graduelle Schwankung (ein Trend) in den aufeinanderfolgenden durchschnittlichen Helligkeitswerten dieser Bildlinie auftritt, so dass eine Zeitachsenfilterung nicht angewendet wird, d. h., wenn die Absolutdifferenz zwischen dem neuesten Wert und dem Mittelpunktswert die Breite (DZW) der Totzone, multipliziert mit der zeitlichen Trennung (T/2) zwischen diesen Werten übersteigt. Auf ähnliche Weise wird eine Zeitachsenfilterung nicht angewendet, wenn eine der Beziehungen des nachfolgenden Ausdrucks (3) erfüllt ist, d. h., wenn die Absolutdifferenz zwischen dem neuesten Wert und dem ältesten Wert die Breite (DZW) der Totzone, multipliziert mit der zeitlichen Trennung (T) zwischen diesen Werten übersteigt.
  • Figure 00240002
  • In allen anderen Fällen wird eine Zeitachsenfilterung mit nicht gewichteter Mittelung angewendet.
  • Nachfolgend wird im Schritt S136, wie durch folgende Gleichung (4) gezeigt, eine gewichtete Mittelungsbearbeitung an dem Satz von durchschnittlichen Helligkeitswerten (entsprechende Bildlinien) angewendet, welche durch die selektiv angewendete Zeitachsenfilterung von Schritt S135 erhalten wurden. Das Ergebnis dieser gewichteten Mittelungsverarbeitung wird als vorläufiger Aufnahmezielhelligkeitswert bezeichnet, der im Speicher zur Verwendung in der nachfolgenden Tiefpassfilterung verwendet wird.
  • In Gleichung (4) bezeichnet Fi,t den durchschnittlichen Helligkeitswert einer Bildlinie und Wi bezeichnet einen Gewichtungsfaktor, der für die Bildlinie gesetzt ist. Bei dieser Ausführungsform werden die Gewichtungswerte wie folgt gesetzt.
  • Der vorläufige Aufnahmezielhelligkeitswert wird als eine Kombination (bei dieser Ausführungsform einem Durchschnitt) von Durchschnittswerten erhalten, die für die Bildlinien des Zielobjektgebrauchsbereichs und für Bildlinien des Straßenoberflächengebrauchsbereichs erhalten wurden. Die Helligkeitswerte innerhalb des Straßenoberflächengebrauchsbereichs (nahe dem Eigenfahrzeug) sind relativ stabil, während diejenige des Zielobjektgebrauchsbereichs mehr variabel sind. Aus diesen Grund werden, wenn Gleichung (4) an die Bildliniendurchschnittshelligkeitswerte des Straßenoberflächengebrauchsbereichs angewendet wird, die jeweiligen Gewichtungswerte W, die in Gleichung (4) zugewiesen werden, gemäß der zunehmenden Nähe der Bildlinie (d. h. des durch die Bildlinie vertretenen Bereichs) zum Eigenfahrzeug hin verringert. Umgekehrt, wenn Gleichung (4) an die Bildliniendurchschnittswerte des Zielobjektgebrauchsbereichs angewendet wird, wird der Wert von W gemäß einem abnehmenden Abstand der Bildlinie (d. h. des von der Bildlinie repräsentierten Bereichs) verringert. Der aus Gleichung (4) erhaltene Wert BIMG,Temp,t wird als vorläufiger Aufnahmezielhelligkeitswert bezeichnet.
  • Figure 00260001
  • Nachfolgend (Schritt S137) wird eine Mehrzahl von Aufnahmezielhelligkeitswerten, die bis zum momentanen Zeitpunkt aufeinanderfolgend erhalten wurden, ermittelt, um den Grad der Streuung dieser Werte zu bestimmen. Wenn die Streuung innerhalb einer bestimmten Grenze liegt, wird der vorläufige Aufnahmezielhelligkeitswert nachfolgend bei der Durchführung der Belichtungssteuerung verwendet. Wenn die Streuung die Grenze überschreitet, wird eine Tiefpassfilterverarbeitung (wird nachfolgend beschrieben) angewendet und ein Aufnahmezielhelligkeitswert wird als Ergebnis dieser Filterung erhalten und bei der Durchführung der Belichtungssteuerung verwendet.
  • Diese Tiefpassfilterverarbeitung wird durchgeführt, um Helligkeitsschwankungen zu verhindern.
  • Der Ablauf geht dann zum Schritt S140 von 3.
  • Das Anwenden einer Tiefpassfilterung zum Erhalt der Aufnahmezielhelligkeitswerte kann ein Absenken der Ansprechgeschwindigkeit verursachen. Daher wird bei dieser Ausführungsform die Filterung nur dann angewendet, wenn beurteilt wird, dass es eine überhohe Streuung von aufeinanderfolgend erhaltenen Aufnahmezielhelligkeitswerten gibt. Die erlaubbare Grenze der Streuung der aufeinanderfolgenden Aufnahmezielhelligkeitswerte wird basierend auf der Breite der Totzone bestimmt, wie nachfolgend beschrieben.
  • Die die obige Tiefpassfilterung betreffende Verarbeitung wird in der nachfolgenden Abfolge von Vorgängen durchgeführt, wobei P die Anzahl von vorher erhaltenen Aufnahmezielhelligkeitswerten bezeichnet, die bei der Ermittlung der Verteilung der Aufnahmezielhelligkeitswerte verwendet werden:
    • [1] Puffern von Aufnahmezielhelligkeitswerten, welche aufeinanderfolgend zu periodischen Zeitpunkten bis zum momentanen Zeitpunkt gemessen wurden (Pufferintervall: t BIMG#Temp,t...BIMG#Temp,t-P
    • [2] Jeweilige Differenzen zwischen jedem dieser Aufnahmezielhelligkeitswerte und dem unmittelbar vorher erhaltenen Aufnahmezielhelligkeitswert werden berechnet, wie durch folgende Gleichung (5) gezeichnet (Pufferintervall: 0 ~ P – 1):
      Figure 00270001
    • [3] Die Anzahl von Wechseln in dieser Serie von Aufnahmezielhelligkeitswerten wird dann berechnet, d. h., die Anzahl von Vorzeichenänderungen zwischen benachbarten Differenzwerten (d. h. zwischen jedem Paar Diffi und Diffi-1 innerhalb des Satzes von Differenzwerten Diff0...DiffP-1).
    • [4] Die durchschnittliche Absolutgröße der Schwankungen wird in Relation zur halben Breite DZW/2 der Totzone ermittelt. Genauer gesagt, wenn nachfolgender Ausdruck (6) erfüllt ist, wird beurteilt, dass C = 1.0 (wobei C ein Parameter in nachfolgender Gleichung (8)) ist. Wenn folgender Ausdruck (7) erfüllt ist, wird der Wert von C aus der Grafik von 15 erhalten.
      Figure 00270002
    • [5] Eine Tiefpassfilterung wird dann selektiv gemäß nachfolgender Gleichung (8) angewendet, um einen Aufnahmezielhelligkeitswert (BIMG,t) zur Verwendung bei der Belichtungssteuerung zu erhalten. D. h., wenn der Wert von C als 1 erhalten wird, wird der vorläufige Aufnahmezielhelligkeitswert, der im Schritt S136 erhalten wurde, nachfolgend direkt bei der Belichtungssteuerung verwendet. Ansonsten (C < 1), wird eine Tiefpassfilterberechnung durchgeführt, wobei wenigstens ein vorher erhaltener Aufnahmezielhelligkeitswert verwendet wird und das Ergebnis dieser TPF-Verarbeitung wird bei der Belichtungssteuerung verwendet. Mit dieser Ausführungsform besteht die Tiefpassfilterberechnung aus einer Multiplizierung des vorläufigen Aufnahmezielhelligkeitswertes mit C und des unmittelbar vorher erhaltenen Aufnahmezielhelligkeitswertes mit (1 – C) und der Aufsummierung der Ergebnisse, d. h.:
      Figure 00280001
  • Dies schließt die Verarbeitung von Schritt S130 in 3 ab.
  • Es versteht sich, dass der Effekt des Erhaltens des Wertes von C und dann der Anwendung von Gleichung (8) ist, um:
    • (a) zu beurteilen, ob die Amplitude von Schwankungen in einer Mehrzahl von aufeinanderfolgend erhaltenen Aufnahmezielhelligkeitswerten (bis zum momentanen Zeitpunkt erhalten) einen bestimmten Grenzwert übersteigt;
    • (b) wenn die Grenze nicht überschritten wird, den vorläufigen Aufnahmezielhelligkeitswert als Endwert zu benutzen; und
    • (c) wenn die Grenze überstiegen wird, eine Tiefpassfilterberechnung durchzuführen, wobei der vorläufige Aufnahmezielhelligkeitswert verwendet wird und das Ergebnis dieser Berechnung als Endwert zu wählen.
  • Nachfolgend wird im Schritt S140 von 3 eine Entscheidung gemacht, ob der Aufnahmezielhelligkeitswert, der im Schritt S130 erhalten wurde, innerhalb der Totzone liegt. Wenn beurteilt wird, dass der Aufnahmezielhelligkeitswert innerhalb der Totzone liegt, endet die Verarbeitung. Wenn der Aufnahmezielhelligkeitswert als außerhalb der Totzone liegend bewertet wird, wird dann Schritt S150 durchgeführt, in welchem eine Luminanzsteuerkarte gewählt wird (wie oben unter Bezug auf (b) in 2 beschrieben), und zwar gemäß dem Aufnahmezielhelligkeitswert vom Schritt S130 und dem Luminanzsteuerzielwert, der im Schritt S110 bestimmt wurde. Die Belichtungssteuerung wird dann durch Festsetzen des Kameravideoverstärkungsfaktors und der Verschlussgeschwindigkeit gemäß der gewählten Luminanzsteuerkarte durchgeführt. Die Durchführung der Verarbeitung endet dann.
  • Die Ausführungsform wurde oben unter der Annahme beschrieben, dass jede der Luminanzsteuerkarten eine lineare Charakteristik hat. Jedoch kann die Kamera 21 in einem HDR-Modus (high dynamic range) betrieben werden, in welchem der Bereich zwischen minimalen und maximalen Luminanzwerten der Bildelemente einem weiteren Bereich von Szeneriehelligkeitswerten entspricht, als in einem normalen Modus. In diesem Fall können die Luminanzsteuerkarten die Form gemäß 16 annehmen, wo in Teilen der Kartencharakteristika Knicke vorhanden sind. Als Ergebnis dieser Nicht-Linearitäten der Luminanzsteuerkartencharakteristika können sich komplexe Einschränkungen in den Werten von Verschlussgeschwindigkeit und Verstärkungsfaktor ergeben, die verwendet werden können. Aus diesem Grund ist es wünschenswert, dass der Änderungsgrad in dem Abknickungsbetrag zwischen benachbarten Luminanzsteuerkarten klein gemacht wird.
  • Durch Verwendung solcher Luminanzsteuerkarten für den HDR-Betrieb kann, wenn es eine plötzliche starke Änderung in der Helligkeit der externen Szenerie gibt (zum Beispiel, wenn das Eigenfahrzeug in einen Tunnel einfährt), die Zeit, die bis zu einer geeigneten Steuerung der Kamerabelichtung verstreicht, verringert werden.
  • Die Verarbeitung von obiger 6 zum Erhalt eines Aufnahmezielhelligkeitswertes zur Verwendung bei der Kamerabelichtungssteuerung kann wie folgt zusammengefasst werden.
  • Schritt S131: Bildelemente, die einen Helligkeitsmessbereich bilden, werden aus einem aufgenommenen Bild in Einheiten von Bildlinien extrahiert, wobei entsprechende Luminanzwerte der extrahierten Bildelemente in Helligkeitswerte umgewandelt werden.
  • Schritt S132, S133: Für jede der bestimmten Bildlinien in dem Ähnlichkeitsmessbereich (d. h. Bildlinien, die nicht aus einer weiteren Verarbeitung durch Ausdünnen ausgeschlossen wurden) wird die durchschnittliche Helligkeit der Bildelemente der Linie berechnet.
  • Schritt S134, S135: Für jede der nicht ausgeschlossenen Bildlinien im Helligkeitsmessbereich wird eine Mehrzahl von Durchschnittswerten, welche aufeinanderfolgend für diese Bildlinie erhalten wurde, ermittelt, und wenn die Streuung dieser Durchschnittswerte eine bestimmte Grenze übersteigt, wird an dieser Mehrzahl von Durchgangswerten eine Zeitachsenmittelung angewendet, um einen momentanen Durchschnittswert zur Verwendung bei der weiteren Verarbeitung zu erhalten. Der Filtereffekt (Grad der Glättung) wird abhängig von einem zunehmenden Abstand der externen Bereiche entsprechend der Bildlinien erhöht.
  • Schritt S136: Eine gewichtete Mittelung wird an dem Satz von Durchschnittswerten angewendet, welche für entsprechende Bildlinien erhalten wurden, um einen vorläufigen Aufnahmezielhelligkeitswert zu erhalten. Gewichtungswerte, die an die jeweiligen Bildlinien angewendet werden, werden gemäß einer zunehmenden Distanz der Bereiche, die durch die Bildlinien dargestellt werden, erhöht.
  • Schritt S137: Eine Tiefpassfilterbearbeitung wird unter Verwendung des vorläufigen Aufnahmezielhelligkeitswertes und wenigstens einem vorher erhaltenen Aufnahmezielhelligkeitswert durchgeführt und entweder das Ergebnis dieser Filterbearbeitung oder der vorläufige Aufnahmezielhelligkeitswert wird als momentan gemessener Helligkeitswert ausgewählt um in der Belichtungssteuerung verwendet zu werden. Diese Auswahl wird gemäß dem Grad der Streuung der aufeinanderfolgend erhaltenen Aufnahmezielhelligkeitswerte (bis zum momentanen Zeitpunkt) bestimmt.
  • Bei der beschriebenen Ausführungsform wird jeder der obigen Schritt S131–S150 durch eine Verarbeitung implementiert, die von einem Computerprogramm durchgeführt wird. Es wäre jedoch gleichermaßen möglich, wenigstens eine dieser Ablaufschritte durch bestimmte Hardwareschaltungen zu implementieren. Diese Ablaufschritte sind zum Inhalt der beigefügten Ansprüche wie folgt in Relation:
    Die CPU 11 entspricht bei der Durchführung der Verarbeitung vom Schritt S131 der Extraktionsschaltung gemäß den Ansprüchen, während bei Durchführung der Verarbeitung der Schritt S132 bis S135 die CPU 11 der Berechnungsschaltung entspricht, die in den Ansprüchen angegeben ist. Bei Durchführung der Verarbeitung der Schritte S136 und S137 entspricht die CPU 11 der Messschaltung, die in den Ansprüchen angegeben ist und bei Durchführung der Verarbeitung von Schritt S150 entspricht die CPU 11 der Belichtungssteuerschaltung, die in den Ansprüchen angegeben ist.
  • Erhaltene Effekte
  • Wie sich aus Obigen erschließt, können bei der Belichtungssteuervorrichtung 10 dieser Ausführungsform Schwankungen in den gemessenen Helligkeitswerten, zum Beispiel aufgrund der unter Bezugnahme auf 17 beschriebenen Effekte, im Wesentlichen verringert werden. Dies wird erreicht durch Anlegen einer Zeitachsenfilterung an durchschnittliche Helligkeitswerte, die aufeinanderfolgend für jede von entsprechenden Gruppen von Bildelementen (bevorzugt Bildlinien gemäß obiger Beschreibung) eines Bildes erhalten wurden. Allgemein gesagt, diese Helligkeitsschwankungen treten am stärksten wahrnehmbar in Teilen eines aufgenommenen Bildes auf, die einen externen Bereich (in einer aufgenommenen Szenerie) entsprechen, die relativ entfernt sind. Aus diesem Grund wird die Stärke der Zeitachsenfilterung (Grad der Glättung) gemäß einer zunehmenden Distanz der externen Bereiche entsprechend den jeweiligen Bildlinien erhöht. Somit kann eine stabilere und zuverlässige Helligkeitsmessung erreicht werden, so dass eine verbesserte Belichtungssteuerung erhalten werden kann.
  • Weiterhin erfolgt bei der obigen Ausführungsform eine Beurteilung separat für jede der Bildlinien dahingehend, ob oder ob nicht eine solche Zeitachsenfilterverarbeitung angewendet werden soll, wobei die Beurteilung basierend auf dem Grad der Streuung einer Mehrzahl von vorher erhaltenen Durchschnittlichkeitswerten der Bildlinie erfolgt. Somit wird die Zeitachsenfilterung nur dann angewendet, wenn der Betrag der Streuung eine bestimmte Grenze übersteigt. Dies stellt sicher, dass die Anwendung der Zeitachsenfilterung nicht zur einer sehr starken Absenkung der Reaktionsgeschwindigkeit auf plötzliche Helligkeitsänderungen in den aufgenommenen Bildern führt (d. h. zu einer Absenkung der Belichtungssteuerungsansprechgeschwindigkeit).
  • Andere Ausführungsformen
  • Die Erfindung ist nicht auf die oben beschriebene Ausführungsform beschränkt und verschiedene Abwandlungen oder alternative Ausführungsformen können angedacht werden, welche in dem beanspruchten Umfang der Erfindung liegen.
  • Bei der obigen Ausführungsform der Belichtungssteuervorrichtung 10 wird die Zeitachsenfilterung an eine Mehrzahl von aufeinanderfolgend erhaltenen Durchschnittswerten einer Bildlinie nur dann angewendet, wenn beurteilt wird, dass dieser Grad der Streuung dieser Durchschnittswerte eine bestimmte Grenze übersteigt. Es wäre jedoch gleichermaßen möglich, stets eine derartige Zeitachsenfilterung an die Durchschnittswerte anzulegen, die für jede der Bildlinien erhalten wurden, ohne eine solche Beurteilung zu machen.
  • Auf ähnliche Weise legt bei der obigen Ausführungsform die Belichtungssteuervorrichtung 10 die Tiefpassfilterverarbeitung an, um einen Aufnahmezielhelligkeitswert abzuleiten, der bei der Belichtungssteuerung angewendet wird, nur dann, wenn beurteilt wird, dass der Grad der Streuung von vorher erhaltenen Aufnahmezielhelligkeitswerten eine bestimmte Grenze übersteigt. Es wäre jedoch gleichermaßen möglich, eine solche Tiefpassfilterverarbeitung stets ohne Durchführung einer solchen Beurteilung anzuwenden.
  • Obgleich weiterhin bei der obigen Ausführungsform die Belichtungssteuervorrichtung 10 entsprechende Bildlinie (horizontale Reihen von Bildelementen) aus jedem aufgenommenen Bild extrahiert, um einen Helligkeitsmessbereich zu bilden, wäre es gleichermaßen möglich, Gruppen von Bildelementen für diesen Zweck in anderen Einheiten als Bildlinien zu extrahieren.
  • Weiterhin, obgleich die obige Ausführungsform zur Anwendung bei einem System zur Durchführung einer Warnanzeigeverarbeitung und Endsteuerverarbeitung basierend auf einer Erkennung eines vorausfahrenden Fahrzeuges beschrieben wurde, ist die Erfindung nicht auf ein solches System beschränkt und kann beispielsweise bei einem System zur Durchführung von Warnangabeverarbeitungen und Lenksteuerverarbeitungen etc. basierend auf einer Erkennung von weißen Linien (Fahrspurmarkierungen) auf einer Straßenoberfläche angewendet werden.
  • Weiterhin ist der Helligkeitsmessbereich in obiger Ausführungsform nur als ein Beispiel beschrieben und eine passende Form eines Helligkeitsmessbereichs kann gemäß den Anforderungen eines bestimmten Systems konfiguriert werden.
  • ZITATE ENTHALTEN IN DER BESCHREIBUNG
  • Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
  • Zitierte Patentliteratur
    • - JP 2007-334936 [0001]
    • - JP 6-253208 [0006]
    • - JP 2005-148308 [0009]

Claims (7)

  1. Eine Belichtungssteuervorrichtung zur Belichtungssteuerung einer elektrischen Digitalkamera in einem Fahrzeug, wobei die Kamera angeordnet ist, periodisch entsprechende Bilder einer externen Szenerie vorderhalb des Fahrzeuges aufzunehmen, wobei jedes der Bilder eine Reihe von Bildelementen aufweist, welche entsprechende Luminanzwerte haben und wobei die Belichtungssteuervorrichtung eine Schaltung aufweist, welche die Luminanzwerte in entsprechende Helligkeitswerte der externen Szenerie gemäß einer vorbestimmten Beziehung zwischen einer Belichtungsbedingung der Kamera, der Luminanzwerte und der Helligkeitswerte umzuwandeln vermag, wobei die Belichtungssteuervorrichtung aufweist: eine Extraktionsschaltung, welche aus jedem der Bilder eine Mehrzahl von Gruppen von Bildelementen zum Bilden eines Helligkeitsmessbereichs zu extrahieren vermag; eine Berechnungsschaltung, welche entsprechende Durchschnittshelligkeitswerte der Mehrzahl von Bildelementgruppen zu berechnen vermag und für jede der Gruppen eine Zeitachsenfilterverarbeitung an aufeinanderfolgend erhaltene durchschnittliche Helligkeitswerte von der Gruppe anzulegen vermag, um damit Schwankungen in den durchschnittlichen Helligkeitswerten zu glätten; eine Messschaltung, welche einen Aufnahmezielhelligkeitswert basierend auf entsprechenden durchschnittlichen Helligkeitswerten zu berechnen vermag, die nach der Zeitachsenfilterverarbeitung von den Bildelementgruppen erhalten wurden; und eine Belichtungssteuerschaltung, welche eine Belichtungssteuerung der Kamera gemäß dem Aufnahmezielhelligkeitswert durchzuführen vermag.
  2. Eine Belichtungssteuervorrichtung nach Anspruch 1, dadurch gekennzeichnet, dass die Berechnungsschaltung einen Effekt der Zeitachsenfilterverarbeitung zu erhöhen vermag, die an entsprechende der Gruppen angewendet wird, gemäß einer zunehmenden Distanz von externen Bereichen entsprechend der Gruppen.
  3. Eine Belichtungssteuervorrichtung nach Anspruch 1, dadurch gekennzeichnet, dass die Berechnungsschaltung ausgelegt ist, um: für jede Bildelementgruppen eine Amplitude gestreuter Schwankungen in durchschnittlichen Helligkeitswerten innerhalb einer Mehrzahl von aufeinanderfolgend erhaltenen durchschnittlichen Helligkeitswerten entsprechend der Gruppe zu erhalten und die Amplitude in Relation zu einer bestimmten Grenzamplitude zu beurteilen; und die Zeitachsenfilterverarbeitung selektiv gemäß einem Ergebnis der Beurteilung anzulegen, um einen momentanen durchschnittlichen Helligkeitswert zu erhalten.
  4. Eine Belichtungssteuervorrichtung nach Anspruch 1, dadurch gekennzeichnet, dass die Berechnungsschaltung die Bildelementgruppen als entsprechende Bildlinien, jeweils eine horizontale Reihe von Bildelementen eines Bildes aufweisend, zu entnehmen vermag und weiterhin: für jede der Bildlinien eine Amplitude gestreuter Schwankungen in Durchschnittswerthelligkeitswerten innerhalb einer Mehrzahl von aufeinanderfolgend erhaltenen durchschnittlichen Ähnlichkeitswerten entsprechend der Bildlinie zu erhalten und die Amplitude in Relation zu einem bestimmten Grenzwert einer Amplitude zu beurteilen; und selektiv die Zeitachsenfilterverarbeitung anzulegen, um gemäß einem Ergebnis der Beurteilung einen momentanen Helligkeitswert entsprechend der Bildlinie zu erhalten.
  5. Eine Belichtungssteuervorrichtung nach Anspruch 1, dadurch gekennzeichnet, dass die Messschaltung dafür ausgelegt ist, eine Tiefpassfilterverarbeitung unter Verwendung einer Mehrzahl von aufeinanderfolgend erhaltenen Aufnahmezielhelligkeitswerten anzulegen, um einen momentanen Aufnahmezielhelligkeitswert zur Verwendung bei der Belichtungssteuerung zu erhalten.
  6. Eine Belichtungssteuervorrichtung nach Anspruch 5, dadurch gekennzeichnet, dass die Messschaltung ausgelegt ist, um: eine Amplitude von Schwankungen aus einer Mehrzahl von aufeinanderfolgend erhaltenen Aufnahmezielhelligkeitswerten zu erhalten und die Amplitude in Relation zu einem bestimmten Grenzwert der Amplitudenschwankung zu beurteilen; und selektiv die Tiefpassfilterverarbeitung gemäß dem Ergebnis der Beurteilung anzulegen.
  7. Ein Belichtungssteuerprogramm zur Durchführung durch einen Computer, um entsprechende Funktionen einer Belichtungssteuervorrichtung zur Belichtungssteuerung einer elektronischen Digitalkamera in einem Fahrzeug zu implementierten, wobei die Kamera angeordnet ist, periodisch entsprechende Bilder einer Szenerie vorderhalb des Fahrzeuges aufzunehmen, wobei jedes der Bilder eine Reihe von Bildelementen aufweist, welche entsprechende Luminanzwerte haben und wobei die Belichtungssteuervorrichtung Mittel aufweist, welche die Luminanzwerte in entsprechende Helligkeitswerte der Szenerie gemäß einer Belichtungsbedingung der Kamera umzuwandeln vermag, wobei die Belichtungssteuervorrichtung aufweist: Extraktionsmittel, welche aus jedem der Bilder eine Mehrzahl von Gruppen von Bildelementen zum Bilden eines Helligkeitsmessbereichs zu extrahieren vermögen; Berechnungsmittel, welche entsprechende Durchschnittshelligkeitswerte der Mehrzahl von Bildelementgruppen zu berechnen vermögen und für jede der Gruppen eine Zeitachsenfilterverarbeitung an aufeinanderfolgend erhaltene durchschnittliche Helligkeitswerte von der Gruppe anzulegen vermögen, wobei die Zeitachsenfilterverarbeitung mit zunehmendem Abstand externer Bereiche entsprechnd der Gruppen erhöht wird; Messmittel, welche einen Aufnahmezielhelligkeitswert basierend auf entsprechenden durchschnittlichen Helligkeitswerten zu berechnen vermögen, die nach der Zeitachsenfilterverarbeitung von den Bildelementgruppen erhalten wurden; und Belichtungssteuermittel, welche eine Belichtungssteuerung der Kamera gemäß dem Aufnahmezielhelligkeitswert durchzuführen vermögen.
DE102008063122.1A 2007-12-26 2008-12-24 Belichtungssteuervorrichtung und Belichtungssteuerprogramm für elektronische Fahrzeugkamera Active DE102008063122B4 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2007334936A JP4389999B2 (ja) 2007-12-26 2007-12-26 露出制御装置及び露出制御プログラム
JP2007-334936 2007-12-26

Publications (2)

Publication Number Publication Date
DE102008063122A1 true DE102008063122A1 (de) 2009-07-23
DE102008063122B4 DE102008063122B4 (de) 2019-02-07

Family

ID=40786060

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102008063122.1A Active DE102008063122B4 (de) 2007-12-26 2008-12-24 Belichtungssteuervorrichtung und Belichtungssteuerprogramm für elektronische Fahrzeugkamera

Country Status (3)

Country Link
US (1) US8149325B2 (de)
JP (1) JP4389999B2 (de)
DE (1) DE102008063122B4 (de)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8531589B2 (en) 2009-01-14 2013-09-10 Panasonic Corporation Image pickup device and image pickup method
JP2010177821A (ja) * 2009-01-27 2010-08-12 Sony Corp 撮像装置及び撮像方法
US8355059B2 (en) * 2009-02-06 2013-01-15 Canon Kabushiki Kaisha Image capturing apparatus and control method thereof
US9077905B2 (en) * 2009-02-06 2015-07-07 Canon Kabushiki Kaisha Image capturing apparatus and control method thereof
JP2011119785A (ja) * 2009-11-30 2011-06-16 Fujitsu Ltd カメラ制御装置及びカメラ制御方法
JP5427744B2 (ja) * 2010-09-30 2014-02-26 日立オートモティブシステムズ株式会社 画像処理装置
JP5246254B2 (ja) * 2010-12-24 2013-07-24 株式会社デンソー 車載カメラの露出制御値の決定方法
JP5937832B2 (ja) * 2012-01-30 2016-06-22 クラリオン株式会社 車載カメラ用露出制御装置
JP6171264B2 (ja) * 2012-03-30 2017-08-02 株式会社デンソー 撮像装置
JP6087858B2 (ja) * 2014-03-24 2017-03-01 株式会社日本自動車部品総合研究所 走行区画線認識装置及び走行区画線認識プログラム
JP6390512B2 (ja) * 2015-05-21 2018-09-19 株式会社デンソー 車載カメラ装置
JP6657925B2 (ja) 2015-06-04 2020-03-04 ソニー株式会社 車載カメラ・システム並びに画像処理装置
CN105744177A (zh) * 2016-02-17 2016-07-06 广州视睿电子科技有限公司 视频展台灯光控制方法及其系统
KR20180097966A (ko) * 2017-02-24 2018-09-03 삼성전자주식회사 자율 주행을 위한 영상 처리 방법 및 장치
WO2019194106A1 (ja) * 2018-04-06 2019-10-10 オリンパス株式会社 画像処理装置、画像処理方法および画像処理プログラム
WO2022014361A1 (ja) 2020-07-15 2022-01-20 ソニーグループ株式会社 情報処理装置、情報処理方法、及び、プログラム
CN112689100B (zh) * 2020-12-25 2022-08-02 北京灵汐科技有限公司 图像检测方法、装置、设备和存储介质
CN114078406B (zh) * 2021-11-23 2024-01-30 中国航空工业集团公司洛阳电光设备研究所 车载ar-hud亮度自适应调节的防抖方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06253208A (ja) 1993-02-26 1994-09-09 Isuzu Motors Ltd 車線認識装置
JP2005148308A (ja) 2003-11-13 2005-06-09 Denso Corp 白線検出用カメラの露出制御装置
JP2007334936A (ja) 2006-06-12 2007-12-27 Hitachi Ltd 近接場光発生器及び記録再生装置

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5339163A (en) 1988-03-16 1994-08-16 Canon Kabushiki Kaisha Automatic exposure control device using plural image plane detection areas
US5255044A (en) 1990-06-05 1993-10-19 Nikon Corporation Automatic exposure control apparatus with improved exposure value calculation for photographing a moving object
JP3412174B2 (ja) 1992-05-21 2003-06-03 松下電器産業株式会社 自動露光制御装置
JP3468428B2 (ja) 1993-03-24 2003-11-17 富士重工業株式会社 車輌用距離検出装置
US20050083428A1 (en) * 1995-03-17 2005-04-21 Hiroto Ohkawara Image pickup apparatus
JP2001216520A (ja) 2000-01-31 2001-08-10 Yazaki Corp 車両用周辺監視装置
US7365779B2 (en) 2000-09-14 2008-04-29 Fujitsu Ten Limited Image processing apparatus for selectively storing specific regions of an image
US7251056B2 (en) * 2001-06-11 2007-07-31 Ricoh Company, Ltd. Image processing apparatus, image processing method and information recording medium
DE10337357A1 (de) 2003-08-14 2005-03-10 Adc Automotive Dist Control Verfahren und Vorrichtung zur Beleuchtungssteuerung für eine Kamera
EP2109061B1 (de) 2005-05-20 2013-02-27 Toyota Jidosha Kabushiki Kaisha Bildverarbeitungsvorrichtung für ein Fahrzeug
JP2008028957A (ja) 2006-07-25 2008-02-07 Denso Corp 車両用画像処理装置
KR100918701B1 (ko) 2007-10-11 2009-09-22 한국과학기술원 강인한 자동 화이트 밸런스 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06253208A (ja) 1993-02-26 1994-09-09 Isuzu Motors Ltd 車線認識装置
JP2005148308A (ja) 2003-11-13 2005-06-09 Denso Corp 白線検出用カメラの露出制御装置
JP2007334936A (ja) 2006-06-12 2007-12-27 Hitachi Ltd 近接場光発生器及び記録再生装置

Also Published As

Publication number Publication date
JP4389999B2 (ja) 2009-12-24
DE102008063122B4 (de) 2019-02-07
JP2009157087A (ja) 2009-07-16
US8149325B2 (en) 2012-04-03
US20090174808A1 (en) 2009-07-09

Similar Documents

Publication Publication Date Title
DE102008063122B4 (de) Belichtungssteuervorrichtung und Belichtungssteuerprogramm für elektronische Fahrzeugkamera
DE102008063121B4 (de) Belichtungssteuervorrichtung und Belichtungssteuerprogramm für elektronische Fahrzeugkamera
DE102008064411B4 (de) Belichtungssteuerungsvorrichtung und Belichtungssteuerungsprogramm für eine in einem Fahrzeug installierte elektronische Kamera
DE102009005861B4 (de) Fahrzeugumgebungs-Erkennungssystem
DE102008025723B4 (de) Vorrichtung zur Überwachung der Umgebung eines Fahrzeugs
DE102008030555B4 (de) Vorrichtung zur Verarbeitung von Stereobildern
DE102010020867B4 (de) Strassenform-Erkennungsvorrichtung
DE10292327B4 (de) Fahrzeugumgebungsbildverarbeitungsvorrichtung und Aufzeichnungsmedium
DE60032973T2 (de) Stereo-Fahrzeugüberwachungsgerät mit Fehlersicherheits-Funktion
DE112015006032B4 (de) Vorrichtung und Verfahren zur Bilderfassung eines Objekts, das sich in einem Abbildungsfeld-Winkelbereich befindet, Programm und Aufzeichnungsmedium
DE102008012840A1 (de) Objekterfassungssystem
DE102011004006A1 (de) Spurmarkierungserkennungssystem mit verbessertem Erkennungsverhalten
DE112017004987B4 (de) Bilderzeugungsvorrichtung, Bilderzeugungsverfahren und Aufzeichnungsmedium
DE102005016288A1 (de) Vorrichtung zur Erfassung eines Objekts vor einem Fahrzeug
DE60217589T2 (de) Vorrichtung und Verfahren zur Detektion von weissen Linien
DE102012201143A1 (de) Fahrspurmarkierungserfassungssystem mit verbesserter erfassungsleistung
DE102012209488A1 (de) Erkennungsobjekt-Erfassungsvorrichtung
EP2181414B1 (de) Verfahren und anordnung zur auswertung von helligkeitswerten in sensorbildern bei bildauswertenden umfelderkennungssystemen
DE69825525T2 (de) Vorrichtung zur Erstellung eines Bildes sowie Verfahren und Vorrichtung zur Entfernungsmessung
EP0951776B1 (de) Verfahren zur regelung der belichtung von videokameras
DE102013103952A1 (de) Spurerkennung bei voller Fahrt mit einem Rundumsichtsystem
EP3655299B1 (de) Verfahren und vorrichtung zum ermitteln eines optischen flusses anhand einer von einer kamera eines fahrzeugs aufgenommenen bildsequenz
DE102013103953A1 (de) Spurerkennung bei voller Fahrt unter Verwendung mehrerer Kameras
EP3151543B1 (de) Bildaufnahmeeinrichtung für ein kraftfahrzeug und verfahren zum betreiben einer derartigen bildaufnahmeeinrichtung
DE102006020930B4 (de) Verfahren zur Umgebungsüberwachung für ein Kraftfahrzeug

Legal Events

Date Code Title Description
R012 Request for examination validly filed

Effective date: 20140512

R016 Response to examination communication
R018 Grant decision by examination section/examining division
R020 Patent grant now final
R084 Declaration of willingness to licence