DE102008002026A1 - Vorrichtung, Kamera und Verfahren zur Erzeugung von Bildern der Umgebung eines Kraftfahrzeuges - Google Patents

Vorrichtung, Kamera und Verfahren zur Erzeugung von Bildern der Umgebung eines Kraftfahrzeuges Download PDF

Info

Publication number
DE102008002026A1
DE102008002026A1 DE102008002026A DE102008002026A DE102008002026A1 DE 102008002026 A1 DE102008002026 A1 DE 102008002026A1 DE 102008002026 A DE102008002026 A DE 102008002026A DE 102008002026 A DE102008002026 A DE 102008002026A DE 102008002026 A1 DE102008002026 A1 DE 102008002026A1
Authority
DE
Germany
Prior art keywords
camera
motor vehicle
headlight
images
generated
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
DE102008002026A
Other languages
English (en)
Inventor
Petko Faber
Paul Ruhnau
Martin Rous
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Original Assignee
Robert Bosch GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch GmbH filed Critical Robert Bosch GmbH
Priority to DE102008002026A priority Critical patent/DE102008002026A1/de
Priority to CN2008801294698A priority patent/CN102047166B/zh
Priority to EP08874462A priority patent/EP2288953A1/de
Priority to US12/736,922 priority patent/US20110074956A1/en
Priority to PCT/EP2008/066391 priority patent/WO2009143910A1/de
Publication of DE102008002026A1 publication Critical patent/DE102008002026A1/de
Ceased legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/12Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices with means for image conversion or intensification
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/74Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0138Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/014Head-up displays characterised by optical features comprising information/image processing systems

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Astronomy & Astrophysics (AREA)
  • Lighting Device Outwards From Vehicle And Optical Signal (AREA)
  • Studio Devices (AREA)

Abstract

Es wird eine Vorrichtung für ein Kraftfahrzeug vorgeschlagen, wobei die Vorrichtung einen Scheinwerfer zur Beleuchtung einer Umgebung des Kraftfahrzeuges mit Lichtpulsen und eine Kamera zur Erzeugung von Bildern der Umgebung des Kraftfahrzeuges umfasst. Die Kamera und der Scheinwerfer sind derart synchronisiert, dass die Kamera die Bilder in Dunkelphasen des Scheinwerfers erzeugt. Ferner werden eine Kamera und ein Verfahren zur Erzeugung von Bildern vorgeschlagen.

Description

  • Stand der Technik
  • Die Erfindung betrifft eine Vorrichtung, eine Kamera und ein Verfahren zur Erzeugung von Bildern der Umgebung eines Kraftfahrzeuges.
  • Aus der EP 0 869 031 A2 ist ein Verfahren zur Regulierung von Leuchtweite und Leuchtrichtung von Schweinwerfern in einem Kraftfahrzeug bekannt, wobei eine Kamera den vor dem Kraftfahrzeug liegenden Verkehrsraum mit der Fahrbahn betrachtet und Bilddaten erfasst. Basierend auf den erfassten Bilddaten wird der Straßenverlauf ermittelt und die Scheinwerfereinstellung entsprechend angepasst. Ferner geht aus der EP 0 869 031 A2 hervor, dass entgegenkommende Kraftfahrzeuge erkannt werden und die Beleuchtung so geregelt wird, dass das entgegenkommende Kraftfahrzeug keine Blendung erfährt.
  • Offenbarung der Erfindung
  • Vorteile der Erfindung
  • Die erfindungsgemäße Vorrichtung mit den Merkmalen des unabhängigen Anspruchs hat demgegenüber den Vorteil, dass die Erkennung von entgegenkommenden und vorausfahrenden Kraftfahrzeugen, sowie von anderen Objekten mit aktiven Lichtquellen verbessert ist. Vorteilhaft ist ferner, dass sich aus den erzeugten Bildern Messdaten ermittelt lassen, die ein Maß für die Umgebungshelligkeit sind. Durch die Erzeugung der Bilder in den Dunkelphasen des Scheinwerfers, wird die Messung der Umgebungshelligkeit durch Reflexionen des eigenen Fahrzeuges nicht verfälscht. Dies lässt sich in vorteilhafter Weise dazu nutzen, eine indirekte Beleuchtung in Ortschaften zu detektieren, damit auf eine Verkehrssituation innerhalb einer Ortschaft zu schließen und die Fernlichtscheinwerfer auszuschalten, da innerhalb geschlossener Ortschaften die Benutzung von Fernlicht gesetzlich nicht zulässig ist. Damit wird einerseits die Verkehrssicherheit erhöht. Andererseits trägt dies dazu bei, dass gesetzliche Vorschriften eingehalten werden.
  • Vorteilhaft ist eine Synchronisationsverbindung zwischen der Kamera und dem Scheinwerfer, da hierdurch die Synchronisation besonders verlässlich und genau erfolgen kann.
  • Besonders vorteilhaft ist eine Kamera, die derart ausgestaltet ist, dass die Kamera in Abhängigkeit der in den Bildern erfassten Beleuchtung der Umgebung des Kraftfahrzeuges durch die Scheinwerfer die Aufnahmezeitpunkte der Bilder derart einstellt, dass die Kamera die Bilder in den Dunkelphasen des Scheinwerfers erzeugt. Hierdurch entfällt die physikalische Synchronisationsleitung. Dies trägt einerseits zu geringeren Kosten der Vorrichtung bei, andererseits sind die Kameras einfacher mit Scheinwerfern kombinierbar, da die Kamera selbst die Synchronisation durchführt.
  • Vorteilhaft sind Dunkelphasen zwischen einer Millisekunde und fünf Millisekunden, bevorzugt vier Millisekunden, da ein Mensch derart gewählte Dunkelphasen nicht wahrnimmt. Vielmehr nimmt ein Mensch ein solches Scheinwerferlicht bei entsprechend langen Hellphasen als kontinuierliche Beleuchtung wahr.
  • Die für die Vorrichtung genannten Vorteile gelten entsprechend für die nachfolgend beschriebene Kamera und das erfindungsgemäße Verfahren.
  • Weitere Vorteile ergeben sich aus der nachfolgenden Beschreibung von Ausführungsbeispielen mit Bezug auf die Figuren und aus den abhängigen Ansprüchen.
  • Zeichnungen
  • Die Erfindung wird nachstehend anhand der in der Zeichnung dargestellten Ausführungsform näher erläutert.
  • Es zeigen:
  • 1 ein Kraftfahrzeug,
  • 2 ein Blockdiagramm des ersten Ausführungsbeispiels,
  • 3 ein Zeitdiagramm des ersten Ausführungsbeispiels,
  • 4 ein Blockdiagramm des zweiten Ausführungsbeispiels,
  • 5 ein Blockdiagramm des dritten Ausführungsbeispiels,
  • 6 ein Ablaufdiagramm.
  • Beschreibung von Ausführungsbeispielen
  • Nachfolgend wird eine Vorrichtung für ein Kraftfahrzeug oder eine Vorrichtung in einem Kraftfahrzeug beschrieben, wobei die Vorrichtung einen Scheinwerfer zur Beleuchtung einer Umgebung des Kraftfahrzeuges mit Lichtpulsen und eine Kamera zur Erzeugung von Bildern der Umgebung des Kraftfahrzeuges umfasst. Die Kamera und der Scheinwerfer sind derart synchronisiert, dass die Kamera die Bilder in Dunkelphasen des Scheinwerfers erzeugt. Ferner werden eine Kamera und ein Verfahren zur Erzeugung von Bildern vorgeschlagen.
  • 1 zeigt ein Kraftfahrzeug 10 auf einer Fahrbahn 20 der Ausführungsbeispiele. Das Kraftfahrzeug 10 umfasst eine Kamera 12 und einen Scheinwerfer 14. Sowohl die Kamera 12 als auch der Scheinwerfer 14 sind mit einem Steuergerät 16 verbunden. Die Kamera 12 ist im Bereich der Windschutzscheibe so angebracht und ausgerichtet, dass die Kamera 12 die Umgebung vor dem Kraftfahrzeug 10 mit dem Bilderfassungsbereich 22 erfasst. Die Kamera 12 umfasst neben einem Objektiv einen CMOS-Bildsensor oder einen CCD-Bildsensor. Bevorzugt wird eine Farbkamera verwendet. Alternativ wird eine Schwarz-Weiß-Kamera eingesetzt. In den Ausführungsbeispielen wird eine Mono-Kamera, also eine einzelne Kamera 12 verwendet. Alternativ ist in einer Variante vorgesehen, dass eine Stereokamera verwendet wird. Eine Stereokamera zeichnet sich dadurch aus, dass sie mindestens zwei Kameras umfasst, die im Wesentlichen dieselbe Szene aufnehmen. Die Kamera 12 erfasst Licht zumindest im Wellenlän genbereich zwischen 400 nm und 750 nm, bevorzugt bis 1000 nm. Das Steuergerät 16 ermittelt in den Ausführungsbeispielen aus den von der Kamera 12 erzeugten Bildern Messdaten von entgegenkommenden oder vorausfahrenden Objekten, insbesondere Kraftfahrzeugen. Hierzu werden die von der Kamera 12 in Dunkelphasen der Scheinwerfer 14 aufgenommene Bilder an das Steuergerät 16 übertragen. Das Steuergerät 16 führt eine Bildauswertung durch, indem das Steuergerät aus den Bildern aktive Lichtquellen in der Umgebung ermittelt. Bevorzugt ermittelt das Steuergerät 16 helle Bildbereiche und klassifiziert diese Bildbereiche als Objekte, insbesondere als Scheinwerfer von entgegenkommenden Kraftfahrzeugen und/oder als Rückleuchten von vorausfahrenden Kraftfahrzeugen und/oder als Lichtquellen von Fahrradfahrern und/oder als Verkehrsampeln. Anschließend bestimmt das Steuergerät 16 die Position der ermittelten Objekte und überträgt diese Messdaten an die Scheinwerfer 14. In einer Variante ermittelt das Steuergerät 16 aus den aufgenommenen Bildern Messdaten, die ein Maß für die Umgebungshelligkeit sind. Hierzu berechnet das Steuergerät 16 die mittlere Helligkeit eines aufgenommenen Bildes oder eines vorbestimmten Teilbereichs eines aufgenommenen Bildes. In Abhängigkeit der ermittelten Umgebungshelligkeit bestimmt das Steuergerät 16 die Verkehrssituation. Insbesondere bestimmt das Steuergerät 16, ob sich das Kraftfahrzeug 10 innerhalb einer geschlossenen Ortschaft befindet, indem das Steuergerät 16 den Messwert für die Umgebungshelligkeit mit einem Schwellenwert vergleicht und bei Überschreiten des Schwellenwerts auf eine geschlossene Ortschaft schließt. Anschließend überträgt das Steuergerät 16 einen Wert, der kennzeichnet, ob eine geschlossene Ortschaft vorliegt, und einen Wert für die Umgebungshelligkeit an die Scheinwerfer 14. In Abhängigkeit des Wertes, der kennzeichnet, ob eine geschlossene Ortschaft vorliegt, werden die Fernlichtscheinwerfer der Scheinwerfer 14 dann deaktiviert, wenn sich das Kraftfahrzeug 10 innerhalb einer geschlossenen Ortschaft befindet. In Abhängigkeit des Wertes für die Umgebungshelligkeit werden die Scheinwerfer 14 aktiviert oder deaktiviert. Um die Übersichtlichkeit der 1 zu gewährleisten ist lediglich ein einzelner Scheinwerfer 14 eingezeichnet. Bevorzugt werden in den Ausführungsbeispielen zwei Scheinwerfer 14 verwendet, die im Frontbereich des Kraftfahrzeuges 10 angeordnet sind und die mit einem Beleuchtungsbereich 24 den Bereich vor dem Kraftfahrzeug 10 beleuchten. Die Scheinwerfer 14 zeichnen sich dadurch aus, dass sie gepulstes Licht abgegeben und somit die Umgebung vor dem Kraftfahrzeug 10 gepulst beleuchten, wobei die Pulsfrequenz so gewählt ist, dass das menschliche Auge das Licht der Scheinwerfer 14 als kontinuierliche Beleuchtung wahrnimmt. In den Ausführungsbeispielen handelt es sich bevorzugt um LED-Scheinwerfer oder alternativ Laser-Scheinwerfer. Die LED-Scheinwerfer bestehen in den Ausführungsbeispielen auf der rechten und der linken Seite des Kraftfahrzeuges 10 jeweils aus einem Abblendlichtmodul und einem zusätzlichen Fernlichtmodul. Beim Abblendlichtmodul werden mehrere Mehrchip-LEDs eingesetzt, die weißes Licht dadurch generieren, dass das ursächlich erzeugte blaue Licht durch ein Konvertermaterial in weißes Licht umgewandelt wird. Die Lichtverteilung des Abblendlichtmoduls wird durch Reflektoren und Projektionslinsen erzeugt. Entsprechend werden im Fernlichtmodul ebenfalls die Mehrchip-LEDs in Verbindung mit Reflektoren eingesetzt. Die Scheinwerfer 14 sind derart ausgestaltet, dass die Leuchtbreite und zusätzlich oder alternativ die Leuchtweite der Scheinwerfer 14 einstellbar ist. Somit sind die Scheinwerfer 14 derart ausgestaltet, dass sie sowohl die Funktion des Abblendlichtes als auch die Funktion des Fernlichtes bereitstellen. Darüber hinaus sind die Scheinwerfer 14 derart ausgestaltet, dass die Scheinwerfer 14 basierend auf den von dem Steuergerät 14 übertragenen Messdaten selektiv auswählbare Bereiche des Abblendlicht- und/oder des Fernlichtbereiches ausleuchten, so dass entgegenkommende Kraftfahrzeuge oder vorausfahrende Kraftfahrzeuge oder Fahrradfahrer nicht geblendet werden, aber trotzdem der Bereich vor dem Kraftfahrzeug 10 optimal ausgeleuchtet ist. Ferner ist an das Steuergerät 16 eine Anzeige 18 angeschlossen. Das Steuergerät 16 überträgt an die Anzeige 18 Messdaten zu erfassten Verkehrsampeln. Bei der Anzeige 18 handelt es sich bevorzugt um eine optische Anzeige. Alternative oder zusätzlich ist eine akustische Anzeige und/oder eine haptische Anzeige vorgesehen. Bevorzugt wird auf der Anzeige die Signalisierung (rot, grün, gelb, rot-gelb) der erfassten Verkehrsampeln angezeigt und so der Fahrer des Kraftfahrzeuges 10 informiert oder auch gewarnt.
  • 2 zeigt ein Blockdiagramm des ersten Ausführungsbeispiels, umfassend eine oder mehrere Kameras 12 und einen oder mehrere Scheinwerfer 14, wobei gegenüber 1 nur die Elemente aufgeführt sind, die zur Erläuterung der Synchronisation von Kamera 12 und Scheinwerfer 14 notwendig sind. Wie mit Bezug auf 1 bereits erläutert, beleuchtet der Scheinwerfer 14 die Umgebung 28 und die Kamera 12 erfasst zumindest einen Teil der beleuchteten Um gebung 28. Beispielhaft sind in 2 in der Umgebung 28 ein Fahrrad 30, ein motorisierter Verkehrsteilnehmer 32, wie ein Auto oder ein Lastkraftwagen oder ein Motorrad, sowie eine Verkehrsampel 34 eingezeichnet. Im ersten Ausführungsbeispiel sind die Kamera 12 und der Scheinwerfer 14 über eine Synchronisationsverbindung 26 derart synchronisiert, dass die Kamera 12 die Bilder in Dunkelphasen des Scheinwerfers 14 erzeugt. Bevorzugt ist die Synchronisationsverbindung 26 als drahtgebundene Leitung ausgeführt, wobei die drahtgebundene Leitung entweder als Bus, beispielsweise als CAN-Bus, oder als fest zugeordnet und verschaltete Leitung ausgeführt ist. Alternativ oder zusätzlich ist die Synchronisationsverbindung 26 als Funkverbindung ausgeführt. Die zeitliche Synchronisation wird nachfolgend anhand der 3 erläutert.
  • 3 zeigt ein Zeitdiagramm des ersten Ausführungsbeispiels in einer schematischen Darstellung. Auf der x-Achse des Zeitdiagramms ist die Zeit t aufgetragen. Das obere Teildiagramm zeigt den Zeitverlauf 40 der Beleuchtung der Scheinwerfer. Die Scheinwerfer emittieren in einer periodischen Abfolge gepulstes Licht mit Hellphasen 46 und Dunkelphasen 48. In den Hellphasen 46 geben die Scheinwerfer Licht an die Umgebung ab, während die Scheinwerfer in den Dunkelphasen 48 kein Licht abgeben. In den Hellphasen 46 sind die Scheinwerfer somit eingeschaltet und es liegen Einschaltphasen der Scheinwerfer vor, während in den Dunkelphasen 48 die Scheinwerfer abgeschaltet sind und somit Ausschaltphasen der Scheinwerfer vorliegen. In dem ersten Ausführungsbeispiel, aber auch in den weiteren Ausführungsbeispielen, beträgt die Dunkelphase 48 zwischen 1 ms und 5 ms, bevorzugt 4 ms. Bevorzugt beträgt das Verhältnis zwischen Dunkelphase 48 und Hellphase 46 eins zu zehn. Somit sind die Hellphasen 46 zehnmal länger als die Dunkelphasen 48. In einer Variante der Ausführungsbeispiele werden pro Sekunde ein bis zehn Dunkelphasen 48, bevorzugt zehn Dunkelphasen 48, mit einer Dauer zwischen 1 ms und 5 ms, bevorzugt 4 ms, durch den Scheinwerfer erzeugt. Damit ist die Dunkelphase 48 derart gewählt, dass ein Mensch die Dunkelphasen 48 nicht bewusst wahrnimmt. Die Schaltzeiten der Scheinwerfer, insbesondere der LED- und Laser-Scheinwerfer, von einer Hellphase 46 zu einer Dunkelphase 48 oder umgekehrt betragen in den Ausführungsbeispielen unter 0,1 ms. Bevorzugt liegen die Schaltzeiten im Nanosekundenbereich. Das mittlere Teildiagramm zeigt den Zeitverlauf 42 des Synchronisationssignals auf der Synchronisationsverbindung zwischen Kamera und Scheinwerfer. In den Dunkelphasen 48 erzeugt der Scheinwerfer einen kurzen Synchronisationsimpuls 50, der vom Scheinwerfer zur Kamera übertragen wird. Wie im unteren Teildiagramm dargestellt, das den Zeitverlauf 44 der Bildaufnahme der Kamera zeigt, erzeugt die Kamera durch den Synchronisationsimpuls 50 angetriggert eine Bildaufnahme 50 innerhalb der Dunkelphase 48 der Scheinwerferbeleuchtung. In dieser Variante des ersten Ausführungsbeispiels ist die Kamera somit derart ausgestaltet, dass die Kamera Aufnahmezeitpunkte der Bilder derart einstellt, dass die Kamera die Bilder in den Dunkelphasen 48 des Scheinwerfers erzeugt. Somit ist der Zeitverlauf 40 der Scheinwerferbeleuchtung vorgegeben und der Zeitverlauf 44 der Bildaufnahme der Kamera ist variable und wird auf den Zeitverlauf 40 der Scheinwerferbeleuchtung synchronisiert. In einer Variante des ersten Ausführungsbeispiels wird umgekehrt der Scheinwerfer durch einen Synchronisationsimpuls 50 der Kamera getriggert, um erst dann einen Lichtimpuls abzugeben, wenn die Bildaufnahme 52 der Kamera abgeschlossen ist. In dieser Variante wird der Synchronisationsimpuls 50 von der Kamera erzeugt und der Synchronisationsimpuls wird von der Kamera zum Scheinwerfer übertragen. Somit ist in dieser Variante des ersten Ausführungsbeispiels der Scheinwerfer derart ausgestaltet ist, dass der Scheinwerfer die Lichtpulse derart einstellt, dass die Kamera die Bilder in den Dunkelphasen 48 des Scheinwerfers erzeugt. Der Zeitverlauf 44 der Bildaufnahme der Kamera ist vorgegeben und Zeitverlauf 40 der Scheinwerferbeleuchtung ist variable und wird auf den Zeitverlauf 44 der Bildaufnahme synchronisiert.
  • 4 zeigt ein Blockdiagramm des zweiten Ausführungsbeispiels, umfassend eine oder mehrere Kameras 12 und einen oder mehrere Scheinwerfer 14, wobei gegenüber 1 nur die Elemente aufgeführt sind, die zur Erläuterung der Synchronisation von Kamera 12 und Scheinwerfer 14 notwendig sind. Wie mit Bezug auf 1 bereits erläutert, beleuchtet der Scheinwerfer 14 die Umgebung 28 und die Kamera 12 erfasst zumindest einen Teil der beleuchteten Umgebung 28. Beispielhaft sind in 4 in der Umgebung 28 ein Fahrrad 30, ein motorisierter Verkehrsteilnehmer 32, wie ein Auto oder ein Lastkraftwagen oder ein Motorrad, sowie eine Verkehrsampel 34 eingezeichnet. Im zweiten Ausführungsbeispiel sind die Kamera 12 und der Scheinwerfer 14 nicht über eine Synchronisationsverbindung synchronisiert. Vielmehr ist die Kamera 12 derart ausgestaltet, dass die Kamera 12 in Abhängigkeit der in den Bildern erfassten Be leuchtung der Umgebung des Kraftfahrzeuges durch die Scheinwerfer 14 die Aufnahmezeitpunkte der Bilder derart einstellt, dass die Kamera 12 die Bilder in den Dunkelphasen des Scheinwerfers 14 erzeugt. Hierzu führt die Kamera 12 mehrere aufeinanderfolgende Bildaufnahmen durch, indem die Kamera 12 Bilder der Umgebung 28 des Kraftfahrzeuges aufnimmt. Je nach Versatz zwischen dem Zeitverlauf der Scheinwerferbeleuchtung und dem Zeitverlauf der Bildaufnahme ist die Umgebung 28 während der Aufnahme eines Bildes durch die Scheinwerfer 14 beleuchtet, zeitweise beleuchtet oder nicht beleuchtet. Anschließend bestimmt die Kamera 12 für die einzelnen aufgenommenen Bilder, ob der Scheinwerfer 14 während der Bildaufnahme eingeschaltet, zeitweise eingeschaltet oder ausgeschaltet war. Daraus ermittelt die Kamera 12 den zeitlichen Versatz zwischen dem Zeitverlauf der Scheinwerferbeleuchtung und dem Zeitverlauf der Bildaufnahme. Basierend auf dem zeitlichen Versatz stellt die Kamera 12 die Aufnahmezeitpunkte der Bilder derart ein, dass die Kamera 12 die Bilder in den Dunkelphasen des Scheinwerfers 14 erzeugt.
  • 5 zeigt ein Blockdiagramm des dritten Ausführungsbeispiels, umfassend eine oder mehrere Kameras 12 und einen oder mehrere Scheinwerfer 14, sowie zumindest einen Lichtsensor 36, wobei gegenüber 1 nur die Elemente aufgeführt sind, die zur Erläuterung der Synchronisation von Kamera 12 und Scheinwerfer 14 notwendig sind. Wie mit Bezug auf 1 bereits erläutert, beleuchtet der Scheinwerfer 14 die Umgebung 28 und die Kamera 12 erfasst zumindest einen Teil der beleuchteten Umgebung 28. Beispielhaft sind in 4 in der Umgebung 28 ein Fahrrad 30, ein motorisierter Verkehrsteilnehmer 32, wie ein Auto oder ein Lastkraftwagen oder ein Motorrad, sowie eine Verkehrsampel 34 eingezeichnet. Im dritten Ausführungsbeispiel sind die Kamera 12 und der Scheinwerfer 14 nicht über eine Synchronisationsverbindung synchronisiert. Vielmehr erfasst der Lichtsensor 36 die Helligkeit in der Umgebung 28, insbesondere die Lichtpulse der Scheinwerfer 14 in der Umgebung 28. Der Lichtsensor 36 überträgt über eine Leitungsverbindung 38 die erfassten Helligkeitswerte an die Kamera 12. Die Kamera 12 ist derart ausgestaltet, dass die Kamera 12 in Abhängigkeit der von dem Lichtsensor 36 erfassten Lichtpulse des Scheinwerfers 14 die Aufnahmezeitpunkte der Bilder derart einstellt, dass die Kamera 12 die Bilder in den Dunkelphasen des Scheinwerfers 14 erzeugt. Hierzu ermittelt die Kamera 12 aus den erfassten Helligkeitswerten des Lichtsensors 36 den Zeitverlauf der Scheinwerferbeleuchtung. Darauf basierend stellt die Kamera 12 die Aufnahmezeitpunkte der Bilder derart ein, dass die Kamera 12 die Bilder in den Dunkelphasen des Scheinwerfers 14 erzeugt.
  • 6 zeigt ein Ablaufdiagramm des Verfahrens. Auf der Scheinwerferseite wechseln sich Dunkelphasen 48 und Hellphasen 46 periodisch wiederholend ab. Entsprechend wechseln sich Bildaufnahmen 52 und Zeiten ohne Bildaufnahmen 54 ebenfalls periodisch wiederholend ab. Die Kamera und der Scheinwerfer sind durch eine Synchronisation 58 derart miteinander synchronisiert, dass die Kamera Bildaufnahmen 52 in den Dunkelphasen 48 des Scheinwerfers erzeugt. Die in den Dunkelphasen 48 des Scheinwerfers aufgenommenen Bilder werden optional einer Bildauswertung 56 zugeführt.
  • ZITATE ENTHALTEN IN DER BESCHREIBUNG
  • Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
  • Zitierte Patentliteratur
    • - EP 0869031 A2 [0002, 0002]

Claims (11)

  1. Vorrichtung eines Kraftfahrzeuges (10), – mit einem Scheinwerfer (14), wobei der Scheinwerfer (14) eine Umgebung (28) des Kraftfahrzeuges (10) mit Lichtpulsen beleuchtet, und – mit einer Kamera (12), wobei die Kamera (12) Bilder der Umgebung (28) des Kraftfahrzeuges (10) erzeugt, dadurch gekennzeichnet, dass die Kamera (12) und der Scheinwerfer (14) derart synchronisiert sind, dass die Kamera (12) die Bilder in Dunkelphasen (48) des Scheinwerfers (14) erzeugt.
  2. Vorrichtung nach Anspruch 1, gekennzeichnet durch eine Synchronisationsverbindung (26), insbesondere durch eine als Busverbindung ausgeführte Synchronisationsleitung, zwischen der Kamera (12) und dem Scheinwerfer (14).
  3. Vorrichtung nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Kamera (12) derart ausgestaltet ist, dass die Kamera (12) Aufnahmezeitpunkte der Bilder derart einstellt, dass die Kamera (12) die Bilder in den Dunkelphasen (48) des Scheinwerfers (14) erzeugt.
  4. Vorrichtung nach einem der Ansprüche 1 oder 2, dadurch gekennzeichnet, dass der Scheinwerfer (14) derart ausgestaltet ist, dass der Scheinwerfer (14) die Lichtpulse derart einstellt, dass die Kamera (12) die Bilder in den Dunkelphasen (48) des Scheinwerfers (14) erzeugt.
  5. Vorrichtung nach Anspruch 1, dadurch gekennzeichnet, dass die Kamera (12) derart ausgestaltet ist, dass die Kamera (12) in Abhängigkeit der in den Bildern erfassten Beleuchtung der Umgebung (28) des Kraftfahrzeuges (10) durch die Scheinwerfer (14) die Aufnahmezeitpunkte der Bilder derart ein stellt, dass die Kamera (12) die Bilder in den Dunkelphasen (48) des Scheinwerfers (14) erzeugt.
  6. Vorrichtung nach Anspruch 1, gekennzeichnet durch einen Lichtsensor (36), wobei der Lichtsensor (36) die Lichtpulse der Scheinwerfer (14) erfasst und wobei die Kamera (12) derart ausgestaltet ist, dass die Kamera (12) in Abhängigkeit der von dem Lichtsensor (36) erfassten Lichtpulse des Scheinwerfers (14) die Aufnahmezeitpunkte der Bilder derart einstellt, dass die Kamera (12) die Bilder in den Dunkelphasen (48) des Scheinwerfers (14) erzeugt.
  7. Vorrichtung nach einem der vorhergehenden Ansprüche, gekennzeichnet durch ein Steuergerät (16), das aus den erzeugten Bildern Messdaten von entgegenkommenden oder vorausfahrenden Objekten, insbesondere Kraftfahrzeugen, ermittelt und/oder das aus den erzeugten Bildern Messdaten ermittelt, die ein Maß für die Umgebungshelligkeit sind.
  8. Vorrichtung nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Scheinwerfer (14) derart ausgestaltet sind, dass eine Leuchtbreite und/oder eine Leuchtweite der Scheinwerter (14) einstellbar ist.
  9. Vorrichtung nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Dunkelphasen (48) zwischen einer Millisekunde und fünf Millisekunden, bevorzugt vier Millisekunden, lang sind.
  10. Kamera (12) eines Kraftfahrzeuges (10), wobei die Kamera (12) Bilder der Umgebung (28) des Kraftfahrzeuges (10) erzeugt, dadurch gekennzeichnet, dass die Kamera (12) derart ausgestaltet ist, dass die Kamera (12) mit einem Lichtpulse abgebenden Scheinwerfer (14) des Kraftfahrzeuges (10) derart synchronisierbar ist, dass die Kamera (12) Bilder der Umgebung (28) des Kraftfahrzeuges (10) in Dunkelphasen (48) des Scheinwerfers (14) erzeugt.
  11. Verfahren zur Erzeugung von Bildern der Umgebung (28) eines Kraftfahrzeuges (10) mittels einer Kamera (12), wobei ein Scheinwerfer (14) des Kraftfahrzeuges (10) die Umgebung (28) des Kraftfahrzeuges (10) mit Lichtpulsen beleuchtet, dadurch gekennzeichnet, dass die Kamera (12) und der Schein werfer (14) derart synchronisiert sind, dass die Kamera (12) die Bilder in Dunkelphasen (48) des Scheinwerfers (14) erzeugt.
DE102008002026A 2008-05-28 2008-05-28 Vorrichtung, Kamera und Verfahren zur Erzeugung von Bildern der Umgebung eines Kraftfahrzeuges Ceased DE102008002026A1 (de)

Priority Applications (5)

Application Number Priority Date Filing Date Title
DE102008002026A DE102008002026A1 (de) 2008-05-28 2008-05-28 Vorrichtung, Kamera und Verfahren zur Erzeugung von Bildern der Umgebung eines Kraftfahrzeuges
CN2008801294698A CN102047166B (zh) 2008-05-28 2008-11-28 用于产生机动车周围环境的图像的装置、摄像机和方法
EP08874462A EP2288953A1 (de) 2008-05-28 2008-11-28 Vorrichtung, kamera und verfahren zur erzeugung von bildern der umgebung eines kraftfahrzeuges
US12/736,922 US20110074956A1 (en) 2008-05-28 2008-11-28 Device, camera, and method for generating images of the surrounding of a motor vehicle
PCT/EP2008/066391 WO2009143910A1 (de) 2008-05-28 2008-11-28 Vorrichtung, kamera und verfahren zur erzeugung von bildern der umgebung eines kraftfahrzeuges

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102008002026A DE102008002026A1 (de) 2008-05-28 2008-05-28 Vorrichtung, Kamera und Verfahren zur Erzeugung von Bildern der Umgebung eines Kraftfahrzeuges

Publications (1)

Publication Number Publication Date
DE102008002026A1 true DE102008002026A1 (de) 2009-12-03

Family

ID=40521723

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102008002026A Ceased DE102008002026A1 (de) 2008-05-28 2008-05-28 Vorrichtung, Kamera und Verfahren zur Erzeugung von Bildern der Umgebung eines Kraftfahrzeuges

Country Status (5)

Country Link
US (1) US20110074956A1 (de)
EP (1) EP2288953A1 (de)
CN (1) CN102047166B (de)
DE (1) DE102008002026A1 (de)
WO (1) WO2009143910A1 (de)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102010044554A1 (de) 2010-09-07 2012-03-08 Valeo Schalter Und Sensoren Gmbh Verfahren und Vorrichtung zur Erkennung von Umgebungslichtquellen in einem Fahrzeug
WO2014206624A1 (de) * 2013-06-24 2014-12-31 Bayerische Motoren Werke Aktiengesellschaft Verfahren zum überprüfen der einstellung eines scheinwerfers in einem kraftfahrzeug
DE102013220712B3 (de) * 2013-10-14 2015-02-19 Conti Temic Microelectronic Gmbh Kamerasystem eines Fahrzeugs mit einer Kameraoptik zur Erfassung eines Hauptsichtfeldes der Umgebung des Fahrzeugs und einem Bildsensor
DE102014216008A1 (de) * 2014-08-13 2016-02-18 Conti Temic Microelectronic Gmbh Steuervorrichtung, Serversystem und Fahrzeug
DE102013110332B4 (de) * 2012-09-28 2016-04-07 Fuji Jukogyo Kabushiki Kaisha Visuelles leitsystem
CN105835755A (zh) * 2016-05-04 2016-08-10 江苏新安电器有限公司 基于obd接口的智能车灯控制系统和车身总线协议自适应方法
DE102016007591A1 (de) 2016-06-21 2017-02-16 Daimler Ag Verfahren zur Synchronisation eines Scheinwerfers eines Fahrzeuges mit einer Kamera
DE102016002590A1 (de) * 2016-03-03 2017-09-07 Audi Ag Fahrzeug mit Kameraeinrichtung und Außenlichtanlage
DE102020207922A1 (de) 2020-06-25 2021-12-30 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren zur Erkennung eines Objekts in einer Umgebung eines Kraftfahrzeugs
US20220055527A1 (en) 2020-08-24 2022-02-24 Hyundai Mobis Co., Ltd. Lamp controller interlocking system of camera built-in headlamp and method thereof

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102010053197A1 (de) 2010-12-03 2011-08-25 Daimler AG, 70327 Verfahren und Vorrichtung zur Steuerung einer an oder in einem Fahrzeug angeordneten Bilderfassungseinheit
DE102011084613A1 (de) * 2011-10-17 2013-04-18 Robert Bosch Gmbh Erkennen einer Straßenbeleuchtung
JP5742753B2 (ja) * 2012-03-06 2015-07-01 岩崎電気株式会社 輝度測定装置
DE102012012501B4 (de) * 2012-06-21 2019-10-24 Volkswagen Aktiengesellschaft Kamerasystem für ein Kraftfahrzeug
CN102815259B (zh) * 2012-08-07 2015-05-20 北京经纬恒润科技有限公司 一种前照灯的调节方法、装置及驾驶员辅助系统
DE102012018118A1 (de) * 2012-09-13 2014-03-13 Valeo Schalter Und Sensoren Gmbh Verfahren zum Betreiben einer Frontkamera eines Kraftfahrzeugs unter Berücksichtigung des Lichts des Scheinwerfers, entsprechende Vorrichtung und Kraftfahrzeug
US9527602B1 (en) * 2013-05-10 2016-12-27 Rockwell Collins, Inc. System for and method of providing an enhanced vision image using synchronization
EP3036130B1 (de) * 2013-08-19 2023-10-11 Gentex Corporation Fahrzeugabbildungssystem und verfahren zur unterscheidung zwischen fahrzeugrückleuchten und blinkenden roten bremslichtern
US9654703B2 (en) * 2014-09-08 2017-05-16 Nxp B.V. Illumination apparatus
JP6484011B2 (ja) * 2014-11-25 2019-03-13 スタンレー電気株式会社 発光ダイオード装置
CN104849026B (zh) * 2015-04-28 2018-07-06 奇瑞汽车股份有限公司 一种灯光测试台架
EP3136291A1 (de) 2015-08-31 2017-03-01 Continental Automotive GmbH Verfahren und vorrichtung zur erkennung von objekten bei dunkelheit mittels einer fahrzeugkamera und einer fahrzeugbeleuchtung
CN106297303B (zh) * 2016-09-07 2019-06-25 招商局重庆交通科研设计院有限公司 一种夜间安全行车辅助方法
DE102016221123A1 (de) * 2016-10-26 2018-04-26 Bayerische Motoren Werke Aktiengesellschaft Verfahren und Vorrichtung zum Betreiben eines Anzeigesystems mit einer Datenbrille
US10488028B2 (en) * 2017-05-03 2019-11-26 Fluence Bioengineering, Inc. Systems and methods for a heat sink
US10634317B2 (en) * 2017-08-03 2020-04-28 Toyota Motor Engineering & Manufacturing North America, Inc. Dynamic control of vehicle lamps during maneuvers
US10821882B2 (en) * 2017-10-27 2020-11-03 Gentex Corporation Headlamp assembly with autodimming functionality
DE102017219790A1 (de) * 2017-11-07 2019-05-09 Volkswagen Aktiengesellschaft System und Verfahren zum Bestimmen einer Pose einer Augmented-Reality-Brille, System und Verfahren zum Einmessen einer Augmented-Reality-Brille, Verfahren zum Unterstützen einer Posenbestimmung einer Augmented-Reality-Brille und für das Verfahren geeignetes Kraftfahrzeug
JP7182368B2 (ja) * 2018-03-16 2022-12-02 株式会社豊田中央研究所 車載表示装置、車載表示装置を制御する方法及びコンピュータプログラム
US10960818B2 (en) * 2018-09-20 2021-03-30 Continental Automotive Systems, Inc. Illumination for camera based automotive trailer function

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0869031A2 (de) 1997-04-04 1998-10-07 Robert Bosch Gmbh Verfahren zur Regelung von Leuchtweite und/oder Leuchtrichtung

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4920412A (en) * 1988-12-22 1990-04-24 Sperry Marine Inc. Atmospheric obscurant penetrating target observation system with range gating
US6774367B2 (en) * 2002-08-14 2004-08-10 Ford Global Technologies, Llc Active night vision system for vehicles employing anti-blinding scheme
DE102005033863A1 (de) * 2005-07-20 2007-01-25 Robert Bosch Gmbh Bildaufnahmesystem

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0869031A2 (de) 1997-04-04 1998-10-07 Robert Bosch Gmbh Verfahren zur Regelung von Leuchtweite und/oder Leuchtrichtung

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102010044554A1 (de) 2010-09-07 2012-03-08 Valeo Schalter Und Sensoren Gmbh Verfahren und Vorrichtung zur Erkennung von Umgebungslichtquellen in einem Fahrzeug
DE102013110332B4 (de) * 2012-09-28 2016-04-07 Fuji Jukogyo Kabushiki Kaisha Visuelles leitsystem
WO2014206624A1 (de) * 2013-06-24 2014-12-31 Bayerische Motoren Werke Aktiengesellschaft Verfahren zum überprüfen der einstellung eines scheinwerfers in einem kraftfahrzeug
DE102013220712B3 (de) * 2013-10-14 2015-02-19 Conti Temic Microelectronic Gmbh Kamerasystem eines Fahrzeugs mit einer Kameraoptik zur Erfassung eines Hauptsichtfeldes der Umgebung des Fahrzeugs und einem Bildsensor
US10705207B2 (en) 2014-08-13 2020-07-07 Vitesco Technologies Germany Gmbh Control device, server system and vehicle
DE102014216008A1 (de) * 2014-08-13 2016-02-18 Conti Temic Microelectronic Gmbh Steuervorrichtung, Serversystem und Fahrzeug
DE102016002590A1 (de) * 2016-03-03 2017-09-07 Audi Ag Fahrzeug mit Kameraeinrichtung und Außenlichtanlage
DE102016002590B4 (de) * 2016-03-03 2017-11-23 Audi Ag Fahrzeug mit Kameraeinrichtung und Außenlichtanlage
CN105835755A (zh) * 2016-05-04 2016-08-10 江苏新安电器有限公司 基于obd接口的智能车灯控制系统和车身总线协议自适应方法
DE102016007591A1 (de) 2016-06-21 2017-02-16 Daimler Ag Verfahren zur Synchronisation eines Scheinwerfers eines Fahrzeuges mit einer Kamera
DE102020207922A1 (de) 2020-06-25 2021-12-30 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren zur Erkennung eines Objekts in einer Umgebung eines Kraftfahrzeugs
US20220055527A1 (en) 2020-08-24 2022-02-24 Hyundai Mobis Co., Ltd. Lamp controller interlocking system of camera built-in headlamp and method thereof
DE102020134947A1 (de) 2020-08-24 2022-02-24 Hyundai Mobis Co., Ltd. Lampensteuerungsverknüpfungssystem eines Frontscheinwerfers mit eingebauter Kamera und Verfahren hierfür
DE102020134947B4 (de) 2020-08-24 2022-07-07 Hyundai Mobis Co., Ltd. Lampensteuerungsverknüpfungssystem eines Frontscheinwerfers mit eingebauter Kamera und Verfahren hierfür
US11794635B2 (en) 2020-08-24 2023-10-24 Hyundai Mobis Co., Ltd. Lamp controller interlocking system of camera built-in headlamp and method thereof

Also Published As

Publication number Publication date
CN102047166A (zh) 2011-05-04
EP2288953A1 (de) 2011-03-02
CN102047166B (zh) 2012-10-03
US20110074956A1 (en) 2011-03-31
WO2009143910A1 (de) 2009-12-03

Similar Documents

Publication Publication Date Title
DE102008002026A1 (de) Vorrichtung, Kamera und Verfahren zur Erzeugung von Bildern der Umgebung eines Kraftfahrzeuges
DE112011103104B4 (de) Scheinwerfervorrichtung und dafür vorgesehenes Lichtstärke-Steuerverfahren
EP3424779B1 (de) Verfahren zum melden einer von gegenverkehr ausgehenden blendung und eine kraftfahrzeugbeleuchtungseinrichtung zum ausführen eines solchen verfahrens
DE102007051891B4 (de) Fahrzeugleuchtvorrichtung, Fahrzeugleuchtregelungsverfahren und Speicherungsmedium das ein Fahrzeugleuchtregelungsprogramm speichert
DE102014212162A1 (de) Frontscheinwerfersteuerungsvorrichtung
EP2435275B1 (de) Verfahren und vorrichtung zur fahrzeug gestützten beleuchtung bei unzureichend beleuchteten verkehrsumgebungen
DE102015008774B4 (de) Verfahren und Vorrichtung zur Erfassung eines Fahrzeug-Umfelds
DE102011077038A1 (de) Verfahren und Vorrichtung zur Erkennung von Objekten in einem Umfeld eines Fahrzeugs
WO2009027221A1 (de) System zum erzeugen eines lichtbündels im vorfeld eines kraftfahrzeuges
DE102011081432A1 (de) Verfahren und Steuergerät zum Anpassen einer Leuchtstärke zumindest eines Scheinwerfers eines Fahrzeugs
EP1950089A1 (de) Fahrzeugbeleuchtung
EP3313694A1 (de) Steuerungsvorrichtung für eine beleuchtungsvorrichtung eines kraftfahrzeuges sowie verfahren zum steuern einer solchen beleuchtungsvorrichtung
WO2017174173A1 (de) Verfahren und vorrichtung zur ausleuchtung einer fahrzeugumgebung
DE102010025349A1 (de) Verfahren zum Betrieb einer Kraftfahrzeugbeleuchtungseinrichtung mit automatischer Abblendfunktion
DE102013210097A1 (de) Fahrerinformationseinrichtung
DE212013000187U1 (de) System Abbildung einer Aussenszene durch Verwendung eines anwendungsspezifischen Bildsensors
DE102017129291A1 (de) Beleuchtungseinrichtung eines Kraftfahrzeugs mit matrixartig angeordneten Leuchtdioden und Verfahren zum Betreiben von matrixartig angeordneten Leuchtdioden einer solchen Beleuchtungseinrichtung
EP3140159B1 (de) Verfahren zum betreiben eines fahrerassistenzsystems eines kraftfahrzeugs, fahrerassistenzsystem sowie kraftfahrzeug
DE102007049618A1 (de) Vorrichtung und Verfahren zum Ermitteln eines Betriebsparameters von zumindest einem Leuchtmittel einer Lichtquelle eines Kraftfahrzeuges
DE102013222628A1 (de) Verfahren und Vorrichtung zum Erfassen einer Fehleinstellung einer lichttechnischen Einrichtung eines Fahrzeugs
DE10134770A1 (de) Vorrichtung zur Reduzierung von Blenderscheinungen eines Kraftfahrzeugführers
DE102018215880A1 (de) Verfahren zum Betreiben einer Beleuchtungseinrichtung eines Kraftfahrzeugs mit einem Rückfahrscheinwerfer und einem Bodenbeleuchtungsscheinwerfer und Beleuchtungseinrichtung
DE102013017625B4 (de) Verfahren zum Betreiben einer Fahrerassistenzeinrichtung eines Kraftfahrzeugs sowie Fahrerassistenzeinrichtung
EP3649575A2 (de) Beleuchten einer fahrzeugumgebung eines kraftfahrzeugs
DE102020108765A1 (de) Verfahren zum Erkennen eines Fremdfahrzeugs anhand pulsierender Frontscheinwerfer; entsprechende Kraftfahrzeug-Steuereinrichtungen sowie Kraftfahrzeug

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R012 Request for examination validly filed

Effective date: 20150206

R002 Refusal decision in examination/registration proceedings
R003 Refusal decision now final