DE102013100804A1 - Verfahren zur Erkennung von gepulst betriebenen Lichtquellen - Google Patents

Verfahren zur Erkennung von gepulst betriebenen Lichtquellen Download PDF

Info

Publication number
DE102013100804A1
DE102013100804A1 DE102013100804.6A DE102013100804A DE102013100804A1 DE 102013100804 A1 DE102013100804 A1 DE 102013100804A1 DE 102013100804 A DE102013100804 A DE 102013100804A DE 102013100804 A1 DE102013100804 A1 DE 102013100804A1
Authority
DE
Germany
Prior art keywords
camera
recording
time
light sources
pulsed light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
DE102013100804.6A
Other languages
English (en)
Inventor
Steen Kristensen
Matthias Zobel
Markus Wintermantel
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Conti Temic Microelectronic GmbH
Original Assignee
Conti Temic Microelectronic GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Conti Temic Microelectronic GmbH filed Critical Conti Temic Microelectronic GmbH
Priority to DE102013100804.6A priority Critical patent/DE102013100804A1/de
Priority to PCT/DE2014/200025 priority patent/WO2014114294A1/de
Priority to US14/440,488 priority patent/US9787910B2/en
Priority to DE112014000579.7T priority patent/DE112014000579A5/de
Publication of DE102013100804A1 publication Critical patent/DE102013100804A1/de
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/745Detection of flicker frequency or suppression of flicker wherein the flicker is caused by illumination, e.g. due to fluorescent tube illumination or pulsed LED illumination
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/97Determining parameters from multiple pictures
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/73Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403Image sensing, e.g. optical camera
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2555/00Input parameters relating to exterior conditions, not covered by groups B60W2552/00, B60W2554/00
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10141Special mode during image acquisition
    • G06T2207/10144Varying exposure
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30232Surveillance
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Studio Devices (AREA)
  • Traffic Control Systems (AREA)

Abstract

Die Erfindung betrifft ein Verfahren zur Erkennung von gepulst betriebenen Lichtquellen mittels einer Kamera. Dazu ist vorgesehen, dass die Kamera eine Folge von Bildern aufnimmt, wobei der Zeitabstand zwischen zwei aufeinanderfolgenden Aufnahmen einzelner Bilder während der Aufnahme der Bildfolge variiert wird.

Description

  • Die Erfindung betrifft ein Verfahren zur Erkennung von gepulst betriebenen Lichtquellen mittels einer Kamera, welches insbesondere bei kamerabasierten Fahrerassistenzsystemen verwendet werden kann.
  • Automatische kamerabasierte Fahrerassistenzsysteme erfassen mittels mindestens einer Kamera das Fahrzeugumfeld, interpretieren die aufgenommenen Bilddaten und ermitteln daraus eine systemspezifische Reaktion. Zur Interpretation des Fahrzeugumfelds gehört dabei auch die Erkennung von selbstleuchtenden oder angeleuchteten Elementen der Infrastruktur oder des Straßenverkehrs. Beispiele dafür sind Ampeln, Verkehrszeichen, Scheinwerfer und Rückleuchten.
  • Der Einsatz von LEDs (Leuchtdioden) anstelle von Glühlampen als Leuchtmittel stellt kamerabasierte Fahrerassistenzsysteme nun vor eine größere Herausforderung. Typischerweise werden die LEDs nicht kontinuierlich betrieben, sondern sie werden gepulst an- und ausgeschaltet. Das heißt, sie leuchten nicht durchgehend, sondern senden eine schnelle Folge von Lichtblitzen aus, die vom menschlichen Auge wegen seiner Trägheit aber im Allgemeinen als Dauerbeleuchtung empfunden werden. Kamerabasierte Fahrerassistenzsysteme können mit solchen gepulsten bzw. gepulst betriebenen Lichtquellen Probleme bekommen. Das kann sich darin äußern, dass die Kamera(s) in einzelnen Bildern nicht die gesamte vom menschlichen Auge als beleuchtet wahrgenommenen Informationen abbilden, sondern nur Teile davon oder im Extremfall gar nichts.
  • WO 2011/091785 A1 zeigt einen hochdynamischen Bildsensor zur Detektion von moduliertem Licht. Hierbei kann bei den Pixeln des Bildsensors die Anzahl an Ladungsträgern, die gesammelt werden kann, ausgehend von einer Ausgangsanzahl sowohl verkleinert als auch vergrößert werden, indem beispielsweise dazu vorgesehene Kondensatoren oder Widerstände zu- oder weggeschaltet werden. Eine derartige Lösung stellt jedoch spezielle Anforderungen an die Hardware und Steuerung des Bildsensors, welcher dadurch deutlich teurer als ein Bildsensor ist, der bereits bei Fahrerassistenzkameras serienmäßig eingesetzt wird.
  • Der Erfindung liegt die Aufgabe zugrunde, ein Verfahren zur Erkennung von gepulst betriebenen Informationsquellen bzw. Lichtquellen anzugeben, welches eine vollständige und zuverlässige Erkennung des Informationsgehalts dieser Quellen zuverlässig und kostengünstig ermöglicht.
  • Diese Aufgabe wird durch ein Verfahren mit den Merkmalen des unabhängigen Anspruchs gelöst.
  • Ausgangspunkt bei der Lösungsfindung sind folgende Überlegungen zum Ursprung der geschilderten Problematik. Das Pulsen ist i.d.R. als Pulsbreitenmodulation gestaltet und hat dabei zwei Parameter, die Pulsfrequenz und die relative Pulsbreite (Englisch: duty cycle, Deutsch: Tastgrad), wo ein Tastgrad von 50% bedeutet, dass die LED 50% der Zeit an ist. Die Pulsfrequenz ist bei einem gegebenen System i.d.R. fest. Mit dem Tastgrad wird bei solchen Beleuchtungen die ausgestrahlte Lichtmenge kontrolliert und damit die Helligkeit der Beleuchtung eingestellt.
  • Bei Fahrerassistenzkameras erfolgt die Bildaufnahme bzw. Abtastung des Fahrzeugumfelds üblicherweise ebenfalls nach einem festen Zeitraster, z. B. alle 40 ms, also gepulst. Da typischerweise bei solchen Systemen eine Optik mit fester Brennweite und Blendenöffnung eingesetzt wird, steht zur Steuerung der Aufnahmequalität die Belichtungszeit zur Verfügung, wodurch die aufgenommene Lichtmenge während der Aufnahme reguliert werden kann.
  • Also spielen bei der Aufnahme von gepulsten Beleuchtungsquellen oder bei der Aufnahme von passiven Infrastrukturelementen (z.B. reflektierende Objekte), die mit einer gepulsten Lichtquelle beleuchtet werden, mit einer üblichen Fahrerassistenzkamera zwei Pulsfolgen eine Rolle. Diese beiden gepulsten Prozesse (Beleuchtung und Bildaufnahme) können nun dazu führen, dass bei ungünstiger Lage der Puls-Parameter zueinander, die Beleuchtungsphase einer Beleuchtungsquelle und Bildaufnahmephase so zusammenfallen, dass der Beleuchtungsimpuls nur teilweise in das Aufnahmezeitfenster fällt und daher nicht mit voller Helligkeit aufgenommen wird. Im ungünstigsten Fall liegen die beiden Prozesse so verschoben zu einander, dass überhaupt kein Beleuchtungspuls in das Aufnahmezeitfenster fällt und daher das Fahrerassistenzsystem keinerlei oder falsche Information ableiten kann. Beispielsweise könnte eine rot leuchtende Ampel als nicht leuchtend eingestuft werden, was wiederum zu einer fehlerhaften Systemreaktion führen könnte.
  • Es kommt somit durch die gepulste Beleuchtung und die gepulste Aufnahme zu Schwebungseffekten im aufgenommenen Signal. Die Schwebungsperiode kann von 0 bis, im schlimmsten Fall, unendlich liegen. Weil Elemente in einem Fahrzeugumfeld sich durch die Fahrzeugeigenbewegung in der Regel nur kurze Zeit im Sichtbereich einer Fahrerassistenzkamera befinden, ist es für die korrekte Erfassung wichtig, dass die Schwebungsperiode möglichst kurz gehalten wird.
  • Diese Erfindung gibt ein Verfahren an, mit dem Schwebungsperioden, die durch die oben genannten Beleuchtungs- und Aufnahme-Methoden entstehen, kurz gehalten werden. Das Hauptproblem dabei besteht darin, dass die Pulsfrequenz und -breite der Beleuchtung für die Kamerasteuerung nicht bekannt sind. Es kann aber angenommen werden, dass diese Parameter für die Dauer, die das Infrastrukturelement im Sichtbereich der Kamera befindet, annähernd konstant sind.
  • Eine Grundlage des erfindungsmäßen Verfahrens ist die Idee, dass längere Schwebungsperioden vermieden werden können, wenn die Aufnahmefrequenz im Gegensatz zur Beleuchtungsfrequenz ständig variiert wird.
  • Ein erfindungsgemäßes Verfahren zur Erkennung von gepulst betriebenen Lichtquellen oder Objekten (z.B. Retroreflektoren), die mit einer gepulsten Lichtquelle beleuchtet werden, mittels einer Kamera sieht daher vor, dass die Kamera eine Folge von Bildern aufnimmt, wobei der Zeitabstand zwischen zwei aufeinanderfolgenden Aufnahmen einzelner Bilder während der Aufnahme der Bildfolge ständig variiert wird.
  • Der Vorteil des erfindungsgemäßen Verfahrens ist, dass keine Annahmen über die Frequenz oder relative Pulsbreite von gepulst betriebenen Lichtquellen getroffen werden müssen. Durch die Variation ist nämlich gewährleistet, dass gepulst betriebene Lichtquellen aus einer geringen Anzahl von aufeinanderfolgend aufgenommenen Kamerabildern vollständig detektiert und erkannt werden. Somit ist auch gesichert, dass zukünftige, zum Zeitpunkt der Anmeldung unbekannte Beleuchtungspulsfolgen von gepulst betriebenen Lichtquellen nicht zu langen Schwebungsperioden führen werden.
  • Gemäß einer vorteilhaften Weiterbildung der Erfindung wird der Zeitabstand zwischen zwei aufeinanderfolgenden Aufnahmen einzelner Bilder während der Aufnahme der Bildfolge ständig variiert. Die Dauer bis zum nächsten Aufnahme- oder Belichtungszeitpunkt der Kamera wird also bei jeder Aufnahme verschoben.
  • In einer bevorzugten Ausführungsform erfolgt die ständige Variation des Zeitabstands periodisch, d.h. nach einem wiederkehrenden Muster.
  • Vorteilhaft kann die Variation derart erfolgen, dass die Summe aus Verschiebungszeit, Aufnahme-/Belichtungszeit und Nichtaufnahme-/Nichtbelichtungszeit für jedes Bild konstant ist. Dadurch wird die „übergeordnete Aufnahmefrequenz“ der Kamera konstant gehalten, was aus Systemsicht günstig ist. Eine auf eine Belichtungsphase folgende Nichtbelichtungsphase verkürzt sich hierbei bei konstanten Belichtungszeiten im selben Maße wie der Belichtungsstartzeitpunkt aufgrund der Variation verschoben wird (gegenüber einem unverschobenen Belichtungsstartzeitpunkt). Die Verschiebung wird praktisch nur zeitlich lokal eingefügt. Damit entsteht ein „Hin- und Her-Zappeln“ des Aufnahmezeitpunkts und bei konstanter Belichtungsdauer damit auch des Belichtungsendes, welches man als „Jittering“ bezeichnen kann.
  • Bevorzugt sind die möglichen Verschiebungsschritte des Aufnahmezeitpunkts gegenüber einem vorgegebenen regelmäßigen Aufnahmezeitpunkt während der Aufnahme der Bildfolge zufällig verteilt. Die möglichen Verschiebungsschritte können bevorzugt in einem Verschiebungszeitintervall liegen, das den Bereich von einer minimalen bis zu einer maximalen Verschiebung umfasst.
  • Gemäß einer vorteilhaften Ausführungsform sind die möglichen Verschiebungsschritte des Aufnahmezeitpunkts gegenüber einem vorgegebenen regelmäßigen Aufnahmezeitpunkt während der Aufnahme der Bildfolge uniform, d.h. gleichmäßig, in einem vorgegebenen Verschiebungszeitintervall verteilt.
  • In einer bevorzugten Ausführungsform kann die Folge der einzelnen Verschiebungsschritte des Aufnahmezeitpunkts gegenüber einem vorgegebenen regelmäßigen Aufnahmezeitpunkt während der Aufnahme der Bildfolge durch eine pseudo-zufällige Sequenz vorgegeben sein. Die Schrittweite kann dabei insbesondere skalieren mit der maximalen Verschiebung geteilt durch die Anzahl der Elemente der pseudo-zufälligen Sequenz. Da hierbei als Parameter für die lokale Zeitverschiebung der Aufnahmezeitpunkte eine pseudo-zufällige Sequenz gewählt wird, wird eine ungewollte Synchronisierung zwischen gepulst betriebener Beleuchtung und Kameraaufnahme zuverlässig ausgeschlossen.
  • Vorteilhaft ist die Kamera in einem Fahrzeug angeordnet und kann das Umfeld des Fahrzeugs erfassen. Die Kamera kann bevorzugt Daten für ein Fahrerassistenzsystem liefern, welches eine oder mehrere Funktionen erfüllt, die den Fahrer bei seiner Fahrtätigkeit unterstützen. Entsprechende Fahrerassistenzfunktionen sind u.a. eine Verkehrszeichenerkennung, Höchstgeschwindigkeitswarnung, Vorfahrtswarnung, Falschfahrwarnung, Automatische Lichtsteuerung, Kollisionswarnung und ein Längsregeltempomat (ACC, Adaptive Cruise Control).
  • In einer vorteilhaften Ausgestaltung der Erfindung wird die Variation des Zeitabstands zwischen zwei aufeinanderfolgenden Aufnahmen einzelner Bilder während der Aufnahme der Bildfolge erst vorgenommen, wenn zuvor aus den Bilddaten der Kamera oder aus Karteninformationen ermittelt wurde, dass potentiell relevante gepulst betriebenen Lichtquellen im Erfassungsbereich der Kamera vorliegen. Dadurch kann die Kamera im Normalbetrieb mit einem konstanten zeitlichen Abstand zwischen zwei aufeinanderfolgenden Aufnahmen einzelner Bilder (also einer festen Aufnahmefrequenz) betrieben werden, solange keine potentiellen gepulst betriebene Lichtquellen erfasst und ermittelt werden. Zu deren Erkennung kann Vorwissen über typische Geometrien, Rahmen bzw. Anordnungspositionen von relevanten gepulst betriebenen Lichtquellen berücksichtigt werden, z.B. von einer Objektdetektion, die auf den(selben) Kamerabildern basiert. Das Vorliegen potentiell relevanter gepulster Lichtquellen im Erfassungsbereich der Kamera kann bevorzugt aus Navigations-/Karteninformationen ermittelt werden. In digitalen Karten sind heute bereits zumindest teilweise Positionen von Ampelanlagen, Wechselverkehrszeichen etc. vermerkt.
  • Bevorzugt wird die Belichtungszeit erhöht, wenn zuvor aus den Bilddaten der Kamera oder aus Karteninformationen ermittelt wurde, dass potentiell relevante gepulst betriebenen Lichtquellen im Erfassungsbereich der Kamera vorliegen. Insbesondere kann die Belichtungszeit dann erhöht werden, wenn eine Erkennung des Informationsgehalts der gepulst betriebenen Lichtquelle aus einem Bild mit der ursprünglichen Belichtungszeit nicht erfolgreich war.
  • Relevante gepulst betriebene Lichtquellen können insbesondere Wechselverkehrszeichen, Ampeln bzw. Lichtsignalanlagen sein, deren Informationsgehalt mit einem erfindungsgemäßen Verfahren schneller bzw. zuverlässiger erfasst und erkannt werden kann.
  • Alternativ oder kumulativ können Fahrzeuglichter relevante gepulst betriebene Lichtquellen sein. Die Erkennung von Fahrzeugvorder- und -rücklichtern anderer Fahrzeuge ist insbesondere wichtig, um eine Blendung anderer Fahrer durch eine automatische Lichtsteuerung zu verhindern.
  • Im Folgenden wird die Erfindung anhand von einer Figur und Ausführungsbeispielen näher erläutert.
  • Die einzige 1 zeigt eine schematische Darstellung zeitlicher Pulsverläufe einer gepulsten betriebenen Lichtquelle und einer Kamera.
  • Als Lichtquelle ist hier exemplarisch eine LED gezeigt, die in gleichbleibenden Zeitabständen an- und ausgeschaltet wird (obere Kurve). Dieser gepulste Betrieb ist als Pulsbreitenmodulation gestaltet und hat dabei zwei Parameter, die Pulsfrequenz und den Tastgrad (relative Pulsbreite, Englisch: duty cycle). Der Tastgrad gibt an, welchen Prozentsatz eines Zyklus die LED an ist. Im dargestellten Beispiel ist die LED weniger als 50% der Zeit an. Die Pulsfrequenz ist bei einem gegebenen System i.d.R. fest. Mit der relativen Pulsbreite wird bei solchen Beleuchtungen die ausgestrahlte Lichtmenge kontrolliert und damit die Helligkeit der Beleuchtung eingestellt.
  • Die untere Kurve zeigt dagegen den zeitlichen Verlauf der Belichtungsphasen einer Kamera. Dieser verläuft bei Kameras nach dem Stand der Technik ebenfalls nach einem festen Zeitraster, z. B. startet bei einer Bildaufnahmefrequenz von 25 Hz alle 40 ms eine neue Belichtungsphase. Somit kann auch der Belichtungsbetrieb der Kamera als gepulster Betrieb bezeichnet werden. Da typischerweise bei solchen Systemen eine Optik mit fester Brennweite und Blendenöffnung eingesetzt wird, steht zur Steuerung der Aufnahmequalität die Belichtungszeit zur Verfügung, wodurch die aufgenommene Lichtmenge während der Aufnahme reguliert werden kann.
  • Somit spielen bei der Aufnahme von gepulsten Beleuchtungsquellen mit einer Kamera nach dem Stand der Technik zwei Pulsfolgen eine Rolle. Diese beiden gepulsten Prozesse (Beleuchtung und Bildaufnahme) können nun dazu führen, dass bei ungünstiger Lage der Puls-Parameter zueinander, die Beleuchtungsphase einer Beleuchtungsquelle und Bildaufnahmephase so zusammenfallen, dass der Beleuchtungsimpuls nur teilweise in das Aufnahmezeitfenster fällt und daher nicht mit voller Helligkeit aufgenommen wird. Dies ist der Fall beim ersten LED-Puls (von links gezählt), der nur teilweise während des ersten Belichtungspulses von der Kamera erfasst werden kann. Auch der fünfte dargestellte LED-Puls wird nur teilweise aufgenommen. Der dritte dargestellte LED-Puls wird dagegen vollständig von der Kamera erfasst. Der zweite und der vierte LED-Puls aus 1 werden dagegen gar nicht von der Kamera aufgenommen, da sie zwischen dem ersten und zweiten bzw. zweiten und dritten Kamerabelichtungspuls liegen – also jeweils in einem Zeitintervall, in dem die Kamera nicht belichtet. Im ungünstigsten Fall können beide Prozesse so verschoben zu einander liegen, dass überhaupt kein Beleuchtungspuls in das Aufnahmezeitfenster fällt. Das kann dazu führen, dass das Fahrerassistenzsystem keinerlei oder falsche Information aus Kamerabildern ableitet. Beispielsweise könnte eine rot leuchtende Ampel als nicht leuchtend eingestuft werden, was wiederum zu einer gefährlichen fehlerhaften Systemreaktion führen könnte.
  • Durch Einsatz eines erfindungsgemäßen Verfahrens wird nun der Startzeitpunkt einer Belichtungsphase der Kamera variiert gegenüber der in 1 unten dargestellten Belichtungstaktung in regelmäßigen Abständen. Durch diese Variation wird der Fall ausgeschlossen, dass im Falle gleicher Pulsfrequenz von Beleuchtung und Bildaufnahme unter Umständen gar kein Signal der Beleuchtung von der Kamera erfasst wird.
  • Die variierende Verschiebungs- bzw. Verjitterungszeit kann hierbei als pseudo-zufällige Sequenz gewählt werden. Wird beispielsweise eine Sequenz mit Länge 16 genutzt, sind die verjitterten Belichtungszeitpunkte der Reihe nach gegenüber den unverjitterten Belichtungszeitpunkten wie folgt verschoben: [1 3 6 10 15 5 12 4 13 7 2 14 11 9 8]·(maximale Verjitterungszeit)/16
  • Die obige Folge ist gewonnen durch (s(n) mod 16) mit s(n + 1) = s(n) + n und s(0) = 0.
  • Eine ungewollte Synchronisierung zwischen gepulst betriebener Beleuchtung und Kameraaufnahme wird durch diese pseudo-zufällige Folge von uniform verteilten möglichen Verschiebungszeiten in einem vorgegebenen Verschiebungsintervall zuverlässig ausgeschlossen.
  • In einem weiteren Ausführungsbeispiel wird die Kamera grundsätzlich in einem „Normalmodus“ mit gleichbleibenden Abständen zwischen zwei aufeinanderfolgenden Belichtungsstartzeitpunkten betrieben. Die Variation der Abstände wird erst vorgenommen, wenn zuvor aus den Bilddaten der Kamera ermittelt wurde, dass potentiell relevante gepulst betriebenen Lichtquellen im Erfassungsbereich der Kamera vorliegen. Beispielsweise können potentielle Wechselverkehrszeichen aus Kamerabildern mittels einer Bildauswertung erkannt werden anhand von typischen Geometrien, Rahmen bzw. Anordnungspositionen von Wechselverkehrszeichen. Alternativ oder zusätzlich können Positionen von Wechselverkehrszeichen in einer digitalen Karte hinterlegt sein, wodurch das Navigationssystem mit Positionsbestimmungseinheit ermitteln kann, ob die Kamera am aktuellen Ort möglicherweise ein Wechselverkehrszeichen erfassen kann.
  • Das Verfahren besteht in diesem Fall aus folgenden Schritten:
    • 1. Bild aufnehmen
    • 2. Bild analysieren bezüglich des Vorhandenseins potentieller Wechselverkehrszeichen
    • 3. Falls kein potentielles Wechselverkehrszeichen vorhanden, nächsten Aufnahmezeitpunkt berechnen als Grund-Bild-Periode und zurück zu 1
    • 4. Analyse des Inhalts des potentiellen Wechselverkehrszeichens anhand des aktuellen Bilds und sofern der Inhalt erkannt wird, diesen an Fahrerassistenzfunktion weiterreichen
    • 5. Nächsten Aufnahmezeitpunkt berechnen als Grund-Bild-Periode + Verjitterungszeit
    • 6. Zurück zu 1
  • ZITATE ENTHALTEN IN DER BESCHREIBUNG
  • Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
  • Zitierte Patentliteratur
    • WO 2011/091785 A1 [0004]

Claims (12)

  1. Verfahren zur Erkennung von gepulst betriebenen Lichtquellen oder Objekten, die von gepulst betriebenen Lichtquellen beleuchtet werden, mittels einer Kamera, wobei die Kamera eine Folge von Bildern aufnimmt, wobei der Zeitabstand zwischen zwei aufeinanderfolgenden Aufnahmen einzelner Bilder während der Aufnahme der Bildfolge variiert wird.
  2. Verfahren nach Anspruch 1, wobei der Zeitabstand ständig variiert wird.
  3. Verfahren nach Anspruch 1 oder 2, wobei der Zeitabstand ständig und periodisch variiert wird.
  4. Verfahren nach einem der vorhergehenden Ansprüche, wobei die Variation eine zeitliche Verschiebung des Aufnahmezeitpunkts ist und die Summe von Verschiebungszeit, Aufnahmezeitdauer und Nichtaufnahmezeit für jedes Bild konstant ist.
  5. Verfahren nach einem der vorhergehenden Ansprüche, wobei die möglichen Verschiebungsschritte des Aufnahmezeitpunkts gegenüber einem vorgegebenen regelmäßigen Aufnahmezeitpunkt während der Aufnahme der Bildfolge zufällig verteilt sind.
  6. Verfahren nach einem der vorhergehenden Ansprüche, wobei die möglichen Verschiebungsschritte des Aufnahmezeitpunkts gegenüber einem vorgegebenen regelmäßigen Aufnahmezeitpunkt während der Aufnahme der Bildfolge uniform in einem vorgegebenen Verschiebungszeitintervall verteilt sind.
  7. Verfahren nach Anspruch 6, wobei die Folge der einzelnen Verschiebungsschritte des Aufnahmezeitpunkts gegenüber einem vorgegebenen regelmäßigen Aufnahmezeitpunkt während der Aufnahme der Bildfolge durch eine pseudo-zufällige Sequenz vorgegeben ist.
  8. Verfahren nach einem der vorhergehenden Ansprüche, wobei die Kamera in einem Fahrzeug angeordnet ist und das Umfeld des Fahrzeugs erfassen kann.
  9. Verfahren nach einem der vorhergehenden Ansprüche, wobei die Variation des Zeitabstands zwischen zwei aufeinanderfolgenden Aufnahmen einzelner Bilder während der Aufnahme der Bildfolge erst vorgenommen wird, wenn aus den Bilddaten der Kamera oder aus Karteninformation ermittelt wurde, dass potentiell relevante gepulst betriebenen Lichtquellen im Erfassungsbereich der Kamera vorliegen.
  10. Verfahren nach Anspruch 9, wobei die Belichtungszeit der Kamera erhöht wird, wenn ermittelt wurde, dass potentiell relevante gepulst betriebenen Lichtquellen im Erfassungsbereich der Kamera vorliegen.
  11. Verfahren nach Anspruch 9 oder 10, wobei die relevanten gepulst betriebenen Lichtquellen Verkehrszeichen und/oder Ampeln darstellen.
  12. Verfahren nach einem der Ansprüche 9 bis 11, wobei die relevanten gepulst betriebenen Lichtquellen Fahrzeuglichter, Fahrzeugvorderlichter oder Fahrzeugrücklichter sind.
DE102013100804.6A 2013-01-28 2013-01-28 Verfahren zur Erkennung von gepulst betriebenen Lichtquellen Withdrawn DE102013100804A1 (de)

Priority Applications (4)

Application Number Priority Date Filing Date Title
DE102013100804.6A DE102013100804A1 (de) 2013-01-28 2013-01-28 Verfahren zur Erkennung von gepulst betriebenen Lichtquellen
PCT/DE2014/200025 WO2014114294A1 (de) 2013-01-28 2014-01-24 Verfahren zur erkennung von gepulst betriebenen lichtquellen
US14/440,488 US9787910B2 (en) 2013-01-28 2014-01-24 Method for detecting light sources operated in pulsed mode
DE112014000579.7T DE112014000579A5 (de) 2013-01-28 2014-01-24 Verfahren zur Erkennung von gepulst betriebenen Lichtquellen

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102013100804.6A DE102013100804A1 (de) 2013-01-28 2013-01-28 Verfahren zur Erkennung von gepulst betriebenen Lichtquellen

Publications (1)

Publication Number Publication Date
DE102013100804A1 true DE102013100804A1 (de) 2014-07-31

Family

ID=50235853

Family Applications (2)

Application Number Title Priority Date Filing Date
DE102013100804.6A Withdrawn DE102013100804A1 (de) 2013-01-28 2013-01-28 Verfahren zur Erkennung von gepulst betriebenen Lichtquellen
DE112014000579.7T Pending DE112014000579A5 (de) 2013-01-28 2014-01-24 Verfahren zur Erkennung von gepulst betriebenen Lichtquellen

Family Applications After (1)

Application Number Title Priority Date Filing Date
DE112014000579.7T Pending DE112014000579A5 (de) 2013-01-28 2014-01-24 Verfahren zur Erkennung von gepulst betriebenen Lichtquellen

Country Status (3)

Country Link
US (1) US9787910B2 (de)
DE (2) DE102013100804A1 (de)
WO (1) WO2014114294A1 (de)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017042276A1 (en) * 2015-09-11 2017-03-16 Connaught Electronics Ltd. Method for operating a camera depending on a preset pulse frequency of an illumination source, camera and system
EP3253045A1 (de) * 2016-05-30 2017-12-06 Dream CHIP Technologies GmbH Verfahren zur erkennung und korrektur von bildfehlern sowie bildverarbeitungseinheit und computerprogramm hierzu
DE102017113801A1 (de) 2017-06-22 2018-12-27 Connaught Electronics Ltd. Verfahren zum Betreiben einer Kamera durch Variieren des Startzeitpunktes einer Abtastperiode
EP4050882A1 (de) * 2021-02-25 2022-08-31 Canon Kabushiki Kaisha Bilderfassungsvorrichtung, die in der lage ist, flimmern aufgrund einer periodischen änderung der lichtmenge eines objekts zu erkennen, verfahren zur flimmerdetektion, und programm

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102012221159A1 (de) * 2012-11-20 2014-05-22 Robert Bosch Gmbh Verfahren und Vorrichtung zum Erkennen von Wechselverkehrszeichen
DE102013204935A1 (de) * 2013-03-20 2014-09-25 Robert Bosch Gmbh Verfahren und Vorrichtung zum Erstellen einer Aufnahme eines gepulst aufleuchtenden Objekts
DE102016221869A1 (de) 2016-11-08 2018-05-09 Conti Temic Microelectronic Gmbh Erkennung von Regentropfen auf einer Scheibe mittels einer Kamera und einer Beleuchtung
US10084967B1 (en) 2017-03-24 2018-09-25 Qualcomm Incorporated Systems and methods for regionally controlling exposure time in high dynamic range imaging
DE102017215347A1 (de) * 2017-09-01 2019-03-07 Conti Temic Microelectronic Gmbh Verfahren zur vorhersehbaren Belichtungssteuerung zumindest einer ersten Fahrzeugkamera
CN108509907B (zh) * 2018-03-30 2022-03-15 北京市商汤科技开发有限公司 车灯检测方法、实现智能驾驶的方法、装置、介质及设备
JP7180759B2 (ja) * 2019-04-18 2022-11-30 日本電気株式会社 人物特定装置、人物特定方法およびプログラム
JP2022126350A (ja) * 2021-02-18 2022-08-30 本田技研工業株式会社 認識装置、移動体、認識方法、およびプログラム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06209427A (ja) * 1993-01-11 1994-07-26 Matsushita Electric Ind Co Ltd 固体撮像装置
DE102005033863A1 (de) * 2005-07-20 2007-01-25 Robert Bosch Gmbh Bildaufnahmesystem
WO2011091785A1 (de) 2010-01-28 2011-08-04 Conti Temic Microelectronic Gmbh Hochdynamischer bildsensor zur detektion von moduliertem licht
US20110221929A1 (en) * 2010-03-12 2011-09-15 Hitachi, Ltd. Imaging equipment and exposure control method of the same
JP2012023459A (ja) * 2010-07-12 2012-02-02 Toshiba Alpine Automotive Technology Corp 車載用監視カメラおよびその撮像方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4608766B2 (ja) * 2000-11-27 2011-01-12 ソニー株式会社 固体撮像素子の駆動方法、及びカメラ
JP4337353B2 (ja) 2002-03-25 2009-09-30 セイコーエプソン株式会社 フリッカ検出装置、フリッカ補正装置、撮像装置、フリッカ検出プログラムおよびフリッカ補正プログラム
US7109467B2 (en) * 2004-01-26 2006-09-19 Itt Manufacturing Enterprises, Inc. Method and system for spread spectrum gating
US20050237394A1 (en) * 2004-04-21 2005-10-27 Behnam Katiblan Flicker detection for image sensing devices
US7671975B2 (en) * 2004-07-01 2010-03-02 Caridianbct, Inc. Blood processing apparatus with dedicated stroboscopic controller for LED source
GB0709026D0 (en) * 2007-05-10 2007-06-20 Isis Innovation High speed imaging with slow scan cameras using pixel level dynami shuttering
EP2026097A1 (de) * 2007-08-08 2009-02-18 Harman Becker Automotive Systems GmbH Fahrzeugbeleuchtungssystem
JP5419390B2 (ja) * 2008-06-13 2014-02-19 富士通テン株式会社 ドライブレコーダ及びシステム
DE102010053197A1 (de) * 2010-12-03 2011-08-25 Daimler AG, 70327 Verfahren und Vorrichtung zur Steuerung einer an oder in einem Fahrzeug angeordneten Bilderfassungseinheit
DE102012216065A1 (de) * 2012-09-11 2014-03-13 Robert Bosch Gmbh Verfahren und Vorrichtung zur Erkennung von zumindest einer gepulsten Lichtquelle für ein Fahrzeug

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06209427A (ja) * 1993-01-11 1994-07-26 Matsushita Electric Ind Co Ltd 固体撮像装置
DE102005033863A1 (de) * 2005-07-20 2007-01-25 Robert Bosch Gmbh Bildaufnahmesystem
WO2011091785A1 (de) 2010-01-28 2011-08-04 Conti Temic Microelectronic Gmbh Hochdynamischer bildsensor zur detektion von moduliertem licht
US20110221929A1 (en) * 2010-03-12 2011-09-15 Hitachi, Ltd. Imaging equipment and exposure control method of the same
JP2012023459A (ja) * 2010-07-12 2012-02-02 Toshiba Alpine Automotive Technology Corp 車載用監視カメラおよびその撮像方法

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017042276A1 (en) * 2015-09-11 2017-03-16 Connaught Electronics Ltd. Method for operating a camera depending on a preset pulse frequency of an illumination source, camera and system
DE102015115351A1 (de) * 2015-09-11 2017-03-16 Connaught Electronics Ltd. Verfahren zum Betreiben einer Kamera abhängig von einer vorgegebenen Pulsfrequenz einer Beleuchtungsquelle, Kamera und System
EP3253045A1 (de) * 2016-05-30 2017-12-06 Dream CHIP Technologies GmbH Verfahren zur erkennung und korrektur von bildfehlern sowie bildverarbeitungseinheit und computerprogramm hierzu
EP3809691A1 (de) * 2016-05-30 2021-04-21 Dream CHIP Technologies GmbH Verfahren zur erkennung und korrektur von bildfehlern sowie bildverarbeitungseinheit und computerprogramm hierzu
DE102017113801A1 (de) 2017-06-22 2018-12-27 Connaught Electronics Ltd. Verfahren zum Betreiben einer Kamera durch Variieren des Startzeitpunktes einer Abtastperiode
EP4050882A1 (de) * 2021-02-25 2022-08-31 Canon Kabushiki Kaisha Bilderfassungsvorrichtung, die in der lage ist, flimmern aufgrund einer periodischen änderung der lichtmenge eines objekts zu erkennen, verfahren zur flimmerdetektion, und programm
US11627261B2 (en) 2021-02-25 2023-04-11 Canon Kabushiki Kaisha Image capturing apparatus capable of detecting flicker due to periodic change in light amount of object, flicker detecting method, and non-transitory computer-readable storage medium

Also Published As

Publication number Publication date
DE112014000579A5 (de) 2015-10-08
US9787910B2 (en) 2017-10-10
WO2014114294A1 (de) 2014-07-31
US20150304539A1 (en) 2015-10-22

Similar Documents

Publication Publication Date Title
DE102013100804A1 (de) Verfahren zur Erkennung von gepulst betriebenen Lichtquellen
EP2435275B1 (de) Verfahren und vorrichtung zur fahrzeug gestützten beleuchtung bei unzureichend beleuchteten verkehrsumgebungen
DE60316074T2 (de) Aktives Nachtsichtsystem für ein Kraftfahrzeug
DE102015008774B4 (de) Verfahren und Vorrichtung zur Erfassung eines Fahrzeug-Umfelds
EP1595391A1 (de) Vorrichtung und verfahren zur bilderzeugung
WO2015022240A1 (de) Sensoranordnung zur erfassung von bediengesten an fahrzeugen
DE102011081384B4 (de) Verfahren und Vorrichtung zur Abstandsbestimmung für ein Fahrzeug
DE102005033863A1 (de) Bildaufnahmesystem
DE102009048619A1 (de) Verfahren zur Steuerung eines Fahrlichts eines Fahrzeugs
WO2004071095A1 (de) Vorrichtung und verfahren zur bilderzeugung
EP2399775B1 (de) Verfahren zum Betrieb einer Kraftfahrzeugbeleuchtungseinrichtung mit automatischer Abblendfunktion
DE10248416B4 (de) Vorrichtung und Verfahren zur Bestimmung einer Relativbewegung eines Fahrzeugs
DE102008023853A1 (de) Verfahren und System zur Erkennung eines Wechselverkehrszeichens
DE102012018118A1 (de) Verfahren zum Betreiben einer Frontkamera eines Kraftfahrzeugs unter Berücksichtigung des Lichts des Scheinwerfers, entsprechende Vorrichtung und Kraftfahrzeug
WO2014146864A1 (de) Verfahren und vorrichtung zum erstellen einer aufnahme eines gepulst aufleuchtenden objekts
DE102016118801A1 (de) Verfahren und System zum Einstellen eines Scheinwerfers eines Fahrzeugs
DE102019126812A1 (de) Vorrichtung und Verfahren zur Erkennung einer gepulst betriebenen Lichtquelle
DE102010044554A1 (de) Verfahren und Vorrichtung zur Erkennung von Umgebungslichtquellen in einem Fahrzeug
DE102004042816B3 (de) Nachtsichtsystem für ein Kraftfahrzeug
DE102010053197A1 (de) Verfahren und Vorrichtung zur Steuerung einer an oder in einem Fahrzeug angeordneten Bilderfassungseinheit
EP3585047B1 (de) Verfahren und vorrichtung zur erstellung von hochkontrastbildern
DE102013104274A1 (de) Verfahren für die Bestimmung des Eigenlichtanteils in Reflexionslicht
EP2584492A2 (de) Erkennen einer Straßenbeleuchtung
DE102015212365A1 (de) Synchronisation einer Belichtung einer Kamera
DE102020202329A1 (de) Umgebungserkennungssystem eines Kraftfahrzeugs, Verfahren zum Betrieb eines Umgebungserkennungssystems, Computerprogrammprodukt sowie Kraftfahrzeug

Legal Events

Date Code Title Description
R163 Identified publications notified
R118 Application deemed withdrawn due to claim for domestic priority