DE102013100804A1 - Verfahren zur Erkennung von gepulst betriebenen Lichtquellen - Google Patents
Verfahren zur Erkennung von gepulst betriebenen Lichtquellen Download PDFInfo
- Publication number
- DE102013100804A1 DE102013100804A1 DE102013100804.6A DE102013100804A DE102013100804A1 DE 102013100804 A1 DE102013100804 A1 DE 102013100804A1 DE 102013100804 A DE102013100804 A DE 102013100804A DE 102013100804 A1 DE102013100804 A1 DE 102013100804A1
- Authority
- DE
- Germany
- Prior art keywords
- camera
- recording
- time
- light sources
- pulsed light
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000000034 method Methods 0.000 title claims abstract description 29
- 238000001514 detection method Methods 0.000 claims description 14
- 238000006073 displacement reaction Methods 0.000 claims description 2
- 238000005286 illumination Methods 0.000 description 23
- 238000010009 beating Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- BUHVIAUBTBOHAG-FOYDDCNASA-N (2r,3r,4s,5r)-2-[6-[[2-(3,5-dimethoxyphenyl)-2-(2-methylphenyl)ethyl]amino]purin-9-yl]-5-(hydroxymethyl)oxolane-3,4-diol Chemical compound COC1=CC(OC)=CC(C(CNC=2C=3N=CN(C=3N=CN=2)[C@H]2[C@@H]([C@H](O)[C@@H](CO)O2)O)C=2C(=CC=CC=2)C)=C1 BUHVIAUBTBOHAG-FOYDDCNASA-N 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 239000003990 capacitor Substances 0.000 description 1
- 239000002800 charge carrier Substances 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000001208 nuclear magnetic resonance pulse sequence Methods 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 238000001454 recorded image Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/745—Detection of flicker frequency or suppression of flicker wherein the flicker is caused by illumination, e.g. due to fluorescent tube illumination or pulsed LED illumination
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/97—Determining parameters from multiple pictures
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
- B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
- B60W2420/403—Image sensing, e.g. optical camera
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2555/00—Input parameters relating to exterior conditions, not covered by groups B60W2552/00, B60W2554/00
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10141—Special mode during image acquisition
- G06T2207/10144—Varying exposure
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30232—Surveillance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Automation & Control Theory (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- Studio Devices (AREA)
- Traffic Control Systems (AREA)
Abstract
Die Erfindung betrifft ein Verfahren zur Erkennung von gepulst betriebenen Lichtquellen mittels einer Kamera. Dazu ist vorgesehen, dass die Kamera eine Folge von Bildern aufnimmt, wobei der Zeitabstand zwischen zwei aufeinanderfolgenden Aufnahmen einzelner Bilder während der Aufnahme der Bildfolge variiert wird.
Description
- Die Erfindung betrifft ein Verfahren zur Erkennung von gepulst betriebenen Lichtquellen mittels einer Kamera, welches insbesondere bei kamerabasierten Fahrerassistenzsystemen verwendet werden kann.
- Automatische kamerabasierte Fahrerassistenzsysteme erfassen mittels mindestens einer Kamera das Fahrzeugumfeld, interpretieren die aufgenommenen Bilddaten und ermitteln daraus eine systemspezifische Reaktion. Zur Interpretation des Fahrzeugumfelds gehört dabei auch die Erkennung von selbstleuchtenden oder angeleuchteten Elementen der Infrastruktur oder des Straßenverkehrs. Beispiele dafür sind Ampeln, Verkehrszeichen, Scheinwerfer und Rückleuchten.
- Der Einsatz von LEDs (Leuchtdioden) anstelle von Glühlampen als Leuchtmittel stellt kamerabasierte Fahrerassistenzsysteme nun vor eine größere Herausforderung. Typischerweise werden die LEDs nicht kontinuierlich betrieben, sondern sie werden gepulst an- und ausgeschaltet. Das heißt, sie leuchten nicht durchgehend, sondern senden eine schnelle Folge von Lichtblitzen aus, die vom menschlichen Auge wegen seiner Trägheit aber im Allgemeinen als Dauerbeleuchtung empfunden werden. Kamerabasierte Fahrerassistenzsysteme können mit solchen gepulsten bzw. gepulst betriebenen Lichtquellen Probleme bekommen. Das kann sich darin äußern, dass die Kamera(s) in einzelnen Bildern nicht die gesamte vom menschlichen Auge als beleuchtet wahrgenommenen Informationen abbilden, sondern nur Teile davon oder im Extremfall gar nichts.
-
WO 2011/091785 A1 - Der Erfindung liegt die Aufgabe zugrunde, ein Verfahren zur Erkennung von gepulst betriebenen Informationsquellen bzw. Lichtquellen anzugeben, welches eine vollständige und zuverlässige Erkennung des Informationsgehalts dieser Quellen zuverlässig und kostengünstig ermöglicht.
- Diese Aufgabe wird durch ein Verfahren mit den Merkmalen des unabhängigen Anspruchs gelöst.
- Ausgangspunkt bei der Lösungsfindung sind folgende Überlegungen zum Ursprung der geschilderten Problematik. Das Pulsen ist i.d.R. als Pulsbreitenmodulation gestaltet und hat dabei zwei Parameter, die Pulsfrequenz und die relative Pulsbreite (Englisch: duty cycle, Deutsch: Tastgrad), wo ein Tastgrad von 50% bedeutet, dass die LED 50% der Zeit an ist. Die Pulsfrequenz ist bei einem gegebenen System i.d.R. fest. Mit dem Tastgrad wird bei solchen Beleuchtungen die ausgestrahlte Lichtmenge kontrolliert und damit die Helligkeit der Beleuchtung eingestellt.
- Bei Fahrerassistenzkameras erfolgt die Bildaufnahme bzw. Abtastung des Fahrzeugumfelds üblicherweise ebenfalls nach einem festen Zeitraster, z. B. alle 40 ms, also gepulst. Da typischerweise bei solchen Systemen eine Optik mit fester Brennweite und Blendenöffnung eingesetzt wird, steht zur Steuerung der Aufnahmequalität die Belichtungszeit zur Verfügung, wodurch die aufgenommene Lichtmenge während der Aufnahme reguliert werden kann.
- Also spielen bei der Aufnahme von gepulsten Beleuchtungsquellen oder bei der Aufnahme von passiven Infrastrukturelementen (z.B. reflektierende Objekte), die mit einer gepulsten Lichtquelle beleuchtet werden, mit einer üblichen Fahrerassistenzkamera zwei Pulsfolgen eine Rolle. Diese beiden gepulsten Prozesse (Beleuchtung und Bildaufnahme) können nun dazu führen, dass bei ungünstiger Lage der Puls-Parameter zueinander, die Beleuchtungsphase einer Beleuchtungsquelle und Bildaufnahmephase so zusammenfallen, dass der Beleuchtungsimpuls nur teilweise in das Aufnahmezeitfenster fällt und daher nicht mit voller Helligkeit aufgenommen wird. Im ungünstigsten Fall liegen die beiden Prozesse so verschoben zu einander, dass überhaupt kein Beleuchtungspuls in das Aufnahmezeitfenster fällt und daher das Fahrerassistenzsystem keinerlei oder falsche Information ableiten kann. Beispielsweise könnte eine rot leuchtende Ampel als nicht leuchtend eingestuft werden, was wiederum zu einer fehlerhaften Systemreaktion führen könnte.
- Es kommt somit durch die gepulste Beleuchtung und die gepulste Aufnahme zu Schwebungseffekten im aufgenommenen Signal. Die Schwebungsperiode kann von 0 bis, im schlimmsten Fall, unendlich liegen. Weil Elemente in einem Fahrzeugumfeld sich durch die Fahrzeugeigenbewegung in der Regel nur kurze Zeit im Sichtbereich einer Fahrerassistenzkamera befinden, ist es für die korrekte Erfassung wichtig, dass die Schwebungsperiode möglichst kurz gehalten wird.
- Diese Erfindung gibt ein Verfahren an, mit dem Schwebungsperioden, die durch die oben genannten Beleuchtungs- und Aufnahme-Methoden entstehen, kurz gehalten werden. Das Hauptproblem dabei besteht darin, dass die Pulsfrequenz und -breite der Beleuchtung für die Kamerasteuerung nicht bekannt sind. Es kann aber angenommen werden, dass diese Parameter für die Dauer, die das Infrastrukturelement im Sichtbereich der Kamera befindet, annähernd konstant sind.
- Eine Grundlage des erfindungsmäßen Verfahrens ist die Idee, dass längere Schwebungsperioden vermieden werden können, wenn die Aufnahmefrequenz im Gegensatz zur Beleuchtungsfrequenz ständig variiert wird.
- Ein erfindungsgemäßes Verfahren zur Erkennung von gepulst betriebenen Lichtquellen oder Objekten (z.B. Retroreflektoren), die mit einer gepulsten Lichtquelle beleuchtet werden, mittels einer Kamera sieht daher vor, dass die Kamera eine Folge von Bildern aufnimmt, wobei der Zeitabstand zwischen zwei aufeinanderfolgenden Aufnahmen einzelner Bilder während der Aufnahme der Bildfolge ständig variiert wird.
- Der Vorteil des erfindungsgemäßen Verfahrens ist, dass keine Annahmen über die Frequenz oder relative Pulsbreite von gepulst betriebenen Lichtquellen getroffen werden müssen. Durch die Variation ist nämlich gewährleistet, dass gepulst betriebene Lichtquellen aus einer geringen Anzahl von aufeinanderfolgend aufgenommenen Kamerabildern vollständig detektiert und erkannt werden. Somit ist auch gesichert, dass zukünftige, zum Zeitpunkt der Anmeldung unbekannte Beleuchtungspulsfolgen von gepulst betriebenen Lichtquellen nicht zu langen Schwebungsperioden führen werden.
- Gemäß einer vorteilhaften Weiterbildung der Erfindung wird der Zeitabstand zwischen zwei aufeinanderfolgenden Aufnahmen einzelner Bilder während der Aufnahme der Bildfolge ständig variiert. Die Dauer bis zum nächsten Aufnahme- oder Belichtungszeitpunkt der Kamera wird also bei jeder Aufnahme verschoben.
- In einer bevorzugten Ausführungsform erfolgt die ständige Variation des Zeitabstands periodisch, d.h. nach einem wiederkehrenden Muster.
- Vorteilhaft kann die Variation derart erfolgen, dass die Summe aus Verschiebungszeit, Aufnahme-/Belichtungszeit und Nichtaufnahme-/Nichtbelichtungszeit für jedes Bild konstant ist. Dadurch wird die „übergeordnete Aufnahmefrequenz“ der Kamera konstant gehalten, was aus Systemsicht günstig ist. Eine auf eine Belichtungsphase folgende Nichtbelichtungsphase verkürzt sich hierbei bei konstanten Belichtungszeiten im selben Maße wie der Belichtungsstartzeitpunkt aufgrund der Variation verschoben wird (gegenüber einem unverschobenen Belichtungsstartzeitpunkt). Die Verschiebung wird praktisch nur zeitlich lokal eingefügt. Damit entsteht ein „Hin- und Her-Zappeln“ des Aufnahmezeitpunkts und bei konstanter Belichtungsdauer damit auch des Belichtungsendes, welches man als „Jittering“ bezeichnen kann.
- Bevorzugt sind die möglichen Verschiebungsschritte des Aufnahmezeitpunkts gegenüber einem vorgegebenen regelmäßigen Aufnahmezeitpunkt während der Aufnahme der Bildfolge zufällig verteilt. Die möglichen Verschiebungsschritte können bevorzugt in einem Verschiebungszeitintervall liegen, das den Bereich von einer minimalen bis zu einer maximalen Verschiebung umfasst.
- Gemäß einer vorteilhaften Ausführungsform sind die möglichen Verschiebungsschritte des Aufnahmezeitpunkts gegenüber einem vorgegebenen regelmäßigen Aufnahmezeitpunkt während der Aufnahme der Bildfolge uniform, d.h. gleichmäßig, in einem vorgegebenen Verschiebungszeitintervall verteilt.
- In einer bevorzugten Ausführungsform kann die Folge der einzelnen Verschiebungsschritte des Aufnahmezeitpunkts gegenüber einem vorgegebenen regelmäßigen Aufnahmezeitpunkt während der Aufnahme der Bildfolge durch eine pseudo-zufällige Sequenz vorgegeben sein. Die Schrittweite kann dabei insbesondere skalieren mit der maximalen Verschiebung geteilt durch die Anzahl der Elemente der pseudo-zufälligen Sequenz. Da hierbei als Parameter für die lokale Zeitverschiebung der Aufnahmezeitpunkte eine pseudo-zufällige Sequenz gewählt wird, wird eine ungewollte Synchronisierung zwischen gepulst betriebener Beleuchtung und Kameraaufnahme zuverlässig ausgeschlossen.
- Vorteilhaft ist die Kamera in einem Fahrzeug angeordnet und kann das Umfeld des Fahrzeugs erfassen. Die Kamera kann bevorzugt Daten für ein Fahrerassistenzsystem liefern, welches eine oder mehrere Funktionen erfüllt, die den Fahrer bei seiner Fahrtätigkeit unterstützen. Entsprechende Fahrerassistenzfunktionen sind u.a. eine Verkehrszeichenerkennung, Höchstgeschwindigkeitswarnung, Vorfahrtswarnung, Falschfahrwarnung, Automatische Lichtsteuerung, Kollisionswarnung und ein Längsregeltempomat (ACC, Adaptive Cruise Control).
- In einer vorteilhaften Ausgestaltung der Erfindung wird die Variation des Zeitabstands zwischen zwei aufeinanderfolgenden Aufnahmen einzelner Bilder während der Aufnahme der Bildfolge erst vorgenommen, wenn zuvor aus den Bilddaten der Kamera oder aus Karteninformationen ermittelt wurde, dass potentiell relevante gepulst betriebenen Lichtquellen im Erfassungsbereich der Kamera vorliegen. Dadurch kann die Kamera im Normalbetrieb mit einem konstanten zeitlichen Abstand zwischen zwei aufeinanderfolgenden Aufnahmen einzelner Bilder (also einer festen Aufnahmefrequenz) betrieben werden, solange keine potentiellen gepulst betriebene Lichtquellen erfasst und ermittelt werden. Zu deren Erkennung kann Vorwissen über typische Geometrien, Rahmen bzw. Anordnungspositionen von relevanten gepulst betriebenen Lichtquellen berücksichtigt werden, z.B. von einer Objektdetektion, die auf den(selben) Kamerabildern basiert. Das Vorliegen potentiell relevanter gepulster Lichtquellen im Erfassungsbereich der Kamera kann bevorzugt aus Navigations-/Karteninformationen ermittelt werden. In digitalen Karten sind heute bereits zumindest teilweise Positionen von Ampelanlagen, Wechselverkehrszeichen etc. vermerkt.
- Bevorzugt wird die Belichtungszeit erhöht, wenn zuvor aus den Bilddaten der Kamera oder aus Karteninformationen ermittelt wurde, dass potentiell relevante gepulst betriebenen Lichtquellen im Erfassungsbereich der Kamera vorliegen. Insbesondere kann die Belichtungszeit dann erhöht werden, wenn eine Erkennung des Informationsgehalts der gepulst betriebenen Lichtquelle aus einem Bild mit der ursprünglichen Belichtungszeit nicht erfolgreich war.
- Relevante gepulst betriebene Lichtquellen können insbesondere Wechselverkehrszeichen, Ampeln bzw. Lichtsignalanlagen sein, deren Informationsgehalt mit einem erfindungsgemäßen Verfahren schneller bzw. zuverlässiger erfasst und erkannt werden kann.
- Alternativ oder kumulativ können Fahrzeuglichter relevante gepulst betriebene Lichtquellen sein. Die Erkennung von Fahrzeugvorder- und -rücklichtern anderer Fahrzeuge ist insbesondere wichtig, um eine Blendung anderer Fahrer durch eine automatische Lichtsteuerung zu verhindern.
- Im Folgenden wird die Erfindung anhand von einer Figur und Ausführungsbeispielen näher erläutert.
- Die einzige
1 zeigt eine schematische Darstellung zeitlicher Pulsverläufe einer gepulsten betriebenen Lichtquelle und einer Kamera. - Als Lichtquelle ist hier exemplarisch eine LED gezeigt, die in gleichbleibenden Zeitabständen an- und ausgeschaltet wird (obere Kurve). Dieser gepulste Betrieb ist als Pulsbreitenmodulation gestaltet und hat dabei zwei Parameter, die Pulsfrequenz und den Tastgrad (relative Pulsbreite, Englisch: duty cycle). Der Tastgrad gibt an, welchen Prozentsatz eines Zyklus die LED an ist. Im dargestellten Beispiel ist die LED weniger als 50% der Zeit an. Die Pulsfrequenz ist bei einem gegebenen System i.d.R. fest. Mit der relativen Pulsbreite wird bei solchen Beleuchtungen die ausgestrahlte Lichtmenge kontrolliert und damit die Helligkeit der Beleuchtung eingestellt.
- Die untere Kurve zeigt dagegen den zeitlichen Verlauf der Belichtungsphasen einer Kamera. Dieser verläuft bei Kameras nach dem Stand der Technik ebenfalls nach einem festen Zeitraster, z. B. startet bei einer Bildaufnahmefrequenz von 25 Hz alle 40 ms eine neue Belichtungsphase. Somit kann auch der Belichtungsbetrieb der Kamera als gepulster Betrieb bezeichnet werden. Da typischerweise bei solchen Systemen eine Optik mit fester Brennweite und Blendenöffnung eingesetzt wird, steht zur Steuerung der Aufnahmequalität die Belichtungszeit zur Verfügung, wodurch die aufgenommene Lichtmenge während der Aufnahme reguliert werden kann.
- Somit spielen bei der Aufnahme von gepulsten Beleuchtungsquellen mit einer Kamera nach dem Stand der Technik zwei Pulsfolgen eine Rolle. Diese beiden gepulsten Prozesse (Beleuchtung und Bildaufnahme) können nun dazu führen, dass bei ungünstiger Lage der Puls-Parameter zueinander, die Beleuchtungsphase einer Beleuchtungsquelle und Bildaufnahmephase so zusammenfallen, dass der Beleuchtungsimpuls nur teilweise in das Aufnahmezeitfenster fällt und daher nicht mit voller Helligkeit aufgenommen wird. Dies ist der Fall beim ersten LED-Puls (von links gezählt), der nur teilweise während des ersten Belichtungspulses von der Kamera erfasst werden kann. Auch der fünfte dargestellte LED-Puls wird nur teilweise aufgenommen. Der dritte dargestellte LED-Puls wird dagegen vollständig von der Kamera erfasst. Der zweite und der vierte LED-Puls aus
1 werden dagegen gar nicht von der Kamera aufgenommen, da sie zwischen dem ersten und zweiten bzw. zweiten und dritten Kamerabelichtungspuls liegen – also jeweils in einem Zeitintervall, in dem die Kamera nicht belichtet. Im ungünstigsten Fall können beide Prozesse so verschoben zu einander liegen, dass überhaupt kein Beleuchtungspuls in das Aufnahmezeitfenster fällt. Das kann dazu führen, dass das Fahrerassistenzsystem keinerlei oder falsche Information aus Kamerabildern ableitet. Beispielsweise könnte eine rot leuchtende Ampel als nicht leuchtend eingestuft werden, was wiederum zu einer gefährlichen fehlerhaften Systemreaktion führen könnte. - Durch Einsatz eines erfindungsgemäßen Verfahrens wird nun der Startzeitpunkt einer Belichtungsphase der Kamera variiert gegenüber der in
1 unten dargestellten Belichtungstaktung in regelmäßigen Abständen. Durch diese Variation wird der Fall ausgeschlossen, dass im Falle gleicher Pulsfrequenz von Beleuchtung und Bildaufnahme unter Umständen gar kein Signal der Beleuchtung von der Kamera erfasst wird. - Die variierende Verschiebungs- bzw. Verjitterungszeit kann hierbei als pseudo-zufällige Sequenz gewählt werden. Wird beispielsweise eine Sequenz mit Länge 16 genutzt, sind die verjitterten Belichtungszeitpunkte der Reihe nach gegenüber den unverjitterten Belichtungszeitpunkten wie folgt verschoben:
[1 3 6 10 15 5 12 4 13 7 2 14 11 9 8]·(maximale Verjitterungszeit)/16 - Die obige Folge ist gewonnen durch (s(n) mod 16) mit s(n + 1) = s(n) + n und s(0) = 0.
- Eine ungewollte Synchronisierung zwischen gepulst betriebener Beleuchtung und Kameraaufnahme wird durch diese pseudo-zufällige Folge von uniform verteilten möglichen Verschiebungszeiten in einem vorgegebenen Verschiebungsintervall zuverlässig ausgeschlossen.
- In einem weiteren Ausführungsbeispiel wird die Kamera grundsätzlich in einem „Normalmodus“ mit gleichbleibenden Abständen zwischen zwei aufeinanderfolgenden Belichtungsstartzeitpunkten betrieben. Die Variation der Abstände wird erst vorgenommen, wenn zuvor aus den Bilddaten der Kamera ermittelt wurde, dass potentiell relevante gepulst betriebenen Lichtquellen im Erfassungsbereich der Kamera vorliegen. Beispielsweise können potentielle Wechselverkehrszeichen aus Kamerabildern mittels einer Bildauswertung erkannt werden anhand von typischen Geometrien, Rahmen bzw. Anordnungspositionen von Wechselverkehrszeichen. Alternativ oder zusätzlich können Positionen von Wechselverkehrszeichen in einer digitalen Karte hinterlegt sein, wodurch das Navigationssystem mit Positionsbestimmungseinheit ermitteln kann, ob die Kamera am aktuellen Ort möglicherweise ein Wechselverkehrszeichen erfassen kann.
- Das Verfahren besteht in diesem Fall aus folgenden Schritten:
- 1. Bild aufnehmen
- 2. Bild analysieren bezüglich des Vorhandenseins potentieller Wechselverkehrszeichen
- 3. Falls kein potentielles Wechselverkehrszeichen vorhanden, nächsten Aufnahmezeitpunkt berechnen als Grund-Bild-Periode und zurück zu 1
- 4. Analyse des Inhalts des potentiellen Wechselverkehrszeichens anhand des aktuellen Bilds und sofern der Inhalt erkannt wird, diesen an Fahrerassistenzfunktion weiterreichen
- 5. Nächsten Aufnahmezeitpunkt berechnen als Grund-Bild-Periode + Verjitterungszeit
- 6. Zurück zu 1
- ZITATE ENTHALTEN IN DER BESCHREIBUNG
- Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
- Zitierte Patentliteratur
-
- WO 2011/091785 A1 [0004]
Claims (12)
- Verfahren zur Erkennung von gepulst betriebenen Lichtquellen oder Objekten, die von gepulst betriebenen Lichtquellen beleuchtet werden, mittels einer Kamera, wobei die Kamera eine Folge von Bildern aufnimmt, wobei der Zeitabstand zwischen zwei aufeinanderfolgenden Aufnahmen einzelner Bilder während der Aufnahme der Bildfolge variiert wird.
- Verfahren nach Anspruch 1, wobei der Zeitabstand ständig variiert wird.
- Verfahren nach Anspruch 1 oder 2, wobei der Zeitabstand ständig und periodisch variiert wird.
- Verfahren nach einem der vorhergehenden Ansprüche, wobei die Variation eine zeitliche Verschiebung des Aufnahmezeitpunkts ist und die Summe von Verschiebungszeit, Aufnahmezeitdauer und Nichtaufnahmezeit für jedes Bild konstant ist.
- Verfahren nach einem der vorhergehenden Ansprüche, wobei die möglichen Verschiebungsschritte des Aufnahmezeitpunkts gegenüber einem vorgegebenen regelmäßigen Aufnahmezeitpunkt während der Aufnahme der Bildfolge zufällig verteilt sind.
- Verfahren nach einem der vorhergehenden Ansprüche, wobei die möglichen Verschiebungsschritte des Aufnahmezeitpunkts gegenüber einem vorgegebenen regelmäßigen Aufnahmezeitpunkt während der Aufnahme der Bildfolge uniform in einem vorgegebenen Verschiebungszeitintervall verteilt sind.
- Verfahren nach Anspruch 6, wobei die Folge der einzelnen Verschiebungsschritte des Aufnahmezeitpunkts gegenüber einem vorgegebenen regelmäßigen Aufnahmezeitpunkt während der Aufnahme der Bildfolge durch eine pseudo-zufällige Sequenz vorgegeben ist.
- Verfahren nach einem der vorhergehenden Ansprüche, wobei die Kamera in einem Fahrzeug angeordnet ist und das Umfeld des Fahrzeugs erfassen kann.
- Verfahren nach einem der vorhergehenden Ansprüche, wobei die Variation des Zeitabstands zwischen zwei aufeinanderfolgenden Aufnahmen einzelner Bilder während der Aufnahme der Bildfolge erst vorgenommen wird, wenn aus den Bilddaten der Kamera oder aus Karteninformation ermittelt wurde, dass potentiell relevante gepulst betriebenen Lichtquellen im Erfassungsbereich der Kamera vorliegen.
- Verfahren nach Anspruch 9, wobei die Belichtungszeit der Kamera erhöht wird, wenn ermittelt wurde, dass potentiell relevante gepulst betriebenen Lichtquellen im Erfassungsbereich der Kamera vorliegen.
- Verfahren nach Anspruch 9 oder 10, wobei die relevanten gepulst betriebenen Lichtquellen Verkehrszeichen und/oder Ampeln darstellen.
- Verfahren nach einem der Ansprüche 9 bis 11, wobei die relevanten gepulst betriebenen Lichtquellen Fahrzeuglichter, Fahrzeugvorderlichter oder Fahrzeugrücklichter sind.
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102013100804.6A DE102013100804A1 (de) | 2013-01-28 | 2013-01-28 | Verfahren zur Erkennung von gepulst betriebenen Lichtquellen |
PCT/DE2014/200025 WO2014114294A1 (de) | 2013-01-28 | 2014-01-24 | Verfahren zur erkennung von gepulst betriebenen lichtquellen |
US14/440,488 US9787910B2 (en) | 2013-01-28 | 2014-01-24 | Method for detecting light sources operated in pulsed mode |
DE112014000579.7T DE112014000579A5 (de) | 2013-01-28 | 2014-01-24 | Verfahren zur Erkennung von gepulst betriebenen Lichtquellen |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102013100804.6A DE102013100804A1 (de) | 2013-01-28 | 2013-01-28 | Verfahren zur Erkennung von gepulst betriebenen Lichtquellen |
Publications (1)
Publication Number | Publication Date |
---|---|
DE102013100804A1 true DE102013100804A1 (de) | 2014-07-31 |
Family
ID=50235853
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
DE102013100804.6A Withdrawn DE102013100804A1 (de) | 2013-01-28 | 2013-01-28 | Verfahren zur Erkennung von gepulst betriebenen Lichtquellen |
DE112014000579.7T Pending DE112014000579A5 (de) | 2013-01-28 | 2014-01-24 | Verfahren zur Erkennung von gepulst betriebenen Lichtquellen |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
DE112014000579.7T Pending DE112014000579A5 (de) | 2013-01-28 | 2014-01-24 | Verfahren zur Erkennung von gepulst betriebenen Lichtquellen |
Country Status (3)
Country | Link |
---|---|
US (1) | US9787910B2 (de) |
DE (2) | DE102013100804A1 (de) |
WO (1) | WO2014114294A1 (de) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017042276A1 (en) * | 2015-09-11 | 2017-03-16 | Connaught Electronics Ltd. | Method for operating a camera depending on a preset pulse frequency of an illumination source, camera and system |
EP3253045A1 (de) * | 2016-05-30 | 2017-12-06 | Dream CHIP Technologies GmbH | Verfahren zur erkennung und korrektur von bildfehlern sowie bildverarbeitungseinheit und computerprogramm hierzu |
DE102017113801A1 (de) | 2017-06-22 | 2018-12-27 | Connaught Electronics Ltd. | Verfahren zum Betreiben einer Kamera durch Variieren des Startzeitpunktes einer Abtastperiode |
EP4050882A1 (de) * | 2021-02-25 | 2022-08-31 | Canon Kabushiki Kaisha | Bilderfassungsvorrichtung, die in der lage ist, flimmern aufgrund einer periodischen änderung der lichtmenge eines objekts zu erkennen, verfahren zur flimmerdetektion, und programm |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102012221159A1 (de) * | 2012-11-20 | 2014-05-22 | Robert Bosch Gmbh | Verfahren und Vorrichtung zum Erkennen von Wechselverkehrszeichen |
DE102013204935A1 (de) * | 2013-03-20 | 2014-09-25 | Robert Bosch Gmbh | Verfahren und Vorrichtung zum Erstellen einer Aufnahme eines gepulst aufleuchtenden Objekts |
DE102016221869A1 (de) | 2016-11-08 | 2018-05-09 | Conti Temic Microelectronic Gmbh | Erkennung von Regentropfen auf einer Scheibe mittels einer Kamera und einer Beleuchtung |
US10084967B1 (en) | 2017-03-24 | 2018-09-25 | Qualcomm Incorporated | Systems and methods for regionally controlling exposure time in high dynamic range imaging |
DE102017215347A1 (de) * | 2017-09-01 | 2019-03-07 | Conti Temic Microelectronic Gmbh | Verfahren zur vorhersehbaren Belichtungssteuerung zumindest einer ersten Fahrzeugkamera |
CN108509907B (zh) * | 2018-03-30 | 2022-03-15 | 北京市商汤科技开发有限公司 | 车灯检测方法、实现智能驾驶的方法、装置、介质及设备 |
JP7180759B2 (ja) * | 2019-04-18 | 2022-11-30 | 日本電気株式会社 | 人物特定装置、人物特定方法およびプログラム |
JP2022126350A (ja) * | 2021-02-18 | 2022-08-30 | 本田技研工業株式会社 | 認識装置、移動体、認識方法、およびプログラム |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06209427A (ja) * | 1993-01-11 | 1994-07-26 | Matsushita Electric Ind Co Ltd | 固体撮像装置 |
DE102005033863A1 (de) * | 2005-07-20 | 2007-01-25 | Robert Bosch Gmbh | Bildaufnahmesystem |
WO2011091785A1 (de) | 2010-01-28 | 2011-08-04 | Conti Temic Microelectronic Gmbh | Hochdynamischer bildsensor zur detektion von moduliertem licht |
US20110221929A1 (en) * | 2010-03-12 | 2011-09-15 | Hitachi, Ltd. | Imaging equipment and exposure control method of the same |
JP2012023459A (ja) * | 2010-07-12 | 2012-02-02 | Toshiba Alpine Automotive Technology Corp | 車載用監視カメラおよびその撮像方法 |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4608766B2 (ja) * | 2000-11-27 | 2011-01-12 | ソニー株式会社 | 固体撮像素子の駆動方法、及びカメラ |
JP4337353B2 (ja) | 2002-03-25 | 2009-09-30 | セイコーエプソン株式会社 | フリッカ検出装置、フリッカ補正装置、撮像装置、フリッカ検出プログラムおよびフリッカ補正プログラム |
US7109467B2 (en) * | 2004-01-26 | 2006-09-19 | Itt Manufacturing Enterprises, Inc. | Method and system for spread spectrum gating |
US20050237394A1 (en) * | 2004-04-21 | 2005-10-27 | Behnam Katiblan | Flicker detection for image sensing devices |
US7671975B2 (en) * | 2004-07-01 | 2010-03-02 | Caridianbct, Inc. | Blood processing apparatus with dedicated stroboscopic controller for LED source |
GB0709026D0 (en) * | 2007-05-10 | 2007-06-20 | Isis Innovation | High speed imaging with slow scan cameras using pixel level dynami shuttering |
EP2026097A1 (de) * | 2007-08-08 | 2009-02-18 | Harman Becker Automotive Systems GmbH | Fahrzeugbeleuchtungssystem |
JP5419390B2 (ja) * | 2008-06-13 | 2014-02-19 | 富士通テン株式会社 | ドライブレコーダ及びシステム |
DE102010053197A1 (de) * | 2010-12-03 | 2011-08-25 | Daimler AG, 70327 | Verfahren und Vorrichtung zur Steuerung einer an oder in einem Fahrzeug angeordneten Bilderfassungseinheit |
DE102012216065A1 (de) * | 2012-09-11 | 2014-03-13 | Robert Bosch Gmbh | Verfahren und Vorrichtung zur Erkennung von zumindest einer gepulsten Lichtquelle für ein Fahrzeug |
-
2013
- 2013-01-28 DE DE102013100804.6A patent/DE102013100804A1/de not_active Withdrawn
-
2014
- 2014-01-24 US US14/440,488 patent/US9787910B2/en active Active
- 2014-01-24 DE DE112014000579.7T patent/DE112014000579A5/de active Pending
- 2014-01-24 WO PCT/DE2014/200025 patent/WO2014114294A1/de active Application Filing
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06209427A (ja) * | 1993-01-11 | 1994-07-26 | Matsushita Electric Ind Co Ltd | 固体撮像装置 |
DE102005033863A1 (de) * | 2005-07-20 | 2007-01-25 | Robert Bosch Gmbh | Bildaufnahmesystem |
WO2011091785A1 (de) | 2010-01-28 | 2011-08-04 | Conti Temic Microelectronic Gmbh | Hochdynamischer bildsensor zur detektion von moduliertem licht |
US20110221929A1 (en) * | 2010-03-12 | 2011-09-15 | Hitachi, Ltd. | Imaging equipment and exposure control method of the same |
JP2012023459A (ja) * | 2010-07-12 | 2012-02-02 | Toshiba Alpine Automotive Technology Corp | 車載用監視カメラおよびその撮像方法 |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017042276A1 (en) * | 2015-09-11 | 2017-03-16 | Connaught Electronics Ltd. | Method for operating a camera depending on a preset pulse frequency of an illumination source, camera and system |
DE102015115351A1 (de) * | 2015-09-11 | 2017-03-16 | Connaught Electronics Ltd. | Verfahren zum Betreiben einer Kamera abhängig von einer vorgegebenen Pulsfrequenz einer Beleuchtungsquelle, Kamera und System |
EP3253045A1 (de) * | 2016-05-30 | 2017-12-06 | Dream CHIP Technologies GmbH | Verfahren zur erkennung und korrektur von bildfehlern sowie bildverarbeitungseinheit und computerprogramm hierzu |
EP3809691A1 (de) * | 2016-05-30 | 2021-04-21 | Dream CHIP Technologies GmbH | Verfahren zur erkennung und korrektur von bildfehlern sowie bildverarbeitungseinheit und computerprogramm hierzu |
DE102017113801A1 (de) | 2017-06-22 | 2018-12-27 | Connaught Electronics Ltd. | Verfahren zum Betreiben einer Kamera durch Variieren des Startzeitpunktes einer Abtastperiode |
EP4050882A1 (de) * | 2021-02-25 | 2022-08-31 | Canon Kabushiki Kaisha | Bilderfassungsvorrichtung, die in der lage ist, flimmern aufgrund einer periodischen änderung der lichtmenge eines objekts zu erkennen, verfahren zur flimmerdetektion, und programm |
US11627261B2 (en) | 2021-02-25 | 2023-04-11 | Canon Kabushiki Kaisha | Image capturing apparatus capable of detecting flicker due to periodic change in light amount of object, flicker detecting method, and non-transitory computer-readable storage medium |
Also Published As
Publication number | Publication date |
---|---|
DE112014000579A5 (de) | 2015-10-08 |
US9787910B2 (en) | 2017-10-10 |
WO2014114294A1 (de) | 2014-07-31 |
US20150304539A1 (en) | 2015-10-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
DE102013100804A1 (de) | Verfahren zur Erkennung von gepulst betriebenen Lichtquellen | |
EP2435275B1 (de) | Verfahren und vorrichtung zur fahrzeug gestützten beleuchtung bei unzureichend beleuchteten verkehrsumgebungen | |
DE60316074T2 (de) | Aktives Nachtsichtsystem für ein Kraftfahrzeug | |
DE102015008774B4 (de) | Verfahren und Vorrichtung zur Erfassung eines Fahrzeug-Umfelds | |
EP1595391A1 (de) | Vorrichtung und verfahren zur bilderzeugung | |
WO2015022240A1 (de) | Sensoranordnung zur erfassung von bediengesten an fahrzeugen | |
DE102011081384B4 (de) | Verfahren und Vorrichtung zur Abstandsbestimmung für ein Fahrzeug | |
DE102005033863A1 (de) | Bildaufnahmesystem | |
DE102009048619A1 (de) | Verfahren zur Steuerung eines Fahrlichts eines Fahrzeugs | |
WO2004071095A1 (de) | Vorrichtung und verfahren zur bilderzeugung | |
EP2399775B1 (de) | Verfahren zum Betrieb einer Kraftfahrzeugbeleuchtungseinrichtung mit automatischer Abblendfunktion | |
DE10248416B4 (de) | Vorrichtung und Verfahren zur Bestimmung einer Relativbewegung eines Fahrzeugs | |
DE102008023853A1 (de) | Verfahren und System zur Erkennung eines Wechselverkehrszeichens | |
DE102012018118A1 (de) | Verfahren zum Betreiben einer Frontkamera eines Kraftfahrzeugs unter Berücksichtigung des Lichts des Scheinwerfers, entsprechende Vorrichtung und Kraftfahrzeug | |
WO2014146864A1 (de) | Verfahren und vorrichtung zum erstellen einer aufnahme eines gepulst aufleuchtenden objekts | |
DE102016118801A1 (de) | Verfahren und System zum Einstellen eines Scheinwerfers eines Fahrzeugs | |
DE102019126812A1 (de) | Vorrichtung und Verfahren zur Erkennung einer gepulst betriebenen Lichtquelle | |
DE102010044554A1 (de) | Verfahren und Vorrichtung zur Erkennung von Umgebungslichtquellen in einem Fahrzeug | |
DE102004042816B3 (de) | Nachtsichtsystem für ein Kraftfahrzeug | |
DE102010053197A1 (de) | Verfahren und Vorrichtung zur Steuerung einer an oder in einem Fahrzeug angeordneten Bilderfassungseinheit | |
EP3585047B1 (de) | Verfahren und vorrichtung zur erstellung von hochkontrastbildern | |
DE102013104274A1 (de) | Verfahren für die Bestimmung des Eigenlichtanteils in Reflexionslicht | |
EP2584492A2 (de) | Erkennen einer Straßenbeleuchtung | |
DE102015212365A1 (de) | Synchronisation einer Belichtung einer Kamera | |
DE102020202329A1 (de) | Umgebungserkennungssystem eines Kraftfahrzeugs, Verfahren zum Betrieb eines Umgebungserkennungssystems, Computerprogrammprodukt sowie Kraftfahrzeug |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
R163 | Identified publications notified | ||
R118 | Application deemed withdrawn due to claim for domestic priority |