DE102020124709A1

DE102020124709A1 - Systeme und verfahren zur erkennung von flackern und streifenbildung von leds

Info

Publication number: DE102020124709A1
Application number: DE102020124709.5A
Authority: DE
Inventors: Mohannad Murad; Sai Vishnu Aluru; Joseph G. Machak
Original assignee: GM Global Technology Operations LLC
Current assignee: GM Global Technology Operations LLC
Priority date: 2019-10-21
Filing date: 2020-09-22
Publication date: 2021-04-22
Also published as: CN112766030A; CN112766030B; US10863106B1

Abstract

Bildsensorsysteme und -verfahren erkennen Streifenbildung und Flackern. Das Verfahren umfasst den Empfang von Kameradaten und die Identifizierung einer Lichtquellenposition in einem Kameradatenframe sowie die Zuweisung eines Leuchtdichtemaßes an der Lichtquelle als Signalreferenz. Der Lichtquelle wird dann ein Bereich von Interesse (ROI) zugeordnet. Das Bild wird inkrementiert, und dann wird ein Signal-Rausch-Verhältnis (SNR) an der Lichtquelle berechnet. Eine Anzahl N von Frames kann verarbeitet werden, um Streifenbildung zu identifizieren, wenn es vorhanden ist, und um Flackern zu erkennen, wenn es vorhanden ist. Als Reaktion auf die Identifizierung von Streifenbildung oder identifizierendem Flackern wird eine Antwort für ein Anzeigesystem oder für ein Bildverarbeitungssystem erzeugt.

Description

TECHNISCHES GEBIET
Die vorliegende Offenbarung bezieht sich im Allgemeinen auf Bildsensorsysteme für mobile Plattformen und insbesondere auf Bildsensorsysteme und -verfahren, die das Flackern und Streifenbildung von Leuchtdioden (LED) in Echtzeit erkennen.
Bildsensorsysteme für Fahrzeuge erkennen Licht, das von Objekten außerhalb des Fahrzeugs emittiert wird. Eine gängige Art von lichtemittierendem Objekt ist eine LED. LEDs werden häufig in Ampeln und Hinweisschildern verwendet, was sie zu einem relevanten technischen Problem macht, das innerhalb der Sichtfeld-Sensorsysteme gelöst werden muss. von einer LED ausgestrahlte Licht wird im Allgemeinen periodisch gepulst und mit einer Periode und einem Tastverhältnis beschrieben. Für die Dauer des Impulses strahlt die LED aktiv Licht aus, und für den Rest der Periode ist die LED ausgeschaltet oder inaktiv. Wenn die LED mit einer ausreichend schnellen Frequenz gepulst wird, nimmt das menschliche Auge sie als ständig eingeschaltet wahr. Bildsensorsysteme verwenden eine oder mehrere Onboard-Kameras, um das Licht zu erfassen oder einzufangen. Unabhängig davon haben die Onboard-Kameras in der Regel ihre eigene Periodizität, die als Bildfrequenz bezeichnet wird. Die Kamera erfasst das Licht aktiv während eines Teils des Bildes, der als Belichtungszeit bezeichnet wird. Onboard-Anzeigesysteme und Maschinenbildsysteme sind oft von den Kameradaten abhängig.
Wenn die Belichtungszeit der Kamera mit dem LED-Impuls zusammenfällt, wird in den Kameradaten erfasst, dass die LED leuchtet. Wenn die Bildfrequenz der Kamera nicht mit der LED-Impulsfrequenz übereinstimmt, zeigen die Kameradaten möglicherweise fälschlicherweise an, dass die LED nicht leuchtet. In der Praxis können diese Fehlbestimmungen bei einer Vielzahl von Einzelbildern zu unerwünschten technologischen Auswirkungen für Anzeigesysteme und Bildverarbeitungssysteme führen. Beispiele solcher unerwünschter Effekte sind Flackern und Streifenbildung, die bei der Wiedergabe auf dem Anzeigesystem zu sehen sind. Viele verfügbare Bildsensorsysteme und -verfahren verwenden Strategien zur Abschwächung des LED-Flackerns am Punkt des Anzeigesystems, um diese technologischen Probleme zu lösen.
Dementsprechend sind verbesserte Bildsensorsysteme und -verfahren wünschenswert. Die folgende Offenlegung bietet eine technologische Lösung, um das Flackern und die Streifenbildung in Echtzeit anzugehen, zusätzlich zur Behandlung verwandter Probleme. Darüber hinaus werden weitere wünschenswerte Merkmale und Eigenschaften des Systems und des Verfahrens aus der nachfolgenden detaillierten Beschreibung und den beigefügten Ansprüchen in Verbindung mit den beigefügten Zeichnungen und dem vorhergehenden Hintergrund ersichtlich.
BESCHREIBUNG
In einer Ausführungsform wird ein Bildsensorsystem für eine mobile Plattform bereitgestellt. Das System umfasst: eine On-Board-Kamera, die Kameradaten erzeugt; und einen Prozessor, der so programmiert ist, dass er die Kameradaten empfängt, und: eine Lichtquellenposition in einem Frame von Kameradaten identifiziert; einen der Lichtquelle zugeordneten Bereich von Interesse (ROI) identifiziert; den Frame von Kameradaten inkrementiert; ein Signal-Rausch-Verhältnis (SNR) an der Lichtquelle berechnet; eine Framenummer mit dem SNR speichert; eine Streifenbildung identifiziert, wenn sie vorhanden ist, Flackern identifiziert, wenn es vorhanden ist, und auf identifizierendes Flackern reagiert und eine Antwort erzeugt.
In einer Ausführungsform ist der Prozessor ferner so programmiert, dass er den Ort der Lichtquelle durch Identifizierung des hellsten Pixels identifiziert.
In einer Ausführungsform, die auf das Identifizieren der Streifenbildung reagiert, ist der Prozessor so programmiert, dass er eine Antwort erzeugt.
In einer Ausführungsform ist der Prozessor ferner so programmiert, dass er eine Antwort erzeugt, indem er eine Kompensationstechnik auf einem Anzeigesystem anwendet, und wobei die Kompensationstechnik ein Verwischen einschließt, um fehlende Pixel aufzufüllen.
In einer Ausführungsform wird der Prozessor ferner so programmiert, dass er die Antwort durch Generierung einer Warnung für ein Bildverarbeitungssystem erzeugt.
In einer Ausführungsform wird der Prozessor weiter programmiert, um den ROI durch Verarbeitung der Lichtquellenposition mit Objekterkennungsdaten zu identifizieren.
In einer Ausführungsform wird der Prozessor ferner so programmiert, dass er den ROI durch die Verarbeitung des Lichtquellenstandorts mit GPS-Daten (geographic position system) ermittelt.
In einer Ausführungsform besteht das Identifizieren von Flackern darin, für N Frames zu bestimmen, dass 50% der N Frames das SNR über einem SNR-Schwellenwert liegen.
Es wird auch ein prozessorimplementiertes Verfahren zur Bilderfassung in mobilen Plattformen bereitgestellt, das Folgendes umfasst: Identifizieren einer Lichtquellenposition in einem Frame von Kameradaten; Identifizieren eines der Lichtquelle zugeordneten Bereichs von Interesse (ROI); Inkrementieren des Frames von Kameradaten; Berechnen eines Signal-Rausch-Verhältnisses (SNR) an der Lichtquelle; Speichern einer Framenummer mit dem Kameradatenrahmen und dem SNR; Identifizieren einer Streifenbildung, wenn sie vorhanden ist; Identifizieren von Flackern, wenn sie vorhanden ist; und als Reaktion auf jede der folgenden Maßnahmen: Identifizieren der Streifenbildung und Identifizieren des Flackerns, Erzeugen einer Antwort.
In einer Ausführungsform umfasst das Verfahren ferner die Identifizierung der Lichtquellenposition durch Identifizierung eines hellsten Pixels.
In einer Ausführungsform umfasst das Verfahren ferner die Erzeugung einer Antwort durch Anwendung einer Kompensationstechnik auf einem Anzeigesystem.
In einer Ausführungsform umfasst die Kompensationstechnik ein Verwischen, um fehlende Pixel aufzufüllen.
In einer Ausführungsform umfasst das Verfahren ferner die Erzeugung der Antwort durch Erzeugung eines Alarms für ein Bildverarbeitungssystem.
In einer Ausführungsform umfasst das Verfahren ferner die Identifizierung der ROI durch Verarbeitung der Lichtquellenposition mit Objekterkennungsdaten.
In einer Ausführungsform umfasst das Verfahren ferner die Ermittlung der ROI durch Verarbeitung des Lichtquellenstandorts mit GPS-Daten (geographic position system).
In einer Ausführungsform besteht das Identifizieren von Flackern darin, für N Frames zu bestimmen, dass 50% der N Frames das SNR über einem SNR-Schwellenwert liegen.
In einer anderen bereitgestellten Ausführungsform wird eine mobile Plattform bereitgestellt, die Folgendes umfasst: eine Kamera, die auf der mobilen Plattform montiert ist und Kameradaten erzeugt; einen Prozessor, der so programmiert ist, dass er die Kameradaten empfängt, und: eine Lichtquellenposition in einem Frame von Kameradaten zu identifizieren; einen der Lichtquelle zugeordneten Bereich von Interesse (ROI) zu identifizieren; den Frame der Kameradaten zu inkrementieren; ein Signal-Rausch-Verhältnis (SNR) an der Lichtquelle zu berechnen; eine Framenummer mit dem Frame der Kameradaten und dem SNR zu speichern; Streifenbildung zu identifizieren, wenn sie vorhanden ist, Flackern zu identifizieren, wenn sie vorhanden ist, und auf jeden der folgenden Punkte zu reagieren: Streifenbildung zu identifizieren und Flackern zu identifizieren, einen Alarm für ein maschinelles Bildverarbeitungssystem zu erzeugen.
In einer Ausführungsform ist der Prozessor ferner so programmiert, dass er den Ort der Lichtquelle durch Identifizierung des hellsten Pixels identifiziert.
In einer Ausführungsform wird der Prozessor ferner so programmiert, dass er die Antwort erzeugt, indem er auf einem Anzeigesystem eine Verwischtechnik anwendet, um fehlende Pixel aufzufüllen.
In einer Ausführungsform wird der Prozessor weiter programmiert, um den ROI zu identifizieren, indem die Position der Lichtquelle mit jedem der folgenden Daten verarbeitet wird Objekterkennungsdaten und Daten des geografischen Positionssystems (GPS).
Figurenliste
Die beispielhaften Ausführungsformen werden im Folgenden in Verbindung mit den folgenden Figuren beschrieben, wobei gleichartige Bezugszeichen gleichartige Elemente bezeichnen, und wobei

1 ein schematisches Diagramm ist, das ein Fahrzeug, das ein Bildsensorsystem enthält, gemäß verschiedenen Ausführungsformen darstellt;
2 ein Zeitdiagramm ist, das die Beziehungen zwischen LED-Impulsen und Kamerabelichtung gemäß einer beispielhaften Ausführungsform veranschaulicht; und
3 ein Prozessablaufdiagramm ist, das eine Beispielmethode für die Bildsensorik in einer mobilen Plattform in Übereinstimmung mit verschiedenen Ausführungsformen darstellt.

DETAILLIERTE BESCHREIBUNG
Die folgende detaillierte Beschreibung hat lediglich beispielhaften Charakter und soll die Anwendung und den Gebrauch nicht einschränken. Darüber hinaus besteht nicht die Absicht, an eine ausdrückliche oder implizierte Theorie gebunden zu sein, die im vorhergehenden technischen Bereich, im Hintergrund, in der Zusammenfassung oder in der folgenden detaillierten Beschreibung dargestellt wird.
Ausführungsformen der vorliegenden Offenlegung können hierin in Form von funktionalen und/oder logischen Blockkomponenten und verschiedenen Verarbeitungsschritten beschrieben werden. Es ist zu beachten, dass solche Blockkomponenten durch eine beliebige Anzahl von Hardware-, Software- und/oder Firmwarekomponenten realisiert werden können, die so konfiguriert sind, dass sie die angegebenen Funktionen erfüllen. Zum Beispiel kann eine Ausführungsform der vorliegenden Offenlegung verschiedene integrierte Schaltkreiskomponenten verwenden, z.B. Speicherelemente, digitale Signalverarbeitungselemente, Logikelemente, Nachschlagetabellen oder ähnliches, die eine Vielzahl von Funktionen unter der Kontrolle eines oder mehrerer Mikroprozessoren oder anderer Steuervorrichtungen ausführen können.
Wie hierin verwendet, bezieht sich der Begriff „Modul“ auf jede Hardware, Software, Firmware, elektronische Steuerkomponente, Verarbeitungslogik und/oder Prozessorvorrichtung, einzeln oder in beliebiger Kombination, einschließlich, aber nicht beschränkt auf: anwendungsspezifische integrierte Schaltung (ASIC), ein feldprogrammierbares Gate-Array (FPGA), eine elektronische Schaltung, einen Prozessor (gemeinsam genutzt, dediziert oder gruppiert) und Speicher, der ein oder mehrere Software- oder Firmwareprogramme ausführt, eine kombinatorische Logikschaltung und/oder andere geeignete Komponenten, die die dem Modul zugeschriebene Funktionalität bereitstellen. Darüber hinaus wird der Fachmann zu schätzen wissen, dass Ausführungsformen der vorliegenden Offenlegung in Verbindung mit einer beliebigen Anzahl von Systemen praktiziert werden können und dass die hier beschriebenen Systeme lediglich beispielhafte Ausführungsformen der vorliegenden Offenlegung sind.
Der Kürze halber werden konventionelle Techniken im Zusammenhang mit Signalverarbeitung, Datenübertragung, Signalisierung, Steuerung, maschinellen Lernmodellen, Radar, Lidar, Bildanalyse und anderen funktionalen Aspekten der Systeme (und der einzelnen Betriebskomponenten der Systeme) hier nicht im Detail beschrieben. Darüber hinaus sollen die Verbindungslinien, die in den verschiedenen hierin enthaltenen Abbildungen gezeigt werden, beispielhafte funktionale Beziehungen und/oder physikalische Kopplungen zwischen den verschiedenen Elementen darstellen. Es ist zu beachten, dass viele alternative oder zusätzliche funktionelle Beziehungen oder physische Verbindungen in einer Ausführungsform der vorliegenden Offenlegung vorhanden sein können.
Wie bereits erwähnt, kann es in der Praxis vorkommen, dass die Pulsfrequenz einer LED nicht perfekt mit der Belichtungszeit der Kamera übereinstimmt, was dazu führt, dass einige der Bilder der Kameradaten fälschlicherweise anzeigen, dass die LED aus ist. In der Praxis kann es bei einer Vielzahl von Kameradatenframes zu unerwünschten technologischen Effekten in den auf einem Anzeigesystem wiedergegebenen Bildern kommen, wie z.B. Flackern und Streifenbildung. Einige verfügbare Bildverarbeitungssensorsysteme und -methoden verwenden Strategien zur LED-Flackerabschwächung, die dem Datenverarbeitungsfluss nachgeschaltet sind, z.B.an der Stelle, an der ein Bild gerendert wird, um diese technologischen Probleme zu beheben. Beispielhafte Ausführungsformen eines verbesserten Bildsensorsystems und -verfahrens verwenden Datenmanipulationsstrategien im Wesentlichen in Echtzeit, unabhängig von der Kamera; der bereitgestellte Algorithmus (1 Programm 56) überwacht nur die in einer Vielzahl von Frames empfangenen Bilddaten, die auch als Video bezeichnet werden. Daher kann jedes Bild für die Anzeige auf einem Anzeigesystem erzeugt werden (was die Kosten senkt) und jede Einstellung an einem Bildsensor in einer Kamera kann verwendet werden. Das erweiterte Bildsensorsystem und das Verfahren werden im Zusammenhang mit den folgenden Abbildungen näher beschrieben.
1 zeigt ein Beispiel einer mobilen Plattform. Das Beispiel einer mobilen Plattform ist ein Fahrzeug 100, das in der Lage ist, sich zu bewegen und Passagiere von einem Ort zum anderen zu befördern. Das Fahrzeug 100 ist in der abgebildeten Ausführungsform als Personenkraftwagen dargestellt, aber es können auch andere Fahrzeugtypen, einschließlich Motorräder, Taxis, Fahrzeugflotten, Busse, Limousinen, Waggons, Lastkraftwagen, Sport Utility Vehicles, andere Automobile, Freizeitfahrzeuge (RVs), Lokomotiven und andere Fahrzeuge verwendet werden. allgemeinem Verständnis kann das Fahrzeug 100 aus einem Aufbau, einem Fahrgestell und Rädern bestehen, die jeweils in der Nähe einer Ecke des Aufbaus drehbar mit dem Fahrgestell verbunden sind. Das Fahrzeug 100 ist mit vier Rädern 20 dargestellt, aber die Anzahl der Räder 20 kann bei anderen Ausführungsformen variieren. Das Fahrzeug 100 kann autonom oder semi-autonom sein.
Das Beispielfahrzeug 100 umfasst eine Reihe von kommunikativ gekoppelten Komponenten. Nicht einschränkende Beispiele für die kommunikativ gekoppelten Komponenten sind ein Sensorsystem 104, ein Kamerasystem 106, ein Anzeigesystem 108, ein Transceiver 110, ein geographisches Positionierungssystem (GPS) 112, ein Prozessor 102, ein Bildverarbeitungssystem 116 und ein Speichergerät, Speicher 54. Der Prozessor und der Speicher 54 können mit anderen Komponenten an Bord des Fahrzeugs 100 über einen Bus 50 und eine Kommunikationsstruktur, die als Ein-/Ausgang oder 52 bezeichnet wird, kommunizieren. Unter Fahrzeug 100 ist auch ein kollektiver Funktionsblock, Antriebssysteme 114, zu verstehen, der im Allgemeinen bekannte Fahrzeugsysteme für den Fahrzeugbetrieb umfasst, wie z.B. ein Antriebssystem, ein Übertragungssystem, ein Lenksystem, Aktuatoren für die Räder und ein Bremssystem, und eine Vielzahl von Signalen, einschließlich Fahrzeuggeschwindigkeit und Fahrzeugbeschleunigung, erzeugt. Die Antriebssysteme 114 und andere Bordsysteme liefern Signale an den Prozessor 102, aus denen der Prozessor 102 als Ausgänge Steuerungen für das Kamerasystem 106 und für das Anzeigesystem 108 erzeugt. In verschiedenen Ausführungsformennutzen Bordsysteme, wie z.B. die Antriebssysteme 114, verschiedene Ausgänge des Prozessors 102, wie z.B. generierte Bilder von Bildverarbeitungssystemen und Sensorsystemen, um verschiedene Aspekte des Betriebs von Fahrzeug 100 zu steuern, z.B. durch die Steuerung von Traktionseinrichtungen, die mit den Rädern und Bremsen verbunden sind.
Das Fahrzeug 100 verfügt über ein Bildsensorsystem, im Allgemeinen als System 103 dargestellt. Eine technologische Verbesserung des Systems 103 ist die Echtzeit-LED-Flacker- und Streifenbildungs-Erkennung. Verschiedene Ausführungsformen des Systems 103 bieten darüber hinaus eine LED-Flacker- und/oder LED-Streifenbildungs-Korrektur.
Um auf die 1 zurückzukommen, werden die Funktionen und Operationen jeder dieser Komponenten im Folgenden ausführlicher beschrieben.
Das Sensorsystem 104 umfasst eine oder mehrere Sensorvorrichtungen, die beobachtbare Bedingungen der äußeren Umgebung (wie Oberflächenbeschaffenheit, Niederschlag, Lichtpegel, Entfernung zu Objekten und dergleichen) erfassen und entsprechende Sensordaten erzeugen. Zu den Sensorvorrichtungen können unter anderem gehören: Radargeräte (z.B. Langstrecken-, Mittelstrecken- und Kurzstreckenradar), Lidargeräte, Ultraschallsensoren, Odometriesensoren (z.B. Encoder) und/oder andere Sensoren, die in Verbindung mit Systemen und Methoden in Übereinstimmung mit dem vorliegenden Thema verwendet werden können. Nicht einschränkende Beispiele für Merkmale, die in den Sensorsystemdaten enthalten sein können, sind der Abstand zu einem Objekt 32, die Niederschlagsmenge, die Unebenheit der Oberfläche, das Vorhandensein von Eis, das Vorhandensein von Wasser usw.
Das Kamera 106 System kann auf der mobilen Plattform montiert werden und kann eine oder mehrere optische Kameras (z.B. nach vorne gerichtete, 360-Grad-, nach hinten gerichtete, zur Seite gerichtete, Stereo- usw.), Wärmekameras (z.B. Infrarotkameras) und Ähnliches umfassen. Das Kamera 106 System erfasst Lichtstärke 30, Leuchtdichte, Kanten, Kontrast, Lichtsättigung usw. und generiert darauf basierende Kameradaten. Nicht einschränkende Beispiele für Merkmale, die in den Kameradaten enthalten sein können, sind Panoramablick, Lichtmenge, Kanten, Kontrast, Sättigung usw. Das Kamera 106 System wird durch den Prozessor 102 gesteuert. In verschiedenen Ausführungsformen steuert der Prozessor 102 das Kamera-106 System. In einigen Ausführungsformen veranlasst der Prozessor 102 die einzelnen Kameras im Kamera 106 System, sich zu artikulieren, um Bilder zu erhalten. Jede Kamera der einen oder mehreren Kameras hat eine entsprechende Bildfrequenz und liefert ihre jeweiligen Kameradaten an den Prozessor 102. Während eines Initialisierungsschrittes kann der Prozessor 102 eine Anzahl verfügbarer Kameras, ihre Bildraten, den Teil der externen Welt, den die Kameradaten repräsentieren, und ähnliches bewerten und/oder mit vorgegebenen Einstellungen programmieren.
Das Anzeigesystem 108 ist so konfiguriert, dass es kontinuierlich Anzeigebefehle vom Prozessor 102 empfängt und darauf reagiert sowie Bilder und Videos anzeigt. Das Anzeigesystem 108 umfasst ein Anzeigegerät zur Darstellung eines angezeigten Bildes 109. In verschiedenen hier beschriebenen Ausführungsformen enthält das Anzeigesystem 108 ein synthetisches Sichtsystem (SVS), und das angezeigte Bild 109 ist ein SVS-Bild. In beispielhaften Ausführungsformen ist das Anzeigegerät auf einem oder mehreren elektronischen Anzeigegeräten realisiert.
Der Transceiver 110 umfasst die Hardware und Software zur Unterstützung eines oder mehrerer Kommunikationsprotokolle für die drahtlose Kommunikation zwischen dem Prozessor 102 und externen Quellen, wie Satelliten, der Wolke, Kommunikationstürmen und Bodenstationen. In verschiedenen Ausführungsformen ist der Transceiver 110 für den Empfang von Kartierungsdaten konfiguriert. In verschiedenen Ausführungen ist der Transceiver 110 so konfiguriert, dass er aktuelle hochauflösende (HD) Kartendaten gemäß einem gültigen Abonnement empfängt, die vom GPS 112 und dem Prozessor 102 verwendet werden. HD-Kartierungsdaten umfassen im Allgemeinen Straßengeometrien, Straßenkrümmungen, Neigungen, Winkel, Breiten, Geschwindigkeitsbegrenzungen, Anzahl und Zuweisung von Fahrspuren (z.B. Überholspuren, Ausfahrtsspuren usw.), Standorte von Tunneln, Standorte von überdachten Brücken, Standorte von gewerblichen Parkhäusern und dergleichen.
Das Global Positioning System (GPS) 112 erfüllt die Funktion, externe Kartenanbieter zu abonnieren, um z.B. die aktuellen hochauflösenden (HD) Kartendaten zu erhalten. Das GPS 112 generiert auch GPS-Daten für das Fahrzeug 100, einschließlich der Position und der Bewegung des Fahrzeugs 100. Durch den Vergleich von GPS-Daten mit Kameradaten kann der Prozessor 102 vornehmen. Obwohl 1 das Fahrzeug 100 in einer Richtung darstellt, kann sich das Fahrzeug 100 in verschiedenen Ausführungsformen in jede Richtung, d.h. um 360 Grad, bewegen. Ebenso können in verschiedenen Ausführungsformen das Kamera 106 System und das Sensorsystem 104 ebenfalls Informationen in 360 Grad erhalten und verarbeiten.
In einer beispielhaften Ausführungsform bestimmt das Bildverarbeitungssystem 116 die äußere Umgebung der mobilen Plattform 100 und trifft operative Entscheidungen für die mobile Plattform 100, die keinen menschlichen Eingriff erfordern. In beispielhaften Ausführungsformen verkörpert das Bildverarbeitungssystem 116 mindestens einen Objekterkennungsalgorithmus. Durch den Vergleich von Objekterkennungsdaten mit Kameradaten kann der Prozessor 102 Entscheidungen über Objekte und/oder Bereichen von Interesse in der Nähe der mobilen Plattform 100 treffen. Während eines Initialisierungsschrittes kann das Bildverarbeitungssystem 116 aktualisiert oder mit anderen Komponenten des Systems 103 synchronisiert werden.
Wenn der Prozessor 102 die Daten des Kamerasystems verarbeitet und darin Flackern und/oder Streifenbildung feststellt, kann der Prozessor 102 weiterhin eine geeignete Korrektur bestimmen. Ein nicht einschränkendes Beispiel für eine Korrektur, die sich auf Ausführungsformen bezieht, in denen das Anzeigesystem 108 von einem Menschen betrachtet wird, umfasst die Anwendung einer Verwischtechnik zum Auffüllen fehlender Pixel. Ein nicht einschränkendes Beispiel für eine Korrektur, die sich auf Ausführungsformen bezieht, in denen das Bildverarbeitungssystem 116 verwendet wird, umfasst die Erzeugung einer Warnung und die Zuordnung der Warnung zu einem verwandten Bereich von Interesse (ROI).
Wie hier verwendet, erleichtert der Prozessor 102 die Kommunikation und/oder Interaktion zwischen den Komponenten des Systems 103 und führt zusätzliche Prozesse, Aufgaben und/oder Funktionen zur Unterstützung von Operationen aus, die dem System 103, wie hier beschrieben, zugeordnet sind. Je nach Ausführung kann der Prozessor 102 implementiert oder realisiert sein mit einem Allzweck-Prozessor (gemeinsam genutzt, dediziert oder als Gruppe), Controller, Mikroprozessor oder Mikrocontroller und Speicher, der ein oder mehrere Software- oder FirmwareProgramme ausführt; einem inhaltsadressierbaren Speicher; einem digitalen Signalprozessor; einer anwendungsspezifischen integrierten Schaltung (ASIC), einem FPGA (Field Programmable Gate Array); jeder geeigneten programmierbaren Logikeinrichtung; einer kombinatorischen Logikschaltung einschließlich diskreter Gatter oder Transistorlogik; diskreten Hardwarekomponenten und Speicherbausteinen; und/oder jeder Kombination davon, die zur Ausführung der hier beschriebenen Funktionen ausgelegt ist.
In verschiedenen Ausführungsformen ist das System 103 als ein erweitertes Computersystem realisiert, das ein computerlesbares Speichergerät oder Speichermedium, einen Speicher 54 zur Speicherung von Befehlen, Algorithmen und/oder Programmen, wie z.B. das Flicker- und Bandenerkennungsprogramm 56 und eine Vielzahl von vordefinierten Profilen 58, den Prozessor 102 zur Ausführung des Programms 56 und die Ein-/Ausgabeschnittstelle (E/A) 52 umfasst. Das computerlesbare Speichergerät bzw. die computerlesbaren Speichermedien, Speicher 54, kann z.B. eine flüchtige und nichtflüchtige Speicherung in einem Nur-Lese-Speicher (ROM), einem Direktzugriffsspeicher (RAM) und einem Keep-Alive-Speicher (KAM) umfassen. KAM ist ein persistenter oder nichtflüchtiger Speicher, der zur Speicherung verschiedener Betriebsvariablen verwendet werden kann, während der Prozessor 102 abgeschaltet ist. Der Speicher 54 kann unter Verwendung einer beliebigen aus einer Reihe bekannter Speichervorrichtungen wie PROMs (programmierbarer Festwertspeicher), EPROMs (elektrisch PROM), EEPROMs (elektrisch löschbares PROM), Flash-Speicher oder jeder anderen elektrischen, magnetischen, optischen oder kombinierten Speichervorrichtung implementiert werden, die in der Lage sind, Daten zu speichern, von denen einige ausführbare Befehle darstellen, die vom Prozessor 102 bei der Steuerung des Fahrzeugs 100 verwendet werden. In verschiedenen Ausführungsformen ist der Prozessor 102 so konfiguriert, dass er das System 103 implementiert.
Der Prozessor 102 kann Speicher 54 verwenden, um Algorithmen und vordefinierte Variablen zu speichern und zu pflegen, die bei der Ausführung der hier beschriebenen Aufgaben verwendet werden, wie z.B.: Schwellenwerte für das Signal-Rausch-Verhältnis (SNR), Definitionen für die Helligkeit (z.B. mehr als 70% heller als umgebende Pixel), Definition von Flackern (z.B. eine Oszillationsfrequenz), eine Definition von Streifenbildung, eine Anzahl (N) von Frames zur Verwendung in verschiedenen Berechnungen und ähnliches.
Informationen im Speicher 54 können während eines Initialisierungs- oder Installationsvorgangs in einem Verfahren organisiert und/oder von einer externen Quelle importiert werden; sie können auch über ein Benutzereingabegerät programmiert werden. Die Ein-/Ausgabeschnittstelle (E/A) 52 kann über einen Bus 50 operativ mit dem Prozessor 102 gekoppelt werden und ermöglicht die Kommunikation innerhalb des Systems 103. Die Ein-/Ausgabeschnittstelle (E /A) 52 kann eine oder mehrere verdrahtete und/oder drahtlose Netzwerkschnittstellen enthalten und kann mit jeder geeigneten Methode und Vorrichtung implementiert werden. In verschiedenen Ausführungsformen unterstützt die Ein-/Ausgabeschnittstelle (E/A) 52 die Kommunikation mit Technikern und/oder eine oder mehrere Speicherschnittstellen für den direkten Anschluss an Speichergeräte.
Während des Betriebs des Systems 103 lädt und führt der Prozessor 102 einen oder mehrere Algorithmen, Anweisungen und Regeln aus, die als Programm 56 verkörpert sind, und steuert als solches den allgemeinen Betrieb des Systems 103.
Der Prozessor 102 ist so programmiert, dass er die Sensordaten vom Sensorsystem 104 und die Kameradaten vom Kamerasystem 106 empfängt. In verschiedenen Ausführungsformen kann der Prozessor 102 während des Betriebs auch Aktualisierungen für das GPS 112 und Objektinformationen über den Transceiver 110 empfangen. Abhängig von der Ausführungsform des Systems 103 kann er Operationen gemäß einem Algorithmus zur Flacker- und Streifenbildungs-Erkennung, Operationen gemäß der Zustandsmaschinenlogik, Operationen gemäß der Logik in einem programmierbaren Logik-Array oder ähnliches ausführen.
Während die beispielhafte Ausführungsform des Systems 103 in 1 im Kontext eines voll funktionsfähigen erweiterten Computersystems beschrieben wird, wird er Fachmann erkennen, dass die Mechanismen der vorliegenden Offenlegung als ein Programmprodukt vertrieben werden können, das das Programm 56 und die vordefinierten Profile 58 umfasst. Ein solches Programmprodukt kann eine Anordnung von Befehlen umfassen, die als mehrere voneinander abhängige Programmcodemodule organisiert sind, von denen jedes einen separaten Prozess erreicht, der so angeordnet ist, dass er den Datenfluss durch das System 103 verwaltet (siehe 2). Die Programmcodemodule können jeweils eine geordnete Auflistung von ausführbaren Anweisungen zur Implementierung logischer Funktionen für die vom System 103 ausgeführten Prozesse umfassen. Wenn die Befehle von einem Prozessor ausgeführt werden, bewirken sie, dass der Prozessor Signale empfängt und verarbeitet und Logik, Berechnungen, Verfahren und/oder Algorithmen wie hier beschrieben ausführt, um automatisch und in Echtzeit Tone-Mapping-Einstellungen und Kamerasteuerungen für das Kamera 106 System zu erzeugen.
Nach der Entwicklung können die Programmcodemodule, aus denen das Programmprodukt besteht, einzeln oder zusammen gespeichert und verteilt werden, wobei eine oder mehrere Arten von nicht vorübergehenden computerlesbaren signaltragenden Medien zur Speicherung und Verteilung der Anweisungen verwendet werden können, wie z.B. ein nicht vorübergehendes computerlesbares Medium. Ein solches Programmprodukt kann eine Vielzahl von Formen annehmen, und die vorliegende Offenlegung gilt gleichermaßen unabhängig von der Art des computerlesbaren signaltragenden Mediums, das zur Durchführung der Verteilung verwendet wird. Beispiele für signaltragende Medien sind: beschreibbare Medien wie Disketten, Festplatten, Speicherkarten und optische Platten sowie Übertragungsmedien wie digitale und analoge Kommunikationsverbindungen. Es wird geschätzt, dass Cloud-basierte Speicherung und/oder andere Techniken auch als Speicher und als Programmprodukt zeitbasierte Betrachtung von Freigabeaufforderungen in bestimmten Ausführungsformen verwendet werden können.
Um nun zu 2 zu kommen, wird ein Beispiel-Timing-Diagramm für eine LED-Leuchte gezeigt. Ein LED-Impuls 202 hat eine aktive Zeit 206 (hoch) von 1 Einheit in einer Periode von 204 von 4 Einheiten. In diesem Beispiel soll die LED als „an“ angezeigt werden, so dass die Periode ausreichend kurz ist, um die menschliche Beobachtung einer konstant leuchtenden LED zu erfüllen. Das Tastverhältnis der LED ist ¼ (hoch für 1 Einheit, niedrig für die restlichen 3 Einheiten in der Periode). Der Fachmann wird zu schätzen wissen, dass in der Praxis die Kamerabilddaten als zweidimensionale (z.B. MxL) Anordnung von Pixeln erfasst werden können. In diesen Szenarien kann jedes Pixel wie in Verbindung mit 2 beschrieben ausgewertet werden.
Es wird auch die Belichtung der Kamera 208 gezeigt, mit einer Belichtungszeit von 210 (hoch) von 2 Einheiten in einem Zeitraum von 10 Einheiten. Die Periodizität der Kamera 208 wird auch als Bildfrequenz bezeichnet. Es werden N Bilder gezeigt: Bildfrequenz 1 212, Bild 2 214, Bild 3 216 und Bild N 218. sehen, dass in Bild 1, Abschnitt 220, die Belichtung der Kamera 208 mit der LED-Aktivzeit übereinstimmt, auf dieser Grundlage würde der Prozessor 102 feststellen, dass die LED leuchtet. In Bild 2, Abschnitt 222, stimmt die Belichtung der Kamera 208 nicht mit der LED-Aktivzeit überein; auf dieser Grundlage würde der Prozessor 102 feststellen, dass die LED nicht leuchtet. In Bild 3, Abschnitt 224, stimmt die Belichtung der Kamera 208 mit der LED-Aktivzeit überein; auf dieser Grundlage würde der Prozessor 102 feststellen, dass die LED leuchtet. Dementsprechend erkennt der Prozessor 102 Flackern oder Streifenbildung, obwohl die LED konstant leuchtet, basierend auf den Kameradaten von der Belichtung der Kamera 208, obwohl der Prozessor 102 ein Flackern oder Streifenbildung feststellt.
Um nun zu 3 zu kommen, kann das oben beschriebene System 103 durch eine prozessorausführbare Methode zur Seherkennung implementiert werden, die allgemein als Verfahren 300 gezeigt wird. Zur Veranschaulichung kann sich die folgende Beschreibung des Verfahrens 300 auf die oben im Zusammenhang mit 1-2 erwähnten Elemente beziehen. In der Praxis können Teile des Verfahrens 300 durch verschiedene Komponenten des beschriebenen Systems 103 ausgeführt werden. Es ist zu berücksichtigen, dass Verfahren 300 eine beliebige Anzahl zusätzlicher oder alternativer Operationen und Aufgaben enthalten kann, die in 3 dargestellten Aufgaben müssen nicht in der illustrierten Reihenfolge ausgeführt werden, und Verfahren 300 kann in ein umfassenderes Verfahren oder ein Verfahren mit zusätzlicher, hier nicht näher beschriebener Funktionalität integriert werden. Darüber hinaus können eine oder mehrere der in 3 dargestellten Aufgaben in einer Ausführungsform des Verfahrens 300 solange die beabsichtigte Gesamtfunktionalität intakt bleibt.
Bei 302 wird das System 103 initialisiert. Wenn es als ein erweitertes Computersystem (z.B. 1) implementiert ist, kann die Initialisierung bei 302 das Hochladen, Installieren oder Aktualisieren der Anweisungen, die das Programm 56 und die Mehrzahl der vordefinierten Profile (PDPs) 58 zur Ausführung durch den Prozessor 102 bilden, umfassen. Bei 304 kann der Prozessor 102 ferner das On-Board-Kamera-System 106, das Anzeigesystem 108 und das Bildverarbeitungssystem 116 initialisieren. Die Initialisierung des Bildverarbeitungssystems 116 kann die Synchronisierung mit oder die Aktualisierung eines Objekterkennungsalgorithmus umfassen.
Bei 306 empfängt der Prozessor 102 die Kameradaten zur Verarbeitung auf einer Einzelbildbasis. Beim ersten Durchlauf durch 306 wird ein erstes Frame mit Kameradaten empfangen, d.h. Frame Nummer 1. Die Framenummer wird während des gesamten Verfahrens 300 verfolgt. Bei 308 verarbeitet der Prozessor 102 die Kameradaten mit dem Algorithmus und vordefinierten Variablen, um eine Lichtquellenposition im Bild zu identifizieren. Die Position der Lichtquelle kann mit Hilfe einer Leuchtdichtemessung durch das hellste Pixel identifiziert um mindestens einen vordefinierten Schwellenwert größer ist als die der anderen, z.B. kann ein helleres Pixel mehr als 70% heller (d.h. mehr Leuchtdichte) als die umgebenden Pixel sein.
Bei 310 kann eine Bereich von Interesse (ROI) in Bezug auf die Lichtquelle definiert werden. Der Prozessor 102 ist so programmiert, dass er die ROI identifiziert, indem er den Standort der Lichtquelle mit folgenden Daten verarbeitet: Objekterkennungsdaten und Daten des geografischen Positionssystems (GPS). Der Prozessor 102 ist so programmiert, dass er die ROI identifiziert, indem er den Rahmen unter Verwendung von GPS-Daten und/oder Objekterkennung verarbeitet, um die ROI zu definieren. In einem nicht einschränkenden Beispiel verarbeitet der Prozessor 102 den Rahmen mit Objekterkennungsdaten, um die ROI als ein Rechteck und weiter als eine Ampel zu identifizieren. Bei 312 wird das Leuchtdichtemaß der Lichtquelle als Signalreferenz zugeordnet, mit der die nachfolgenden Frame-Leuchtdichtewerte verglichen werden. Bei 314 wird das Frame der Kameradaten inkrementiert. Bei 316 wird das Signal-Rausch-Verhältnis (SNR) für das aktuelle Frame (d.h. das inkrementierte Frame) der Kameradaten vom Prozessor 102 berechnet, indem eine Leuchtdichte an der Lichtquelle im aktuellen Bild (d.h. das inkrementierte Frame-Leuchtdichtemaß) bestimmt und die Signalreferenz davon subtrahiert wird. Bei 318 werden das SNR und das Frame der Kameradaten gespeichert.
Bei 320 wird die Framenummer mit einer vordefinierten Anzahl N von Frames verglichen, und das Verfahren 300 geht zurück zu 314, bis die Framenummer gleich N ist.
Bei der Operation 322 geht das Verfahren nach der Erfassung von N Frames zur Verarbeitung der N Frames über, um die Streifenbildung und das Flackern zu identifizieren. Bei 322 vergleicht die Methode für jedes der N Frames das SNR mit dem SNR des vorherigen Frames, wobei ein vordefinierter SNR-Schwellenwert verwendet wird, um festzustellen, ob das SNR über die N Frames hinausgeht. Der vordefinierte SNR-Schwellenwert kann eine Größenordnung haben und bei Vergleichen sowohl in positiver als auch in negativer Richtung verwendet werden. Wenn beispielsweise eine Differenz zwischen zwei SNRs einen positiven Wert größer als der positive SNR-Schwellenwert hat, wird bestimmt, dass das SNR ansteigend ist, und wenn die Differenz zwischen den beiden SNRs negativ und größer als der negative SNR-Schwellenwert ist, wird bestimmt, dass das SNR abnimmt. Wenn die Differenz zwischen zwei SNRs innerhalb plus oder minus des vorgegebenen SNR-Schwellenwerts liegt, wird das SNR als stabil bestimmt. Das SNR kann als steigend, fallend oder stabil bei 322 bestimmt werden. Wenn das SNR ansteigt oder abnimmt, wird das SNR vom Algorithmus in Programm 56 als signifikant angesehen; wenn es zwischen zwei aufeinanderfolgenden Frames signifikant ist. Der Übergang von einem Frame zum nächstfolgenden oder vorhergehenden Frame wird als ein SNR-Schritt bezeichnet. Bei 324 werden die Daten für die N Frames verarbeitet, um die Streifenbildung zu identifizieren, wenn sie vorhanden ist. In einer Ausführungsform kann eine Streifenbildung identifiziert werden, wenn in den N Frames ein signifikanter SNR-Schritt und nicht mehr vorhanden ist. Bei 326 werden die Daten für die N Frames verarbeitet, um Flackern zu identifizieren, wenn es vorhanden ist, Flackern kann identifiziert werden, wenn es mehr als einen signifikanten SNR-Schritt in den N Frames gibt. In einer Ausführungsform wird Flackern erkannt, wenn es eine Oszillation des SNR über die N Frames gibt; z.B. 50% des SNR der N Frames liegt über dem SNR-Schwellenwert, und 50% der N Frames liegt an oder unter dem SNR-Schwellenwert.
In verschiedenen Ausführungsformen wird, sobald Flackern erkannt wird, eine Reaktion bei 328bestimmt. In verschiedenen Ausführungsformen wird eine Reaktion bei 328 bestimmt, sobald eine Streifenbildung identifiziert ist. In verschiedenen Ausführungsformen wird nach der Identifizierung von Flackern und Streifenbildung eine Antwort bei 328 bestimmt. Wie bereits erwähnt, kann die Antwort bei 328 im Hinblick auf das menschliche Seh- und Anzeigesystem 108 eine Kompensationstechnik sein, wie z.B. ein Federn, um fehlende Pixel auf einem angezeigten Bild zu ergänzen. In Ausführungsformen, die das Bildverarbeitungssystem 116 verwenden, kann die Antwort bei 328 die Erzeugung eines Alarmsignals sein, das vom Bildverarbeitungssystem 116 empfangen und verarbeitet wird. Nach der Operation 328 kann der Prozess zur Operation 306 zurückkehren oder enden.
So bieten das bereitgestellte System 103 und das Verfahren 300 eine Echtzeit-LED-Flacker- und Streifenbildungserkennung für Fahrzeuge. Die bereitgestellte Strategie und Ausführungsformen sind unabhängig von der Kamera, da der Algorithmus im Programm 56 nur die Bilddaten überwacht, die in einer Vielzahl von Frames empfangen werden, die auch als Video bezeichnet werden. Daher kann jedes beliebige Bild für das Anzeigesystem erzeugt werden (was die Kosten senkt) und jede Einstellung an einem Bildwandler in einer Kamera kann verwendet werden.
Obwohl in der vorstehenden detaillierten Beschreibung mindestens eine beispielhafte Ausführungsform vorgestellt wurde, sollte man sich darüber im Klaren sein, dass es eine Vielzahl von Varianten gibt. Es sollte auch gewürdigt werden, dass die beispielhafte Ausführungsform oder die beispielhaften Ausführungsformen nur Beispiele sind und nicht dazu gedacht sind, den Umfang, die Anwendbarkeit oder die Konfiguration der Offenbarung in irgendeiner Weise einzuschränken. Vielmehr wird die vorstehende detaillierte Beschreibung den Fachleuten einen praktischen Fahrplan für die Umsetzung der beispielhaften Ausführungsform oder der beispielhaften Ausführungsformen an die Hand geben. Es können verschiedene Änderungen in der Funktion und Anordnung der Elemente vorgenommen werden, ohne dass vom Umfang der Offenbarung, wie er in den beigefügten Ansprüchen und ihren rechtlichen Entsprechungen festgelegt ist, abgewichen wird.

Claims

Ein Bildsensorsystem für eine mobile Plattform, aufweisend: eine Bordkamera, die Kameradaten erzeugt; und einem Prozessor, der so programmiert ist, dass er die Kameradaten empfängt, und eine Lichtquellenposition in einem Frame von Kameradaten identifiziert; einen mit der Lichtquelle verbundenen Bereich von Interesse (ROI) identifiziert; den Frame von Kameradaten inkrementiert; ein Signal-Rausch-Verhältnis (SNR) an der Lichtquelle berechnet; eine Framenummer mit dem SNR speichert; Streifenbildung identifiziert, wenn sie vorhanden ist; Flackern identifiziert, wenn es vorhanden ist, und auf identifiziertes Flackern reagiert und eine Reaktion erzeugt.
System nach Anspruch 1, bei dem der Prozessor ferner so programmiert ist, dass er den Ort der Lichtquelle durch Identifizierung des hellsten Pixels identifiziert.
System nach Anspruch 2, wobei der Prozessor so programmiert ist, dass er als Reaktion auf die Identifizierung der Streifenbildung eine Antwort erzeugt.
System nach Anspruch 3, bei dem der Prozessor ferner so programmiert ist, dass er eine Antwort erzeugt, indem er eine Kompensationstechnik auf einem Anzeigesystem anwendet, und bei dem die Kompensationstechnik ein Verwischen umfasst, um fehlende Pixel aufzufüllen.
System nach Anspruch 4, bei dem der Prozessor ferner so programmiert ist, dass er die Antwort durch Generierung einer Warnung für ein Bildverarbeitungssystem erzeugt.
System nach Anspruch 5, bei dem der Prozessor weiter programmiert ist, um den Bereich von Interesse zu identifizieren, indem die Position der Lichtquelle mit jedem der folgenden Daten verarbeitet wird: Objekterkennungsdaten und Daten des geographischen Positionssystems (GPS).
Ein prozessorimplementiertes Verfahren zur Bilderfassung in mobilen Plattformen, umfassend: Identifizierung der Position einer Lichtquelle in einem Frame von Kameradaten; Identifizierung eines Bereichs von Interesse (ROI), die mit der Lichtquelle verbunden ist; Inkrementierung des Frames der Kameradaten; Berechnung eines Signal-Rausch-Verhältnisses (SNR) an der Lichtquelle; Speicherung einer Framenummer mit dem Frame der Kameradaten und dem SNR; Identifizierung der Streifenbildung, wenn sie vorhanden ist; Flackern erkennen, wenn es vorhanden ist; und auf jeden der folgenden Punkte reagieren : Identifizierung von Streifenbildung und Flackern, Erzeugung einer Reaktion.
Verfahren nach Anspruch 7, weiterhin umfassend die Identifizierung der Lichtquellenposition durch Identifizierung eines hellsten Pixels.
Verfahren nach Anspruch 8, ferner umfassend die Erzeugung einer Antwort durch: die Anwendung einer Kompensationstechnik auf einem Anzeigesystem und durch die Erzeugung eines Alarms für ein maschinelles Bildverarbeitungssystem.
Verfahren nach Anspruch 9, wobei das Identifizieren von Flackern die Bestimmung für N Frames umfasst, dass 50% der N Frames das SNR über einem SNR-Schwellenwert liegen.