DE102021110117A1

DE102021110117A1 - Systeme und verfahren zur proaktiven flimmerminderung

Info

Publication number: DE102021110117A1
Application number: DE102021110117.4A
Authority: DE
Inventors: Sai Vishnu Aluru
Original assignee: GM Global Technology Operations LLC
Current assignee: GM Global Technology Operations LLC
Priority date: 2020-09-25
Filing date: 2021-04-21
Publication date: 2022-03-31
Also published as: CN114257749A; US11064131B1

Abstract

Bilderfassungssystem und -verfahren, die Flimmern und damit verbundene Artefakte vermindern. Das System umfasst ein Kameramodul, das den Betrieb einer Kamera an Bord einer mobilen Plattform steuert und daraus Kameradaten erzeugt, wobei die Kameradaten eine sequenzielle Vielzahl von Bildern umfassen. Ein Belichtungssteuerungsmodul ist konfiguriert, um: mit dem Kameramodul zu kommunizieren, um die Kameradaten zu empfangen; die Kameradaten zu analysieren, um eine Verdunklung zu identifizieren, maschinelles Lernen zu verwenden, um eine Häufigkeit von Verdunklungen in den Kameradaten zu quantifizieren; einen Bildsensor-Befehl zu erzeugen, um zukünftige Verdunklungen als eine Funktion der Häufigkeit von Verdunklungen zu antizipieren; und den Bildsensor-Befehl an das Kameramodul zu liefern. Ein verbessertes Belichtungssteuerungsmodul nutzt den Bildsensor-Befehl, um Flimmern und damit verbundene Artefakte zu mindern und dadurch bildstabilisierte, verbesserte Bilder zu liefern.

Description

TECHNISCHES GEBIET
Die vorliegende Offenbarung bezieht sich im Allgemeinen auf Bilderfassungssysteme für mobile Plattformen und im Besonderen auf Bilderfassungssysteme und -verfahren, die proaktiv Flimmern in Anwendungen abschwächen, in denen das Flimmern periodisch ist.
Bilderfassungssysteme für Fahrzeuge verwenden im Allgemeinen Kameras, die so konfiguriert sind, dass sie das von Objekten außerhalb des Fahrzeugs emittierte Licht erkennen/erfassen und daraus Kameradaten erzeugen. In verschiedenen Szenarien kann ein Flimmern in die Kameradaten eingeführt werden. In einigen Flimmer-Szenarien ist das Flimmern periodisch, z. B. wenn die Scheibenwischer in einem Fahrzeug betätigt werden. In diesem Szenario erfasst die Kamera zunächst das Umgebungslicht und die Kameraschaltung steuert die Kamera zunächst mit einem für das Umgebungslicht geeigneten Belichtungswert. Wenn das Wischerblatt die Blende der Kamera verdeckt, verursacht es eine abrupte Verdunklung. Als Reaktion auf die Verdunklung kann die Kameraschaltung den Belichtungswert maximieren. Bei der Betrachtung der Kameradaten kann diese Verdunklung als technisches Problem eines periodischen Flimmerns wahrgenommen werden.
Wenn die Verdeckung/Verdunklung endet, kehrt das Umgebungslicht durch die Blende der Kamera zurück, und die Kameraschaltung benötigt eine endliche und messbare Zeit, um auf die erkannte Rückkehr des Umgebungslichts zu reagieren. Während dieser Reaktionszeit setzt die Kameraschaltung den Belichtungswert vom maximalen Belichtungswert auf den entsprechenden Umgebungslicht-Belichtungswert zurück. Bei der Betrachtung der Kameradaten kann diese Reaktionszeit als ein technisches Problem von Artefakten empfunden werden.
Flimmern und Artefakte können weitere technische Probleme wie Blendung und erhöhte Latenz der Objekterkennung durch Anwendungen, die sich auf die Kameradaten zur Objekterkennung verlassen, mit sich bringen. Daher sind technologisch verbesserte Bilderfassungssysteme und - verfahren, die periodisches Flimmern und Artefakte abschwächen, wünschenswert.
Die folgende Offenbarung bietet eine technologische Lösung für die oben genannten technischen Probleme, zusätzlich zur Behandlung verwandter Fragen. Darüber hinaus werden weitere wünschenswerte Merkmale und Eigenschaften des Systems und des Verfahrens aus der nachfolgenden detaillierten Beschreibung und den beigefügten Ansprüchen ersichtlich, die in Verbindung mit den beigefügten Zeichnungen und dem vorangehenden Hintergrund betrachtet werden.
BESCHREIBUNG
Eine Ausführungsform eines Bilderfassungssystems auf einer mobilen Plattform wird bereitgestellt. Das Bilderfassungssystem umfasst: ein Kameramodul, das so konfiguriert ist, dass es den Betrieb einer Kamera an Bord der mobilen Plattform steuert und daraus Kameradaten erzeugt, wobei die Kameradaten eine aufeinanderfolgende Vielzahl von Bildern umfassen; ein Belichtungssperrmodul, das so konfiguriert ist, dass es: mit dem Kameramodul kommuniziert, um die Kameradaten zu empfangen; die Kameradaten analysiert, um eine Verdunklung zu identifizieren, maschinelles Lernen verwendet, um eine Häufigkeit von Verdunklungen in den Kameradaten zu quantifizieren; einen Bilderfassungssensor-Befehl erzeugt, um zukünftige Verdunklungen als eine Funktion der Häufigkeit von Verdunklungen zu antizipieren; und den Bilderfassungssensor-Befehl an das Kameramodul liefert.
In einer Ausführungsform umfassen die Kameradaten ferner für jedes Bild einen jeweiligen Belichtungswert, der eine Funktion des von der Kamera erfassten Lichts ist, und wobei das Belichtungssperrmodul ferner konfiguriert ist, um: die Verdunklung als ein Bild in den Kameradaten zu identifizieren, in dem der jeweilige Belichtungswert ein Maximalwert ist; und eine vorprogrammierte Anzahl von Bildern der Kameradaten zwischenzuspeichern, um das maschinelle Lernen zu nutzen, um die Häufigkeit von Verdunklungen in den Kameradaten zu quantifizieren.
In einer Ausführungsform ist das Kameramodul ferner so konfiguriert, dass es: (a) als Reaktion auf den Bildsensorbefehl eine Verdunklung vorhersagt; und (b) für die vorhergesagte Verdunklung seinen jeweiligen Belichtungswert auf einem Belichtungswert eines unmittelbar vorangehenden Bildes hält.
In einer Ausführungsform ist das Kameramodul ferner so konfiguriert, dass es: erweiterte Bilddaten durch Wiederholung von (a) und (b) erzeugt; und die erweiterten Bilddaten an ein mobiles Plattformmodul liefert, das sich außerhalb des Bilderfassungssystems befindet.
In einer Ausführungsform ist das mobile Plattformmodul, das sich außerhalb des Bilderfassungssystems befindet, eines der Module für die Objekterkennung an Bord oder ein Infotainment-Modul.
In einer Ausführungsform umfassen die Kameradaten ferner für jedes Bild einen jeweiligen Belichtungswert, der eine Funktion des von der Kamera erfassten Lichts ist, und wobei das Belichtungssperrmodul ferner konfiguriert ist, um: die Verdunklung als ein Bild zu identifizieren, in dem eine Belichtung ein Maximalwert ist; und ein Maschinenlernmodul zu verwenden, um: eine vorgegebene Anzahl von Bildern der Kameradaten zwischenzuspeichern; eine aktuelle Häufigkeit von Verdunklungen in den zwischengespeicherten Kameradaten zu ermitteln; die aktuelle Häufigkeit von Verdunklungen mit einer zuvor ermittelten Häufigkeit von Verdunklungen zu vergleichen, um einen Fehler zwischen ihnen zu erhalten; und das Zwischenspeichern, Bestimmen und Vergleichen zu wiederholen, bis der Fehler kleiner als eine vorprogrammierte Fehlerschwelle ist; und die Häufigkeit von Verdunklungen nur dann zu liefern, wenn der Fehler kleiner als die vorprogrammierte Fehlerschwelle ist.
In einer Ausführungsform ist das Belichtungssperrmodul ferner so konfiguriert, dass es: ein Wischersteuersignal von einer Wischersteuerung an Bord der mobilen Plattform empfängt; und den Bildsensorbefehl ferner in Abhängigkeit von dem Wischersteuersignal erzeugt.
Es wird auch ein Verfahren für die Bilderfassung auf einer mobilen Plattform bereitgestellt, umfassend: an einer Kameraschaltung an Bord der mobilen Plattform Steuern des Betriebs einer Kamera an Bord der mobilen Plattform und Erzeugen von Kameradaten daraus, wobei die Kameradaten eine sequentielle Vielzahl von Bildern umfassen; an einer Belichtungssperrschaltung, Kommunizieren mit der Kameraschaltung, um die Kameradaten zu empfangen; Analysieren der Kameradaten, um eine Verdunkelung zu identifizieren; Anwenden von maschinellem Lernen, um eine Häufigkeit von Verdunkelungen in den Kameradaten zu quantifizieren; Erzeugen eines Bildsensorbefehls zum Vorhersehen zukünftiger Verdunkelungen als eine Funktion der Häufigkeit von Verdunkelungen; und Liefern des Bildsensorbefehls an das Kameramodul.
In einer Ausführungsform umfassen die Kameradaten ferner für jedes Bild einen jeweiligen Belichtungswert, der eine Funktion des von der Kamera erfassten Lichts ist, und umfassen ferner in der Belichtungssperrschaltung: Identifizieren der Verdunklung als ein Bild in den Kameradaten, in dem der jeweilige Belichtungswert ein Maximalwert ist; und Zwischenspeichern einer vorprogrammierten Anzahl von Bildern der Kameradaten, um das maschinelle Lernen zu verwenden, um die Häufigkeit von Verdunklungen in den Kameradaten zu quantifizieren.
In einer Ausführungsform beinhaltet die Kameraschaltung: (a) Vorhersage einer Verdunklung als Reaktion auf den Befehl des Bildsensors; und (b) Halten des jeweiligen Belichtungswertes für die vorhergesagte Verdunklung auf einem Belichtungswert eines unmittelbar vorhergehenden Bildes.
In einer Ausführungsform, die Folgendes an der Kameraschaltung umfasst: Erzeugen von erweiterten Bilddaten durch Wiederholung von (a) und (b); und Liefern der erweiterten Bilddaten an ein mobiles Plattformmodul, das sich außerhalb des Bilderfassungssystems befindet.
In einer Ausführungsform ist das mobile Plattformmodul, das sich außerhalb des Bilderfassungssystems befindet, eines der Module für die Objekterkennung an Bord oder ein Infotainment-Modul.
In einer Ausführungsform umfassen die Kameradaten ferner für jedes Bild einen jeweiligen Belichtungswert, der eine Funktion des von der Kamera erfassten Lichts ist, und umfassen ferner in der Belichtungssperrschaltung: Identifizieren der Verdunklung als ein Bild, in dem eine Belichtung ein Maximalwert ist; und Verwenden eines Maschinenlernmoduls, um: Zwischenspeichern einer vorbestimmten Anzahl von Bildern von Kameradaten; Bestimmen einer aktuellen Häufigkeit von Verdunklungen in den zwischengespeicherten Kameradaten; Vergleichen der aktuellen Häufigkeit von Verdunklungen mit einer zuvor bestimmten Häufigkeit von Verdunklungen, um einen Fehler zwischen ihnen zu erhalten; und Wiederholen des Zwischenspeicherns, Bestimmens und Vergleichens, bis der Fehler kleiner als eine vorprogrammierte Fehlerschwelle ist; und Liefern der Häufigkeit von Verdunklungen nur dann, wenn der Fehler kleiner als die vorprogrammierte Fehlerschwelle ist.
In einer Ausführungsform ist das Belichtungssperrmodul ferner so konfiguriert, dass es: ein Wischersteuersignal von einer Wischersteuerung an Bord der mobilen Plattform empfängt; eine Periodizität des Wischersteuersignals bestimmt; die Häufigkeit von Verdunkelungen auf der Grundlage der Periodizität des Wischersteuersignals bestätigt; und den Bildsensorbefehl ferner als eine Funktion des Wischersteuersignals erzeugt.
Ein weiteres Bilderfassungssystem für eine mobile Plattform ist vorgesehen, das Folgendes umfasst: eine Kameraschaltung, die eine Kamera umfasst und so konfiguriert ist, dass sie von Objekten außerhalb des Fahrzeugs emittiertes Licht erfasst und daraus Kameradaten erzeugt, wobei die Kameradaten eine sequenzielle Vielzahl von Bildern umfassen; und einen Prozessor, der betriebsmäßig mit der Kameraschaltung gekoppelt und durch Programmierbefehle so konfiguriert ist, dass er: die Kameradaten empfängt; maschinelles Lernen verwendet, um eine Häufigkeit von Verdunklungen in den Kameradaten zu quantifizieren; einen Bilderfassungssensorbefehl zum Vorhersehen künftiger Verdunklungen als Funktion der Häufigkeit von Verdunklungen erzeugt; und den Bilderfassungssensorbefehl an das Kameramodul liefert.
In einer Ausführungsform ist der Prozessor ferner konfiguriert, um: (a) Vorhersage einer Verdunklung als Reaktion auf den Befehl des Bildsensors; und (b) Durchführung einer Belichtungswertsteuerung, indem die Kameraschaltung veranlasst wird, für eine Dauer der vorhergesagten Verdunklung einen jeweiligen Belichtungswert auf einem Belichtungswert eines unmittelbar vorangehenden Bildes zu halten.
In einer Ausführungsform ist der Prozessor ferner so konfiguriert, dass er: die Kameraschaltung veranlasst, durch Wiederholung von (a) und (b) verbesserte Bilddaten zu erzeugen; und die verbesserten Bilddaten an ein mobiles Plattformmodul liefert, das sich außerhalb des Bilderfassungssystems befindet.
In einer Ausführungsform enthalten die Kameradaten ferner für jedes Bild einen jeweiligen Belichtungswert, der eine Funktion des von der Kamera erfassten Lichts ist, und wobei der Prozessor ferner konfiguriert ist, um: die Verdunklung als ein Bild zu identifizieren, in dem eine Belichtung ein Maximalwert ist; und ein Maschinenlernmodul zu verwenden, um: Zwischenspeichern einer vorbestimmten Anzahl von Bildern von Kameradaten; Bestimmen einer aktuellen Häufigkeit von Verdunklungen in den zwischengespeicherten Kameradaten; Vergleichen der aktuellen Häufigkeit von Verdunklungen mit einer zuvor bestimmten Häufigkeit von Verdunklungen, um einen Fehler zwischen ihnen zu erhalten; und Wiederholen des Zwischenspeicherns, Bestimmens und Vergleichens, bis der Fehler kleiner als eine vorprogrammierte Fehlerschwelle ist; und Liefern der Häufigkeit von Verdunklungen nur, wenn der Fehler kleiner als die vorprogrammierte Fehlerschwelle ist.
In einer Ausführungsform ist der Prozessor ferner so konfiguriert, dass er: ein Wischer-Steuersignal von einem Wischer-Controller an Bord der mobilen Plattform empfängt; eine Periodizität des Wischer-Steuersignals bestimmt; die Häufigkeit von Stromausfällen auf der Grundlage der Periodizität des Wischer-Steuersignals bestätigt; und den Bildsensor-Befehl ferner als eine Funktion des Wischer-Steuersignals erzeugt.
In einer Ausführungsform ist das mobile Plattformmodul, das sich außerhalb des Bilderfassungssystems befindet, eines der Module für die Objekterkennung an Bord oder ein Infotainment-Modul.
Figurenliste
Die beispielhaften Ausführungsformen werden im Folgenden in Verbindung mit den folgenden Zeichnungsfiguren beschrieben, wobei gleiche Ziffern gleiche Elemente bezeichnen, und wobei:

1 ist eine schematische Darstellung eines Bilderfassungssystems, das an Bord eines Fahrzeugs implementiert ist, in Übereinstimmung mit verschiedenen Ausführungsformen;
2. ist ein Blockdiagramm der elektronischen Schaltung des Bilderfassungssystems gemäß verschiedenen Ausführungsformen;
3 ist ein architektonisches Blockdiagramm von einem oder mehreren Anwendungsmodulen, die im Bilderfassungssystem arbeiten können; und
4 ist ein Prozessablaufdiagramm, das ein Beispielverfahren für die Bildsensorik in einer mobilen Plattform gemäß verschiedenen Ausführungsformen darstellt; und
5 enthält mehrere Diagramme zur Darstellung der beschriebenen Konzepte.

DETAILLIERTE BESCHREIBUNG
Die folgende detaillierte Beschreibung hat lediglich beispielhaften Charakter und soll die Anwendung und Verwendungen nicht einschränken. Darüber hinaus besteht keine Absicht, an eine ausdrückliche oder stillschweigende Theorie gebunden zu sein, die in dem vorangegangenen technischen Gebiet, dem Hintergrund, der Zusammenfassung oder der folgenden detaillierten Beschreibung dargestellt ist.
Ausführungsformen der vorliegenden Offenlegung können hier in Form von funktionalen und/oder logischen Blockkomponenten und verschiedenen Verarbeitungsschritten beschrieben werden. Es ist zu beachten, dass solche Blockkomponenten durch eine beliebige Anzahl von Hardware-, Software- und/oder Firmware-Komponenten realisiert werden können, die so konfiguriert sind, dass sie die angegebenen Funktionen ausführen. Zum Beispiel kann eine Ausführungsform der vorliegenden Offenbarung verschiedene integrierte Schaltungskomponenten verwenden, z. B. Speicherelemente, digitale Signalverarbeitungselemente, Logikelemente, Nachschlagetabellen oder Ähnliches, die eine Vielzahl von Funktionen unter der Steuerung eines oder mehrerer Mikroprozessoren oder anderer Steuergeräte ausführen können.
Wie hierin verwendet, kann sich der Begriff „Modul“ auf jede Hardware, Software, Firmware, elektronische Steuerkomponente, Verarbeitungslogik und/oder Prozessoreinheit beziehen, einzeln oder in beliebiger Kombination, einschließlich und ohne Einschränkung: anwendungsspezifischer integrierter Schaltkreis (ASIC), ein feldprogrammierbares Gate-Array (FPGA), ein elektronischer Schaltkreis, ein Prozessor (gemeinsam, dediziert oder Gruppe) und Speicher, der ein oder mehrere Software- oder Firmware-Programme ausführt, ein kombinatorischer Logikschaltkreis und/oder andere geeignete Komponenten, die die dem Modul zugeordnete Funktionalität bereitstellen.
Der Kürze halber werden konventionelle Techniken in Bezug auf Signalverarbeitung, Datenübertragung, Signalisierung, Steuerung, maschinelle Lernmodelle, Radar, Lidar, Bildanalyse und andere funktionale Aspekte der Systeme (und der einzelnen Betriebskomponenten der Systeme) hier nicht im Detail beschrieben. Darüber hinaus sollen die in den verschiedenen hier enthaltenen Figuren dargestellten Verbindungslinien beispielhafte funktionale Beziehungen und/oder physikalische Kopplungen zwischen den verschiedenen Elementen darstellen. Es ist zu beachten, dass viele alternative oder zusätzliche funktionale Beziehungen oder physikalische Verbindungen in einer Ausführungsform der vorliegenden Offenlegung vorhanden sein können.
Wie bereits erwähnt, kommt es in einigen Flicker-Szenarien, z. B. beim Betrieb der Scheibenwischer in einem Fahrzeug, zu periodischem Flimmern und damit verbundenen Artefakten. In diesem Szenario erfasst die Kamera zunächst das Umgebungslicht und die Kameraschaltung steuert die Kamera zunächst mit einem für das Umgebungslicht geeigneten Belichtungswert. Wenn das Wischerblatt die Blende der Kamera verdeckt, kommt es zu einer abrupten Verdunkelung des Umgebungslichts, und die Kameraschaltung reagiert möglicherweise mit einer Maximierung des Belichtungswerts. Wenn die Abdeckung/Abdunklung endet, kehrt das Umgebungslicht durch die Öffnung der Kamera zurück, und die Kameraschaltung benötigt eine endliche und messbare Zeit, um auf die erkannte Rückkehr des Umgebungslichts zu reagieren; während dieser Reaktionszeit regelt die Kameraschaltung den Belichtungswert vom maximalen Belichtungswert auf den geeigneten Belichtungswert für das Umgebungslicht zurück. Flimmern und Artefakte können weitere technische Probleme wie Blendung und erhöhte Latenz der Objekterkennung durch Anwendungen verursachen, die sich auf die Kameradaten zur Objekterkennung verlassen.
Exemplarische Ausführungsformen des Bilderfassungssystems bieten eine technologische Lösung für diese Probleme, indem sie die Häufigkeit der Stromausfälle (und damit die Periodizität) quantifizieren, die in einem Bildverarbeitungssensor-Befehl verkörpert sind, und diesen Bildverarbeitungssensor-Befehl verwenden, um Stromausfälle sowohl in der Häufigkeit als auch in der Dauer vorherzusagen. Durch die Vorhersage von Verdunklungen können beispielhafte Ausführungsformen proaktiv die Belichtungswerte für eine kalibrierbare Zeitdauer der Verdunklung konstant halten oder sperren (z. B. den Belichtungswert während der Verdunklung auf dem Belichtungswert eines unmittelbar vorhergehenden Frames halten, der ein angemessener Belichtungswert für das Umgebungslicht ist). Durch die Vorhersage jeder Verdunklung einer Vielzahl von periodischen Verdunklungen können Ausführungsformen dieses Halten des Belichtungswertes des vorherigen Frames durchführen, um dadurch Flimmern und damit verbundene Artefakte zu vermindern. Zusätzlich können beispielhafte Ausführungsformen als Ausgabe verbesserte Bilder liefern, bei denen die Belichtungssteuerungsschaltung den Bildsensorbefehl wie beschrieben verwendet hat. Die verbesserten Bilder weisen ein verringertes Flimmern und Artefakte auf, als Funktion des Bildsensor-Befehls. Anwendungen und Module, die auf Kameradaten angewiesen sind, können die verbesserten Bilder empfangen und bei Verwendung der verbesserten Bilder eine geringere Latenzzeit bei der Objekterkennung aufweisen. Das technologisch verbesserte Bilderfassungssystem und -Verfahren wird im Zusammenhang mit den folgenden Abbildungen näher beschrieben.
In 1 ist eine beispielhafte mobile Plattform dargestellt. Die beispielhafte mobile Plattform ist ein Fahrzeug 100, das in der Lage ist, Fahrgäste von einem Ort zu einem anderen zu bewegen und zu befördern. Das Fahrzeug 100 ist in der dargestellten Ausführungsform als PKW dargestellt, aber auch andere Fahrzeugtypen, einschließlich Motorräder, Taxis, Fahrzeugflotten, Busse, Limousinen, Wagen, LKWs, Sport Utility Vehicles, andere Automobile, Freizeitfahrzeuge (RVs), Lokomotiven und andere Fahrzeuge können verwendet werden. Wie allgemein bekannt ist, kann das Fahrzeug 100 eine Karosserie, ein Fahrgestell und Räder 20 umfassen, die jeweils in der Nähe einer entsprechenden Ecke der Karosserie drehbar mit dem Fahrgestell verbunden sind. Das Fahrzeug 100 ist mit vier Rädern 20 dargestellt, aber die Anzahl der Räder 20 kann in anderen Ausführungsformen variieren. Das Fahrzeug 100 kann autonom oder teilautonom sein. Das Fahrzeug 100 umfasst einen kollektiven Funktionsblock, die Antriebssysteme 110, die im Allgemeinen bekannte Fahrzeugsysteme für den Fahrzeugbetrieb umfassen, wie z. B. ein Antriebssystem, ein Getriebesystem, ein Lenksystem, Aktuatoren für die Räder und ein Bremssystem, und erzeugt eine Vielzahl von Signalen, einschließlich Fahrzeuggeschwindigkeit und Fahrzeugbeschleunigung.
Das Fahrzeug 100 umfasst ein Bilderfassungssystem, allgemein als System 102 dargestellt, das kommunikativ mit den Antriebssystemen 110 gekoppelt ist. Das Beispielfahrzeug 100 umfasst ferner eine Reihe zusätzlicher Komponenten, die ebenfalls kommunikativ mit dem System 102 gekoppelt sind. Nicht einschränkende Beispiele für diese Komponenten sind eine Kamera 118, eine zentrale Plattformsteuerung 114, eine Wischersteuerung 108, ein oder mehrere Onboard-Objekterkennungsmodule 116 und Infotainmentsysteme 112. Die Funktionen und Operationen jeder dieser Komponenten werden im Folgenden genauer beschrieben.
Die Kamera 118 kann über die Kameraschaltung 106 an der mobilen Plattform montiert werden. Die zugehörige Kamera 118 kann sich auf eine oder mehrere optische Kameras (z. B. nach vorne gerichtete, 360-Grad-, nach hinten gerichtete, seitlich gerichtete, Stereokameras usw.), Wärmekameras (z. B. Infrarotkameras) und dergleichen beziehen. Die Kameraschaltung 106 kann ein Frontkollisionsmodul (FCM), eine Augmented-Reality-Kamera (ARC) oder ähnliches enthalten oder Teil davon sein. In verschiedenen Ausführungsformen kann die Kamera 118 Informationen in 360 Grad erfassen und verarbeiten. Im Betrieb erfasst die Kamera 118 Lichtpegel, Luminanz, Kanten, Kontrast, Lichtsättigung usw., und die Kameraschaltung 106 betreibt die Kamera 118 und erzeugt darauf basierend Kameradaten. Nicht einschränkende Beispiele für Merkmale, die in den Kameradaten verkörpert sein können, sind z. B. Panoramablick, Lichtmenge, Kanten, Belichtungswerte, Kontrast, Sättigung usw.
In einigen Ausführungsformen kann die Kameraschaltung 106 eine eigene Steuerschaltung haben, wie z. B. einen Prozessor. In anderen Ausführungsformen steuert der Prozessor 50 (2) die Kameraschaltung 106. In einigen Ausführungsformen veranlasst der Prozessor 50 die einzelnen Kameras 118 in der Kameraschaltung 106, sich zu schwenken, um entsprechende Bilder zu erhalten. Jede Kamera 118 der einen oder mehreren Kameras 118 hat eine entsprechende Bildrate und liefert ihre entsprechenden Kameradaten an den Prozessor 50. Im Betrieb kann eine dedizierte Belichtungssteuerungsschaltung 120 (2) den Bildsensor-Befehl 103 (weiter unten ausführlicher beschrieben) empfangen und die Belichtungswerte in bestimmten Bildern der Kameradaten basierend darauf proaktiv steuern, was zu den verbesserten Bildern 109 führt.
Während eines Initialisierungsschritts kann der Prozessor 50 Parameter bewerten und/oder mit vorprogrammierten Einstellungen programmieren, wie z. B.: eine Anzahl verfügbarer Kameras 118, ihre Bildraten, den Teil der Außenwelt, den die Kameradaten darstellen, und Ähnliches. Im Betrieb einer mobilen Plattform 100 oder einer anderen geeigneten Umgebung können die verbesserten Bilder 109, bei denen es sich um Farbbilder handeln kann, als Einzelsignale oder auf einem Datenbus 121 an die bordeigenen Schaltkreise und Systeme geliefert werden, wie z. B. die zentrale Plattformsteuerung 114, Infotainmentsysteme 112, bordeigene Objekterkennungsmodule 116 und Antriebssysteme 110.
Der zentrale Plattformcontroller 114 kann Kommunikation von einer Vielzahl von Modulen und Systemen empfangen und integrieren, die bekanntermaßen im oben beschriebenen Fahrzeug 100 vorhanden sind. Dementsprechend können Eingaben, die vom zentralen Plattformsteuergerät 114 an das System 102 geliefert werden, Benutzereingaben, mobile Anwendungen und Systeme, Off-Board-Kommunikation (z. B. über einen Transceiver), ein geografisches Positionierungssystem (GPS) und Infotainment-Systeme 112 umfassen. Der zentrale Plattform-Controller 114 kann auch in bidirektionaler Kommunikation mit fahrzeugseitigen Objekterkennungsmodulen 116 stehen. Der zentrale Plattformcontroller 114 kommuniziert Benutzer- und Betriebseingaben an die Antriebssysteme 110 und andere Bordsysteme wie die Wischersteuerung 108 und das Infotainmentsystem 112.
Die Wischersteuerung 108 steuert die Scheibenwischer des Fahrzeugs 100. Die Ausgabe der Wischersteuerung kann ein Wischersteuersignal (in 5 als Wischerfrequenz dargestellt, die im Allgemeinen periodisch ist) und ein Wischeraktivierungssignal (z. B. „Ein“ oder „Aus“) umfassen. In einigen Ausführungsformen kann das Wischersteuersignal mehr als ein periodisches Signal integrieren, wie in 5, 510 und 512 dargestellt). Das Infotainment System 112 kann Anzeigeeinheiten, Benutzereingabegeräte, Lautsprecher und Ähnliches umfassen.
In einer beispielhaften Ausführungsform ist ein bordseitiges Objekterkennungsmodul 116 ein maschinelles Bilderfassungssystem oder eine andere Anwendung, die mindestens einen Objekterkennungsalgorithmus verkörpert und auf der Grundlage von Kameradaten Feststellungen über die externe Umgebung des Fahrzeugs 100 trifft. Genauer gesagt, trifft das Onboard-Objekterkennungsmodul 116 Betriebsentscheidungen für das Fahrzeug 100, ohne auf menschliche Eingaben angewiesen zu sein. Ein Beispiel für eine Betriebsentscheidung ist die Traktionskontrolle, das Bremsen, das Anhalten des Fahrzeugs, das Wechseln der Fahrspur, das Ändern der Beleuchtungsstärke in den Scheinwerfern und ähnliches.
Unter Bezugnahme auf die 1-2 kann das Bilderfassungssystem 102 in verschiedenen Ausführungsformen in Bezug auf die Schaltung zur Belichtungssperre 104 und die Kameraschaltung 106 zur Steuerung der Kamera 118 beschrieben werden. In verschiedenen Ausführungsformen sind die Belichtungssperrschaltung 104 und die Kameraschaltung 106 integriert. Die Schaltung 104 zur Belichtungssperre erzeugt einen neuartigen Bildsensor-Befehl 103 (weiter unten genauer beschrieben) zur Verwendung durch die Kameraschaltung 106. In verschiedenen Ausführungsformen enthält die Kameraschaltung 106 die erwartete Schaltung zum Betrieb der Kamera 118 und fügt eine technologische Verbesserung hinzu, die als die oben erwähnte Belichtungssteuerungsschaltung 120 angegeben ist, die eine technologisch verbesserte Kameradatenausgabe als Funktion des Bildsensorbefehls 103 liefert. In anderen Ausführungsformen kann die Belichtungssteuerungsschaltung 120 Teil der Belichtungssperrschaltung 104 sein. Wie bereits erwähnt, wird die technologisch verbesserte Kameradatenausgabe hier als verbesserte Bilder 109 bezeichnet, im Unterschied zu den Kameradaten 105.
In einer Ausführungsform enthält das Bilderfassungssystem 102 einen Prozessor 50, der betriebsmäßig mit einem Speicher 54, einer Eingabe/Ausgabe-Schaltung (E/A 52) und einer Kameraschaltung 106 zur Steuerung der Kamera 118 verbunden ist. Das im Speicher 54 gespeicherte Programm 56 bewirkt, wenn es vom Prozessor 50 ausgeführt wird, dass der Prozessor 50 den Bildsensorbefehl 103 für die Kameraschaltung 106 erzeugt. In verschiedenen Ausführungsformen veranlasst das im Speicher 54 gespeicherte Programm 56, wenn es vom Prozessor 50 ausgeführt wird, den Prozessor 50, eine Belichtungswertsteuerung durchzuführen (z. B. über die Kameraschaltung 106 oder die Belichtungssteuerungsschaltung 120), um daraus verbesserte Bilder 109 zu erzeugen. Die Kameraschaltung 106 betreibt die Kamera 118, um aus dem erfassten Licht und den Kanten Kameradaten 105 zu erzeugen. In einigen Ausführungsformen wird die Kameraschaltung 106 unter der Leitung des Prozessors 50 betrieben.
Wie hierin verwendet, erleichtert der Prozessor 50 die Kommunikation und/oder Interaktion zwischen den Komponenten des Systems 102 und führt zusätzliche Prozesse, Aufgaben und/oder Funktionen aus, um die dem System 102 zugeschriebenen Vorgänge zu unterstützen, wie hier beschrieben. Je nach Ausführungsform kann der Prozessor 50 mit einem Allzweckprozessor (gemeinsam, dediziert oder gruppenweise), einem Controller, Mikroprozessor oder Mikrocontroller und einem Speicher, der ein oder mehrere Software- oder Firmware-Programme ausführt, einem inhaltsadressierbaren Speicher, einem digitalen Signalprozessor, einer anwendungsspezifischen integrierten Schaltung (ASIC), einem Field Programmable Gate Array (FPGA), einem beliebigen geeigneten programmierbaren Logikbaustein, einer kombinatorischen Logikschaltung mit diskreten Gattern oder Transistorlogik, diskreten Hardwarekomponenten und Speicherbausteinen und/oder einer beliebigen Kombination davon implementiert oder realisiert werden, um die hier beschriebenen Funktionen auszuführen.
In verschiedenen Ausführungsformen, wie in 2 gezeigt, ist das System 102 als ein erweitertes Computersystem realisiert, das eine computerlesbare Speichereinrichtung oder -medien, einen Speicher 54, zur Speicherung von Anweisungen, Algorithmen und/oder Programmen, wie z. B. das Programm 56 und eine Vielzahl von vorprogrammierten Schwellenwerten und Parametern, den Prozessor 50 zur Ausführung des Programms 56 und eine Eingabe-/Ausgabeschnittstelle (I/O) 52 umfasst. Das computerlesbare Speichergerät oder -medium, der Speicher 54, kann flüchtigen und nichtflüchtigen Speicher umfassen, z. B. Festwertspeicher (ROM), Speicher mit wahlfreiem Zugriff (RAM) und Keep-Alive-Speicher (KAM). KAM ist ein persistenter oder nichtflüchtiger Speicher, der zum Speichern verschiedener Betriebsvariablen verwendet werden kann, während der Prozessor 50 ausgeschaltet ist. Der Speicher 54 kann unter Verwendung einer beliebigen Anzahl bekannter Speichervorrichtungen implementiert werden, wie PROMs (programmierbarer Festwertspeicher), EPROMs (elektrisch löschbares PROM), EEPROMs (elektrisch löschbares PROM), Flash-Speicher oder andere elektrische, magnetische, optische oder kombinierte Speichervorrichtungen, die in der Lage sind, Daten zu speichern, von denen einige ausführbare Anweisungen darstellen, die vom Prozessor 50 bei der Steuerung des Fahrzeugs 100 verwendet werden. In verschiedenen Ausführungsformen ist der Prozessor 50 so konfiguriert, dass er das System 102 implementiert. Der Speicher 54 kann vom Prozessor 50 auch verwendet werden, um mehrere Bilder von Kameradaten gleichzeitig zwischenzuspeichern, um Ergebnisse von Vergleichen und Analysen zu speichern und dergleichen. Die Informationen im Speicher 54 können während eines Initialisierungs- oder Installationsvorgangs in einem Verfahren organisiert und/oder aus einer externen Quelle importiert werden; sie können auch über ein Benutzereingabegerät programmiert werden.
Die Eingabe-/Ausgabeschnittstelle (E/A) 52 kann über einen Bus mit dem Prozessor 50 betriebsmäßig gekoppelt sein und ermöglicht sowohl die systeminterne 102-Kommunikation als auch die systemexterne 102-Kommunikation. Die Eingabe-/Ausgabeschnittstelle (E/A) 52 kann eine oder mehrere verdrahtete und/oder drahtlose Netzwerkschnittstellen umfassen und kann mit jedem geeigneten Verfahren und Gerät implementiert werden. In verschiedenen Ausführungsformen umfasst die Eingabe-/Ausgabeschnittstelle (E/A) 52 die Hardware und Software zur Unterstützung eines oder mehrerer Kommunikationsprotokolle für die drahtlose Kommunikation zwischen dem Prozessor 50 und externen Quellen, wie z. B. Satelliten, der Cloud, Kommunikationstürmen und Bodenstationen. In verschiedenen Ausführungsformen unterstützt die Eingabe-/Ausgabeschnittstelle (E/A) 52 die Kommunikation mit Technikern und/oder eine oder mehrere Speicherschnittstellen zur direkten Verbindung mit Speichergeräten.
Während des Betriebs des Systems 102 lädt der Prozessor 50 einen oder mehrere Algorithmen, Anweisungen und Regeln, die als Programm 56 verkörpert sind, und führt diese aus und steuert so den allgemeinen Betrieb des Systems 102. Der Prozessor 50 ist so konfiguriert, dass er die Kameradaten 105 von der Kameraschaltung 106 empfängt. Je nach Ausführungsform des Systems 102 kann er Operationen gemäß einem Algorithmus, Operationen gemäß einer Zustandsmaschinenlogik, Operationen gemäß der Logik in einem programmierbaren Logik-Array oder Ähnliches ausführen.
Während die beispielhafte Ausführungsform des Systems 102 im Zusammenhang mit einem voll funktionsfähigen erweiterten Computersystem beschrieben wird, wird der Fachmann erkennen, dass die Mechanismen der vorliegenden Offenbarung als ein Programmprodukt einschließlich des Programms 56 und der vordefinierten Parameter verteilt werden können. Zu 3: Ein solches Programmprodukt kann eine Anordnung von Anweisungen umfassen, die als mehrere voneinander abhängige Programmcode-Module 300 organisiert sind, von denen jedes so konfiguriert ist, dass es einen separaten Prozess erreicht und/oder eine separate algorithmische Operation durchführt, die so angeordnet sind, dass sie den Datenfluss durch das System 102 verwalten. Die Programmcodemodule 300 können jeweils eine geordnete Auflistung von ausführbaren Anweisungen zur Implementierung logischer Funktionen für die vom System 102 ausgeführten Prozesse umfassen. Die Anweisungen in den Programmcodemodulen 300 bewirken, wenn sie von einem Prozessor (z. B. dem Prozessor 50) ausgeführt werden, dass der Prozessor Signale empfängt und verarbeitet und Logik, Berechnungen, Verfahren und/oder Algorithmen, wie hierin beschrieben, durchführt, um automatisch und in Echtzeit Bildsensorbefehle für die Kameraschaltung 106 zu erzeugen und verbesserte Bilder 109 zu generieren.
Nach der Entwicklung können die Programmcodemodule 300, die ein Programmprodukt bilden, einzeln oder gemeinsam gespeichert und verteilt werden, wobei eine oder mehrere Arten von nichttransitären, computerlesbaren, signaltragenden Medien verwendet werden können, um die Anweisungen zu speichern und zu verteilen, wie z. B. ein nicht-transitärer, computerlesbarer Datenträger. Ein solches Programmprodukt kann eine Vielzahl von Formen annehmen, und die vorliegende Offenbarung gilt gleichermaßen unabhängig von der Art des computerlesbaren signaltragenden Mediums, das zur Durchführung der Verteilung verwendet wird. Beispiele für signaltragende Medien sind beschreibbare Medien wie Disketten, Festplatten, Speicherkarten und optische Platten sowie Übertragungsmedien wie digitale und analoge Kommunikationsverbindungen. Es wird geschätzt, dass Cloud-basierter Speicher und/oder andere Techniken auch als Speicher und als Programmprodukt zeitbasierte Anzeige von Freigabeanforderungen in bestimmten Ausführungsformen verwendet werden können.
Unter weiterer Bezugnahme auf 3 kann ein Belichtungssperrmodul 302 den Bildsensorbefehl 103 an das Kameramodul 304 liefern und Kameradaten 105 vom Kameramodul 304 empfangen. Das Modul zur Belichtungssperre kann zusätzliche Module umfassen, wie z. B. das Modul zur Erkennung von Verdunklungen 306, das Modul für maschinelles Lernen 308, das Modul zur Befehlserzeugung 310 und das Befehlstreibermodul 312. Die Funktionalität, die jedem dieser Module im Belichtungssperrmodul 302 zugeordnet ist, wird nun beschrieben.
Das Belichtungssperrmodul 302 ist so konfiguriert, dass es mit dem Kameramodul kommuniziert, um die Kameradaten zu empfangen; in verschiedenen Ausführungsformen kann dies die Durchführung einer Synchronisationsroutine beinhalten. Das Belichtungssperrmodul 302 ist so konfiguriert, dass es die Kameradaten analysiert, um eine Verdunklung zu identifizieren (z. B. wie durch ein Verdunklungs-Erkennungsmodul 306 konfiguriert). Eine Verdunklung wird als ein Bild in den Kameradaten 105 identifiziert, in dem der jeweilige Belichtungswert ein Maximalwert ist. Das Modul 302 für die Belichtungssperre ist auch so konfiguriert, dass es maschinelles Lernen einsetzt (z. B. wie von einem Modul 308 für maschinelles Lernen konfiguriert), um die Häufigkeit von Verdunklungen in den Kameradaten zu quantifizieren.
In verschiedenen Ausführungsformen kann das maschinelle Lernmodul 308 eine vorprogrammierte Anzahl von Bildern der Kameradaten 105 zwischenspeichern, um das maschinelle Lernen zur Quantifizierung der Häufigkeit von Verdunklungen in den Kameradaten zu nutzen. Wie hierin verwendet, bedeutet Cache das Speichern in einem Scratch-Speicher, wie z. B. einem Teil des Speichers 54. Die zwischengespeicherten Bilder können analysiert werden, um eine aktuelle Häufigkeit der Verdunklungen in den zwischengespeicherten Kameradaten zu bestimmen. Mehrere Zyklen der Zwischenspeicherung ermöglichen die Analyse von Bildstatistiken, um die Häufigkeit (und damit die Periodizität) von Verdunklungen zu ermitteln, sowie die Kalibrierung einer Zeitdauer der Verdunklungen.
In einem Beispiel ist die vorprogrammierte Anzahl zehn, und in einem ersten Durchgang des Zwischenspeicherns von zehn Bildern identifiziert das Belichtungssperrmodul 302, dass Bild 5 und Bild 10 Verdunklungen sind, die aktuelle Frequenz kann 2/10 sein. In einem nächsten Satz von zwischengespeicherten Bildern können die Bilder 3, 7 und 10 Verdunklungen sein, und die aktuelle Häufigkeit kann dann 3/10 sein. Um die Häufigkeit von Verdunklungen in den Kameradaten zu quantifizieren, kann das maschinelle Lernmodul 308 die aktuelle Häufigkeit mit einer zuvor ermittelten Häufigkeit vergleichen, um einen Fehler zwischen ihnen zu erhalten (z. B. ist der Fehler 1/10); das maschinelle Lernmodul 308 kann die aktuelle Häufigkeit als eine Funktion des Fehlers anpassen und das Zwischenspeichern, Ermitteln und Vergleichen wiederholen, bis der Fehler kleiner als eine vorprogrammierte Fehlerschwelle ist. In verschiedenen Ausführungsformen kann das maschinelle Lernmodul 308, sobald der Fehler kleiner als die vorprogrammierte Fehlerschwelle ist, die Häufigkeit von Stromausfällen auf die letzte aktuelle Häufigkeit einstellen. Die quantifizierte Häufigkeit von Stromausfällen ist eine Ausgabe des maschinellen Lernmoduls 308. In verschiedenen Ausführungsformen kann das maschinelle Lernmodul 308 die Häufigkeit von Stromausfällen nur dann liefern, wenn der Fehler kleiner als die vorprogrammierte Fehlerschwelle ist. Wie zu erkennen ist, handelt es sich hierbei um ein vereinfachtes Beispiel, und in anderen Ausführungsformen können andere maschinelle Lernverfahren verwendet werden, um die Häufigkeit von Verdunklungen in den Kameradaten 105 zu quantifizieren.
In verschiedenen Ausführungsformen kann ein Befehlserzeugungsmodul 310 die Häufigkeit von Stromausfällen nehmen und den Bildverarbeitungssensorbefehl 103 für die Vorhersage zukünftiger Stromausfälle als Funktion der Häufigkeit von Stromausfällen erzeugen. Zusammenfassend lässt sich sagen, dass die bereitgestellten Ausführungsformen bei der Umwandlung zwischen Häufigkeit und Periodizität eine Periodizität der Stromausfälle identifizieren (siehe z. B. 5, die weiter unten ausführlicher beschrieben wird), und dass der Bildsensor-Befehl 103 eine Funktion einer erkannten und ermittelten Häufigkeit von Stromausfällen während einer Anwendung ist, die identifizierbare periodische Stromausfälle aufweist; daher kann der Bildsensor-Befehl 103 verwendet werden, um Stromausfälle in der Anwendung als Funktion der Periodizität der Stromausfälle proaktiv vorherzusagen.
In verschiedenen Ausführungsformen kann ein Wischersteuerungsmodifikationsmodul 320 ein Wischersteuersignal von einer Wischersteuerung 108 an Bord der mobilen Plattform empfangen. In verschiedenen Ausführungsformen hat das Wischersteuersignal seine eigene Periodizität, und das Wischersteuermodifikationsmodul 320 kann die Periodizität des Wischersteuersignals bestimmen und die Wischersteuersignalfrequenz und/oder sein Aktivierungssignal mit der Ausgabe des maschinellen Lernmoduls 308 multiplexen. In anderen Ausführungsformen kann das Belichtungssperrmodul 302 die Periodizität des Wischersteuersignals verwenden, um die Häufigkeit der vom maschinellen Lernmodul 308 erzeugten Verdunklungen zu bestätigen. Dementsprechend kann das Belichtungssperrmodul 302 in verschiedenen Ausführungsformen optional den Bildsensorbefehl 103 als Funktion des Wischersteuersignals weiter modifizieren. Ein Befehlstreibermodul 312 kann den Bildsensor-Befehl 103 so umwandeln, dass er geeignete Signalspezifikationen (z. B. Spannungshub) erfüllt, um ihn an die Kameraschaltung 106 zu liefern.
Das Kameramodul 304 kann ein konventionelles Erfassungs- und Umwandlungsmodul 314 enthalten, das das erfasste Licht und die Kanten (hier auch als erfasste Informationen bezeichnet) von einer Blende der Kamera 118 erhält und die erfassten Informationen in elektrische Signale zur Verarbeitung umwandelt. Ein herkömmliches Kameradaten-Erzeugungsmodul 316 kann die Einzelbilder der Kameradaten 105 in Abhängigkeit von den umgewandelten erfassten Informationen erzeugen.
In verschiedenen Ausführungsformen kann ein Modul 318 zur Erzeugung erweiterter Bilder den Bildsensor-Befehl 103 empfangen und ihn verwenden, um die Belichtungswerte ausgewählter Bilder von Kameradaten zu steuern, z. B. über eine Belichtungssteuerungsschaltung 120, um daraus die erweiterten Bilder 109 zu erzeugen. In einem Beispiel kann das Modul 318 zur Erzeugung erweiterter Bilder als Reaktion auf den Bildsensor-Befehl 103 (a) eine Verdunklung vorhersagen; und (b) für die vorhergesagte Verdunklung einen entsprechenden Belichtungswert auf einem Belichtungswert eines unmittelbar vorhergehenden Bildes halten, wobei der Hold für eine Zeitdauer kalibriert wurde, die so lang wie das Bild ist. Anders ausgedrückt, der Hold ist eine proaktive Strategie, da er eine vorhergesagte Verdunklung darstellt, sowohl in Bezug auf die Zeit als auch die Dauer, basierend auf einer Periodizität von Verdunklungen, die in den Bildsensorbefehl 103 eingebettet ist. Ferner kann das Modul 318 zur Erzeugung erweiterter Bilder die hier beschriebenen erweiterten Bilddaten 109 durch Wiederholung von (a) und (b) erzeugen. Verbesserte Bilder 109 sind bildstabilisiert, da sie Flimmern und Artefakte, wie hier beschrieben, abschwächen.
Das Kameramodul 304 kann die erweiterten Bilddaten 109 an ein mobiles Plattformmodul liefern, das sich außerhalb des Bilderfassungssystems befindet, wobei das mobile Plattformmodul, das sich außerhalb des Bilderfassungssystems befindet, eines der folgenden ist: die zentrale Plattformsteuerung 114, das Infotainmentmodul 112 und das Onboard-Objekterkennungsmodul 116. In verschiedenen Ausführungsformen liefert das Kameramodul 304 die erweiterten Bilddaten 109 an jedes der folgenden Module: das zentrale Plattformsteuergerät 114, das Infotainmentmodul 112 und das Onboard-Objekterkennungsmodul 116.
Nun zu 4: Das oben beschriebene System 102 kann durch ein prozessorausführbares Verfahren zur Bildverarbeitungserkennung implementiert werden, das allgemein als Verfahren 400 dargestellt ist. Zur Veranschaulichung kann sich die folgende Beschreibung des Verfahrens 400 auf Elemente beziehen, die oben im Zusammenhang mit den 1-3 erwähnt wurden. In der Praxis können Teile des Verfahrens 400 von verschiedenen Komponenten des beschriebenen Systems 102 ausgeführt werden. Es ist zu beachten, dass das Verfahren 400 eine beliebige Anzahl zusätzlicher oder alternativer Vorgänge und Aufgaben enthalten kann, dass die in 3 gezeigten Aufgaben nicht in der dargestellten Reihenfolge ausgeführt werden müssen und dass das Verfahren 400 in ein umfassenderes Verfahren oder eine Methode mit zusätzlicher, hier nicht im Detail beschriebener Funktionalität integriert werden kann. Darüber hinaus können eine oder mehrere der in 3 dargestellten Aufgaben in einer Ausführungsform des Verfahrens 400 weggelassen werden, solange die beabsichtigte Gesamtfunktionalität erhalten bleibt.
Bei 402 wird das System 102 initialisiert. Bei der Implementierung als erweitertes Computersystem (z. B. 1) kann die Initialisierung bei 402 das Hochladen, Installieren oder Aktualisieren der Anweisungen umfassen, die das Programm 56 und die vorprogrammierten Variablen zur Ausführung durch den Prozessor 50 bilden. Bei der Kameraschaltung an Bord der mobilen Plattform wird der Betrieb einer Kamera an Bord der mobilen Plattform gesteuert, und es werden Kameradaten daraus erzeugt, wobei die Kameradaten eine sequenzielle Vielzahl von Bildern umfassen;
Bei 404 werden Kameradaten von der Belichtungsspeicherschaltung 104 empfangen. Bei 406 werden die Kameradaten analysiert, um eine Verdunklung zu identifizieren, und maschinelles Lernen wird eingesetzt, um die Häufigkeit von Verdunklungen zu quantifizieren. Wie bereits angedeutet, kann eine Häufigkeit von Verdunklungen zwei oder mehr periodische Signale integrieren (siehe 5, Wischerfrequenz, die eine Verdunklung 508 verursacht, mit einer ersten Periode 514 und einer zweiten Periode 516). Bei 408 wird in der Belichtungssperrschaltung 104 ein Bildsensorbefehl 103 zur Vorhersage zukünftiger Verdunkelungen in Abhängigkeit von der Häufigkeit der Verdunkelungen erzeugt.
Bei 410 kann optional, wenn ein Wischersteuersignal empfangen wird, die Häufigkeit der Verdunkelungen mit diesem modifiziert werden. Bei 412 wird der Bildsensor-Befehl an die Kameraschaltung 106 geliefert. In einigen Ausführungsformen ist das Verfahren nach 412 beendet.
In verschiedenen Ausführungsformen wird ab 412 der gelieferte Bildsensor-Befehl 103 empfangen und in der Kameraschaltung 106 weiterverarbeitet, wie in 414-418 gezeigt. In der Belichtungssteuerungsschaltung 120 wird eine zukünftige Verdunklung als Funktion des Bildsensor-Befehls 103 vorhergesagt (bei 414) und (bei 416) wird der Bildsensor-Befehl 103 zum Halten des Belichtungswertes während der vorhergesagten Verdunklung verwendet. Das Halten erfolgt für eine kalibrierte Zeitspanne und bei einem Belichtungswert eines unmittelbar vorangegangenen Bildes. Bei 418 können erweiterte Bilder 109 erzeugt und an ein oder mehrere Module außerhalb des Bilderfassungssystems 102 geliefert werden.
Zur Veranschaulichung einiger der hier entwickelten Konzepte dient 5. Das Wischerreglersignal 502 ist auf der Y-Achse und der Zeitverlauf 550 auf der X-Achse aufgetragen. In der Abbildung ist der Wischerregler während der „Ein“-Zyklen 506 aktiviert und während der „Aus“-Zyklen 504 deaktiviert. Die Verdeckung der Blende an der Kamera 118 wird als die Wischerfrequenz erkannt, die eine Verdunklung 508 verursacht. Es gibt eine erste Verdunklung 510, mit einer Dauer 518, und einer Periodizität oder Frequenz der Verdunklung 514. Es gibt eine zweite Verdunklung 512, mit einer Dauer 520 und einer Periodizität 516. Verschiedene Ausführungsformen sind in der Lage, zwei oder mehr Verdunklungs-Frequenzen zu erkennen, wie in 5 gezeigt. Zwischen den Verdunklungen ist ein Bildsignal 522 vorhanden.
Die Belichtungswerte 524 der Kameradaten 105 werden auf der Y-Achse und die Frames 552 (aufeinanderfolgende Frames, die eine Funktion der Zeit sind) auf der X-Achse grafisch dargestellt. In diesem Szenario erfasst die Kamera 118 zunächst das Umgebungslicht und verwendet einen Belichtungswert 526, der ein geeigneter Belichtungswert für das Umgebungslicht ist. Wenn das Wischerblatt die Öffnung der Kamera 118 verdeckt, kommt es zu einer abrupten Verdunkelung 510 (und 512) des Umgebungslichts, und die Kameraschaltung kann mit einer Maximierung des Belichtungswerts 528 (und 530) reagieren. Wenn die Verdeckung/Abdunklung endet, kehrt das Umgebungslicht durch die Öffnung der Kamera zurück, und die Kameraschaltung benötigt eine endliche und messbare Zeit 540, um auf die erkannte Rückkehr des Umgebungslichts zu reagieren.
Das Bilderfassungssystem 102 quantifiziert die Häufigkeit der Verdunklungen (und damit die Periodizität), bezogen auf eine erste Periode 514 und eine zweite Periode 516. Das Bilderfassungssystem 102 quantifiziert die zugehörigen Dauern 518 und 520. Diese Quantifizierungen sind in dem Bildsensorbefehl 103 enthalten, der zur Vorhersage von Verdunklungen verwendet werden kann. Wie in der unteren Grafik der Belichtungswerte, die sich aus der Belichtungssperrsteuerung 532 während des Zeitablaufs ergeben, dargestellt als aufeinanderfolgende Bilder 552, gezeigt, werden die Belichtungswerte für die Dauer der Verdunklungen konstant gehalten (z. B. auf dem Belichtungswert eines unmittelbar vorhergehenden Bildes, im Beispiel beim Belichtungswert 534). Durch die Verwendung der Belichtungswerte, die sich aus der Belichtungssperrsteuerung 532 während des Zeitablaufs ergeben, dargestellt als aufeinanderfolgende Bilder 552, erzeugen Ausführungsformen verbesserte Bilder 109, die, wie gezeigt, ein gemildertes Flimmern (536, 538) und gemilderte zugehörige Artefakte (542) aufweisen.
Somit bieten das bereitgestellte System 102 und Verfahren 400 eine technologische Lösung für die technischen Probleme von Flimmern und Artefakten. Das bereitgestellte System 102 und das Verfahren 400 identifizieren eine Periodizität der Verdunklungen und generieren einen Bildsensorbefehl, um Verdunklungen basierend auf der identifizierten Periodizität sowohl in Bezug auf die Häufigkeit als auch die Dauer vorherzusagen. Durch die Vorhersage von Verdunklungen können beispielhafte Ausführungsformen proaktiv die Belichtungswerte bei jedem Auftreten einer Verdunklung und für die Dauer des Frames konstant halten (z. B. auf einem Belichtungswert des vorherigen Frames, der ein geeigneter Belichtungswert für das Umgebungslicht ist), um Flimmern und damit verbundene Artefakte zu vermeiden. Beispielhafte Ausführungsformen können als Ausgabe verbesserte Bilder liefern, bei denen das Flimmern und die Artefakte in Abhängigkeit von dem Bildsensorbefehl abgeschwächt wurden. Anwendungen und Module, die auf Kameradaten angewiesen sind, können stattdessen die verbesserten Frames empfangen und bei Verwendung der verbesserten Frames eine geringere Latenzzeit bei der Objekterkennung erfahren.
Obwohl in der vorangegangenen detaillierten Beschreibung mindestens eine beispielhafte Ausführungsform vorgestellt wurde, sollte man sich darüber im Klaren sein, dass es eine große Anzahl von Variationen gibt. Es sollte auch gewürdigt werden, dass die beispielhafte Ausführungsform oder die beispielhaften Ausführungsformen nur Beispiele sind und nicht dazu gedacht sind, den Umfang, die Anwendbarkeit oder die Konfiguration der Offenbarung in irgendeiner Weise zu beschränken. Vielmehr soll die vorangehende detaillierte Beschreibung dem Fachmann eine bequeme Anleitung zur Implementierung der beispielhaften Ausführungsform oder der beispielhaften Ausführungsformen geben. Es können verschiedene Änderungen in der Funktion und Anordnung der Elemente vorgenommen werden, ohne dass der Umfang der Offenbarung, wie er in den beigefügten Ansprüchen und den gesetzlichen Äquivalenten davon dargelegt ist, verlassen wird.

Claims

Bilderfassungssystem auf einer mobilen Plattform, umfassend: ein Kameramodul, das so konfiguriert ist, dass es den Betrieb einer Kamera an Bord der mobilen Plattform steuert und daraus Kameradaten erzeugt, wobei die Kameradaten eine sequenzielle Vielzahl von Bildern umfassen; ein Belichtungssperrmodul, das konfiguriert ist, um: mit dem Kameramodul zu kommunizieren, um die Kameradaten zu empfangen; die Kameradaten zu analysieren, um eine Verdunklung zu identifizieren, maschinelles Lernen zu verwenden, um die Häufigkeit von Verdunklungen in den Kameradaten zu quantifizieren; einen Bildsensorbefehl zur Vorhersage zukünftiger Stromausfälle in Abhängigkeit von der Häufigkeit der Stromausfälle zu erzeugen; und den Bildsensorbefehl an das Kameramodul zu liefern.
Bilderfassungssystem nach Anspruch 1, wobei die Kameradaten ferner für jedes Bild einen jeweiligen Belichtungswert umfassen, der eine Funktion des von der Kamera erfassten Lichts ist, und wobei das Belichtungssperrmodul ferner konfiguriert ist, um: die Verdunklung als ein Bild in den Kameradaten zu identifizieren, in dem der jeweilige Belichtungswert ein Maximalwert ist; und eine vorprogrammierte Anzahl von Frames der Kameradaten zwischenzuspeichern, um das maschinelle Lernen zur Quantifizierung der Häufigkeit von Verdunklungen auf den Kameradaten zu nutzen.
Bilderfassungssystem nach Anspruch 2, wobei das Kameramodul ferner so konfiguriert ist, dass es: (a) als Reaktion auf den Bildsensorbefehl eine Verdunkelung vorhersagt; und (b) für die vorhergesagten Verdunkelung seinen jeweiligen Belichtungswert auf einem Belichtungswert eines unmittelbar vorangegangenen Bildes hält.
Bilderfassungssystem nach Anspruch 3, wobei das Kameramodul weiterhin konfiguriert ist, um: erweiterten Rahmendaten durch Wiederholung von (a) und (b) zu erzeugen; und die erweiterten Bilddaten an ein mobiles Plattformmodul zu liefern, das sich außerhalb des Bilderfassungssystems befindet.
Bilderfassungssystem nach Anspruch 1, wobei die Kameradaten ferner für jedes Bild einen jeweiligen Belichtungswert umfassen, der eine Funktion des von der Kamera erfassten Lichts ist, und wobei das Belichtungssperrmodul ferner konfiguriert ist, um: die Verdunklung als einen Rahmen zu identifizieren, in dem eine Belichtung einen Maximalwert darstellt; und ein Modul für maschinelles Lernen zu verwenden, um: eine vorgegebene Anzahl von Bildern der Kameradaten zwischenzuspeichern; eine aktuelle Häufigkeit von Verdunklungen in den zwischengespeicherten Kameradaten zu ermitteln, die aktuelle Häufigkeit von Verdunklungen mit einer zuvor ermittelten Häufigkeit von Verdunklungen zu vergleichen, um einen Fehler zwischen ihnen zu erhalten; und das Zwischenspeichern, Bestimmen und Vergleichen zu wiederholen, bis der Fehler kleiner als eine vorprogrammierte Fehlerschwelle ist; und die Häufigkeit von Verdunklungen nur dann zu liefern, wenn der Fehler kleiner als die vorprogrammierte Fehlerschwelle ist.
Verfahren zur Bilderfassung auf einer mobilen Plattform, umfassend: an der Kameraschaltung an Bord der mobilen Plattform Steuern des Betriebs einer Kamera an Bord der mobilen Plattform und Erzeugen von Kameradaten daraus, wobei die Kameradaten eine sequenzielle Vielzahl von Bildern umfassen; an einer Belichtungssperrschaltung, Kommunizieren mit der Kameraschaltung, um die Kameradaten zu empfangen; Analysieren der Kameradaten zur Erkennung einer Verdunklung; Einsetzen maschinellen Lernens zur Quantifizierung einer Häufigkeit von Verdunklungen in den Kameradaten; Erzeugen eines Bildsensorbefehls zur Vorhersage zukünftiger Verdunklungen in Abhängigkeit von der Häufigkeit der Verdunklungen; und Lieferung des Bildsensorbefehls an das Kameramodul.
Verfahren zur Sichtabtastung nach Anspruch 6, wobei die Kameradaten ferner für jedes Bild einen jeweiligen Belichtungswert umfassen, der eine Funktion des von der Kamera abgetasteten Lichts ist, und ferner an der Belichtungssperrschaltung umfassen: Identifizieren der Verdunklung als ein Bild in den Kameradaten, in dem der jeweilige Belichtungswert ein Maximalwert ist; und Zwischenspeichern einer vorprogrammierten Anzahl von Einzelbildern der Kameradaten, um das maschinelle Lernen zur Quantifizierung der Häufigkeit von Verdunklungen in den Kameradaten zu nutzen.
Verfahren zur Sichtabtastung nach Anspruch 7, das ferner an der Kameraschaltung Folgendes umfasst: (a) Vorhersagen einer Verdunklung in Reaktion auf den Befehl des Bildsensors; und (b) Halten, für die vorhergesagte Verdunklung, seinen jeweiligen Belichtungswert auf einem Belichtungswert eines unmittelbar vorangegangenen Bildes.
Verfahren zur Sichtabtastung nach Anspruch 6, wobei die Kameradaten ferner für jedes Bild einen jeweiligen Belichtungswert umfassen, der eine Funktion des von der Kamera abgetasteten Lichts ist, und ferner an der Belichtungssperrschaltung umfassen: Identifizieren der Verdunklung als ein Bild, in dem eine Belichtung ein Maximalwert ist; und Einsetzen eines Moduls für maschinelles Lernen zum: Zwischenspeichern einer vorgegebenen Anzahl von Bildern der Kameradaten; Ermitteln einer aktuellen Häufigkeit von Verdunklungen in den zwischengespeicherten Kameradaten; Vergleichen der aktuelle Häufigkeit von Verdunklungen mit einer zuvor ermittelten Häufigkeit von Verdunklungen, um einen Fehler zwischen ihnen zu erhalten; und Wiederholen des Zwischenspeicherns, Bestimmens und Vergleichens, bis der Fehler kleiner als eine vorprogrammierte Fehlerschwelle ist; und Liefern der Häufigkeit von Verdunklungen nur dann, wenn der Fehler kleiner als die vorprogrammierte Fehlerschwelle ist.
Verfahren zur Sichtabtastung nach Anspruch 9, wobei das Belichtungssperrmodul weiterhin konfiguriert ist, um: ein Wischersteuersignal von einer Wischersteuerung an Bord der mobilen Plattform zu empfangen; eine Periodizität des Wischersteuersignals zu bestimmen; die Häufigkeit von Verdunklungen auf der Grundlage der Periodizität des Wischersteuersignals zu bestätigen; und den Bildsensorbefehl weiter in Abhängigkeit vom Wischer-Steuersignal zu erzeugen.