DE102018201054A1

DE102018201054A1 - System und Verfahren zur Bilddarstellung durch ein Fahrerassistenzmodul eines Fahrzeugs

Info

Publication number: DE102018201054A1
Application number: DE102018201054.4A
Authority: DE
Inventors: Pranjal Chakraborty; Rajesh Biswal; Debashis Mukherjee
Original assignee: Harman International Industries Inc
Current assignee: Harman International Industries Inc
Priority date: 2017-02-03
Filing date: 2018-01-24
Publication date: 2018-08-09
Also published as: US20190087944A1; US20180225808A1; US10140690B2; US10504214B2; CN108460734A; CN108460734B

Abstract

Die vorliegende Offenbarung betrifft Systeme, Vorrichtungen und Verfahren zur Bilddarstellung zur Fahrerassistenz bei einem Fahrzeug. In einer Ausführungsform beinhaltet ein Verfahren ein Empfangen von Bilddaten, die einen Außenbereich eines Fahrzeugs darstellen, und Verbessern der Bilddaten. Eine Bildverbesserung kann ein Invertieren der Bilddaten und Durchführen eines Enttrübungsvorgangs auf Grundlage der Szenenradianz, Medientransmission und Atmosphärenlicht der Bilddaten beinhalten. Das Verfahren kann ferner Erzeugen rekonstruierter Bilddaten aus den verbesserten Bilddaten durch Durchführen einer dünnen Darstellung der verbesserten Bilddaten zum Entrauschen der verbesserten Bilddaten und Durchführen eines Lernvorgangs zum Identifizieren und Verbessern von interessierenden Objekten in den verbesserten Bilddaten mit der dünnen Darstellung beinhalten. Das Verfahren beinhaltet ferner ein Ausgeben der rekonstruierten Bilddaten an eine Anzeigeeinheit des Fahrzeugs. Es werden Fahrerassistenzsysteme und -vorrichtungen für Fahrzeuge bereitgestellt, um Bilddaten zu verbessern, die von Fahrzeugkameras und am Körper tragbaren Vorrichtungen erfasst werden.

Description

GEBIET
Die vorliegende Offenbarung betrifft elektronische Vorrichtungen und Anwendungen und insbesondere Verfahren und Konfigurationen zur Bilddarstellung durch ein Fahrerassistenzmodul eines Fahrzeugs.
ALLGEMEINER STAND DER TECHNIK
Der sichere Betrieb eines Fahrzeugs ist ein Hauptanliegen vieler Fahrzeugführer. Daher haben sich technische Entwicklungen auf Systeme gerichtet, die sich auf Unfallverhütung und einen sicheren Betrieb konzentrieren. Aus technischen Fortschritten sind Assistenzsysteme hervorgegangen, die Warnungen bereitstellen und das Sichtfeld eines Fahrzeugführers ergänzen. Beispielsweise nutzen einige herkömmliche Fahrzeugsysteme Sensoren und Kameras zur Unfallvermeidung sowie für andere Fahrzeugassistenzfunktionen. Einige bestehende Systeme stellen eine Leuchtanzeige von Fahrzeugen in der unmittelbaren Umgebung bereit. Andere beinhalten eine aktive Bremstechnik. Trotz der Entwicklung solcher Systeme besteht ein Bedarf und ein Wunsch nach einer Fahrerunterstützung in Situationen mit schlechter und/oder eingeschränkter Sicht.
Der Fahrzeugbetrieb kann durch Lichtverhältnisse und Witterung erschwert sein. Beim Fahren bei schwachem Licht und in der Nacht können Objekte innerhalb eines Fahrwegs eines Fahrzeugs selbst bei Einsatz von Scheinwerfern schwer zu erkennen sein. Überdies können auch Umgebungslichtverhältnisse und gerichtete Lichtquellen von anderen Fahrzeugen die Sicht eines Fahrers behindern. Lichtverhältnisse aufgrund von Sonnenlicht können ebenfalls die Sicht durch eine starke Lichteinwirkung (z. B. Blendung) beim Fahren am Tag verringern oder beeinträchtigen. Neben Lichtverhältnissen können auch Witterungsbedingungen, Feinstaub und Feuchtigkeit die Sicht beeinträchtigen. Optische Bilderfassungsvorrichtungen (z. B. Kameras usw.) und herkömmliche Fahrerassistenzsysteme liefern aufgrund von Lichtverhältnissen, Witterung und anderen Umgebungseigenschaften u. U. keine hinreichenden Informationen.
Einige herkömmliche Ansätze nutzen Infrarot(IR)-Kameras, um die Identifizierung von Objekten insbesondere bei Szenarien mit schwachem Licht zu unterstützen. Für diese Systeme kann es jedoch je nach Umgebungstemperatur schwierig sein, bestimmte Arten von Objekten zu identifizieren. Bei einer Verwendung in Hochtemperaturumgebungen können IR-Sensoren unwirksam sein. Des Weiteren kann es sein, dass IR-Systeme nicht genug Details oder keine einheitliche Ausgabe zum Identifizieren von interessierenden Objekten bereitstellen. Weiterhin sind, da IR-Systeme typischerweise für Nachtsicht ausgelegt sind, IR-Systeme nicht dazu ausgelegt, die Sicht bei verschiedenen Licht- und Umgebungsbedingungen zu verbessern. IR-Systeme sind außerdem teuer und ihre Verwendung kann bei bestimmten Anwendungen unrentabel sein.
Es besteht ein Wunsch danach, dass Fahrerassistenzsysteme die Sicht bei schwachen Lichtverhältnissen, wie z. B. bei Dämmerung oder in der Nacht, insbesondere bei Straßenabschnitten, die nicht gut beleuchtet sind, verbessern.
KURZDARSTELLUNG DER AUSFÜHRUNGSFORMEN
Hier werden Verfahren, Vorrichtungen und Systeme zur Bilddarstellung durch ein Fahrerassistenzmodul eines Fahrzeugs offenbart und beansprucht. Eine Ausführungsform richtet sich auf ein Verfahren, das ein Empfangen von Bilddaten, die einen Außenbereich eines Fahrzeugs darstellen, durch ein Fahrerassistenzmodul beinhaltet. Das Verfahren beinhaltet ferner ein Invertieren der Bilddaten durch das Fahrerassistenzmodul, um invertierte Bilddaten zu erzeugen, und Durchführen eines Enttrübungsvorgangs (Dehazing) an invertierten Bilddaten durch das Fahrerassistenzmodul, um verbesserte invertierte Bilddaten des Außenbereichs des Fahrzeugs zu erzeugen, wobei der Enttrübungsvorgang auf Szenenradianz, Medientransmission und Atmosphärenlicht der Bilddaten beruht. Das Verfahren beinhaltet ferner ein Invertieren der verbesserten invertierten Bilddaten durch das Fahrerassistenzmodul, um verbesserte Bilddaten zu erzeugen. Das Verfahren beinhaltet ferner ein Erzeugen rekonstruierter Bilddaten aus den verbesserten Bilddaten durch das Fahrerassistenzmodul, wobei die rekonstruierten Bilddaten durch Durchführen einer dünnen Darstellung der verbesserten Bilddaten zum Entrauschen der verbesserten Bilddaten und Durchführen eines Lernvorgangs zum Identifizieren und Verbessern von interessierenden Objekten in den verbesserten Bilddaten mit der dünnen Darstellung erzeugt werden. Das Verfahren beinhaltet ferner ein Ausgeben der rekonstruierten Bilddaten an eine Anzeigeeinheit des Fahrzeugs durch das Fahrerassistenzmodul.
In einer Ausführungsform beinhalten die Bilddaten, welche den Außenbereich des Fahrzeugs darstellen, Videodaten, die von einer nach vorn gerichteten Kamera des Fahrzeugs aufgenommen werden.
In einer Ausführungsform beinhalten die Bilddaten, welche den Außenbereich des Fahrzeugs darstellen, Videodaten, die von einer mit einem Fahrer des Fahrzeugs assoziierten, am Körper tragbaren Vorrichtung aufgenommen werden.
In einer Ausführungsform beinhaltet das Invertieren eine pixelweise Invertierung ganzer Einzelbilder der Bilddaten.
In einer Ausführungsform beinhaltet der Enttrübungsvorgang ein Bestimmen der Szenenradianz für die invertierten Bilddaten auf Grundlage eines Anpassungsparameters für die Medientransmission.
In einer Ausführungsform nutzt die dünne Darstellung der verbesserten Bilddaten bestehende Grundelemente für Einzelbilder der Bilddaten oder leitet eine Kombination davon ab, sodass ein Dictionary of Atoms (Darstellungssystem mit Grundelementen) gebildet wird, um einen Rauschpegel für Grundelemente des Einzelbildes zu ändern.
In einer Ausführungsform beinhaltet das Durchführen eines Lernvorgangs zum Identifizieren und Verbessern von interessierenden Objekten in den verbesserten Bilddaten mit der dünnen Darstellung eine Identifizierung von Objekten in Einzelbildern, einen Vergleich und eine Anpassung von Objekten in Einzelbildern und eine Auswahl eines oder mehrerer Objekte, die in Einzelbildern der Bilddaten identifiziert werden sollen.
In einer Ausführungsform werden die dünne Darstellung und die Lernvorgänge auf Grundlage eines Vergleichs eines mit den Bilddaten assoziierten Tageslichtbildes unter Verwendung einer Position des Fahrzeugs durchgeführt.
In einer Ausführungsform beinhaltet das Erzeugen rekonstruierter Bilddaten auf Grundlage der verbesserten Bilddaten ein Stitchen (Zusammensetzen) von entrauschten Bilddaten aus der dünnen Darstellung mit vom Lernmodul identifizierten Objekten.
In einer Ausführungsform beinhaltet das Ausgeben der rekonstruierten Bilddaten ein Überlagern mit Konturelementen, die mit für die rekonstruierten Bilddaten identifizierten Objekten assoziiert sind.
Eine andere Ausführungsform richtet sich auf ein Fahrerassistenzmodul eines Fahrzeugs, das ein Eingabemodul zum Empfangen von Bilddaten, die einen Außenbereich eines Fahrzeugs darstellen, ein Ausgabemodul und ein Bildverbesserungsmodul beinhaltet. Das Bildverbesserungsmodul beinhaltet einen Prozessor, der dazu konfiguriert ist, die Bilddaten zu invertieren, um invertierte Bilddaten zu erzeugen, und einen Enttrübungsvorgang an invertierten Bilddaten durchzuführen, um verbesserte invertierte Bilddaten des Außenbereichs des Fahrzeugs zu erzeugen, wobei der Enttrübungsvorgang auf Szenenradianz, Medientransmission und Atmosphärenlicht der Bilddaten beruht. Der Prozessor ist ferner dazu konfiguriert, die verbesserten invertierten Bilddaten zu invertieren, um verbesserte Bilddaten zu erzeugen. Der Prozessor ist ferner dazu konfiguriert, rekonstruierte Bilddaten aus den verbesserten Bilddaten zu erzeugen, wobei die rekonstruierten Bilddaten durch Durchführen einer dünnen Darstellung der verbesserten Bilddaten zum Entrauschen der verbesserten Bilddaten und Durchführen eines Lernvorgangs zum Identifizieren und Verbessern von interessierenden Objekten in den verbesserten Bilddaten mit der dünnen Darstellung erzeugt werden. Der Prozessor ist ferner dazu konfiguriert, das Ausgabemodul derart zu steuern, dass es die rekonstruierten Bilddaten an eine Anzeigeeinheit des Fahrzeugs ausgibt.
Andere Aspekte, Merkmale und Techniken liegen für den einschlägigen Fachmann angesichts der folgenden detaillierten Beschreibung der Ausführungsformen auf der Hand.
Figurenliste
Die Merkmale, Aufgaben und Vorteile der vorliegenden Offenbarung gehen aus der unten aufgeführten detaillierten Beschreibung in Verbindung mit den Zeichnungen deutlicher hervor, in denen gleiche Bezugszeichen durchgehend Entsprechendes kennzeichnen und wobei:

1 eine grafische Darstellung eines Systems gemäß einer oder mehreren Ausführungsformen zeigt;
2 ein Verfahren zur Bildverbesserung gemäß einer oder mehreren Ausführungsformen zeigt;
3 eine Darstellung eines Bildverbesserers gemäß einer oder mehreren Ausführungsformen zeigt;
4 eine grafische Darstellung eines Bildverbesserungsverfahrens gemäß einer oder mehreren Ausführungsformen zeigt;
5 eine Systemdarstellung gemäß einer oder mehreren anderen Ausführungsformen zeigt;
6 eine grafische Darstellung einer am Körper tragbaren Einheit gemäß einer oder mehreren Ausführungsformen zeigt;
7 eine grafische Darstellung von Bilddaten gemäß einer oder mehreren Ausführungsformen zeigt;
8 ein Ablaufdiagramm einer Bildverbesserung bei schwachem Licht gemäß einer oder mehreren Ausführungsformen zeigt;
9 eine grafische Darstellung von Deep Learning (tiefgehendem Lernen) gemäß einer oder mehreren Ausführungsformen zeigt; und
10 ein Ablaufdiagramm von Deep Learning gemäß einer oder mehreren Ausführungsformen zeigt.

DETAILLIERTE BESCHREIBUNG DER AUSFÜHRUNGSBEISPIELE
ÜBERBLICK UND TERMINOLOGIE
Ein Aspekt der Offenbarung richtet sich auf Verfahren zur Bilddarstellung durch ein Fahrerassistenzmodul eines Fahrzeugs. In einer Ausführungsform beinhaltet ein Verfahren zur Bilddarstellung durch ein Fahrerassistenzmodul eines Fahrzeugs eine Invertierung von Bilddaten, Bildenttrübung und Rekonstruktion von Bilddaten zur Anzeige. Hier beschriebene Verfahren können auf optische Nicht-IR-Bildvorrichtungen (z. B. Digitalkameras usw.) angewandt werden, die Bild- und Videoinhalte darstellen. Die Verfahren können eine geordnete Reihe von Funktionen bereitstellen, die von Fahrzeughardware durchgeführt wird, um die Erfassung zu verbessern und den Betrieb eines Fahrzeugassistenzsystems und von Fahrzeugassistenzvorrichtungen zu verbessern. Hier beschriebene Verfahren können sich auf schlechte Sichtverhältnisse infolge eines oder mehrerer aus schwachem Licht, gerichtetem Licht (z. B. Fernlicht usw.), Blendung und Witterungsbedingungen (z. B. Dunst, Nebel, hohe Temperatur usw.) richten. Hier beschriebene Verfahren können von Vorrichtungs- und Systemkonfigurationen eingesetzt werden und können die Verwendung von Lernalgorithmen zum Erzeugen dünner Darstellungen von Bilddaten (z. B. Dictionary Learning) und Deep-Learning-Algorithmen beinhalten.
Eine andere Ausführungsform richtet sich auf ein Fahrzeugsystem, das zum Bereitstellen von Fahrerassistenz eingesetzt werden kann. In einer Ausführungsform können Systeme nach vorn gerichtete Bilderfassungsvorrichtungen zum Aufnehmen von Videobilddaten außerhalb eines Fahrzeugs eingesetzt werden. Das System kann ferner dazu konfiguriert sein, Bilddaten zu nutzen, die von einer am Körper tragbaren Vorrichtung aufgenommen werden. Die Handhabung und Verarbeitung von Bildern durch die Vorrichtung kann an eine oder mehrere Anzeigen, darunter u. a. Infotainment-Anzeigen eines Fahrzeugs und/oder Blickfeldanzeigen für einen Fahrer des Fahrzeugs, ausgegeben werden.
Eine andere Ausführungsform richtet sich auf ein Bildverbesserungsmodul. Die Vorrichtung kann dazu konfiguriert sein, eine oder mehrere Bildverbesserungsfunktionen durchzuführen. Das Bildverbesserungsmodul sowie die hier beschriebenen Verfahren und Systeme können Standortdaten und zuvor erfasste Tageslichtbilder zur Verbesserung von Bildern bei schwachen Lichtverhältnissen nutzen.
Im hier verwendeten Sinne sollen die Ausdrücke „ein“ oder „eine“ eins oder mehr als eins bedeuten. Der Ausdruck „Vielzahl“ soll zwei oder mehr als zwei bedeuten. Der Ausdruck „ein anderes“ ist als zweites oder mehr definiert. Die Ausdrücke „beinhaltend“ und/oder „aufweisend“ sind nicht ausschließlich (z. B. umfassend). Der Ausdruck „oder“ ist im hier verwendeten Sinne als einschließend oder ein beliebiges oder eine beliebige Kombination bedeutend auszulegen. So bedeutet „A, B oder C“ „ein beliebiges der Folgenden: A; B; C; A und B; A und C; B und C; A, B und C“. Eine Ausnahme dieser Definition liegt nur dann vor, wenn sich eine Kombination aus Elementen, Funktionen, Schritten oder Handlungen an sich auf eine Art gegenseitig ausschließt.
In dieser Schrift bedeuten Bezugnahmen auf „eine Ausführungsform“, „bestimmte Ausführungsformen“ oder einen ähnlichen Ausdruck, dass ein bestimmtes Merkmal, eine bestimmte Struktur oder Eigenschaft, das bzw. die in Verbindung mit der Ausführungsform beschrieben wird, in mindestens einer Ausführungsform enthalten ist. So bezieht sich das Auftreten derartiger Formulierungen an verschiedenen Stellen dieser Beschreibung nicht unbedingt immer auf dieselbe Ausführungsform. Des Weiteren können die bestimmten Merkmale, Strukturen oder Eigenschaften auf jede geeignete Weise in einer oder mehreren Ausführungsformen ohne Einschränkung kombiniert werden.
AUSFÜHRUNGSBEISPIELE
Nun zeigt in Bezug auf die Figuren 1 eine grafische Darstellung eines Systems gemäß einer oder mehreren Ausführungsformen. In einer Ausführungsform ist das System 100 ein Fahrerassistenzsystem für ein Fahrzeug. Das System 100 beinhaltet eine Kamera 105, ein Bildverbesserungsmodul 110 und eine Anzeige 115. In bestimmten Ausführungsformen kann das System 100 eine Blickfeldanzeige 120 beinhalten.
Gemäß einer Ausführungsform nimmt die Kamera 105 Videobilddaten außerhalb eines Fahrzeugs, wie z. B. in einem vorderen Bereich eines Fahrzeugs, auf, die mit einer Fahrbahn 120 assoziiert sind. Das Bildverbesserungsmodul 110 ist dazu konfiguriert, von der Kamera 105 aufgenommene Bilddaten zu verbessern und eine Bildausgabe zur Anzeige im Fahrzeug auf der Anzeige 115 oder mit der Blickfeldanzeige 120 darzustellen. Gemäß einer Ausführungsform bezieht sich die Kamera 105 auf eine Digitalkamera, die dazu konfiguriert ist, Bilddaten optisch zu erfassen und aufzunehmen. Beispielhafte Einzelbilderfassungsfrequenzen der Kamera 105 können eine oder mehrere Einzelbilderfassungsfrequenzen, darunter u. a. 60 Hz, 120 Hz, 240 Hz, usw., sein. In anderen Ausführungsformen kann das System 100 Bildinhalte von einer am Körper tragbaren Vorrichtung (in 1 nicht dargestellt) empfangen. Das Bildverbesserungsmodul 110 ist dazu konfiguriert, von einer oder mehreren Kameras, wie z. B. der Kamera 105, erfasste Bilddaten zu verbessern. Gemäß einer Ausführungsform kann das Bildverbesserungsmodul 110 zur Verbesserung von Bilddaten für eines oder mehrere aus schwachem Licht, gerichtetem Licht (z. B. Fernlicht usw.), Blendung und Witterungsbedingungen (z. B. Dunst, Nebel, hohe Temperatur usw.) konfiguriert sein. Das Bildverbesserungsmodul 110 kann dazu konfiguriert sein, Objekte zu erfassen und grafische Elemente darzustellen, um einem Fahrer des Fahrzeugs erfasste Objekte anzuzeigen.
Gemäß einer Ausführungsform ist die Anzeige 115 dazu konfiguriert, verbesserte Bilddaten darzustellen. Die Anzeige 115 kann Teil eines Infotainmentsystems eines Fahrzeugs sein. Die Anzeige 120 kann sich auf eine Blickfeldanzeige beziehen und kann eines oder mehrere aus Bilddaten, Objektindikatoren und Darstellungen einer Szene, die von der Kamera 105 erfasst werden, darstellen.
Gemäß einer Ausführungsform kann das System 100 dazu konfiguriert sein, feststehende und nicht feststehende (z. B. bewegliche, nicht dauerhafte usw.) Objekte zu erfassen und zu identifizieren. 1 veranschaulicht eine Person 125 mit einer grafischen Darstellung eines beispielhaften Identifikators 126. Der Identifikator 126 bezieht sich auf eine rechteckige Kontur, die als Überlagerung der Position der Person 125 dargestellt ist. Gemäß einer Ausführungsform kann das Bildverbesserungsmodul 110 einen oder mehrere Identifikatoren zu dem verbesserten Bild zur Darstellung durch die Anzeige 115 hinzufügen. Eine Fahrbahn kann eine oder mehrere Gefahren beinhalten, wie z. B. die Gefahr 130, die vom Fahrerassistenzsystem erfasst und identifiziert werden kann. Zu vom Bildverbesserungsmodul 110 erfassten Gefahren können Schlaglöcher, Bremsschwellen, Mittelstreifen usw. gehören.
Gemäß einer Ausführungsform kann das Bildverbesserungsmodul 110 dazu konfiguriert sein, feststehende Objekte zu erfassen, die allgemein als 135 dargestellt sind, und kann einen als 140 dargestellten Identifikator darstellen. Bestimmte große Elemente, wie z. B. eine Struktur 145, können ebenfalls vom Bildverbesserungsmodul 110 erfasst und/oder angezeigt werden. In 1 sind rechteckige Formen als Indikatoren abgebildet, es versteht sich jedoch, dass eines oder mehrere aus Schattierung, Färbung, Hervorhebung und Anzeige von grafischen Bildern als Indikatoren eingesetzt werden können.
2 zeigt ein Verfahren zur Bildverbesserung gemäß einer oder mehreren Ausführungsformen. Ein Verfahren 200 kann von einer Vorrichtung, wie z. B. einem Bildverbesserungsmodul (z. B. dem Bildverbesserungsmodul 110) eines Fahrerassistenzsystems eines Fahrzeugs (z. B. des Systems 100) und einer oder mehreren anderen Komponenten, eingesetzt werden, um Angaben von Objekten darzustellen. Gemäß einer Ausführungsform kann das Verfahren 200 dadurch begonnen werden, dass das Bildverbesserungsmodul des Fahrerassistenzsystems bei Block 205 Bilddaten empfängt, die einen Außenbereich eines Fahrzeugs darstellen. Bei Block 205 empfangene Bilddaten können sich auf Videodaten beziehen, die von einer nach vorn gerichteten Kamera des Fahrzeugs aufgenommen wurden. Das Bildverbesserungsmodul kann ausgewählte Einzelbilder oder sämtliche Einzelbilder von empfangenen Bilddaten zur Erfassung von Objekten charakterisieren. Das Verfahren 200 kann sich auf ein einzelnes Einzelbild oder mehrere Einzelbilder der empfangenen Bilddaten richten. In einigen Ausführungsformen können mehrere Einzelbilder parallel verarbeitet werden, um eine Echtzeitanzeige von erfassten Objekten bereitzustellen. In bestimmten Ausführungsformen schließen bei Block 205 empfangene Bilddaten Videodaten ein, die von einer am Körper tragbaren Vorrichtung, die mit einem Fahrer des Fahrzeugs assoziiert ist, aufgenommen werden.
Bei Block 210 werden empfangene Bilddaten invertiert, um invertierte Bilddaten zu bilden. In einer Ausführungsform beinhaltet das Invertieren bei Block 210 eine pixelweise Invertierung ganzer Einzelbilder der Bilddaten. Die Invertierung bei Block 210 und im hier verwendeten Sinne bezieht sich auf eine Farbinvertierung von Einzelbildern eines Bildes, sodass Farben von Einzelbildern eines Bildes invertiert sind. Beispielsweise werden weiße Pixel so invertiert, dass sie schwarz werden, und werden schwarze Pixel des Einzelbildes so invertiert, dass sie weiß werden, usw. Gemäß einer Ausführungsform werden Bilddaten invertiert, um dunkle Objekte oder Oberflächen besser zu erkennen.
Bei Block 215 führt das Bildverbesserungsmodul einen Enttrübungsvorgang an den invertierten Bilddaten durch, um verbesserte invertierte Bilddaten des Außenbereichs des Fahrzeugs zu erzeugen. Der Enttrübungsvorgang bei Block 215 beruht auf Szenenradianz, Medientransmission und Atmosphärenlicht der Bilddaten. Der Enttrübungsvorgang beinhaltet ein Bestimmen der Szenenradianz für die invertierten Videodaten auf Grundlage eines Anpassungsparameters für die Medientransmission. Auf Grundlage der Enttrübung bei Block 210 kann die Szenenradianz trotz eines oder mehrerer aus schlechten Sichtverhältnissen und Temperatureinwirkung auf Objekte festgestellt werden.
Bei Block 220 invertiert das Fahrerassistenzmodul die verbesserten invertierten Bilddaten, um verbesserte Bilddaten zu erzeugen. Bei Block 225 werden rekonstruierte Bilddaten aus den verbesserten Bilddaten erzeugt. Gemäß einer Ausführungsform beinhalten rekonstruierte Bilddaten ein Durchführen einer dünnen Darstellung der verbesserten Bilddaten zum Entrauschen der verbesserten Bilddaten und Durchführen eines Lernvorgangs zum Identifizieren und Verbessern von interessierenden Objekten in den verbesserten Bilddaten mit der dünnen Darstellung. In einer Ausführungsform nutzt die dünne Darstellung der verbesserten Bilddaten bestehende Grundelemente für Einzelbilder der Bilddaten oder leitet eine Kombination davon ab, sodass ein Dictionary of Atoms gebildet wird, um einen Rauschpegel für Grundelemente des Einzelbildes zu ändern. Der Lernvorgang wird durchgeführt, um interessierende Objekte in den verbesserten Bilddaten mit der dünnen Darstellung zu identifizieren und zu verbessern. Der Lernvorgang beinhaltet eine Identifizierung von Objekten in Einzelbildern, einen Vergleich und eine Anpassung von Objekten in Einzelbildern und eine Auswahl eines oder mehrerer Objekte, die in Einzelbildern der Bilddaten identifiziert werden sollen. Die dünne Darstellung und die Lernvorgänge werden auf Grundlage eines Vergleichs von mit den Bilddaten assoziierten Tageslichtbildern unter Verwendung einer Position des Fahrzeugs durchgeführt. Das Erzeugen rekonstruierter Bilddaten bei Block 225 auf Grundlage der verbesserten Bilddaten kann ein Stitchen von entrauschten Bilddaten aus der dünnen Darstellung mit vom Lernmodul identifizierten Objekten beinhalten.
Bei Block 230 gibt das Fahrerassistenzmodul die rekonstruierten Bilddaten an eine Anzeigeeinheit des Fahrzeugs aus. Das Ausgeben der rekonstruierten Bilddaten beinhaltet ein Überlagern mit Konturelementen, die mit für die rekonstruierten Bilddaten identifizierten Objekten assoziiert sind. Elemente des Verfahrens 200 können von Fahrerassistenzsystemen und Bildverbesserungsmodulen genutzt werden.
3 zeigt eine Darstellung eines Bildverbesserungsvorgangs gemäß einer oder mehreren Ausführungsformen. Bildverbesserungsfunktionen 300 können in einem Fahrzeug einhalten sein, um Objekte in Situationen mit schlechter Sicht zu erfassen und Fahrer darüber zu benachrichtigen. Merkmale und Vorgänge aus FIG. 3 können eingesetzt werden, um die Qualität von Bilddaten, die von einem Fahrzeugkamerasensor erfasst werden, deutlich zu verbessern. Gemäß einer Ausführungsform empfängt ein Bildverbesserungsmodul 305 Eingangsvideoeinzelbilder über einen Eingang 306. Verbesserte Bilddaten können mittels eines Ausgangs 345 ausgegeben werden.
Gemäß einer Ausführungsform invertiert das Bildverbesserungsmodul 305 ein empfangenes Videoeinzelbild bei Block 310. Die Invertierung des Videoeinzelbildes bei 310 kann ein Invertieren der Pixel eines Videoeinzelbildes beinhalten. Gemäß einer Ausführungsform bezieht sich Invertierung auf eine Farbinvertierung, wie z. B. Weiß zu Schwarz und Schwarz zu Weiß. Bei einem farbigen Eingangsbild I(x) (x steht für jedes Pixel) kann die pixelweise Invertierung berechnet werden als: $I {(X)}^{c} = 255 - I (X)$
Invertierte Bilddaten können dann durch Enttrüben bei Block 315 verbessert werden. Gemäß einer Ausführungsform beruht das Enttrüben bei Block 315 auf einer Dark Channel Prior (A-priori-Wahrscheinlichkeit eines Dunkelkanals), um Videos mit schwacher Beleuchtung und Videos mit hohem Dynamikumfang gemäß Folgendem zu verbessern: $J^{inv} (x) = (I^{inv} (x) - A) /t (x) + A$
wobei J^inv (x) für die Szenenradianz steht, t(x) für die Medientransmission steht, A für das globale Atmosphärenlicht steht: t(x) = 1,0 - w dunkel(x), und w für einen Parameter zum Anpassen des Wertes von t(x) steht. Gemäß einer Ausführungsform kann w adaptiv sein und kann auf Grundlage der Lichtintensität der Pixelbereiche im Bild berechnet werden. Dies kann nicht nur dazu verwendet werden, das Bild bei schwachem Licht zu verbessern, sondern kann auch verwendet werden, um eine Blendung durch Fernlicht von entgegenkommendem Verkehr zu verringern.
Enttrübte Bilddaten werden dann invertiert und zu einem Videoeinzelbild bei Block 320 verbessert. In einer Ausführungsform kann die Invertierung bei Block 320 gemäß Folgendem erreicht werden: $J (X) = 255 - J^{inv} (x)$
Ein Deep-Learning-Modul 325 arbeitet mit einem Dictionary-Learning-Modul 330 zur Rekonstruktion bei Block 340 zusammen. Gemäß einer Ausführungsform identifiziert das Deep-Learning-Modul 325 interessierende Objekte und verbessert Objekte. In einer Ausführungsform nutzt die Objektidentifizierung durch das Deep-Learning-Modul 325 einen oder mehrere Lernalgorithmen (z. B. Deep-Learning-Module), um interessierende Objekte wie Fußgänger/Tiere, Schlaglöcher/Schwellen, Verkehrszeichen, Bordsteinkanten usw. im Sichtfeld einer Fahrzeugkamera oder in Bildern einer am Körper tragbaren Vorrichtung zu finden. Das Objekt wird identifiziert, selbst wenn es aufgrund von schwachem Licht oder Verdeckung teilweise sichtbar ist. Das Deep-Learning-Modul 325 verbessert interessierende Objekte auf Grundlage eines Einzelbildvergleichs. Sobald ein Objekt identifiziert wird, werden weitere Deep-Learning-Algorithmen zum Verbessern des interessierenden Objekts verwendet. Das Objekt und/oder die grafischen Elemente können dann mit den ursprünglichen Bilddaten überlagert werden. Die Objektverbesserung kann eine Vorkenntnis zu statischen Objekten (Verkehrsschildern, Schlaglöchern usw.) aus verfügbaren Tageslichtbildern am selben Standort beinhalten.
Das Dictionary-Learning-Modul 330 ist dazu konfiguriert, ein Repräsentationslernen von Bilddaten durchzuführen. In einer Ausführungsform führt das Dictionary-Learning-Modul 330 ein dünnbesetztes Dictionary-Learning durch, um eine dünne Darstellung der Eingangsdaten (auch als Codierung bezeichnet) in Form einer linearen Kombination von Grundelementen sowie dieser Grundelemente selbst zu bestimmen. Die vom Dictionary-Learning-Modul 330 identifizierten Grundelemente können als Atome charakterisiert werden, aus denen das Dictionary besteht. Das Dictionary-Learning-Modul 330 kann ferner bestehende Bilder zu den GPS-Koordinaten (und dem Kurs) verwenden, um ein Dictionary für erfasste Bilddaten zu erstellen. Beispielsweise können Tageslichtbilder 335 bereitgestellt werden, sofern vorhanden. In bestimmten Ausführungsformen kann ein Entrauschen von Einzelbildern eines Bildes unter Verwendung eines Clustering-Algorithmus (z. B. KSVD-Clustering usw.) durchgeführt werden, wenn keine bestehenden Bilder vorhanden sind.
Gemäß einer Ausführungsform beziehen sich die Tageslichtbilder 335 auf Bilddaten, die bei unverminderter Sicht je nach dem Standort des Fahrzeugs (z. B. GPS-Daten, Fahrtrichtung) aufgenommen werden. Die Tageslichtbilder 335 können vom Deep-Learning-Modul 325 und Dictionary-Learning-Modul 330 genutzt werden.
Ein Rekonstruktionsmodul 340 empfängt die Ausgabe vom Deep-Learning-Modul 325 und Dictionary-Learning-Modul 330. Das Rekonstruktionsmodul 340 rekonstruiert entrauschte Bilddaten vom Dictionary-Learning-Modul 330 durch Stitchen von Objekten vom Deep-Learning-Modul 325. Die rekonstruierten Bilddaten werden dann als Videoeinzelbild 345 ausgegeben, um sie in Echtzeit an den Fahrer bereitzustellen.
4 zeigt eine grafische Darstellung eines Bildverbesserungsverfahrens gemäß einer oder mehreren Ausführungsformen. Gemäß einer Ausführungsform kann das Verfahren 400 von einem Bildverbesserungsmodul eines Fahrerassistenzsystems eingesetzt werden. Das Verfahren 400 kann auf Grundlage eines oder mehrerer Videoeinzelbilder bei Block 405 begonnen werden. Die Bilddaten werden dann durch pixelweise Invertierung bei Block 410 invertiert. Die Invertierung der Bilddaten kann auf Grundlage der Pixelfarbe und/oder monochromatischer Invertierung durchgeführt werden. Bei Block 415 wird eine Dark Channel Prior für das invertierte Bild berechnet. Das Atmosphärenlicht wird dann anhand des invertierten Bildes und des Dunkelkanals bei Block 420 geschätzt. Die Lichtdurchlässigkeit für das erfasste Bild wird unter Verwendung des invertierten Bildes und einer Lichtberechnung bei Block 425 geschätzt.
Bei Block 430 fährt das Verfahren 400 mit einem Feststellen der Szenenradianz unter Verwendung des invertierten Bildes, des geschätzten Atmosphärenlichts und der Transmission fort. Bei Block 435 wird das festgestellte Bild dann durch pixelweise Invertierung invertiert. Bei Block 435 festgestellte Bilddaten beziehen sich auf ein verbessertes Bild in Bezug auf die Beseitigung und/oder Korrektur eines oder mehrerer Effekte aus Atmosphärenlicht, Transmission und Enttrübung. Das Verfahren 400 kann dann das Bild weiter durch Dictionary-Learning-Vorgänge und Deep Learning des Bildinhalts verbessern.
Bei Entscheidungsblock 440 bestimmt das Verfahren 400, ob Tageslichtansichten verfügbar sind. Tageslichtbilder für einen Standort des Fahrzeugs können bei Block 445 erhalten werden. In bestimmten Ausführungsformen kann eine Fahrzeugkommunikation Tageslichtbilder für Standorte auf Grundlage einer Kommunikation mit einem Netzwerk anfordern. In anderen Ausführungsformen können Tageslichtbilder für bestimmte Routen gespeichert sein. Wenn Tageslichtbilder verfügbar sind (z. B. „JA“-Pfad ab Entscheidungsblock 440), wird ein Dictionary-Learning-Algorithmus bei Block 450 ausgeführt. Wenn keine Tageslichtbilder verfügbar sind (z. B. „NEIN“-Pfad ab Entscheidungsblock 440), wird ein Dictionary-Learning-Algorithmus bei Block 455 ausgeführt, um ein Dictionary zu erstellen. Das Verfahren 400 beinhaltet ferner Ausführen eines oder mehrerer Entrauschungs- und Bildfehlerkorrekturalgorithmen bei Block 465, wodurch verbesserte Bilddaten auf Grundlage des Dictionary Learnings erzeugt werden.
Ein Deep-Learning-Modul empfängt Bilddaten vom Block 435 bei Block 460 und identifiziert Objekte in den Bilddaten. In bestimmten Ausführungsformen kann das Deep-Learning-Modul ferner Tageslichtbilder für einen Standort von Block 445 empfangen. Bei Block 470 rekonstruiert das Verfahren 400 Bilddaten aus den Dictionary-Learning- und Deep-Learning-Verbesserungen. Verbesserte Videodaten können dann durch eine Fahrzeuganzeige, wie z. B. eine Frontscheibenanzeige, Blickfeldanzeige (Heads-Up-Display - HUD) oder Anzeige im Allgemeinen, bei Block 475 ausgegeben werden, und das Verfahren endet bei Block 480.
5 zeigt eine Systemdarstellung gemäß einer oder mehreren anderen Ausführungsformen. Das System 500 kann dazu konfiguriert sein, verbesserte Bilddaten gemäß einer oder mehreren Ausführungsformen anzuzeigen. Das System 500 kann ein Fahrerassistenzsystem 505 und eine externe Kamera 515 beinhalten. Die externe Kamera 515 bezieht sich auf eine externe, nach vorn gerichtete Kamera. In bestimmten Ausführungsformen kann das System 500 eine Peripherievorrichtung zur Erfassung von Bilddaten beinhalten. Wenn das System 500 eine Sekundärvorrichtung 520 beinhaltet, kann die externe Kamera 515 eingesetzt werden, wenn der Batteriestand der Sekundärvorrichtung 520 nicht dazu imstande ist, eingebaute Kameras zu betreiben, bei Benutzerpräferenz für eine nach vorn gerichtete Kamera oder wenn eine Tiefenwahrnehmung eines Objekts angefordert wird, kann die externe Kamera 515 mit Kameras der Sekundärvorrichtung 520 verwendet werden.
Das Fahrerassistenzsystem 505 kann Teil eines Infotainmentsystems eines Fahrzeugs sein und kann ein GPS-Modul 506 zum Erhalten von Positionsbestimmungs- und Kursdaten eines Fahrzeugs und ein Geschwindigkeitserfassungsmodul 507 zum Bestimmen der Fahrzeuggeschwindigkeit beinhalten. Das GPS-Modul 506 ermöglicht es, dass Fahrzeugpositionsbestimmungsdaten vom Fahrerassistenzsystem 505 empfangen werden. Das Geschwindigkeitserfassungsmodul 507 erfasst die Geschwindigkeit des Fahrzeugs und leitet Geschwindigkeitsinformationen an die Sekundärvorrichtung 520 über eine Kommunikationseinheit 510.
Ein Netzwerk-/Kommunikationssuchmodul 508 empfängt GPS-Informationen zum Suchen von Tageslichtansichten derselben Positionen. Die Dictionary-Learning- und Deep-Learning-Module des Bildverbesserungsmoduls 511 nutzen Tageslichtbilder zur Ansichtsrekonstruktion, sofern vorhanden. Das Netzwerk-/Kommunikationssuchmodul 508 kann Positions- und Geschwindigkeitsdaten empfangen, die zur Verbesserung von gesammelten Bilddaten verwendet werden sollen. Darüber hinaus kann das Netzwerk-/Kommunikationssuchmodul 508 Daten von einem externen Netzwerk, wie z. B. einem Mobilfunknetz 509, empfangen.
Das Kommunikationsmodul 510 ist dazu konfiguriert, Bilddaten von einer oder mehreren Sekundärvorrichtungen, wie z. B. der Vorrichtung 520, zu empfangen. Das Bildverbesserungsmodul 511 beinhaltet einen Prozessor 512 und einen Speicher 513. Ein Verarbeitungsmodul 514 kann dazu konfiguriert sein, Bilddaten von einer externen Kamera 515 zu empfangen und zu verarbeiten. Beispielsweise kann das Verarbeitungsmodul 514 Einzelbilder speichern und an das Bildverbesserungsmodul 511 bereitstellen. Das Verarbeitungsmodul 514 kann das Video von der Frontkamera verarbeiten und an das Sekundärsystem 520 über das Kommunikationsmodul 510 senden.
Ein Projektionsmodul 516 ist dazu konfiguriert, verbesserte Bilddaten an eine Anzeige 517 auszugeben. Die Anzeige 517 ist dazu konfiguriert, von einer externen Kamera 515 oder Sekundärvorrichtung 520 aufgenommene Bilddaten darzustellen.
Gemäß einer Ausführungsform beinhaltet das System 500 gegebenenfalls die Sekundärvorrichtung 520. Bei der Sekundärvorrichtung 520 kann es sich um eine am Körper tragbare Vorrichtung, wie z. B. ein intelligentes Brillensystem, handeln. Die Sekundärvorrichtung 520 beinhaltet Kameras 550, 555 (z. B. Kamera 1, Kamera 2), die dazu konfiguriert sind, Bilddaten im Verhältnis zur Sicht eines Fahrzeugführers zu erfassen. Ein Video-Stitcher 560 kombiniert die beiden Ansichten der Kameras 550, 555, um eine zusammengesetzte Ansicht zu erzeugen. Diese zusammengesetzte Ansicht kann eine Sicht des Fahrzeugführers nachbilden. Die Kameras 550, 555 können verwendet werden, um eine Tiefe von erfassten Bildern zu bestimmen. Ein Kommunikationsmodul 565 ermöglicht eine Datenübertragung von der Sekundärvorrichtung 520 zum Fahrerassistenzsystem 505. Die Sekundärvorrichtung 520 kann ferner eine Leistungsquelle 570 beinhalten.
6 zeigt eine grafische Darstellung einer Sekundärvorrichtung gemäß einer oder mehreren Ausführungsformen. Eine Sekundärvorrichtung 600 (z. B. die Sekundärvorrichtung 520) bezieht sich auf einen am Körper tragbaren Bilddetektor, der Echtzeitvideobilddaten bereitstellt. Die Sekundärvorrichtung 600 beinhaltet Kameras 605 und 610, die an einem Brillengestell angebracht sind, um die Ansicht eines Fahrzeugführers aufzunehmen. In bestimmten Ausführungsformen sind die Kameras 605 und 610 zu bis zu 30 fps (Einzelbildern pro Sekunde) fähig. Die Sekundärvorrichtung 600 kann ein Kommunikationsmodul beinhalten, das zur drahtlosen Kommunikation (z. B. WLAN usw.) konfiguriert ist, um eine Datenübertragung an eine Fahrzeugeinheit (z. B. ein Infotainmentsystem) zu ermöglichen. Die Kameras 605 und 610 können eine Echtzeitvideoaufnahme bereitstellen.
7 zeigt eine grafische Darstellung von Bilddaten gemäß einer oder mehreren Ausführungsformen. Gemäß einer Ausführungsform werden eine Bildverbesserungsvorrichtung und Bildverbesserungsverfahren, die hier beschrieben sind, in Bezug auf Einzelbilder erörtert. Es versteht sich, dass die hier beschriebenen Verfahren und Vorrichtungen mit vielen Einzelbildern des Videobildes arbeiten, um verbesserte Bilddaten zu erzeugen, die als Sammlung von verbesserten Einzelbildern dargestellt werden. 7 zeigt eine beispielhafte visuelle Beschreibung der Bildverbesserung. Ein Bild 705 bezieht sich auf von einer Kamera bei schlechter Sicht erfasste Bilddaten. Das Bild 705 kann einen Bereich 720 mit geringem visuellen Detailgrad, der dunkel erscheint, oder mit geringen Pixelunterschieden beinhalten. Gemäß den hier beschriebenen Verfahren und Vorrichtungen kann das Bild 705 durch eines oder mehrere aus Enttrüben und Entrauschen verbessert werden. Verbesserte Bilddaten in Reaktion auf ein Entrauschen können an ein Deep-Learning-Modul bereitstellt werden, um Objekte zu erfassen.
Ein Bild 710 stellt eine Objekterfassung mittels Deep Learning dar, wobei ein Objekt 725 im Bereich 720 identifiziert wird. Das Objekt 725 kann auf Grundlage einer oder mehrere Inferenzen für Reihen von Bildern erfasst werden. Auf Grundlage von erfassten Objekten und verbesserten Bildern kann ein Bild 715 dargestellt werden, wobei der Inhalt des Bildes im Ganzen verbessert und entrauscht ist. Darüber hinaus sind Objekte, die im Einzelbild erfasst werden, wie z. B. das Objekt 725, in den Bilddaten enthalten.
8 zeigt ein Ablaufdiagramm einer Bildverbesserung bei schwachem Licht gemäß einer oder mehreren Ausführungsformen. Das Verfahren 800 bezieht sich auf den Betrieb einer Fahrzeugeinheit, einschließlich einer am Körper tragbaren Vorrichtung, wie z. B. einer intelligenten Brille 802, und eine Fahrzeugeinheit 803, einschließlich einer Bildverbesserungseinheit. Eine intelligente Brille 802 beinhaltet ein Bild-Stitcher-Element 805, Kameras 810 und ein am Körper tragbares Kommunikationsmodul 815. Die Fahrzeugeinheit 803 beinhaltet ein Fahrzeugkommunikationsmodul 820, ein Bildverbesserungsmodul 825, ein Online-Suchmodul 830, ein Geschwindigkeitserfassungsmodul 835, eine GPS-Einheit 840, ein Deep-Learning-Modul 845 und eine Projektionseinheit 850.
Das Verfahren 800 bezieht sich auf einen beispielhaften Ablauf zur Kommunikation und zum Betrieb einer intelligenten Brille 802 und einer Fahrzeugeinheit 803. Das Verfahren 800 kann durch eine Erfassung von schwachem Licht bei Block 801 begonnen werden. In Reaktion darauf aktiviert der Bild-Stitcher 805 die Kameras 810, dargestellt als 851. Das Geschwindigkeitserfassungsmodul 835 stellt Fahrzeuggeschwindigkeitsinformationen an die Kameras 810 bereit, dargestellt als 852. Der Bild-Stitcher 805 stellt dann die Einzelbildfrequenz (z. B. Einzelbilder pro Sekunde) der Kameras 810 ein, dargestellt als 853. Die Kameras 810 stellen einen Videostrom an den Bild-Stitcher 805 bereit, dargestellt als 854. Der Bild-Stitcher 805 stellt zusammengesetzte Videoeinzelbilder an das am Körper tragbare Kommunikationsmodul 815 bereit, dargestellt als 855.
Das am Körper tragbare Kommunikationsmodul 815 überträgt das Video an das Kommunikationsmodul 820, dargestellt als 856, das dann die Daten an das Bildverbesserungsmodul 825 überträgt, dargestellt als 857. Das Verfahren 800 fährt damit fort, dass das Bildverbesserungsmodul 825 Bilddaten an das Deep-Learning-Modul 845 bereitstellt, dargestellt als 858.
Ein Dictionary-Modul des Bildverbesserungsmoduls 825 fordert Tagesbilder an, dargestellt als 859. Das Online-Suchmodul 830 fordert GPS-Daten von dem Geschwindigkeitserfassungsmodul 835 an, dargestellt als 860. Die GPS-Daten werden an das Online-Suchmodul 830 zurückgegeben, dargestellt als 861. Tageslichtbilder werden wiederum an das Bildverbesserungsmodul 825 bereitgestellt, dargestellt als 862. Das Bildverbesserungsmodul 825 projiziert dann verbesserte Bilddaten zur Projektionseinheit 850, dargestellt als 863.
9 zeigt eine grafische Darstellung von Deep Learning gemäß einer oder mehreren Ausführungsformen. Ein Verfahren 900 ist eine grafische Darstellung eines Deep-Learning-Prozesses gemäß einer oder mehreren Ausführungsformen. Gemäß einer Ausführungsform wird ein Eingangsbild 905 an ein Deep-Learning-Modul 910 bereitgestellt. Das Deep-Learning-Modul ist dazu konfiguriert, eine oder mehrere Vorgänge am Eingangsbild 905 durchzuführen, um verbesserte Bilder mit einer Identifizierung von interessierende Objekten auszugeben. In einer Ausführungsform gibt das Deep-Learning-Modul 910 ein Bild 915 aus, das sich auf eine Ausgabe eines verbesserten Bildes mit einem hervorgehobenen interessierenden Objekt 916 bezieht. Gemäß einer anderen Ausführungsform gibt das Deep-Learning-Modul 910 ein Bild 920 aus, das sich auf eine Ausgabe eines verbesserten Bildes mit einem hervorgehobenen und eingefärbten interessierenden Objekt 921 bezieht. Wie in 9 dargestellt, beinhalten die Bilder 915 und 920 eine Aufhellung im Vergleich zum Bild 905, die auf mehr als nur einer Helligkeitseinstellung einer Anzeige beruht. Ein oder mehrere hier beschrieben Verbesserungsverfahren können eingesetzt werden, um aufgenommene Bilddaten zur Anzeige und/oder zum Darstellen einer Anzeige von Objekten, die von einer Kamera des Fahrzeugs erfasst werden, zu verbessern.
10 zeigt ein Ablaufdiagramm von Deep Learning gemäß einer oder mehreren Ausführungsformen. Ein Verfahren 1000 kann sich auf den Betrieb eines Deep-Learning-Moduls gemäß einer oder mehreren Ausführungsformen beziehen. Das Verfahren 1000 kann durch Empfangen invertierter und verbesserter Videoeinzelbilder bei Block 1005 begonnen werden. Beispielhafte Vorgänge oder Funktionen eines Deep-Learning-Moduls sind allgemein als 1010 dargestellt, wobei das Deep-Learning-Modul verschiedene Funktionen und Stufen zur Verarbeitung von Bilddaten bereitstellen kann.
Gemäß einer Ausführungsform beinhalten die Deep-Learning-Module ein neuronales Faltungsnetz 1015, das mehrere Schichten beinhaltet, die Abschnitte eines invertierten und verbesserten Videoeinzelbildes 1005 verarbeiten. Das neuronale Faltungsnetz 1015 ist dazu konfiguriert, Einzelbilder eines Bildes zu analysieren und maschinelles Lernen an Bildinhalten, einschließlich Pixelvergleich, und Lernprotokolle mit Einzelbildüberlappung zur Unterscheidung von Objekten durchzuführen. Das neuronale Faltungsnetz 1015 kann dazu konfiguriert sein, Ausgaben von Bildsammlungen so zu bearbeiten, dass sich Eingabebereiche überlappen. Die Bildsammlungen können eingesetzt werden, um eine Regressionsschicht 1020 zu erzeugen. Eine bessere Darstellung des ursprünglichen Bildes kann dann für das invertierte und verbesserte Videoeinzelbild 1005 als rekonstruiertes Bild 1050 erzeugt werden. Unter Verwendung einer Regressionsschicht kann das Deep-Learning-Modul die Qualität von Videoeinzelbildern verbessern, um Objekte und Abschnitte des Bildes, die in einem Fahrerassistenzsystem angezeigt werden sollen, wie z. B. eine Fahrbahn, besser zu identifizieren.
Gemäß einer anderen Ausführungsform kann ein Deep-Learning-Modul grafische Elemente als eine Anzeige von Objekten und ihrer Position anzeigen. In einer Ausführungsform stellt das Deep-Learning-Modul eine rechteckige Kontur oder einen Begrenzungsrahmen für erfasste Objekte dar. Das neuronale Faltungsnetz 1015 kann dazu konfiguriert sein, das invertierte und verbesserte Videoeinzelbild 1005 zu empfangen und Merkmale in den Einzelbildern zu identifizieren. Eine Objektklassifizierungsschicht 1030 erfasst und klassifiziert Objekte gemäß einem oder mehreren Objekttypen, wie z. B. darzustellende Objekte, zu ignorierende Objekte usw. Eine Objekterfassungsschicht 1035 erzeugt die Anzeigeattribute und Position für grafische Elemente, um erfasste Objekte zu kennzeichnen und/oder hervorzuheben. Gemäß einer Ausführungsform gibt die Objektklassifizierungsschicht 1030 erfasste Objektklassen aus und gibt die Objekterfassungsschicht 1030 Koordinaten von Anzeigeelementen (z. B. Rahmenkoordinaten) zur Objektklasse mit einem Begrenzungsrahmenmodul 1055 aus. Die Begrenzungsrahmen werden dann dem rekonstruierten Bild 1050 hinzugefügt, um ein Bild 1060 mit Begrenzungsrahmen (z. B. farbigen Rahmen, grafischen Elementen usw.) zu bilden, um erfasste Objekte anzugeben.
Gemäß einer anderen Ausführungsform kann ein Deep-Learning-Modul Pixelattribute eines Bildes modifizieren, um eine Färbung für erfasste Objekte bereitzustellen. Das erfasste Objekt kann z. B. als in eine Anzeige des Fahrerassistenzsystems mit einer Farbe oder einem Muster, wie z. B. einer hellen Farbe (z. B. Gelb, Grün usw.), eingezeichnet erscheinen. Die Färbung kann dazu beitragen, einen allgemeinen Umriss und ein Bewegungsmuster von erfassten Objekten bereitzustellen. Das neuronale Faltungsnetz 1015 kann dazu konfiguriert sein, das invertierte und verbesserte Videoeinzelbild 1005 zu empfangen und Objektmerkmale in den Einzelbildern zu identifizieren. Je Pixel kann eine Klassifizierungsschicht 1045 dazu konfiguriert sein, Pixel auszugeben, die mit erfassten Objekten klassifiziert sind. Bei Block 1065 kann jedes Pixel in dem Bild gekennzeichnet werden. In bestimmten Ausführungsformen beinhaltet das Kennzeichnen ein Hinzufügen einer Färbung zu Pixeln, die als mit einem erfassten Objekt assoziiert gekennzeichnet werden. Die Färbung wird dann dem Bild 1060 hinzugefügt, um ein Bild 1070 mit gelben Begrenzungsrahmen und eingefärbten Pixeln zu bilden, um erfasste Objekte anzugeben.
Während diese Offenbarung unter Bezugnahme auf Ausführungsbeispiele davon näher veranschaulicht und beschrieben wurde, liegt für den Fachmann auf der Hand, dass verschiedene Änderungen an Form und Details vorgenommen werden können, ohne vom Umfang der beanspruchten Ausführungsformen abzuweichen.

Claims

Verfahren zur Bilddarstellung durch ein Fahrerassistenzmodul eines Fahrzeugs, wobei das Verfahren umfasst: Empfangen von Bilddaten, die einen Außenbereich eines Fahrzeugs darstellen, durch ein Fahrerassistenzmodul; Invertieren der Bilddaten durch das Fahrerassistenzmodul, um invertierte Bilddaten zu bilden; Durchführen eines Enttrübungsvorgangs an invertierten Bilddaten durch das Fahrerassistenzmodul, um verbesserte invertierte Bilddaten des Außenbereichs des Fahrzeugs zu erzeugen, wobei der Enttrübungsvorgang auf Szenenradianz, Medientransmission und Atmosphärenlicht der Bilddaten beruht; Invertieren der verbesserten invertierten Bilddaten durch das Fahrerassistenzmodul, um verbesserte Bilddaten zu erzeugen; Erzeugen rekonstruierter Bilddaten aus den verbesserten Bilddaten durch das Fahrerassistenzmodul, wobei die rekonstruierten Bilddaten erzeugt werden durch Durchführen einer dünnen Darstellung der verbesserten Bilddaten zum Entrauschen der verbesserten Bilddaten und Durchführen eines Lernvorgangs zum Identifizieren und Verbessern von interessierenden Objekte in den verbesserten Bilddaten mit der dünnen Darstellung; und Ausgeben der rekonstruierten Bilddaten an eine Anzeigeeinheit des Fahrzeugs durch das Fahrerassistenzmodul.
Verfahren nach Anspruch 1, wobei die Bilddaten, welche einen Außenbereich eines Fahrzeugs darstellen, Videodaten beinhalten, die von einer nach vorn gerichteten Kamera des Fahrzeugs aufgenommen werden.
Verfahren nach Anspruch 1, wobei die Bilddaten, welche einen Außenbereich eines Fahrzeugs darstellen, Bilddaten beinhalten, die von einer am Körper tragbaren Vorrichtung, die mit einem Fahrer des Fahrzeugs assoziiert ist, aufgenommen werden.
Verfahren nach Anspruch 1, wobei das Invertieren eine pixelweise Invertierung ganzer Einzelbilder der Bilddaten beinhaltet.
Verfahren nach Anspruch 1, wobei der Enttrübungsvorgang ein Bestimmen der Szenenradianz für die invertierten Videodaten auf Grundlage eines Anpassungsparameters für die Medientransmission beinhaltet.
Verfahren nach Anspruch 1, wobei die dünne Darstellung der verbesserten Bilddaten bestehende Grundelemente für Einzelbilder der Bilddaten nutzt oder eine Kombination davon ableitet, sodass ein Dictionary of Atoms gebildet wird, um einen Rauschpegel für Grundelemente des Einzelbildes zu ändern.
Verfahren nach Anspruch 1, wobei das Durchführen eines Lernvorgangs zum Identifizieren und Verbessern von interessierenden Objekten in den verbesserten Bilddaten mit der dünnen Darstellung eine Identifizierung von Objekten in Einzelbildern, einen Vergleich und eine Anpassung von Objekten in Einzelbildern und eine Auswahl eines oder mehrerer Objekte, die in Einzelbildern der Bilddaten identifiziert werden sollen, beinhaltet.
Verfahren nach Anspruch 1, wobei die dünne Darstellung und der Lernvorgang auf Grundlage eines Vergleichs eines mit den Bilddaten assoziierten Tageslichtbildes unter Verwendung einer Position des Fahrzeugs durchgeführt werden.
Verfahren nach Anspruch 1, wobei das Erzeugen rekonstruierter Bilddaten auf Grundlage der verbesserten Bilddaten ein Stitchen von entrauschten Bilddaten aus der dünnen Darstellung mit vom Lernmodul identifizierten Objekten beinhaltet.
Verfahren nach Anspruch 1, wobei das Ausgeben der rekonstruierten Bilddaten ein Überlagern mit Konturelementen, die mit für die rekonstruierten Bilddaten identifizierten Objekten assoziiert sind, beinhaltet.
Fahrerassistenzmodul eines Fahrzeugs, umfassend: ein Eingabemodul zum Empfangen von Bilddaten, die einen Außenbereich eines Fahrzeugs darstellen; ein Ausgabemodul; und ein Bildverbesserungsmodul, das mit dem Eingabemodul und Ausgabemodul gekoppelt ist, wobei das Bildverbesserungsmodul einen Prozessor beinhaltet, der konfiguriert ist zum Invertieren der Bilddaten, um invertierte Bilddaten zu bilden; Durchführen eines Enttrübungsvorgangs an invertierten Bilddaten, um verbesserte invertierte Bilddaten des Außenbereichs des Fahrzeugs zu erzeugen, wobei der Enttrübungsvorgang auf Szenenradianz, Medientransmission und Atmosphärenlicht der Bilddaten beruht; Invertieren der verbesserten invertierten Bilddaten, um verbesserte Bilddaten zu erzeugen; Erzeugen rekonstruierter Bilddaten aus den verbesserten Bilddaten, wobei die rekonstruierten Bilddaten erzeugt werden durch Durchführen einer dünnen Darstellung der verbesserten Bilddaten zum Entrauschen der verbesserten Bilddaten und Durchführen eines Lernvorgangs zum Identifizieren und Verbessern von interessierenden Objekte in den verbesserten Bilddaten mit der dünnen Darstellung; und Steuern des Ausgabemoduls derart, dass es die rekonstruierten Bilddaten an eine Anzeigeeinheit des Fahrzeugs ausgibt.
Vorrichtung nach Anspruch 11, wobei die Bilddaten, welche einen Außenbereich eines Fahrzeugs darstellen, Videodaten beinhalten, die von einer nach vorn gerichteten Kamera des Fahrzeugs aufgenommen werden.
Vorrichtung nach Anspruch 11, wobei die Bilddaten, welche einen Außenbereich eines Fahrzeugs darstellen, Videodaten beinhalten, die von einer am Körper tragbaren Vorrichtung, die mit einem Fahrer des Fahrzeugs assoziiert ist, aufgenommen werden.
Vorrichtung nach Anspruch 11, wobei das Invertieren eine pixelweise Invertierung ganzer Einzelbilder der Bilddaten beinhaltet.
Vorrichtung nach Anspruch 11, wobei der Enttrübungsvorgang ein Bestimmen der Szenenradianz für die invertierten Bilddaten auf Grundlage eines Anpassungsparameters für die Medientransmission beinhaltet.
Vorrichtung nach Anspruch 11, wobei die dünne Darstellung der verbesserten Bilddaten bestehende Grundelemente für Einzelbilder der Bilddaten nutzt oder eine Kombination davon ableitet, sodass ein Dictionary of Atoms gebildet wird, um einen Rauschpegel für Grundelemente des Einzelbildes zu ändern.
Vorrichtung nach Anspruch 11, wobei das Durchführen eines Lernvorgangs zum Identifizieren und Verbessern von interessierenden Objekten in den verbesserten Bilddaten mit der dünnen Darstellung eine Identifizierung von Objekten in Einzelbildern, einen Vergleich und eine Anpassung von Objekten in Einzelbildern und eine Auswahl eines oder mehrerer Objekte, die in Einzelbildern der Bilddaten identifiziert werden sollen, beinhaltet.
Vorrichtung nach Anspruch 11, wobei die dünne Darstellung und der Lernvorgang auf Grundlage eines Vergleichs eines mit den Bilddaten assoziierten Tageslichtbildes unter Verwendung einer Position des Fahrzeugs durchgeführt werden.
Vorrichtung nach Anspruch 11, wobei das Erzeugen rekonstruierter Bilddaten auf Grundlage der verbesserten Bilddaten ein Stitchen von entrauschten Bilddaten aus der dünnen Darstellung mit vom Lernmodul identifizierten Objekten beinhaltet.
Vorrichtung nach Anspruch 11, wobei das Ausgeben der rekonstruierten Bilddaten ein Überlagern mit Konturelementen, die mit für die rekonstruierten Bilddaten identifizierten Objekten assoziiert sind, beinhaltet.