-
Die Erfindung betrifft ein Maschinenlernmodell, Verfahren, Computerprogramm und ein ausfallsicheres System zur sicheren Bildverarbeitung bei Erkennung lokaler und/oder globaler Bilddefekte und/oder interner Defekte wenigstens eines Bildgebungssensors eines Fahrzeug-Wahrnehmungssystems. Ferner betrifft die Erfindung ein automatisiert betreibbares Fahrsystem.
-
Beim automatisierten Fahren ist die Gültigkeit der Sensordaten entscheidend, insbesondere in einem Live-Betrieb eines Fahrzeuges. Eine blockierte oder verschmutzte Kameralinse im Live-Betrieb an einer kamerabasierten Wahrnehmung kann zu Falsch-Negativ-Detektionen und damit zu tödlichen Unfällen führen.
-
Die deutsche Anmeldung
10 2021 208 423.0 offenbart ein Konzept zur Untersuchung eines Wahrnehmungsfeldes eines Sensors auf jede Art von Behinderung in autonomen Fahrplattformen. Das Konzept umfasst die Schritte: Aufnehmen eines Bildes mit dem Bildgebungssensors; Aufteilen des Bildes in Teilbilder; Prozessieren der Teilbilder mit einem Klassifikationsalgorithmus, der mit entsprechend gekennzeichneten Bildern datengetrieben gelernt hat, Kontaminationen zu erkennen und die Bilder in kontaminierte und nicht kontaminierte Bilder zu klassifizieren; Klassifizieren jedes der Teilbilder mit dem Klassifikationsalgorithmus; Erzeugen eines Hinweissignals bei als kontaminiert klassifizierten Teilbildern und mit diesem Signalisieren, dass der Bildgebungssensor kontaminiert ist und vor einer weiteren Aufnahme auf die Kontamination zu überprüfen ist.
-
Die
US 2018/0211118 A1 offenbart ein Visionssystem für ein Fahrzeug umfassend eine Kamera. Ein Prozessor kann Bilddaten verarbeiten, die von der Kamera erfasst werden. Das Visionssystem legt fest, unter welchen Bedingungen die Verarbeitung der erfassten Bilddaten aufgrund von Umgebungsbedingungen die Leistung beeinträchtigt. Das Visionssystem, das auf einen bestimmten Zustand reagiert, bestimmt einen sicheren Zustand für die Bildverarbeitung der erfassten Bilddaten für diesen ermittelten Zustand. Ein fehlersicherer Algorithmus, der auf die Verarbeitung der von der Kamera erfassten Bilddaten reagiert und auf den ermittelten Zustand reagiert, und in Übereinstimmung mit dem ermittelten sicheren Zustand für diesen ermittelten Zustand, ermittelt Wahr- Negativ-Detektionen und vermeidet Falsch-Positiv- und Falsch-Negativ-Detektionen.
-
Die
US 9,185,360 B2 offenbart ein an einem Fahrzeug angebrachtes System zur Erkennung eines Hindernisses an einer Oberfläche eines Fensters des Fahrzeugs, wobei hinter dem Fenster eine Primärkamera im Fahrzeug angebracht ist. Die Primärkamera ist so konfiguriert, dass sie Bilder der Umgebung über das Fenster aufnimmt. Eine Sekundärkamera konzentriert sich auf eine Außenfläche des Fensters und bildet die Behinderung ab. Ein Teil des Fensters, d.h. der Fensterbereich, wird jeweils durch das Sichtfeld der Primärkamera und das Sichtfeld der Sekundärkamera unterteilt. Ein Prozessor verarbeitet entsprechende Abläufe von Bilddaten sowohl von der Primärkamera als auch von der Sekundärkamera.
-
Die
US 2019/0138821 A1 offenbart ein System und Methoden zur Erkennung von Blockaden in Bildern. Eine Methode kann das Empfangen einer Vielzahl von Bildern umfassen, die von einer Kamera aufgenommen wurden, die auf einem Fahrzeug installiert ist. Die Methode kann die Identifizierung eines oder mehrerer blockierter Kandidatenbereiche umfassen. Jeder von den Kandidaten blockierte Bereich kann Bilddaten enthalten, die durch Blockierungen im Sichtfeld der Kamera verursacht werden. Die Methode kann auch die Zuordnung von Blockadewerten zu einem oder mehreren blockierten Kandidatenbereichen auf der Grundlage von Regionszuordnungen zwischen einem oder mehreren blockierten Kandidatenbereichen in der Vielzahl von Bildern umfassen. Als Reaktion auf die Feststellung, dass eine der Blockierungswerte eine vorgegebene Blockierungsschwelle überschreitet, kann das Verfahren die Übertragung eines Blockierungsalarms an das Fahrzeug umfassen.
-
Weiteren Stand der Technik offenbaren die
US 10,339,812 B2 ,
US 2013/0308004 A1 ,
US 2017/0193641 A1 ,
EP 3 336 747 A1 ,
US 2014/0293079 A1 ,
US 8,243,166 B2 , Li et al. in „Defect inspection and extraction of the mobile phone cover glass based on principle component analysis“, The International Journal of Advanced Manufacturing Technology 73.9-12 (2014): 1605-1614.
-
Aufgabe der Erfindung war es, wie ein Fahrzeug-Wahrnehmungssystem gegen Ausfall aufgrund von Sensorblockaden, Unschärfen in Szenarien und/oder Sensorausfällen abgesichert werden kann.
-
Die Gegenstände der Ansprüche 1, 3, 8, 9 und 12 lösen jeweils diese Aufgabe. Vorteilhafte Ausgestaltungen der Erfindung ergeben sich aus den Definitionen, den Unteransprüchen, den Zeichnungen und der Beschreibung bevorzugter Ausführungsbeispiele.
-
Nach einem Aspekt stellt die Erfindung ein Maschinenlernmodell bereit zur sicheren Bildverarbeitung bei Erkennung lokaler und/oder globaler Bilddefekte und/oder interner Defekte wenigstens eines Bildgebungssensors eines Fahrzeug-Wahrnehmungssystems. Eingangsschichten des Maschinenlernmodells erhalten ein Bild aufgenommen mit dem Bildgebungssensor. Das Maschinenlernmodell umfasst mehrere Verzweigungs-Maschinenlernmodelle. Ein erstes Verzweigungs-Maschinenlernmodell, das mit entsprechend gekennzeichneten Bildern datengetrieben trainiert wurde, die lokalen Bilddefekte basierend auf Blockierungen des Bildgebungssensors und/oder defekten Bereichen aufgrund von Unschärfen und/oder Hintergrund Teilbild-weise zu erkennen, verarbeitet das Bild und gibt eine Segmentierung des Bildes mit nach den lokalen Bilddefekten klassifizierten Teilbildern aus. Ein zweites Verzweigungs-Maschinenlernmodell, das mit entsprechend gekennzeichneten Bildern datengetrieben trainiert wurde, die globalen Bilddefekte umfassend Defekte aufgrund von Umweltszenarien zu erkennen, verarbeitet das Bild und gibt die erkannten globalen Bilddefekte aus. Ein drittes Verzweigungs-Maschinenlernmodell, das mit entsprechend gekennzeichneten Bildern datengetrieben trainiert wurde, die internen Defekte des Bildgebungssensors umfassend Defekte in einem optischen System des Bildgebungssensors und/oder Beschläge auf dem optischen System zu erkennen, verarbeitet das Bild und gibt die erkannten internen Defekte des Bildgebungssensors aus.
-
Das Maschinenlernmodell kann eine Bildqualität bestimmen, wobei die Bildqualität daran gemessen wird, ob das Bild auf Teilbildebene und/oder Bildebene frei von Bilddefekten ist. Basierend auf der Bildqualität kann das Bild mittels des Fahrzeug-Wahrnehmungssystems verarbeitet werden, falls die Bildqualität für das Bild in einem vorgegebenen Bereich liegt.
-
Die Verarbeitung mittels des Fahrzeug-Wahrnehmungssystems umfasst Erkennen, Klassifizieren, Lokalisieren und/oder Tracken von statischen und/oder dynamischen Objekten.
-
Das Maschinenlernmodell kann ein viertes Verzweigungs-Maschinenlernmodell umfassen, das mit entsprechend gekennzeichneten Bildern datengetrieben trainiert wurde, in Fehler- und/oder Nicht-Fehlerszenarien einen Sichtbarkeitsabstand und/oder einen Fehler-Schweregrad zu bestimmen, und das Bild verarbeitet und den Sichtbarkeitsabstand und/oder Fehler-Schweregrad ausgibt.
-
Nach einem weiteren Aspekt stellt die Erfindung ein Verfahren bereit zur sicheren Bildverarbeitung bei Erkennung lokaler und/oder globaler Bilddefekte und/oder interner Defekte wenigstens eines Bildgebungssensors eines Fahrzeug-Wahrnehmungssystems. Das Verfahren umfasst die Schritte:
- • Aufnehmen eines Bildes mit dem Bildgebungssensors;
- • Verarbeiten des Bildes mit einem Maschinenlernmodell zum Erkennen der Defekte umfassend mehrere Verzweigungs-Maschinenlernmodelle, wobei
- ◯ ein erstes Verzweigungs-Maschinenlernmodell, das mit entsprechend gekennzeichneten Bildern datengetrieben trainiert wurde, die lokalen Bilddefekte basierend auf Blockierungen des Bildgebungssensors und/oder defekten Bereichen aufgrund von Unschärfen und/oder Hintergrund Teilbild-weise zu erkennen, das Bild verarbeitet und eine Segmentierung des Bildes mit nach den lokalen Bilddefekten klassifizierten Teilbildern ausgibt;
- ◯ ein zweites Verzweigungs-Maschinenlernmodell, das mit entsprechend gekennzeichneten Bildern datengetrieben trainiert wurde, die globalen Bilddefekte umfassend Defekte aufgrund von Umweltszenarien zu erkennen, das Bild verarbeitet und die erkannten globalen Bilddefekte ausgibt;
- ◯ ein drittes Verzweigungs-Maschinenlernmodell, das mit entsprechend gekennzeichneten Bildern datengetrieben trainiert wurde, die internen Defekte des Bildgebungssensors umfassend Defekte in einem optischen System des Bildgebungssensors und/oder Beschläge auf dem optischen System zu erkennen, das Bild verarbeitet und die erkannten internen Defekte des Bildgebungssensors ausgibt;
- • Auswerten der Ausgaben des Maschinenlernmodells und Bestimmen einer Bildqualität, wobei die Bildqualität jeweils daran gemessen wird, ob das Bild auf Teilbildebene und/oder Bildebene frei von Bilddefekten ist;
- • Verarbeiten des Bildes mittels des Fahrzeug-Wahrnehmungssystems, falls die Bildqualität für das Bild oder die einzelnen Teilbilder in einem vorgegebenen Bereich liegt.
-
Das Verfahren kann computerimplementiert sein.
-
Nach einem weiteren Aspekt stellt die Erfindung ein Computerprogramm bereit zur sicheren Bildverarbeitung bei Erkennung lokaler und/oder globaler Bilddefekte und/oder interner Defekte wenigstens eines Bildgebungssensors eines Fahrzeug-Wahrnehmungssystems. Das Computerprogramm umfasst Befehle, die bewirken, dass ein Computer die Schritte eines erfindungsgemäßen Verfahrens ausführt, wenn der Computer das Computerprogramm ausführt.
-
Die Befehle des erfindungsgemäßen Computerprogramms umfassen Maschinenbefehle, Quelltext oder Objektcode geschrieben in Assemblersprache, einer objektorientierten Programmiersprache, beispielsweise C++, oder in einer prozeduralen Programmiersprache, beispielsweise C. Das Computerprogramm ist nach einem Aspekt der Erfindung ein Hardware unabhängiges Anwendungsprogramm, das beispielsweise über den Datenträger oder das Datenträgersignal, nach einem Aspekt mittels Software Over The Air Technologie, für eine beliebige Hardware bereitgestellt wird, beispielsweise über eine Middleware. Nach einem weiteren Aspekt ist das Computerprogramm ein Hardware abhängiges Programm, beispielsweise eine Firmware eines Steuermoduls des autonomen Fahrsystems. Der Datenträger umfasst flüchtige Speicher, beispielsweise RAM, DRAM, SRAM, und nichtflüchtige Speicher, beispielsweise ROM, Flash-EEPROM. Die Datenträger sind beispielsweise Flash-Speicherkarten, USB-Sticks. Nach einem Aspekt der Erfindung wird der Datenträger an ein In/Out System eines Mikrocontrollers des autonomen Fahrsystems angeschlossen und überträgt das Computerprogramm in den Mikrocontroller.
-
Nach einem weiteren Aspekt stellt die Erfindung ein ausfallsicheres System bereit zur sicheren Bildverarbeitung bei Erkennung lokaler und/oder globaler Bilddefekte und/oder interner Defekte wenigstens eines Bildgebungssensors eines Fahrzeug-Wahrnehmungssystems. Das System umfasst
- • eine erste Schnittstelle zu dem Bildgebungssensor, über die ein mit dem Bildgebungssensor aufgenommenes Bild erhalten wird;
- • ein Hardwaremodul, das das erhaltene Bild einliest, auf dem Bild lokale und/oder globale Bilddefekte und/oder interner Defekte des Bildgebungssensors erkennt und basierend auf einer Auswertung der erkannten Defekte eine Bildqualität hinsichtlich der sicheren Bildverarbeitung des Bildes durch ein Fahrzeug-Wahrnehmungssystem bestimmt;
- • eine zweite Schnittstelle, über die das Hardwaremodul dem Fahrzeug-Wahrnehmungssystem das Bild bereitstellt, falls die Bildqualität in einem vorgegebenen Bereich liegt.
-
Das Hardwaremodule kann eine oder mehrere Prozessiereinheiten, beispielsweise Zentralrechner, Graphikprozessoren, integrierte Schaltungen, ASICs, FPGAs, und ein oder mehrere Speichermodule umfassen. Nach einem Aspekt ist das Hardwaremodul ein System-on-Chip.
-
Nach einem weiteren Aspekt stellt die Erfindung ein automatisiert betreibbares Fahrsystem bereit umfassend ein Fahrzeug-Wahrnehmungssystem und ein erfindungsgemäßes System.
-
Automatisiert betreibbares Fahrsystem bezeichnet die Komponenten und Funktionalitäten eines automatisiert betreibbaren Fahrzeuges auf Systemebene als auch das automatisiert betreibbare Fahrzeug als solches. Automatisiert betreibbare Fahrsysteme umfassen autonom betreibbare Fahrsysteme und autonome Fahrzeuge.
-
Beim automatisierten/autonomen Fahren spielt die kamerabasierte Objekterkennung eine wichtige Rolle bei der Wahrnehmung und Erkennung der Umgebung. Das Fahrzeug-Wahrnehmungssystem muss jederzeit sicher und zuverlässig sein. Regen, Staub, Sprühen und sogar Steine können zu einer kontaminierten, teilweise blockierten oder zerstörten Kameralinse führen. Wird zum Beispiel an einer Überquerungsanlage vor dem Fahrzeug, beispielsweise einem Zebrastreifen, ein Fußgänger erkannt, so soll dies je nach Entfernung zum Abbremsen des Fahrzeugs oder zum Einleiten einer Notbremsung führen. Ist aufgrund einiger der oben genannten Szenarien die Kameralinse teilweise blockiert oder verschmutzt, wird der Fußgänger nicht erkannt werden. Dies kann zu einem gefährlichen oder gar tödlichen Unfall führen und sollte um jeden Preis vermieden werden.
-
Das Fahrzeug-Wahrnehmungssystem nimmt das Umfeld, die Umgebung wahr. Es erkennt statische und/oder dynamische Objekte, klassifiziert, lokalisiert und/oder verfolgt diese über die Zeit, auch tracking genannt. Das Wahrnehmungssystem umfasst Software- und Hardwaremodule. Die Softwaremodule umfassen Erkennungs-, Klassifizierungs-, Lokalisierungs- und/oder Trackingalgorithmen für einzelne Umfelderfassungssensoren und/oder für Datenfusion. Die Hardwaremodule umfassen Umfelderfassungssensoren, beispielsweise Kamera-, Lidar-, Radar-, Ultraschall-, Infrarot-, Akustik-, Geruchs-, GPS- und/oder Inertialsensoren, und integrierte Schaltungselemente und Schaltkreise, beispielsweise ICs, ASICs, FPGAs, CPUs, GPUs, systems on chips.
-
Ein weiterer Aspekt betrifft ein Wahrnehmungssystem einer Infrastruktur, beispielsweise ein Wahrnehmungssystem für Verkehrsüberwachung, und umfasst stationäre Kameras, beispielsweise Sicherheits- und Überwachungskameras.
-
Bildgebungssensoren umfassen Kamerasensoren oder Kamerasysteme umfassend Kamerasensoren und optische Komponente, beispielsweise Linsen. Bildgebungssensoren umfassen ferner Lidarsensoren und Lidarsystem, Radarsensoren und Radarsysteme, Ultraschallsensoren und Akustiksensoren. Nach einem Aspekt ist der Bildgebungssensor ein Kamerasensor oder ein Kamerasystem. Die Erfindung betrifft Bildgebungssensoren mit Sichtfeld in einem Außenraum des Fahrzeuges und/oder mit einem Sichtfeld in einem Innenraum des Fahrzeuges. Der Bildgebungssensor kann in einem Fahrzeug-Innenraum oder an einer Fahrzeug-Außenseite angeordnet sein. Der Bildgebungssensor kann ein schmales oder breites Sichtfeld haben, beispielsweise umfasst die Kamera ein Zoom- oder Weitwinkel-Objektiv.
-
Aufteilen des Bildes in Teilbilder wird auch als cropping bezeichnet. Im Stand der Technik sind verschiedene cropping tools bekannt. Es sind auch Bildbearbeitungsprogramme bekannt mit cropping Funktionen. Beispielsweise umfasst das Bildbearbeitungsprogramm GIMP cropping Funktionen. Das Bild wird beispielsweise in eine erste Anzahl von Teilbildern, beispielsweise neun, aufgeteilt. Nach einem Aspekt sind die Teilbilder jeweils gleich groß. Die Anzahl der Teilbilder und die Größe jedes der Teilbilder ist frei wählbar. Hat beispielsweise das Bild eine Pixelgröße von 960x1280, kann es in 60x80 Teilbilder aufgeteilt werden, wobei jedes einzelne Teilbild die Pixelgröße 16x16 hat. Hinsichtlich der Kennzeichnung der Bilder und Teilbilder, auch labeling genannt, sind keine pixelweise beschrifteten Bilder erforderlich sind. Damit wird der manuelle Beschriftungsaufwand drastisch reduziert. Das Bild hat ein Kennzeichen oder Label auf Bild- oder Frame-Ebene. Die Teilbilder haben jeweils ein Kennzeichen oder Label auf Teilbild- oder Block-Ebene.
-
Ein Maschinenlernmodell umfassend mehrere Verzweigungs-Maschinenlernmodelle ist ein Verbund-Maschinenlernmodell zur hierarchischen Klassifizierung, wobei jedes Verzweigungs-Maschinenlernmodell eine bestimmte Klasse der Hierarchie klassifiziert und im Verbund-Maschinenlernmodell intern ausgibt. Das Verbund-Maschinenlernmodell ist nach einem Aspekt ein künstliches neuronales Netzwerk, beispielsweise ein Faltungsnetzwerk, auch Branch Convolutional Network genannt. Die einzelnen Verzweigungs-Maschinenlernmodelle sind nach einem Aspekt jeweils künstliche neuronale Netzwerke. Jedes Verzweigungsnetzwerk, auch Branch Network genannt, gibt eine Vorhersage für die entsprechende Hierarchie aus. Die Verzweigungsnetzwerke können Faltungsnetzwerke und/oder vollständig verbundene künstliche neuronale Netzwerke umfassen. Bei der Auswertung des Maschinenlernmodells werden die einzelnen Ausgaben der Verzweigungsmaschinenlernmodelle gewichtet. Ein Branch Convolutional Network ist beispielsweise Xinqi Zhu and Michael Bain, „B-CNN: Branch Convolutional Neural Network for Hierarchical Classification“, arXiv: 1709.09890 cs.CV offenbart. Die dort offenbarte Figure 1 zeigt beispielsweise die Architektur eines Branch Convolutional Network für eine bestimmte Klassenhierarchie.
-
Das erste Verzweigungs-Maschinenlernmodell erkennt lokale Bilddefekte umfassend Blockaden, Unschärfen und/oder Hintergrund. Die Ausgaben des ersten Verzweigungs-Maschinenlernmodells entsprechen einer Teilbild-weisen Segmentierung des Bildes nach klassifizierten Blockaden, Unschärfen und/oder Hintergrund. Hintergrund bezeichnet Bereiche eines Bildes, die frei von Defekten sind. In dem Beispiel eines Bildes mit Pixelgröße von 960x1280 und Teilbildgröße von 16x16 gibt das erste Verzweigungs-Maschinenlernmodell das Bild segmentiert in 60x80 Teilbilder aus mit entsprechenden Kennzeichen. Die weiteren Verzweigungs-Maschinenlernmodelle kennzeichnen die jeweils ihnen zugeordneten Defekte oder Eigenschaften auf Bildebene, das heißt für jedes Bild gibt es eine Ausgabe.
-
Das zweite Verzweigungs-Maschinenlernmodell erkennt globale Bilddefekte. Globale Bilddefekte betreffen das gesamte Bild und umfassen Defekte aufgrund von Umweltszenarien, beispielsweise schlechte Sichtverhältnisse durch Regen, Schnee, Nebel, Überbelichtung und/oder Unterbelichtung, beispielsweise bei Sonnenblendung, Tunnelausfahrt und/oder Tunneleinfahrt, und Defekte aufgrund von Linsenreflexionen. Im Falle von Kamerasensoren, die hinter einer Windschutzscheibe des Fahrzeuges angeordnet sind, umfassen die globalen Bilddefekte auch Defekte im Bild aufgrund von kontaminierten Windschutzscheiben, umfassend gefrorene Windschutzscheiben.
-
Das dritte Verzweigungs-Maschinenlernmodell erkennt Sensor bezogene Fehler, die das gesamte Bild betreffen. Defekte in einem optischen System des Bildgebungssensors umfassen beispielsweise Linsenrisse. Beschläge auf dem optischen System umfassen beispielsweise Kondensationen auf der Linse. Weitere Sensor bezogene Fehler, die das dritte Verzweigungs-Maschinenlernmodell erkennt, sind beispielsweise Sensorüberhitzung und leere Bilder.
-
Blockaden und/oder Unschärfen können bedingt sein beispielsweise durch Flüssigkeit, beispielsweise Wasser, Schnee, Verschmutzungen, beispielsweise Schlamm, Papier, Plastik, Blätter, oder Scheibenwischer auf dem Bildgebungssensor und/oder auf einer Windschutzscheibe des Fahrzeuges. Diese Umweltszenarien oder externen Bedingungen werden nach einem Aspekt global, das heißt auf Bild- oder Frame-Ebene, erkannt.
-
Die Defekte führen zu einer Verschlechterung der Bildqualität. Die Kamera kann durch Blockierung/Unschärfe am Objektiv, äußere Umgebung und/oder interne Störung/Geräusch des Sensors affected werden. Im Falle einer Verschlechterung durch äußere Umstände, beispielsweise bei äußeren Umgebungen mit stark verschlechterter Sicht, kann nach einem Aspekt die Beurteilung der Bildqualität gestoppt werden und das Ergebnis dem Fahrzeug-Wahrnehmungssystem übermittelt werden. Im Falle einer Verschlechterung durch Blockade/Unschärfe bei objektivbezogenen Problemen kann eine Lokalisationsanalyse durchgeführt werden, um den Ort der Störung/Obstruktion zu ermitteln. Bei interner Störung im Sensor, das heißt bei internen Defekten, kann die Beurteilung gestoppt und das Ergebnis dem Fahrzeug-Wahrnehmungssystem übermittelt werden.
-
Dadurch, dass nur die Bilder mittels des Fahrzeug-Wahrnehmungssystems verarbeitet werden, deren Bildqualität jeweils in einem vorgegebenen Bereich liegt, wird sichergestellt, dass das Fahrzeug-Wahrnehmungssystem nur solche Bildbereiche weiterverarbeitet, die nicht fehlerbehaftet sind. Damit wird die Sicherheit bei der Bildverarbeitung erhöht und ein ausfallsicheres System bereitgestellt.
-
Nach einem Aspekt wird die Bildqualität in Form eines Diagramms, das die Bilddefekte visualisiert, bestimmt und/oder ausgegeben. Das Diagramm kann eine Zuverlässigkeitskarte, oder reliability map, sein, die angibt, welche Bildbereiche einen Defekt aufweisen. Das Diagramm ist beispielsweise eine Heatmap, die Erwartungswerte für lokale Bilddefekte auf dem Bild visualisiert. Das Diagramm kann von dem ersten Verzweigungs-Maschinenlernmodell bestimmt werden.
-
Nach einem weiteren Aspekt umfasst das Maschinenlernmodell ein viertes Verzweigungs-Maschinenlernmodell. Das vierte Verzweigungs-Maschinenlernmodell wurde mit entsprechend gekennzeichneten Bildern datengetrieben trainiert, in Fehler- und/oder Nicht-Fehlerszenarien einen Sichtbarkeitsabstand und/oder einen Fehler-Schweregrad zu bestimmen. Das vierte Verzweigungs-Maschinenlernmodell verarbeitet das Bild und gibt den Sichtbarkeitsabstand und/oder den Fehler-Schweregrad aus. Das vierte Maschinenlernmodell bestimmt beispielsweise die Sichtweite in Metern in Nebelszenarien.
-
Nach einem weiteren Aspekt umfassen weitere Maße, basierend auf denen die Bildqualität bestimmt wird, ein Unschärfemaß, das die Unschärfe angibt, ein Helligkeitsmaß und/oder ein Sichtbarkeitsmaß, das einen Sichtbarkeitsabstand angibt. Die bestimmten Unschärfen, Helligkeiten und/oder Sicherheitsabstände werden dem Wahrnehmungssystem bereitgestellt, nach einem Aspekt sowohl in Fehler-Szenarien als auch in Nicht-Fehler-Szenarien. Nach einem Aspekt wird das Unschärfemaß von dem ersten Verzweigungs-Maschinenlernmodell bestimmt. Nach einem Aspekt umfasst das Helligkeitsmaß Helligkeit, Sättigung und/oder Kontrast.
-
Nach einem Aspekt wird die Bildqualität umfassend das Diagramm zur Visualisierung der Bilddefekte auf Teilbildebene, das Unschärfemaß, das Helligkeitsmaß und das Sichtbarkeitsmaß für jeden der erkannten Defekte bestimmt.
-
Nach einem weiteren Aspekt wird im Falle von den Blockierungen des Bildgebungssensors dieser von einem Reinigungsmodul gereinigt. Im Falle von den Defekten in dem optischen System wird der Bildgebungssensor ausgetauscht. Reinigung durch das Reinigungsmodul und Austausch des Bildgebungssensors bei Defekten in dem optischen System sind Maßnahmen, um auf einen erkannten Defekt zu reagieren. Weitere Maßnahmen umfassen das Aktivieren
- • eines Luftreinigungs-/Belüftungsmoduls, um beispielsweise Blockade verursachende Verschmutzungen durch Belüftung zu entfernen;
- • eines Trocknungsmodul, um befeuchtete Bildgebungssensoren zu trocknen;
- • eines Wasserreinigungsmodul, beispielsweise einen Scheibenwischanlage, um beispielsweise Blockade verursachende Verschmutzungen durch beispielsweise Sprühwasser zu entfernen;
- • ein Heizmodul, um beispielsweise Eis von einer Windschutzscheibe zu entfernen oder den Bildgebungssensor auf einer Betriebstemperatur zu halten.
-
Das erfindungsgemäße ausfallsichere System umfasst nach einem Aspekt eine vierte Schnittstelle zu einem Fahrzeug-Bordnetz, über die das System bei erkannter Blockierung einer Windschutzscheibe des Fahrzeuges einen Scheibenwischer ansteuert zur Reinigung der Windschutzscheibe. Nach einem weiteren Aspekt wird eine Scheibenwischanlage angesteuert.
-
Nach einem weiteren Aspekt führt das Hardwaremodul des erfindungsgemäßen ausfallsicheren Systems die Schritte eines erfindungsgemäßen Verfahrens aus. Nach einem weiteren Aspekt ist in einem Speichermodul des Hardwaremoduls das erfindungsgemäße Computerprogramm gespeichert und das Hardwaremodul führt das Computerprogramm aus durch Lesen des Speichers. Nach einem weiteren Aspekt umfasst das Hardwaremodul einen Steckplatz für einen Datenträger, über den das Hardwaremodul ein auf dem Datenträger gespeichertes Computerprogramm ausführt. Nach einem Aspekt stellt die Erfindung einen Datenträger bereit, auf dem das erfindungsgemäße Computerprogramm gespeichert ist. Nach einem weiteren Aspekt umfasst das Hardwaremodul eine Funkschnittstelle und das erfindungsgemäße Computerprogramm wird über ein Datenträgersignal über diese Funkschnittstelle, beispielsweise mittels Software-over-the-Air Technologie, in das Hardwaremodul übertragen und von diesem ausgeführt.
-
Die Erfindung wird in den folgenden Ausführungsbeispielen verdeutlicht. Es zeigen:
- 1 ein Ausführungsbeispiel eines erfindungsgemäßen Verfahrens,
- 2 ein Ausführungsbeispiel eines erfindungsgemäßen Maschinenlernmodells und
- 3 ein Ausführungsbeispiel eines Ausgabebildes.
-
In den Figuren bezeichnen gleiche Bezugszeichen gleiche oder funktionsähnliche Bezugsteile. Übersichtshalber werden in den einzelnen Figuren nur die jeweils relevanten Bezugsteile hervorgehoben.
-
In 1 ist der Bildgebungssensor S eine Kamera. Der Bildgebungssensor S ist Signal übertragend mit dem Fahrzeug-Wahrnehmungssystem W verbunden. In 1 ist übersichtshalber nur ein Bildgebungssensor S gezeigt. Der Gegenstand der Erfindung kann auch mehrere Bildgebungssensoren S, die jeweils mit dem Fahrzeug-Wahrnehmungssystem W Signal übertragend verbunden sind, umfassen. Über einen Signalaustausch mit dem Fahrzeug-Wahrnehmungssystem W erhält der Bildgebungssensor S Signale cal für Kalibrierung, umfassend extrinsische und/oder intrinsische Kalibrierung, und Signale ego für die Fahrzeug-Eigenbewegung, um bei Aufnahmen von Bildern die Fahrzeug-Eigenbewegung zu berücksichtigen.
-
In einem ersten Verfahrensschritt V1 nimmt der Bildgebungssensor S Bilder B auf. Die Bilder werden in einem Verfahrensschritt V2 vorverarbeitet.
-
Basierend auf den Bildern wird in den Verfahrensschritten V3-V6 mittels eines erfindungsgemäßen Maschinenlernmodells BNN, beispielsweise dem in 2 gezeigtem, die Bildqualität bestimmt. In dem Verfahrensschritt V3 verarbeitet das erste Verzweigungs-Maschinenlernmodell B1 die Bilder B und gibt die erkannten lokalen Bilddefekte aus. Das erste Verzweigungs-Maschinenlernmodell B1 bestimmt in einem Verfahrensschritt V11 ein Unschärfemaß U, das angibt, welche Bereiche in dem Bild B oder den Teilbilden unscharf sind, und gibt das Unschärfemaß an das Fahrzeug-Wahrnehmungssystem W weiter. In einem Verfahrensschritt V4 verarbeitet das zweite Verzweigungs-Maschinenlernmodell B2 das Bild B und gibt die erkannten globalen Bilddefekte aus. In einem Verfahrensschritt V5 verarbeitet das dritte Verzweigungs-Maschinenlernmodell B3 das Bild B und gibt die erkannten internen Defekte des Bildgebungssensors S aus. In einem Verfahrensschritt V10 verarbeitet das vierte Verzweigungs-Maschinenlernmodell B4 das Bild B und gibt den Sichtbarkeitsabstand V an das Fahrzeug-Wahrnehmungssystem W weiter, beispielsweise in Metern. In einem Verfahrensschritt V12 wird ein Helligkeitsmaß für das Bild B bestimmt, beispielsweise die Sättigung, und an das Fahrzeug-Wahrnehmungssystem W weitergegeben. Dies ist besonders vorteilhaft in Szenarien mit Über- und/oder Überbelichtung, beispielsweise bei Sonnenblendungen, Tunneleinfahrten und/oder Tunnelausfahrten.
-
In einem Verfahrensschritt V6 werden die Ausgaben des Maschinenlernmodells BNN ausgewertet und pro Bild B eine Bildqualität bestimmt. Hierzu werden in einem Verfahrensschritt V7 die erkannten lokalen Bilddefekte bestimmt und die Bildqualität daran gemessen, welche der Bilder frei von Bilddefekten sind. Falls die Bildqualität für das Bild B in einem vorgegebenen Bereich liegt, wird das Bild B in einem Verfahrensschritt V8 in dem Fahrzeug-Wahrnehmungssystem W verarbeitet hinsichtlich Objekterkennung, -klassifizierung, -lokalisierung, - tracking. In einem Verfahrensschritt V9 wird die Bildqualität in Form eines Diagramms M, das die Bilddefekte visualisiert, bestimmt und/oder ausgegeben. Das Diagramm M ist beispielsweise eine sogenannte Zuverlässlichkeitskarte wie in 3 gezeigt.
-
Das Maschinenlernmodell BNN wie in 2 gezeigt ist ein Verzweigungsverbundnetzwerk umfassend vier Verzweigungs-Maschinenlernmodelle B1-B4. Eingangsschichten des Maschinenlernmodells BNN, die die Bilder B einlesen und vorverarbeiten, umfassen Faltungsschichten CONV, das heißt konvolutionale Schichten. Die Aktivierungsfunktion Relu ist beispielsweise eine Rectifier Linear Unit. Neuronen in den einzelnen Verzweigungs-Maschinenlernmodellen B1-B4 werden beispielsweise ebenfalls mit der Aktivierungsfunktion Relu aktiviert.
-
Die Verzweigungs-Maschinenlernmodelle B1-B4 umfassen beispielsweise ebenfalls konvolutionale Eingangsschichten CONV. Nach einem Aspekt bestimmt das erste Verzweigungs-Maschinenlernmodell B1 eine Teilbild-weise Segmentierung des Bildes in lokalen Bilddefekte. Ausgangsschichten der Verzweigungs-Maschinenlernmodelle B1-B4 können jeweils vollständig verbundene Schichten FC und sogenannte Softmax-Schichten umfassen, um die jeweiligen Ausgaben zu erzeugen.
-
Das zweite Verzweigungs-Maschinenlernmodell B2 gibt die erkannten globalen Bilddefekte aus. Das dritte Verzweigungs-Maschinenlernmodell B3 gibt die internen Defekte des Bildgebungssensors S aus. Das vierte Verzweigungs-Maschinenlernmodell B4 gibt den Sichtbarkeitsabstand V aus.
-
3 zeigt ein Bild B mit Defekten. Beispielsweise ist eine Linse des Bildgebungssensors S durch Verschmutzungen blockiert. Dies resultiert in den gezeigten blockierten Bereichen und den unscharfen Bereichen in dem mit dem Bildgebungssensor S aufgenommenen Bild B. Dieses Bild B wird durch das erfindungsgemäße Maschinenlernmodell BNN gespeist. Dabei erkennt das erste Verzweigungs-Maschinenlernmodell B1 die Bilddefekte auf Teilbildebene und gibt diese in Form einer Zuverlässlichkeitskarte M aus, die Bereiche des Hintergrundes, blockierte Bereiche und unscharfe Bereiche auf Teilbildebene ausgibt. Die gezeigten entsprechenden farblichen Kennzeichnungen stellen die Labels dar.
-
Bezugszeichenliste
-
- S
- Bildgebungssensor
- W
- Fahrzeug-Wahrnehmungssystem
- cal
- Signal für Kalibrierung
- ego
- Signal für Fahrzeug-Eigenbewegung
- B
- Bild
- BNN
- Maschinenlernmodell
- CONV
- Faltungsschicht
- Relu
- Aktivierungsfunktion
- FC
- vollständig verbundene Schicht
- B1
- erstes Verzweigungs-Maschinenlernmodell
- B2
- zweites Verzweigungs-Maschinenlernmodell
- B3
- drittes Verzweigungs-Maschinenlernmodell
- B4
- viertes Verzweigungs-Maschinenlernmodell
- M
- Diagramm
- V
- Sichtbarkeitsabstand
- U
- Unschärfemaß
- H
- Helligkeitsmaß
- V1-V12
- Verfahrensschritte
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- DE 102021208423 [0003]
- US 2018/0211118 A1 [0004]
- US 9185360 B2 [0005]
- US 2019/0138821 A1 [0006]
- US 10339812 B2 [0007]
- US 2013/0308004 A1 [0007]
- US 2017/0193641 A1 [0007]
- EP 3336747 A1 [0007]
- US 2014/0293079 A1 [0007]
- US 8243166 B2 [0007]
