-
Technisches Gebiet
-
Die vorliegende Erfindung betrifft die optische Bilderkennung für ein Kraftfahrzeug.
-
Insbesondere betrifft die vorliegende Erfindung eine Vorrichtung und ein Verfahren zum Reduzieren des Einflusses von Streulicht und Reflexionen auf die optische Bilderkennung für ein Kraftfahrzeug.
-
Technischer Hintergrund
-
In der heutigen Automobilanwendung leisten Fahrerassistenzsysteme einen wichtigen Beitrag zur Steigerung der Sicherheit im Straßenverkehr. Diese Systeme verarbeiten Daten von einzelnen oder mehreren Sensoren wie Radar, Kamera, Ultraschall und Lidarsensoren.
-
Ziel dieser Systeme ist die Erkennung von Objekten, Fahrspuren und Umgebungsszenarien für Assistenzsysteme wie beispielsweise Adaptive Cruise Control (ACC), Notbremssysteme (AEBS - Autonomous Emergency Braking System), und Querregelfunktionen wie beispielsweise eine Spurverlassensvermeidung (LKAS - Lane Keeping Assist System).
-
Bei all diesen Systemen spielt die robuste Erkennung von „Features“, d.h. Bildmerkmalen und Objekten eine wichtige Rolle, mit dem Ziel, den Einfluss von Störungen wie beispielsweise Rauschen auf die Merkmalsextraktion und Objekterkennung wesentlich zu reduzieren. Insbesondere soll für Anwendungen wie ACC die Anzahl an nicht erkannter Objekte, und für Anwendungen wie AEBS oder LKAS die Anzahl an Falsch-Positiverkennungen reduziert werden.
-
Obwohl bildbasierte Algorithmen zur Objekterkennung in den letzten Jahrzehnten eine große Performancesteigerung erlebt haben und relativ robust gegenüber Störungen sind, ist Streulicht und durch Reflexionen in die Kamera projiziertes Licht immer noch eine große Herausforderung für Methoden zur Objekterkennung, und kann die Performance solcher Systeme wesentlich beeinflussen. Bei denen in der Automobilindustrie vorkommenden Projektionen handelt es sich in der Regel um eine Kombination aus Aufhellen der Bereiche und Projektion von starken Merkmalen bis hin zu Objekten. Hierbei kann zwischen mehreren Projektionstypen unterschieden werden, die entweder einzeln oder in Kombination auftreten können:
-
Bestimmte Projektionen können als Projektionen eines ersten Projektionstyps aus einer Umgebung außerhalb eines Fahrzeuges klassifiziert werden, welche durch Reflexionen von Licht an Objekten mit spiegelnden Oberflächen die betroffenen Bildbereiche aufhellen, oder starke Merkmale bis hin zu Objekte in die betroffenen Bildbereiche projizieren.
-
Weitere Projektionen können als Projektionen eines zweiten Projektionstyps aus der Umgebung innerhalb eines Fahrzeuges klassifiziert werden, welche durch Reflexionen von Licht an Fahrzeuginterieur wie A-Säule oder Armaturenbrett die betroffenen Bildbereiche aufhellen, oder starke Merkmale bis hin zu Objekte in die betroffenen Bildbereiche projizieren. Als besonderer Fall sei hier die Windschutzscheibe genannt, die für eine an die Windschutzscheibe angebrachte Kamera wie eine große Projektionsfläche wirken kann, und Merkmale des Armaturenbretts (z.B. Lüftungsdüsen) oder auf dem Armaturenbrett abgelegte Gegenstände in die Kamera abbildet.
-
Während man den ersten Projektionstyp zum Beispiel durch die Einführung von optischen Filtern nicht ohne weitere Nachteile wie eine reduzierte Empfindlichkeit bei Dunkelheit adressieren kann, sind zur Adressierung von dem zweiten Projektionstyp folgende Methoden möglich:
-
Heutige Kamerasysteme im Fahrzeug sind mit einer Abschirmung wie die Streulichtblende versehen, die mit ihrer Abschirmung das Einstrahlen von Streulicht und, beispielsweise durch Interieur oder von außerhalb des Fahrzeuges hervorgerufene Projektionen unterbindet, etwa Lichtstörungen in der Form von Reflexionen von außen und innen.
-
Weitere Methoden versuchen, die in das Kamerabild projizierten Bereiche zu bestimmen, und die durch Reflexionen hervorgerufenen Störungen in frühen Bildverarbeitungsstufen durch Manipulation der Helligkeitswerte zu entfernen. Als Beispiel seien zusätzliche Kameras oder Kameras mit großem Öffnungswinkel genannt, die basierend auf geometrischen Annahmen die Bereiche prädizieren, oder Algorithmen, welche mit Hilfe von Annahmen zur Beschaffenheit des Hintergrundes und des projizierten Bildes die betroffenen Regionen prädizieren und die Störung kompensieren.
-
Neben den durch Reflexionen hervorgerufenen Störungen führt Streulicht ebenfalls zu einer ungewollten Aufhellung verschiedener Bildbereiche, welches in den betroffenen Bildbereichen zu einem Verlust an Kontrast und Merkmalen führt. Auch hier verwenden bekannte Anwendungen Streulichtblenden, die den Einfall von Streulicht und Reflexionen minimieren bis unterbinden sollen.
-
Die Streulichtblenden haben jedoch zwei entscheidende Nachteile: Gerade bei Kamerasystemen mit großem Sichtbereich muss die Streulichtblende in ihren Abmessungen sehr groß dimensioniert werden. Dies führt zu einer signifikanten Verdeckung der Windschutzscheibe bei nach vorne schauenden Kamerasystemen, und damit zu einer sehr starken Sichtfeldeinschränkung des Fahrers.
-
Trotz aller Größe und Bauformen kann das Eindringen von Streulicht in die Kamera nicht vollständig verhindert werden, beispielhaft hervorgerufen ungünstigen Sonnenstand oder direkte oder diffuse Reflexionen an den Innenseiten der Streulichtblende.
-
Die Antwort heutiger Algorithmen zur Adressierung der Streulichtblendenproblematik ist die Erkennung von durch Streulicht und Reflexionen beeinflussten Bereiche und die Kompensation durch Modifikation des Originalbildes zur Entfernung von Streulicht. Dies kann jedoch zu den folgenden Problemen führen:
-
Durch die Helligkeitsanpassung der kritischen Bereiche können die für eine Detektion kritische Merkmale im Bild geschwächt oder gar entfernt werden.
-
Durch die Helligkeitsanpassungen der kritischen Bereiche können ungewollt künstliche Artefakte eingeführt werden, die von nachfolgenden Verarbeitungsstufen als Objektfeatures erkannt werden und zu einer falschen Erkennung von Objekten führen.
-
In manchen Situationen kann nicht zwischen direkt einstrahlendem Licht und Störungen durch Streulicht und Reflexionen unterschieden werden. Eine Veränderung dieser Bereiche kann zu einer Verfälschung wichtiger Informationen führen, bis hin zu einer Nicht-Erkennung von bestimmten Objekten.
-
Studien zeigen, dass die Modellierung und Kompensation der gestörten Bereiche sehr rechenaufwändig sind, und mit einer geringen Qualität einhergeht. Die lange Rechenzeit und geringe Qualität kann bei sicherheitsrelevanten Anwendungen kritisch sein.
-
Zusammenfassung der Erfindung
-
Es ist eine Aufgabe der vorliegenden Erfindung, eine verbesserte Bilderkennung für Kraftfahrzeuge bereitzustellen, die weniger störanfällig bei der Verarbeitung von Bildern mit von Lichtstörungen dominierten Bildbereichen. Dabei können die Lichtstörungen Streulicht oder Reflexionen umfassen.
-
Diese Aufgabe wird durch die Gegenstände der unabhängigen Patentansprüche gelöst. Ausführungsformen und Weiterbildungen sind den abhängigen Patentansprüchen, der Beschreibung und den Figuren zu entnehmen.
-
Ein erster Aspekt der vorliegenden Erfindung betrifft eine Vorrichtung zum Reduzieren des Einflusses von Streulicht und Reflexionen auf die optische Bilderkennung für ein Kraftfahrzeug, wobei die Vorrichtung umfasst: eine Bildaufnahmeeinheit, welche dazu ausgelegt ist, Bilddaten bereitzustellen; eine Verarbeitungseinheit, welche dazu ausgelegt ist, i) aus den Bilddaten Bildmerkmale zu extrahieren; ii) Streulicht- und Reflexionsbereiche in den Bilddaten zu erkennen und zu markieren; und iii) basierend auf den markierten Streulicht- und Reflexionsbereichen Bildmerkmale als Objekte in Form von Objektdaten zu klassifizieren mit Hilfe von einem die markierten Streulicht- und Reflexionsbereiche berücksichtigenden Bildbearbeitungsalgorithmus; und eine Ausgabeeinheit, welche die von der Verarbeitungseinheit gewonnenen Objektdaten bereitstellt.
-
Das hier vorgestellte Verfahren hat anders als existierende Methoden nicht die Veränderung des Eingangsbildes zum Ziel, sondern die Verarbeitung von durch Streulicht und Reflexionen veränderten Bildbereiche in späteren Komponenten wie Objekterkennung. Dadurch werden Bilddaten nicht verändert, und Merkmale in Bilddaten bleiben trotz der durch Streulicht und Reflexionen überdeckten Bereiche erhalten.
-
Die Vorrichtung zum Reduzieren des Einflusses von Streulicht und Reflexionen kann dabei dazu ausgebildet sein, Lichtstörungen zu erkennen und Teilbereiche mit Lichtstörungen abweichend zu prozessieren bzw. zu bearbeiten und/oder zu markieren.
-
Mit anderen Worten ausgedrückt, die vorliegende Erfindung ermöglicht vorteilhaft, dass trotz des Vorhandenseins von Störlichteffekten - sei es in Form von Streulicht oder Reflexionen - keine explizite Anpassung des Ursprungsbildes erfolgt.
-
Die Erfindung kann ferner speziell in den markierten Streulicht- und Reflexionsbereichen auf Streulicht und/oder Störungen angepasste Bildbearbeitungsalgorithmen einsetzen, um die markierten Streulichtbereiche gezielt zu bearbeiten.
-
Die vorliegende Erfindung ermöglicht vorteilhaft, dass die False-Positive oder False-Negative Rate in den durch (Licht-)Störungen kontaminierten Bereichen kann verbessert werden.
-
Mit anderen Worten ausgedrückt, die vorliegende Erfindung ermöglicht die Einführung einer Methode, welche Streulicht und/oder Reflexionen - oder sonstige Lichtstörungen - in Eingangsbildern erkennt, und Streulichtinformationennachgelagerten Verarbeitungsstufen wie Merkmalsextraktion, Objekterkennung und Klassifikation einer Detektionsmethode bereitstellt.
-
Diese Informationen werden in den einzelnen Verarbeitungsstufen explizit zur verbesserten Extraktion von Merkmalen oder Detektion von Objekten genutzt, ohne das Orignalbild zu verändern und wichtige Features zu entfernen.
-
Auf diese Weise können die genannten Nachteile wie folgt adressiert werden:
-
Durch die fehlende Bildanpassung werden keine wichtigen Merkmale im Bild entfernt.
-
Durch die fehlende Bildanpassung werden keine künstlichen Artefakte eingeführt, die zu einer falschen Merkmalsextraktion führen können.
-
Die Unterscheidung zwischen Streulicht, Reflexionen und relevanten Bereichen erfolgt in einer höheren Verarbeitungsstufe innerhalb des Algorithmus. Dadurch wird eine fälschliche Anpassung von Bereichen vermieden, die nicht zu den durch Störungen beeinflussten Bereichen zählen.
-
Die durch eine Veränderung der Originaldaten hervorgerufene Bearbeitungszeit entfällt. Weiterhin kann die fehlende Qualität bei der Verarbeitung von Störungen durch die Berücksichtigung von Streulichtinformationen in höheren Verarbeitungsstufen kompensiert werden.
-
Durch eine gezielte Berücksichtigung von Streulichtinformationen und Reflexionen in höheren Verarbeitungsstufen sind Detektionsmethoden robuster gegenüber durch Streulicht und Reflexionen hervorgerufenen Störungen, so dass die Menge an Licht eine eher untergeordnete Rolle einnimmt.
-
Daher kann auch bei Kameras mit sehr großem Sichtbereich die Streulichtblende signifikant verkleinert oder gar weggelassen werden, welches die Beeinträchtigung des Sichtfeldes des Fahrers aufhebt.
-
Die Idee der vorliegenden Erfindung ist die Einführung einer Methode und Architektur zur Erkennung und Reduzierung des Einflusses von Lichtstörungen - beispielsweise bedingt durch Streulicht oder durch Reflexionen - auf die Objekterkennung in Bildern.
-
Eine hier skizzierte Beispielanwendung beschreibt ein kleines neuronales Netzwerk, welches basierend auf Merkmalen aus vorherigen Merkmalsextraktionsstufen (conv.1 - conv. n) eines größeren Netzwerkes Streulicht erkennt und Streulichtinformationen bereitstellt.
-
Dieses Netzwerk sei beispielhaft in einer neuronalen Netzwerkarchitektur gezeigt eingebracht, und kann entweder separat oder zusammen mit dem Gesamtnetz zur Objektklassifikation beispielsweise mit einem End-to-End Trainingsverfahren gelernt werden.
-
In dieser Beispielanwendung werden der Komponente zur Objektklassifikation ein Set an extrahierten Merkmalen sowie die Störungsinformation zur Verfügung gestellt, in welcher die durch Streulicht und Reflexionen überdeckten Bereiche bei der Erkennung von Objekten berücksichtigt werden.
-
Die Bereitstellung und Nutzung der Streulicht- und Reflexionsinformation in späteren Komponenten einer Detektionsmethode kann beispielhaft auf zwei Arten erfolgen:
- 1) Die bereitgestellte Information der Streulicht- und Reflexionserkennung dient den Verarbeitungskomponenten einer Detektionsmethode als zusätzliches Merkmal, welches damit die Detektion von Merkmalen und Objekten in kritischen Bildbereichen verbessert.
- 2) Den Verarbeitungskomponenten einer Objekterkennungsmethode wird nur die Existenz von Streulicht und Reflexionen in bestimmten Bildbereichen zur Verfügung gestellt, mit deren Hilfe eine alternative Extraktion von Merkmalen und Erkennung von Objekten in den durch Störungen belasteten Bereichen basierend auf für diese Störungen optimierte Algorithmen durchgeführt werden.
-
Ein zweiter Aspekt der vorliegenden Erfindung betrifft ein Verfahren zum Reduzieren des Einflusses von Streulicht und Reflexionen auf die optische Bilderkennung für ein Kraftfahrzeug, wobei das Verfahren folgende Verfahrensschritte umfasst:
-
Bereitstellen von Bilddaten mittels einer Bildaufnahmeeinheit.
-
Extrahieren von Bildmerkmalen aus den Bilddaten mittels einer Verarbeitungseinheit.
-
Erkennen und Markieren von Streulicht- und Reflexionsbereiche in den Bilddaten mittels der Verarbeitungseinheit.
-
Klassifizieren von Bildmerkmalen als Objekte basierend auf den markierten Störungsbereichen mittels der Verarbeitungseinheit mit Hilfe von einem die markierten Streulicht- und Reflexionsbereiche berücksichtigenden Bildbearbeitungsalgorithmus und Bereitstellen von Objektdaten basierend auf der Klassifizierung der Bildmerkmale mittels einer Ausgabeeinheit.
-
Weitere vorteilhafte Ausführungsformen werden durch die abhängigen Patentansprüche definiert.
-
In einer weiteren vorteilhaften Ausführungsform der vorliegenden Erfindung ist vorgesehen, dass die Verarbeitungseinheit dazu ausgelegt ist, ein End-to-End Trainingsverfahren beim Klassifizieren der Bildmerkmale als Objekte zu verwenden.
-
In einer weiteren vorteilhaften Ausführungsform der vorliegenden Erfindung ist vorgesehen, dass die Verarbeitungseinheit dazu ausgelegt ist, ein Set an extrahierten Merkmalen sowie die Streulichtinformation zu verwenden, in welcher die durch Streulicht überdeckten Streulichtbereiche bei der Erkennung von Objekten berücksichtigt werden.
-
In einer weiteren vorteilhaften Ausführungsform der vorliegenden Erfindung ist vorgesehen, dass die Vorrichtung dazu ausgebildet ist, eine Größe der zur Abschirmung von Projektionen notwendigen Streulichtblende zu berechnen.
-
In einer weiteren vorteilhaften Ausführungsform der vorliegenden Erfindung ist vorgesehen, dass die Verarbeitungseinheit als ein neuronales Netzwerk ausgebildet ist.
-
In einer weiteren vorteilhaften Ausführungsform der vorliegenden Erfindung ist vorgesehen, dass die Verarbeitungseinheit eine Unterteilungseinrichtung und eine Objekterkennungseinrichtung aufweist, welche parallel angeordnet sind.
-
In einer weiteren vorteilhaften Ausführungsform der vorliegenden Erfindung ist vorgesehen, dass die Verarbeitungseinheit eine Unterteilungseinrichtung und eine Objekterkennungseinrichtung aufweist, wobei die Unterteilungseinrichtung der Objekterkennungseinrichtung vorgelagert ist.
-
In einer weiteren vorteilhaften Ausführungsform der vorliegenden Erfindung ist vorgesehen, dass die Verarbeitungseinheit eine Unterteilungseinrichtung und eine Objekterkennungseinrichtung aufweist, wobei die Objekterkennungseinrichtung der Unterteilungseinrichtung vorgelagert ist.
-
Die beschriebenen Ausgestaltungen und Weiterbildungen lassen sich beliebig miteinander kombinieren.
-
Weitere mögliche Ausgestaltungen, Weiterbildungen und Implementierungen der Erfindung umfassen auch nicht explizit genannte Kombinationen von zuvor oder im Folgenden bezüglich der Ausführungsbeispiele beschriebenen Merkmale der Erfindung.
-
Figurenliste
-
Die beiliegenden Zeichnungen sollen ein weiteres Verständnis der Ausführungsformen der Erfindung vermitteln. Die beiliegenden Zeichnungen veranschaulichen Ausführungsformen und dienen im Zusammenhang mit der Beschreibung der Erklärung von Konzepten der Erfindung.
-
Andere Ausführungsformen und viele der genannten Vorteile ergeben sich im Hinblick auf die Zeichnungen. Die dargestellten Elemente der Zeichnungen sind nicht notwendigerweise maßstabsgetreu zueinander gezeigt.
-
Es zeigen:
- 1: eine schematische Darstellung eines Netzwerkes zur Erkennung von Streulicht und Reflexionen in einer Objektdetektionsmethode gemäß einer Ausführungsform der vorliegenden Erfindung;
- 2: eine schematische Darstellung eines Netzwerkes zur Erkennung von Streulicht und Reflexionen in einer Objektdetektionsmethode gemäß einer Ausführungsform der vorliegenden Erfindung;
- 3: eine schematische Darstellung eines Netzwerkes zur Erkennung von Streulicht und Reflexionen in einer Objektdetektionsmethode gemäß einer Ausführungsform der vorliegenden Erfindung;
- 4: eine schematische Darstellung eines Netzwerkes zur Erkennung von Streulicht und Reflexionen in einer Objektdetektionsmethode gemäß einer Ausführungsform der vorliegenden Erfindung;
- 5: eine schematische Darstellung eines Netzwerkes zur Erkennung von Streulicht und Reflexionen in einer Objektdetektionsmethode gemäß einer Ausführungsform der vorliegenden Erfindung;
- 6: eine schematische Darstellung eines Netzwerkes zur Erkennung von Streulicht und Reflexionen in einer Objektdetektionsmethode gemäß einer Ausführungsform der vorliegenden Erfindung;
- 7: eine schematische Darstellung eines Netzwerkes zur Erkennung von Streulicht und Reflexionen in einer Objektdetektionsmethode gemäß einer Ausführungsform der vorliegenden Erfindung;
- 8: eine schematische Darstellung eines Netzwerkes zur Erkennung von Streulicht und Reflexionen in einer Objektdetektionsmethode gemäß einer Ausführungsform der vorliegenden Erfindung;
- 9: eine schematische Darstellung eines Netzwerkes zur Erkennung von Streulicht und Reflexionen in einer Objektdetektionsmethode gemäß einer Ausführungsform der vorliegenden Erfindung;
- 10: eine schematische Darstellung eines Flussdiagramms eines Verfahrens zur Erkennung von Streulicht und Reflexionen gemäß einer Ausführungsform der vorliegenden Erfindung; und
- 11: eine schematische Darstellung einer Vorrichtung zur Erkennung von Streulicht und Reflexionen gemäß einer weiteren Ausführungsform der vorliegenden Erfindung.
-
Detaillierte Beschreibung von Ausführungsbeispielen
-
Für ein besseres Verständnis der folgenden Beschreibung sei das durch Streulicht und/oder Reflexionen in die Kamera projizierte Licht oder Bild in diesem Schreiben Projektion genannt.
-
Diese Projektionen können zum einen zu einer ungewollten Aufhellung der betroffenen Bildbereiche führen, einhergehend mit dem Verlust an Kontrast und Merkmalen, und zum anderen starke Merkmale bis hin zu vollständigen Objekten in das Bild projizieren, reflektiert von Gegenständen innerhalb und außerhalb des Fahrzeuges.
-
In den Figuren der Zeichnungen bezeichnen gleiche Bezugszeichen gleiche oder funktionsgleiche Elemente, Bauteile, Komponenten oder Verfahrensschritte, soweit nichts Gegenteiliges angegeben ist.
-
Die False-Positive - „Falsch positiv“ - oder False-Negative - „Falsch negativ“ - Rate in den durch Streulicht und Reflexionen kontaminierten Bereichen kann verbessert werden.
-
Algorithmen zur Merkmalsextraktion und Objektklassifikation können gezielt auf durch Streulicht und Reflexionen hervorgerufene aufgehellte Bereiche angepasst werden.
-
Dies führt zu einer besseren Nutzung von Merkmalen in den kritischen Bereichen, die sonst durch Veränderungen des Originalbildes abgeschwächt und für weitere Verarbeitungsschritte nicht mehr optimal verwendbar wären.
-
Insbesondere profitieren kamerabasierte Fahrerassistenzsysteme von der Erfindung, da die Detektion von Objekten in schwierigen Szenen verbessert werden kann.
-
Die vorgeschlagene Architektur kann in beliebigen anderen Architekturen von neuronalen Netzwerken zur Objekterkennung verwendet werden, deren Eingangsdaten durch Streulicht- und Reflexionen gestört werden können.
-
Dazu zählen auch Erweiterungen wie z.B. long-term short-term memory networks (LSMN/LSTM), recurrent neural networks (RNN), et cetera.
-
Während die hier dargestellten Architekturen einen eher sequentiellen Charakter aufweisen, können zur besseren Extraktion von Merkmalen in der Architektur auch Feedbackschleifen zur Anwendung kommen.
-
Diese Methode kann in der Robotik für maschinelles Sehen und im speziellen für ADAS verwendet werden.
Die Methode kann auf Methoden erweitert werden, die räumliche und zeitliche Daten verwenden.
-
Dazu zählen Videos, oder Bilder, die räumliche Informationen wie optischen Fluss, Dispartitätskarten oder Tiefenkarten enthalten.
-
Die Erkennung von Streulicht und Reflexionen kann durch zusätzliche Informationen verbessert werden, die z.B. von Ultraschallsensoren, Lidar oder Radarsensoren zur Verfügung gestellt werden.
-
In der industriellen Bildverarbeitung kann die vorgeschlagene Methode Streulicht, Reflexionen oder durch andere Lichtquellen hervorgerufene Störungen bei den zu analysierenden Objekte erkennen und kompensieren.
-
Gleiches gilt für Signalverarbeitung aus der Medizintechnik. Hierbei kann die vorgeschlagene Methode direkt mit Wärmebildern, Ultraschallbilder, Magnet Resonanz Signalen, Nah-infrarot Spektroskopie oder Computer Tomographien genutzt werden, insbesondere bei Anwendungen, die durch ungünstige Konstellationen streulichtartige Bereiche in (Bild) Daten verursachen.
-
Die Methode kann auch in einer beliebigen Kombination von oben genannten Techniken verwendet werden.
-
Die folgenden Figuren zeigen mögliche Architekturen zur Streulicht- und Reflexionserkennung und Kompensation in einer Detektionsmethode wie ein Convolutional Neural Network, welche jeweils in unterschiedlichen Kombinationen und Anwendungen in einer Detektionsmethode verwendet werden können.
-
Die in den 1 bis 9 dargestellte Streulicht- und Reflexionserkennung wird von einer Verarbeitungseinheit 20 durchgeführt, welche eine Unterteilungseinrichtung 22 und eine Objekterkennungseinrichtung 24 umfasst.
-
Dabei kann die Merkmalsextraktion von der Objekterkennungseinrichtung 24 durchgeführt werden und die Unterteilungseinrichtung 22 kann dazu ausgebildet sein, die Subbereichsunterteilung durchzuführen.
-
Die 1 zeigt eine schematische Darstellung eines Netzwerkes zur Erkennung von Streulicht in einer Objektdetektionsmethode gemäß einer Ausführungsform der vorliegenden Erfindung.
-
Die Streulicht- und Reflexionserkennung ist als kleines neuronal Netz ausgelegt, welches durch Streulicht überlagerte Bereiche anhand gemeinsamer Merkmale aus den Layern konv1 - konvn extrahiert.
-
Die Streulicht- und Reflexionserkennung stellt die Streulicht- und Reflexionsinformationen zur Verfügung, die zusammen mit den extrahierten Merkmalen aus den Layern conv1 - conv n mit Hilfe des Layers „Combination“ der Klassifikationsstufe zur weiteren Verarbeitung bereitgestellt werden.
-
Dieses in 1 dargestellte Netzwerk sei beispielhaft in eine neuronale Netzwerkarchitektur eingebracht, und kann entweder separat oder zusammen mit dem Gesamtnetz zur Objektklassifikation beispielsweise mit einem End-to-End Trainingsverfahren gelernt werden.
-
In dieser Beispielanwendung werden der Komponente zur Objektklassifikation ein Set an extrahierten Merkmalen sowie Kontrastinformation zur Verfügung gestellt, welche dann explizit gegebenenfalls zur weiteren Extraktion von Merkmalen und/oder zur Erkennung von Objekten berücksichtigt werden.
-
Die Bereitstellung und Nutzung der Streulicht- und Reflexionsinformation in späteren Komponenten einer Detektionsmethode kann beispielhaft auf zwei Arten erfolgen:
-
i) Die bereitgestellte Information dient den Verarbeitungskomponenten einer Detektionsmethode als zusätzliches Merkmal, welches damit die Detektion von Merkmalen und Objekten in kritischen Bildbereichen verbessert. Dies sei beispielhaft in den Architekturen wie in den 1 und 7 dargestellt.
-
ii) Den Verarbeitungskomponenten einer Objekterkennungsmethode wird nur das Vorhandensein von Bildbereichen mit geringem Kontrast zur Verfügung gestellt, mit deren Hilfe eine alternative Extraktion von Merkmalen und Erkennung von Objekten in den belasteten Bereichen basierend auf für geringen Kontrast optimierte Algorithmen durchgeführt wird. Dies sei beispielhaft in den Architekturen in den 8 und 9 dargestellt.
-
Die 2 zeigt eine schematische Darstellung eines Netzwerkes zur Erkennung von Streulicht und/oder Reflexionen in einer Objektdetektionsmethode gemäß einer Ausführungsform der vorliegenden Erfindung.
-
Die Architektur, wie in 2 dargestellt, ist wie folgt aufgebaut: Die Architektur, wie in 1 dargestellt, wird dahingehend verändert, dass die für die Streulichterkennung notwendigen Merkmale direkt aus den Eingangsbilder extrahiert werden.
-
Die Informationen der Streulicht- und Reflexionserkennung wird mit den extrahierten Objektmerkmalen über eine Komponente „Combination“ der Klassifikation bereitgestellt.
-
Die 3 zeigt eine schematische Darstellung eines Netzwerkes zur Erkennung von Streulicht- und Reflexion bedingte Lichtstörungen in einer Objektdetektionsmethode gemäß einer Ausführungsform der vorliegenden Erfindung.
-
Die Architektur, wie in 3 dargestellt, zeigt eine mögliche Erweiterung der Architektur, wie in 1 dargestellt, um eine Komponente zur Bestimmung von Regionen (auf Englisch auch mit „Region Proposals“ bezeichnet), welche die nur für eine Objektklassifikation relevanten Regionen im Bild bereitstellt.
-
Die Informationen der Streulicht- und Reflexionserkennung werden mit denen der vorgeschlagenen Regionen sowie der extrahierten Objektmerkmale über eine Komponente „Combination“ der Klassifikation bereitgestellt.
-
Die 4 zeigt eine schematische Darstellung eines Netzwerkes zur Erkennung von Streulicht in einer Objektdetektionsmethode gemäß einer Ausführungsform der vorliegenden Erfindung.
-
Die Architektur, wie in 4 dargestellt, verändert die Architektur, wie in 3 dargestellt, dahingehend, dass die für die Streulicht- und Reflexionserkennung notwendigen Merkmale direkt aus den Eingangsbildern extrahiert werden.
-
Die Informationen der Streulicht- und Reflexionserkennung wird mit denen der vorgeschlagenen Regionen sowie der extrahierten Objektfeature über eine Komponente „Combination“ der Klassifikation bereitgestellt.
-
Die 5 zeigt eine schematische Darstellung eines Netzwerkes zur Erkennung von Streulicht und Reflexionen in einer Objektdetektionsmethode gemäß einer Ausführungsform der vorliegenden Erfindung.
-
Die Architektur, wie in 5 dargestellt, ist wie folgt aufgebaut: In dieser Architektur ist die Komponente zur Streulichterkennung der Komponente zur Bestimmung relevanter Regionen im Bild vorgelagert.
-
Damit werden nur relevante Streulicht- und Regionsinformationen an die Klassifikationskomponente weitergeben, die für die Objekterkennung relevant sind.
-
Die 6 zeigt eine schematische Darstellung eines Netzwerkes zur Erkennung von Streulicht in einer Objektdetektionsmethode gemäß einer Ausführungsform der vorliegenden Erfindung.
-
Die Architektur, wie in 6 dargestellt, ist wie folgt aufgebaut:
-
Die Architektur, wie in 6 dargestellt, wird dahingehend verändert im Vergleich zu der in 5 dargestellten Architektur, dass die für die Streulicht- und/oder Reflexionserkennung notwendigen Merkmale direkt aus den Eingangsbildern extrahiert werden.
-
Die 7 zeigt eine schematische Darstellung eines Netzwerkes zur Erkennung von Streulicht in einer Objektdetektionsmethode gemäß einer Ausführungsform der vorliegenden Erfindung.
-
Die Architektur, wie in 7 dargestellt, ist wie folgt aufgebaut:
-
In dieser Architektur ist die Komponente zur Bestimmung relevanter Regionen der Streulichterkennung bzw. der Reflexionserkennung der vorgelagert. Damit kann effizient nur in den Regionen nach Bereichen mit Streulicht und/oder Reflexionen oder erhöhtem - über einem Schwellenwert liegend - Streulicht und/oder Reflexionen gesucht werden, die für eine Objekterkennung relevant sind.
-
Die 8 zeigt eine schematische Darstellung eines Netzwerkes zur Erkennung von Streulicht und/oder von Reflexionen in einer Objektdetektionsmethode gemäß einer Ausführungsform der vorliegenden Erfindung.
-
Die Architektur, wie in 8 dargestellt, ist wie folgt aufgebaut:
-
In dieser Architektur ist die Komponente zur Streulicht- und/oder Reflexionserkennung nicht in die funktionale Wirkkette der Detektionsmethode eingebettet.
-
Hier werden die Komponenten der Detektionsmethode dahingehend erweitert, dass entweder verschiedene Algorithmen zur Merkmalsextraktion oder Klassifikation bei aufgehellten Regionen eingesetzt werden, oder bestehende Algorithmen mit verschiedenen Parametern ausgeführt werden.
-
In dieser Variante aktiviert die Streulichterkennung bei schattierten Bildern die auf Streulicht spezialisierten Module in den Komponenten Merkmalsextraktion und Klassifikation.
-
Die 9 zeigt eine schematische Darstellung eines Netzwerkes zur Erkennung von Streulicht und von Reflexionen in einer Objektdetektionsmethode gemäß einer Ausführungsform der vorliegenden Erfindung.
-
Die Architektur, wie in 9 dargestellt, verändert die Architektur, wie in 8 dargestellt, dahingehend, dass die Streulichterkennung zusätzliche Module in den Komponenten Region Proposals und Combination bei Vorhandensein von Streulicht aktiviert.
-
Die 10 zeigt eine schematische Darstellung eines Flussdiagramms eines Verfahrens gemäß einer Ausführungsform der vorliegenden Erfindung.
-
Das Verfahren zum Reduzieren des Einflusses von Streulicht und Reflexionen auf die optische Bilderkennung für ein Kraftfahrzeug umfasst dabei beispielsweise folgende Verfahrensschritte:
-
Als ein erster Verfahrensschritt erfolgt ein Bereitstellen S1 von Bilddaten mittels einer Bildaufnahmeeinheit 10.
-
Als ein zweiter Verfahrensschritt erfolgt ein Extrahieren S2 von Bildmerkmalen aus den Bilddaten mittels einer Verarbeitungseinrichtung 20.
-
Als ein dritter Verfahrensschritt erfolgt ein Erkennen S3 und ein Markieren von Streulicht- und Reflexionsbereichen mittels einer Verarbeitungseinrichtung 20.
-
Als ein vierter Verfahrensschritt erfolgt ein Klassifizieren S4 von Bildmerkmalen als Objekte basierend auf den markierten basierend auf den markierten Streulicht- und Reflexionsbereichen mittels einer Verarbeitungseinrichtung 20 mit Hilfe von einem die markierten Streulicht- und Reflexionsbereiche berücksichtigenden Bildbearbeitungsalgorithmus.
-
Ferner erfolgt bei dem vierten Verfahrensschritt ferner ein Bereitstellen von Objektdaten basierend auf der Klassifizierung der Bildmerkmale.
-
Die 11 zeigt eine schematische Darstellung einer Vorrichtung gemäß einer weiteren Ausführungsform der vorliegenden Erfindung.
-
Die Vorrichtung 100 zum Reduzieren des Einflusses von Streulicht und Reflexionen auf die optische Bilderkennung für ein Kraftfahrzeug umfasst eine Bildaufnahmeeinheit 10, eine Verarbeitungseinheit 20, und eine Ausgabeeinheit 30.
-
Die Bildaufnahmeeinheit 10 ist dazu ausgelegt, Bilddaten bereitzustellen.
-
Die Verarbeitungseinheit 20 ist dazu ausgelegt, i) aus den Bilddaten Bildmerkmale zu extrahieren; ii) Streulicht- und Reflexionsbereiche in den Bilddaten zu erkennen und zu markieren; und iii) basierend auf den markierten Streulicht- und Reflexionsbereichen Bildmerkmale als Objekte in Form von Objektdaten zu klassifizieren mit Hilfe von einem die markierten Streulicht- und Reflexionsbereiche berücksichtigenden Bildbearbeitungsalgorithmus.
-
Die Verarbeitungseinheit 20 kann beispielsweise eine Unterteilungseinrichtung 22 und eine Objekterkennungseinrichtung 24 umfassen.
-
Die Ausgabeeinheit 30 ist dazu ausgebildet, die von der Verarbeitungseinheit 20 gewonnenen Objektdaten bereitzustellen.
-
Die Ausgabeeinheit 30 stellt beispielsweise gewonnene Objektdaten oder darauf basierende Kontrollausgaben, wie etwa eine Bremsanforderung, einem Kraftfahrzeug oder einer weiteren mit der Vorrichtung 100 gekoppelten Verarbeitungseinheit zur Verfügung.
-
Beispielsweise kann es sich bei der mit der Vorrichtung 100 gekoppelten Verarbeitungseinheit um einen Prozessor eines Fahrerassistenzsystems handeln.
-
Obwohl die vorliegende Erfindung anhand bevorzugter Ausführungsbeispiele vorstehend beschrieben wurde, ist sie nicht darauf beschränkt, sondern auf vielfältige Art und Weise modifizierbar. Insbesondere lässt sich die Erfindung in mannigfaltiger Weise verändern oder modifizieren, ohne vom Kern der Erfindung abzuweichen.
-
Ergänzend sei darauf hingewiesen, dass „umfassend“ und „aufweisend“ keine anderen Elemente oder Schritte ausschließt und „eine“ oder „ein“ keine Vielzahl ausschließt.
-
Ferner sei darauf hingewiesen, dass Merkmale oder Schritte, die mit Verweis auf eines der obigen Ausführungsbeispiele beschrieben worden sind, auch in Kombination mit anderen Merkmalen oder Schritten anderer oben beschriebener Ausführungsbeispiele verwendet werden können. Bezugszeichen in den Ansprüchen sind nicht als Einschränkung anzusehen.
